INFORME EVALUACIÓN DE UN SISTEMA DE GESTIÓN DEL APRENDIZAJE (LMS)
FABIOLA PULGARIN CRUZ
UNIVERSIDAD DE SANTANDER UDES FACULTAD DE EDUCACIÓN MAESTRÍA EN GESTIÓN DE LA TECNOLOGÍA EDUCATIVA SANTIAGO DE CALI – VALLE 2015
INFORME EVALUACIÓN DE UN SISTEMA DE GESTIÓN DEL APRENDIZAJE (LMS)
FABIOLA PULGARIN CRUZ
Trabajo presentado a Mg. Ricardo Andrés Prieto Bolaños
UNIVERSIDAD DE SANTANDER UDES FACULTAD DE EDUCACIÓN MAESTRIA EN GESTIÓN DE LA TECNOLOGÍA EDUCATIVA SANTIAGO DE CALI - VALLE 2015
INTRODUCCIÓN Hoy día el avance vertiginoso de las Tics, se convierte en un reto a nivel mundial en el Sistema Educativo, y en Organizaciones que sirven de soporte a los procesos de negocios productivos y administrativos en todos los campos a nivel comercial e industrial, generando expectativas con la inclusión de nuevas herramientas tecnológicas. Estas nuevas herramientas como son el Inter espacio, el cómo, el qué se puede enseñar, en Pro al beneficio de los usuarios, educandos, respeto a la Calidad en la gestión de la comunicación, evaluación, diagnóstico y del s eguimiento oportuno y constante de su proceso de aprender, permiten establecer unos criterios claros, para controlar los diferentes elementos, que intervienen en el desarrollo de las necesidades propias de cada persona. En este informe se hace un análisis detallado sobre la evaluación de un Sistema de Gestión del Aprendizaje LMS (Learning Management System), el cual es un sistema de gestión de aprendizaje online, que permite administrar, distribuir, monitorear, evaluar y apoyar las diversas actividades previamente diseñadas y programadas dentro de un proceso de formación completamente virtual (eLearning) o de formación semi – presencial (Blended Learning). (Cañellas (2010). Los Sistemas LMS tienen amplios propósitos, tanto para empresarios, docentes y educandos, ya que el elegir una plataforma, se vuelve complejo en el mercado actual, hay diferentes opciones comerciales y de libre distribución, aparecen nuevos sistemas de gestión del aprendizaje y las actualizaciones actualizaciones permanentes de las versiones, tiene mejoras importantes, generando problemas para la toma de decisiones en cuanto a la evaluación de la calidad se refiere como tal, llevando a que se establezcan las características de calidad que deben ser tenidos en cuenta en el modelo de calidad al adelantar la evaluación de un sistema LMS.
INFORME EVALUACIÓN DE UN SISTEMA DE GESTIÓN DEL APRENDIZAJE (LMS) Haciendo referencia a lo leído leído en el en el libro multimedial multimedial Capítulo 4: Evaluación de la Calidad de la Tecnología Educativa, se da un informe detallado con respecto a los diferentes elementos y características de calidad que deben tenerse en cuenta, para la evaluación de un Sistema de Gestión del Aprendizaje (LMS), para ello se hará uso de las siguientes tablas, con lo cual será más entendible y comprensible la información. A continuación se describen diferentes propuestas y modelos relacionadas con la Evaluación de LMS.
PROPUESTAS PROPUESTAS Y MODELOS MODELOS CON LA EVALUACI EVALUACI N LMS
Según (Menéndez& Castellanos 2011), Kapp plantea que la calidad de una plataforma e – Learninng está dada por cinco características: Mantenimiento, Compatibilidad, Usabilidad, Modularidad y Accesibilidad, las cuales al ser CARACTERIZACIÓN DE LA CALIDAD
evaluadas de forma individual, aseguran el entendimiento de las diferentes necesidades tecnológicas. Cada una de estas características es vital para el éxito. Kapp no establece criterios de medición, dejando por lo tanto a los usuarios su definición. (Lanzilotti, Ardito, Costabile, & De Ange, 2006), proponen un nuevo marco llamado TICS (Tecnology, Interaction, Content, Services), orientados en los
MARCOS TICS Y MEDOLOGÍA ELSE
aspectos más interesantes, que deben ser considerados cuando se diseña o evalúa un Sistema de Gestión del Aprendizaje. Por consiguiente, la propuesta enfatiza la interacción usuario- plataforma,
definida por: Tecnología, Interacción, Contenidos y Servicios, de los cuales se obtiene una guía y una metodología de evaluación llamada elSE, la c ual combina técnicas de inspección, realizada por expertos, que permite identificar, luego se hace un análisis con respecto a las TICS y después se aplica una técnica llamada Tareas abstractas ( TA), que describe las actividades las cuales deben ser realizadas y por ende se puedan ver como patrones de evaluación y formuladas según una plantilla, que posteriormente se clasifican en dos categorías: Aprendizaje del Contenido y Calidad de Uso. Georgiakakis constituye la la utilidad y calidad de uso de un LMS a través de un proceso el cual se da en dos pasos: Explorar y determinar su naturaleza con base a sus características, examinar la usabilidad y la utilidad. No obstante el modelo propone una serie de c riterios MARCO PARA EL ANALISIS DE LA POTENCIALIDAD Y VALIDEZ
pedagógicos- técnicos, dividiéndolo a su vez en práctico y educativo. Emplea listas de cotejo y una matriz de decisión para identificar las características y luego clasificarlos. Después de definidas se procede entonces a establecer una serie de c riterios como: Fácil de aprender y comprender, Eficiente en la ejecución de tareas, eficiente en la navegación, Retorno a lugares seguros y muy agradables. Finalmente, los valores con los que se evalúa son del 1 al 5. Según Beshears, la evaluación se puede hacer c on los siguientes criterios: Requerimientos conocidos,, Requerimientos futuros desconocidos,,
MARCOS PARA LA EVALUACIÓN
implementación, Soporte y Costo entre otros. Se distribuyen 100 puntos entre ellos, también se puede realizar una lista de características para cada uno de ellos del 0 al 5. Si bien es cierto, la suma de estos valores determina la calidad de la herramienta. Está basada en la presencia o ausencia de herramientas, los cuales están clasificados en ocho
CALIDAD BASADA EN LAS HERRAMIENTAS
categorías y en un conjunto de herramientas, que la encontramos en un sitio web llamado Edu Tools, en
donde a través de un formulario, formulario, el desarrollador indica las herramientas que suministra el sistema, donde será evaluado por un grupo de verdaderos expertos. Dentro de las categorías y herramientas se pueden destacar las siguientes: Herramientas de Comunicación ( Chat, Foro),Herramientas de Productividad ( marcadores, búsqueda interna) ,Herramientas para el desarrollo del estudiante ( Autoevaluaciones, Portafolio), Herramientas Administrativas ( Autenticación, Registro), Herramientas de Publicación de Curso (Herramientas de Control de Calificaciones, Monitoreo de Estudiantes), Diseño Curricular (Plantillas de Cursos, Administración del Currículo), Hardware / Software (Requiere un navegador Web, Requerimientos BD), Precio / Licenciamiento (Costo, Código abierto). Estos Sistemas definen trece criterios generales entre los que tenemos: Costo de Uso, Mantenibilidad, Usabilidad y Soporte, Perfil del Vendedor y de la Herramienta, Modularidad, acorde a Estándares, Capacidad de Integración, Integración de Objetos de Aprendizaje, Efectividad y Eficacia, Escalabilidad, Escalabilidad, SISTEMAS DE GESTIÓN DE CONTENIDOS DE
Seguridad, Consideraciones de Hardware / Software y
CÓDIGO ABIERTO
Soporte Multilenguaje. Además se tiene una lista de características y herramientas: Administración, Seguridad, Acceso, Integración con otros Sistemas, Diseño de Cursos, Desarrollo e Integración, Monitoreo de Cursos, Diseño de Actividades, Colaboración en Línea y Comunicaciones y las Herramientas de Productividad. Es por ello, que cada característica emplea, una escala de 0 a 5, donde 0 es no existe pobre, 3 es promedio básico estándar y 5 excede las expectativas del estándar.
Tabla 1.
Desarrollo propio. Fuente, Fuente, Propuestas y modelos relacionadas con la Evaluación de LMS.
Es de vital importancia contemplar dentro de estos aspectos, a los estándares de educación a distancia los cuales están enmarcados en diferentes organizaciones que
crean normas y especificaciones, para la interoperabilidad y calidad del servicio entre LMS: ESTAND ESTANDARE ARES S DE EDUCAC EDUCACII N A DISTANC DISTANCIA IA NORMAS Y ESPECIFICACIONES
Es una iniciativa del Departamento de Defensa (DoD) de los Estados Estados Unidos, para implementar y desarrollar herramientas y tecnologías de aprendizaje. Fue creada en el auspicio de la l a Oficina del Subcretario de Defensa para el Personal Y Preparación (Office of the Under Secretary of Defence for Personnel and Readiness. OUSD P & R) para potenciar el uso de las tecnologías de la la ADL ( Advanced Distributed Distributed Learning Iniciative) Iniciative)
información para modernizar el aprendizaje estructurado. (Wikipedia, 2014). La ADL, fue la impulsadora del estándar de e- learning internacional SCORM y en la actualidad promociona el desarrollo de Tin Cap API, y amplia principios y guías de trabajo necesarias necesarias para el incremento y la implementación eficiente, efectiva y en gran escala de formación educativa sobre nuevas tecnologías web.
Fue creado en el año 1988, es un grupo internacional de profesionales del entrenamiento y capacitación basada en tecnología. (Gobierno Venezolano). Es una organización sin fines fines de lucro, reúne a los formadores de la aviación, los desarrolladores de cursos, los AICC ( Aviation Industry CBT Committee
proveedores de software, diseñadores y fabricantes, para posteriormente desarrollar normas, recomendaciones de tecnología y análisis de las mejores prácticas, compartiendo los estándares y realizando un proceso de certificación, así mismo los miembros contribuyen a desplegar las normas de las tecnologías de la información de vanguardia. Entre sus
objetivos se tiene, conseguir una formación más rentable, eficiente y sostenible: 1.
Asistir en la elaboración de guías de referencia aeronáutica, que promuevan las ventajas económicas y la eficacia de los medios de entrenamiento computarizado.
2.
Permitir la interoperabilidad entre los diversos productos y plataformas de uso de la tcc.
3.
Proporcionar un foro abierto para la discusión del entrenamiento entrenamiento de tcc (terapia- cognitivoconductual) y los sistemas de tecnología de la formación en general.
Se puede afirmar, que fue el primer organismo creado entre diferentes sistemas, para instaurar un conjunto de normas que permitiese el intercambio de cursos CBT (Computer Based- Training). Las especificaciones AICC cubre nuevas áreas, que van desde los objetos de aprendizaje (LO) hasta los LMS. Las compañías deben cumplir con al menos con unas de estas directivas y recomendaciones r ecomendaciones ( AGRs): AGR 01:
Publications
AGR 02:
Courseware Delivery Stations
AGR 03:
Digital Audio
AGR 04:
Operating/ Windowing System
AGR 05:
CBT Peripheral Devices
AGR 06:
Computer- Managed Instruction
AGR 07:
Courseware Interchange
AGR 08:
Digital Video
AGR 09:
Icon Standards: User Interface
AGR 10:
Web- Based ComputerManaged Instruction
AICC, se basa en la comunicación mediante mensajes HTTP, para conseguir que se produzca la c orrecta interpretación de los cursos por parte del LMS,
llamándose a este protocolo mediante las siglas HACP, que significan HTTP AICC CMI Protocol.
Es un grupo independiente sin ánimo de lucro, que inició su labor en 1997, impulsado por el NLII ( National Learning Infrasctuture Initiative), que es una organización apoyada por Educase. IMS trabaja en Pos al avance de la tecnología, que pueda aplicarse en gran escala y mejorar de forma asequible la participación y los logros educativos. Por tanto, los miembros son proveedores líderes, instituciones y organizaciones gubernamentales que hacen posible el futuro de la educación, colaborando con iniciativas de interoperabilidad y adopción. Es así, como IMS patrocina Learning Impact, el cual es un programa de premios y conferencia globales, para reconocer el impacto de la tecnología innovadora en el acceso a la IMS ( Global Learning Consorcio)
asequibilidad y calidad de la educación. ( PRNewswireHISPANIC PR WIRE, 2014). La misión de IMS, es desarrollar y promover especificaciones abiertas, para facilitar las ac tividades del aprendizaje en línea. Actualmente IMS IMS tiene 16 especificaciones, ya ya que cada una de ellas está enfocada en una necesidad distinta del proceso de enseñanza. Hay especificaciones que se refieren a metadatos de los objetos educativos, al formato de empaquetamiento y distribución de los cursos, a la información del u suario, a la secuenciación de contenidos educativos o incluso al diseño de la actividad educativa en su conjunto.
IEEE LTSC ( Learning Technology Standards Committee)
Este comité perteneciente al Institute of Electricial and Electronic Engineers (IEEE), cubre prácticamente todos los aspectos de aprendizaje basados en ordenador. Su misión principal es desarrollar estándares técnicos,
prácticas recomendadas y guías para componentes de software, herramientas, tecnologías y métodos de diseño, que posibiliten el desarrollo, implantación, mantenimiento e interoperabilidad de implementación de sistemas educativos. El LTSC, está organizado en subcomités que se encargan de áreas de trabajo determinadas como la definición de la arquitectura de sistemas de e- learning o la definición de metadatos, para objetos educativos. Se puede decir, que en estos momentos el área de mayor impacto, es la relacionada con los metadatos de los recursos educativos, ya que el Standard Learning Object Metadata (Stándard IEEE 1484. 12.1- 2002), es el estándar oficial que más se está utilizando actualmente en e- learning. El LTSC, se encarga de preparar normas técnicas, prácticas y guías recomendadas, para el uso informático de componentes y sistemas de educación como de su interoperación. El estándar IEEE 1484.11.1- 4 evalúa los LMS. Cubre lo esencial de Learninig Management System ISO/IEC ISO/ IEC TR 29163- 4: 2009
(LMS) agrupa los diferentes estándares como IMS, AICC Y ADL. ADL. Por sus siglas en inglés ( Open Knowledge Iniciative, Iniciativa de Conocimiento Abierto), busca encontrar las ventajas y beneficios que ofrece, para el desarrollo de LMS. OKI, de MIT es un proyecto de colaboración con la Universidad de Harvard, la Universidad Estatal de Carolina del Norte, la Universidad de Michigan, la Universidad de Pennsylvania, y la Universidad de
PROJECT OKI
Wisconsin. El OKI se describe así mismo en su sitio de internet como una arquitectura que desarrolla y promueve las especificaciones que describen como los componentes de un entorno de software, los cuales se comunican entre sí y con otros s istemas empresariales, no es más que una arquitectura abierta y extensible para tecnología utilizada en el aprendizaje especialmente, para la educación superior.
Las especificaciones de OKI, permiten la interoperabilidad sostenible sostenible y la integración integración mediante la definición de normas, para la arquitectura orientada a servicios (SOA) y la llamada definición de interfaces de servicio abierto (OSIDs). A través de este trabajo OKI, buscar abrir nuevas oportunidades de mercado con una amplia gama de dominio de aplicación de software.
Crea especificaciones y normas que describe el tipo de información, que puede ser almacenada en el portafolio y como debe llevarse a cabo el registro a nivel de datos. El portafolio del estudiante es un medio de PORTAFOLIO
“tareas”, dinámicas y progresivas sobre las prin cipales
fortalezas y logros del aprendizaje, Por otro lado, describe los documentos y materiales, los cuales colectivamente sugieren el alcance y la calidad de las actividades del estudiante. El Consorcio World Wide Web ( W 3C), es una comunidad internacional, donde las organizaciones que W3C
tiene personal con tiempo completo y el público en general, trabajan conjuntamente, para desarrollar estándares Web y accesibilidad en la Web y que abarcan el los LMS, el cual es liderado por el inventor de la Web ( Tim Berners - Lee).
Tabla 2.
Desarrollo propio. Fuente, estándares de Educación a distancia, Normas y Especificaciones
Vale resaltar en los LMS normas y estándares. Los Sistemas de Gestión de Aprendizaje, que emplea las TIC, para su funcionamiento, deben entenderse como un software, que media los procesos inmersos en estos sistemas.
Los Sistemas de Gestión de Aprendizaje, deben revisarse desde el punto de vista evaluativo, obedeciendo a los aspectos técnicos según la norma ISO/ IEC 9126 sin ser tan riguroso. Esta norma busca poder medir la calidad de un programa informático. Entendiendo por calidad “la propiedad o conjunto
LMS NORMAS Y ESTÁNDARES
de propiedad, es inherente al software, que permite determinar su valor”. Para ello, propone la
descomposición del atributo de calidad en otros más sencillos y fáciles de medir. De esta forma se establecen los requisitos de la calidad de un programa y se consigne un mayor conocimiento del programa estudiado.
Es la integración de las normas ISO/ IEC 9126 e ISO 14598, que pretende el desarrollo de productos de software conforme a su especificación y evaluación de calidad. Este define tres vistas, para evaluar dicha calidad. La vista interna está interna está relacionada con las propiedades del software asociadas a las primeras fases del MODELO DE CALIDAD ISO/ IEC 2500
desarrollo (tamaño, complejidad, etc.). La vista externa se externa se enfoca a la validación del producto en términos de efectividad y rapidez, uso de memoria, etc. La vista de uso, uso, se refiere a la percepción del usuar io con respecto a la efectividad del producto para la ejecución de las tareas. Por consiguiente, cada vista define una serie de métricas. Esto permite detectar fortalezas y debilidades de un sistema y se e nfoca en la toma de decisiones para la compra y la comparación. Este es el primer estándar de calidad, para el
ESTÁNDAR ISO/ IEC 19796-1
aprendizaje, la educación y la capacitación. Entonces, en el Marco de Referencia, se basa en la descripción de calidad ( RFDQ) y consta de dos partes:
Un modelo de procesos como clasificación de referencia y un esquema de descripción, para el control de la calidad. El modelo de procesos, considera todo el ciclo de vida del e- Learning y tiene las s iguientes características: Integración, completitud, apertura, adaptabilidad y unicidad. Vale mencionar que también se divide en siete categorías (análisis de necesidades, análisis de marco de trabajo, concepción/ diseño, desarrollo/ producción, implementación, proceso de aprendizaje y evaluación/ optimización) y treinta y ocho subprocesos, donde se debe especificar los métodos y métricas a tener en cuenta.
Tabla 3.
Desarrollo propio. Fuente, LMS normas y estándares
Ahora bien, es de vital importancia conocer los Pro y Contra de diferentes propuestas y modelos de procesos, con el fin de diferenciar las fortalezas/ debilidades que consigo traen:
PROS Y CONTRA DE LAS PROPUESTAS Y MODELOS
La propuesta presentada por Kapp, tiene como KAPP
inconveniente su generalidad al no constituir de forma clara, una metodología, ni un rango de valores, para la evaluación. Su propuesta está enfocada, al proceso de
BESHEARS
implementación, lo que quiere decir, que se vuelve complejo, para aquellos que no tienen conocimiento al respecto. Plantea un aspecto importante que es la usabilidad,
GEORGIAKAKIS
traza un esquema de clasificación y unos niveles que lo hacen sencillo de utilizar, solo que su e valuación la
hacen verdaderos expertos y en ambientes controlados. En cuanto a este marco, se puede ver su enfoque a la parte tecnológica, donde cobra la importancia a la EN EL MARCO DE LAS TIC
interacción usuario- sistema. Su principal ventaja son las inspecciones basadas en patrones, haciéndola objetiva, solo el número número de AT´ S, si son generados, generados, puede no cubrir todas las características. Ofrece un marco genérico y un listado de funcionalidades deseables para las herramientas, haciendo de esta forma, que su medición sea sencilla,
EDU TOOLS
mediante una lista de cotejo. Sin embargo, su desventaja, radica en la presencia o ausencia d e elementos, que hacen que se realicen una larga revisión de la calidad del sistema.
La herramienta de código abierto, establece una CÓDIGO ABIERTO
metodología cuantitativa, para aplicar a la evaluación de calidad de un sistema LMS, solo que esta medición es subjetiva y su valor por lo tanto, está dado en la percepción global. Es así, como esto lo hace limitado aunque su ventaja es que se puede definir, una colección de características y la forma en que serán medidas,
NORMAS ISO 9126 e ISO 14598
estableciendo unos criterios y objetivos que evitarán las valoraciones subjetivas.
Se enfoca mucho en el proceso de implementación de ISO/ IEC 19796-1
un esquema de aprendizaje, haciendo que el LMS, no sea parte del estándar sino de un subproceso. Su ventaja radica en que proporciona un documento enfocado a la generación de métricas y mediciones de calidad.
Tabla 4.
Desarrollo propio. Fuente, Pro y Contra de diferentes propuestas y modelos
CONCLUSIONES
El avance vertiginoso de las Tics, se convierte en un reto a nivel mundial en todo el Sistema Educativo, y en Organizaciones en todos los campos a nivel comercial, industrial y educativo, posibilitando a los empresarios (calidad en los procesos de negocios productivos y administrativos), a los docentes fortalecer sus prácticas pedagógicas. Las nuevas herramientas como el Inter espacio, el cómo, el qué se puede enseñar, en Pro al beneficio de los usuarios, educandos, respeto a la Calidad en la gestión de la comunicación, evaluación, diagnóstico y del seguimiento seguimiento oportuno y constante de su proceso de aprender, posibilitan a los usuarios, docentes y educandos establecer unos criterios claros, para controlar los elementos, que intervienen en el desarrollo de los procesos. El Sistema de Gestión del Aprendizaje LMS (Learning Management System),es un sistema de gestión de aprendizaje online, que permite administrar, distribuir, monitorear, evaluar y apoyar las diversas actividades actividades previamente diseñadas y programadas dentro de un proceso de formación completamente virtual (eLearning) o de formación semi –presencial (Blended Learning). Los Sistemas LMS tienen amplios propósitos, tanto para empresarios, docentes y educandos, hay diferentes opciones comerciales y de libre distribución, con nuevos sistemas de gestión del aprendizaje y actualizaciones permanentes de las versiones, para lograr mejoras en el ámbito educativo y empresarial. Los estándares de educación a distancia están enmarcados en diferentes organizaciones que crean normas y especificaciones, para la interoperabilidad y calidad del servicio entre LMS:
WEBGRAFÍA
Libro electrónico multimedial: Evaluación de la Calidad de la Tecnología Educativa. Cap. 4 Evaluación de la Calidad del Software Educativo. Recuperado de http://aulavirtual.eaie.cvudes.edu.co/publico/lems/L.000.008.MG/cap4.html
Cova, A., Arrieta, X., & Duran, J (2007). Revisión de Modelos para Evaluación de Software Educativo. http://aulavirtual.eaie.cvudes.edu.co/publico/lems/L .000.008. MG/Documentos/ Anexos/cap4/2.pdf Anexos/cap4/2.pdf
Dominique, S.- L., & witold, S. (2000). Enhancing ISO/IEC 25021 Quality Measure. Elementos for wider application within ISO 25000 series . Recuperado de
http://aulavirtual.eaie.cvudes.edu.co/publico/lems/L.000.008. MG/Documentos /Anexos/cap4/1.pdf
Menéndez, V., Domínguez, C. M. (2011). La Calidad en los Sistemas de Gestión del Aprendizaje. Recuperado dehttp://aulavirtual.eaie.cvudes.edu.co/publico/lems/
L.000.008.MG/Documentos/Anexos/cap4/3.pdf
