EVALUACIÓN DE LA CALIDAD DE LA TECNOLOGÍA EDUCATIVA
OLIVERIO BARRERA SANCHEZ TUTOR JORGE ENRIQUE REYES FERRÉ
UNIVERSIDAD DE SANTANDER UDES MAESTRIA GESTIÓN DE LA TECNOLOGÍA EDUCATIVA 2015
EVALUACIÓN DE UN SISTEMA DE GESTIÓN DEL APRENDIZAJE (LMS) Un LMS ( Learning Management System) es un sistema de gestión de aprendizaje online, que permite administrar, distribuir, monitorear, evaluar y apoyar las diferentes actividades previamente diseñadas y programadas dentro de un proceso de formación completamente virtual (eLearning ), o de formación semi-presencial ( Blended Learning ). (Cañellas, 2010) Su conceptualización está orientada a que éstos sean fácilmente accesibles, amigables, intuitivos y flexibles, permitiendo ser utilizados tanto por los administradores, coordinadores y formadores, como por los estudiantes de un determinado curso, en cualquier momento y lugar, mientras se disponga de conexión a Internet. Por otro lado, también potencian de forma destacable la interacción online entre todos los agentes implicados dentro de un proceso de aprendizaje con componente online. Los sistemas LMS tienen amplios propósitos educativos, la elección de una plataforma se vuelve compleja ya que en el mercado hay opciones comerciales y de libre distribución, constantemente aparecen nuevos sistemas de gestión del aprendizaje y las actualizaciones de las versiones suelen tener mejoras importantes, por lo tanto, todo esto genera problemas para la toma de decisiones en cuanto a la evaluación de calidad se refiere. Esto lleva a que se determine las características y objetivos que se requieren para satisfacer las necesidades de los estudiantes, profesores y administradores.
CARACTERIZACIÓN DE LA CALIDAD Según (Menéndez & Castellanos, 2011), Kapp plantea que la calidad de una plataforma e-Learning está dada por cinco características: Mantenimiento, Compatibilidad, Usabilidad, Modularidad y Accesibilidad. Al ser evaluadas de forma individual aseguran el entendimiento de las necesidades tecnológicas. Cada una de estas características es crítica para el éxito. Muchas de ellas se traslapan pero si son evaluadas de forma individual aseguran un completo entendimiento de las necesidades tecnológicas de una plataforma e-Learning. Sin embargo Kapp no establece criterios de medición, dejando a los usuarios su definición.
MARCO PARA EL ANÁLISIS DE LA POTENCIALIDAD Y VALIDEZ Georgiakakis establece la utilidad y calidad de uso de un LMS a través de un proceso de dos pasos: Explorar y determinar su naturaleza con base a sus características y Examinar la usabilidad y la utilidad. El modelo propone una serie de criterios tanto pedagógicos como técnicos y a su vez lo divide en práctico y educativo. Emplea listas de cotejo y una matriz de decisión para identificar las características y clasificarlo. Después de definidas las características procede a establecer una serie de criterios como: Fácil de aprender y comprender, Eficiente en la realización de tareas, Eficiente en la navegación, Retorno a lugares seguros y Agradable. Los valores con los que se evalúa son del 1 al 5
MARCO PARA LA EVALUACIÓN Según Beshears la evaluación se puede hacer por los criterios: Requerimientos conocidos, Requerimientos futuros desconocidos, Implementación, Soporte y Costo. Se distribuyen 100 puntos entre ellos, también se puede realizar una lista de características para cada uno de ellos del 0 al 5. La suma de todos estos valores determina la calidad de la herramienta.
CALIDAD BASADA EN LAS HERRAMIENTAS Se basa en la presencia o ausencia de herramientas clasificados en ocho categorías y en un conjunto de herramientas, la cual encontramos en un sitio web llamado EduTools. Mediante un formulario el desarrollador indica las herramientas que proporciona el sistema, donde será evaluado por un grupo de expertos. Las categorías y algunas herramientas son: herramientas de comunicación como chat, foro; herramientas de productividad como marcadores, búsqueda interna; herramientas para el desarrollo del alumno como Autoevaluaciones, portafolio; herramientas administrativas como Autenticación, Registro; herramientas de publicación de cursos como herramientas de control de calificaciones, monitoreo de estudiantes; Diseño curricular como plantillas de cursos, administración del currículo; Hardware/software como requiere un navegador web, requerimientos BD; Precio/licenciamiento como costo, código abierto.
SISTEMAS DE GESTIÓN DE CONTENIDOS DE CÓDIGO ABIERTO Define trece criterios generales: Costo de uso, Mantenibilidad, Usabilidad y soporte, Perfil del vendedor y de la herramienta, Modularidad, Acorde a estándares, Capacidad de integración, Integración de Objetos de Aprendizaje, Efectividad y eficacia, Escalabilidad, Seguridad, Consideraciones de hardware y software y Soporte multilenguaje. Además de eso una lista de características y herramientas: Administración, Seguridad, Acceso, Integración con otros sistemas, Diseño de cursos, desarrollo e integración, Monitoreo de cursos, Diseño de actividades, Colaboración en línea y comunicaciones y Herramientas de productividad. Cada característica emplea una escala de 0 a 5 donde 0 es no existe o pobre, 3 es promedio básico estándar y 5 excede las expectativas del estándar.
ESTÁNDARES DE EDUCACIÓN A DISTANCIA En este contexto existen organizaciones que crean normas, estándares y especificaciones para la interoperabilidad y calidad del servicio entre LMS, entre ellas:
ADL (Advanced Distributed Learning Initiative) ) es una iniciativa del Departamento de ADL (Advanced Distributed Learning Defensa (DoD) de los Estados Unidos para implementar y desarrollar herramientas y tecnologías de aprendizaje. Fue creada con el auspicio de la Oficina del Subsecretario de Defensa para Personal y Preparación (Office of the Under Secretary of Defense for Personnel and Readiness. OUSD P&R) para potenciar el uso de las tecnologías de la información para modernizar el aprendizaje estructurado. (Wikipedia, 2014) La ADL fue la impulsora del estándar de e-learning internacional SCORM y actualmente promociona el desarrollo de Tin Can API, y desarrolla principios y guías de trabajo necesarias para el desarrollo y la implementación eficiente, efectiva y en gran escala de formación educativa sobre nuevas tecnologías Web.
AICC (Aviation Industry CBT Committee) Creado en 1988, AICC es un grupo internacional de profesionales del entrenamiento y capacitación basada en tecnología. (Gobierno Venezolano). Es una organización sin fines de
lucro, reúne a los formadores de la aviación, los desarrolladores de cursos, los proveedores de software, diseñadores y fabricantes para desarrollar normas, recomendaciones de tecnología y análisis de las mejores prácticas, compartiendo los estándares y realizando un proceso de certificación, así mismo los miembros contribuyen a desarrollar las normas de las tecnologías de la información de vanguardia. Sus objetivos son conseguir una formación más rentable, eficiente y sostenible. de entre todas sus recomendaciones, la guía CMI (computer-managed instruction) es la que ha tenido más impacto. (Bligoo) Los objetivos de la AICC son los siguientes: 1. Asistir en la elaboración de guías de referencia aeronáutica que promueven las ventajas económicas y la eficacia de los medios de entrenamiento computarizado. 2. Permitir la interoperabilidad entre los diferentes productos y plataformas de uso de la tcc 3. Proporcionar un foro abierto para la discusión del entrenamiento de tcc (terapia cognitivo-conductual) y los sistemas de tecnología de la formación en general. Fue el primer organismo creado para crear un conjunto de normas que permitiese el intercambio de cursos CBT (Computer Based-Training) entre diferentes sistemas. Las especificaciones del AICC cubren nueve áreas principales, que van desde los objetos de aprendizaje (LO) hasta los LMS. Normalmente, cuando una compañía dice que cumple con las especificaciones AICC, significa que cumple con al menos una de estas directivas y recomendaciones (AGRs): AGR 01: AICC Publications AGR 02: Courseware Delivery Stations AGR 03: Digital Audio AGR 04: Operating/Windowing System AGR 05: CBT Peripheral Devices AGR 06: Computer-Managed Instruction AGR 07: Courseware Interchange
AGR 08: Digital Video AGR 09: Icon Standards: User Interface AGR 10: Web-Based Computer-Managed Instruction AICC se basa en la comunicación mediante mensajes HTTP para conseguir que se produzca la correcta interpretación de los cursos por parte del LMS, llamándose a este protocolo mediante las siglas HACP, que significan HTTP AICC CMI Protocol. La facilidad de uso del lenguaje HTML, unido a que es muy fácil de interpretar incluso por aquellos docentes con nociones informáticas básicas, es un punto a favor de AICC frente a SCORM. Sin embargo, está claro que a niveles “profesionales” las posibilidades de JavaScript frente a HTML son casi ilimitadas. (CEIDC, 2010). En el caso de AICC el gran problema es que este obliga a que los desarrolladores empleen el sistema de codificación ISO 8859, que es el que permite que se vean correctamente los caracteres propios de la lengua inglesa, pero que es muy problemático con los caracteres propios, por ejemplo, del castellano, impidiendo por lo tanto el poder utilizar los sistemas de codificación UNICODE, que son los que se emplean a modo general en la zona europea.
IMS (Global Learning Consorcio) IMS Global Learning Consortium es un grupo independiente, sin ánimo de lucro que inició su labor en 1997 impulsado por el NLII (National Learning Infrastructure Initiative) que es una organización apoyada por Educase. Aunque inicialmente surgió como una iniciativa en EEUU, ahora en IMS participan instituciones educativas de todo el mundo (desde universidades a pequeñas empresas de formación), fabricantes, y vendedores de aplicaciones software para la educación. (Ministerio de Educacion y Ciencia) IMS Global trabaja en pos del avance de tecnología que pueda aplicarse a gran escala y mejorar de manera asequible la participación y los logros educativos. Los miembros de IMS son proveedores líderes, instituciones y organizaciones gubernamentales que hacen posible el futuro de la educación colaborando con iniciativas de interoperabilidad y adopción. IMS patrocina Learning Impact, un programa de premios y conferencia globales para reconocer el impacto de la tecnología innovadora en el acceso a, la asequibilidad y calidad de la educación. (PRNewswire-HISPANIC PR WIRE, 2014)
La misión de IMS es desarrollar y promover especificaciones abiertas para facilitar las actividades del aprendizaje en línea. El trabajo de la IEEE fue recogido por esta corporación privada fundada por algunas de las empresas más importantes del sector. Su objetivo fue la creación de un formato que pusiese en práctica las recomendaciones de la IEEE y la AICC. Actualmente es el principal promotor y desarrollador de especificaciones abiertas orientadas a la enseñanza electrónica. Su objetivo es que, a partir de estas especificaciones, se consiga la interoperabilidad de aplicaciones y servicios en la enseñanza electrónica para que los autores de contenidos y de entornos puedan trabajar conjuntamente. IMS tiene muchas especificaciones (actualmente tiene 16 especificaciones) ya que cada una de ellas está enfocada en una necesidad distinta del proceso de enseñanza. Hay especificaciones que se refieren a metadatos de los objetos educativos, al formato de empaquetamiento y distribución de los cursos, a la información del usuario, a la secuenciación de contenidos educativos, o incluso al diseño de la actividad educativa en su conjunto
IEEE LTSC (Learning Technology Standards Committee) El comité de estandarización de las tecnologías aplicadas al aprendizaje, Learning Technologies Standarization Committee, (LTSC) perteneciente al Institute of Electrical and Electronic Engineers (IEEE), cubre prácticamente todos los aspectos del aprendizaje basado en ordenador. Su misión principal es desarrollar estándares técnicos, prácticas recomendadas y guías para componentes software, herramientas, tecnologías y métodos de diseño que faciliten el desarrollo, implantación, mantenimiento e interoperabilidad de implementación de sistemas educativos. LTSC está organizado en subcomités que se encargan de áreas de trabajo determinadas como la definición de la arquitectura de sistemas de e-learning o la definición de metadatos para objetos educativos. En estos momentos el área de mayor impacto es la relacionada con los metadatos de los recursos educativos, ya que el estándar Learning Object Metadata (estándar IEEE 1484.12.1 – 2002) es el estándar oficial que más se está utilizando actualmente en e-learning.
El LTSC se encarga de preparar normas técnicas, prácticas y guías recomendadas para el uso informático de componentes y sistemas de educación como de su interoperación. El estándar IEEE 1484.11.1-4 evalúa los LMS
ISO / IEC ISO / IEC TR 29163-4:2009 ISO / IEC TR 29163-4:2009 cubre lo esencial de Learning Management System (LMS) agrupa los diferentes estándares como IMS, AICC y ADL.
PROJECT OKI Por sus siglas en inglés (Open Knowledge Initiative, Iniciativa de Conocimiento Abierto) busca encontrar las ventajas y beneficios que ofrece para el desarrollo de LMS. OKI, de MIT es un proyecto de colaboración con la Universidad de Stanford, el Dartmouth College, la Universidad de Harvard, la Universidad Estatal de Carolina del Norte, la Universidad de Michigan, la Universidad de Pennsylvania, y la Universidad de Wisconsin . El OKI se describe así mismo en su sitio en Internet como una arquitectura que desarrolla y promueve las especificaciones que describen cómo los componentes de un entorno de software se comunican entre sí y con otros sistemas empresariales; no es más que una arquitectura abierta y extensible para tecnología utilizada en el aprendizaje, especialmente la educación superior. Las especificaciones de OKI permiten la interoperabilidad sostenible y la integración mediante la definición de normas para la Arquitectura Orientada a Servicios (SOA) y la llamada definición de interfaces de servicio abierto (OSIDs). A través de este trabajo OKI busca abrir nuevas oportunidades de mercado a través de una amplia gama de dominios de aplicación de software.
PORTAFOLIO Portafolio crea especificaciones y normas que describe el tipo de información que puede ser almacenada en el portafolio y como debe llevarse a cabo este registró a nivel de datos. El portafolio del estudiante es un medio de " tareas" dinámicas y progresivas sobre las
principales fortalezas y logros del aprendizaje. Describe los documentos y materiales, los cuales colectivamente sugieren el alcance y la calidad de las actividades del estudiante.
W3C El Consorcio World Wide Web (W3C) es una comunidad internacional donde las
organizaciones, personal con tiempo completo y el público en general trabajan
conjuntamente para desarrollar estándares Web y accesibilidad. Liderado por el inventor de la Web Tim Berners-Lee, se describen especificaciones de accesibilidad en la web y que abarcan los LMS.
LMS normas y estándares Los Sistema de Gestión de Aprendizaje que emplea las TIC para su funcionamiento, debe entenderse como un Software que media los procesos inmersos en estos sistema. Como es un Software debe revisarse desde el punto de vista de evaluativo obedeciendo a los aspectos técnicos según la norma ISO/IEC 9126 sin ser tan riguroso. La norma ISO/IEC 9126 busca poder medir la calidad de un programa informático. Entendiendo por calidad “la propiedad o conjunto de propiedad es inherentes al software que permiten determinar su valor”. Para ello propone la descomposición del atributo calidad en otros más sencillos y fáciles de medir. De esta forma se establecen los requisitos de la calidad de un programa y se consigue un mayor conocimiento del programa estudiado
MODELO DE CALIDAD ISO/IEC 2500 Es la integración de las normas ISO/IEC 9126 e ISO 14598, que pretende el desarrollo de productos de software conforme a su especificación y evaluación de calidad. Define tres vistas para evaluar dicha calidad, la vista interna, relacionada con las propiedades del software asociadas a las primeras fases del desarrollo (tamaño, complejidad, etc.); la vista externa se enfoca a la validación del producto en términos de su efectividad y rapidez, uso de memoria, etc., la vista de uso se refiere a la percepción del usuario con respecto a la efectividad del producto para la ejecución de tareas. Cada vista define una serie de métricas y
aunque las dos primeras vistas no son relevantes, la vista de uso resulta útil desde el punto de vista del usuario. Este modelo permite detectar fortalezas y debilidades de un sistema y se enfoca en la toma de decisiones para la compra y comparación
ESTÁNDAR ISO/IEC 19796-1 Este es el primer estándar de calidad para el aprendizaje, la educación y la capacitación. Se basa en el Marco de Referencia para la Descripción de Calidad (RFDQ) y consta de dos partes: un modelo de procesos como clasificación de referencia y un esquema de descripción para el control de la calidad. El modelo de procesos considera todo el ciclo de vida del e-Learning y tiene las siguientes características: integración, completitud, apertura, adaptabilidad y unicidad. Además se divide en siete categorías (análisis
de
necesidades,
análisis
de
marco
de
trabajo,
concepción/diseño,
desarrollo/producción, implementación, proceso de aprendizaje y evaluación/optimización) y treinta y ocho subprocesos, donde se debe especificar los métodos y métricas a tener en cuenta. El modelo de descripción de procesos, contiene la descripción de las estructuras o procedimientos sobre cómo realizar dichos procesos.
PROS Y CONTRA DE LAS PROPUESTAS Y MODELOS La propuesta presentada por Kapp tiene como inconveniente su generalidad al no establecer de forma clara una metodología ni un rango de valores para la evaluación. En cuanto a la de Beshears está enfocado al proceso de implementación lo que quiere decir que se vuelve complejo para aquellos que no tienen conocimiento al res pecto. En cambio Georgiakakis plantea un aspecto importante que es la usabilidad, traza un esquema de clasificación y unos niveles, que lo hacen sencillo de utilizar, sólo que su evaluación lo hacen expertos y en ambientes controlados. En cuanto al marco TICS, se puede ver su enfoque a la parte tecnológica, donde cobra importancia la interacción usuario-sistema. Su principal ventaja son las inspecciones basadas
en patrones, haciéndola objetiva, sólo que el número de AT´s generados puede no cubrir todas las características. EduTools ofrece un marco genérico y un listado de funcionalidades deseables para las herramientas, haciendo su medición sencilla mediante una lista de cotejo. Pero su desventaja radica en la presencia o ausencia de elementos que hacen que se realice una larga revisión de la calidad del sistema. La herramienta de código abierto establece una metodología cuantitativa para aplicar a la evaluación de calidad de un sistema LMS, solo que esta medición es subjetiva y su valor esta dado en la percepción global. La integración de las normas ISO 9126 e ISO 14598 da como resultado una metodología genérica que no involucra elementos de enseñanza-aprendizaje, esto lo hace limitado, aunque su ventaja es que se puede definir una colección de características y la forma en que serán medidas, estableciendo unos criterios objetivos que evitaran las valoraciones subjetivas. En cuanto al modelo ISO/IEC 19796-1, se enfoca mucho en el proceso de implementación de un esquema de aprendizaje, haciendo que el LMS no sea parte del estándar sino parte de un subproceso. Su ventaja radica en que proporciona un documento enfocado a la generación de métricas y mediciones de calidad.
REFERENCIAS BIBLIOGRÁFICAS. Libro Electrónico Multimedial: Evaluación de la Calidad de la Tecnología Educativa. Capítulo IV. Evaluación de la Calidad del Software Educativo. Enhancing ISO/lEC 25021 Quality Measure. Elements for wider application within ISO 25000 series. Dominique, S.-L., & Witold, S. (2000). Revisión de Modelos para Evaluación de Software Educativo. Cova, A., Arrieta, X., &Duran, J. (2007). La Calidad en los Sistemas de Gestión del Aprendizaje. Méndez, V., & Domínguez, C. M.(2011) Bligoo. (s.f.). http://estandarelearning.bligoo.com. Recuperado el 2 de Noviembre de 2014, de http://estandarelearning.bligoo.com/estandares-e-learning#.VF_QB_mUc4I Cañellas, M. A. (2010). http://www.centrocp.com. Recuperado el 01 de Noviembre de 2014, de http://www.centrocp.com/lms-y-lcms-funcionalidades-y-beneficios/ CEIDC. Recuperado
(2 el
de
Septiembre 01
de de
2010).
http://tecnofilos.aprenderapensar.net .
Noviembre
de
2014,
de
http://tecnofilos.aprenderapensar.net/2010/09/02/scorm-frente-a-aicc-%C2%BFque-ventajasy-desventajas-presenta-cada-uno-de-estos-estandares/ Gobierno Venezolano. (s.f.). http://ead.opsu.gob.ve. Recuperado el 01 de Noviembre de 2014, de http://ead.opsu.gob.ve/OA/R2-UT1-U3%20/paginas/P10.html Lanzilotti, R., Ardito, C., Costabile, M., & De Ange, A. (2006). eLSE methodology: a systematic approach to the e-Learning system evaluation. Educational Technology & Society, 9, 4 , 42-53. Menéndez, D. V., & Castellanos, B. M. (2011). La Calidad en los Sistemas de Gestión del Aprendizaje. Abstraction & Application 4 , 9-25. Ministerio de Educacion y Ciencia. (s.f.). http://ares.cnice.mec.e. Recuperado el 01 de Noviembre de 2014, de http://ares.cnice.mec.es/informes/16/contenido/4.htm
PRNewswire-HISPANIC http://www.prnewswire.com.
PR
WIRE.
Recuperado
el
(28 2
de
de
Octubre
Noviembre
de de
2014).
2014,
de
http://www.prnewswire.com/news-releases/ims-global-learning-consortium-otorga-el-mayornivel-de-certificacion-al-item-banking-system-de-ets-280703172.html Wikipedia. (3 de Abril de 2014). http://es.wikipedia.org . Recuperado el 2 de Noviembre de 2014, de http://es.wikipedia.org/wiki/Advanced_Distributed_Learning
