Metodología Ceneval
Metodología Ceneval
Directorio
Dirección General Rafael S. Vidal Uribe Dirección General Adjunta de los EXANI Lucía Monroy Cazorla Dirección General Adjunta de los EGEL Jorge Hernández Uralde Dirección General Adjunta de Programas Especiales Rocío Llarena de Thierry Dirección General Adjunta de Operación Francisco Javier Apreza García Méndez Dirección General Adjunta de Difusión Javier Díaz de la Serna Braojos Dirección General Adjunta de Administración Francisco Javier Anaya Torres Dirección Técnica y de Investigación César A. Chávez Álvarez Dirección de Procesos Ópticos y Calificación María del Socorro Martínez de Luna Dirección de Tecnologías de la Información y las Comunicaciones Francisco Manuel Otero Flores Dirección de Relaciones Institucionales María Elena Barrera Bustillos
Redacción Erika González Corzo, Patricia Martínez Cuevas Revisión técnica César Chávez Álvarez Revisión editorial Dirección General Adjunta de Difusión Diseño gráfico Mónica Cortés Genis | Álvaro Reynoso Castañeda
Metodología Ceneval D.R. © 2013, Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval) Av. Camino al Desierto de los Leones 19, Col. San Ángel, Deleg. Álvaro Obregón, C.P. 01000, México, D.F. www.ceneval.edu.mx Se prohíbe la reproducción total o parcial de esta obra –incluido el diseño tipográfico y de por tada–, sea cual fuere el medio, electrónico o mecánico, sin el consentimiento por escrito del editor. Julio de 2013 Impreso en México | Printed in Mexico
Contenido Presentación
7
Marco institucional
9
Principios institucionales
9
Exámenes del Ceneval
9
Cuerpos colegiados
12
Programas permanentes de control de calidad
13
Metodología Ceneval
17
Procesos y fases de la Metodología Ceneval
18
Descripción de los procesos
18
El Ceneval y la cultura de la evaluación
27
Bibliografía
29
| Presentación La evaluación educativa es una herramienta fundamental para encaminar políticas públicas por la vía de la mejora de la educación. Día con día, las pruebas de logro académico a gran escala acrecientan su importancia al identificar las fortalezas y debilidades de los sistemas educativos, de los programas de estudio y de los aprendizajes logrados por los estudiantes. El Ceneval ha desempeñado desde su creación un papel relevante en nuestro país, en virtud de que ha generado información útil para que las instituciones educativas, públicas y privadas, de los niveles medio superior y superior apliquen estrategias de mejora en el cumplimiento de sus funciones. El Ceneval diseña y administra exámenes de alta calidad al servicio de las instituciones educativas. Se ha ganado el reconocimiento de la sociedad por ser un organismo con bases técnicas sólidas, fundamentadas en la psicometría y en la investigación educativa. El Centro es líder en la construcción de pruebas de opción múltiple, rúbricas y otros instrumentos de evaluación de habilidades y competencias académicas o profesionales. Para conservar este liderazgo, el Ceneval debe fortalecer sus acciones de mejoramiento continuo, mantener actualizados los instrumentos de medición, ampliar la participación de expertos en los cuerpos colegiados encargados de supervisar y construir los exámenes, cuidar con esmero los procesos involucrados en cada estrategia de evaluación y capacitar de manera permanente a su personal técnico. El conocimiento adquirido a lo largo de su trayectoria y la profusa revisión de la literatura para el desarrollo de pruebas que producen instituciones educativas y organizaciones nacionales y del extranjero dedicadas a la evaluación, se constituyeron en el cimiento que permitió consolidar en los años recientes la metodología del Ceneval, que sistematiza los procesos y fases indispensables para diseñar, construir, aplicar y calificar los instrumentos de evaluación. Los avances del conocimiento, los cambios en la sociedad y sus instituciones y las nuevas necesidades que debe satisfacer la evaluación obligan a repensar, revisar y actualizar los modelos con que esta opera en los hechos; en congruencia, la Metodología Ceneval también se modifica. Otra actividad constante del Centro son las acciones permanentes de control de calidad de los procesos; el desarrollo y uso intensivo de recursos informáticos y un amplio programa de capacitación para el perfeccionamiento técnico del personal. En la perspectiva de promover la cultura de la evaluación en amplios sectores de la sociedad y con el propósito de difundir en todo foro público los rasgos esenciales de la Metodología Ceneval, se ha preparado la segunda edición de esta publicación que incorpora modificaciones recientes. Ahora se amplía la información sobre el marco institucional y se incluyen aspectos que permiten comprender las particularidades de su quehacer en torno al modelo que se emplea en el desarrollo de los instrumentos de evaluación.
Presentación
7
| Marco institucional Principios institucionales
El Centro Nacional de Evaluación para la Educación Superior (Ceneval) es una asociación civil que surge por mandato de la Asociación Nacional de Universidades e Instituciones de Educación Superior ( ANUIES ) en 1994. Desde su creación se caracteriza por ser una institución eminentemente técnica, cuya misión es promover la calidad de la educación mediante evaluaciones válidas, confiables y pertinentes. Sus actividades se orientan, principalmente, a evaluar los conocimientos y habilidades adquiridos por los individuos en procesos de enseñanza-aprendizaje formales o no formales de los niveles educativos medio superior y superior. El Centro ofrece sus servicios a instituciones educativas públicas y privadas, organizaciones de profesionistas y a organismos del sector gubernamental y del ámbito empresarial. Para cumplir su misión, el Ceneval rige sus actividades con los siguientes principios básicos: Imparcialidad. El Centro no favorece a ninguna persona, organismo o institución en particular. Calidad técnica. Los procesos de diseño, construcción, aplicación, calificación y reporte de resultados de los exámenes están apegados a estándares de calidad reconocidos por agencias de evaluación nacionales y de otros países para garantizar su validez y confiabilidad. Actualidad. Los exámenes se revisan continuamente para ajustar los contenidos que se evalúan a los cambios que sobrevienen en las áreas disciplinares o profesionales. Confidencialidad. Las personas y las instituciones evaluadas tienen derecho a que sus resultados no sean revelados sin su consentimiento. Transparencia. Los procesos concernientes a la elaboración, aplicación y calificación de los exámenes están abiertos a escrutinio, siempre y cuando no se contrapongan al principio de confidencialidad. ▪
▪
▪
▪
▪
Exámenes del Ceneval
Características
La mayoría de los exámenes que desarrolla y aplica el Ceneval son evaluaciones de alto impacto: las personas que los sustentan afrontan consecuencias directas de los resultados que obtienen. Esta particularidad compromete al Centro a que cada uno de sus instrumentos de evaluación cumpla con las siguientes propiedades:
Marco institucional
9
▪
▪
▪
▪
▪
Validez. Los instrumentos se diseñan y construyen para medir un dominio claramente identificado.
Los reactivos de cada instrumento de medición son congruentes con las definiciones del objeto de medida sancionado por el Consejo Técnico del examen. Por ello, es posible realizar inferencias a partir de indicadores fehacientes del rasgo medido. Confiabilidad. Los resultados de la evaluación son consistentes, de tal forma que diferentes puntajes reflejan diversos niveles de competencia de los sustentantes. Equidad. Los instrumentos de medición se construyen de forma tal que no benefician a un gr upo determinado. Se establecen las medidas necesarias para evitar sesgos culturales que alteren la evaluación. Pertinencia. Los instrumentos de medición cuentan con un marco de referencia conceptual que sustenta la definición del constructo medido y cubre de manera representativa los dominios definidos como objeto de evaluación. Objetividad. Las ristras de respuestas de los sustentantes se califican siguiendo el algoritmo autorizado para cada examen, por lo que todos los sustentantes son calificados de la misma forma. Todos los instrumentos de medición se califican en un área independiente a la que construye el examen y a la que lo aplica.
Tipología de exámenes
Cada instrumento de medición se diseña y construye de acuerdo con un propósito que delimita los usos de sus resultados de evaluación. El Ceneval desarrolla los siguientes exámenes: Exámenes de admisión ▪
▪
▪
▪
▪
▪
10
Son exámenes normativos que evalúan dominios con un alto poder predictivo sobre el rendimiento académico de los estudiantes en el primer ciclo educativo. Permiten a las instituciones educativas identificar a los mejores candidatos para ingresar a un programa académico. Los sustentantes que presentan el examen en una institución educativa son ordenados de acuerdo con el puntaje que obtuvieron en la prueba de logro académico. Las instituciones usuarias determinan el puntaje requerido para ingresar a cada uno de sus programas. Los resultados de los exámenes se reportan en una escala continua a la que se le da el nombre de Índice Ceneval. A las instituciones usuarias se les entregan reportes con la información de la población que sustentó el examen.
Exámenes de egreso ▪
▪
▪
▪
▪
▪
Son exámenes criteriales que se diseñan considerando un perfil profesional validado; pueden estar alineados o no a un programa de estudios específico. Su propósito es identificar los conocimientos y habilidades que logran los sustentantes al concluir un proceso formal de instrucción. Informan sobre los niveles de desempeño en las áreas que mide el examen, por lo que la escala de medición es categórica. A todos los sustentantes se les entrega un reporte individual de resultados. Se otorga un testimonio de desempeño satisfactorio o sobresaliente a los sustentantes que cubren los criterios establecidos en cada examen. A las instituciones educativas se les entrega un reporte que contiene información de todos los estudiantes que presentaron el examen.
Exámenes de diagnóstico ▪
▪
▪
▪
Son exámenes criteriales que informan sobre los niveles de desempeño logrados por los sustentantes. Su propósito es informar sobre los conocimientos, habilidades y competencias que han adquirido los sustentantes en un punto de su trayecto educativo o desempeño profesional. Generalmente los contenidos que se evalúan se alinean a currículos o a descripciones puntuales de una competencia. Permiten a las instituciones educativas identificar fortalezas y debilidades de un programa académico.
Exámenes de acreditación ▪
▪
▪
▪
▪
Son exámenes criteriales que se diseñan considerando los aspectos esenciales del nivel educativo que se pretende acreditar. Su objetivo es identificar si los sustentantes poseen los conocimientos y las habilidades equivalentes a los que tienen en su repertorio los estudiantes que cursaron formalmente el nivel educativo que se pretende acreditar. Estos exámenes se aplican en momentos no ligados a procesos de instrucción. A cada sustentante se le informa el resultado de su evaluación. A las autoridades de la Secretaría de Educación Pública se les notifican los resultados de todos los sustentantes que presentan el examen.
Exámenes de certificación ▪
▪
▪
Su objetivo es identificar si los sustentantes cuentan con un repertorio actualizado de conocimientos y habilidades considerados como esenciales para la práctica profesional. Se aplican en momentos no ligados a procesos de instrucción. Se ciñen a lo que el gremio profesional considera relevante de evaluar.
Marco institucional
11
Cuerpos Colegiados
En los procesos de construcción de los instrumentos de medición contribuyen con el Ceneval cientos de especialistas que aportan sus conocimientos y experiencia en diversos órganos de trabajo. Los especialistas –docentes, investigadores y autoridades– provienen de instituciones educativas públicas y privadas de todo el país; colaboran también profesionales con amplio reconocimiento en su campo, que laboran en el ámbito empresarial, en el sector público y en el ejercicio libre de la profesión. Para cada examen se constituye un Consejo Técnico y diversos comités académicos. Estos cuerpos colegiados se distinguen entre sí por las actividades que realizan en las fases de la Metodología Ceneval. Los cuerpos colegiados son de vital importancia para el desarrollo de los instrumentos, esencialmente porque aportan el conocimiento y el juicio de expertos que permiten, por una parte, construir el contenido de la evaluación y, por la otra, conjuntar evidencias para sustentar la validez del instrumento. A continuación se describen brevemente las funciones de cada grupo de apoyo: Consejo Técnico. Es el órgano rector del examen. Sus funciones son proponer, guiar, vigilar y autorizar todas las decisiones que afectan la evaluación, cuidando que el instrumento sea vigente, válido, confiable, pertinente y relevante. Comité Académico de Diseño. Este grupo se conforma con especialistas de los campos temáticos que incorpora el examen y puede integrar a miembros del Consejo Técnico. Su función principal es delimitar el objeto de medición, y en tal virtud define los constructos por medir y selecciona los contenidos que deben ser evaluados. Con este grupo se elaboran las definiciones conceptuales de las áreas que se medirán, así como la estructura del examen. Comité Académico de Elaboración de Especificaciones. Con base en la estructura del examen, este cuerpo colegiado elabora las especificaciones de reactivos que ponen de manifiesto una definición operacional de los conocimientos, habilidades o competencias que se pretende medir, así como un reactivo muestra. En este grupo pueden participar consejeros técnicos o miembros del comité de diseño. Comité Académico de Validación del Objeto de Medida. Este cuerpo colegiado valida de manera integral los contenidos propuestos para el instrumento y verifica que la estructura y las especificaciones sean congruentes. Un aspecto esencial de las tareas del comité es revisar la correspondencia del contenido con las definiciones del perfil referencial del examen. Con estas labores se alinean todos los elementos definitorios del contenido. Además de especialistas en los temas, pueden participar expertos que hayan formado parte de los comités anteriores o consejeros técnicos. Comité Académico de Elaboración de Reactivos. Este comité se encarga de elaborar los reacti vos alineados a las especificaciones y siguiendo los lineamientos técnicos institucionales. Integra a especialistas que cumplen un perfil académico y profesional establecido por el Consejo Técnico acorde con los temas en que participan. Para garantizar la calidad de los reactivos, todos los elaboradores ▪
▪
▪
▪
▪
12
▪
▪
▪
participan en talleres de capacitación y utilizan el Banco de Reactivos para Asesores Externos (eBRAE ), que es la herramienta informática del Ceneval para la administración de los bancos de reactivos en proceso de construcción. Comité Académico de Validación Externa de Reactivos. Los miembros del comité, organizados en mesas de trabajo, verifican que el contenido de cada reactivo esté alineado a la especificación y, por tanto, a la estructura del examen; analizan que el reactivo esté libre de errores de contenido (redacción, imágenes, tablas o cualquier otro recurso utilizado); revisan que tenga únicamente una respuesta correcta, que los distractores sean plausibles y que la información del reactivo esté libre de sesgos culturales (de género, religiosos, políticos, regionalistas, racistas, clasistas, sexistas, etcétera). El comité debe dictaminar si el reactivo mide contenidos vigentes, relevantes y pertinentes para la población sustentante. Sus miembros podrán hacer modificaciones para lograr que el reactivo posea las características adecuadas ya que posteriormente no será modificado, excepto para corregir errores ortotipográficos. Por su importancia, los especialistas que participan en este comité deben tener una trayectoria académica o laboral destacada y, por añadidura, los conocimientos necesarios para emitir un juicio sobre el contenido de cada reactivo. Comité Académico de Clasificación. Este cuerpo colegiado se conforma con la intención de verificar la ubicación temática de los reactivos en la estructura y su correspondencia con la especificación. Comité Académico de Puntos de Corte. Este cuerpo colegiado se conforma para los exámenes con referencia al criterio; es su responsabilidad establecer los puntajes mínimos (puntos de corte) que serán la base para clasificar a los sustentantes en los diferentes niveles de logro determinados previamente por los especialistas en el consejo técnico del examen. Este comité también elabora los descriptores conceptuales de cada nivel de desempeño.
Programas permanentes de control de calidad
El Ceneval ha redoblado esfuerzos para mejorar la calidad de los productos y servicios que brinda a sus usuarios. Se han vigorizado las acciones para detectar fortalezas y áreas de oportunidad que permitan una mejora constante. En este sentido, para garantizar la observancia de las normas institucionales, el cumplimiento de los estándares, la recolección de las evidencias que den cuenta de los procesos realizados y la debida atención a los usuarios, en el Ceneval se llevan a cabo acciones de control interno, auditorías técnicas y estudios para conocer el nivel de satisfacción del usuario.
Marco institucional
13
Acciones de control interno
La supervisión del cumplimiento de las normas, procedimientos y estándares de calidad son actividades cotidianas del cuerpo directivo que conforma cada una de las direcciones generales adjuntas. Estos funcionarios coordinan las actividades del personal técnico a su cargo y revisan la calidad de los productos o servicios que se brindan a los usuarios. Sobre este cuerpo directivo recae la responsabilidad de establecer los mecanismos de control que se requieran para vigilar la calidad de los procesos y productos. Asimismo, es de su competencia solicitar los apoyos que se requieran para solventar dificultades técnicas y de capacitación.
Auditorías técnicas
Simultáneamente a las acciones de control desplegadas en cada una de las direcciones generales adjuntas, la Dirección Técnica y de Investigación ( DTI ) realiza auditorías cuyo objeto es la valoración técnica de los aspectos nodales de los instrumentos. En las auditorías se verifica el cumplimiento de los lineamientos con base en protocolos específicos focalizados en los aspectos que interesa revisar; en cada auditoría se elabora un informe de resultados que incluye la descripción de las fortalezas encontradas y, si es el caso, las recomendaciones para mejorar la calidad técnica del instrumento en cuestión. Posteriormente, la DTI realiza el seguimiento de las recomendaciones emitidas. Auditorías cualitativas y cuantitativas abordan, por ejemplo, la revisión de la estructura del examen, la calidad de los reactivos activos del banco, las reglas de diseño utilizadas en el ensamble de versiones, las especificaciones técnicas de los reactivos incorporados en cada versión, las características psicométricas de los reactivos y de las versiones operativas, los procesos de lectura y calificación y los reportes que se turnan a las instituciones usuarias, así como los informes de observaciones que los sustentantes hacen a los reactivos. Auditorías de los diferentes procesos que define la Metodología Ceneval consisten en verificar in situ el desarrollo de acciones que deben llevarse a cabo de manera obligatoria, conforme lo establecido en el Prontuario de Normas Técnicas. En las acciones de auditoría técnica colaboran con la DTI las direcciones generales adjuntas de Difusión y de Operación, la dirección de Tecnologías de la Información y la Comunicación, así como la de Procesos Ópticos y Calificación, suministrando información, procesándola o trabajando conjuntamente.
14
Estudios del nivel de satisfacción del usuario
Un aspecto fundamental para el control de la calidad es la opinión de los usuarios acerca de los productos y servicios del Centro. En la exploración de los niveles de satisfacción de los usuarios se considera el análisis sobre la utilidad y la pertinencia de la evaluación, la oportunidad con que se da la información sobre los exámenes o sobre la logística de las aplicaciones, la eficiencia del registro en línea, el desempeño de los coordinadores de aplicación o aplicadores de exámenes, la rapidez en el envío de los resultados de los sustentantes, la diligencia para solucionar problemas y la difusión de los servicios a los cuales pueden acceder, entre otros aspectos. El cuidado de la calidad está vinculado con la búsqueda constante de un alto nivel técnico en la elaboración de los exámenes, junto con una atención esmerada a los usuarios de los instrumentos de evaluación.
Marco institucional
15
| Metodología Ceneval Después de algunos años de experiencia, el Ceneval se dio a la tarea de formalizar el modelo de evaluación institucional, recuperando lo hecho por las diferentes áreas de la organización y enriqueciéndolo con los conocimientos emanados de la literatura especializada. En los primeros años de su existencia, cada coordinación de examen estableció normas y procedimientos mínimos retomados de las experiencias nacionales y de instituciones con experiencia en exámenes de gran escala (College Board, Educational Testing Service, entre otros). Durante varios años coexistieron varios métodos de trabajo en los que se realizaban tareas comunes pero no estandarizadas. Posteriormente, la constitución de un órgano de evaluación externa en el año 1999, 1 permitió establecer los estándares de calidad para todos los instrumentos del Centro. Entre los años 2001 y 2005 un proyecto conjunto del personal técnico tuvo la finalidad de compartir las prácticas de trabajo, y el resultado fue una primera documentación de los procesos inherentes a la construcción de los exámenes. Sin embargo, el mayor impulso para la concreción de una metodología propia se ha desplegado en estos últimos años. Los esfuerzos de sistematización han cristalizado en la Metodología Ceneval que describe la secuencia de procesos y las fases necesarias para el desarrollo de los instrumentos de evaluación. La metodología incorpora procedimientos basados en los últimos avances de la psicometría y de otras disciplinas afines. En el modelo que se sigue, los productos de una fase se convierten en insumos de la siguiente. Además, considera diversas tareas de verificación en las que se revisa el cumplimiento de los lineamientos técnicos institucionales que se han emitido para lograr los estándares de calidad exigidos.2 De esta manera, la metodología establece tanto el método por seguir, las consideraciones técnicas y los estándares, así como las normas, procedimientos y responsabilidades a las que el personal directivo y el técnico deben ajustarse en cada fase de trabajo. Como complemento indispensable para desplegar las actividades necesarias y controlar cada proceso y producto, el Ceneval ha consolidado un equipo técnico capaz de desarrollar una herramienta informática robusta y confiable. El Banco de Reactivos para Asesores Externos (e BRAE ) y el Banco de Seguridad (eBASE ) conforman la plataforma informática que obliga a que la estructura del examen, la totalidad de los reactivos que se elaboran y los exámenes que se ensamblan transiten por los procesos establecidos en la Metodología Ceneval.
1 2
En 1999 se instala el Consejo Asesor Externo, CAE. En 2000 el Ceneval publica los Estándares de Calidad para Instrumentos de Evaluación. Al final del documento se incorpora una bibliografía básica.
Metodología Ceneval
17
La administración de la plataforma está a cargo de la Dirección Técnica y de Investigación ( DTI ). En lo que respecta a los aspectos tecnológicos, el área responsable es la Dirección de Tecnologías de la Información y las Comunicaciones ( DTIC ). La Metodología Ceneval se difunde entre la comunidad institucional a través del Prontuario de normas técnicas y estándares , publicado en volúmenes distribuidos de la siguiente manera: el primero corresponde a los procesos de diseño de la evaluación, delimitación del objeto de medida y construcción del banco de reactivos. El segundo aborda las normas de los procesos de verificación cuantitativa y ensamble de cuadernillos y formas de versiones. El tercero se refiere de manera particular al proceso de aplicación (operación) de los instrumentos. En otro volumen se establece la normativa para los procesos de calificación y emisión de resultados, así como lo relativo al mantenimiento de los instrumentos. Finalmente, en un volumen independiente, se documentan las normas para la elaboración de materiales complementarios a los instrumentos: la guía del sustentante y el manual técnico, entre otros. La normativa del Ceneval se apega a las recomendaciones emanadas de entidades académicas como American Educational Research Association ( AERA ), American Psychological Association ( APA ), National Council on Measurenment in Education ( NCME ) y el Joint Committee on Standards for Educational Evaluations.
Procesos y fases de la Metodología Ceneval
El modelo de evaluación consta de diez procesos que se subdividen en 33 fases: desde la concepción de un examen hasta las acciones para su mantenimiento, incluyendo la elaboración de sus materiales complementarios. En la tabla 1 se muestra la metodología y a continuación se describen sus rasgos principales.
18
Tabla 1 | Metodología Ceneval: procesos y fases Proceso I.
II.
III.
Diseño de la evaluación
Delimitación del objeto de medida
Construcción del banco de reactivos
IV. Verificación cuantitativa
Fase 1.
Definición de las características de la evaluación
2.
Definición conceptual del objeto de medida
3.
Propuesta de la estructura
4.
Diseño de especificaciones de reactivos
5.
Validación del objeto de medida
6.
Elaboración de reactivos
7.
Validación externa de reactivos
8.
Revisión de estilo de reactivos
9.
Piloteo de reactivos
10. Calibración de reactivos 11. Integración V.
Ensamble de cuadernillos y formas
12. Revisión editorial 13. Publicación 14. Planeación y programación 15. Registro
VI. Aplicación
16. Capacitación y asignación de auxiliares para la aplicación 17. Logística y preparación de materiales de aplicación en papel y en línea 18. Ejecución y control de aplicación 19. Lectura y corrección
VII. Procesamiento de la información y calificación
20. Establecimiento de puntos de corte 21. Equiparación 22. Calificación 23. Validación de resultados 24. Difusión de los resultados
VIII. Emisión de resultados
25. Resguardo de la información 26. Revisión cualitativa
IX. Mantenimiento del examen
27. Revisión cuantitativa 28. Renovación de bancos y versiones 29. Elaboración de la guía para el sustentante
X.
Elaboración del material complementario
30. Integración del Manual técnico 31. Conformación del Cuestionario de contexto 32.
Elaboración de materiales adicionales
33.
Publicación en el portal del Ceneval
Metodología Ceneval
19
Descripción de los procesos
Proceso I. Diseño de la evaluación
A partir de la aprobación institucional del proyecto, se definen las características generales de la estrategia de evaluación que serán las directrices para su desarrollo. Con estas bases se elabora un documento rector denominado perfil referencial , el cual concentra las características más importantes del instrumento de medición y sus condiciones de aplicación, calificación e interpretación de los resultados. En este proceso se desarrolla la fase 1: 1. Definición de las características de la evaluación El perfil referencial debe ser elaborado con base en el propósito de la evaluación, la población a la que se dirige y las condiciones en que es posible la evaluación. En aras de garantizar su calidad, el perfil referencial debe ser aprobado por los especialistas que conforman el consejo técnico del examen, quienes verifican la pertinencia de los planteamientos que serán el fundamento para el desarrollo del instrumento de evaluación.
Proceso II. Delimitación del objeto de medida
En el proceso de delimitación del objeto de medida se elaboran los elementos que constituyen la descripción conceptual y operacional de lo que se pretende medir y se realiza su validación por juicio de expertos. En un marco teórico se plantea la definición del constructo y la delimitación conceptual de los dominios que lo constituyen. Sobre la base de la racionalidad trazada, se seleccionan los contenidos generales y específicos que se incluirán en el examen. Los contenidos se organizan en una estructura jerárquica que muestra con claridad las áreas, subáreas y temas considerados. Con estos elementos se construyen las especificaciones de los reactivos que constituyen una descripción de cómo deben ser los reactivos. La pertinencia de los contenidos y su congruencia lógica debe ser validada por especialistas. Este proceso se desarrolla en cuatro fases: 2. Definición conceptual del objeto de medida 3. Propuesta de la estructura 4. Diseño de especificaciones de reactivos 5. Validación del objeto de medida Cada uno de los productos de las diversas tareas que se realizan aporta evidencias para sustentar la validez del examen. Asimismo, estos elementos permiten concretar el objeto de la medición y ofrecen la materia prima para la construcción de los reactivos con que se hará la medición.
20
Proceso III. Construcción del banco de reactivos
Los reactivos constituyen la unidad básica de observación que permite hacer inferencias sobre la presencia de un conocimiento o habilidad. Los reactivos representan las variables manifiestas (observables) de los constructos o rasgos latentes (no observables) que fueron definidos como objeto de la medición a través de la estructura y de las especificaciones. Para conformar el banco, los reactivos elaborados por los especialistas deben someterse a una re visión efectuada por el personal técnico del Ceneval; posteriormente, otro grupo de expertos realiza la validación del contenido. Para esta distribución de tareas, los especialistas se agrupan en dos comités académicos independientes y participan en talleres de capacitación sobre la elaboración y validación de reactivos. Antes de permitir su exposición en pruebas piloto, los reactivos pasan por una revisión de estilo. Las fases previstas para este proceso de construcción del banco son: 6. Elaboración de reactivos 7. Validación externa de reactivos 8. Revisión de estilo Las acciones realizadas en esta fase permiten garantizar que los reactivos cumplen de manera cabal con los lineamientos técnicos institucionales y que están libres de errores de contenido; asimismo el Ceneval asegura que se generen y conserven las evidencias que sustentan la validez de los contenidos del examen.
Proceso IV. Verificación cuantitativa
Durante la construcción del banco, la revisión de los reactivos es eminentemente cualitativa. Por su parte, el proceso de verificación cuantitativa se enfoca a comprobar la calidad psicométrica de los reactivos. El Centro se vale de diferentes procedimientos para poner a prueba los reactivos, con el propósito de calibrarlos y observar su comportamiento estadístico bajo condiciones próximas a la situación real en que serán resueltos por los sustentantes. El Ceneval desarrolla este proceso en dos fases: 9. Piloteo de reactivos 10. Calibración de reactivos Esta etapa permite la selección de los reactivos idóneos para incorporarse a las versiones del examen y la estimación de las características psicométricas del examen considerado como una unidad.
Metodología Ceneval
21
Proceso V. Ensamble de cuadernillos y formas
Una vez que se cuenta con los reactivos calibrados con los parámetros óptimos, el siguiente paso es el ensamble de distintas versiones de la prueba, de acuerdo con la estructura del examen. Este proceso debe seguir reglas técnicas de diseño para la selección de los reactivos que formarán parte de cada versión, cuidando las características psicométricas del instrumento. Una vez que está conformada, cada versión debe ser revisada editorialmente antes de su impresión en cuadernillos o la colocación de las formas en los servidores, para su aplicación en línea. El proceso se desarrolla en tres fases: 11. Integración 12. Revisión editorial 13. Publicación En síntesis, este proceso comprende desde la integración de las versiones operativas del examen hasta la supervisión de su publicación en línea o en papel. Por la naturaleza de estas fases, se pone una atención especial en las medidas de seguridad de los materiales de examen.
Proceso VI. Aplicación
El logro de la validez y la confiabilidad en los resultados de un instrumento de evaluación requiere de procedimientos adecuados para que los sustentantes enfrenten la prueba en condiciones controladas, estandarizadas, óptimas y equitativas. De ahí la relevancia que adquiere el proceso de aplicación considerado en la metodología. Las estrategias de aplicación deben apegarse a las características de la evaluación y a los criterios señalados en el perfil referencial de cada examen. La implementación depende de la planeación y los acuerdos establecidos con los usuarios y de la capacitación de quienes asumen la administración de los exámenes. Las actividades necesarias se organizan en las siguientes fases: 14. Planeación y programación 15. Registro 16. Capacitación y asignación de auxiliares para la aplicación 17. Logística y preparación de materiales en papel y línea 18. Ejecución y control
22
Los procesos previos de construcción carecen de sentido si no se tiene el mismo cuidado en la implementación de las estrategias de aplicación a la población destinataria del instrumento. La eficacia de los procedimientos logísticos y operativos descansa en la eficiencia, compromiso y honestidad de los responsables del proceso.
Proceso VII. Procesamiento de la información y calificación
Para los sustentantes, el aspecto más importante tras resolver su examen es el proceso de calificación. Ellos necesitan tener la certeza de que sus resultados son obtenidos correctamente, es decir que son calificados sin error y con imparcialidad. Ofrecer garantías sobre la seguridad de los procedimientos de calificación se basa en altos estándares de calidad y confidencialidad en la lectura y calificación de las respuestas de los sustentantes. En este trayecto de la metodología se procesa la información recolectada durante la aplicación y se realizan las siguientes fases: 19. Lectura y corrección 20. Establecimiento de puntos de corte 21. Equiparación 22. Calificación 23. Validación de resultados En el caso de pruebas con referencia al criterio, en este proceso se hace un análisis para establecer los rangos de puntuación aplicables a los niveles de desempeño que se darán en los resultados. Por otra parte, como garantía de equidad se emplean procedimientos de equiparación entre versiones para que midan de manera equivalente a todos los sustentantes. La calificación de los sustentantes debe ser precisa y libre de errores. Así, el Ceneval ha establecido los mecanismos para corroborar los procesos y productos de cada fase, cuenta con ciclos de autocontrol que alertan sobre la necesidad de auditar la calificación de alguna aplicación. La calificación validada es la base para la emisión de resultados, objetivo del siguiente proceso de la metodología.
Metodología Ceneval
23
Proceso VIII. Emisión de resultados
La entrega de resultados de los exámenes del Ceneval tiene dos vertientes fundamentales: los reportes individuales de los sustentantes y los reportes institucionales. La entrega a las instituciones y la que se hace a la población evaluada deben respetar las políticas de seguridad y confidencialidad para la salvaguarda de la evaluación de cada persona. La información que se genera debe resguardarse para las aclaraciones necesarias, para la elaboración de diversos informes especiales o para su posterior análisis con fines de investigación. Este proceso se desarrolla en dos fases: 24. Difusión de resultados 25. Resguardo de la información En el Centro se hace un amplio esfuerzo para comunicar los resultados de la evaluación de manera oportuna y comprensible para los usuarios. Por otra parte, guardando la confidencialidad de los datos personales, los resultados pueden ser utilizados por especialistas con fines de investigación.
Proceso IX. Mantenimiento del examen
Diversas actividades hacen posible el adecuado funcionamiento de cada examen a lo largo de su permanencia operativa. Estas acciones de retroalimentación se agrupan en el proceso de mantenimiento. Es importante visualizar los exámenes como instrumentos dinámicos, cuyos contenidos no son permanentes dados el avance de la ciencia y la tecnología y los cambios que renuevan las prácticas profesionales y el contenido de los planes y programas educativos. Asimismo, se deben considerar las modificaciones que, por efecto de su uso, se observan en el funcionamiento psicométrico de los reactivos. El mantenimiento del examen considera la revisión y actualización de aspectos cualitativos y cuantitativos de los componentes del instrumento de evaluación. Este proceso acaece en tres fases: 26. Revisión cualitativa 27. Revisión cuantitativa 28. Renovación de bancos y versiones La fase de revisión cualitativa se ocupa principalmente de mantener actualizado el contenido del instrumento sistematizado en el perfil referencial, la estructura del examen y las especificaciones de los reactivos; también implica la confirmación de la vigencia del contenido de los ítems. La revisión cuantitativa se concentra en la actualización y estabilización de los parámetros estadísticos, en los análisis
24
para corroborar la dimesionalidad de la prueba y en el estudio del funcionamiento diferencial de cada reactivo, entre otros estudios psicométricos. Finalmente, dado que se requieren versiones suficientes para evitar la sobreexposición de los reactivos y garantizar la seguridad de la prueba, es indispensable contar con estrategias para robustecer los bancos.
Proceso X. Elaboración del material complementario
Como un proceso paralelo e independiente, pero íntimamente ligado al desarrollo del examen, las fases de elaboración de materiales complementarios son determinantes para el éxito de la evaluación, de su validez y operación. Particularmente, se plantean como indispensables las siguientes fases, cada una abocada a un material: 29. Elaboración de la guía para el sustentante 30. Integración del Manual técnico 31. Conformación del Cuestionario de contexto 32. Elaboración de materiales adicionales 33. Publicación (de información) en el portal del Ceneval Para su construcción requieren de la información que se produce a lo largo del diseño de la evaluación. A continuación se brinda una breve descripción de los rasgos característicos de cada material. Guía para el sustentante
Las guías para los sustentantes informan de los contenidos que evalúa el examen. En ellas también se explica el propósito de la evaluación, los instrumentos, sus características, las formas de aplicación y la entrega e interpretación de los resultados. Este material es un medio por el cual el sustentante conoce las condiciones previstas para la resolución del examen. Su contenido debe ser adecuado a la capacidad de los sustentantes, de modo que todos comprendan el proceso en que participan. De esta manera se logra la estandarización del proceso, lo que favorece que los resultados de la evaluación sean una evidencia de los conocimientos, habilidades y desempeños de los sustentantes. Manual técnico del instrumento
El manual técnico es un documento en el que se detallan las características de la evaluación. Su objetivo es informar, de manera clara y precisa, a los especialistas en el área de evaluación y al público interesado, la metodología que subyace al diseño, desarrollo, aplicación y análisis de los instrumentos de medida que conforman la evaluación, y da cuenta de su calidad y pertinencia psicométrica.
Metodología Ceneval
25
Cuestionario de contexto
El cuestionario de contexto es un instrumento que se aplica durante el registro de los sustentantes. Su función es recabar información que permita conocer las características de la población sustentante, contextualizar las medidas obtenidas en las pruebas y generar modelos de los factores asociados al desempeño académico. Materiales adicionales
Bajo este rubro se agrupan un conjunto de materiales que se requieren para la aplicación del instrumento, a saber: las hojas de respuesta utilizadas en los exámenes de lápiz y papel para que los sustentantes consignen sus respuestas; los formularios de consulta que se entregan a los sustentantes a fin de garantizar que todos cuentan con la información técnica y fórmulas disciplinares (científicas) estandarizadas; las encuestas de salida para recabar la opinión de los sustentantes y el formato de la carta de confidencialidad que deben firmar, entre otros. Publicación en el portal del Ceneval
Con la intención de proporcionar información suficiente y oportuna a los usuarios, instituciones o personas, está prevista en la metodología la elaboración de materiales con los contenidos necesarios para que la información actualizada y completa sea difundida en el sitio web, independientemente de otros medios que se utilicen en esta tarea.
26
| El Ceneval y la cultura de la evaluación Como se puede apreciar en la descripción de la metodología, durante el desarrollo de los instrumentos de evaluación se genera una gran cantidad de información de diversa índole. Los resultados de las evaluaciones hechas por el Ceneval, además de cumplir funciones específicas para la admisión, el diagnóstico o la certificación de conocimientos, habilidades o competencias, permite conocer diversos aspectos de la realidad educativa que pueden contribuir a emprender acciones de mejora. Dado que en su Estatuto el Ceneval establece como uno de sus objetivos la difusión y promoción de publicaciones relacionadas con los instrumentos de evaluación y otras destinadas al desarrollo de la cultura de la evaluación en nuestro país, además de la presente, múltiples obras editadas pueden ser consultadas en la página web institucional: www.ceneval.edu.mx. En esta línea de acción, cada dos años se celebra el Foro de Evaluación Educativa, un acontecimiento académico que organiza el Centro para conocer y debatir propuestas y resultados de investigación de especialistas nacionales y extranjeros. El Ceneval procura mantener comunicación continua y participativa con las instituciones usuarias de los instrumentos de evaluación, como parte de las acciones que emprende con ese propósito; asimismo, se efectúan reuniones de carácter nacional para los Exámenes para el Egreso de la Licenciatura ( EGEL ) y para los Exámenes de Ingreso ( EXANI ). Estas reuniones permiten conocer las necesidades de evaluación de las instituciones, sus inquietudes en torno a la información que el Centro les proporciona, en un ejercicio de retroalimentación en donde el Ceneval recibe sugerencias para mejorar la calidad de sus servicios. Las reuniones de usuarios son un foro para dar a conocer a las instituciones las innovaciones técnicas y tecnológicas que el Centro implementa para el desarrollo de los exámenes, además de los nue vos instrumentos a su disposición. La razón de ser del Centro es la de participar y contribuir cada vez más y de mejor manera en el avance de la educación en México, de ahí que se ratifique el compromiso primordial de dar una atención esmerada a todos los usuarios. Para ello existen en el Centro diversos canales de comunicación y servicio. En función de sus necesidades, cada institución o persona puede dirigirse a las siguientes instancias: Dirección de Relaciones Institucionales (DRI). Su misión es establecer y fortalecer las relaciones del Ceneval con instituciones del país y del extranjero. Se encarga de promover las acciones de evaluación en las instituciones, brindar la información sobre los usos y beneficios de la evaluación y asesorar a las instituciones, cuando así lo solicitan, sobre los instrumentos adecuados a cada caso. Teléfono de contacto: (55) 53.22.92.00 ext. 2012 ▪
El Ceneval y la cultura de la evaluación
27
28
▪
Dirección General Adjunta de Operaciones ( DGAO). Se encarga de la organización y realización
▪
de todas las aplicaciones de los instrumentos de evaluación. Es la instancia a la cual deben dirigirse las instituciones interesadas en realizar procesos de carácter institucional para programar los eventos; para mayor información y solicitud de servicios establecer contacto al teléfono (55) 53.22.92. 00 en las extensiones 8001 y 8045. Unidad de Información y Atención al Usuario. Es responsable de resolver las dudas, responder las preguntas y orientar a los usuarios en relación con todos los aspectos de los exámenes: fechas, requisitos, inscripción o registro, corrección de datos, etc. Para dirigirse a la Unidad de Información y Atención al Usuario llamar al teléfono 30.00.87.00 del Distrito Federal y del interior de la República Mexicana Lada sin costo: 01800.624.25.10
| Bibliografía
▪
▪
▪
▪
▪
▪
▪
American Educational Research Association, American Psychological Association and National Council on Measurement in Education (1999). Standards for Educational and Psychological Testing. Was- hington , DC: American Educational Research Association. Centro Nacional de Evaluación para la Educación Superior, A.C. (2012). Reglamento de los consejos téc- nicos de los exámenes , México, Ceneval. Centro Nacional de Evaluación para la Educación Superior, A.C. (2013a). Lineamientos para la cons- trucción de reactivos de opción múltiple , México, Ceneval. Downing, S.M. y Haladyna T.M. compiladores. (2012). Manual para el desarrollo de pruebas a gran escala . México, Ceneval. Fishman, J.A. & Galguera, T. (2003). Introduction to Test Construction in the Social and Behavioral Science. A Practical Guide . Oxford, UK: Rowman & Littlefield Publishers. Joint Committee on Standards for Educational Evaluation (1994). The Program Evaluation Standards . Thousand Oaks, CA: Sage Publications Rust, J. & Golombok, S. (2000). Modern Psychometrics: The Science of Psychological Assessment (3rd Edition). London: Routledge.
Bibliografía
29
El Centro Nacional de Evaluación para la Educación Superior es una asociación civil sin fines de lucro constituida formalmente el 28 de abril de 1994, como consta en la escritura pública número 87036 pasada ante la fe del notario 49 del Distrito Federal. Sus órganos de gobierno son la Asamblea General, el Consejo Directivo y la Dirección General. Su máxima autoridad es la Asamblea General, cuya integración se presenta a continuación, según el sector al que pertenecen los asociados: Asociaciones e instituciones educativas: Asociación Nacional de Universidades e Instituciones de Educación Superior, A.C.; Federación de Instituciones Mexicanas Particulares de Educación Superior, A.C.; Instituto Politécnico Nacional; Instituto Tecnológico y de Estudios Superiores de Monterrey; Universidad Autónoma del Estado de México; Universidad Autónoma de San Luis Potosí; Universidad Autónoma de Yucatán; Universidad Nacional Autónoma de México; Universidad Popular Autónoma del Estado de Puebla; Universidad Tecnológica de México. Asociaciones y colegios de profesionales: Barra Mexicana Colegio de Abogados, A.C.; Colegio Nacional de Actuarios, A.C.; Colegio Nacional de Psicólogos, A.C.; Federación de Colegios y Asociación de Médicos Veterinarios y Zootecnistas de México, A.C.; Instituto Mexicano de Contadores Públicos, A.C. Organizaciones productivas y sociales: Academia de Ingeniería, A.C.; Academia Mexicana de Ciencias, A.C.; Academia Nacional de Medicina, A.C.; Fundación ICA, A.C. Autoridades educativas gubernamentales: Secretaría de Educación Pública. • Ceneval, A.C.®, EXANI-I®, EXANI-II® son marcas registradas ante la Secretaría de Comercio y Fomento Industrial con el número 478968 del 29 de julio de 1994. EGEL®, con el número 628837 del 1 de julio de 1999, y EXANI-III®, con el número 628839 del 1 de julio de 1999. • Inscrito en el Registro Nacional de Instituciones Científicas y Tecnológicas del Consejo Nacional de Ciencia y Tecnología con el número 506 desde el 10 de marzo de 1995. • Miembro de la International Association for Educational Assessment. • Miembro de la European Association of Institutional Research. • Miembro del Consortium for North American Higher Education Collaboration. • Miembro del Institutional Management for Higher Education de la OCDE.
La publicación de esta obra la realizó el Centro Nacional de Evaluación para la Educación Superior, A.C. Se terminó de imprimir el 9 de agosto de 2013 en los talleres de Winkilis, Bugambilias 131, Col. El Rosario, C.P. 09930, México, D.F., con un tiraje de 800 ejemplares
