" Modificar un programa programa o unas técnicas técnicas de enseñanza sin cambiar cambiar el sistema de evaluación evaluación tiene todas las probabilidades de no conducir a nada. Cambiar el sistema de evaluación sin modificar el programa de enseñanza ha tenido una mayor repercusión sobre la
." naturaleza y la calidad del aprendizaje, que si se hubiese modificado el programa sin tocar los exámenes ." G.E. Miller, Roma 1977
DOCIMOLOGIA
La docimología es la rama de la pedagogía cuyo objeto es el estudio y análisis de la evaluación del aprendizaje. La evaluación consiste en proporcionar las bases para un juicio de valor que permita tomar las mejores decisiones pedagógicas (Guilbert 1989). La enseñanza es un proceso cuyo objetivo esencial es promover y facilitar modificaciones del comportamiento. La evaluación consiste en determinar la medida en que cada uno de los objetivos ha sido alcanzado, la calidad, pertinencia y adecuación del programa, las técnicas de enseñanza y los docentes a estos fines. Para tomar las medidas pedagógicas necesarias en virtud de los resultados (Wilkes y Bligh 1999). La evaluación de una enseñanza debe comenzar por una definición de los objetivos educativos. No podemos medir una cosa cosa si de antemano no definimos lo que queremos queremos medir. Una vez realizada realizada esta fase es más sencilla la elección o puesta a punta de las pruebas o exámenes apropiados. El objetivo de la evaluación no es únicamente el alumno, también el profesor, la metodología empleada, el programa y todo en función de los objetivos educativos. Esto podemos verlo en el gráfico de la espiral de la educación:
1
Definición de tareas y objetivos educativos
realización de la evaluación
Planificación de un sistema de evaluación
Preparación y realización del programa educativo
En este esquema vemos la función de retro-alimentación que tiene esta fase respecto al conjunto del proceso educativo. El sistema de evaluación empleado determina en gran medida la actitud del alumno en el proceso de aprendizaje. Una licenciatura no puede ser una carrera de obstáculos en la que la enseñanza quede relegada a un segundo plano, primando únicamente la forma de conseguir el diploma con el mínimo esfuerzo. En términos de mejora y calidad, se podría decir que el que controla el examen, controla el programa y el proceso. La detección de deficiencias en el proceso de aprendizaje implica el planteamiento del nivel en el que se producen y secundariamente la introducción de correcciones tendentes a subsanarlas (García Barbero 1986a). El docente debe hacer comprender al alumno que el objetivo de la enseñanza es más que ayudarle a superar una serie de obstáculos en la obtención de un título y que el objetivo de la evaluación va mas allá de la mera función de obstáculo. Según las teorías del aprendizaje, la evaluación debe incrementar en el estudiante el deseo de aprender y debe aportarle información del nivel en que se encuentra y de aquello que no ha comprendido o que no es capaz de demostrar. De esta forma, el estudiante podrá autoevaluar de forma continuada su proceso de aprendizaje y diferenciar los aspectos en los que es necesario realizar un esfuerzo mayor de aquellos en los que ha alcanzado un nivel satisfactorio. Este sistema de evaluación tiene como fin señalar al alumno el camino que le queda por recorrer en el logro de los objetivos educativos, cuya consecución le va a proporcionar la competencia profesional necesaria para el ejercicio de la función encomendada (García Barbero 1986a). El proceso de evaluación proporciona las bases
2
para un juicio de valor que permita tomar decisiones pedagógicas adecuadas. El aprendizaje es más eficaz cuando los sujetos toman parte activa en él y cuando son objeto de una evaluación constante que reconocen justificada y encaminada a determinar la calidad de su trabajo. De estas premisas surge el concepto de evaluación continua , noción a menudo mal interpretada y que lleva al alumno a estar constantemente sobre ascuas, quitándole el sosiego necesario para un aprendizaje eficaz. La finalidad de la evaluación continua es que el estudiante compita consigo mismo a lo largo de un proceso de formación. Es importante distinguir entre dos tipos de evaluación. Una formativa o de control , cuya finalidad es orientar al estudiante en el camino que le queda por recorrer para alcanzar los objetivos educativos, valora el progreso y el rendimiento del alumno y permite ajustar las actividades de instrucción en función de los avances. Así mismo esta evaluación aporta al docente información para reencauzar la enseñanza. Y otra evaluación acumulativa o de certificación , cuya finalidad es decidir sobre la superación del nivel preciso para la obtención de un título y que se lleva a cabo al final de un ciclo de enseñanza. Esta misma distinción se puede aplicar a la evaluación de los programas. Evaluación formativa es la utilizada para mejorar un programa en el curso de su aplicación, pudiéndose realizar ajustes para corregir las deficiencias localizadas. Evaluación acumulativa es la evaluación final de un programa. Representa el esfuerzo requerido para llegar a las conclusiones que justifiquen la decisión de sustituir un programa por otro o de aceptarlo. La distinción entre ambas no deja de ser un artificio analítico de un todo para comprender mejor un proceso en el que muchos no ven en la evaluación formativa más que una etapa de la acumulativa. Normativa reguladora sobre la evaluación en nuestro medio
La evaluación del alumnado de la EHU/UPV esta regulada por el reglamento de planificación Docente y Evaluación del alumnado, aprobado por la junta de Gobierno de la EHU/UPV el 20 de Diciembre de 2001. En él se establecen los principios generales que deben garantizar la igualdad del estudiante en todos los centros y departamentos. Entre el articulado de la normativa destacan los siguientes puntos: 1. Los estudiantes tienen derecho a ser evaluados con garantías de equidad y justicia, y de acuerdo con el nivel de enseñanza impartida. 2. La forma de evaluación debe ser conocida desde el principio del curso. Para garantizar la igualdad, los departamentos tenderán a establecer sistemas de evaluación del mismo tipo para los distintos grupos de cada asignatura. En este sentido se procederá por los distintos profesores a unificar consensuadamente las características de las pruebas y criterios de evaluación en las cuestiones no
3
contempladas con carácter básico por el Departamento. Cuando no exista acuerdo el consejo de Departamento previa audiencia de todos los profesores implicados decidirá motivadamente las razones que afectan al establecimiento de un determinado tipo de examen y las excepciones en su caso. 3. La evaluación de una asignatura podrá realizarse mediante exámenes, evaluación continua o trabajos. En cualquier caso, el alumno podrá acogerse a su derecho a una prueba final. 4. Los procedimientos de evaluación y control de las asignaturas, así como los programas y sus objetivos docentes, podrán estar sujetos a modificaciones por causa grave justificada apreciada por el consejo de departamento. La evaluación de la asignatura no podrá realizarse sobre temas que no hayan sido tratados con la dedicación adecuada a su contenido por los profesores correspondientes, aun cuando aquellos figuraran en el programa inicial de la asignatura. 5. En la realización de cualquier examen podrá ser requerido el alumno a identificarse. La cumplimentación de las fichas que los departamentos o centros puedan distribuir entre los alumnos a fin de conocer su identidad tendrá carácter voluntario y en todo caso, dicha ficha sólo podrá contener los datos imprescindibles para la identificación del alumno, como son: fotografía, nombre completo, curso, asignatura y teléfono. OBJETIVOS DE LA EVALUACION
Respecto al estudiante, desde un punto de vista pedagógico: -
incitar al aprendizaje (Motivación),
-
orientar al estudiante sobre sus logros (mecanismo de retro-alimentación) y
-
permitir que llene sus lagunas (Práctica).
El sistema de evaluación determina el tipo de actividad educativa a la que los estudiantes se entregarán durante la enseñanza / aprendizaje (efecto Thorndike) y por ello la evaluación no debe limitarse a jugar un papel sancionador sino que debe poner a disposición del estudiante un medio para informarse de los progresos de ese aprendizaje, de ahí la importancia de distinguir entre la evaluación formativa y la evaluación de certificación como apuntábamos antes (Newble y Cannon 1991, Rolfe y McPherson 1995). Respecto a la sociedad: -
seleccionar a los estudiantes (decidir el éxito o el fracaso),
-
aumentar el prestigio del centro (hasta ahora de poco relevancia pero progresivamente en aumento. El renombre de la facultad -Universidad- es un punto que no siempre tiene mucho interés en Europa, por que este se basa muchas veces en la tradición que data de siglos. En USA es típico dar a conocer los porcentajes que superan las pruebas nacionales o los índices de colocación como exponente de la calidad del centro),
4
-
proteger a la sociedad (certificado de competencia).
Respecto al profesor esta interacción le permite saber si grupos significativos de estudiantes no le entienden adecuadamente, evaluando las técnicas de enseñanza utilizadas y su propia habilidad. Al igual que los objetivos docentes la evaluación se inserta en las tres dimensiones mencionadas, el campo cognoscitivo, el sensitivo-motor y el afectivo. En el campo sensitivo-motor es preciso evaluar las habilidades manuales adquiridas, el saber hacer, que lo constituirán los exámenes prácticos. La actitud del médico ante el enfermo y sus familiares reviste gran importancia, es el campo mas difícil de evaluar, pero no es imposible realizar una aproximación a través de protocolos estructurados de observación. Resumiendo la evaluación ha de servir para: • Verificar el logro de los objetivos previamente establecidos. • Pronosticar las posibilidades educativas del alumno, como base para su orientación profesional y personal. • Diagnosticar los fallos y dificultades que se presentan en el curso del proceso educativo. • Orientar y reorientar dicho proceso. Formas de realizar la Evaluación
a) Autoevaluación. b) Heteroevaluación, es la que describiremos a continuación ya que es la que más se ajusta a las características del medio en que nos encontramos. c) Evaluación mixta. La autoevaluación es la intervención de los estudiantes en el establecimiento de las normas y/o criterios que deben aplicarse en su trabajo, y la elaboración de sus juicios acerca del grado en que deben satisfacer estos criterios y normas (Boud 1990). Según las teorías del aprendizaje, la evaluación debe incrementar en el estudiante el deseo de aprender y debe aportarle información del nivel en que se encuentra y de aquello que no ha comprendido o que no es capaz de demostrar. De esta forma, el estudiante podrá autoevaluar de forma continuada su proceso de aprendizaje y diferenciar los aspectos en los que es necesario realizar un esfuerzo mayor de aquellos en los que ha alcanzado un nivel satisfactorio. Este sistema de evaluación tiene como fin señalar al alumno el camino que le queda por recorrer en el logro de los objetivos educativos, cuya consecución le va a proporcionar la competencia profesional necesaria para el ejercicio de la función encomendada (García Barbero 1986a). El proceso de evaluación proporciona las bases para un juicio de valor que permita tomar decisiones pedagógicas adecuadas.
5
La autoevaluación facilita que los estudiantes reflexionen sobre su aprendizaje dotándolo de honestidad en la valoración de su entrenamiento profesional. Aunque se trata de un método que exige importantes esfuerzos resulta necesaria su incorporación a los procesos docentes dada la necesidad de que los profesionales asuman la responsabilidad y la dirección de su propio aprendizaje a través de la educación profesional continuada. La heteroevaluación requiere medir para establecer un juicio de valor, para ello se hace preciso contar con instrumentos de medida, conocer el nivel de partida y haber definido previamente el nivel que se quiere alcanzar. Los instrumentos de medida son los diferentes tipos de pruebas que permiten cuantificar los conocimientos, habilidades o actitudes adquiridas por el alumno. Se acepta que la forma de la prueba de evaluación no es capaz de determinar la naturaleza del proceso intelectual requerido para poder resolverla y que en muchas ocasiones, la dificultad de una prueba y la complejidad de las instrucciones que le acompañan no están necesariamente unidas a la naturaleza del proceso intelectual puesto en juego (García Barbero et al 1995). Es fundamental que quien confeccione un examen del tipo que sea lo someta a la crítica de sus colegas para asegurar un contenido pertinente (en relación con los objetivos educativos) y que presenta un interés general, sin corresponder exclusivamente a un interés o gusto particular del autor. Las preguntas deben formularse de manera que los docentes puedan ponerse de acuerdo sobre las respuestas correctas. El autor de una pregunta no es habitualmente el mejor juez de su claridad, precisión, pertinencia e interés. El examen crítico de los colegas es indispensable para la buena construcción de una prueba. El análisis de los exámenes utilizados con mayor frecuencia demuestra que en muchas ocasiones las preguntas planteadas son ambiguas, poco claras, discutibles, esotéricas o fútiles. La cualidades que validan todo instrumento de medida (Guilbert) son: - Validez: Es el grado de precisión con que la prueba utilizada mide realmente aquello que está destinada a medir. La validez se incrementa si se planifica inmediatamente después de redactar los objetivos, evitando "enseñar para el examen". - Fidelidad: Es un concepto estadístico y alude al grado de confianza del test mediante el cual los resultados que se obtienen se mantendrán constantes con independencia del enunciado de las preguntas. La constancia con la que la prueba mide una variable determinada. Es una condición necesaria, pero no suficiente, para determinar la validez de un instrumento de medida. - Objetividad : Se refiere a la concordancia entre los juicios emitidos por examinadores independientes y competentes. - Pertinencia: Es la cualidad mediante la cual las preguntas que enunciamos son conformes con los
6
objetivos programados. Otras cualidades como el equilibrio, la equidad, la especificidad, la discriminación, el tiempo, la longitud, la eficacia son también importantes pero en definitiva contribuyen más o menos a la validez y fiabilidad. Las características negativas que mas frecuentemente se nos deslizan en los exámenes son: - Futilidad: de todas o parte de las preguntas planteadas, ello es tanto más grave en cuanto que suponen tan solo una pequeña parte de las que podrían plantearse. - Inexactitud: Errores tanto en la redacción de la pregunta como en su formulación. - Ambigüedad: de los términos empleados, que puede hacer que el estudiante pase mas tiempo intentando comprender la cuestión que respondiendo a ella, a parte del riesgo de contestar al margen de la pregunta. - Conservadurismo: Obligar al candidato a responder en función de las ideas del examinador. - Desajuste: La complejidad de la materia hace que la búsqueda de la respuesta presente mayor dificultad de lo previsto. - Subjetivismo: En la formulación de la pregunta se sugiere al candidato la respuesta correcta. ESCALONAMIENTO DE LAS PRUEBAS EN EL PROCESO DE ENSEÑANZA Ya se ha comentado el valor motivador de la evaluación en el aprendizaje. Para aprovechar todo su valor pedagógico hay que diseñar una estrategia de evaluación adecuada. Consecuencia de esta estrategia podemos caer en dos errores de los que debemos ser conscientes. Uno, la realización de múltiples pruebas parciales en las que la materia se atomiza perdiendo la idea de conjunto y dos, utilizar el examen como vehículo en una carrera interdepartamental por conseguir la atención del alumno por nuestra asignatura. Prueba de nivel exigido: Antes de comenzar cualquier tipo de enseñanza hay que asegurarse que
los estudiantes tienen el nivel previo requerido para emprender ese programa educativo. En nuestro sistema este viene dado por las pruebas de selectividad para el pregrado y el examen M.I.R. para el postgrado. No dándose la situación de que el enseñante decida que conocimientos juzga indispensables para que los estudiantes que le sean confiados se beneficien al máximo de las enseñanzas que imparta. Las desigualdades de nivel entre alumnos de un mismo colectivo repercuten en una disminución de la calidad de la enseñanza. Prueba previa: Se realiza en el momento de comenzar una enseñanza determinada y se utiliza para
comprobar a que nivel están lo estudiantes en relación con este tipo de enseñanza. Esta medida del nivel de partida nos permite calcular la ganancia real al término de la enseñanza. Por otro lado puede encontrarse que algunos alumnos están ya muy avanzados en relación con los objetivos previstos.
7
Ejemplos de estos exámenes es el examen que en ocasiones se realiza a un postgrado cuando se incorpora a un servicio hospitalario para especialización. Prueba parcial : Se organiza al final de cada unidad de enseñanza para que el estudiante obtenga la
necesaria retro-información que le indique donde se encuentra. El profesor debe esforzarse por que el grado de dificultad de esas pruebas corresponda lo mas posible al examen final. Prueba prefinal de síntesis : es una prueba de tipo formativa que tiene lugar antes del examen final.
Sirve de retro-información para el alumno que así conoce sus puntos débiles y puede replanificar el estudio antes del examen final. Prueba final: Se practica después de la enseñanza, utilizando una u otra modalidad según los
objetivos a medir. Pruebas de repesca : Debe emplearse en el caso de que se una diferencia anormal entre el juicio
subjetivo y los resultados del examen final. Le resta al examen final su carácter de sanción arbitraria que tenía antes. Caso de realizarse debe ser consecuente a una pormenorizada reevaluación de las circunstancias. Prueba de control a largo plazo : Evaluación tras un tiempo después del término de la enseñanza
para saber en que medida conserva el nivel de resultados que se había adquirido. Es muy difícil dar contenido a este escalón: si bien en los últimos tiempos se esta desarrollando parejo con las iniciativas de formación continuada y recertificación. TIPOS DE EXAMEN Hay tres modalidades de examen: oral, escrito y práctico. Y dentro de ellas puede haber innumerables variantes. En función de lo que pretendamos, queramos o debamos medir o valorar deberemos adoptar una u otra modalidad. Exponemos brevemente algunas de las ventajas e inconvenientes de los tipos de pruebas mas frecuentemente utilizados: EXAMEN ORAL
Consiste en un diálogo con el examinador, que plantea preguntas a las que el examinado debe responder. Aunque sea una prueba que permite obtener una impresión directa del alumno y apreciar ciertos rasgos de su personalidad, nos llega a veces muy deformada por la situación de angustia, que estas pruebas producen, y es posible que el concepto que en estas condiciones saquemos sea erróneo y las calificaciones injustas. Si las pruebas son a puerta abierta, los últimos alumnos conocen todos los pequeños trucos del examinador, mientras que los primeros están en inferioridad de condiciones en
8
relación a este factor sorpresa. Como ventaja podemos apuntar que permite evaluar de un modo mas completo al alumno (contacto personal). Se puede pasar de uno a otro tema y sondear con ello prácticamente todo el temario (flexibilidad). Permite además valorar ciertos rasgos afectivos del alumno como el "saber estar", el dominio de sí mismo, su entereza, etc. (valoración de circunstancias atenuantes). El alumno debe formular por sí mismo sus respuestas, sin que los términos de la pregunta le induzcan a ello, desarrollando su capacidad de expresión y existiendo la posibilidad para el examinando de pedirle que las explique. Posibilidad de apreciación simultanea pero independiente por dos examinadores. Inconvenientes de este tipo de examen son: el gran consumo de tiempo, la ausencia habitualmente
de un documento revisable, su valoración totalmente subjetiva, la influencia excesiva de factores sobreañadidos, la escasa fiabilidad de los resultados, la escasez de docentes con formación adecuada para examinar. EXAMEN ESCRITO
Hay una amplia variedad de pruebas que en general ofrecen un ahorro de tiempo respecto al anterior. E.E. tipo tema
Son exámenes en los que el alumno tiene la oportunidad de exponer sus conocimientos demostrando su capacidad de expresión y de ordenar sus ideas. Por el lado negativo, se limita mucho el número de áreas que se sondean. A la hora de la corrección su lectura se hace muy prolija, influyendo factores banales como el tipo de escritura, el cansancio del profesor en el momento de la corrección. La valoración es muy subjetiva, influyendo a menudo cualidades extramédicas como la facilidad de redacción... Además aporta poca retro-información al alumno. E.E. de pregunta de redacción
Goza y adolece de algunas de las ventajas e inconvenientes de todo examen escrito, si vemos los rasgos que lo caracterizan identificaremos unas y otros. Son pruebas con múltiples preguntas cuya respuesta debe ser breve y concisa aunque deja libertad de redacción al alumno. Deben concretar muy bien la cuestión planteada, utilizando términos lo mas explícitos posibles ( resumir, comparar, evaluar, definir, indicar el orden...) de forma que todos sepan inmediatamente la tarea que deben cumplir. El profesor debe redactar para cada pregunta los elementos que deben aparecer en la respuesta (clave de corrección). Cuando la prueba sea corregida por varios profesores tiene que ponerse de
9
acuerdo previamente en el procedimiento a seguir. A pesar de la meticulosa fijación de las claves sigue existiendo un cierto grado de subjetividad. E.E. de pregunta abierta corta
El redactor de la pregunta debe definir la respuesta exigida por el enunciado y si parece que pueden darse respuestas conceptualmente distintas para una pregunta dada, debe redactarse de nuevo para que desaparezca este inconveniente. Debe dejarse, al imprimir el texto del examen debajo de cada enunciado, el espacio necesario para la respuesta. La corrección es simple ya que la respuesta ha sido predeterminada. La frecuencia de discordancias, debidas a la contradicción entre dos correctores es muy pequeña. En toda prueba escrita puede existir el problema de la ilegibilidad de las respuestas. Son preguntas muy concisas cuya respuesta es libre si bien sólo existe una respuesta bien definida, nítida y corta. Supone un intento extremo de objetivización de las preguntas de redacción. La dificultad estriba en encontrar y formular preguntas adecuadas. E.E. objetivos
Los tipos de examen expuestos hasta este momento presentan como principal inconveniente los diferentes niveles de subjetividad que presentan. Las próximas modalidades pueden considerarse como los modelos más objetivos que hoy se practican. Entre sus ventajas se cuentan la de aumentar la objetividad y en general asegurar la fiabilidad y validez. La preparación colegiada de ellos conlleva una contrastación de las preguntas entre varios docentes. Diversifica los aspectos sobre los que es puesto a prueba el alumno en un tiempo dado. Aporta retro-información al alumno y al profesor. Se puntúa con facilidad, rapidez y asepsia. Entre los inconvenientes cuenta con una preparación costosa en tiempo, competencia y práctica. La posibilidad de acertar alguna al azar y sobre todo que aporta al alumno información o indicaciones con las que no contará en la vida real. Todas las pruebas de respuestas a seleccionar tienen en común la característica de presentar, junto a las preguntas, varios tipos de respuesta de las cuales el alumno debe seleccionar la/s correcta/s que corresponde/n a cada item. De entre las posibles expondremos a continuación aquéllas cuyas características parecen más adecuadas para ser utilizadas en la dinámica del curso que justifica nuestra exposición. E.E. de respuesta alternativa (verdadero-falso)
En estas pruebas el alumno recibe una serie de proposiciones donde debe elegir una (verdadero o falso, siempre o nunca). Las ventajas de esta prueba es que resulta fácil de construir y contestar, pero está limitado por la elevada incidencia del azar en la selección de la respuesta correcta. Con los tipos de examen ocurre lo que con los fármacos que cada uno tiene su indicación precisa.
10
Ciertas normas para su confección son comunes con las recomendadas en el apartado siguiente al hablar de las preguntas con respuestas de elección múltiple. E.E. de preguntas con respuesta de elección múltiple (P.E.M.)
Este examen consta de una proposición que constituye el enunciado de las cuestiones y una serie de respuestas, de las cuales una o varias son correctas y deben ser elegidas como óptimas descartando las respuestas incorrectas. La proposición puede hacerse de modo directo o bien en forma de frase incompleta. Las soluciones pueden adoptar varias formas (palabras, frases, símbolos, números). Esta prueba está considerada como la más objetiva de las existentes. Entre las ventajas de este examen encontramos: - Se hallan libres de las críticas vertidas sobre otros sistemas de evaluación. - Las respuestas del alumno están menos sujetas a la adivinación. - Su estructura es menos artificial. - Neutralizan la tendencia de las respuestas en serie. - Las puntuaciones son más objetivas. - Posibilitan la detección de errores generalizados, cuando los distractores están bien elegidos. - Por sus características posibilitan evaluar aprendizajes complejos. - Permite su corrección electrónica. - Posibilidad de realizar un análisis estadístico de la validez y especificidad de cada item y de la prueba en conjunto. - Proveen retroinformación tanto al estudiante como al docente (Cariappa y Devasundaram 1988). Pese a estar considerada como la más objetiva de las pruebas, existen una serie de inconvenientes principalmente en la construcción de las preguntas como son: - Dificultad para redactarlas y construirlas en buenas condiciones. - Dificultad para elegir los distractores adecuados. - Riesgo de que las respuestas correctas estén mejor redactadas y que las falsas lo estén peor, dando pistas al alumno. - Puede ser una prueba totalmente invalidada si no se seleccionan convenientemente las preguntas. Estas pruebas son aplicables a la evaluación de: - Conocimiento de términos. - Conocimiento de hechos específicos. - Conocimiento de métodos y procedimientos. - Aplicación de principios y generalizaciones. - Identificación de causas. - Conocimiento de principios.
11
Para conseguir ítems didácticamente eficaces es preciso tener en cuenta los siguientes puntos: Enunciado: - Los enunciados tienen que ser categóricos, de tal modo que sólo admitan una respuesta correcta. - Cada pregunta debe contener tan solo una idea. - Hay que evitar plantear dos preguntas en el mismo item. - Las preguntas se plantean afirmativamente. - Evitar en lo posible las negaciones, de aparecer en el cuerpo de la pregunta subrayarla para llamar la atención sobre ella. - Hay que evitar que la formulación de una pregunta resuelva otra pregunta anterior. - Si se pretende evaluar el conocimiento de términos, conceptos,... éstos deben figurar en las preguntas, mientras que las descripciones o definiciones figurarán en las respuestas alternativas. Distractores: - Hay que evitar el uso de palabras como siempre... que evocan respuestas correctas. - Cuidar la longitud de los distractores, las frases largas y complejas tienden a ser correctas. - Evitar negaciones reiteradas, tras unos cuantos "no'', ''nunca'... nadie puede comprender de que va la frase. - Conviene dar a cada enunciado una extensión similar. - No deben emplearse las mismas palabras o frases que figuren en los libros de texto, salvo que se trate de memorizaciones necesarias. - Es conveniente evitar la utilización de palabras que den pistas al alumno.. - El texto del distractor debe ser breve e inteligible. - Todas las respuestas alternativas, correctas e incorrectas deben tener cierta homogeneidad. Si los distractores actúan llamando la atención por su falta de sentido común la prueba pierde objetividad. - El contenido del distractor debe entenderse sin necesidad de leer las respuestas alternativas. - Utilizar distractores plausibles y lógicos, cada uno por su contenido y naturaleza debe aparentar tener relación con la pregunta. - Evitar indicios que puedan sugerir la respuesta correcta. - Cuidar que los distractores sean homogéneos, es decir semejantes en el contenido y en el número total de palabras. - No abusar de las frases como "ninguna de las respuestas anteriores" como distractor o respuesta correcta. El principal inconveniente de estas pruebas, aparte del margen de azar, es que no valoran adecuadamente el pensamiento creador y la dificultad de construir los items correctamente. En general, se trata de un método que cuando se hace bien resulta costoso y poco rentable en las situaciones de
12
escaso número de alumnos. ANALISIS DE UNA PRUEBA CONFECCIONADA CON P.E.M. Cálculo del Nivel aceptable de Resultados (N.A.R.): Definición: El nivel aceptable de resultados corresponde al umbral que permite decidir según criterios absolutos el paso o no de un estudiante "que sabe lo necesario". El cálculo del N.A.R. solo tiene valor si el número de P.E.M. es superior a 30. El empleo del N.A.R. corresponde a un juicio "a priori" sobre la dificultad relativa de cada pregunta y permite un juicio de la prueba en su conjunto. El cálculo de los N.A.R. debe basarse en el juicio colectivo de varios docentes que previamente han valorado independientemente cada pregunta. Procedimiento para el cálculo del N.A.R., Indice de aceptabilidad: Nedelsky propone la siguiente metódica para calcular el N.A.R.: -Los responsables de la evaluación deciden la respuesta exacta para cada P.E.M. - Calculan el índice de aceptabilidad para cada P.E.M. Es decir determinan que respuestas debe rechazar un estudiante que sepa justo lo necesario para aprobar. En el caso de P.E.M. con 5 distractores y uno solo correcto, si se piensa que el alumno que sabe lo justo debería rechazar uno de ellos quiere decir que el alumno puede obtener la respuesta correcta al azar una de cada cuatro veces, en este supuesto el índice de aceptabilidad es de 0.25. Tabla para el cálculo de los índices de aceptabilidad (en este supuesto): a) Todos los distractores son válidos b) Hay que eliminar un distractor
índice = 1/5 = 0.20 " = 1/4 = 0.25
c) Hay que eliminar 2 distractores
" = 1/3 = 0.33
d) Hay que eliminar 3 distractores
" = 1/2 = 0.50
e) Hay que eliminar 4 distractores
" = 1/1 = 1
- El N.A.R. de la prueba es igual a la suma de los índices de aceptabilidad de cada P.E.M. Una vez realizado el examen del análisis de los resultados podemos obtener datos muy valiosos para determinar el grado real de dificultad y discriminación de cada pregunta. Con todos estos datos podemos confeccionar un fichero que nos permita en un momento dado preparar un examen con un grado de dificultad determinado. El proceso de análisis de las preguntas es el siguiente: - Corrección de la prueba y puntuación de cada alumno. - Ordenación de los alumnos en función de su puntuación. - Identificación de los grupos fuerte y débil. Siguiendo a Guilbert empleamos el 33%, el grupo fuerte lo forman el tercio de alumnos con mayor puntuación y el grupo débil el tercio con notas mas
13
bajas, nos parece injustificado andar con especulaciones academicistas, sobre si realmente es el 27 o el 30 % lo adecuado, no reportan ninguna ventaja. El índice de dificultad de una pregunta, como su nombre índica intenta dar una idea de lo fácil o difícil que es y se expresa por el porcentaje de alumnos que la contestan bien: Id = { ( F + f ) / N } x 100 F: Numero de respuestas correctas en el grupo fuerte f: Numero de respuestas correctas en el grupo débil N: Numero total de estudiantes en estos dos grupos Cuanto más elevado es este índice, mas fácil es la pregunta. Preguntas con índices entre 30% y 70% son aceptables. Pruebas confeccionadas con preguntas de este grupo y con un índice medio del 50 60% suelen ser fiables en cuanto a su consistencia interna y homogeneidad. El índice de discriminación determina en que medida una pregunta es lo bastante selectiva para distinguir un grupo fuerte de uno débil. Varia entre +1 y -1, cuanto más se acerca a la unidad, tanto más discriminativa es la pregunta. I! = 2 x { ( F - f ) / N } Cuanto más alto es este índice más fácil es reconocer a los alumnos pertenecientes a uno u otro grupo. Es un índice que ayuda a reconocer a los mejores estudiantes. A modo de orientación tenemos la siguiente clasificación: a) 0.35 en adelante .- pregunta excelente b) 0.25 - 0.34 .- pregunta buena c) 0.15 - 0.24 .- pregunta dudosa (revisar) d) menos de 0.15 .- pregunta mala (eliminar) De lo expuesto hasta ahora concluimos que el examen de P.E.M. es un buen método siempre y cuando esté bien planificado, posea un I d ~ 0.5 y un I! mayor que 0.25.
14
