Manual de Evaluación Alternativa
UNIVERSIDAD DEL VALLE DE GUATEMALA FACULTAD DE EDUCACIÓN CURSO: INVESTIGACIÓN ACCIÓN PROFESORA: MARIELA ZELADA
AROLDO DAVID NORIEGA DILIA MORALES HERNANDEZ MIGDALIA CIFUENTES
Enseña al niño el camino en que debe andar, y aun cuando sea viejo no se apartará de él. Proverbios 22:6 LBA
1
Contenido Introducción ........................................................................................................................................ 3 Necesidades de evaluación ................................................................................................................. 4 ¿Qué es evaluación? ........................................................................................................................... 5 ¿Para qué evaluar? .............................................................................................................................. 5 ¿Qué evaluar? ..................................................................................................................................... 6 Contenidos conceptuales ............................................................................................................ 6 Contenidos procedimentales ...................................................................................................... 6 Contenidos actitudinales ............................................................................................................. 6 ¿Cuándo evaluar? ................................................................................................................................ 7 ¿Quién evalúa? .................................................................................................................................... 8 Hetero - evaluación ..................................................................................................................... 8 Coevaluacion ............................................................................................................................... 8 Autoevaluación ........................................................................................................................... 8 ¿Qué es un test? .................................................................................................................................. 9 Características de un buen examen .................................................................................................... 9 Cómo construir mejores ítems .......................................................................................................... 10 Ideas generales para escribir ítems ................................................................................................... 11 Creación de tests por parte de los profesores: ......................................................................... 12 Reglas para escribir ítems de selección múltiple .............................................................................. 13 Escribiendo ítems específicos ........................................................................................................... 15 Ítems de selección múltiple .............................................................................................................. 15 Ítems de respuesta alterna ............................................................................................................... 16 Evaluación alternativa y tutoría ........................................................................................................ 18 Técnicas y herramientas para evaluación no formal: ........................................................................ 19 Web-Quest (Búsqueda en el internet) ............................................................................................... 19 Estructura de una Web-Quest: ...................................................................................................... 20 Observación ................................................................................................................................... 20 Lista de cotejo ............................................................................................................................... 21 Escala de rango.............................................................................................................................. 22 Rúbrica .......................................................................................................................................... 22 Otras técnicas .................................................................................................................................... 23 Técnicas de evaluación en línea ........................................................... ¡Error! Marcador no definido. Limitaciones y lecturas adicionales ................................................................................................... 25 Referencias: ....................................................................................................................................... 25
2
Introduccion Si la educación es el proceso por medio del cual el ser humano transmite sus conocimientos a las nuevas generaciones, entonces la evaluación viene a ser algo así como el control de calidad de esa misma educación. Has distintas formas de educar y también las hay otras tantas de evaluar; desde el mismo momento que el hombre apareció sobre la faz de la tierra y tuvo un hijo; en ese momento comenzó la educación; las experiencias de este ser humano, primitivo o no, fueron transmitidas a los hijos, y estos a su vez a los que siguieron; poco a poco el conocimiento a transmitir fue haciéndose más extenso, ya no era solo formas de caza o cultivo, de pronto empezó a transmitirse elementos básicos de cada sociedad, que, rudimentaria o no empezaba a formarse en la figura de aldeas, pueblos y hace unos miles de años atrás naciones. En algún momento de la existencia humana, el hombre o mujer se dio cuenta que era imposible trasmitir todo lo que sabía por medios orales; así que se dieron a la tarea de usar jeroglíficos como los egipcios o textos completos como Hammurabi. Sin embargo y para quienes hemos tenido el privilegio de visitar las imponentes pirámides egipcias, al verse frente a estos testigos del tiempo uno no puede sino imaginar lo que tal vez tenían en mente aquellas personas. ¿Querrían perpetuar su memoria o querían pasar el conocimiento a sus hijos? ¿El creador de la Esfinge, pensaría que su monumento duraría más de cinco mil años? No podremos dar contestación a estas preguntas; no tenemos las respuestas; sin embargo, lo que sí es muy seguro es que en algún momento el arquitecto de una de estas pirámides o de la esfinge misma debió aprender a construir, a medir, a calcular, a dirigir a sus colaboradores o esclavos; a construir y seguramente dejar un legado. Pero, cuando este nuestro personaje estaba aprendiendo, de alguna forma debió demostrar a su maestro que ya había aprendido, por lo tanto y como un profesor dijo alguna vez a sus alumnos: “El conocimiento no se construye de una sola vez; se va formando poco a poco.”
Ese legado que todo ser humano quiere dejar; es un anhelo de cada persona en su interior, de alguna forma nuestros hijos o nuestros alumnos adquieren algo de lo que sabemos y luego ellos lo mejoran y multiplican. En las películas de artes marciales ocurre una escena que nos parece familiar: Un maestro entrena por mucho tiempo, a veces años a un discípulo, en eso llega el momento cuando el discípulo llega a estar a la altura del maestro o lo supera; en ese momento se marcha del lugar y va, enfrenta unos cuantos enemigos y se convierte el mismo después en un maestro de otro discípulo.
3
Esa es la esencia y maravilla de la educación, quienes nos dedicamos a la tarea de enseñar sabemos que la evaluación es, como ya dijimos, el control de calidad de la educación. Por medio de la evaluación sabemos si hemos enseñado como se debe, todo lo que se debe y si nuestros discípulos están preparados para moverse al nivel siguiente o debemos terminar la tarea. La evaluación tiene muchos usos, es útil para los administradores, autoridades educativas, padres de familia, alumnos, comunidad y por supuesto a quienes la imparten.
Necesidades de evaluacion La evaluación del aprendizaje en los alumnos provee evidencia para que podamos tomar decisiones educativas. Podemos usar la evidencia para ayudarnos a evaluar o juzgar un programa de estudios o las competencias de los alumnos para saber qué hacer en un siguiente paso. La elección de que evaluar, estrategias y reportes dependen de cuáles son las intenciones del currículo y la audiencia, entre la audiencia podemos hallar al gobierno, las autoridades educativas, los padres de familia, los alumnos mismos y la comunidad en general. Con el fin de medir el progreso y poder informar a estas audiencias, se necesita construir test y pasarlos a los estudiantes más de una vez para poder identificar los cambios necesarios. Los estudiantes, maestros y padres de familia necesitan información acerca del rendimiento del estudiante de forma tal que no solamente se identifiquen las fortalezas y debilidades, pero que también explique qué se debe hacer para capitalizar las fortalezas para mitigar debilidades. Estos datos pueden comprenderse únicamente en el contexto en el cual fue obtenido.1 En el nivel administrativo de las escuelas, generalmente se requiere información sobre clases en lugar de individuos, esta información debe ser expresada en conjunto con otras escuelas del mismo distrito escolar; de esta forma, (y debe ser la preocupación de los administradores) podemos comparar el rendimiento de una institución con otra.
1
John Izard (Overview of test construction) UNESCO International Institute for Educational Planning Recuperado de: http://www.iiep.unesco.org/ Fecha 02/11/11
4
A nivel nacional, la información de las evaluaciones es utilizada para cambio en las políticas educativas, la creación de reglamentos que ayuden a mejorar en escalas grandes, el proceso de enseñanza aprendizaje o lo oriente hacia la consecución de los objetivos del Currículo Nacional Base en aquellos lugares donde hay uno; en los lugares donde no existe ayudaría a mejorar los estándares requeridos.
¿Que es evaluacion? La evaluación es el proceso completo consistente en señalar los o bjetivos de un aspecto de la educación y estimar el grado en que tales objetivos se han alcanzado.2 Esta definición se queda todavía corta pues la evaluación no necesariamente es medir hasta donde se ha alcanzado un objetivo, es una parte sí, pero hoy en día vemos la evaluación de muchas otras formas, evaluamos para saber dónde estamos o donde vamos a comenzar, evaluamos a medida que camina el programa educativo y evaluamos claro está, al finalizar el camino de forma que veamos, como dice la definición anterior, si tales objetivos se han alcanzado.
¿Para que evaluar? Blanca Lopez Frías3 enumera algunas razones para evaluar: Determinar las necesidades y demandas de los estudiantes que la sociedad impone sobre estos y la educación. Pronosticar o hacer conjeturas respecto a las posibilidades de los estudiantes
Estimular la motivación de los estudiantes en cuanto le permite conocer si su trabajo va encaminado hacia el logro de los objetivos
Orientar al estudiante acerca del tipo de respuesta o ejecución que se espera
Promover a los estudiantes de grado de acuerdo con los logros obtenidos
Diagnosticar las dificultades y fortalezas en el aprendizaje
2
Blanca Silvia López Frías, Elsa María Hinojosa Kleen. Evaluación del aprendizaje Alternativas y nuevos desarrollos. Editorial Trillas (Universidad Virtual ITESM) México D. F. 2001 p14 3 Ibid
5
Seleccionar materiales para la enseñanza Determinar la efectividad de un programa o currículo
Desarrollar auto evaluación tanto en el estudiante como en el profesor
Ofrecer un marco de referencia para administradores y supervisores para el seguimiento del proceso educativo
Estimular el aprendizaje de los estudiantes y la apreciación de sus logros, informándoles
sus éxitos.
Otros autores citarán más seguramente; pero vamos a detenernos en este punto pues no queremos alargar esta sección de definiciones más allá de lo necesario.
¿Que evaluar? Contenidos conceptuales
-
Hechos Datos Conceptos
Contenidos procedimentales
-
Habilidades (Capacidades manuales o intelectuales para realizar algo) Técnicas (Acciones ordenadas hacia el logro de objetivos concretos) Estrategias (Capacidades intelectuales para dirigir y ordenar su conocimiento)
Contenidos actitudinales
-
Valores (Principios éticos) Actitudes (Disposición o ánimo a..) Normas (Patrones de conducta de la sociedad)
6
¿Cuando evaluar?
Imagen No. 1 Tomada de: http://didactica2010.wordpress.com La evaluación diagnóstica nos sirve para orientar nuestro trabajo inicial; la evaluación formativa es la que se hace como un acompañamiento al proceso, suele ser la más importante y la formación sumativa que sirve principalmente para verificar, certificar y acreditar.
José Luís Pulgar Burgos agrega otra forma más de evaluar, la de impacto, que es la realizada mucho tiempo después que el estudiante ha abandonado la escuela y se refiere al uso verdadero que se le da a lo aprendido, aquí, sin importar el diploma que tenga, dice Pulgar; no se aceptan recuperaciones, la evaluación de impacto dice si la educación fue buena o no, a secas. 4
4
PULGAR Burgos José Luís. Evaluación del aprendizaje en educación no formal. Narcea Madrid 2005
7
¿Quien evalua? Hetero - evaluación
Es la evaluación que realiza una persona sobre otra respecto de su trabajo, actuación, rendimiento, etc. A diferencia de la Coevaluacion, aquí las personas pertenecen a distintos niveles, es decir no cumplen la misma función. Profesor – alumno, Alumno – Profesor
Coevaluacion
Es la evaluación que realizan los compañeros sobre otros estudiantes. Se usa para dar al estudiante retroalimentación adicional sobre un producto o desempeño. Ejemplos: Explicación por pares Participación individual Evaluación de producto (Cuando el profesor asigna una nota a todos los integrantes del grupo y estos se la reparten) •
•
•
Autoevaluación
Es la evaluación que el alumno hace de su propio aprendizaje y de los factores que intervienen. Permite la formación de la meta cognición, honestidad y responsabilidad en el aprendizaje. Últimamente se ha estado trayendo a colación el t érmino metacognicion.
Entendemos por Metacognicion la capacidad que tenemos de autorregular el propio aprendizaje, es decir de planificar qué estrategias se han de utilizar en cada situación, aplicarlas, controlar el proceso, evaluarlo para detectar posibles fallos, y como consecuencia... transferir todo ello a una nueva actuación.
5
Para efectos de este trabajo y de aquí en adelante, vamos a concentrarnos en la heteroevaluación, vista como la evaluación que un profesor hace a sus alumnos y más precisamente en los instrumentos e ítems usados para construir evaluaciones.
5
Carlos Dorado Perea Metacognición (Documento en línea) Recuperado de: http://www.xtec.es/~cdorado/cdora1/esp/metaco.htm Fecha 02/11/2011
8
¿Que es un test? Con el fin de averiguar que tanto sabe un estudiante, lo más valido sería observar todo lo que se le enseña al estudiante.6 Pero como esto no es posible, se necesita seleccionar una muestra valida de lo que se supone el alumno ha aprendido o debe aprender; esto es un test. Es una muestra de lo que sabe o debe saber y por medio de ella podremos averiguar el grado de aprendizaje que ha logrado. John Izard7 afirma que un solo ítem no puede ser un indicador del logro de un aprendizaje, por eso, cuando un número de ítems similares son combinados como un solo test, podemos ver la estructura del aprendizaje en el mismo test. Estas estructuras tienden a ser indicadores confiables porque son basados en múltiples fuentes de evidencia. (Los contenidos o tareas de donde se han obtenido)
Una reflexión antes de continuar: La gente que toma la posición de evaluar se pone en un lugar vulnerable; el evaluador se pone así mismo para ser evaluado.8
Características de un buen examen Los buenos examines tienen un plan definido para medir las habilidades o conocimientos de los estudiantes. Todo examen debe ser preparado teniendo en cuenta los contenidos y objetivos del curso pero además deben tener un medio de interpretación definido. Los exámenes deben tener validez, que puede ser definida como la colección de evidencia que sustenta la finalidad del test y su interpretación. Un test debe tener una clara especificación que representa una clara relación entre hacer una tarea, desarrollar una habilidad o demostrar conocimiento en un área. El test, en otras palabras, no puede ser ambiguo a la hora de medir determinada función. Todo test debe tener un número planeado de preguntas y un nivel de dificultad y discriminación para determinar de mejor forma el grado de habilidad o conocimiento que se espera hallar en los estudiantes.
6
Ibid Ibid
7 8
Gomm, Roger (1981), ‘Salvage evaluation’, in Smetherham, David (ed.), Practising Evaluation , Nafferton
Books (http://www.edu.plymouth.ac.uk/resined/evaluation/index.htm#4 Methods )
9
Todo test debiera tener un anteproyecto, claro, en lugares como Guatemala es difícil pensar que los profesores tengan no digamos el tiempo, sino la preparación necesaria para elaborar instrumentos de evaluación. El proyecto de un examen debe ser imaginado como el mapa o plano de una casa; aquí se muestra exactamente que será creado (el test) y que se espera medir. Los objetivos del test son parte de las especificaciones de todo examen, debe estar relacionado directamente con lo que se requiere medir. (Habilidad, actitud o conocimiento) Los objetivos de un test debieran ser siempre verbos de acción, por ejemplo: reconocer, identificar, demostrar, traducir, describir, interpretar, reordenar, distinguir, clasificar, diferenciar, discriminar, contrastar, evaluar, sintetizar, juzgar, valorar. Un buen test debe: - Medir la habilidad del examinando o eficiencia en aplicar conocimiento y principios. - Tener una baja probabilidad de entregar un punteo alto a aquellos estudiantes que no estudiaron el contenido o se desempeñaron pobremente. - Tener una alta probabilidad de entregar un resultado alto a aquellos estudiantes que han sido constantes y tenaces en su área de contenido o habilidad. - Contener buenos ítems que provean informacion fiable y válida sobre el contenido.
Co mo construir mejores ítems La revista Social Psychology Network9 indica que los mejores ítems para un test son aquellos que miden que tan bien los alumnos entienden el material. Siempre es bueno hacer pruebas con los tests y debe evitarse escribir ítems que parezcan demasiado distractores o tramposos. Escribir ítems para un test requiere decisiones acerca de la naturaleza del ítem o pregunta que queremos hacerle al estudiante, un ítem de test es una tarea específica que se requiere que el alumno realice. Estos ítems pueden evaluar uno o más puntos u objetivos, y el mismo ítem puede tomar distinta forma en base al contexto dentro del mismo 9
Social Psychology Network (How to construct better items) Recuperado de: http://www.socialpsychology.org/teach/itemtips.htm Fecha 02/11/11
10
examen. Por ejemplo, un ítem puede evaluar un solo punto (comprender una palabra de vocabulario) o varios puntos (la habilidad de relatar hechos de un pasaje y luego hacer inferencias basado en hechos.) También un objetivo puede ser evaluado por una serie de ítems.10 Los ítems del test deben estar unidos o enlazados con los estándares y/o contenidos tanto en las evaluaciones diarias del salón de clases como en las evaluaciones generales de rendimiento, como las nacionales. La instrucción o educación entonces, debe alinear estas evaluaciones para que los estudiantes aprendan a desempeñarse de acuerdo a las expectativas que de ellos se tiene. El uso de un banco de ítems validados y una especie de manual de escritura para ítems son muy buenas herramientas, especialmente para aquellos maestros que tradicionalmente han tenido dificultad escribiendo ítems que miden el complejo aprendizaje de los estudiantes.
Escribir ítems para un test es un arte de precisión, quizá más parecido a programar en computadora que escribir versos. Según el manual de evaluación de la Michigan State University; un ítem de un test debe enfocar la atención del examinando en el principio o constructo sobre el que el ítem es basado. En una situación ideal, los estudiantes que contestan un ítem incorrectamente lo harán porque su dominio del tema fue inadecuado. Cualquier característica del ítem que distraiga al alumno del punto central del ítem, reduce la efectividad de ese ítem. Cualquier ítem contestado incorrectamente debido a estos factores resultará en un engaño para ambos, el alumno y profesor.
Ideas generales para escribir ítems -
-
Exprese los ítems tan preciso, claro y simple como pueda. Incluya todas las bases necesarias y razonables para responder De acuerdo a Ebel, el tipo más versátil de ítem para medir varios objetivos en o educación es: _________________________. Enfóquese en lo grande en lugar de detalles pequeños. Evite lenguaje extraño o del diccionario Evite pistas irrelevantes Elimine fuentes irrelevantes de dificultad Prepare las claves de respuesta antes de dar el examen Pida a sus compañeros que le revisen su examen
10
University of Minnesota (Test construction) Recuperado de: http://www.carla.umn.edu/assessment/VAC/research/construction.html Fecha 02/11/11
11
Creación de tests por parte de los profesores: Susan M. Brookhart definió11 otras reglas que deben seguirse a la hora de elaborar pruebas de evaluación para los estudiantes; estos van más orientados a las competencias que debe tener un maestro antes de hacer una evaluación y aunque no se refieren exactamente al tema de construcción de ítems bien vale la pena recordarlas y tomarlas en cuenta. Susan propone que: 1) Los profesores deben comprender lo que enseñan, también debe saber de qué forma aprenden los alumnos. 2) Los profesores deben explicar claramente lo que esperan que los estudiantes aprendan y que esos contenidos sean congruentes con los objetivos del currículo 3) Los maestros deben tener un repertorio de estrategias de comunicación para explicar hasta donde han llegado en esos objetivos. Y repite, que para que el aprendizaje sea efectivo, las metas u objetivos de aprendizaje deben ser claras y coherentes con los mismos objetivos del currículo. 4) Los profesores deben comprender los objetivos y uso de todas las opciones de evaluación disponibles y tener la habilidad de usarlas. La evaluación formativa quiere decir que los maestros deben planificarla de forma que pueda ser utilizada tanto por alumnos como maestros. 5) Los maestros deben poseer las habilidades para elaborar sus propios instrumentos de evaluación, compararlos con otros y usar esa información para planear instrucción futura. (esta es la idea que más se repite en todo el texto) 6) Los maestros deben tener habilidades para proveer retroalimentación 7) Los profesores deben ser capaces de usar varios métodos para asignar notas 8) Deben tener la habilidad de administrar evaluación externa (homework?) 9) Debe tener la capacidad de comunicar su interpretación de los resultados para la población que sirve (alumnos, padres de familia, comunidad) 10) Los maestros deben ser capaces de ayudar a los estudiantes para que hagan buen uso de la información de la evaluación y que tomen las mejores decisiones. 11) Los maestros deben de comprender cuáles son sus responsabilidades éticas en su trabajo y en la evaluación.
11
Susan M. Brookhart (Educational Assesment Knowledge and Skills for Teachers) Educational Measurement: Issues and Practice Spring 2011, Vol. 30, No. 1 pp 3-12
12
Reglas para escribir ítems de seleccion multiple En el estudio Item writing rules: Collective wisdom 12 los autores afirman como ya se ha venido mencionando varias veces; que los ítems deben cubrir los conceptos importantes y objetivos del curso o programa. Otras reglas pueden agruparse en 4 categorías:
a) Requerimientos ambiguos o palabras confusas. Si un alumno comprende una pregunta pero otro no, su respuesta va a variar con seguridad, no como resultado del nivel de conocimiento o habilidad sino por la forma en que fue escrito. Respuestas como “todas las anteriores” o “ninguna de las anteriores” no debieran ser opciones de
selección. Palabras negativas, las opciones de respuesta debieran incluir solo una opción correcta, el vocabulario debe ser apropiado, si el examen fuera de rellenar palabras, solo un espacio en blanco por pregunta debiera usarse; las preguntas de verdadero falso deben tener una estructura simple; los V.F. (Verdadero o Falso) deben ser enteramente falsos o verdaderos; las preguntas de relación entre figuras por ejemplo, debieran contener instrucciones sobre cómo unir o relacionar las mismas; palabras como “usualmente” o “algunas veces” deben ser prohibidas. Las preguntas
de selección múltiple deben ser oraciones completas y no debieran usarse respuestas o preguntas complejas. Por ejemplo: a y c pero no c.
b) Adivinar. Si los alumnos responden una pregunta por casualidad, al adivinar, entonces el examen pierde validez porque no se interpreta el conocimiento. Algunas reglas para disminuir el riesgo de adivinar son razonables, por ejemplo poniendo varias opciones de respuesta como sea posible. Pero también puede ser que el examen se vuelva tan largo que no sea fácil construirlo o responderlo. Todas las opciones deben ser plausibles, dignas de tenerse en cuenta. Cuando se hagan ítems de relacionar, debieran haber más opciones de respuesta, es decir, más de un elemento puede ser usado para relacionar; lo ideal en todos los casos son de 3 a 5 opciones de respuesta.
12
Bruce B. Frey, et al ( Item writing rules: Collective wisdom) Teaching and Teacher Education
Volume 21, Issue 4, May 2005, Pages 357-364
13
c) Reglas para medir eficiencia. A veces una gran cantidad de reglas para escribir exámenes son diseñadas para hacer el proceso de tomar un examen más simple, simple para los estudiantes, claro está. Todas estas reglas, usualmente entregadas en formas de manuales de evaluación incluyen: El orden de las opciones de respuesta deben ser lógicas o variadas; las opciones de respuesta no deben ser más largas que la pregunta misma; todo el ejercicio o las partes del ítem deben aparecer en la misma página; las opciones de respuesta no deben tener palabras repetidas; las preguntas con el mismo formato deben ir juntas. Todos los ítems deben ser numerados; los ítems individuales deben ser cortos. Las copias de examen deben ser claros y no ser escritos a mano.
d) Reglas para controlar la experiencia en tests. (testwiseness). Hay estudiantes que tienen la habilidad natural o no de reconocer estructuras en los exámenes y de esa forma ganar ventaja no por que sepan más sino por la sagacidad. Para no afectar la validez de los resultados se debe tomar en cuenta que el orden de las opciones de las respuesta sean lógicas o variadas; las opciones deben ser homogéneas; la respuesta correcta no debe ser la más larga; los ítems deben ser independientes unos de otros; los ejemplos no deben ser del libro de texto.
Michael Kane afirma que los errores que podemos hallar en un test hoy pueden no serlo mañana, por lo tanto hace falta tener una especie de media de lo que se supone un buen test debe ser. Se le preguntó a Abraham Lincoln “¿Qué tan largas deben ser las piernas de un hombre?” y él contestó: Lo suficientemente largas para alcanzar el suelo.
Con esta ilustración, Michael Kane 13 nos dice que un ítem o examen debiera medir lo que se espera mida, nada más, nada menos. El error que los profesores, especialmente en Guatemala y muchas otras partes de América Latina, es que entre más difícil hacen un test y menos alumnos lo ganan, entonces el profesor es bueno, olvidando que las piernas tienen que llegar al suelo no al cielo.
13
Michael Kane (The error of our ways) Journal of Educational Measurement Spring 2011, Vol. 48, No. 1, pp. 12 –30
14
Escribiendo ítems específicos Hay una variedad de formas de ítems, pero normalmente están agrupados en cuatro categorías: Ítems objetivos e ítems de respuesta construida. Los ítems objetivos son aquellos en los que el estudiante reconoce la mejor respuesta en base a opciones que se le dan. Los ítems de construcción de la respuesta incluyen los ítems de respuesta restringida, ítems de respuesta corta, ítems de completar e ítems de composición, como cuando hay que desarrollar un tema.
Items de seleccion multiple Estos presentan un problema o pregunta en la parte principal de la pregunta y requiere que el alumno seleccione la mejor respuesta para la opción. Las opciones consisten en una respuesta correcta y uno o varios distractores.
Ejemplo: La capital de Honduras es:
San Pedro Sula Copán Tegucigalpa
Si volvemos sobre lo que hemos venido hablando en todo el texto nos daremos cuenta que hay ciertas reglas que seguir para escribir ítems, por ejemplo que no sean más de tres, que la respuesta correcta no siga una estructura, que los ítems no guarden relación lógica entre si y que no exista trampa o engaño para hacer fallar al alumno. Algunos profesores dicen que un ítem puede tener varias opciones de respuesta correcta; que tenga una oración completa como pregunta principal y varias opciones para responder y que siempre mida detalles factuales.
15
Los componentes de un ítem de respuesta múltiple son: - Una pregunta principal y varias ramificaciones como posible complemento correcto. - Una respuesta correcta
Un estudiante bien preparado que se le presenta a su vez un ítem elaborado correctamente, leerá la pregunta principal y reconocerá inmediatamente la respuesta correcta. Lo único que debe hacer después es buscar el complemento exacto para responder. Recordemos que las preguntas y respuestas no deben ser ambiguas; ni prestarse a ser discutidas; de lo contrario como profesor tendrá que dar muchas explicaciones a aquellos alumnos que hicieron bien su tarea. El enfoque o propósito principal de un ítem de respuesta múltiple es identificar el nivel de conocimiento de una materia o concepto. Por eso, y para lograr bien su cometido, los distractores del ítem deben aparecer tan razonables como la respuesta correcta.
Items de respuesta alterna Estos son casos especiales de formatos de selección múltiple, hay varias situaciones en donde se necesita que el estudiante tome una decisión, sin analizar si la respuesta es correcta o equivocada, continuar o parar, etc. En estas situaciones, un ítem de respuesta alterna es la elección correcta. Los estudiantes pueden contestar más ítems de respuesta alterna que ninguna otra clase. La mayor desventaja de este tipo de ítems es que el estudiante tiene una probabilidad de 50 – 50 de contestar un ítem correctamente, solo por la vía de la casualidad, por lo tanto se considera necesario que los test tengan una gran cantidad de ítems. De ítems alternos hay dos clases; el primero que es una selección múltiple con dos opciones para determinar el grado de relación entre dos variables continuas y el más común de estos formatos: Verdadero -Falso. V.F
16
En este tipo de ítems hace falta tener cuidado en que las posibles respuestas sean exactas, elimine aquellos ítems parcialmente verdaderos o falsos, debieran tener la misma extensión en palabras, balancear el número de ítems con respuesta verdadera y falsa y por último eliminar términos vagos. Igual, se espera que tengamos precaución al escribir ítems con preguntas en formato negativo.
Cuando hablamos de ítems de selección múltiple no nos referimos solamente a los clásicos tests donde hay una respuesta y tres o más posibles respuestas, de las que una sola es correcta, a lo largo de este trabajo hemos visto una parte de toda esta variedad de formatos de ítems. Pero volviendo al trabajo de Susan Brookhart, que ya citamos antes; lo que si debe estar siempre claro es que los profesores deben primero comprender bien lo que enseñan y saber cómo enseñarlo, a esta regla hay que agregar que deben también saber evaluarlo. Desafortunadamente esto no siempre es posible porque aun en países desarrollados, hace falta preparación en los profesores para escribir correctamente formatos de ítems, sin siquiera llegar a soñar con que tengan un propio banco de ítems. Los estudiantes a su vez deben estar informados claramente de lo que se espera de ellos y los tests a su vez, pero principalmente los ítems, deben ser formulados de manera tal que se minimice el riesgo de que midamos la información incorrectamente. Porque si no se mide de una forma valida el nivel de aprendizaje de los estudiantes, entonces todo el proceso de retroalimentación y luego el de posterior enseñanza – aprendizaje se verá afectado, esa es entonces la mejor razón para embarcarse en un proceso de capacitación para elaborar correctamente ítems de cualquier clase.
17
Evaluacio n alternativa y tutoría ¿Para qué evaluar? Esta pregunta es una que no debe hacerse, especialmente en condiciones de educación formal, alguien por allí escribió que los alumnos necesitan que evalúen su trabajo pero los oficinistas quieren números para hacer los certificados. Los profesores efectivos, utilizan varias formas de evaluación, unas formales y otras informales, para determinar lo que sus alumnos están aprendiendo. Para evaluar formalmente utilizan exámenes, reportes, investigaciones, ejercicios, tareas para entregar otro día, de esta forma se revisa el progreso y se asignan notas. Informalmente también se utiliza otra variedad de técnicas, hacen preguntas generales a todo el salón, escuchan lo que los alumnos dicen, observan su comportamiento, muchas veces la evaluación informal determina el éxito o fracaso de un estudiante en cierto curso. A distancia, los docentes deben enfrentar un reto diferente en el sistema de evaluación porque los profesores o tutores a distancia no tienen: Un salón de clases tradicional. Un grupo casi homogéneo de estudiantes. Retroalimentación cara a cara e inmediata. No tienen control total del sistema de educación a distancia. No tienen o son muy pocas las posibilidades de hablar personalmente con ellos. Por estas razones, se aconseja que los profesores además de evaluar formalmente a los alumnos por medio de tareas, utilicen un enfoque informal para determinar si están cómodos con el método de envío de los materiales didácticos, si las tareas les son agradables, si el contenido de los cursos es claro, si tienen tiempo para sus clases, si el tutor o el profesor está siendo efectivo cuando piden ayuda y como se puede mejorar el sistema de enseñanza a distancia.
18
Te cnicas y herramientas para evaluacio n no formal: José Luis Pulgar14 propone algunas técnicas para la evaluación no formal: Diario, portafolio de ejercicios o texto paralelo. Otras personas le llaman dossier . Fichas de registro de eventos (Seguimiento de noticias, crecimiento de una planta, evolución de un proyecto, etc.) Entrevistas tutoriales. Coevaluacion. Realizada entre dos o más estudiantes. Resúmenes Leonor Barahona catedrática del curso Planificación por Competencias dictado en la UNIS durante el segundo semestre del año 2008, también aconseja que los estudiantes lleven un portafolio de ejercicios, un diario o un texto paralelo, este lo entregan al finalizar el grado o semestre y tiene que ser devuelto para que el estudiante corrija posibles dificultades y reciba la retroalimentación debida.
Web-Quest (Búsqueda en el internet) Francisco Herrera15, catedrático del curso Tecnología Educativa de la Universidad del Istmo explica que la forma más fácil de evitar el copy paste son las Web-Quest , un concepto desarrollado por Bernie Dodge de la Universidad de San Diego, California, tan temprano como 1995, la idea principal detrás de una Web Quest es la siguiente: El profesor selecciona el material en línea Después lo analiza y si considera adecuado su uso entonces pide a los estudiantes que lo revisen. Cuando un material que está disponible en Internet se cree adecuado para el curso, el profesor además de proporcionar a los alumnos la dirección o direcciones, les entrega un cuestionario que debe ser respondido por los estudiantes. Esto garantiza que los alumnos deben visitar el enlace que el profesor les indicó y que el trabajo que van a hacer está diseñado de antemano por el profesor. No hay lugar para copiar y pegar, los estudiantes deben leer y responder de acuerdo a los lineamientos recibidos.
14
PULGAR, Burgos, José Luís. Evaluación del aprendizaje en educación no formal. Recursos didácticos para el profesorado. NARCEA Madrid 2005 p93 15 HERRERA, Francisco. Curso: Tecnología Educativa. FEDU Universidad del Istmo. Segundo Semestre 2008
19
Estructura de una Web-Quest:
Observación La observación es una técnica que utiliza el profesor en forma incidental o intencional al enseñar y/o cuando los alumnos aprenden en forma más autónoma. (Frida Díaz Barriga: 2005) Observaciones sistematizadas se llevan a cabo por medio de una ficha.
20
Lista de cotejo Consiste en un listado de aspectos a evaluar (al lado de los cuales se puede adjuntar un tic (visto bueno, o una "X" si la conducta es no lograda, por ejemplo), un puntaje, una nota o un concepto.
21
Escala de rango También denominada lista de control o de verificación, es un instrumento en el que se indica la presencia o ausencia de un aspecto o conducta a ser observada. Usualmente se estructura en tres o más columnas.
Rubrica Las rúbricas son instrumentos de medición en los cuales se establecen criterios y estándares por niveles, mediante la disposición de escalas, que permiten determinar la calidad de la ejecución de los estudiantes en unas tareas específicas
22
Otras tecnicas
Diario Debate Ensayo Portafolio Solución de problemas Método de casos Proyecto Mapa mental
RECURSOS ADICIONALES http://redescolar.ilce.edu.mx/redescolar/biblioteca/artic ulos/htm/tecnicas_evalu.htm
http://virtuami.izt.uam.mx/ePortafolio/PlanEstudios/Semana3/evaluaciontecnicasalte rnativas.pdf http://virtuami.izt.uam.mx/ePortafolio/PlanEstudios/Semana3/evaluaciontecnicasalte rnativas.pdf
23
Imagen tomada de: http://redescolar.ilce.edu.mx/redescolar/biblioteca/articulos/htm/tecnicas_evalu.htm
24
Limitaciones y lecturas adicionales Todavía nos faltó analizar una a una las características, ventajas y desventajas de cada clase de ítem; para eso puede recurrirse a buena literatura que se encuentra disponible en la red o en las bibliotecas. Claudia Castro ha escrito un manual para elaborar items que aborda no cuestiones teóricas como nosotros sino que va al grano; (http://www.saidem.org.ar/docs/cpreparar.php) y también en inglés podemos hallar dos sitios muy interesantes que recopilan toda la información necesaria; una de ellas que usamos parcialmente para este trabajo: (http://scoring.msu.edu/writitem.html#knowmat) cuyos datos se encuentran en la referencia; y el último recurso: (http://www.iiep.unesco.org/fileadmin/user_upload/Cap_Dev_Training/Training_Material s/Quality/Qu_Mod5.pdf ) que por razones de tiempo no pudimos abordar en este trabajo.
Referencias: 1. John Izard (Overview of test construction) UNESCO International Institute for Educational Planning Recuperado de: http://www.iiep.unesco.org/ Fecha 02/11/11 2. Blanca Silvia López Frías, Elsa María Hinojosa Kleen. Evaluación del aprendizaje Alternativas y nuevos desarrollos. Editorial Trillas (Universidad Virtual ITESM) México D. F. 2001 p14 3. PULGAR Burgos José Luís. Evaluación del aprendizaje en educación no formal. Narcea Madrid 2005 4. Carlos Dorado Perea Metacognición (Documento en línea) Recuperado de: http://www.xtec.es/~cdorado/cdora1/esp/metaco.htm Fecha 02/11/2011 5. Gomm, Roger (1981), ‘Salvage evaluation’, in Smetherham, David (ed.), Practising Evaluation, Nafferton Books (http://www.edu.plymouth.ac.uk/resined/evaluation/index.htm#4 Methods) 6. Katrien Struyven, F. D. (2006). The overall effects onf end of course assessment on student perfomance: A comparison between multiple choice testing, peer assesment, case based assessment and portfolio assessment. Studies in Educational Evaluation, 202-222 7. Social Psychology Network (How to construct better items) Recuperado de: http://www.socialpsychology.org/teach/itemtips.htmFecha 02/11/11 25
8. University of Minnesota (Test construction) Recuperado de: http://www.carla.umn.edu/assessment/VAC/research/construction.html Fecha 02/11/11 9. Michigan State University Academic Technology Services Scoring Office (Writing test items) Recuperado de: http://scoring.msu.edu/writitem.html#esschar Fecha: 03/11/11 10. Liz Hollingworth, Jonathan J. Beard, and Thomas P. Proctor ( An Investigation of Item Type in a Standards-Based Assessment) Practical Assessment, Research & Evaluation, Vol 12, No 18 11. Dirk Hastedt , Heiko Sibberns (Differences between multiple choice items and constucted response items in the IEA TIMSS surveys) Studies in Educational Evaluation 31 (2005) 145161 12. Jason C. Chen et al (Test – ítem sequence affects false memory formation: An event – related potential study) Neuroscience Letters, Volume 431, Issue 1, 24 January 2008, Pages 51-56 13. Yasuhiro Ozuru et al (Influence of question format and text availability on the assessment of expository text comprehension) Cognition and Instruction, v25 n4 p399-438 Dec 2007 14. Hugo Carretero, Macarena de los Santos Roig, Gualberto Buela Casal. (Influence of the difficulty of the Matching Familiar Figures Test – 20 on the assessment of reflection – impulsivity: An ítem analysis) Learning and Individual Differences 18 (2008) 505 – 508 15. Frey, B.B.; Petersen, S.; Edwards, L.M.; Pedrotti, J.T.; Peyton, V.(Item-Writing Rules: Collective Wisdom) Teaching and Teacher Education: An International Journal of Research and Studies, v21 n4 p357-364 May 2005 16. Haladyna, Thomas M.; Downing, Steven M.; Rodriguez, Michael C. (A Review of MultipleChoice Item-Writing Guidelines for Classroom Assessment) Applied Measurement in Education, v15 n3 p309-34 2002 17. Rafael Moreno, Rafael Martínez, José Muñiz (Directrices para la construcción de ítems de elección múltiple) Psicothema 2004 Vol 16 No. 3 pp 490-497 18. David Foster, Harold L. Miller Jr. (A new format for multiple – choice testing: Discrete – Option Multiple Choice. Results from early studies) Psychology Science Quarterly Volume 51 (2009) pp 355-369 19. Klaus D. Kubinger, Stefana Holocher – Ertl, Manuel Reif, Christine Hohensinn and Martina Frebort. (On minimizing guessing effects on multiple choice items: Superiority of a two solutions and three distractors item format to a one solution ad five distractors item format) International Journal of Selection and Assessment Volume 18 Number 1 March 2010 20. Pauline Vos, Wilmad Kuiper (Predecessor items and performance level) Studies in Educational Evaluation 29 (2003) pp 191 – 206 26
21. WARD Annie (Guidelines for the Development of Bank Items) ITEMS Instructional Topics in Educational Measurement Recuperado de: http://www.ncme.org/pubs/items/25.pdf Fecha 04/11/11 22. Susan M. Brookhart (Educational Assesment Knowledge and Skills for Teachers) Educational Measurement: Issues and Practice Spring 2011, Vol. 30, No. 1 pp 3-12 23. Michael C. Rodríguez (Three Options Are Optimal for Multiple – Choice Items: A Meta – Analysis of 80 Years of Research) Educational Measurement: Issues and Practice Volume 24 Issue 2 Pages 3-13 Jun 2005 24. Bruce B. Frey, et al (Item writing rules: Collective wisdom) Teaching and Teacher Education Volume 21, Issue 4, May 2005, Pages 357-364 25. Errikos Ventouras et al (Comparison of oral examination and electronic examination using paired multiple – choice questions) Computers & Education Volume 56, Issue 3, April 2011, Pages 616-624 26. Michael Kane (The error of our ways) Journal of Educational Measurement Spring 2011, Vol. 48, No. 1, pp. 12 –30
27
