GUÍA DE CODIFICACIÓN DE PREGUNTAS ABIERTAS SELECCIÓN CODIFICADORES SABER 11 2014-II ÁREA DE MATEMÁTICAS
INSTITUTO COLOMBIANO PARA LA EVALUACIÓN DE LA EDUCACIÓN – ICFES
DIRECCIÓN DE EVALUACIÓN
BOGOTÁ, JULIO DE 2014
CONTENIDO INTRODUCCIÓN
3
1.
Precisiones generales
4
1.1.
Pregunta abierta: definición
4
1.2.
Codificar: ¿en qué consiste?
4
1.2.1.
Descriptores de clasificación de respuestas
4
1.2.2.
Novedades
5
2.
3.
1.3.
Control de discrepancias: ¿en qué consiste?
6
1.4.
Medio de codificación: Plataforma virtual
7
Consideraciones generales para la codificación
8
2.1.
Posibles dificultades.
8
2.2.
Cómo enfrentar la codificación de una respuesta.
9
Instrucciones de codificación para Matemáticas
10
3.1.
Enfoque particular de las preguntas del área
10
3.2.
Consideraciones particulares de codificación
10
3.3.
Pregunta de Matemáticas
11
3.3.1.
Objetivo
11
3.3.2.
Codificación de respuestas
12
Página2
INTRODUCCIÓN El Instituto Colombiano para la Evaluación de la Educación ICFES, en las evaluaciones realizadas para la educación media y superior, ha diseñado pruebas cuyos instrumentos de evaluación incluyen preguntas abiertas de respuesta corta. En el examen dispuesto para estudiantes de último año de formación media, denominado PRE-SABER 11, y aplicado en el periodo 2014-1, se incluyeron dos preguntas de este tipo en cada una de las siguientes áreas:
Ciencias Naturales Ciencias Sociales y Competencias Ciudadanas Lectura Crítica Matemáticas
Las respuestas obtenidas en cada pregunta deben ser revisadas una a una y aplicando los criterios dispuestos en esta guía, se clasifican mediante la asignación de un código; este proceso se denomina codificación de la respuesta. Una de las preocupaciones que surge en un proceso de codificación tiene que ver con la confiabilidad y objetividad en la codificación de las respuestas; y para garantizar una codificación confiable y objetiva es preciso estandarizar todos los procedimientos asociados, pues solo de esta forma, es posible controlar que las diferencias entre los códigos asignados a las respuestas de una misma pregunta sean consecuencia de las características de cada respuesta y no de la forma como se llevó a cabo la codificación. Con el propósito de garantizar dicha confiabilidad y objetividad en el proceso, se establecen las pautas de codificación para ser aplicadas unívocamente a una gran cantidad de respuestas; se dispone de una plataforma virtual provista por el ICFES para desarrollar el proceso, y se realizan controles de codificación observando las discrepancias obtenidas. Estos aspectos serán detallados más adelante, en el primer capítulo. Los criterios de codificación a las respuestas de cada pregunta son establecidos respondiendo a las particularidades de cada una de ellas y del área, sin embargo, existen elementos generales que serán abordados en el segundo capítulo.
Página3
Finalmente, en el tercer capítulo, se presentan las preguntas junto con los criterios, parámetros y pautas propias que se deben seguir para desarrollar el proceso de codificación correspondiente a las respuestas de las preguntas del área de interés.
1. Precisiones generales 1.1. Pregunta abierta: definición Las preguntas abiertas son aquellas en las cuales se espera que el estudiante construya la respuesta con base en la información dada en el enunciado (estímulo) y la tarea o instrucción del mismo. Cada pregunta es diseñada con un objetivo preciso que debe cumplir el estudiante y acorde con este se establecen los criterios y pautas de codificación.
1.2. Codificar: ¿en qué consiste? Al examinar una respuesta es fundamental considerar cuál fue el objetivo con el que se diseñó la pregunta y qué tipo de evidencia demostrará que este objetivo ha sido alcanzado. Esto permite clasificar las respuestas en distintas categorías según el tipo de evidencia observada y establecer los descriptores de cada clasificación.
1.2.1.
Descriptores de clasificación de respuestas
La forma en que se clasifican las respuestas de cada una de las preguntas obedece al objetivo de la misma, así como a diferentes supuestos sobre las habilidades de los estudiantes al enfrentarse a ellas, en el actual proceso de codificación que desarrolla el ICFES solo se contemplan las siguientes clasificaciones.
Crédito Total Aquí se clasifican las respuestas en las que se evidencia que se cumple con el objetivo propuesto y coincide con lo esperado. En el caso de que la respuesta tenga información adicional, se mantiene esta clasificación siempre y cuando no contradiga la parte válida.
Crédito Parcial Página4
Aquí se clasifican las respuestas en la que se evidencia que no se cumple completamente con el objetivo propuesto pero se observa un acercamiento a lo esperado. En caso de que la respuesta tenga información adicional, se mantiene esta clasificación siempre y cuando esta no contradiga la parte válida.
Sin crédito Esta clasificación incluye las respuestas en las que se evidencia que no se cumple con el objetivo propuesto, es decir, que no dé cuenta del proceso de pensamiento que se espera se genere en el estudiante cuando se enfrenta a la pregunta, o cuando presente información contradictoria. En este descriptor también se clasifican aquellas respuestas que contengan expresiones no relacionadas con la pregunta. Esto incluye respuestas del estilo: “no sé”, “esta pregunta es muy difícil”, “no me alcanzó el tiempo”. Respuestas que claramente, son un intento poco serio. Ejemplos de este tipo incluyen palabras que no están relacionadas con la pregunta o que en caso de estarlo no se puedan clasificar como crédito total o parcial; chistes, insultos, nombres de artistas o comentarios negativos sobre la prueba.
Omisión En este descriptor se incluyen las respuestas en las que se evidencia que el estudiante omitió la pregunta. Tal es el caso de respuestas en blanco, una sola letra, un signo de interrogación, una raya fuertemente marcada o que se pueda identificar fácilmente como hechos por la persona.
1.2.2. Novedades Además de los descriptores mencionados, se pueden presentar situaciones en las que, por la calidad de las respuestas o dificultades para su legibilidad, dichos descriptores no son suficientes para realizar la codificación. En estos casos se realiza un reporte de codificación como Ilegible o mal escaneada; en el actual proceso de codificación que desarrolla el ICFES solo se contemplan las siguientes novedades.
Ilegible Página5
Con esta novedad se deben reportar las respuestas con serios problemas de caligrafía, o escritas muy débilmente y que luego de hacer todos los esfuerzos por entenderlas, el codificador no puede asignar un código según las pautas de la pregunta.
Mal escaneada Con esta novedad se deben reportar las respuestas que presenten una imagen cortada o en las que no se ve el número que identifica la pregunta dentro de la prueba. Es importante tener en cuenta que las respuestas a las que se les asignen Crédito total, no necesariamente son respuestas perfectas o absolutamente correctas. En general, las asignaciones Crédito total, Crédito parcial y Sin crédito clasifican las respuestas en tres categorías en relación con el grado de habilidad demostrada por el estudiante al responder la pregunta, pero incluso dentro de cada categoría se contemplan variaciones en la calidad de las respuestas. Para cada uno de estos descriptores (Crédito total, Crédito parcial, Sin crédito y Omisión), se disponen códigos que en ocasiones son particulares del área o de la pregunta. De esta manera, codificar es la labor de examinar la respuesta y acorde con el tipo de información presentada en ella y el tipo de crédito que se deba otorgar, asignar un valor numérico (el código dispuesto según el crédito) a cada respuesta.
Es importante tener en cuenta que las respuestas, a las cuales se asigna Crédito total, no necesariamente son respuestas perfectas o absolutamente correctas. En general, las asignaciones Crédito total, Crédito parcial y Sin crédito clasifican las respuestas en tres categorías en relación con el grado de habilidad demostrada por el estudiante al responder la pregunta, pero incluso dentro de cada categoría se contemplan variaciones en la calidad de las respuestas. Para cada uno de estos descriptores (rédito total, Crédito parcial, Sin crédito y Omisión), se disponen códigos que en ocasiones son particulares del área o de la pregunta. De esta manera, codificar es la labor de examinar la respuesta y acorde con el tipo de información presentada en ella y el tipo de crédito que se deba otorgar, asignar un valor numérico (el código dispuesto según el crédito) a cada respuesta.
1.3. Control de discrepancias: ¿en qué consiste?
Página6
Con el fin de lograr una codificación objetiva, es preciso garantizar que independientemente del codificador a quien se asigne una respuesta, ésta será codificada de igual manera y acorde con las pautas y criterios dispuestos. Para monitorear esto se utiliza la doble codificación, la cual consiste en que dos personas codifican la misma respuesta, y en caso de no coincidir en el código, la plataforma genera un reporte de “discrepancia” al coordinador de codificación del área y es él o ella quien aplica la pauta y determina el código definitivo que se debe asignar a la respuesta. A esta codificación final hecha por el coordinador se le llama tercera codificación.
Luego de la tercera codificación y tomando esta como referencia, la plataforma virtual de codificación reporta cuál de los dos o incluso si los dos codificadores aplicaron criterios distintos, es decir, indica quien está “discrepando” y genera un reporte estadístico por codificador de la siguiente manera: Discrepancia hacia arriba: cuando se asigna un código superior al que debe asignarse de acuerdo con lo esperado, por ejemplo, la respuesta fue codificada por el coordinador con 1 y el codificador le asignó 2. Discrepancia hacia abajo: cuando se asigna un código inferior al que debe asignarse de acuerdo con lo esperado, por ejemplo, la respuesta fue codificada por el coordinador con 2 y el codificador le asignó 1. Discrepancia por novedad: cuando se asigna un código o una novedad y esta difiere con la clasificación del coordinador, por ejemplo, la respuesta fue codificada por el coordinador con 2 y el codificador le asignó ilegible; o el coordinador codifico la respuesta con ilegible y el codificador le asigno 2. A medida que se vayan realizando las terceras codificaciones la plataforma va generando un reporte del porcentaje de discrepancias del grupo y de cada codificador; con esta información y con el fin de disminuir los porcentajes de discrepancia, el coordinador del área debe intervenir y aclarar comprensiones erradas de los criterios y pautas establecidas. Es importante tener en cuenta que la cantidad de discrepancias será un indicador de desempeño y en caso de encontrarse persistencia en este aspecto por parte de un codificador luego de las intervenciones y retroalimentaciones de los coordinadores, es preciso no continuar asignando respuestas a quien continúa con discrepancias hasta garantizar una comprensión y aplicación adecuada de la pauta; de no lograr garantizarse esto, el codificador no podrá continuar en el proceso.
1.4. Medio de codificación: Plataforma virtual La codificación de las preguntas se realizará de forma virtual a través de la plataforma provista por el ICFES para este propósito. Las instrucciones para su uso se encontrarán en un documento anexo “MANUAL USUARIO, Codificación Pregunta Abierta-codificadores” y las podrá complementar viendo el video sobre el manejo de la plataforma.
Página7
2. Consideraciones generales para la codificación Para codificar las respuestas de una pregunta, es importante que el codificador tenga en cuenta el objetivo de la pregunta y logre identificar lo que forma parte de cada código en particular y delimitar las fronteras entre ellos. Como regla general, se deberá emitir siempre la mejor valoración acerca de si el estudiante es capaz de contestar la pregunta; se debe evitar restar puntos por todo aquello que se aleje de una respuesta “ideal” desde el punto de vista del codificador. Así mismo, se debe tener en cuenta que estas preguntas no corresponden con un examen de expresión escrita, por lo cual, los errores de redacción, ortográficos, gramaticales y en general aspectos propios de las escritura de los estudiantes, organización o el uso de expresiones coloquiales NO deberán influir en la asignación de la valoración, a menos que impidan la interpretación del significado de la respuesta.
2.1. Posibles dificultades.
Dificultad en la caligrafía y legibilidad
Es posible encontrar respuestas borrosas o con caligrafía que dificulta su lectura, frente a esta situación se deberá hacer el mayor esfuerzo para entender la respuesta y asignar un código. Para esto se recomienda revisar la totalidad de la respuesta e intentar establecer cuál fue la intención del estudiante al responder.
Página8
Por ejemplo, si gran parte de la respuesta fue escrita con un trazo firme y claro pero hay también un fragmento muy tenue y borroso superpuesto a esta, se asumirá que el estudiante cambió de opinión en el desarrollo del ejercicio, borró parcialmente lo que consideraba erróneo o innecesario y por lo tanto deberá descartarse la parte ilegible sin importar que esta pueda sugerir errores o aciertos adicionales.
Dificultad para clasificar la información de una respuesta.
Es posible encontrar respuestas que contienen más de lo que fue preguntado, o son “parcialmente correctas” pero con información o datos adicionales, frente a esta situación se debe considerar si los elementos en la respuesta se contradicen unos con otros. Si parte de la respuesta cabe dentro de la categoría de crédito total o parcial, pero existen uno o varios elementos adicionales en la respuesta que la refutan, se debe considerar como respuesta contradictoria y es una respuesta que debe clasificarse como “sin crédito”. Cuando la respuesta es proporcionada en forma diferente a lo preguntado, el codificador debe considerar si el estudiante entendió la esencia de la pregunta y demostró poseer la habilidad requerida para responderla acorde con el objetivo de la pregunta.
2.2. Cómo enfrentar la codificación de una respuesta. Revisar cuidadosamente todas las recomendaciones, criterios y pautas contempladas en esta guía de codificación. Tener claro el objetivo de cada pregunta y delimitar las diferencias existentes entre los códigos contemplados para la codificación de las respuestas. Leer cuidadosamente toda la información proporcionada en la respuesta; es común usar palabras clave al describir las respuestas de un código, pero la presencia de las mismas no es suficiente; entender el sentido de la misma como un todo es un paso obligatorio en la codificación. Identificar cuál fue la intención del estudiante al plantear la respuesta, y de ser necesario comparar con los prototipos de respuesta expuestos en esta guía, como aquí NO se contemplan todas las respuestas posibles, se debe identificar el ejemplo más parecido en contenido a la respuesta que se debe codificar. Identificar si en la respuesta hay información adicional a lo requerido. De ser así, se debe determinar si la misma es irrelevante o contradictoria y usar las pautas dadas en la sección 2.1, para manejar esta situación.
Página9
Nuevamente, como este proceso debe ser lo más objetivo posible, el código que se asigne debe ser resultado de aplicar todas las consideraciones expuestas en esta guía, y no de la opinión personal, por tanto NO se debe asignar un código a las respuestas de manera subjetiva o arbitraria. Este proceso nunca debe salirse del marco propuesto por esta guía de codificación. En caso de presentarse dudas, se debe consultar al coordinador.
3.
Instrucciones de codificación para Matemáticas
3.1. Enfoque particular de las preguntas del área La prueba de Matemáticas indaga principalmente por las habilidades de manipulación de las herramientas matemáticas elementales en contextos cercanos a la realidad de los examinados o adaptados de situaciones reales, o contextos propios de las matemáticas; por esta razón las respuestas esperadas obedecen al uso correcto de las herramientas matemáticas elementales o procedimientos matemáticos.
3.2. Consideraciones particulares de codificación No se evaluará ortografía, redacción, o aspectos propios de la escritura de los estudiantes; tampoco la organización o el uso de expresiones coloquiales; por lo tanto estos no influenciarán la asignación de la valoración, a menos que impidan la interpretación del significado de la respuesta. Los órdenes y magnitudes de los valores numéricos y los errores de transcripción tampoco son considerados para la asignación de créditos, a menos que en las instrucciones de codificación para la pregunta se especifique lo contrario. Las unidades de medida deben ser omitidas a menos que en las instrucciones para codificar las respuestas se especifique lo contrario. Por ejemplo, una respuesta numérica a una pregunta que indaga por cantidades en dólares y el estudiante la responda usando pesos, será codificada independientemente de la unidad, salvo que la instrucción exija la conversión.
Página10
Para la codificación de las preguntas del área de matemáticas se manejaran los códigos que se presentan en la siguiente tabla.
Crédito
Código
Crédito total
2
Crédito parcial
1
Sin crédito
0
Omisión
9
3.3. Pregunta de Matemáticas
3.3.1. Objetivo Página11
Identificar el manejo erróneo dado por el maestro de obra a los porcentajes de descuento en el cálculo del total a pagar. La respuesta ideal señalará que el error está en el cálculo del porcentaje de descuento que se hace al total de la compra, pues no es correcto sumar los porcentajes de descuento de cada artículo.
3.3.2. Codificación de respuestas Crédito total. Código 2. El estudiante debe señalar explícitamente que el error se comete al calcular el porcentaje de descuento total sumando los porcentajes por artículo. En caso que el estudiante no solo indique este error sino que además señale un método para corregir el procedimiento hecho por el maestro de obra, esta indicación debe ser correcta pues de no serlo se considera como una contradicción a la luz del objetivo de la pregunta. Por ejemplo: 1. No se pueden sumar los descuentos de cada artículo y decir que ese es el descuento de todo, los descuentos no se acumulan sino son de cada cosa por separado. El uso de la palabra descuento es acorde con la interpretación del mismo como “porcentaje de descuento”. 2. Los porcentajes de descuento de cada cosa no se acumulan en una compra. 3.
4.
5. No se pueden sumar 5% de $27.000, más 5% de $45.000, más 5% de $30.000 y concluir que eso equivale al 15% de $102.000.
Crédito parcial. Código 1. El estudiante indica correctamente cómo se debe calcular el precio final a pagar en la situación descrita, pero no señala clara y explícitamente que el porcentaje de descuento en la compra total está mal calculado. En otras palabras, no hay evidencia concreta en la respuesta que muestre que el estudiante tiene claro que los porcentajes de descuento no se pueden sumar, pero el evaluado estaría en condiciones de hacer el cálculo correctamente de ser necesario. Distinguimos dos tipos de respuesta:
procede a explicar, correctamente y de manera clara e inequívoca, cómo hubiera hecho él ese mismo cálculo.
Página12
Tipo A. Respuestas donde el estudiante sabiendo que hay un error (porque lo dice el enunciado)
Tipo B. Respuestas en que el estudiante hace el cálculo y reporta el valor correcto que debía pagar el maestro de obra. No es indispensable que aparezca en la respuesta el procedimiento usado. En los casos anteriores, no se penaliza que el estudiante señale como error elementos distintos a la suma de porcentajes. Por ejemplo: 1. El porcentaje de descuento del valor total de la compra es 5% y no 15%. 2.
3. Está mal porque el porcentaje de descuento de todo no es 15%, tiene que calcular el 5% por cada cosa y mirar al final cuanto da. 4.
5.
La primera parte de la respuesta se considera información irrelevante, la segunda se considera correcta y se le da crédito parcial a la respuesta. 6. Tiene que pagar es 96900. El evaluado realiza correctamente el cálculo y nos da el valor total de la compra en esas condiciones. 7. Da en que el maestro de obra restó el porcentaje a lo último, el resultado no es el mismo que al restar primero el porcentaje para cada producto y sumar todo lo que ya tiene descuento. El estudiante detecta un error al ver que es distinto el resultado por el proceso que él conoce, y asume que el problema fue el orden en que se realizaron las operaciones.
Respuestas que no logran cumplir con el objetivo planteado arriba, por ejemplo:
Página13
Sin crédito. Código 0.
Tipo A. Respuestas que indican que el error del procedimiento se encuentra en otras partes del proceso, distintas a la suma de porcentajes de descuento. Tipo B. Respuestas en que se afirma que no hay ningún error y el proceso hecho por el maestro de obra es de hecho correcto. Tipo C. Respuestas donde no se intenta dar solución a la pregunta planteada, se responde “no sé”, “no entiendo”, etc. Para ilustrar lo anterior, consideramos los siguientes ejemplos: 1. Está mal porque el porcentaje de descuento de todo no es 15%, tiene que calcular el 5% por cada cosa y mirar al final cuanto da. Por ejemplo, como son 6 bultos de pegante, eso tiene 30% de descuento, como son 2 jaboneras eso tiene el 10 y así se mira en cuanto queda al final. La explicación en este caso muestra que el estudiante detectó el error incorrectamente, y de hecho lo está copiando y reproduciendo en su corrección. 2.
3. El total está mal calculado. 4.
5. El 15% de 102.000 no es 15.300. 6.
7. El valor con el descuento no corresponde a $86.700. 8.
Página14
9.
Omisión. Código 9. El estudiante no evidencia intentos de enfrentarse a la pregunta. Rayones, manchas, interrogantes, una letra. Por ejemplo:
1.
2.
Hasta acá se muestran algunos ejemplos de respuesta de los estudiantes a esta pregunta. A medida que avance la codificación y aparezcan nuevos ejemplos que permitan facilitar su codificación, estos se enviarán en un nuevo documento o se incluirán en la versión original de la guía.
Página15
