TALLER CONSTRUCCIÓN DE PREGUNTAS por competencias

FUNDACIÓN SENTIDO HUMANO, Gerencia de la calidad humana TALLER DE CONSTRUCCIÓN DE PREGUNTAS

FORMATOS ICFES PARA CHEQUEO DE PREGUNTAS Aspectos que deben tenerse en cuenta con respecto al contexto:

1 2 3 4 5 6 7

LISTA DE CHEQUEO PARA IDENTIFICAR LA PERTINENCIA DEL CONTEXTO El contexto contiene elementos del componente a evaluar.

SI

NO

La mayoría de la información necesaria necesaria para responder se halla en el contexto y no en los otros componentes, lo que lo hace más extenso que el enunciado y las opciones de respuesta. El contexto permite realizar preguntas relacionadas con la competencia y la habilidad a evaluar. El contenido del contexto es pertinente para el conocimiento previo de los estudiantes. El contenido del contexto es acorde con el contexto de los estudiantes. La información del contexto es pertinente para el estadio y/o nivel intelectual de sus estudiantes. El tiempo estimado para la lectura del contexto es de máximo dos minutos.

TareasTareas- Enunciado Enunciadoss : tare tareas as asig asigna nada dass a los los estu estudi dian ante tes, s, es deci decirr las las preguntas propiamente dichas LISTA DE CHEQUEO PARA CORROBORAR LA PERTINENCIA DE LOS ENUNCIADOS Se evita que la información de un enunciado sirva de pauta o sea pre1 requisito para dar respuesta a una pregunta diferente. 2 El enunciad enunciado o sólo contiene contiene la inform informació ación n necesaria necesaria para para contestar. contestar. El vocabulario es comprensible para la población que presentará la 3 prueba. La estr estruc uctu tura ra y el cont conten enid ido o del del enun enunci ciad ado o está están n dire direct ctam amen ente te 4 relacionados con el marco conceptual de la prueba. Se evita redactar enunciados en matiz de exclusión como: "Cada una 5 de las siguientes EXCEPTO"; "Las afirmaciones expresadas MENOS" Se evitan los enunciados enunciados obvios o que puedan contestarse por sentido 6 común. En la redacc redacció ión n del enunci enunciado ado se evitan evitan expres expresio iones nes adverb adverbia iales les ambiguas o imprecisas como " algunos "; "generalmente"; "raramente"; 7 "habitualmente"; "varios"; "definitivamente"; "frecuentemente" o " posiblemente  posiblemente", entre otros. En la reda redacc cció ión n del del enun enunci ciad ado o se evit evitan an frase frasess o conj conjun unci cion ones es imprecisas y/o sugerentes como " está asociado con"; "es útil para"; 8 "  pue "; "  pod "; "es import "; puede de ser  ser  podrí ría a ser  ser  important ante e"; "es fundam fundamen ental  tal "; "sobretodo"; "se relaciona con", entre otros. La información del enunciado evita caer en juicios de valor  9 innecesarios.

SI

NO

En los casos donde aparecen enunciados enunciados negativos, las palabras NO, NUNCA o NADIE están resaltadas. Se evitan aquellas preguntas cuya respuesta depende únicamente de 11 recordar información aislada como un término, un símbolo, un dato o la fecha en que ocurrió un evento. 10

Opciones de respuesta : Las alternativas que el estudiante tiene para elegir su resp respue uest sta a debe deben n cump cumplir lir cier cierta tass cara caract cter erís ístic ticas as de cali calida dad d para para que que el estudiante conteste gracias a su conocimiento y competencia y no por azar. Lista de chequeo para corroborar la pertenencia de las opciones de respuesta (clave correcta y distractores u opciones no correctas) Las opciones son gramaticalmente consistentes y lógicamente lógicamente 1 compatibles con el enunciado o pregunta. Los distractores son verosímiles, claramente incorrectos y nunca 2 ridículos, redundantes, redundantes, ni absurdos. Se evita que la respuesta a un enunciado dependa de haber dado 3 respuesta a otro. Se evita que la respuesta correcta se encuentre de manera explícita y 4 literal, en la información presentada en el contexto o en alguno de los enunciados. Los distractores tienen relación directa con el contexto y el enunciado 5 o pregunta. Los distractores son homogéneos en su contenido (por ejemplo: todos 6 representan un diagnóstico o todos son un paso a seguir). Los distractores son similares a la respuesta correcta en construcción 7 y longitud. En las opciones de respuesta se evita la repetición de palabras, si 8 éstas se pueden incluir en el enunciado general de la pregunta. En las opciones de respuesta se evitan expresiones como “ todas las 9 anteriores" o "ninguna de las anteriores ”. En las opciones de respuesta se evitan expresiones absolutas como 10 “siempre"  o "nunca” . El vocabulario es comprensible para la población que presentará la 11 prueba. La estru estruct ctur ura a y cont conten enid ido o de las las opci opcion ones es de resp respue uesta sta está están n 12 directamente relacionados relacionados con el marco conceptual de la prueba. 13 Cada afirmación afirmación evita evita caer en en juicios juicios de valor valor innecesarios. innecesarios. Se evita el uso de términos y expresiones expresiones ambiguas en cada 14 afirmación. Se evita incluir respuestas parcialmente correctas; sólo una es la 15 clave. El tiempo estimado para la resolución de cada pregunta es acorde con 16 la longitud del contexto y la complejidad del enunciado. enunciado. Se evita que la clave contenga el mayor número de elementos 17 comunes con los distractores.

SI

NO

2

En los casos donde aparecen enunciados enunciados negativos, las palabras NO, NUNCA o NADIE están resaltadas. Se evitan aquellas preguntas cuya respuesta depende únicamente de 11 recordar información aislada como un término, un símbolo, un dato o la fecha en que ocurrió un evento. 10

Opciones de respuesta : Las alternativas que el estudiante tiene para elegir su resp respue uest sta a debe deben n cump cumplir lir cier cierta tass cara caract cter erís ístic ticas as de cali calida dad d para para que que el estudiante conteste gracias a su conocimiento y competencia y no por azar. Lista de chequeo para corroborar la pertenencia de las opciones de respuesta (clave correcta y distractores u opciones no correctas) Las opciones son gramaticalmente consistentes y lógicamente lógicamente 1 compatibles con el enunciado o pregunta. Los distractores son verosímiles, claramente incorrectos y nunca 2 ridículos, redundantes, redundantes, ni absurdos. Se evita que la respuesta a un enunciado dependa de haber dado 3 respuesta a otro. Se evita que la respuesta correcta se encuentre de manera explícita y 4 literal, en la información presentada en el contexto o en alguno de los enunciados. Los distractores tienen relación directa con el contexto y el enunciado 5 o pregunta. Los distractores son homogéneos en su contenido (por ejemplo: todos 6 representan un diagnóstico o todos son un paso a seguir). Los distractores son similares a la respuesta correcta en construcción 7 y longitud. En las opciones de respuesta se evita la repetición de palabras, si 8 éstas se pueden incluir en el enunciado general de la pregunta. En las opciones de respuesta se evitan expresiones como “ todas las 9 anteriores" o "ninguna de las anteriores ”. En las opciones de respuesta se evitan expresiones absolutas como 10 “siempre"  o "nunca” . El vocabulario es comprensible para la población que presentará la 11 prueba. La estru estruct ctur ura a y cont conten enid ido o de las las opci opcion ones es de resp respue uesta sta está están n 12 directamente relacionados relacionados con el marco conceptual de la prueba. 13 Cada afirmación afirmación evita evita caer en en juicios juicios de valor valor innecesarios. innecesarios. Se evita el uso de términos y expresiones expresiones ambiguas en cada 14 afirmación. Se evita incluir respuestas parcialmente correctas; sólo una es la 15 clave. El tiempo estimado para la resolución de cada pregunta es acorde con 16 la longitud del contexto y la complejidad del enunciado. enunciado. Se evita que la clave contenga el mayor número de elementos 17 comunes con los distractores.

SI

NO

2

FORMATO DEL ICFES PARA LA PRESENTACION PRESENTACION DE PREGUNTAS OBJETIVAS AREA:

MATERIA/DISCIPLINA:

ESTANDAR: COMPONENTE

GRADO:

ACCIÓN DE PENSAMIENTO: COMPETENCIA

DIFICULTAD ESPERADA

CLAVE

PREGUNTA: Escriba aquí la pregunta. Utilice un formato por cada pregunta construida.

Justificación de las opciones de respuesta. En este espacio justifique la Intensión evaluativa de cada opción de respuesta diferente a la clave (respuesta correcta).

Proceso de solución y justificación de la respuesta correcta. En este espacio describa concretamente el proceso de solución de la pregunta. Si se requieren cálculos escríbalos. Describa las acciones que se deben realizar para llegar a la respuesta correcta.

3

MATEMÁTICAS INSTRUMENTOS PARA EVALUAR POR COMPETENCIAS: CONSTRUCCIÓN DE PRUEBAS La evaluación está estrechamente ligada a los procesos de enseñanza y en esta medida el docente debe tener herramientas claras para su diseño, aplicación y análisis. En este documento se aborda lo relacionado con las especificaciones técnicas de pruebas objetivas como las realizadas en la evaluación externa. Para ello se proponen estrategias para elaborar pruebas y preguntas de selección múltiple, las cuales también son aplicables a procesos de evaluación interna.  Actividad 

Organización de dos grupos: Un grupo construirá un contexto a partir de una pregunta que le entregue el  otro grupo. El otro grupo construirá dos preguntas a partir del contexto entregado. Grupo 1 Preguntas

Para embaldosinar una sala se necesitan 46 m2 de baldosa. Se solicita el   pedido al depósito de donde envían inicialmente 15 cajas que contienen 1½ m2  de baldosa cada una. 1. ¿Cuál de las siguientes figuras tiene un área equivalente a la superficie de la sala que se desea embaldosinar? 1

Reflexionen sobre los siguientes interrogantes: • ¿Para qué se hace esa pregunta? • ¿Qué evalúa? Tomado de Evaluar para transformar. Aportes de la prueba saber al trabajo del aula. ICFES, MEN. 2003 Instituto Colombiano para el Fomento de la Educación Superior – ICFES 1

4

• •

•

¿Quiénes la pueden contestar? ¿Qué se puede decir de un estudiante que no la contesta correctamente? ¿Qué se puede decir de los estudiantes que eligen las otras opciones de respuesta?

Grupo dos

 Aquí se ve una fotografía de una casa de campo con el techo en forma de  pirámide.

 A continuación hay un modelo matemático del techo de la casa de campo con las medidas correspondientes

Construyan dos preguntas con este contexto, pero antes reflexionen sobre lo siguiente: • • • •

¿Esta situación es interesante para los estudiantes?  ¿Para qué grado pueden dirigirse las preguntas que va a elaborar?  ¿Las preguntas que van a construir son acordes con el contexto?  ¿Las preguntas atienden al desarrollo de una competencia? 

5

1. ASPECTOS QUE SE TIENEN EN CUENTA EN EL DISEÑO Y CONSTRUCCIÓN DE UNA PRUEBA OBJETIVA POR COMPETENCIAS Una prueba por competencias, diseñada de acuerdo al formato selección múltiple, se considera apropiada en fondo y en forma si sus componentes estructurales están en concordancia con un marco que responda a los criterios de evaluación y que además cumpla determinados criterios de calidad. Por  esta razón, en los siguientes numerales se abordarán estos criterios de evaluación y calidad.

1.1CÓMO SE DEFINE EL OBJETO DE EVALUACIÓN El objeto de la evaluación se refiere al qué de la evaluación. El docente necesita información sobre el nivel de desempeño que tienen sus estudiantes, estos a su vez necesitan conocer sus fortalezas y debilidades. Sin embargo, el docente no puede evaluar todos los contenidos que el estudiante ha trabajado a lo largo de su vida escolar, más aún cuando el docente trabaja en la secundaria. Es decir, que el objeto de la evaluación incluye los contenidos y ejes temáticos que se han incluido en el periodo escolar.

1.2¿QUÉ SE EVALÚA, PARA QUÉ Y QUÉ INFORMACIÓN BRINDA LA EVALUACIÓN? Al momento de evaluar y diseñar una prueba, el docente debe identificar su propósito, las competencias y los componentes que se usarán para evaluar. Por medio de estos últimos se puede medir el nivel de cada una de las tres competencias. Para diseñar la evaluación, la herramienta por excelencia es el marco conceptual, es decir el conjunto de referentes teóricos y metodológicos que permiten al docente diseñar las tareas de evaluación, definir los aspectos centrales de la misma, determinar el número de preguntas ideal para evaluar lo definido e interpretar los resultados de la evaluación a la luz de los desempeños de los estudiantes. La síntesis de dichos referentes se plasma en una estructura matricial, como la siguiente:

6

Por ejemplo, para el área de matemáticas, se puede tener una estructura como la siguiente:

Competencia Tema 1 Numérico: Adición d fraccionarios

Comunicación

Una vez definidas las competencias y los temas a evaluar, se procede al planteamiento de la evaluación:

Propósitos

Componente

Competencia

Número de preguntas

Tiempo estimado de respuesta de cada pregunta

Por cada propósito de evaluación se llenan todas las casillas .

1.3.

¿CÓMO SE CONSTRUYE UNA PREGUNTA?

Las preguntas pueden ser de tres tipos: a. Abiertas: tienen la estructura de interrogante y permiten respuestas libres:

Ejemplo: Mencione algunas causas de la revolución francesa. b.

Cerradas: o de selección múltiple. Este tipo de preguntas tiene tres componentes estructurales: situación que invita al estudiante a usar las ⇒ Contexto o matemáticas. ⇒ Tarea o indicación de lo que el estudiante debe hacer frente a la situación. ⇒ Opciones o alternativas que dan respuesta a la pregunta o tarea.

Ejemplo: Contexto: Eliana y María están caminando por un laberinto siguiendo las rutas mostradas. Cada pequeña barra de la escala mide 100 m . La circunferencia de

7

un círculo está dada por circunferencia = diámetro.

π  

d, donde

π  

≈ 

3.14, y d es el 

María

Eliana

Tarea: La distancia total recorrida por Eliana es la más aproximada a

 A. 315 m. B. 715 m. C. 1255 m. D.1655 m.

Opciones

Preguntas de elección: están estructuradas de manera que el docente da al estudiante dos columnas de elementos equivalentes para que encuentre las parejas correspondientes. c.

Ejemplo:  Analice las columnas de la siguiente tabla y una las palabras que sean equivalentes 1. 2. 3. 4.

Adición Producto Cociente Resta

a. Agregar repetidamente b. Quitar   c. Dividir   d. Agregar  

 Actividad 

Dé un ejemplo de cada uno de los tres tipos de preguntas mencionados.

2. ¿QUÉ ES Y CÓMO SE CONSTRUYE UNA PRUEBA? ASPECTOS TÉCNICOS Una prueba es un conjunto de preguntas que permite al docente medir  diferentes habilidades o desempeños de sus estudiantes con respecto a determinados saberes o contenidos, definidos en la estructura matricial del 8

punto 3. La construcción de preguntas, además de basarse en los aspectos definidos en dicha estructura, debe cumplir con varios criterios de calidad que se señalan en las siguientes tablas 2, las cuales se pueden asumir, a su vez, como listados de chequeo de las cualidades que deben tener las preguntas. Es decir que las tablas son herramientas que permiten autorregular el proceso de construcción de preguntas, para que sean de calidad y evalúen lo que se debe evaluar de forma rigurosa. Las tablas son usadas en el momento en que el docente ya ha elaborado su pregunta, pero con el paso del tiempo y de la experiencia se convierten en una estrategia de armada, así que el docente ya conociendo las directrices de la construcción de la pregunta, de manera natural autoevalúa su proceso. Aspectos que deben tenerse en cuenta con respecto al contexto:

1 2 3 4 5 6 7

LISTA DE CHEQUEO PARA IDENTIFICAR LA PERTINENCIA DEL CONTEXTO El contexto contiene elementos del componente a evaluar.

SI

NO

La mayoría de la información necesaria para responder se halla en el contexto y no en los otros componentes, lo que lo hace más extenso que el enunciado y las opciones de respuesta. El contexto permite realizar preguntas relacionadas con la competencia y la habilidad a evaluar. El contenido del contexto es pertinente para el conocimiento previo de los estudiantes. El contenido del contexto es acorde con el contexto de los estudiantes. La información del contexto es pertinente para el estadio y/o nivel intelectual de sus estudiantes. El tiempo estimado para la lectura del contexto es de máximo dos minutos.

Tareas- Enunciados : tareas asignadas a los estudiantes, es decir las preguntas propiamente dichas LISTA DE CHEQUEO PARA CORROBORAR LA PERTINENCIA DE LOS ENUNCIADOS Se evita que la información de un enunciado sirva de pauta o sea pre1 requisito para dar respuesta a una pregunta diferente. 2 El enunciado sólo contiene la información necesaria para contestar. El vocabulario es comprensible para la población que presentará la 3 prueba. La estructura y el contenido del enunciado están directamente 4 relacionados con el marco conceptual de la prueba. Se evita redactar enunciados en matiz de exclusión como: "Cada una 5 de las siguientes EXCEPTO"; "Las afirmaciones expresadas MENOS"

SI

NO

2

Tomado de “Directrices para la construcción de ítems de elección múltiple”. Rafael Moreno, Rafael J. Martínez y José Muñiz* Universidad de Sevilla y * Universidad de Oviedo. Psicothema 2004. Vol. 16, nº 3,  pp. 490-497.

9

6 7

8 9 10 11

Se evitan los enunciados obvios o que puedan contestarse por sentido común. En la redacción del enunciado se evitan expresiones adverbiales ambiguas o imprecisas como " algunos "; "generalmente"; "raramente"; "habitualmente"; "varios"; "definitivamente"; "frecuentemente" o " posiblemente", entre otros. En la redacción del enunciado se evitan frases o conjunciones imprecisas y/o sugerentes como " está asociado con"; "es útil para"; "  puede ser  "; "  podría ser  "; "es importante"; "es fundamental "; "sobretodo"; "se relaciona con", entre otros. La información del enunciado evita caer en juicios de valor  innecesarios. En los casos donde aparecen enunciados negativos, las palabras NO, NUNCA o NADIE están resaltadas. Se evitan aquellas preguntas cuya respuesta depende únicamente de recordar información aislada como un término, un símbolo, un dato o la fecha en que ocurrió un evento.

Opciones de respuesta : Las alternativas que el estudiante tiene para elegir su respuesta deben cumplir ciertas características de calidad para que el estudiante conteste gracias a su conocimiento y competencia y no por azar. Lista de chequeo para corroborar la pertenencia de las opciones de respuesta (clave correcta y distractores u opciones no correctas) Las opciones son gramaticalmente consistentes y lógicamente 1 compatibles con el enunciado o pregunta. Los distractores son verosímiles, claramente incorrectos y nunca 2 ridículos, redundantes, ni absurdos. Se evita que la respuesta a un enunciado dependa de haber dado 3 respuesta a otro. Se evita que la respuesta correcta se encuentre de manera explícita y 4 literal, en la información presentada en el contexto o en alguno de los enunciados. Los distractores tienen relación directa con el contexto y el enunciado 5 o pregunta. Los distractores son homogéneos en su contenido (por ejemplo: todos 6 representan un diagnóstico o todos son un paso a seguir). Los distractores son similares a la respuesta correcta en construcción 7 y longitud. En las opciones de respuesta se evita la repetición de palabras, si 8 éstas se pueden incluir en el enunciado general de la pregunta. En las opciones de respuesta se evitan expresiones como “ todas las 9 anteriores" o "ninguna de las anteriores ”. En las opciones de respuesta se evitan expresiones absolutas como 10 “siempre"  o "nunca” . El vocabulario es comprensible para la población que presentará la 11 prueba. La estructura y contenido de las opciones de respuesta están 12 directamente relacionados con el marco conceptual de la prueba. 13 Cada afirmación evita caer en juicios de valor innecesarios. Se evita el uso de términos y expresiones ambiguas en cada 14 afirmación. 15 Se evita incluir respuestas parcialmente correctas; sólo una es la

SI

NO

10

clave. El tiempo estimado para la resolución de cada pregunta es acorde con 16 la longitud del contexto y la complejidad del enunciado. Se evita que la clave contenga el mayor número de elementos 17 comunes con los distractores.  Actividad 

Revisen las siguientes preguntas de acuerdo a la lista de chequeo. Camilo ganó $1.600.000 en una rifa y no ha decidido si gastar ese dinero o invertirlo en una entidad financiera que paga 10% de interés anual sobre el  dinero que tenga invertido. 3 1. Si Camilo decide guardar el dinero en su casa y gastar cada semana la mitad de lo que le queda, la expresión que representa el dinero que le queda al  finalizar la séptima semana es

2. Si Camilo decide invertir todo el dinero que ganó en la entidad financiera y  no hace retiros, transcurridos n años, la cantidad de dinero que Camilo tiene en el banco está representada por la expresión

3

Prueba de matemáticas del examen de ingreso a la Universidad Nacional, Bogotá, 2005 11

Ahora podemos contestar las siguientes preguntas: Preguntas •

Respuestas

¿Cuáles son las preguntas que se hace el docente, previas al diseño de la evaluación?

• •

•

•

¿Cuáles son las componentes estructurales de las preguntas? ¿Qué aspectos son importantes al momento de la construcción de las preguntas? ¿Cuál es la utilidad de las listas de chequeo?

12

INGLÉS INSTRUMENTOS PARA EVALUAR POR COMPETENCIAS En este capítulo daremos algunas pautas para la construcción de pruebas objetivas en el área de lenguas extranjeras. En la primera parte de este capítulo se desarrollará un taller práctico. En la segunda parte, se describen las técnicas de construcción de preguntas de selección múltiple con única respuesta, las cuales también se pueden aplicar a otros formatos de ítems. Por último, se dan pautas para la construcción de una prueba de inglés, lo cual debe analizarse teniendo en cuenta el anexo.

1. Proceso de construcción de pruebas objetivas para evaluación por  competencias Las pruebas objetivas, es decir aquellas que constan de preguntas de selección múltiple con única respuesta, son las más utilizadas en las evaluaciones educativas de carácter masivo, especialmente por su facilidad de aplicación y posterior calificación. Sin embargo, contrario a lo que la mayoría de personas piensa, su construcción demanda complejidad en cuanto a la definición de los aspectos a evaluar, a los criterios de valoración y de interpretación de dichos aspectos, y precisión en la técnica de construcción. Son muchas las condiciones que se deben cumplir para considerar  que una prueba es válida y confiable. Una prueba es una unidad que responde a criterios de construcción bien específicos 4. Las pruebas están conformadas por conjuntos de preguntas que deben responder a dichos criterios. Por esto, la construcción de preguntas de selección múltiple es una actividad que requiere un amplio conocimiento del objeto de evaluación y de las características de la población que va a ser evaluada. De la misma manera, la construcción de ítems exige la aplicación de técnicas de revisión que se perfeccionan a través de la práctica.

2.

Fases del diseño de pruebas

El proceso de diseño de pruebas involucra diferentes etapas desde la formulación de un marco teórico que articula los conocimientos sobre los cuales se fundamentará el instrumento de evaluación hasta el momento de revisión y aprobación de su calidad para ser aplicado. El proceso, en general, tiene las siguientes fases:    

Fundamentación conceptual Especificaciones de prueba Desarrollo de pruebas Aplicación.

En la fundamentación conceptual se abordan los aspectos relacionados con dimensión teórica y metodológica (respecto a la evaluación y a las disciplinas relacionadas con el área objeto de la evaluación), y en relación con elementos Estos criterios tienen que ver con: el contenido o el tema de evaluación; el propósito y la finalidad de la evaluación; la población a la que se dirige la evaluación, entre otros. En términos generales con los aspectos que se han 4

abordado a lo largo de este documento.

13

contextuales, legales y operativos que darán sustento y significado al proceso de evaluación. Varias preguntas apoyan la construcción de la fundamentación teórica de una evaluación: 







¿Para qué la evaluación? Define el propósito de la evaluación , por ejemplo la selección o el diagnóstico. ¿Qué se evalúa? Da cuenta del objeto de evaluación. Por ejemplo en la prueba ICFES, el objeto de evaluación en inglés es la competencia comunicativa, cuyos aspectos coneptuales se han expuesto en el capítulo 2. ¿A quién se evalúa? Define las características del grupo de personas a quien se dirige la evaluación, por ejemplo, estudiantes que culminan la educación media y que aspiran a ingresar a la educación superior. ¿A quién le será útil la evaluación? Es decir quiénes serán los usuarios de la evaluación: por ejemplo, los docentes, los estudiantes, los padres de familia, los directivos docentes, la comunidad académica y grupos de investigación.

Las especificaciones de prueba se constituyen en una descripción de características del instrumento que incluye una desagregación del objeto evaluación en categorías o dimensiones a ser evaluadas y una delimitación especificaciones técnicas del instrumento de evaluación: el tipo y el número preguntas que se van a utilizar.

las de de de

La estructura de prueba es una matriz que integra las distintas dimensiones del objeto de evaluación. En el caso de las pruebas del Examen de Estado, la estructura integra una dimensión disciplinar (los componentes) y una dimensión cognitiva, referida a procesos de pensamiento (las competencias). En la estructura también se incluye la descripción de las tareas de evaluación a partir de las cuales se construirán los ítems. Estas tareas deben ser claramente definidas porque a partir de ellas se orienta la construcción del instrumento y el análisis de la confiabilidad de las pruebas. Otro aspecto que debe incluir la estructura es el número de preguntas por cada celda de la matriz y el tiempo del cual dispondrán los evaluados para responder la prueba. Además debe garantizar que se encuentren preguntas que evalúen tareas de distintos niveles de dificultad, de tal manera que se cubra con todos los niveles de habilidad de la población evaluada. La fase de desarrollo de pruebas incluye todas las acciones orientadas a obtener un instrumento de evaluación de calidad listo para su aplicación. La construcción de preguntas constituye una actividad muy importante que requiere de gran compromiso por parte de quienes la llevarán a cabo. Quienes participan en esta actividad deben ser personas con amplio y sólido conocimiento de la disciplina y conocedores a profundidad del marco que sustenta la evaluación, de las especificaciones y de la estructura de la prueba. Es necesario resaltar que el producto final de esta fase es un instrumento de evaluación con un propósito particular, no un conjunto de preguntas.

3.

Construcción de pruebas

Si bien todos y cada uno de los pasos anteriores son básicos para el diseño y construcción de pruebas, uno de los pasos que mayor dedicación exige es el de elaboración de situaciones, contextos y preguntas, puesto que en éstos se concreta lo esencial de la evaluación y los resultados que de ella se puedan derivar.

14

Tipos de preguntas: •

•

•

•

Preguntas de respuesta corta: en este tipo de preguntas el evaluado debe responder a la pregunta brindando una respuesta que puede ser una palabra, una expresión, un dato, entre otros. Preguntas de respuesta larga: en este tipo de preguntas se espera que el evaluado elabore una respuesta un poco más extensa que la anterior, que puede incluir una explicación a un cuestionamiento concreto, una opinión frente a un hecho, describir un evento particular, etc. Preguntas de respuesta extensa o de ensayo: en este tipo de preguntas el estudiante elabora un escrito que de cuenta de una estructura particular, por  ejemplo, que contenga una introducción, un desarrollo y unas conclusiones con base en un tema dado. Preguntas de selección múltiple: dentro de este tipo de preguntas encontramos de selección múltiple con múltiple respuesta y de selección múltiple con única respuesta. Las de selección múltiple con múltiple respuesta contienen una serie de variables, entre las cuales puede haber dos o más que permiten responder a la pregunta. En tanto que las preguntas de selección múltiple con única respuesta sólo contienen una variable o respuesta correcta.

Este último tipo de preguntas es el más usado en las pruebas de naturaleza masiva y estandarizada, por consiguiente a continuación describiremos sus características específicas: Una pregunta de selección múltiple está conformada por un enunciado y un conjunto de opciones de respuesta. Éstas contienen una serie de reglas que pueden agruparse atendiendo a reglas generales, reglas sobre los enunciados y reglas sobre las opciones 5. Reglas generales

• Verificar que cada ítem y la prueba en su conjunto correspondan a los propósitos de la evaluación. Todas las preguntas de una prueba deben ser independientes entre sí. La información de una pregunta no debe servir de pauta para contestar otra, ni la respuesta a una pregunta debe depender de haber encontrado primero la de otra anterior. • Evitar preguntas que pueden contestarse por sentido común y aquellas cuya respuesta dependa únicamente de recordar un término. • Evitar expresiones rebuscadas que puedan confundir. Se recomienda emplear un lenguaje directo, sencillo y comprensible. • Las preguntas no deben tener juicios de valor explícito o implícito. Reglas sobre los enunciados

• Los enunciados deben ser afirmativos, en caso de ser necesaria la negación, se debe resaltar para llamar la atención hacia la formulación negativa. La doble negación afecta la comprensión. Por ejemplo, el empleo de una expresión como la siguiente no es adecuado: “No es cierto que no procedan los recursos” 5

ICFES, 2006. Pg. 10. 15

• Evitar enunciados demasiado extensos y poco atractivos ya que desmotivan la lectura, disminuyen el tiempo de respuesta y fatigan. • Garantizar la coherencia interna del enunciado y de este con las opciones de respuesta. Reglas sobre las opciones

• Las opciones de respuesta deben pertenecer al mismo campo semántico. • Las opciones de una pregunta no deben dar indicaciones sobre la clave (respuesta correcta) por ofrecer un cierto contraste evidente de: - longitud precisión / imprecisión - uso común / técnico - generalización/particularización • No se deben repetir expresiones en las opciones de respuesta, si éstas se pueden incluir en el enunciado de la pregunta. Repetir la misma palabra del enunciado en cualquiera de las opciones lleva a que sea elegida como respuesta, sin serlo necesariamente. • Debe evitarse en las opciones las expresiones “todas o ninguna de las anteriores”, en su lugar es necesario construir alternativas de respuesta plausibles para las personas que no tengan el dominio conceptual que exige la pregunta. • Realizar una revisión gramatical y ortográfica de cada una de los Ítems. Las anteriores reglas son generales y aplicables a cualquier pregunta de selección múltiple con única respuesta, independiente del área a evaluar. Al momento de construir preguntas para un área determinada, lengua extranjera en nuestro caso, existen otras reglas y condiciones complementarias propias del área como veremos en la siguiente sección.

4.

Construcción de preguntas y pruebas de inglés

Recordemos que la prueba de inglés actualmente aplicada en el Examen de Estado consta de 7 partes cuyas características básicas se describen a continuación:

Parte 1 En esta parte el estudiante encuentra cinco avisos y debe decidir dónde los vería. Para cada pregunta hay tres opciones A, B ó C que deberá marcar en su hoja de respuestas. Parte 2 En esta parte el estudiante encuentra una lista de ocho palabras clasificadas de A a H. Cada una de las preguntas describe una de las ocho palabras y el estudiante debe buscar la relación entre las dos y marcar la letra correcta (A a H) en su hoja de respuestas. Hay más palabras (A a H) de las que el estudiante necesita. Parte 3 En esta parte el estudiante encuentra cinco conversaciones cortas. Se debe completar  la conversación seleccionando la respuesta correcta de las tres opciones A, B ó C en la hoja de respuestas. Parte 4

16

En esta parte el estudiante encuentra un texto con 8 espacios, los cuales debe llenar  seleccionando la palabra correcta, para cada espacio, de las tres opciones A, B ó C en su hoja de respuestas.

Parte 5 En esta parte el estudiante encuentra un texto seguido por siete preguntas, en las cuales debe seleccionar la respuesta correcta entre tres opciones A, B ó C en su hoja de respuestas. Parte 6 En esta parte el estudiante encuentra un texto seguido por cinco preguntas, en las cuales debe marcar A, B, C ó D en su hoja de respuestas. Parte 7 En esta parte el estudiante encuentra un texto con 10 espacios que debe llenar  seleccionando la palabra correcta, para cada espacio, de las cuatro opciones A, B, C ó D en su hoja de respuestas. Con el fin de conocer los aspectos básicos a tener en cuenta al momento de construir  cada una de las partes de la prueba de inglés descritas anteriormente, a continuación enunciaremos sus requisitos técnicos: Ejemplos parte 1

Tanto esta parte como las 6 restantes incluyen una instrucción en español que básicamente describe la tarea a realizar. Ésta se incluye en español con el fin de facilitar la comprensión de lo evaluado, en particular teniendo en cuenta que las preguntas son abordadas por estudiantes de niveles bajos, medios y altos en la competencia de la lengua. Por consiguiente, la instrucción en la lengua materna busca garantizar que el estudiante mínimamente comprenda qué debe hacer. Para esta parte en particular la instrucción es la siguiente:

Preguntas 1 – 5 ¿Dónde puede ver estos avisos? En las preguntas 1 – 5, marque la letra correcta A, B ó C en su hoja de respuestas.

Formato: Cinco preguntas de selección múltiple con única respuesta de tres opciones

A, B y C. Longitud del texto del enunciado: Cada aviso debe tener un máximo de 12 palabras. Propósito evaluativo : Aquí se evalúa la habilidad del estudiante para entender avisos

reales ubicados en escenarios particulares. Tipos de avisos: Los avisos deben ser creados por el constructor de la pregunta, para ello debe tener como referente los avisos que son susceptibles de encontrarse en

17

sitios públicos como hospitales, bancos, colegios, etc. Tipo de vocabulario y estructura del idioma: El vocabulario o las estructuras incluidas en esta parte de la prueba deben estar relacionadas con la lista de vocabulario y gramática de la prueba KET diseñada por la Universidad de Cambridge. Para conocer esta lista, ir al siguiente vínculo: www.cambridgeesol.org/teach/ket/ket_vocablist08.pdf Instrucciones generales : Atendiendo a las reglas de construcción de preguntas de

selección múltiple con única respuesta descritas en páginas anteriores, en estas se debe incluir una opción correcta (clave) y dos opciones incorrectas relacionadas relacionadas con el enunciado. Ver ejemplo de esta parte de la prueba en el anexo a este documento. Ejemplos parte 2 

Preguntas 6 – 10 Lea las descripciones de la columna de la izquierda ( 6- 10) y las palabras de la columna de la derecha ( A– H). Relacione las palabras ( A – H) con las descripciones de la izquierda (6-10). En las preguntas 6 – 10, marque la letra correcta A – H en su hoja de respuestas.

Formato: Cinco preguntas de selección múltiple con única respuesta de ocho opciones

A a H. Longitud de las descripciones : Cada definición debe tener un máximo de 12 palabras. Propósito evaluativo : Aquí el estudiante debe relacionar las descripciones con las 8

opci opcion ones es de resp respue uest sta. a. Hay Hay tres tres opci opcion ones es que que no se rela relaci cion onan an con con ning ningun una a descripción. descripción. Se evalúa la comprensión comprensión de descripcione descripcioness cortas y sencillas que que son susceptibles de encontrarse en diccionarios. Tipos de descripciones : Las descripciones deben ser escritas por el constructor, deben pertenecer al mismo campo semántico y deben estar basadas en contextos familiares para los estudiantes como el hogar o la escuela. 18

Tipo de vocabulario y estructura del idioma : El vocabulario o las estructuras incluidas

en esta parte de la prueba deben estar relacionadas con la lista de vocabulario y gramática de la prueba KET diseñada por la Universidad de Cambridge. Para conocer dicha lista, ir al siguiente vínculo: www.cambridgeesol.org/teach/ket/ket_vocablist08.pdf Instrucciones generales : Atendiendo a las reglas de construcción de preguntas de

selecció selección n múltiple múltiple con única única respuesta respuesta descritas descritas en páginas páginas anteriores, anteriores, en estas preguntas se debe incluir una opción correcta (clave) y siete opciones incorrectas relacionadas con el enunciado. Ver ejemplo de esta parte de la prueba en el anexo a este documento.

Ejemplos parte 3

Preguntas 11 – 15 Complete las cinco conversaciones. En las preguntas 11 – 15, marque la letra correcta A, B ó C en su hoja de respuestas.

Formato: Cinco preguntas de selección múltiple con única respuesta de tres opciones

A, B y C. Longitud del enunciado y las opciones : Cada intervención del enunciado debe tener un

máximo de 10 y las opciones no deben sumar más de 10 palabras. Propósito evaluativo: El estudiante es evaluado en su habilidad para distinguir la pertinencia y relación de una intervención con otra dada entre dos hablantes. Se evalú evalúan an aspect aspectos os funci funciona onales les y no grama gramatic ticale ales, s, por por consig consiguie uiente nte las las opcion opciones es incorrectas no deben ser agramaticales. agramaticales. Tipos de conversaciones: Las conversaciones son escritas por el constructor y deben estar estar interv intervenc encio iones nes orale oraless sencil sencillas las basad basadas as en contex contextos tos famil familiar iares es para para los estudiantes como el hogar o la escuela. Tipo de vocabulario y estructura del idioma: El vocabulario o las estructuras incluidas

19

en esta parte de la prueba deben estar relacionadas con la lista de vocabulario y gramática de la prueba KET diseñada por la Universidad de Cambridge. Para conocer dicha lista, ir al siguiente vínculo: www.cambridgeesol.org/teach/ket/ket_vocablist08.pdf Instrucciones generales : Atendiendo a las reglas de construcción de preguntas de

selecció selección n múltiple múltiple con única única respuesta respuesta descritas descritas en páginas páginas anteriores, anteriores, en estas preguntas se debe incluir una opción correcta (clave) y dos opciones incorrectas relacionadas con el enunciado. Ver ejemplo de esta parte de la prueba en el anexo a este documento. Ejemplos parte 4

Preguntas 16 – 23 Lea el texto de la parte inferior y seleccione la palabra correcta para cada espacio. En cada pregunta 16 – 23, marque la letra correcta A, B, ó C en su hoja de respuestas.

Formato: Ocho preguntas de selección múltiple con única respuesta de tres opciones

A, B y C con base en un texto con espacios en blanco numerados. numerados. tener entre entre 110 y 130 palabras palabras,, incluyend incluyendo o los Longitud del texto: El texto debe tener espacios en blanco. El texto debe incluir un título. espacios en Propósito evaluativo: El estudiante debe leer un texto factual que contiene espacios blanco numerados. Para responder, el estudiante debe leer el texto detenidamente, en particular la información en torno al espacio en blanco de cada pregunta. El estudiante es evaluado en su comprensión del texto a través de su conocimiento gramatical. T ipos ipos de textos: Los textos deben ser tomados de fuentes originales como Internet, revistas, periódicos o enciclopedias para jóvenes. Nunca utilizar textos incluidos en textos escolares. Los textos originales deben ser editados para que cumplan con los propósitos evaluativos evaluativos de la prueba y con la longitud del texto permitida en esta parte. Tipo de vocabulario y estructura del idioma : El vocabulario o las estructuras incluidas en esta parte de la prueba deben estar relacionadas con la lista de vocabulario y gramática de la prueba KET diseñada por la Universidad de Cambridge. Para conocer  dicha lista, ir al siguiente vínculo: www.cambridgeesol.org/teach/ket/ket_vocablist08.pdf

20

Instrucciones generales : Las palabras o expresiones objeto de evaluación en cada espacio en blanco no deben

repetirse en ninguna parte del texto ni de las demás preguntas. Las opciones de respuesta de cada pregunta deben pertenecer a la misma categoría gramatical (formas verbales, preposiciones, adverbios, etc.). Las opciones de respuesta (incluida la clave) no deben repetirse en ninguna de las demás preguntas. Atendiendo a las reglas de construcción de preguntas de selección múltiple con única respuesta descritas en páginas anteriores, en estas preguntas se debe incluir una opción correcta (clave) y dos opciones incorrectas relacionadas con el texto. Ver ejemplo de esta parte de la prueba en el anexo a este documento. Ejemplos parte 5 

Preguntas 24 – 30 Lea el texto de la parte inferior y responda las preguntas. En las preguntas 24 – 30, marque la letra correcta A, B ó C en su hoja de respuestas.

Formato: Siete preguntas de selección múltiple con única respuesta de tres opciones A, B y C con base en un texto. Longitud del texto: El texto debe tener entre 200 y 230 palabras.

El texto debe incluir un título sin que este dé pistas para responder alguna de las preguntas. Propósito evaluativo : El estudiante debe leer un texto factual. Para responder las preguntas, el estudiante debe leer el texto detenidamente, prestando atención a las ideas principales y secundarias. El estudiante es evaluado en su habilidad para entender la información del texto, comprendiendo las ideas que contengan vocabulario desconocido a partir de la deducción de significado con base en la información del texto mismo. T ipos de textos: Los textos deben ser tomados de fuentes originales como Internet, revistas, periódicos o enciclopedias para jóvenes. Nunca utilizar textos incluidos en textos escolares. Los textos originales deben ser editados para que cumplan con los propósitos evaluativos de la prueba y con la longitud del texto permitida en esta parte.

21

Tipo de vocabulario y estructura del idioma : El vocabulario o las estructuras incluidas

en esta parte de la prueba deben estar relacionadas con la lista de vocabulario y gramática de la prueba KET diseñada por la Universidad de Cambridge. Para conocer  dicha lista, ir al siguiente vínculo: www.cambridgeesol.org/teach/ket/ket_vocablist08.pdf Instrucciones generales : •

•

•

•

Las ideas objeto de evaluación en cada pregunta deben ser independientes entre si. Las opciones de respuesta de cada pregunta deben establecer la misma relación con el enunciado (completar una idea, responder a una pregunta directa). Las preguntas deben indagar por información del texto en forma cronológica, es decir, se recomienda que la primera pregunta corresponda a la primera parte del texto, las siguientes a las partes medias y la última a la parte final del texto. Atendiendo a las reglas de construcción de preguntas de selección múltiple con única respuesta descritas en páginas anteriores, en estas preguntas se debe incluir una opción correcta (clave) y dos opciones incorrectas relacionadas con el texto. Ver ejemplo de esta parte de la prueba en el anexo a este documento. Ejemplos parte 6 

Preguntas 31 – 35 Lea el texto y las preguntas de la parte inferior. En las preguntas 31 – 35, marque la letra correcta A, B, C ó D en su hoja de respuestas.

Formato: Cinco preguntas de selección múltiple con única respuesta de cuatro opciones A, B, C y D con base en un texto . Longitud del texto: El texto debe tener entre 230 y 280 palabras. El texto debe incluir 

un título sin que este dé pistas para responder alguna de las preguntas. Propósito evaluativo: El estudiante debe leer un texto de opinión. Para responder las preguntas, el estudiante debe leer el texto detenidamente, con el fin de entender las ideas particulares y globales del texto que le permitan inferir el propósito del autor y la opinión del mismo. T ipos de textos: Los textos deben ser tomados de fuentes originales como cartas incluidas en revistas, artículos de opinión de periódicos, una reseña, una carta personal, o una opinión incluida en un blog de una página web. Nunca utilizar textos incluidos en textos escolares. Los textos originales deben ser editados para que cumplan con los propósitos evaluativos de la prueba y con la longitud del texto

22

permitida en esta parte. Tipo de vocabulario y estructura del idioma : El vocabulario o las estructuras incluidas

en esta parte de la prueba deben estar relacionadas con la lista de vocabulario y gramática de la prueba PET diseñada por la Universidad de Cambridge. Para conocer  dicha lista, ir al siguiente vínculo: www.cambridgeesol.org/teach/pet/pet_vocablist08.pdf Instrucciones generales : •

• •

• •

Las opciones de respuesta de cada pregunta deben establecer la misma relación con el enunciado (completar una idea, responder a una pregunta directa). Se recomienda incluir la pregunta sobre la intención del autor en primer lugar. Las preguntas 2 a 3 pueden concentrarse en la opinión expresada por el autor  a partir de las opiniones particulares del mismo. La última pregunta se enfoca en una idea global del texto. Atendiendo a las reglas de construcción de preguntas de selección múltiple con única respuesta descritas en páginas anteriores, en estas preguntas se debe incluir una opción correcta (clave) y dos opciones incorrectas relacionadas con el texto.

Ver ejemplo de esta parte de la prueba en el anexo a este documento. Ejemplos parte 7 

Preguntas 36 – 45 Lea el texto de la parte inferior y seleccione la palabra adecuada para cada espacio. En las preguntas 36 – 45, marque la letra correcta A, B, C ó D en su hoja de respuestas.

Formato: Diez preguntas de selección múltiple con única respuesta de cuatro opciones A, B, C y D con base en un texto . Longitud del texto: El texto debe tener entre 120 y 150 palabras. El texto debe incluir 

un título. Propósito evaluativo : El estudiante debe leer un texto factual que contiene espacios en

blanco numerados. Para responder, el estudiante debe leer el texto detenidamente, en

23

particular la información en torno al espacio en blanco de cada pregunta. El estudiante es evaluado en su comprensión del texto a través de su conocimiento gramatical y lexical. T ipos de textos: Los textos deben ser tomados de fuentes originales como textos acerca de gente, lugares, animales, eventos, descubrimientos, historias incluidas en periódicos. Nunca utilizar textos incluidos en textos escolares. Los textos originales deben ser editados para que cumplan con los propósitos evaluativos de la prueba y con la longitud del texto permitida en esta parte. Tipo de vocabulario y estructura del idioma : El vocabulario o las estructuras incluidas en esta parte de la prueba deben estar relacionadas con la lista de vocabulario y gramática de la prueba PET diseñada por la Universidad de Cambridge. Para conocer  dicha lista, ir al siguiente vínculo: www.cambridgeesol.org/teach/pet/pet_vocablist08.pdf Instrucciones generales : •

•

•

•

Las palabras o expresiones objeto de evaluación en cada espacio en blanco no deben repetirse en ninguna parte del texto ni de las demás preguntas. Las opciones de respuesta de cada pregunta deben pertenecer a la misma categoría gramatical (formas verbales, preposiciones, adverbios, etc.). Las opciones de respuesta (incluida la clave) no deben repetirse en ninguna de las demás preguntas. Atendiendo a las reglas de construcción de preguntas de selección múltiple con única respuesta descritas en páginas anteriores, en estas preguntas se debe incluir  una opción correcta (clave) y dos opciones incorrectas relacionadas con el texto.

24

LOS ESTÁNDARES, LA EVALUACIÓN Y EL TRABAJO EN EL AULA

INGLÉS

En este capítulo se retoman los ejemplos de preguntas del capítulo 1 y se plantean algunas posibilidades de trabajo pedagógico que favorecen el desarrollo de la competencia comunicativa en esta área. 3.1

Análisis de preguntas correspondientes a la parte 1 de la prueba

En esta parte el estudiante encuentra cinco avisos y debe decidir dónde los vería. Para cada pregunta hay tres opciones A, B ó C que deberá marcar en su hoja de respuestas.

Recordemos que este tipo de preguntas corresponde al siguiente descriptor de los estándares del nivel principiante (A1): “Comprendo descripciones cortas y sencillas de objetos y lugares conocidos” . Propuesta didáctica: •

Población: Según los Estándares, este descriptor es apropiado para trabajarlo con niños de primero a tercero de primaria. Sin embargo, el docente puede

25

trabajarlo en otros grados de escolaridad si las necesidades lingüísticas en lengua extranjera de sus estudiantes así lo exigen. •

•

•

Actividad: Describir mi lugar preferido de la escuela ( Describing my favorite  place at school ) Objetivo: Que los estudiantes reconozcan el vocabulario y usen los elementos formales (gramática) y funcionales (uso) de la lengua extranjera que les permite describir un lugar en particular. Materiales: Los sitios de la escuela, o institución, fotos, dibujos (preferiblemente hechos por los mismos estudiantes), posters, flash cards, entre otros. Nota: El suministro de materiales está sujeto a las condiciones económicas de

cada institución. Sin embargo, se recomienda tener a la mano algún tipo de material gráfico que sin duda facilita la ilustración y por ende, la comprensión por parte de los estudiantes, del tema enseñado. •

Metodología6: El docente puede introducir este tema de distintas maneras. Aquí sugerimos llevar a los estudiantes por un recorrido por la institución asegurándose que identifique cada uno de los lugares de la escuela y que establezcan la relación con su significado en inglés. Si se dispone de tiempo, el docente puede etiquetar cada sitio antes de la visita de los estudiantes, o de lo contrario lo puede hacer durante la misma visita con la ayuda de los estudiantes. Durante la visita, al momento de identificar cada sitio se introduce el vocabulario relacionado con el mismo. Por ejemplo: “ This is the library . Here we find tables, chairs, a lot of (some) books, tales, short stories, games. Here we can meet  other people from the school. Here we can read without noise”. *Las palabras en color naranja indican que en ellas se debe poner  énfasis en pronunciación y su asociación con el lugar.

Una vez de vuelta en el salón, el docente pide a algunos estudiantes que mencionen el sitio que más les gustó y den una razón (en lo posible en inglés). Luego, de manera individual, cada estudiante debe dibujar su sitio favorito y debe hacer una pequeña lista que muestre las cosas que más le atraen del sitio. Posteriormente, el docente pide a los estudiantes que se organicen por grupos y compartan con sus compañeros sus dibujos y finalmente su elección sobre el sitio favorito de la escuela.  Actividad complementaria: Con el fin de establecer la relación directa de esta

actividad con los ejemplos de preguntas de la prueba de inglés del Examen de Estado, el docente puede pedir a los estudiantes que diseñen un aviso en el cual den alguna indicación sobre lo que es o no permitido hacer en su sitio favorito. Posteriormente, se reúnen los avisos de todos los estudiantes, se colocan sobre una mesa, sobre el tablero o sobre el piso con el f in de que cada 6

Es importante mencionar que en cuanto a decisiones metodológicas, las posibilidades son múltiples y ellas dependen de distintos factores desde el número de estudiantes en la clase, los recursos que se tienen a la mano, de la competencia de los estudiantes en la lengua extranjera y de la competencia del docente en la misma, de los intereses de los estudiantes, entre otros muchos.

26

estudiante relacione el aviso de sus compañeros con un sitio particular de la escuela. Finalmente, como tarea el docente le puede pedir a los estudiantes hacer un ejercicio similar con los sitios de su casa y traer el dibujo y la lista con sus razones para la próxima clase. 3.2

Análisis de preguntas correspondientes a la parte 3 de la prueba

En esta parte el estudiante encuentra cinco conversaciones cortas. Se debe completar  la conversación seleccionando la respuesta correcta de las tres opciones A, B ó C en la hoja de respuestas.

Como se mencionó en el capítulo 1, este tipo de preguntas se relaciona con el siguiente descriptor de los estándares que corresponde al nivel básico (A2) “Inicio, mantengo y cierro una conversación sencilla sobre un tema conocido ”. Propuesta didáctica: •

Población: Según los Estándares, este descriptor forma parte del grupo de grados de 6° a 7° de educación básica. Sin embargo, como se mencionó con el anterior grupo de preguntas, el docente puede trabajarlo en otros grados de escolaridad si el nivel de lengua extranjera de sus estudiantes así lo permite.

27

•

•

•

•

Actividad: Hablar con otros a través de interacciones cortas ( Talking with others through short interactions). Objetivo: Que los estudiantes interactúen con otros hablantes a través de conversaciones cortas y sencillas sobre temas cotidianos. Materiales: Trozos de papel con preguntas y respuestas sueltas. Las preguntas y respuestas pueden referirse a situaciones en la escuela, en la casa, con los amigos, entre otros. Metodología: Este tipo de actividades se realizan con el fin de reforzar temas vistos y potenciar la habilidad oral de los estudiantes. Mingling activity : El docente distribuye los trozos de papel entre sus

estudiantes. Cada uno de ellos tendrá una respuesta o una pregunta para la cual debe buscar su pareja. Para buscarla, todos los estudiantes se ponen de pie y comienzan a moverse por el salón haciendo la pregunta respectiva o escuchando la pregunta de los otros y respondiendo cuando él o ella en efecto tengan la respuesta correspondiente. Al final de la actividad, los estudiantes se sientan con sus parejas, según las preguntas y respuestas que hayan identificado y realizan la interacción delante de toda la clase con el fin de recibir  retroalimentación por parte de sus compañeros y/o docente. Finalmente, como tarea los estudiantes deberán crear situaciones similares a las interacciones que se trabajaron en la clase y traerlas en trozos de papel para la próxima clase. 3.3

Análisis de preguntas correspondientes a la parte 6 de la prueba

En esta parte el estudiante encuentra un texto seguido por cinco preguntas, en las cuales debe marcar A, B, C ó D en su hoja de respuestas.

28

29

Recordemos que estas preguntas se relacionan con los siguientes descriptores que corresponden al nivel pre-intermedio (B1) de los Estándares: ⇒

⇒

⇒

⇒

Identifico palabras clave dentro del texto que me permiten comprender su sentido general. Identifico el punto de vista del autor. Analizo textos descriptivos, narrativos y argumentativos con el fin de comprender las ideas principales y específicas. Hago inferencias a partir de la información en un texto.

Propuesta didáctica: •

•

•

Población: Estos descriptores forman parte del grupo de grados de 10° a 11° de educación media. Sin embargo, estos procesos de lectura se deben iniciar  desde los primeros años de escolaridad. Por ello, es fácil encontrar estos mismos descriptores en otros grados expresados de otra manera obedeciendo a distintos grados de profundidad. Actividad: Leer un texto de opinión e identificar la intención del autor, ideas secundarias e ideas principales. ( Reading an opinion text and identifying the author’s intention and supporting and main ideas). Objetivo: Reforzar el proceso de comprensión de textos y así potenciar la habilidad lectora del estudiante.

•

Materiales: el texto mismo.

•

Metodología: Para este tipo de actividades de lectura se sugiere seguir las tres etapas de lectura, a saber: Pre-reading, while-reading, and post-reading. Estas tres etapas o pasos nos permiten lograr que el estudiante se familiarice con el tema del texto, que lo explore desde diferentes perspectivas y finalmente tome una posición frente al mismo. Pre-reading :

Antes de iniciar la lectura del texto, el docente le pide a los estudiantes que piensen el significado del canto en sus vidas: les gusta cantar, en caso tanto afirmativo como negativo, pensar en una razón para ello. Después de unos minutos, el docente pide que de manera voluntaria algunos estudiantes compartan su reflexión con la clase.

30

En segundo lugar, el docente pide que de manera grupal, en el tablero hagan una lista con el vocabulario que creen estará en la lectura, a propósito del canto y el impacto de éste en la vida de las personas. Posteriormente, entre todos buscan dar significado, a través del uso de sinónimos a la lista de palabras del tablero. While-reading 

Los estudiantes hacen una primera lectura del texto y a medida que lo hacen deben subrayar las palabras desconocidas y aquellas que se relacionen con la lista que hicieron anteriormente (pueden utilizar distintos colores para identificar  las primeras de las segundas). En una segunda lectura, deben concentrarse en la idea principal de cada párrafo y deben parafrasearla en su cuaderno. Luego, deben identificar la idea principal del texto a partir de las ideas principales de cada párrafo y posteriormente deben identificar la intención del autor. Finalmente, en parejas comparan los hallazgos de esta segunda etapa y los comparten con toda la clase. Post-reading 

Una vez identificado el vocabulario, las ideas secundarias y el tema principal del texto, y la intención del autor los estudiantes están listos para dar su propia opinión sobre: a. el texto, es decir, lo expresado por el autor o b. el tema tratado en el texto: la influencia positiva del canto en la vida de las personas a partir de sus propias vivencias o lo leído en otra fuente, o contado por otros a este respecto. Dependiendo del tiempo de la clase, esta última actividad puede quedar como tarea para la siguiente clase. 3.4

Análisis de resultados de un conjunto de preguntas

A continuación tomaremos un grupo de preguntas de la prueba de inglés del Examen de Estado y haremos un breve análisis sobre sus resultados. Tomaremos las preguntas de la parte 6:

31

32

Las anteriores preguntas pertenecen al nivel A2; sin embargo, por lo general la población que las aborda se ubica en el nivel A1 e inclusive –A1. Este tipo de textos le exigen hacer inferencias a partir de información específica y global; inferencias que van desde comprender la intención del autor, hasta identificar las ideas que un lector  puede destacar con mayor énfasis. Lo anterior lleva a pensar que los estudiantes no están familiarizados con este tipo de lecturas en su cotidianidad dentro de la clase de inglés o que posiblemente los ejercicios de lectura se centran más en aspectos literales del texto, es decir, aquella información que se ubica fácilmente en el texto sin que ello requiera un análisis o una lectura entre líneas. Este tipo de prácticas son comunes no sólo en el aula de lengua extranjera sino inclusive en las clases de lengua materna lo que dificultad aún más enfrentar a los estudiantes a este nivel de lectura. Con base en lo anterior, cuando el estudiante es evaluado a partir de preguntas y textos de esta naturaleza, él no identifica con facilidad las ideas que subyacen al texto visto de manera superficial.

33

CIENCIAS SOCIALES Diseño y construcción de pruebas objetivas en Sociales

En este apartado se presentan elementos básicos para diseñar y construir pruebas denominadas estandarizadas u objetivas. Las recomendaciones que se exponen en el capítulo no son la única manera; existen otras, pero esta se adecua para apropiar las técnicas de diseño y construcción de este tipo de prueba al aula de clase. Se trata de presentar una metodología sencilla por medio de la cual el docente que tiene grupos de 30 o 40 alumnos, puede aplicar algunos elementos básicos de diseño y construcción de pruebas objetivas. 1. Criterios para construir pruebas en ciencias sociales

Las siguientes consideraciones están dirigidas a estudiar y discutir cómo construir pruebas conformadas por preguntas cerradas, en otras palabras, cómo construir pruebas estandarizadas. El diseño y construcción de estas pruebas requiere el uso de algunas herramientas técnicas que expondremos a continuación. 1.1 Partes de una pregunta cerrada

Una pregunta cerrada es aquella que se responde marcando una opción o escribiendo una equis (X) al lado de la respuesta que el evaluado considere correcta. Las preguntas cerradas tienen ventajas y desventajas; una de las ventajas es que puede evaluarse a poblaciones numerosas en un tiempo determinado y a bajo costo. Entre las desventajas podemos citar el uso no apropiado de los resultados y que sólo pueden evaluarse procesos cognitivos, es decir, procesos de aprendizaje-enseñanza relacionados con el saber de las personas. Una pregunta cerrada consta de las siguientes partes: Enunciado. Puede estar conformado por un texto, una imagen o un problema redactado por quien hace la pregunta. De esta manera el enunciado se constituye en contexto, porque a partir del texto, la imagen o el problema es que se hace la pregunta.  b. Campo de respuesta (opciones): En el caso de una pregunta cerrada está integrado por cuatro opciones de respuesta que tienen relación con el enunciado. c. La opción correcta o clave, puede estar constituida por una sola opción o por una combinación de opciones correctas. Cuando la pregunta es de selección múltiple con única respuesta, las opciones a.

34

se designan con las letras mayúsculas A., B., C., y D. Cuando son de selección múltiple con múltiple respuesta, las opciones se designan con los números 1., 2., 3., y 4. Las posibles combinaciones entre estos números son: 1y2 A 2y3 B 3y4 C 2y4 D El siguiente esquema resume las partes de las preguntas.  Texto Imagen Problema Caso

ENUNCIADO

Punto de vista parcial Punto de vista parcial OPCIONES Punto de vista universal (CLAVE O RESPUESTA)

CAMPO DE RESPUESTA

Punto de vista parcial Las partes de una pregunta tienen las siguientes funciones: El enunciado remite a lo que se pregunta con base en un contexto, el cual debe contener la información necesaria para que el evaluado aborde la pregunta.  b) Campo de respuesta (opciones), invitan al estudiante a discernir posibilidades de respuesta de acuerdo al contexto planteado. c) La opción correcta o clave identifica al alumno competente como aquel que puede discernir, a través de diferentes procesos cognitivos y con base en un saber, cual es la opción que responde a la pregunta que se plantea. a)

35

2. Pasos para construir pruebas

La evaluación es un proceso que requiere planeación. A continuación plantearemos una forma de organizar el diseño y construcción de una prueba en Ciencias Sociales. 2.1 Primer paso: ¿qué y cómo vamos a evaluar?

Lo primero que debemos pensar y organizar cuando evaluamos es el QUÉ y CÓMO vamos a evaluar. Responder el QUÉ significa tener claro los temas, problemas o contenidos que vamos a evaluar; responder el CÓMO, significa tener claros los procesos cognitivos que vamos a evaluar o en otras palabras, qué queremos que hagan los evaluados con los temas. En el caso de ciencias sociales los procesos cognitivos son las competencias interpretativa, argumentativa y propositiva. El siguiente cuadro nos ayuda a definir el QUÉ y CÓMO de la evaluación. COMPETENCIAS TOTAL INTERPRETA ARGUMENTA PROPONER R R

     S      A      M      E      T

Organizacion es coloniales Ubicación en entornos físicos Organizacion es políticas colombianas actuales  TOTAL

36

2.2 Segundo paso: definición del número de preguntas

La definición del número de preguntas depende del número de temas y competencias a evaluar. Tenga en cuenta las siguientes pautas: Mínimo por tema o competencia deben existir tres preguntas. • No es recomendable que haya temas o competencias con menos de tres preguntas. Por ejemplo, no puede tener una prueba con 10 preguntas e igual número de temas. •

En el siguiente cuadro se asignan 10 preguntas para la prueba. COMPETENCIAS TOTAL INTERPRETA ARGUMENTA PROPONER R R

     S      A      M      E      T

Organizacion es coloniales Ubicación en entornos físicos Organizacion es políticas colombianas actuales TOTAL

10

2.3 Tercer paso: distribución número de preguntas

Este paso consiste en distribuir el número total de preguntas por temas y competencias. Para hacer una buena distribución tenga en cuenta: Dividir el número total de preguntas entre el número de temas y competencias. • Asignar a cada tema y competencia un número de preguntas igual o mayor que 3. •

En el ejemplo se asignan 3 preguntas a dos temas y a dos competencias; 4 preguntas al tema “Organizaciones políticas colombianas actuales”; y 4 a la competencia interpretativa.

37

     S      A      M      E      T

COMPETENCIAS TOTAL INTERPRETA ARGUMENTA PROPONER R R Organizacion 1 1 1 3 es coloniales Ubicación en 1 1 1 3 entornos físicos Organizacion 2 1 1 4 es políticas colombianas actuales TOTAL 4 3 3 10

2.4 Cuarto paso: indicadores

Para establecer los indicadores tenemos que definir tanto los temas y las competencias, teniendo en cuenta el número de preguntas de cada tema y competencia. Es decir, no se trata de definir qué son organizaciones coloniales sino qué aspectos de las organizaciones sociales voy a preguntar. Definición de temas: Los temas deben definirse teniendo en cuenta los conceptos, contenidos o problemáticas fundamentales que deben apropiar los estudiantes de un grado determinado. Por ejemplo:

Identificación de las organizaciones coloniales españolas: propósitos y aspectos básicos de su funcionamiento. • Ubicación de entornos físicos utilizando referentes espaciales: puntos cardinales; izquierda, derecha, arriba, abajo. • Identificación de organizaciones políticas de la actual Colombia: ramas del poder: ejecutivo, legislativo y judicial. •

Definición de competencias: Igual que con los temas, debemos tener claro qué significa una pregunta interpretativa, qué una argumentativa y qué una propositiva. Para ello, tenga en cuenta el siguiente cuadro:

38

COMPETENCIAS INTERPRETAR

ARGUMENTAR

PROPONER

Son preguntas en las cuales el evaluado tiene que

Describir, identificar, Plantear causas, reconocer, deducir, efectos, razones, inducir, clasificar y  juicios, relaciones y  jerarquizar explicaciones, en elementos y forma contextualizada Factores

Plantear alternativas, indicar soluciones o posibilidades de acción y de reflexión frente a distintos problemas, situaciones y fenómenos sociales

2.5 Quinto paso: diseñar y construir las preguntas

Construir las preguntas es el último paso, no el primero. Las preguntas se hacen teniendo en cuenta los indicadores o definiciones de los temas. Observemos algunos ejemplos: Ejemplo de pregunta Interpretativa del tema “Organizaciones coloniales españolas”:

Después de la Conquista, grupos de españoles empiezan a vivir en los territorios conquistados y organizan formas de gobierno. A este período se le conoce con el nombre de Colonia. La organización responsable del gobierno de los territorios durante la Colonia se denominó A. B. C. D.

Real Audiencia Virreinato Capitanía General Corte Suprema

Esta pregunta le permite al docente valorar si los estudiantes identifican la organización responsable de la administración política durante la Colonia, es decir, la Real Audiencia. Las otras opciones (B y C) son formas de organización del territorio; la opción D, es una institución que no corresponde con la Colonia.

39

Ejemplo de pregunta propositiva del tema Ubicación en entornos físicos: Norte

Hospital nte

Oriente

Occide

Sur

B

Alcaldía

A Colegio

Identificación de la pregunta Pruebas Saber, octubre de 2005 Cuadernillo 2 – Grado 5 Pregunta Nº 17 Si el bus tuviese que pasar por el lado oriental de la alcaldía y luego detenerse en la esquina sur-occidental del hospital, la ruta más adecuada partiendo del punto A sería desplazarse A. 2 cuadras hacia el occidente, 5 cuadras hacia el norte y 2 cuadras hacia el occidente. B. 2 cuadras hacia el norte, 4 cuadras hacia el occidente y 3 cuadras hacia el norte. C. 3 cuadras hacia el occidente, 5 cuadras hacia el norte y 1 cuadra hacia el occidente.

40

D. 3 cuadras hacia el norte, 4 cuadras hacia el occidente y 2 cuadras hacia el norte. Esta pregunta le permite al docente valorar si los estudiantes comprenden información gráfica y utilizan esa información para proponer una solución a un problema, que, en este caso, se resuelve con la opción A. Ejemplo de pregunta Argumentativa sobre Organizaciones políticas colombianas actuales:

el

tema

Colombia es un país democrático. En los países democráticos el poder se divide en tres ramas: poder legislativo, poder ejecutivo y poder  judicial. El poder legislativo es el responsable de hacer las leyes. Una razón por la cual el Congreso, encargado y responsable del poder legislativo, hace las leyes es… A. porque el Congreso está integrado por abogados que saben sobre Constitución y su labor es interpretarla. B. porque en el Congreso está representada la población de un país y sus intereses. C. porque los miembros del Congreso representan a las regiones y fueron elegidos por elección popular. D. porque el Congreso es la institución más importante en un país democrático. Esta pregunta es argumentativa porque solicita al evaluado identificar una razón sobre un problema. La opción C es, entre las cuatro opciones, la que mejor explica porque el Congreso es el responsable de hacer las leyes. La anterior propuesta de prueba corresponde con los Estándares Básicos de Competencias en Ciencias Sociales de los grados cuarto a quinto. La correspondencia entre los temas de la prueba con los Estándares y las pruebas Saber, se presenta en el siguiente cuadro.

41

     S      E      R      A      D      N        Á      T      S      E

Primera columna …me aproximo al conocimiento como científico social

 Tercer columna

…manejo conocimientos

…desarrollo compromiso s personales y sociales

Relaciones con la historia y las culturas

 TEMAS DE LA PRUEBA

     N        Ó      I      C      A      U      L      A      V      E

Segunda columna

Procedimient os y técnicas

Relaciones Relaciones espaciales ético-políticas y ambientale s Ubicación Organizacion Organizacione en es políticas s coloniales entornos colombianas físicos actuales … manejo conocimientos El espacio, el El poder, la territorio, economía y El tiempo y el las las culturas ambiente y organizacione la s población

Actitud crítica y reflexiva

Las flechas indican la correspondencia de los temas de la prueba con los Estándares y las evaluaciones que hace el ICFES. De esta manera, el tema organizaciones coloniales, corresponde con las Relaciones con la historia y las culturas, ubicadas en la Segunda Columna de estándares que se denomina … manejo de conocimientos. A su vez, el tema organizaciones coloniales corresponde con el componente el Tiempo y las culturas , de las evaluaciones que realiza el ICFES.

42

LENGUAJE DISEÑO Y CONSTRUCCIÓN DE UNA PRUEBA OBJETIVA POR COMPETENCIAS

 _____________________________________________________________________________   _______  Con el fin de que los docentes comprendan la importancia y los posibles usos que  puede derivar de la evaluación externa y los resultados que de ella se obtienen, en este apartado se presentan elementos relacionados con aspectos conceptuales, metodológicos y técnicos involucrados en el diseño y análisis de este tipo de evaluación. En particular se abordan los siguientes tópicos: definición del objeto de evaluación, finalidad de la evaluación, información que brinda la evaluación, aspectos técnicos de la construcción de preguntas y de pruebas.

 _____________________________________________________________________________   _______  El diseño de instrumentos de evaluación es una tarea compleja en la que se involucran aspectos de orden conceptual (de la evaluación y de las áreas o disciplinas que se evalúan), metodológicos y técnicos. 1 PASOS A TENER EN CUENTA PARA EL DISEÑO DE PRUEBAS DE COMPETENCIAS

En el diseño de pruebas de competencias se siguen, por lo general, los siguientes pasos7: Fundamentación conceptual

•

Como su nombre lo indica, es la fase en la cual se plantean los elementos conceptuales que dan sustento y significado al proceso de evaluación. Los elementos que dan cuenta de la elaboración conceptual de las pruebas objetivas responden a los siguientes interrogantes: • • •

•

•

¿Para qué se evalúa? O propósito de la evaluación. ¿Qué se evalúa? Es decir el objeto de evaluación. ¿A quién se evalúa? O características de la población a la que se dirige la evaluación. ¿A quién le será útil la evaluación y de qué manera? Es decir usuarios y usos de la evaluación. Especificaciones de prueba

Este paso da cuenta de la descripción detallada de las características del instrumento de evaluación. En el se incluye, por una parte, una desagregación del objeto de evaluación en categorías susceptibles de ser exploradas, conforme a su conceptualización previa, y, por otra, la delimitación de especificidades técnicas del instrumento. A este conjunto de elementos es a lo que se conoce como estructura de prueba y  especificaciones psicométricas, respectivamente. La estructura de prueba representa la integración de las distintas dimensiones que se desea medir. Generalmente las evaluaciones 7

Carlos Pardo, Martha Rocha, Manual de construcción de preguntas. ICFES, 2005, Bogotá

43

educativas integran, como mínimo, una dimensión disciplinar y una dimensión referida a procesos de pensamiento (cognitiva). Ambas dimensiones pueden ser categorizadas de distinta forma, de acuerdo con el enfoque teórico que se haya elegido. La estructura de prueba debe contener, además, la descripción de las tareas de evaluación a partir de las cuales será posible materializar, en preguntas, el propósito de evaluación. Las tareas de evaluación son la operacionalización del objeto de evaluación. Una tarea de evaluación es la descripción precisa de aquello que se va a evaluar. Las tareas de evaluación deben ser claramente definidas para orientar la fase de elaboración de ítems y debe verificarse que sean susceptibles de exploración a partir de los formatos de preguntas que se planee utilizar. Como parte de las especificaciones psicométricas se debe clarificar el número de preguntas que tendrá el instrumento en su totalidad y en relación con las categorías o aspectos a evaluar; además se define el o los formatos de preguntas que se van a incluir y sus respectivas instrucciones de respuesta; la distribución de las preguntas en la prueba (si se organizarán en bloques o secciones de acuerdo con algún criterio de contenido, de forma, de organización logística, etc.); el tiempo del cual dispondrán los evaluados para responder la prueba, y los demás lineamientos que aseguren una adecuada conformación o ensamblaje del instrumento y que contribuyan a clarificar las condiciones en las cuales debe realizarse la aplicación de la prueba. •

Desarrollo de pruebas

En este paso es esencial que los diseñadores y constructores de pruebas tengan claridad que lo esencial es producir un instrumento de evaluación válido y confiable y no un agregado de preguntas. Por esto es fundamental que cada uno de los integrantes del proceso de construcción conozca y comprenda la relevancia de las especificaciones de prueba y se comprometa a seguirlas. El proceso de elaboración de preguntas exige dinámicas de reflexión y discusión entre pares y el apoyo de expertos que garanticen la calidad, pertinencia y adecuación de cada ítem. Después de elaboradas las preguntas, el instrumento se ensambla de acuerdo con las especificaciones psicométricas y se somete a una revisión final que sirve al propósito doble de controlar calidad evaluativa y verificar adecuadas condiciones editoriales del instrumento. •

Validación de las pruebas

En este paso el instrumento es aplicado para estimar índices estadísticos que permitan corroborar la calidad técnica del instrumento y el grado de pertinencia de sus preguntas para la población evaluada. Se busca así afinar o, si es necesario, excluir, aquellas preguntas que se distancien de lo previsto en relación con el comportamiento de la población frente a ellas y ajustar la conformación del instrumento con el que finalmente se realizará la evaluación. En la aplicación se debe garantizar equidad, es decir, asegurarse de que todos los evaluados participen bajo las mismas condiciones logísticas: instrucciones, espacio, tiempo, materiales de trabajo, etc. •

Resultados

44

Aplicación de las escalas de calificación definidas a la población evaluada para generar reportes de resultados (individuales o agrupados de acuerdo con los criterios de interés: institución, municipio, región, etc.) y proceder a su divulgación. Es la fase en la cual los evaluados y los demás usuarios de la información derivada del proceso evaluativo pueden, o no, reconocer a éste como un proceso útil, importante e incluso necesario. 2

ESPECIFICACIONES PARA LAS PRUEBAS DE LENGUAJE

Apliquemos los pasos descritos a las pruebas que se realizan para el área de lengua castellana y literatura, para los grados de educación básica y para el grado 11. El proceso anterior se sintetiza en los siguientes interrogantes: ¿Para qué evaluar? y ¿A quién evaluar? De la respuesta a estos dos interrogantes surge la necesidad de responder otros cuestionamientos: ¿Qué evaluar? ¿Cómo evaluar? Con respecto al primer interrogante ¿Para qué se evalúa?, sabemos que la evaluación se realiza, a los estudiantes de educación básica y media, para dar cuenta del estado de las competencias básicas, según el nivel educativo. Para lo anterior se cuenta con referentes nacionales como los estándares básicos por competencias, los cuales han sido desarrollados por el Ministerio de Educación Nacional como guía para saber qué sabereshaceres se espera que un estudiante, dependiendo del ciclo escolar, sea capaz de de realizar. Las evaluaciones en el área de lenguaje se centran en la lectura y escritura de textos (volver al capítulo 1), para cada una de estas competencias existen categorías de análisis que están ligadas a los requerimientos de los estándares y a los subprocesos que determinan cada afirmación o identificación del estándar. Con respecto a la segunda pregunta ¿Quién es el evaluado?, hay que reconocer que estamos hablando de un perfil que se ha construido históricamente y que responde a rasgos de edad, desarrollo psicosocial y diversas exigencias que se le hacen desde el contexto de un saber disciplinar, un saber pedagógico y, evidentemente, desde las necesidades de la política educativa del país. Tanto los estándares como la evaluación externa (pruebas SABER y Estado) responden a este perfil. Lo anterior quiere decir que tanto los estándares como las pruebas hacen la misma exigencia para todos los estudiantes independientemente de rasgos como proyecto educativo institucional, región, estrato, etnias, etc., los cuales son factores importantes de tener en cuenta al momento de interpretar los resultados. Aunque los estándares y la evaluación están diseñados para la población en general atendiendo a un deber ser  educativo, disciplinar y pedagógico, estos rasgos se revisan cada cuatro años, para actualizar las categorías y las exigencias de las pruebas a las necesidades del entorno poblacional y educativo del país. Ejemplo de lo anterior fue la revisión que se hizo en 2007 en el marco del actual plan decenal de educación.

45

3

¿QUÉ EVALUAR?

Las políticas educativas y las exigencias que se hacen a la educación básica y media desde la evaluación –Exámenes de Estado y Pruebas SABER– señalan la necesidad de pasar de una formación transmisionista a una que garantice el desarrollo de los sujetos en su dimensión cognitiva, intersubjetiva y subjetiva. En esa dirección, se promueven nuevos enfoques que intentan transformar la enseñanza y el aprendizaje en acciones significativas, contextualizadas a las necesidades de los educandos y pertinentes con el medio cultural y social en el que se desarrolla el proceso del conocimiento (ver capítulos anteriores). 3.1

¿DESDE QUÉ REFERENTES SE EVALÚA?

Desde la evaluación, atendiendo a los estándares de calidad propuestos por el Ministerio de Educación Nacional, se debe ir “más allá de la capacidad del estudiante para extractar un significado literal del texto e incluir una gama de procesos de comprensión, tales como hacer inferencias a partir del texto, interpretar ideas e información, y evaluar elementos textuales, contenido y lenguaje.”8 ¿Qué estamos entendiendo por texto?

Un texto es una unidad significante, en cuya base se encuentran elementos y funciones determinadas. El análisis estructural busca develar la forma como se arma el texto para producir sentido. Cada En tal sentido se plantean los siguientes aspectos de la competencia que requieren ser considerados a la hora de evaluar las capacidades de los estudiantes frente a la actividad lectora9: •

•

Identificación de información explícitamente formulada; recuperar información buscando y seleccionando la información pertinente; lectura de la superficie del texto, de lo que el texto dice de manera explícita, realización de una comprensión del significado local de sus componentes o lectura de modo literal Hacer inferencias directas basadas en el texto; desarrollar una interpretación de la información e ideas sugeridas durante la lectura pero no explícitamente formuladas en el texto; realización de inferencias, entendidas como la capacidad de obtener información o establecer conclusiones que no están dichas de manera explícita en el texto, o lectura de modo inferencial

Ministerio de Educación Nacional – ICFES, 2002, p. 12 CASTILLO BALLÉN, Martha Jeanetth. El proceso de lectura y escritura en la evaluación por competencias en lenguaje. Documentos ICFES. 8

9

46

•

•

Interpretar e integrar ideas e información para hallar conexiones entre conocimientos del mundo, experiencias previas, ideas externas e información contenida en el texto; reflexionar sobre el contenido de un texto, conectar información hallada en el texto con conocimientos de otras fuentes, evaluar informaciones comparándolas con el propio conocimiento; posibilidad de poner en relación el contenido de un texto con el de otro u otros, la posibilidad de reconocer características del contexto implícitas o relacionadas con el contenido del mismo o lectura intertextual Examinar y evaluar contenido, lenguaje y elementos textuales, mediante una consideración crítica del texto, reflexionar sobre su contenido, evaluarlo desde su estructura, lenguaje, recursos, perspectiva del autor, entre otros; comprender el género y registro del texto; posibilidad de tomar distancia del contenido del texto y asumir una posición documentada y sustentada al respecto, la elaboración de un punto de vista, analizar la pertinencia del estilo, léxico, estructura, propósito comunicativo, entre otros recursos textuales o lectura crítica

Lo anterior nos muestra la tendencia a privilegiar los niveles de comprensión de texto, más allá de preguntar por definiciones de categorías gramaticales o por información memorística relacionada con la literatura. Con base en estos requerimientos, se definen componentes o contextos desde donde se evalúa la comprensión (lectura) y la producción (escritura): ¿DESDE QUÉ REFERENTES EVALUAR?

LA LITERATURA

LOS MEDIOS DE COMUNICACIÓN

OTROS SISTEMAS

ESTÁNDARES RELACIONADOS Comprendo e interpreto textos literarios con actitud crítica y capacidad

Interpreto en forma crítica la información difundida por los medios de

Interpreto en forma crítica la información difundida a través de sistemas no verbales.

En los tres contextos la exigencia implica el desarrollo de la competencia de los estudiantes, en relación con el manejo de diversos tipos textuales y con el uso de estrategias para comprender e interpretar información Para tal fin se hace necesario manejar en el aula diferentes textos, con diferentes contenidos, estructuras y propósitos comunicativos. Lo anterior genera en el estudiante nuevas estructuras de interpretación. Cada texto hace una exigencia particular a su lector y en esta medida él, partiendo de

47

su experiencia con otros textos, reconoce o diseña nuevas estrategias de diálogo con los textos. En la identificación y análisis de cada tipo textual se requiere tener en cuenta: La organización de la superestructura, la cual se entiende como un tipo de esquema abstracto que establece el orden global de un texto y que se compone de una serie de categorías, cuyas posibilidades de combinación se basan en reglas convencionales (van Dijk,1978:143). La superestructura diferencia un texto de otro; permite organizar la información en un orden coherente; es un esquema al que el texto se adapta según sean sus intenciones comunicativas •

La relación entre el texto y la situación comunicativa: este aspecto remite al análisis de los actos de habla y su relación con el contexto sociocultural. Un acto de habla tiene que ver con las cosas que hacemos con el lenguaje, por ejemplo: preguntar, contar, informar, ordenar, pedir, suplicar, ordenar, persuadir, explicar, etc. En los textos, la preponderancia de uno de estos actos de habla influye en su organización y estructuración. En este espacio del análisis se hace presente el uso que hacemos del lenguaje en relación con una situación de comunicación determinada. La situación del hablante, la situación en la que se comunica, el propósito del texto, su relación con el interlocutor, el efecto que produce en su interlocutor •

La organización de la información: en este espacio se analiza la forma como el hablante o escritor se refieren al mundo; cómo relaciona la información; qué tipo de relaciones plantea: medio-fin, parte-todo, causaefecto, general-particular, etc. Este análisis nos permite decir si el texto es o no coherente •

El tema o tópicos tratados en el texto: en este aspecto se analizan los contenidos temáticos del texto, sus visiones de mundo, sus puntos de vista sobre un tema en particular y la manera como en el texto esta información se presenta de manera coherente •

Observemos el siguiente modelo de clasificación; usted puede proponer otro atendiendo a otros aspectos en la comunicación, por ejemplo el género o el tipo de discurso.

48

INTENCIÓN COMUNICATIVA

Informar

Narrar

Argument

Explicar

Tipo de

Tipo de texto

Tipo de texto

Tipo de texto

Noticia Nota enciclopédica Artículo periodístico Afiche Circular Carta

Cuento Novela Mito Fábula Obra teatro

Ensayo Artículo de opinión Reseña Editorial de un periódico o

Artículo Receta Reglas de un  juego Instrucciones para armar un  juguete o

Texto

de

Es importante anotar que algunos textos pueden corresponder a una u otra modalidad de acuerdo con la intencionalidad. La razón reside en que muchos textos comparten más de una intencionalidad. Para el análisis de los textos es importante tanto la mirada local como global sobre ellos: Una mirada global (todo el texto) permite valorar la eficacia discursiva del mismo. Esto posibilita el paso al análisis de las unidades locales (informaciones parciales) con una orientación que impide la dispersión en detalles poco relevantes y coloca el análisis de las partes con el todo. Una mirada local, relacionada con el análisis secuencial --el que menos se acostumbra a hacer en la escuela y por ello los resultados de las evaluaciones evidencian bajos desempeños en este aspecto. Esta mirada permite revisar, por ejemplo, el uso de conectores, el modo de referir por medio de pronombres y artículos y la manera como el tema de un texto progresa. Lo anterior se puede trabajar desde el planteamiento de interrogantes que apuntan a establecer comparaciones y diferencias entre los textos: ¿Qué se plantea explícitamente en el texto? –información que aparece en la superficie textual y que es de fácil reconocimiento- ¿Qué se puede inferir del texto? –información que se deduce de lo que se ha planteado textualmente en partes de la información- Estos dos tipos de movilización de información se traducen en términos de la macroestructura. ¿Cómo se presenta la información? -sus formas de escritura, organización del la

49

información o superestructura-, ¿Cuál es su finalidad o propósito?- sus usos y/o intenciones de comunicación, actos de habla o pragmática textual-. De manera complementaria y simultánea, se da la escritura de tipos textuales. La estrategia casi siempre utilizada es la de solicitar al estudiante que escriba un cuento, un ensayo o una carta. Esta instrucción lleva a la producción mecánica y poca reflexiva sobre el proceso. Cada texto o mejor cada proceso de escritura requiere de una planeación que se produce en razón a una necesidad de comunicación o intención comunicativa. Al planear, el estudiante se enfrenta a preguntas como las siguientes: ¿Cómo escribir para lograr mis propósitos? ¿Qué escribir? ¿Cómo organizar la información? ¿Qué términos usar?, etc. En síntesis, la escritura debe asumirse como un proceso de construcción de sentidos en el que se involucra tanto el escritor como el lector, y no como algo ajeno al sujeto que escribe. En este sentido, y tal como lo hemos planteado, encontramos varios grupos de indicadores que apuntan a recoger información en torno a dos instancias fundamentales10: El plano TEXTUAL

El estudiante distingue las tipologías textuales, identifica los rasgos específicos predominantes en cada clase de textos (enumerativos, descriptivos, argumentativos, narrativos, líricos, con sus distintas variantes: listados, publicitarios, periodísticos, científicos, divulgativos, políticos, literarios, etc.) los analiza desentrañando sus mensajes, reconstruyendo estructuras locales y globales y explicando sus estructuras retóricas.   También reconoce y produce superestructuras,

El plano DISCURSIVO

El estudiante selecciona los recursos y estrategias pertinentes para interpretar o producir sentido. Establece de qué modo usa los recursos textuales para situarse como sujeto del discurso, haciendo uso de un saber tanto conceptual del mundo social y físico, como de las convenciones sociales que regulan los intercambios comunicativos. Asume que

En cada uno de estos planos el proceso de lectura se realiza en diferentes niveles, que se definen en términos de los procesos y subprocesos que el estudiante realiza a la hora de leer un texto:

10

Desde hace varios años en el diseño de los instrumentos de evaluación del área de lenguaje se han diferenciado estos dos planos como ejes sobre los cuales se construyen las pruebas SABER e Icfes. Ver: www.icfes.gov.co/SABER/ExamendeEstado

50

Texto (unidad semántica – sintáctica y pragmática) ¿Qué dice? ¿Cómo lo dice? ¿Para qué lo dice?

Nivel de Lect ur a11

Acciones del proceso lector que se ubican en este nivel: ⇒

Literal ⇒

Identificar en el texto el significado local de una palabra, una frase, un párrafo, un gesto o un signo (en el caso del lenguaje de la imagen) Elaborar paráfrasis entendidas como la traducción o reelaboración del significado de una palabra o frase empleando sinónimos o frases distintas sin que se altere el significado.

Identificar relaciones semánticas explícitas en el texto, entre los componentes de una oración o de un párrafo. Acciones del proceso lector que se ubican en este nivel: ⇒

Identificar el significado y la temática global del texto (macroestructura, Coherencia global, progresión temática. Inferir el tipo de texto, su estructura, tipo de información y modo como ⇒ se presenta. Reconocer, analizar y explicar los mecanismos de textualización que ⇒ garantizan la coherencia y cohesión del texto: conectores, correferencias, pronombres (anafóricos, catafóricos), marcas espaciales, temporales, de orden, funciones de los signos de puntuación, las comillas, los guiones, los paréntesis...; reconocer y explicar, también, unidades de significado como párrafos, oraciones, estrofas, versos.... Analizar también los mecanismos análogos empleados en el cómic, la historieta y otros textos gráficos e icónicos. Inferir información y acceder a conclusiones que no están dichas de ⇒ modo directo en el texto, con base en el análisis de la información dada. Utilizar los saberes enciclopédicos para deducir y ampliar información. ⇒ Reconocer el tipo de auditorio o interlocutor al que se dirige el texto. ⇒ Acciones del proceso lector que se ubican en este nivel: ⇒

Inferenc ial

⇒

Lectura Crí  tic a

⇒

⇒

⇒

 Tomar posición, por parte del lector, es decir, definir un punto de vista sobre el contenido total o parcial del texto, de manera documentada. Analizar en los textos la pertinencia de elementos como el estilo, el tipo de léxico, los recursos gráficos, la estructura. Identificar el universo de intereses y elementos políticos, simbólicos e ideológicos que circulan en los textos. Analizar la pertinencia del tipo de texto y/o tipo de enunciado respecto de la situación de comunicación (situación de enunciación).

Si bien los anteriores niveles no se relacionan uno a uno con los subprocesos de los estándares definidos por el Ministerio de Educación Nacional, en cada nivel se analizan los estándares que corresponden a un conjunto de subprocesos por ciclo escolar. Analicemos los subprocesos que define el estándar Comprensión e interpretación de textos para el grado 5. Al finalizar grado 5, comprendo diversos tipos de texto, utilizando algunas estrategias de búsqueda, organización y almacenamiento de la información. Para lo cual,

11

Ibíd.

51

⇒

⇒ ⇒

Comprendo los aspectos formales y conceptuales (en especial: características de las oraciones y formas de relación entre ellas), al interior de cada texto leído. Identifico la intención comunicativa de cada uno de los textos leídos. Determino algunas estrategias para buscar, seleccionar y almacenar información: resúmenes, cuadros sinópticos, mapas conceptuales y fichas.(MEN)

En cada uno de los subprocesos descritos en el cuadro encontramos una relación con los niveles de lectura, por ejemplo, para identificar la intención comunicativa de un texto el estudiante debe relacionar lo escrito en el texto con la situación de comunicación que encierra todo el texto, lo que exige una lectura de nivel crítico. Otro ejemplo: para comprender los aspectos formales y conceptuales (en especial: características de las oraciones y formas de relación entre ellas), al interior de cada texto leído el estudiante debe relacionar la información escrita en el texto e inferir las relaciones que hay entre las proposiciones o párrafos. Esto demanda una lectura inferencial. Ahora bien, para responder a los interrogantes que describen cada nivel de lectura, se espera que el lector: Antes de la lectura y motivado por las huellas del texto: active los conocimientos previos que tiene sobre el tipo de texto y pre-diga el contenido, adelantándose a lo que dicen las palabras, formule hipótesis en relación con los símbolos, íconos, títulos u otros indicadores gráficos llamados paratextos. Mientras lee, compruebe los presupuestos realizados y construya nuevas hipótesis aprovechando los indicios que hasta el momento no había visualizado. Después de la lectura , comente y discuta con otros lectores para conocer otras intepretaciones o puntos de vista generados por lo planteado en el texto; también se espera que realice un proceso de relectura del texto para buscar enunciados, palabras y otros elementos que le permitan comprobar su hipótesis de lectura. En este proceso, se va hacia otros textos para ampliar, rebatir o constatar información.

Para verificar si lo esperado se cumple, existen unos indicadores para cada competencia. Observemos a continuación algunos indicadores para la competencia lectora, los cuales se hallan en los Estándares Básicos de Competencias del Ministerio de Educación Nacional, para esta área. 3.2

INTERPRETACIÓN TEXTUAL

Comprensión e interpretación de textos con actitud crítica y propositiva ⇒

⇒

Elabora hipótesis de interpretación atendiendo a la intención comunicativa y al sentido global del texto que lee. Relaciona el significado de los textos que lee con los contextos culturales y políticos en los cuales se ha producido.

52

⇒

Diseña esquemas de interpretación teniendo en cuenta el tipo de texto, tema, interlocutor, e intención comunicativa.

Caracterización de los medios de comunicación masiva y selección de la información que emiten, para ser utilizada en la creación de nuevos textos.

Reconoce las características de los diferentes medios de comunicación masiva: televisión, radio y periódico. ⇒ Comenta sus programas favoritos. ⇒ Analiza cómo presentan la información los medios de comunicación. ⇒ Diferencia los distintos tipos de programas: noticieros, telenovelas, anuncios comerciales, y dibujos animados. ⇒ Comprende el valor del lenguaje en los procesos de construcción de conocimientos. ⇒ Identifica, caracteriza y valora diferentes grupos humanos, teniendo en cuenta aspectos étnicos, lingüísticos, sociales y culturales. ⇒ Respeta la diversidad de criterios y posiciones ideológicas que se dan a través de la comunicación. ⇒

Conocimiento y análisis de los elementos, roles, relaciones y reglas básicas de la comunicación, para inferir las intenciones y expectativas de los interlocutores y hacer más eficaces los procesos comunicativos.

Identifica los elementos constitutivos de la comunicación: interlocutores, código, canal, mensaje y contextos. ⇒ Caracteriza los roles desempeñados por los sujetos que participan del proceso comunicativo. ⇒  Tiene en cuenta, en sus interacciones comunicativas, principios básicos de la comunicación: reconocimiento del otro en tanto interlocutor válido y respeto por los turnos conversacionales. ⇒ Identifica en situaciones comunicativas reales los roles, las intenciones de los interlocutores y el respeto por los principios básicos de la comunicación. ⇒ Argumenta en forma oral y escrita acerca de temas y problemas comunicativos que puedan ser objeto de intolerancia, segregación y señalamiento. ⇒ Respeta la diversidad de criterios y posiciones ideológicas que se dan en los diferentes grupos humanos. ⇒

Apropiación crítica y creativa de diferentes manifestaciones literarias en el contexto de la literatura española y su relación con la producción universal. ⇒

⇒ ⇒

Lee textos sobre literatura para informarse sobre movimientos y tendencias. Lee textos literarios de diversa índole, género, temática y origen. Identifica y analiza en obras de la literatura universal, el lenguaje, las características formales del estilo, atendiendo a la época, escuela, género y autor.

53

⇒

⇒

⇒

⇒

Comprende en los textos que lee las dimensiones éticas, estéticas, filosóficas que se evidencian a través de ellas. Compara textos de diferentes épocas, autores y culturas para enriquecer sus saberes sobre la estética de la creación verbal. Reconoce los autores más destacados según las épocas de producción literaria y según el género. Conceptual iza sobre los diferentes géneros literarios y sus estrategias discursivas.

Otros sistemas simbólicos  Apropiación crítica de los lenguajes no verbales para el desarrollo de  propósitos comunicativos intencionados. ⇒

⇒ ⇒

⇒

⇒ ⇒ ⇒ ⇒ ⇒

4.

Da cuenta del uso del lenguaje verbal o no verbal en manifestaciones humanas como los graffiti, la publicidad, los símbolos patrios, las canciones, los caligramas, entre otros. Analiza las implicaciones culturales, sociales e ideológicas. Explica como los códigos verbales y no verbales se articulan para generar sentido en obras cinematográficas, canciones y caligramas. Produce textos, mediante el uso del lenguaje verbal o no verbal, para exponer ideas o para recrear realidades, con sentido crítico. Comprende el lenguaje de las historietas y de las imágenes. Reconoce las historietas, las caricaturas y los avisos publicitarios. Ordena y completa la secuencia de viñetas que forman una historieta. Relaciona las imágenes con las palabras. Comprende y analiza la importancia del lenguaje no verbal en la publicidad.

ESCRITURA DE TEXTOS O PRODUCCIÓN TEXTUAL ⇒

⇒

Caracteriza y utiliza estrategias descriptivas, explicativas y analógicas en la producción de textos orales y escritos. Desarrolla procesos de autocontrol y corrección lingüística en la producción de textos orales y escritos.

Producción de textos escritos, que respondan a diversas necesidades comunicativas siguiendo un procedimiento estratégico para su elaboración.

Caracteriza y utiliza estrategias narrativas en la producción de textos escritos ⇒ Evidencia en sus producciones textuales el conocimiento de los diferentes niveles de la lengua y el control sobre su uso en contextos comunicativos diversos. ⇒ Caracteriza y utiliza estrategias narrativas en la producción de textos escritos. ⇒

54

⇒

⇒

⇒

⇒

Produce la primera versión de diferentes textos narrativos, atendiendo a requerimientos de la producción escrita en lengua castellana, con énfasis en algunos aspectos gramaticales. Utiliza la producción escrita para exponer e informar sobre un fenómeno natural o social, utilizando las estrategias que el tipo de texto e intención comunicativa sugiere. Desarrolla sus ideas con rigor, atendiendo a las características del género. Produce ensayos de carácter atendiendo a las características del género.

En consecuencia, elaborar una evaluación supone definir el objeto, en nuestro caso la lectura y la escritura, teniendo en cuenta los estándares citados y las tendencias actuales de las disciplinas relacionadas, el enfoque por competencias y la definición de criterios que se van a tener en cuenta para su observación y medición. 4. ¿CÓMO SE CONSTRUYEN LAS PREGUNTAS EN LA PRUEBA DE LECTURA?

El formato de selección múltiple con única respuesta es uno de los más utilizados para formular preguntas en las evaluaciones educativas de carácter masivo, especialmente por la facilidad de su aplicación y calificación. Sin embargo, sería erróneo creer que la facilidad es una característica también de su elaboración. Formular buenas preguntas de selección múltiple es una labor que exige mucho compromiso y práctica, además, por supuesto, de un profundo conocimiento del objeto de evaluación, combinado con una rigurosa aplicación de las reglas técnicas que se han desarrollado para procurar su calidad. En particular se resalta el requerimiento de que quienes elaboran preguntas dominen los planteamientos del marco de fundamentación, así como las especificaciones técnicas del instrumento, para que cada pregunta aporte su máximo potencial evaluativo al propósito de evaluación planteado. Analicemos el siguiente ejercicio:  Texto con 6 preguntas para evaluar lectura en grado 5 Estándar indagado: Comprendo diversos tipos de texto, utilizando algunas estrategias de búsqueda, organización y almacenamiento de la información. Subproceso implicado: Identifica información implícita  Tarea 1: Reconoce el tipo de texto a partir de la manera como se presenta la información. Lea atentamente el siguiente texto

55

LA ENERGÍA

Es la capacidad que tienen los cuerpos para realizar un trabajo. Se realiza un trabajo cuando actúan fuerzas externas sobre un cuerpo, haciendo que cambie la posición en que se encuentra, es decir, poniendo en movimiento.  Todos los cambios que tiene la materia requieren de energía. La materia posee energía como resultado de su movimiento o de su posición en relación con las fuerzas que actúan sobre ella. La energía se manifiesta de diferentes formas: el calor, la luz, el sonido, la electricidad y el magnetismo, cada una de las cuales produce distintos cambios en la materia. La energía asociada al movimiento se conoce como energía cinética, mientras que la relacionada con la posición es la energía potencial. Por ejemplo, un péndulo que oscila tiene una energía potencial máxima en los extremos de su recorrido; en todas las posiciones intermedias tiene energía cinética y potencial en proporciones diversas. Los tipos de energía, de acuerdo a la manera como se presenta, pueden ser: la energía mecánica, térmica, química, eléctrica, radiante y atómica. En el proceso de transformación de la materia, puede perderse o ganarse una forma de energía, pero la suma total permanece constante. Así, por ejemplo, al disparar un fusil, la energía potencial de la pólvora se transforma en la energía cinética del proyectil. Todas las formas de energía tienden a transformarse en calor, que es la forma más degradada de la energía. PREGUNTAS: 1. Por la manera como se presenta la información, se puede afirmar que en el texto anterior predomina la intención de a. b. c. d.

informar sobre un acontecimiento. narrar una historia fantástica. exponer un tema particular. argumentar una hipótesis.

Esta pregunta está compuesta por: Un contexto o situación: Texto: LA ENERGÍA Un enunciado o tarea: Por la manera como se presenta la información, se puede afirmar que en el texto anterior predomina la intención de Cuatro opciones de respuesta : 1. informar sobre un acontecimiento. 2. narrar una historia fantástica. 3. exponer un tema particular. 4. argumentar una hipótesis.

56

En términos de la tarea, y de las especificaciones de prueba, esta pregunta indaga por el nivel lectura inferencial y pertenece al componente pragmático. Dentro de las opciones hay una que da respuesta al enunciado, la cual es llamada clave, en este caso es la opción C. El texto debe permitir indagar lo que se quiere indagar, debe ser coherente y pertinente con la tarea y con el proceso que se quiere medir en el evaluado, por lo cual debe tener unas características particulares con relación al lector. Para seleccionar el texto adecuado a la población y a la tarea que se quiere evaluar, es necesario antes de construir las preguntas hacer un análisis detallado de la forma de lo escrito, el vocabulario, y sobretodo, de los saberes que el texto exige para ser comprendido. En última instancia, reconocer qué tipo de lector exige el texto. Dependiendo del número de preguntas que tenga la prueba, es necesario también mirar la extensión del texto. En una prueba de 30 preguntas 10 por texto, es importante que el lector tenga el tiempo suficiente parar leer los tres textos y responder las 30 respuestas. En cuanto a los temas o tópicos que deben ser seleccionados para la selección de los contextos, situaciones problema o texto, es necesario que el docente consulte por una parte los estándares y por otra que tenga claro cuales son esos contextos o situaciones que le permiten al estudiante interactuar sin que por su enciclopedia impida cumplir con la tarea propuesta en la prueba. El texto anterior por ejemplo es muy sencillo en su forma y estructura, en el mismo se definen los términos usados de una manera muy didáctica. Esto lo hace comprensible por forma, pero ¿qué pasa con el contenido? La energía es un tema o tópico de las ciencias naturales de grado 3 y 5, pero también está en el mundo cotidiano del estudiante. En la prueba de lenguaje no interesa si el sabe que es energía sino si comprende lo que el texto dice acerca de la energía. Analicemos la segunda pregunta  Tarea 2 PREGUNTA Identificar el tema o la idea principal del texto Opciones de respuesta a. la energía, sus orígenes y usos. b. la energía, sus componentes y manifestaciones. c. la energía, su función y tipos. d. la energía, sus manifestaciones y tipos. Opción clave: C: la energía, su función y tipos.

57

Es claro que esta pregunta pertenece al mismo estándar y al mismo subproceso, aunque con una tarea diferente. En la pregunta anterior la tarea era pragmática y en esta es semántica, es de contenido del texto. Estándar: Comprendo diversos tipos de texto, utilizando algunas estrategias de búsqueda, organización y almacenamiento de la información.

Subproceso: Identifica información implícita Esta es una pregunta de nivel de lectura inferencial, y pertenece al componente semántico. TALLER 4: ANÁLISIS DE PREGUNTAS. Continúe el ejercicio, utilizando el mismo texto y siguiendo el mismo proceso. Complete la tabla 3.

PREGUNTAS: 3. En el texto la información se organiza en a. párrafos. b. versos. c. estrofas. d. escalas 4. En el primer párrafo del texto a. se describen las formas de movimiento. b. se explican los tipos de energía. c. se define qué es la energía. d. se caracterizan los tipos de movimiento. 5. En el texto, la información que se presenta en el párrafo 2 a. amplia la información que se brinda en el primero. b. niega la afirmación que se presenta en el primero. c. ejemplifica una información que aparece en el primero. d. contradice la información que se da en el primero. 6. En el tercer párrafo del texto se afirma que: a. los cambios en la materia se producen por cambios en el movimiento. b. un cambio particular en la materia produce distintas tipos de energía. c. un tipo de energía particular produce un cambio particular en la materia. d. un tipo de energía produce distintas transformaciones en la materia. 7. Según el texto, la energía asociada al movimiento se conoce como energía a. cinética. b. calórica. c. nuclear. d. potencial. 8. En el quinto párrafo a. se describen los tipos de energía. b. se enumeran los tipos de energía.

58

c. se explican los tipos de energía. d. se definen los tipos de energía. 9. En el texto, la información que se brinda en el párrafo 7 a. cuestiona lo dicho anteriormente. b. amplía la información del párrafo anterior. c. explica lo dicho en el párrafo uno. d. contradice lo dicho en el párrafo tres. 10. Según el texto un buen ejemplo de energía potencial es a. levantar una pelota del suelo. b. cortar una cinta elástica. c. quemar un papel. d. prender una vela. 11. Según el texto, la diferencia entre energía cinética y energía potencial es que a. la primera está relacionada con el movimiento, mientras la segunda con la posición. b. la primera está relacionada con la posición, mientras la segunda con el movimiento. c. la primera está relacionada con la temperatura, mientras la segunda con el movimiento. d. la primera está relacionada con el movimiento, mientras la segunda con la temperatura. 12. Cuando se suelta una pelota situada a una cierta altura, la energía potencial se transforma en energía a. mecánica. b. térmica. c. cinética. d. eléctrica. Pregu nta

 Tabla 3: Análisis de preguntas Subproceso Nivel de Categoría de lectura evaluación (semántica-

Clav e

sintaxis o pragmática)

3 4 5 6 7 8 9 10 59

11 12

FUNDACIÓN SENTIDO HUMANO CIENCIAS NATURALES PROCESO DE CONSTRUCCIÓN DE PRUEBAS OBJETIVAS PARA EVALUACIÓN POR COMPETENCIAS Las pruebas objetivas, es decir aquellas que constan de preguntas de selección múltiple con única respuesta, son las más utilizadas en las evaluaciones educativas de carácter masivo, especialmente por su facilidad de aplicación y posterior calificación. Sin embargo, contrario a lo que la mayoría de personas piensa, su construcción demanda complejidad en cuanto a la definición de los aspectos a evaluar, a los criterios de valoración y de interpretación de dichos aspectos, y precisión en la técnica de construcción. Son muchas las condiciones que se deben cumplir para considerar  que una prueba es válida y confiable. Una prueba es una unidad que responde a criterios de construcción bien específicos 12. Las pruebas están conformadas por conjunto de preguntas que deben responder a dichos criterios. Por esto, la construcción de preguntas de selección múltiple es una actividad que requiere un amplio conocimiento del objeto de evaluación y de las características de la población que va a ser evaluada. De la misma manera, la Estos criterios tienen que ver con: el contenido de la evaluación, qué se evalúa; el propósito y la finalidad de la evaluación; la población a la que se dirige la evaluación, entre otros. 12

60

construcción de ítems exige la aplicación de técnicas de revisión que se perfeccionan a través de la práctica. En la primera parte de este capítulo se desarrollará un taller práctico. En la segunda parte, se describen las técnicas de construcción de preguntas de selección múltiple con única respuesta, las cuales también se pueden aplicar a otros formatos de ítems.

5.1 Fases del diseño de pruebas El proceso de diseño de pruebas involucra diferentes etapas desde la formulación de un marco teórico que articula los conocimientos sobre los cuales se fundamentará el instrumento de evaluación hasta el momento de revisión y aprobación de su calidad para ser aplicado. El proceso, en general, tiene las siguientes fases:    

Fundamentación conceptual Especificaciones de prueba Desarrollo de pruebas Aplicación.

En la fundamentación conceptual se aborda la definición del objeto de evaluación, es decir del qué de la evaluación, desde una dimensión conceptual (sobre evaluación y sobre las disciplinas relacionadas con dicho objeto) y desde su relación con elementos contextuales, legales y metodológicos que darán sustento y significado al proceso de evaluación. Varias preguntas apoyan la construcción de la fundamentación teórica de una evaluación: 







¿Para qué la evaluación? Define el propósito de la evaluación , por ejemplo la selección o el diagnóstico. ¿Qué se evalúa? Da cuenta del objeto de evaluación. Por ejemplo en la prueba SABER, el objeto de evaluación en ciencias son las competencias específicas que se han definido como la “capacidad de saber actuar e interactuar en un contexto material y social” ¿A quién se evalúa? Define las características del grupo de personas a quien se dirige la evaluación, por ejemplo, estudiantes de grado 5°, de grado 9° o grado 11° ¿A quién le será útil la evaluación? Es decir quiénes serán los usuarios de la evaluación: por ejemplo, los docentes, los estudiantes, los padres de familia, los directivos docentes, la comunidad académica y grupos de investigación.

Las especificaciones de prueba se constituyen en una descripción de características del instrumento que incluye una desagregación del objeto evaluación en categorías o dimensiones a ser evaluadas y una delimitación especificaciones técnicas del instrumento de evaluación: el tipo y el número preguntas que se van a utilizar.

las de de de

La estructura de prueba es una matriz que integra las distintas dimensiones del objeto de evaluación. En el caso de las pruebas SABER y del Examen de Estado, la estructura integra una dimensión disciplinar (los componentes) y una dimensión cognitiva, referida a procesos de pensamiento (las competencias).

61

Veamos un ejemplo de estructura de prueba para evaluar Ciencias Naturales: Dimensión cognitiva (procesos de pensamiento)

COMPETENCIAS COMPONENTES

Uso comprensivo del conocimiento

TOTAL Explicar

Indagar  

 Tareas de evaluación: Representar datos en gráficas y tablas 10  Tareas de evaluación: Interpretar datos representados en texto, gráficas, dibujos, diagramas o tablas. 10 

Entorno vivo

5

5

Dimensión disciplinar 

20



Entorno físico

CTS

TOTAL

5

5

4

4

14

14

20

8 20

48

La estructura de prueba además incluye la descripción de las tareas de evaluación a partir de las cuales se construirán los ítems. La tarea de evaluación se refiere a la descripción precisa de lo que pretende evaluar una celda de la matriz. Las tareas de evaluación deben ser claramente definidas porque éstas orientan la construcción del instrumento y se debe garantizar que sean fácilmente rastreadas a partir de las preguntas. Otro aspecto que debe incluir la estructura es el número de preguntas por cada celda de la matriz y el tiempo del cual dispondrán los evaluados para responder la prueba. Además debe garantizar que se encuentren preguntas que evalúen tareas de distintos niveles de dificultad, de tal manera que se cubra con todos los niveles de habilidad de la población evaluada. La fase de desarrollo de pruebas incluye todas las acciones orientadas a obtener un instrumento de evaluación de calidad listo para su aplicación. La construcción de preguntas constituye una actividad muy importante que requiere de gran compromiso por parte de quienes la llevarán a cabo. Quienes participan en esta actividad deben ser personas con amplio y sólido conocimiento de la disciplina y conocedores a profundidad del marco que sustenta la evaluación, de las especificaciones y de la estructura de la prueba. Es necesario resaltar que el producto final de esta fase es un instrumento de evaluación con un propósito particular, no un conjunto de preguntas.

Taller 6. Construcción de preguntas A continuación encontrará un texto con el cual se construirán preguntas para evaluar  ciencias. Lea el texto cuidadosamente. Revise lo visto en los Capítulos anteriores para definir la población, los conceptos y las habilidades que pretende evaluar. 62

1.

Teniendo en cuenta la información que le brinda el siguiente texto y haciendo uso de la plantilla que se presenta en el punto 2 (estructura de prueba), construya dos preguntas que puedan servir para evaluar un saber hacer en la disciplina o campo de su especialidad.

TEXTO

El hierro, un metal bondadoso

El hierro es un micromineral u oligoelemento que interviene en la formación de la hemoglobina y de los glóbulos rojos, como así también en la actividad enzimática del organismo. Dado que participa en la formación de la hemoglobina de más esta decir que transporta el oxígeno en la sangre y que es importante para el correcto funcionamiento de la cadena respiratoria. Las reservas de este mineral se encuentran en el hígado, el bazo y la médula ósea. La falta de hierro en el organismo puede producir mala síntesis proteica, deficiencia inmunitaria, aumento del ácido láctico, aumento de noradrenalina, menor compensación de enfermedades cardiopulmonares y anemia. La forma de identificar a alguien que demuestra carencia de hierro es por una menor respuesta al estrés, menor rendimiento laboral, alteración en la conducta y mala regulación térmica. Las necesidades diarias de hierro son del orden de los 8 a 11 mg/día, requiriendo un 50% adicional las mujeres y los hombres deportistas y hasta doble las mujeres deportistas (20 a 25 mg/día). En el siguiente formato 13, realice la caracterización para cada pregunta, es Este metal es un buen agente reductor y, dependiendo de las decir, identifique el componente, la competencia, el estándar y condiciones, la acción de puede oxidarse el estado 3+ o 6+. la mayor de los pensamiento quehasta se pretende evaluar2+ (remítase a losEn Capítulos 1 y 2parte para recordar  compuestos deyhierro está presente el ion ferroso, hierro (II), o el ion estos aspectos consulte los Estándares Básicos de Competencias en Ciencias férrico, hierro El ion férrico,lapor razónesperada de su alta y su Naturales). Así(III). mismo, establezca dificultad y la carga clave o(3+) respuesta correcta de las preguntas construidas.

2.

AREA: Ciencias Naturales ESTANDAR:

MATERIA/DISCIPLINA: Biología, GRADO: Física o Química ACCIÓN DE PENSAMIENTO:

COMPONENTE

COMPETENCIA

DIFICULTAD ESPERADA

CLAVE

PREGUNTA: Escriba aquí la pregunta. Utilice un formato por cada pregunta construida.

13

www.icfes.gov.co/examendeestado ICFES para la construcción de preguntas.

63

 Justificación de las opciones de respuesta.

En este espacio justifique la intensión evaluativa de cada opción de respuesta diferente a la clave (respuesta correcta). Para ello, utilice la siguiente pregunta como guía: ¿Qué se puede decir de los estudiantes que escogen la opción A, B, C y D?

Proceso de solución y justificación de la respuesta correcta.

En este espacio describa concretamente el proceso de solución de la pregunta. Si se requieren cálculos escríbalos. Describa las acciones que se deben realizar para llegar a la respuesta correcta.

5.2 Aspectos técnicos para la construcción de preguntas Ahora nos centraremos en los aspectos técnicos que se deben tener en cuenta en la construcción de preguntas de selección múltiple. Este tipo de preguntas consta de un enunciado y de cuatro opciones de respuesta entre las cuales debe escogerse la que se considera válida. La opción válida es aquella que además de ser correcta desde lo disciplinar, responde o da solución al problema/tarea planteado en el enunciado. Estructura de una pregunta de selección múltiple: SITUACIÓN O CONTEXTO PARA LA TAREA

Se desprenden varias preguntas que se componen de

UN ENUNCIADO

CUATRO OPCIONES DE RESPUESTA

64

El enunciado es la parte que encabeza el ítem. Contiene una información precisa y clara acerca de un tema en particular. Tiene una extensión entre 6 y 8 renglones y se construye a partir de una idea general que se va concretando en una problemática, situación o proceso específico. Las opciones son la parte concluyente del ítem y son frases, datos o informaciones, lógicas y verosímiles, que pueden ser escogidas como respuesta a la pregunta. Se denomina CLAVE a la opción que responde correctamente a la pregunta, es la opción que responde con las exigencias planteadas en el enunciado.

5.3 Reglas generales para la construcción de preguntas 







Uno de los primeros aspectos que se debe verificar es que la pregunta que se va a construir corresponda con los propósitos de la evaluación, la estructura de la prueba y con las dimensiones disciplinares a evaluar. Se debe estar seguros de que, así algunas preguntas se desprendan de un mismo contexto, todas las preguntas que se incluirán en una prueba deben ser independientes entre sí. La información de un ítem no debe servir de pauta para contestar otro, ni la respuesta a un ítem debe depender de haber  contestado otro anteriormente. Evitar las preguntas que pueden contestarse por sentido común y aquellos cuya respuesta dependa únicamente de recordar un término, un símbolo, un dato o la fecha en que ocurrió un evento. Evitar expresiones rebuscadas que puedan confundir. Se recomienda emplear un lenguaje directo, sencillo y comprensible. El lenguaje empleado debe ser adecuado al nivel educativo de la población a evaluar.

Ejemplo

65

La presión de vapor de una sustancia se define como la presión que ejerce el gas de esa sustancia cuando se encuentra en equilibrio con la fase líquida o sólida. La siguiente gráfica ilustra la presión de vapor de 4 líquidos a diferentes temperaturas, los cuales son utilizados como solventes para la obtención y/o purificación de algunos compuestos orgánicos empleados en la preparación de desinfectantes. ENUNCIADO

Del gráfico puede afirmarse que el líquido con mayor tendencia a evaporarse es el 

OPCIONES DE RESPUESTA

  A. B. C. D.

CLAVE

éter dietílico cloroformo tetracloruro de carbono agua

Para reflexión: ¿En qué grado o grados puede ser aplicada esta pregunta? ¿Qué competencia se evalúa en la pregunta? ¿Qué componente se evalúa en la pregunta? Explica. Con esta información que otros conceptos o acciones se podrían evaluar?

1.

2. 3. 4.

5.3.1 Reglas sobre los enunciados 





Los enunciados deben ser afirmativos, en caso de ser necesaria la negación, se debe resaltar para llamar la atención hacia la formulación negativa. También se puede incluir la tarea para el estudiante en forma de pregunta directa. Evitar enunciados demasiado extensos y poco atractivos ya que desmotivan la lectura, disminuyen el tiempo de respuesta, fatigan y en algunas ocasiones confunden al estudiante. Garantizar la coherencia interna del enunciado y de este con las opciones de respuesta.

5.3.2 Reglas sobre las opciones 



Las opciones de respuesta deben pertenecer al mismo campo semántico. Las opciones de un ítem no deben dar indicaciones sobre la clave por  ofrecer un cierto contraste evidente de: longitud

66

precisión / imprecisión uso común / técnico generalización / particularización 





No se deben repetir expresiones en las opciones de respuesta, si éstas se pueden incluir en el enunciado del ítem. Repetir la misma palabra del enunciado en cualquiera de las opciones puede llevar a que sea elegida como respuesta, sin serlo necesariamente. Deben evitarse en las opciones de respuesta expresiones como “todas o ninguna de las anteriores”, en su lugar es necesario construir alternativas de respuesta plausibles sobre el dominio conceptual que exige el ítem. Realizar una revisión gramatical y ortográfica de cada uno de los ítems.

Durante el proceso de construcción se deben realizar revisiones de los ítems. A continuación se presenta una lista de chequeo que ayuda a garantizar que las preguntas son válidas, pertinentes y se adecuan a los propósitos de la evaluación, a la población a evaluar a la estructura y especificaciones de la prueba.

Criterios Aspectos generales del Ítem 1

No es de competencias.

2

No hay coherencia gramatical y semántica en su redacción.

3

No está redactado en tercera persona.

4

El ítem mide más de una competencia específica.

5

El lenguaje utilizado no es comprensible o apropiado para la población.

6

Induce o da pistas para responder otro.

7

Se presenta información inexacta, confusa o tergiversada.

8

Las gráficas o ilustraciones no son pertinentes o útiles en la situación planteada.

Preguntas 1

2

3

4

5

6

7

8

9

1 0

1 1

1 2

1 3

1 4

Enunciado 9

La tarea de evaluación no es clara ni explícita.

1 0

La resolución de la tarea de evaluación no se realiza en un tiempo razonable.

1 1

No está la información necesaria o es insuficiente para responderla.

67

1 5

Opciones 1 2

Hay más de una opción correcta.

1 3

La clave no responde correctamente el problema.

1 4

No contiene los aspectos que está siendo evaluados.

1 5

Se responde por sentido común o únicamente por el recuerdo de un término, un símbolo, un dato, una fecha o una definición.

1 6

Las opciones no válidas son evidentemente incorrectas o son absurdas.

Taller de aplicación 2 Analice las siguientes preguntas e identifique los problemas que presentan. Utilice las técnicas de construcción y la lista de chequeo vistas en este Capítulo.

Pregunta 1 En la formación de la lluvia, el vapor de agua pasa a líquido. Este proceso se conoce como A. condensación B. solidificación C. fusión D. evaporación

Pregunta 2 Los niños elaboran varias figuras de animales con arena húmeda y las dejan expuestas al sol por algún tiempo. Al regresar, las figuras están secas y desmoronadas debido a que A. se ha evaporado la mayor parte del agua que forma las figuras. B. el agua se ha combinado con la arena. C. la arena se ha descompuesto. D. el agua se ha condensado.

Pregunta 3 Para determinar la densidad de un cuerpo es necesario saber su A. B. C. D.

masa y peso. volumen y forma. masa y longitud. masa y volumen.

68

Pregunta 4 Se debe determinar qué es más y qué es menos denso entre el agua, la leche y el aceite de cocina. De las siguientes posibilidades, la más adecuada para ello es

Usar un reloj que marque Utilizar una regla segundos a fin de  para medir las determinar el tiempo que dimensiones del tarda cada líquido en líquido; a mayor  vertirse de un recipiente. volumen mayor  Entre mayor tiempo mayor  densidad densidad

Emplear una esfera de caucho hueca que flota en estos líquidos. A mayor densidad de estos líquidos, menos se hunde.

Pesar diferentes cantidades de líquidos con una misma  balanza. A mayor peso mayor densidad.

5.4 Juicio de expertos y armada de prueba Las preguntas construidas y aprobadas deben responder a un propósito y a una estructura de prueba, conforman una unidad, puesto que cada pregunta aporta la intensión evaluativa fijada desde el momento en que se requiere construir el instrumento. La organización de las preguntas en una prueba se denomina armado de prueba y como resultado se obtiene el instrumento de evaluación. Un ejercicio que se realiza una vez construidas todas las preguntas que conforman una prueba es una revisión y discusión por un equipo externo al grupo de construcción. Esta actividad se denomina juicio de expertos y es un procedimiento a través del cual un equipo de personas expertos en la disciplina y con basta experiencia en evaluación, califican los ítems de un instrumento, a la luz de las consideraciones del marco de fundamentación conceptual. Esta calificación incluye la coherencia del ítem con los propósitos de la evaluación y de su pertinencia con la estructura de prueba. Los expertos valoran el nivel de dificultad de la pregunta, su claridad y dan sugerencias para su afinamiento. El fin de este proceso es asegurar la calidad del instrumento de evaluación.

Taller 3 1.

Teniendo en cuenta las reglas generales, las reglas para los enunciados y las reglas para las opciones de respuesta presentadas, realizar una revisión y ajuste de las preguntas construidas en el taller 1. El ajuste se debe realizar de manera individual. Use los criterios de la lista de chequeo anterior.

2.

En grupos de 5 personas realizar una revisión y ajuste de las preguntas construidas. Esta revisión debe realizarse intercambiando las preguntas y debe incluir, además de una revisión de forma, una revisión conceptual y disciplinar de las exigencias de la pregunta.

3.

Seleccionar 3 preguntas por grupo para socializar.

69