Pruebas Pisa

N Ó I C A C U D E

EDUCACIÓN , Revista Semestral de la Facultad de Educación de la UNMSM

PRUEBAS PISA: NIVELES DE DESEMPEÑO Y CONSTRUCCIÓN DE PREGUNTAS

Luis Piscoya Hermoza

1. I NTRODUCCIÓN

E

n este artículo nos proponemos describir las características de lo que puede denominarse el Proyecto PISA (OECD Programme for International Student Assessment) que constituye el esfuerzo de mayor envergadura y complejidad, dentro de la comunidad internacional, para medir los conocimientos y habilidades de los escolares de 15 y 16 años, en términos que permitan la comparación fiable de los puntajes obtenidos, por muestras tomadas en los centros educativos, de una pluralidad de países instalados en diversas culturas. Creemos que una presentación, aunque sea preliminar, de los alcances del proyecto PISA es importante no sólo por su envergadura envergadura y generalidad sino, principalmente, por las peculiaridades que caracterizan a su concepción de la medición de la calidad de los servicios que ofrecen los sistemas educativos en actual vigencia, la misma que está ligada a las más avanzadas ciencias y tecnologías de la educación y a una comprensión explícita del rol central que debe cumplir la educación en cualquier proyecto social orientado por una visión de futuro racionalmente fundada. El contexto dentro del cual deben entenderse los objetivos sociales y educacionales del proyecto PISA es, en medida significativa, extraño a la realidad educacional de nuestro país. En efecto, han transcurrido ya aproximadamente 40 años desde que países vecinos como Chile, Colombia y Brasil establecieron sistemas de pruebas nacionales con la finalidad de medir anualmente los rendimientos escolares en el nivel de la educación básica, a fin de contar con indicadores de la calidad de los aprendizajes producidos por los sistemas educativos como justificación del gasto público que realizan los estados en infraestructura, equipamiento, sueldos de los docentes y materiales educativos, con cargo a los impuestos que pagan los miembros de la comunidad nacional. Sin embargo en el Perú, salvo el caso de las denominadas pruebas de madurez mental que tuvieron vida efímera en la década de 1950, no ha existido proyecto alguno para la aplicación cíclica de pruebas nacionales a los escolares del nivel de educación básica, pese a que el desarrollo científico y tecnológico en la materia ha sido notable y a que el perfeccionamiento y abaratamiento de los equipos informáticos ha sido creciente, lo cual ha facilitado que los sistemas de pruebas nacionales sean de uso generalizado en la región, en Europa y en amplios sectores asiáticos, encontrándonos entre las pocas excepciones. La difusión de las pruebas nacionales y de las internacionales en América Latina ha sido una consecuencia de la influencia de las aplicaciones educacionales de la psicometría a través del Educational Testing Service de New Jersey. Esta institución desarrolló una metodología para la elaboración de pruebas de selección múltiple, de calificación automática y de aplicación masiva, entre las que destaca el SAT (Scholastic Aptitud Test) que es el instrumento de selección de postulantes que usan hasta la fecha la mayor parte de las universidades norteamericanas. Utilizando esta misma metodología se han establecido en América Latina pruebas internacionales, algunas Educación , Año I, N.° 2, diciembre 2004; pp. 21-34

21

N Ó I C A C U D E

PRUEBAS PISA

22

de las cuales tienen su origen en Estados Unidos y Canadá. Entre ellas puede mencionarse a Civic Education Study, IALS (International Adult Literacy Survey), ALL (Adult Literacy and Lifeskills), PIRLS (Progress in International Reading Literacy Study), TIMSS (Third International Mathematics and Science Study) y TIMSS-R, entre otras. Al respecto, debemos señalar que el Perú, con excepción de la prueba LLECE de UNESCO, no ha participado en ninguna de estas pruebas que permiten comparaciones en la región, mientras que Argentina, Colombia, Brasil, Chile, México y, ocasionalmente, Bolivia y Costa Rica registran participaciones reiteradas entre 1991 y el año 2002. Seguramente, lo que singulariza con mayor nitidez y relevancia al Proyecto PISA es su peculiar concepción de la alfabetización que excede en mucho lo que tradicionalmente se ha entendido en castellano al respecto, esto est o es, saber leer, leer, escribir y realizar operaciones aritméticas muy elementales. Normalmente no diríamos, de acuerdo con nuestros estándares, que un alumno al concluir el quinto grado de secundaria está aceptablemente alfabetizado o que es objetivo de la educación secundaria alfabetizar a nuestros escolares que se encuentran entre 15 y 16 años. En nuestro lenguaje decimos que alfabetizamos a quien no ha tenido acceso oportuno al sistema escolar y si lo realizamos con éxito hemos resuelto resuelto una emergencia, pero todavía nos encontramos muy lejos de un mínimo educativo deseable. Por ejemplo, nunca he escuchado que el uso del plano cartesiano o que la solución de ecuaciones de primer grado sean parte de un programa de alfabetización, pero sí del plan de estudios de educación secundaria. En contraposición a lo anterior, lo que podemos denominar el Enfoque PISA (PISA literacy approach) se propone definir cada área de evaluación, esto es matemática, ciencias, comprensión de lectura y solución de problemas no principalmente en términos de capacidades y destrezas minimalistas, sino en términos de los conocimientos y habilidades que se requieren para lograr una participación plena en la cada vez más compleja sociedad del siglo XXI. Este planteamiento,

que es completamente compatible con lo que piensan sobre evaluación de la educación los especialistas respetados por la comunidad académica internacional, evita las discusiones bizantinas de quienes se encuentran enfrascados en debates curriculares hace tres décadas tratando de dirimir devotamente si elaboran el plan de estudios a partir de un listado de objetivos conductuales skinnerianos o de competencias "constructivistas". Esta es la herencia pesada que dejaron, pienso que involuntariamente, los teóricos iniciales del SAT, cuyos planteamientos han sido tergiversados por quienes han pretendido, primero, medir las aptitudes con independencia de los conocimientos y, luego, escribir currículos a partir de competencias y destrezas disolviendo por resolución ministerial las disciplinas científicas. El énfasis del proyecto PISA en tomar en el plano cartesiano como eje X los conocimientos y como eje Y un conjunto de habilidades generales o de desempeños identificables (recuperar información, Interpretar textos, reflexionar y valorar) se manifiesta claramente en el hecho de que cada una de sus etapas ha estado definida por una dimensión del conocimiento o por aquello que lo viabiliza y fortalece. Las pruebas PISA 2000 estuvieron orientadas preferentemente a evaluar la comprensión de lectura pero no en términos de "aprender a leer" sino de "leer para aprender". Así se entiende el sentido instrumental de la lectura, que no se limita al texto literario sino que incorpora de manera equilibrada la lectura de diagramas y curvas en el plano cartesiano, la comprensión de diagramas de flujo, organigramas, mapas, tablas de doble entrada y signos icónicos. Todo ello es parte no sólo de los informes científicos sino también de los administrativos, de los informes periodísticos o de la señalización de las estaciones del Metro que todavía no hay en Lima pero que existe en la mayor parte de las ciudades del planeta que son representativas de la compleja sociedad contemporánea. En armonía con lo expuesto, las pruebas PISA 2003, en las que han participado 40 países, han estado orientadas eminentemente a evaluar matemática y las pruebas PISA 2006, en las que participarán 60 países, privilegiarán la evaluación de las ciencias básicas.


Lo antes dicho prueba suficientemente que el enfoque PISA parte de los conocimientos científicos que constituyen la herramienta de supervivencia, desarrollo y dominio más potente que ha creado la cultura occidental a partir de la racionalidad del pensamiento filosófico griego y de su correspondiente matemática. Desde esta entrada, enraízada en la tradición filosófica y científica, se definen las preguntas de las pruebas en términos de tareas, que miden las habilidades y destrezas necesarias para utilizar la comprensión de lectura como herramienta para aprender e incrementar el conocimiento, y la matemática y las ciencias como herramientas para ser empleadas en el mundo real poniéndolas en funcionamiento funcionamiento en la solución de necesidades presentes presentes y en la previsión de futuras, más que en la elaboración de respuestas exitosas a las preguntas del currículum escolar. De esta manera no se pierde el sentido de la educación en la descomposición artificial y psicologista de competencias en capacidades, destrezas y habilidades que asumidas como funciones o entidades independientes se multiplican en átomos que nada tienen que ver con el carácter estructural e integrador de las producciones científicas. En lugar de ello, los conductores académicos de PISA proponen tareas con temas adecuadamente definidos que se distinguen por su grado de organización organizació n lógica, por la riqueza simbólica del lenguaje utilizado y por el grado en que demandan ejercitar habilidades como intuir, razonar, argumentar, comunicar, modelar y plantear y solucionar problemas. Estos criterios son suficientes para definir operacionalmente, por ejemplo, seis niveles de desempeño en matemática y construir 85 preguntas (tareas) que expresan una meta teórica que no se espera que escolar alguno pueda responder en su totalidad. Estando el presente número de la revista Educación dedicado a la innovación y evaluación pedagógicas, en

lo que sigue procederemos a exponer el aporte de los teóricos de las pruebas PISA en la definición de los niveles de desempeño para la medición de los conocimientos y habilidades que requieren los escolares de 15-16 años para afrontar con éxito los desafíos del futuro. Incluiremos también algunos criterios específicos para orientar la construcción de preguntas, y luego presentaremos como anexo algunos cuadros que muestran los resultados de las pruebas UNESCO 1998-2000, y PISA 2000 y 2003, y sus implicancias. El Perú sólo participó en las dos primeras con resultados extremadamente deficientes que no han recibido hasta la fecha la atención que merecen de los responsables de la conducción y administración de nuestro preocupante sistema educativo. En la medida que consideramos que los referidos cuadros hablan por sí mismos, hemos omitido, esta vez, comentario alguno para dejar la tarea de reflexión y enjuiciamiento completamente a cargo del lector.

2. PRUEBAS DE COMPRENSIÓN DE LECTURA

2.1. Niveles de Desempeño Las pruebas PISA de comprensión de lectura se proponen medir cinco niveles de desempeño, en sentido decreciente, del más complejo al más simple, los mismos que combinan en diversos grados de complejidad las siguientes habilidades: a) recuperación de información; b) interpretación de textos; y c) razonamiento y evaluación. A continuación, presentamos un cuadro que es, en lo principal, una versión castellana del autor de este artículo del cuadro que se encuentra en el capítulo II, página 42 del informe PISA 2000.

23

N Ó I C A C U D E

PRUEBAS PISA

NIVELES DE DESEMPEÑO DE LAS PRUEBAS PISA 2000 DE COMPRENSIÓN DE LECTURA

Habilidades Niveles

5.º

4.º

3.º

2.º

1.º

24

Recuperación de información

Interpretación de textos

Razonamiento y Razonamiento evaluación

Localiza y p osib osiblemente lemente s ecu ecuenencia o combina múltiples piezas con información implícita, parte de la c ua uall p ue uede de encontrarse e ncontrarse fuera del cuerpo principal del texto. Infiere qué información del texto es relevante para la tarea. Trata con inf orm ormación ación altam altamente ente p lausible o con alternativas en conflicto.

Construye el significado de un lenguaje con matices sutiles o demuestra demuestr a una comp compre re nsió nsión n ple ple-na y detallada detallad a de un text text o.

Evalúa c ríticamente o hipotetiza recurriendo a conocimiento especializado ci alizado maneja concepto conceptos s poco comunes y muestra una comprensión profunda de textos largos o complejo complejos. s.

Localiza y p osib osiblemente lemente s ecu ecuenencia o combina múltiples piezas con información, cada una u na de las as cuales puede incluir criterios diversos dentro de un texto con forma o contex contex to poco poco común. Infiere qué información del texto es relevante para la tarea.

Hace inferencias en base a un texto complejo para comprender y aplicar categorías en un contexto poco común y para construir el significado de un se gme gmento nto d el texto teniendo en cuenta el text text o como un todo. Trata con amb igüedades, ideas poco comunes e ideas expresadas pre sadas negativame negativamente nte .

Usa conocimiento público o formal p ara hipotetizar hipotetizar sobr sobre e un texto o evaluarlo crítica mente. Muestra comprensión cuidadosa de un texto largo o complejo.

Localiza y en algunos casos reconoce las relaciones entre piezas de información, información, ca da una de las cuales puede incluir u na diverdiversidad de criterios. Trata con información alter alternativa. nativa.

Integra varias partes de un texto para identificar la idea principal, comprende una relación o construy e el signi ficado de una palabra o frase. Compara, contrasta o categ oriza t en enie ie ndo en cuenta varios criterios. Trata con información alt ernativ a.

Hace c on onexiones exiones o comp comparacioaraciones, da explicaciones o evalúa una característica de un texto. Demuestra una comprensión detallada detalla da del t ext exto o co n respecto al conocimiento cotidiano o recurre al conocimiento menos común.

Localiza una o más piezas de información forma ción cada u na de las cuale s puede incluir diverso s crit crit eri erios. os. Trata con información alternativa.

Identifica la idea principal de un t ext exto, o, comprende relaciones, const ruye o ap aplica lica categorías simples simples o construye el signific signific ad ado o d e una par par te limitada de texto que contiene información no-obvia y que requiere refe rentes de ba bajo jo nivel.

Hace c omp omparac araciones iones o c on onexioexiones entre el texto y el conocimiento e xt erior al mismo o expli explica ca una c aracterística del texto recurriendo a la experiencia personal y a actit actit udes.

Localiza una o más piezas independientes pend ientes co n información explícita que satisface típicamente un solo criterio, con escasa o ninguna información en conflicto.

Reconoce el tema principal o el propósito del autor en un texto sobre un tópico familiar cuando la información requerida por el texto es muy visible.

Hace una conexión simple entre el texto y e l conocimiento cotidiano o común.


2.2. Intervalos de los Niveles de Desempeño En el siguiente cuadro detallamos los intervalos correspondientes a cada nivel de desempeño en las pruebas PISA de comprensión de lectura. El 1.º es el nivel de desempeño más bajo considerado dentro de la escala de calificación. Sin embargo, este nivel no corresponde a un estándar mínimo aceptable sino a un estándar mínimo registrado en los países de la OECD, que coincide con el puntaje que corresponde al valor del promedio menos tres desviaciones estándar ( s ). Cabe señalar que los escolares peruanos obtuvieron en promedio, en el año 2001, un puntaje inferior a 335, lo que los ubica en una posición, estadísticamente, bajo 0. ESTÁNDARES DE LAS PRUEBAS PISA POR NIVEL DE DESEMPEÑO EN COMPRENSIÓN DE LECTURA Niveles

Intervalo

5.º 4.º 3.º 2.º 1.º

más de 625 553 - 625 481 - 552 408 - 480 335 - 407

2.3.1. 2.3.1.

2.3.2. 2.3.2.

2.3.3. 2.3.3.

2.3. 2.3.4. 4.

2.3.5. 2.3.5.

2.3. 2.3.6. 6.

2.3. 2.3. Naturaleza Naturaleza de las Tareas o Preguntas de Comprensión de Lectura

2.3.7. 2.3.7.

El contenido de las tareas expresada por las preguntas ha sido clasificado en 31 categorías que presentamos, luego, de mayor a menor orden de complejidad. Asimismo, en la medida que las pruebas PISA de comprensión de lectura han sido estandarizadas, después de detallar el contenido de las preguntas propias de cada categoría, hemos añadido entre paréntesis el puntaje estándar que con una probabilidad de 0.62 alcanzaría el estudiante capaz de contestar la pregunta correspondiente a dicha categoría. Naturalmente, para este estudiante la probabilidad de contestar preguntas correspondiente a estándares menores al de la pregunta de referencia es mayor que 0.62.

2.3. 2.3.8. 8.

2.3.9. 2.3.9. 2.3.10. 2.3.10. 2.3.11.

2.3.12.

Manejo Manejo de hipó hipótes tesis is acer acerca ca de de un fenóme fenómeno no inesperado teniendo en cuenta conocimientos externos al texto y toda la información relevante relevant e contenida en un cuadro complejo sobre un tópico relativamente no familiar (puntaje aproximado: 822). Análi Análisis sis de vario varioss casos casos descrit descritos os asociá asociándo ndolos los a las categorías presentadas en un diagrama de árbol en el que parte de la información relevante se encuentra en notas a pie de páginas (puntaje aproximado: 727). Manejo Manejo de de hipóte hipótesis sis acer acerca ca de un un fenóm fenómeno eno inesperado tomando en cuenta el conocimiento externo al texto y parte de la información relevante, contenida en un cuadro complejo, sobre un tópico relativamente no familiar (puntaje aproximado: 705). Evalua Evaluació ciónn del episo episodio dio fina finall de una larg largaa narración en relación a un tema implícito (puntaje aproximado: 652). Distingu Distinguir ir matices matices del lenguaje lenguaje en una una nanarración respecto al tema principal, en presencia de ideas en conflicto (puntaje aproximado: 645). Loca Localilizar zar inf infor orma maci ción ón en un un diagrama de árbol usando información contenida en notas de pie de página (puntaje aproximado: 631). Construi Construirr el significa significado do de de una una oraci oración ón relarelacionándolo con un contexto amplio en una narración (puntaje aproximado: 603). Maneja Manejarr hipótes hipótesis is acerc acercaa de una una decisi decisión ón relacionándola relacionándola con la evidencia mostrada en un gráfico para inferir el tema principal de un gráfico múltiple (puntaje aproximado: 600). Compar Comparar ar y evaluar evaluar el estil estiloo de dos dos carta cartass abiertas (puntaje aproximado: 581). Evaluar Evaluar la la parte parte final final de una narraci narración ón en relaci relación ón con la trama (puntaje aproximado: 567). Inferir una relación relación analógica entre dos fenófenómenos discutidos en una carta abierta (puntaje aproximado: 542). Identificar la información información de partida partida implicada por la construcción de un gráfico (puntaje aproximado: 540).

25

N Ó I C A C U D E

PRUEBAS PISA

26

2.3.13. Construi Construirr el significad significadoo de citas cortas cortas de una narración en relación con la atmósfera o situación inmediata (puntaje aproximado: 539). 2.3.14. Conectar Conectar evidenc evidencias ias dadas dadas en una narración narración con conceptos personales para justificar un punto de vista opuesto (puntaje aproximado: 537). 2.3.15. 2.3.15. Explicar Explicar las motivacio motivaciones nes de un personaje personaje vinculándolas a eventos descritos en una narración (puntaje aproximado: 529). 2.3.16. Inferir Inferir la relac relación ión entre entre dos dos gráficos presentados con convenciones diferentes (puntaje aproximado: 508). 2.3.17. Evaluar Evaluar la aplica aplicabilid bilidad ad de un diagrama de árbol para propósitos particulares (puntaje aproximado: 486). 2.3.18. 2.3.18. Localizar Localizar informac información ión numérica numérica en un diagrama de árbol (puntaje aproximado: 485). 2.3. 2.3.19 19.. Conectar la evidencia evidencia descrita en una narración con conceptos personales para justificar un punto de vista particular (puntaje aproximado: 480). 2.3. 2.3.20 20.. Localizar Localizar y combinar información información en un gráfico lineal y luego usarla para inferir un valor numérico desconocido (puntaje aproximado: 478). 2.3.21. 2.3.21. Compren Comprender der la estructu estructura ra de un diagrama de árbol (puntaje aproximado: 477). 2.3.22. 2.3.22. Aparear Aparear categorí categorías as dadas dadas en un un diagrama de árbol para describir casos en situaciones en las que la información relevante está en una nota a pie de página (puntaje aproximado: 473). 47 3). 2.3.23. Interpre Interpretar tar informaci información ón proporcion proporcionada ada en un párrafo para comprender el escenario de una narración (puntaje aproximado: 447). 2.3.24. 2.3.24. Distinguir Distinguir entre variables variables y característi características cas estructurales de un diagrama de árbol (puntaje aproximado: 445). 2.3.25. Identificar los propósitos propósitos de dos textos cortos (puntaje aproximado: 421). 2.3.26. Localizar Localizar las partes partes de de la informació informaciónn implícita implícita en un texto que contiene organizadores fuertes (puntaje aproximado: 405).

2.3.27. Inferi Inferirr la idea prin princip cipal al de un gráfico de barras desde su título (puntaje aproximado: 397). 2.3.28. Localiza Localizarr un fragment fragmentoo de informac información ión literal literal en un texto con estructura clara (puntaje aproximado: 392). 2.3. 2.3.29 29.. Localizar Localizar información explícita en una sección corta, previamente especificada, de una narración (puntaje aproximado: 367). 2.3. 2.3.30 30.. Localizar Localizar un fragmento con información información explícitamente definida en un texto con títulos (puntaje aproximado: 363). 2.3.31. Reconoce Reconocerr el tema de un artícul artículoo que tiene subtítulos claros y redundancia considerable considerable (puntaje aproximado: 356).

3. PRUEBAS PISA DE MATEMÁTICA

3.1. Contenidos y habilidades Las pruebas PISA 2003, como hemos señalado antes han estado destinadas principalmente a medir los conocimientos y habilidades que se expresan a través del concepto de Mathematical Literacy que qu e puede traducirse literalmente al castellano como Alfabetización Matemática pero que, ciertamente, debe entenderse en el contexto que hemos descrito en la Introducción. Estas pruebas estuvieron destinadas a medir el desempeño de los escolares en cuatro áreas: espacio y figura, cambio y relaciones, cantidad e incertidumbre. La primera incluye fenómenos geométricos y espaciales, y propiedades de los objetos. La segunda incluye relaciones entre variables y una comprensión de lo que ellas representan, incluyendo ecuaciones. La tercera incluye fenómenos numéricos, relaciones y modelos cuantitativos. La cuarta explora fenómenos estadísticos y probabilísticos. Como puede observarse, las áreas no están planteadas en el nivel del conocimiento del formalismo matemático sino en el nivel de la identificación y manejo de situaciones problemáticas que se expresan en estados fenoménicos, las mismas que deben ser manejadas utilizando herramientas matemáticas.


Las habilidades requeridas para utilizar los conocimientos incluidos en las cuatro áreas antes mencionadas no se entienden como entidades sino como conjuntos de destrezas que se clasifican en tres conglomerados distinguibles aunque generalmente operen en conjunto. • Habilidades para la reproducción de información. Referentes a la reproducción del conocimiento así como al reconocimiento de tipos de problemas y procesos matemáticos realizando operaciones rutinarias. Estas habilidades se aplican a las tarea más simples. • Habilidades de conexión o ligaduras. Exigen ir mas allá de los problemas de rutina para hacer interpretaciones interpretaciones y vincular situaciones diferentes, pero todo ello en contextos relativamente familiares. Estas habilidades se usan en la solución de problemas de mediana dificultad.

•

Habilidades de razonamiento. Requiere

intuición y razonamiento tanto como creatividad en la identificación de los elementos que constituyen un problema matemático. Estos problemas a menudos son complejos, requieren hacer conexiones y tienden a ser los más difíciles de las pruebas PISA.

3.2.Niveles de desempeño en las pruebas PISA de Matemática La calificación de las prueba PISA de Matemática incluye seis niveles de desempeño, en sentido decreciente, del más complejo al más simple. Cada uno de estos niveles combina por grado de comple jidad cada una de los conjunto de habilidades antes descritos. En lo que sigue presentamos una versión castellana del cuadro contenido en la página 5 del sumario ejecutivo del informe PISA 2003.

NIVELES DE DESEMPEÑO EN LAS PRUEBAS PISA 2003 DE MATEMÁTICA MATEMÁTICA

6

Los estudiantes pueden conceptualizar, generalizar y utilizar información basada en sus investigaciones y el modelamiento de situaciones problemáticas problemáticas complejas. Pueden vincular diferentes diferentes fuentes de información y representaciones y hacer traducciones flexibles entre ellas. Son capaces de alcanzar el razonamiento y el pensamiento matemático avanzado. Aplican la intuición y comprensión acompañadas de un manejo diestro de la relaciones y operaciones matemáticas en el nivel formal y simbólico para desarrollar estrategias y aproximaciones nuevas para manejar situaciones novedosas. Pueden comunicar y formular con precisión sus acciones y razonamientos considerando sus hallazgos, interpretaciones, argumentos, y la adecuación de estos a la situación original.

5

Los estudiantes pueden desarrollar y trabajar con modelos aplicables a situaciones complejas identificando restricciones y especificando presuposiciones. Pueden seleccionar, comparar y evaluar estrategias apropiadas de solución para tratar problemas complejos relativos a estos modelos. Pueden trabajar estratégicamente usando habilidades de razonamiento y de pensamiento bien desarrollado, representaciones adecuadamente vinculadas, caracterizaciones formales y simbólicas e intuiciones propias de las situaciones complejas. Pueden razonar sobre sus acciones y formular y comunicar sus interpretaciones interpretaciones y razonamientos. razonamientos.

4

3

2

1

Los estudiantes pueden trabajar eficientemente con modelos explícitos aplicables a situaciones concretas, pero complejas que pueden incluir restricciones y demandar presuposiciones. Pueden seleccionar e integrar diferentes representaciones, incluyendo las simbólicas, para ligarlas directamente a situaciones problemáticas del mundo real. En este nivel los estudiantes pueden utilizar habilidades bien desarrolladas y razonamiento flexible junto con algunas intuiciones. Pueden construir y comunicar explicaciones y argumentaciones basadas en sus interpretaciones, argumentos y acciones. Los estudiantes pueden ejecutar procedimientos previamente descritos incluyendo aquellos que requiere decisiones secuenciales. Pueden seleccionar y aplicar estrategias simples de solución de problemas. Pueden interpretar y usar representaciones basadas en diferentes fuentes de información y razonar directamente sobre ellas. Pueden desarrollar comunicaciones cortas informando sus interpretaciones, resultados y razonamientos. Los estudiantes pueden interpretar y reconocer situaciones en contextos que requieren sólo inferencias directas. Pueden extraer información relevante de una sola fuente y hacer uso de un modo especifico de elaborar representaciones. Pueden utilizar algoritmos básicos, fórmulas, procedimientos o convenciones. Pueden hacer uso del razonamiento directo y de interpretaciones literales de los resultados. Los estudiantes pueden responder preguntas preguntas dentro de contextos familiares en los que toda la información relevante está presente y las preguntas están claramente definidas. Son capaces de identificar información y de realizar procedimientos rutinarios siguiendo instrucciones directas en situaciones explicitas. Pueden realizar actividades que son obvias y que se siguen inmediatamente del estimulo dado.

27

N Ó I C A C U D E

PRUEBAS PISA

3.3.Puntajes de los Niveles de Desempeño en Matemática

28

El más alto nivel de desempeño se encuentra alrededor de los 750 puntos. Los estudiantes se caracterizan caracterizan por asumir un rol activo y creativo en su enfoque de los problemas matemáticos. Interpretan y formulan los problemas en términos matemáticos. Manejan información más compleja y ensayan un número de pasos de proceso. En este nivel identifican y aplican herramientas relevantes y conocimientos, con frecuencia, a un contexto problemáti co no familiar. familiar. Usan la intuición para identificar un método adecuado para encontrar la solución y muestran dominio de procesos cognitivos de orden superior tales como generalización, razonamiento y argumentación para explicar y comunicar resultados. Alrededor de los 570 puntos de la escala los estudiantes son capaces normalmente de interpretar ligar e integrar diferentes representaciones de un problema o diferentes piezas de información. Usan y manipulan un modelo dado incluyendo a menudo álgebra u otras representaciones simbólicas. Verifican y registran proposiciones o modelos dados. El trabajo típico de estos estudiantes se realiza a través de estrategias, modelos o proposiciones dadas, por ejemplo, a través del reconocimiento y extrapolación a partir de un modelo. Seleccionan y aplican conocimientos matemáticos relevantes, para solucionar un problema, que pueden incluir un pequeño número de pasos de proceso. El más bajo nivel de la escala se encuentra alrededor de los 380 puntos. Los estudiantes usualmente son capaces de completar un procedimiento de pasos simples consistente en reproducir hechos matemáticos básicos o procesos, o son capaces de aplicar habilidades computacionales simples. Normalmente reconocen información a partir de un diagrama o de un texto que es familiar y simple, en el cual se proporciona la formulación matemática o se la facilita visiblemente. Cualquier interpretación o razonamiento típico de este nivel incluye el reconocimiento de un elemento simple y familiar de un problema dado. La solución demanda la aplicación de un procedimiento rutinario consistente en un procedimiento de pasos simples.

En este caso no es posible incluir un cuadro distinguiendo niveles con estándares mínimos debido a que las pruebas PISA-2000 en el área de matemática no han sido estandarizadas y sólo se dispone de información detallada reciente de PISA-2003 que será materia de un próximo artículo. En cuanto a los resultados de las pruebas PISA-2000 de Matemática, podemos señalar que en los países de la OECD y sus socios los estudiantes ubicados en el 5% superior obtuvieron un promedio de 655 puntos. Sin Sin embargo, los países ubicados en las posiciones superiores de este 5% tuvieron puntajes promedio mayores que 680 puntos. En esta situación se encuentra Hong KongChina, Japón, Nueva Zelandia y Suiza. En el nivel inferior de la escala se encuentra que el 75% de los estudiantes de los países de la OECD lograron al menos 435 puntos y más del 95% de estos países alcanzó 326 puntos. En esta pruebas la muestra de escolares peruanos alcanzó 292 puntos, esto es, 34 puntos menos que el puntaje más bajo registrado en los países de la OECD y 42 puntos menos que el promedio de Brasil que que se ubicó en el penúltimo lugar entre los 41 países registrados como participantes en las pruebas Pisa.

3.4. 3.4 . Criterios para la construcción construcción de de preguntas o tareas de Matemáticas Como regla general de construcción de ítems en esta área, se puede señalar que una pregunta de matemática es buena si el hecho de contar con una calculadora de mano o con una computadora no otorga al sujeto examinado ventaja significativa para responderla correctamente. Las tareas más simples requieren conectar e integrar material. Exigen al estudiante aplicar una representación simple o una técnica aplicable a una pieza simple de información. Las tareas menos simples requieren que el estudiante integre más de una pieza de información usando diferentes representaciones, o diferentes herramientas matemáticas, o conocimientos en una secuencia simple de pasos. Hay tareas que requieren representar e interpretar un material para razonar sobre la situación y los


métodos. Tales tareas varían en un rango que va desde el reconocimiento de una fórmula usual a la formulación, traducción o creación de un modelo adecuado dentro de un contexto inusual y demandan el uso de la intuición, i ntuición, el razonamiento y la generalización.

4 . LAS PRUEBAS PISA 2000 DE CIENCIAS La evaluación focalizada en las ciencias, como hemos señalado antes, está programada para el año 2006. Sin embargo, en el año 2000 y en el año 2003 se ha evaluado este ámbito pero no con la suficiente amplitud e intensidad, razón por la que la información disponible no es particularmente detallada. Empero, revisando lo realizado en las dos oportunidades anteriores se aprecia que las pruebas incidieron en el uso del conocimiento científico-empírico o científico-factual en el manejo de situación reales poniendo énfasis en la lógica de la identificación planteamiento y solución de problemas. En general, la comprensión de lenguaje de las ciencias naturales y de la ciencias sociales se mide a través de la presencia de las siguientes habilidades: • Compre Comprensi nsión ón de concep conceptos tos científ científico icos. s. • Capaci Capacidad dad para para reco reconoc nocer er pregu pregunta ntass científ científiicas relevantes. • Identi Identific ficaci ación ón de los los proce procesos sos que que la inves investig tigaación científica implica. • Capaci Capacidad dad para para relaci relaciona onarr evidenc evidencias ias fácti fácticas cas con hipótesis y conclusiones. • Capac Capacida idadd para para comuni comunicar car con con clari clarida dadd y precisión procesos y resultados científicos. • Capaci Capacidad dad para para usar usar conc concept eptos os cient científi íficos cos de de alto nivel de abstracción o cadenas lógicas de razonamientos. • Conoci Conocimie miento nto y manej manejoo de modelo modeloss concep conceptua tuales les simples y de modelos de análisis de datos para ensayar enfoques alternativos.

4.1.Niveles de desempeño y puntajes en las pruebas de ciencias El más alto nivel de desempeño en la comprensión y manejo de lenguaje científico (aproximadamente 690 puntos) se manifiesta en el hecho de que los estudiantes son generalmente capaces de crear o usar modelos conceptuales conceptuales para para hacer predicciones o dar explicaciones. Analizan la investigación científica para comprender, por ejemplo, el diseño de un experimento o para identificar la idea o hipótesis que está siendo sometida a prueba. Comparan datos para evaluar puntos de vista alternativos o perspectivas diferentes. Comunican argumentos científicos y proporcionan descripciones detalladas y precisas. Los estudiantes que alcanzan aproximadamente 550 puntos son normalmente capaces de usar conceptos científicos para hacer predicciones o explicaciones. explicaciones. Reconocen preguntas que pueden ser respondidas por la investigación científica y/o identifican detalles acerca de aquello que implica la investigación científica. Seleccionan información relevante a partir de datos en competencias y de cadenas de razonamiento esquematizadas en gráficos o evaluando conclusiones. El tercer nivel de la escala, aproximadamente 400 puntos, se manifiesta en que los estudiantes son capaces de recordar información científica factual simple (nombres, hechos, terminología, reglas simples) y usan el conocimiento científico común para derivar conclusiones o evaluaciones. Las pruebas PISA en esta área tampoco han sido estandarizadas. La información disponible sobre los países de la OECD revela que el 5% superior superior tuvo un promedio de 657 puntos, el 10% superior alcanzó un promedio de 627 puntos y el 25% superior superior logró un promedio de 572 puntos. En el extremo de menor rendimiento se registra que más del 75% de los países OECD alcanzó al menos 432 puntos, más del 90% alcanzó 368 puntos y más del 95% 332 puntos.

29

N Ó I C A C U D E

PRUEBAS PISA

Entre los países que no son miembros de la OECD, han tenido un desempeño destacado Hong Kong China cuyos promedios han sido de 671, 645, 448, 426 y 391 puntos para los percentiles 95º, 90º, 25º, 10º y 5º, respectivamente. Claramente estos indicadores estadísticos revelan rendimientos más altos que los de los países de la OECD. Japón y Corea, considerando sólo los promedios, han mostrado rendimientos aún más altos que Hong Kong-China. Los escolares peruanos en esta área obtuvieron un puntaje promedio de 333, esto es, 42 puntos menos que Brasil que se ubica en el penúltimo lugar de los

30

41 países que participaron participar on en PISA 2000 y 167 puntos por debajo del promedio de los países de la OECD.

BIBLIOGRAFÍA UNESCO, OECD (2003). Literacy Skills for the World of Tomorrow - Further Results from PISA 2000. 389 p. OECD, PISA (2004). First Results from PISA 2003 Executive Summary. 37 p. OECD, PISA (2004). Learning for Tomorrows's World, First Results from PISA 2003. 471 p.


CUADROS ANEXOS CUADRO 1 UNESCO 1998-2000

GRADIENTES SOCIOCUL SOCIOCU LTURALES POR RENDIMIENTO EN LENGUAJE POR PAÍS

CUADRO 2 UNESCO 1998-2000

GRADIENTES SOCIOCULTURALES POR RENDIMIENTO EN MATEMÁTICA POR PAÍS PAÍS

31

N Ó I C A C U D E

PRUEBAS PISA

CUADRO 3

Resultados de PISA-OCDE PISA-OCDE 2 000.2002 Posición

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41

Japón Hong Hong Kong Corea Finlandia Canadá Canadá Nueva Nueva Zelanda Australia Reino Unido Irlanda Austria Suecia Bélgica Francia Suiza Suiza Islandia Noruega Rep. Rep. Checa Estados Uni Un idos dos Dinamarca Liec Liec htenst htenstein ein Hungr Hungr ía Alemania España Polonia Italia Fed. Rusa Portugal Grecia Latvia Luxemburgo Luxemburgo Israel Bulgaria Tailandia México Chile Argentina Macedoni Macedoniaa Indonesia Indonesia Albania Brasil Perú Perú

Lectura

Ma temáticas temáticas

Cienci a

L+M+ C

522 525 525 546 534 529 528 523 527 507 516 507 505 494 507 505 492 504 497 483 480 484 493 479 487 462 470 474 458 441 452 430 431 422 410 418 373 371 349 396 327

557 560 547 536 533 537 533 529 503 515 510 520 517 529 514 499 498 493 514 514 488 490 476 470 457 478 454 447 463 446 433 430 432 387 384 388 381 367 381 334 292

550 541 552 538 529 528 528 532 513 519 512 496 500 496 496 500 511 499 481 476 496 487 491 483 478 460 459 461 460 443 434 448 436 422 415 396 401 393 376 375 333

1629 1629 1626 1626 1624 1624 1620 1620 1596 1596 1594 1594 1589 1589 1584 1584 1543 1543 1541 1541 1538 1538 1523 1523 1522 1522 1519 1519 1517 1517 1504 1504 1501 1501 1496 1496 1492 1492 1473 1473 1464 1464 1461 1461 1460 1460 1432 1432 1422 1422 1400 1400 1383 1383 1382 1382 1381 1381 1330 1330 1319 1319 1308 1308 1299 1299 1231 1231 1209 1209 1202 1202 1155 1155 1131 1131 1106 1106 1105 1105 952

Fuente: OECD (20 ( 2003) 03) PISA, Litera Li teracc y Skills Skills for the Wo rld of Tomorrow, Furthern Results. Results. From PISA 2000. Paris, Paris, France. F rance. Tabla 3.3, p.287. p.287.

32


CUADRO 4

Rendimiento de los estudiantes en lectura combinada, ciencias y matemática en la escala PISA vs. ingreso nacional

1. Dólares USA convertidos a dólares PPPs (paridad del poder de compra). 2. Sólo instituciones públicas. 3. Año de referencia: 1998. 4. Año de referencia: 2000. 5. Sólo instituciones públicas y privadas independientes. Fuente: OECD (2003c) para los países de la OECD. Y para los países que no son de la OECD la fuente ha sido el Banco Mundial.

Traducción del autor

33

N Ó I C A C U D E

PRUEBAS PISA

CUADRO 5

PISA-2003 Rendimiento promedio en la escala PISA de matemática Va ri ación de las posiciones en el R anking* Ranking para países de la OECD

e t n D e C m E a O c i t e s d í d i o a t s d e e m o i o d r p e l m e o e r r p b n o u s n o v o i c t a s i c e i f s n í g a i P s

Países con un Promedio estadísticamente semejante al de OECD

e t n e m a c i t D s í d C a E t O s e e o d i o d j e a b m e o d r p r n o u p n o v o i c t a s i c e i f s n í g a i P s

Ranking incluyendo países que no pertenecen a la OECD Posición Máxima Posición Posi ción Mínima — 1 1 4 1 5 2 7 — 2 3 10 5 9 5 10 — 6 6 12 9 12 9 13 12 17 13 16 13 17 14 18 15 19

Posición Posi ción Máxima 1 1 1 2 4 4 4 7 7 9 10 10 11 12

Posición Posi ción Mínima — 3 4 5 — 7 7 8 — 9 9 10 14 13 14 15 16

Austria Au stria

13

18

16

20

Alemania Alemania Irlanda Irland a

14 15

18 18

17 17

21 21

República Esl República Eslovaca ovaca Noruega Noru ega Luxemburgo Luxe mburgo Polonia Polo nia Hungría Españ Esp aña a Latvia Estados Esta dos Unidos Federación Fede ración R usa Portugal Portu gal Italia Ital ia Grecia Grec ia Servia Turquía Turq uía Uruguay Tailandia México Indonesia Túnez Brasil

16 18 19 19 19 22 22 25 25 27 28 29

21 21 21 23 23 24

19 21 22 22 22 25

24 24 24 26 27 28 25 28 29 31 31 33 32 36 34 34 37 38 38 38

Hong Kong-China Finlandia Finl andia Corea Cor ea Noruega Noru ega Liechtenstein Japón Jap ón Canadá Canad á Bélgica Bélg ica Macao-China Suiza Su iza Australia Aust ralia Nueva Zeland Zelanda a República Repúb lica Checa Islandia Island ia Dinamarca Din amarca Francia Franci a Suecia Suec ia

—

— 24

—

25 —

26 26 27 —

29 29 32 —

28 — —

33 — —

29 — — —

37 — — —

* Nota: Debido a que la información se ha recogido por muestreo no es posible precisar una posición exacta de los países en el ranking. Sólo ha sido posible precisar para cada país su posición máxima y mínima con un 0.95 de probabilidad.

34

3

9

12

28 31

34 36 36 40 40 40

Pruebas Pisa

Recommend Documents