La Evaluación Educativa, Su Práctica y Otras Metáforas

La evaluación educativa, su práctica y otras metáforas

Joan Mateo Andrés

ICE - HORSORI

Universitat de Barcelona

Versión en español publicada por: © I.C.E. Universitat Barcelona - © Editorial Horsori, Barcelona, España, 2000 De la obra titulada: La evaluación educativa. su práctica y otros metáforas Creada por: loan Mateo Andrés Todos los derechos reservados en lengua española

Contenido

Adaptado por: Alfaomega Grupo Editor, S.A. de c.v. Copyright © 2005 Alfaomega Grupo Editor, SA de C.v. Pilágoras 1139, Col. Del Valle, 03100 México, D.E www.atfaornega.com.mx

Revisión de contenido: Luis Bretel B.

Diagramación: Marybel Carvajal Diseño: José Antonio Mesones

Copyright © 2006, derechos cedidos para esta edición a Laucats S.A. Primera edición, 2006 Tiraje de esta edición: 28,000 ejemplares

La presente edición se terminó de imprimir en noviembre del 2006 en los talleres gráficos de Empresa Editora El Comercio, S.\. Ubicados en: Juan del Mary Bernedo 1318 Chacra Ríos Sur Lima 1, Perú

[SBN: 978-970-[5-1409-2

PRÓLOGO (DR. JESÚS GARANTO ALÓS) _ LA EVALUACIÓN EDUCATIVA, SU PRACTICA Y OTRAS METÁFORAS NOTA DEL AUTOR

. .

Il 17

1. LA EVALUACIÓN EDUCATIVA 1.1. Naturaleza de la evaluación 1.2. Historia y desarrollo de la evaluación 1.3. Perspectiva funcional de la evaluación 1.4. Componentes del modelo evaluativo 1.5. La metaevaluación 1.6. Algunos tópicos de interés 1.7. Ámbitos básicos de la evaluación educativa Bibliografía

.. . . . . . . .. ..

21 21 24 36 39 41 43 48 55

2. LA EVALUACIÓN DEL APRENDIZAJE . DE LOS ALUMNOS 2.1. Cambios fundamentales en la evaluación de los aprendizajes del alumnado .. 2.2. Los retos de la reconceptualizacién de la evaluación de los aprendizajes , . 2.3. Modelos de evaluación de [os aprendizajes .. 2.4. El proceso evaluativo . 2.5. Procedimientos tradicionales de evaluación de los aprendizajes . 2.6. Procedimientos mixtos de evaluación de los aprendizajes : .. 2.7. Procedimientos alternativos de evaluación de los aprendizajes 2.8. Evaluación de referencia normativa y evaluación de referencia criterial .. 2.9. A modo de conclusión , 90 Bibliografía 92

57 57 61 65 68 72 81 85

88

6

3. LA EVAL UACIÓ N DEL PROFE SORAD O. HACIA UN MODE LO COMP RENSI VO DE EVAL UACIÓ N SISTE MÁTIC A DE LA DOCENCIA.............................................. 95 3.1. Introd ucción , 95 3.2. Aspectos previos a la elaboración de un sistema de evaluación del profesorado 96 3.3. Fases en el diseño de un sistema de evaluación del profesorado.......................................................................... 102 3.4. Evalua ción y desarrollo profesional..........................................

123 Bibliog rafía 124

l ,

1

¡ , JI I

4. LA EVAL UACIÓ N DEL CURR ÍCULU M 4.1. Introducción 4.2. El currícu lum 4.3. La evaluación del currículum. Naturaleza e importancia 4.4. La evaluación del currículum y su pertinencia 4.5. Aproxi macion es evaluativas a la realidad educativa 4.6. Model os de evaluación de programas 4.7. El proceso evaluativo 4.8. La evaluación del currículum como actividad cooperativa Bibliog rafía 5.

LA EVAL UACIÓ N DE CENTR OS 5.1. El centro como unidad clave de la nueva arquite ctura organizativa de la educación 5.2. Los centros educativos. naturaleza 5.3. La calidad educati va 5.4. Factores asociad os a la calidad 5.5. Indicadores y evaluación de la calidad educati va 5.6. Enfoqu es evaluativos 5.7. Orienta ciones en la evaluación de centros 5.8 Modelo s evaluativos institucionalizados 5.9. El proceso evaluat ivo 5.10. Alguno s elementos para la reflexión y el debate 5.11. A modo de síntesis Bibliog raña

6. LA EVAL UACIÓ N INSTIT UCION AL y LA GESTI ÓN DE LA CALID AD EN LAS UNIVE RSIDA DES 6.1. Los nuevos retos de la educación superior 6.2. Las universidades en europa. factores comun es 6.3. La evaluación en europa. tendencias y desarrollo 6.4. La evaluación institucional en la educación superior: un modelo compre nsivo y una nueva referen cia

129 129 130

¡

1.32 1.33 lJ8 144 156 159 163 165 165 166 169 170 173 175 177 lH2 lH9 1')3 llJ8 2()0

203 203 211 2] 3 216

7

\

\

I I

\ 1

6.5. Experiencias en el ámbito de la evaluación institucional 6.6. Organismos .estrarégicos dinamlzadores de los planes de evaluac ión

6.7. El modelo evaluativo adoptado en españa 6.8. La evaluación institucional y la mejora de la calidad 6.9. Evaluación y acreditación: un terna a debate en el espacio europeo de educación superior 6.10. Recomendaciones del consejo de europa para la garantía de la calidad de la educación superior 6.11. Como resumen Y cierre Bibliografía 7. LA EVAL UACIÓ N DE LOS SISTE MAS EDUC ATIVO S 7.1. La educación y la nueva sociedad del conocimiento. El contexto social 7.2. Los nuevos retos de la educac ión 7.3. La evaluación educativa como exigen cia social : 7.4. Principios generales del nueva paradig ma organízatívo de la educación 7.5. Ámbitos de decisión en la evaluación del sistema educativo 7. 6. Componentes básicos para la evaluación de los sistemas educativos 7.7. Los órganos institucionales para la evaluación de los sistemas educativos y sus actividades estratégicas más habituales 7.8. Opciones de futuro para la evaluación del sistema educativo 7.9. A modo de resumen Bibliog raña

. 217 . .. ..

. 231 .. 23:

.. 23~ " . 23'. . 23' . 23' .. 24 .. 24: . 24: .. 24' 25' 25, . 26 . 27 . 27

A Xavier

Prólogo La evaluación educativa, su práctica y otras metáforas

Si siempre resulta arriesgado lanzarse a la aventura de prologar lo que durante largo tiempo ha sido trabajo intelectual y profesional de quien lo solicita, en este caso no sólo lo es sino que también resulta un atrevimiento por mi parte que, por supuesto, acepto con sumo agra­ do, pero con una gran dosis de timidez y humildad, máxime des­ pués de haber leído con gran aprovechamiento y satisfacción el contenido del libro que ahora, lector, tienes en tus manos. y acepto por un doble motivo:

1. Este libro es un valioso compendio acerca de la evaluación fruto del trabajo intelectual, docente y profesional de quien puede considerarse, sin lugar a dudas, uno de los especialistas más prestigiosos del tema tanto en el contexto europeo como latinoamericano. Valioso ya que es fruto no de la improvisa­ ción, sino de una profunda, exhaustiva, rica y sugerente re­ flexión y aplicación de sus contenidos a lo largo de muchos años y en contextos y realidades muy diversas. Compendio de contenidos, por otra parte, en los que el autor aborda las distin­ tas realidades educativas objeto de evaluación de una forma magistral y en un lenguaje asequible para cualquier profesio­ nal de la educación interesado en la temática Ca ello nos tiene acostumbrados tanto en sus escritos como en sus ponencias, conferencias y docencia universitaria).

13

Es un libro del que estába mos necesi tados y que mucho s está­ bamos espera ndo desde hace tiemp o que pasa revista, no de maner a frívola sino en profun didad y sin prisas, a los tópico s y ámbito s más signifi cativo s de la evalua ción educat iva y nos plante a el reto perma ­ nente de tener que pasar" de las musas al teatro" (tarea "engre scador a") los conten idos y propue stas en él formu ladas. Libro, desde hace tiempo anunciado para forma r parte de la Colec­ ción de Cuadernos de Educación que prestig ia a la misma así como al resto de colecciones del amplio fondo editorial del Instituto de Cien­ cias de la Educa ción de la Univer sidad de Barcel ona y honra a quie­ nes, como yo, ejercem os en este momento la direcc ión de dicho Institu to. 2. Acept ar prolog ar el libro del profes or Joan Mateo es posibl e­ mente hacerl e un flaco favor por la posibl e incom petenc ia e insign ificanc ia del prolog uista ya que muy bien hubier a podi­ do formu lar tal deman da a prestig iosos entend idos en la mate­ ria que hubier an sabido "escrib ir en favor (proferni)" del lago -de la palabr a, de lo escrito - con mayor conoci miento de cau­ sa y, por lo tanto, dando una mayor releva ncia a la obra. Por ello, es ésta una dema nda que me honra y enorgu llece, máxi­ me cuand o los futuro s lectore s sólo podrán decir de la misma , de su conten ido que parabi enes ya que el deleite y aprove cha­ miento de su lectura DO les dejará otra alternativa. S6lo desde la amista d me atrevo a presen tar la que creo será una de esas obras que tiene el éxito editor ial garant izado por el conoc imien­ to prestig ioso del autor sobre el tema, por ser el tema de rabios ay perma nente actual idad y por las aporta ciones que tan magis tral­ mente formu la. Estoy conven cido que nadie tras su lectura podrá ha­ cer suyo y en relaci6 n con el conten ido del libro aquel dicho latino de par~riebant montes et nascitur ridiculus mus (que traducido para la ocasión y de forma totalm ente libre muy bien podría ser aquella otra expresión castell ana del "tamp oco hay para tanto") . A buen seguro que los conten idos evaluativos abordados en el libro responderán a las necesi dades e inquietudes profesionales de quiene s están, c~mo tú lector, interes ados por la temática. Seguro que el apro­ vecham iento por la lectura de cuanto a contin uaci6n se expon e será 6ptimo y podrá ser justam ente apreciado y agradecido. Parece como si la evalua ción se hubiera colado de rondón e instala­ do definitivamente en la cotidianeidad de la vida del ser human o siendo una de sus actividades habituales. Aunqu e nos parezc a extraño en la

vida cotidia na estamos permanentemente evalua ndo sean cuales sean las circunstancias, realidades, experiencias, relacio nes en las que nos encontramos: la calidad del aire, los sabore s de una determ inada comi­ da, el aspecto estétic o de un cuadro o un parque , la bellez a de las muje­ res o de los hombr es, la maner a de compo rtarse en una determ inada situaci6n, los valores explicitados o no ante determ inadas realidades, el trabajo realizado, los aprendizajes asumidos. Ningú n fenóm eno ni ac­ tivida d huma na escapa a Ia evalua ción sea ésta realizada desde la espontaneidad, la ímprovísacíén, las primer as impres iones que propor ­ cionan una idea aproxi mada (sin haber decidido previa mente evalua ry de forma absolutamente inconsciente) hasta una evalua ción formal, ri­ gurosa, científica que nos aproxima a un conoci miento más objeti vo de la realida d evalua da. Evalu ar es, ante todo y en prime r lugar, aprec iar, establ ecer el valor de un objeto , un servic io, una acción o como el propio Joan Mateo dice es un proces o de-rec ogida y análisi s de inform ación rele­ vante con el fin de describ ir cualqu ier realida d educat iva de maner a que facilite la formu lación de juicios sobre la adecua ci6n a un patrón o criteri o de calida d debati do previa mente , como base para la toma de decisiones. Así entend ida se presen ta como un mecan ismo regula dor para poder describ ir, valora r y reorien tar la acción de los a?ente s que operan en el marco de una realida d educat iva especí fica. Slen~o tam­ bién la evalua ción un proces o genera dor de cultur a evalua tiva que implic a ofrece r vision es y análisi s no simpli ficado ras de las realida ­ des educat ivas, interpr etar la inform ación desde todos los punto~ de vista de los agente s implic ados, estable cer diálog os en profun.~d entre las partes, ejerce r una acción crítica , buscar el consen so, d~sena r alterna tivas de acción , tomar decisio nes y establ ecer compr omiso s. Aunqu e en ocasio nes la evalua ción puede ser fugaz. ~ sin conse­ cuenci as, las más de las veces condu ce a la toma de deCISIones y a la acción ; es decir, que la evalua ci6n inspira , orient a y condic iona de alguna maner a la acci6n y las condu ctas. . Podem os decir con Claud e Thélo t (antig uo respon sable de la D1­ recció n de Evalua ción y Prospe ctiva del Minist erio francé s de Educa ­ ción Nacion al) que:

•

la evalua ci6n facilita eleme ntos a la reflexi ón. de cada actor (alumn os, enseña ntes, admin istrado res, admin istraci 6n .) so­ bre el estado del sistem a en el que trabaja e indirec tamen te .sobre la propia acción en el seno del sistem a,

14

15

•

mediante el método comparativo, podemos provocar una me­ jor comprensión, una visión más ajustada a los problemas de los centros de enseñanza o, en general, de los métodos educa­ tivos y favorecer de alguna forma la emulación entre ellos.

Ambas funciones tienen en definitiva como objetivo final mejorar la escuela a partir de las modificaciones de la acción que generen. La evaluación, finalmente, pretende un mejor conocimiento de la realidad y ha de informar para provocar la reflexión contribuyendo así a la realización de los objetivos establecidos, poniéndose al servicio de las decisiones, contribuyendo a la regulación del sistema y aumentando el desarrollo, la creatividad, la innovación y la investigación de nue­ vas soluciones, como recientemente apuntaba Walo Hetmacher C!:'residente de I~ Fundación de la regiones europeas para la investiga­ ción en educación y formación). Desde finales de la Segunda Guerra Mundial los sistemas educati­ vos están en permanente revisión en las distintas latitudes del globo (en unas con más urgencia que en otras ya que los niveles de desarro­ llo socioeconómico de las sociedades son diferentes). Son muchos los países que han experimentado una expansión cuan. titativa de la escolarización por el acompañamiento socioeconómico a una mayor concienciación de la importancia de la educación en el desarrollo de los pueblos que ha comportado una modernización de infraestructuras, la reforma de estructuras, organización y currícula edu­ cativos, la mayor igualdad entre los sexos y niveles socioculturales más presupuestos económicos, etc. ' ~sde h~e algún tiempo, para muchos de estos países, la preocu­ pacion ha dejado de estar centrada de forma exclusiva en el acceso de la población a la escolarización y a la extensión más amplia posible de los servICIOS, para S1l1 olvidarnos de lo anterior. centrar más la atención en los contenidos de los sistemas educativos, en lo que ocurre en el interio~ d~ los mismos, en la calidad de los procesos de enseñanza y aprendizaje. EXIste, pues, un consenso creciente en que es necesario no sólo que la población en edad escolar esté escolarizada, sino que ade­ m~ en esa escuela se incorporen de forma efectiva aquellos conoci­ nuentos y competencias que son necesarios para desarrollarse y participar . activamente en la sociedad en la que viven. .La calidad ha pasado a estar en el primer plano de la agenda edu­ catrva y, por lo tanto, del quehacer evaluativo entendiendo la calidad como eficacia (una educación de calidad es aquella que logra que los alumnos aprendan aquello que está establecido en los planes y pro-

gramas curriculares), relevante en términos individuales y sociales (una educación de calidad es aquella cuyos contenidos responden de forma adecuada a lo que el individuo necesita para desarrollarse corno persona a nivel intelectual, afectivo, moral y físico y socialmente en los distintos ámbitos societarios. Un tercer parámetro de dicha cali­ dad, y por lo mismo de la evaluación de la misma, hace referencia a los procesos y medios que el sistema pone a disposición de los alum­ nos para el desarrollo educativo: adecuado contexto físico, profesio­ nales convenientemente capacitados; materiales de trabajo apropiados, estrategias didácticas, etc. La conveniencia de evaluar un sistema educativo en todos sus ámbitos y modalidades es! hoy una necesidad y una exigencia percibida desde muy diversos sectores de la sociedad. En nuestro país dicha exi­ gencia se encuentra explicitada en la Ley de Ordenación General del Sistema Educativo de 1990. En su artículo 62, apartado I señala que «la evaluación del sistema educativo se orientará a la permanente ade­ cuación del mismo a las demandas sociales a las necesidades educati­ vas y se aplicará sobre los alumnos, el profesorado, jos centros, los procesos educativos y sobre la propia administración». Una segunda ley de 1995 hace referencia explicita a los centros docentes. Posterior­ mente en Cataluña, por referirnos a alguna de las comunidades autóno­ mas en 1997 un orden establece de forma detallada los pasos a seguir en I~ evaluación (se había creado ya en diciembre de 1993 el Consell Superior d' Avaluació del Sistema Educatiu teniendo como tarea el aná­ lisis y la evaluación externa del sistema educativo de nivel no universi­ tario). Hoyes más que evidente la necesidad de evaluar el rendimiento de los centros escolares en su organización, funcionamiento y resulta­ dos, de identificar y diagnosticar sus problemas, de realizar una labor sistemática de revisión de la labor docente y todo ello no sólo para conocer sino sobre todo para introducir los mecanismos de motiva­ ción, corrección y orientación más idóneos. El objetivo último o pri­ . mero -segün como se analice- consiste en hacer el sistema educativo más rentable y eficaz, es decir, que se produzca una mejora de la cali­ dad y de los logros educativos, que los procesos funcionen adecuada­ mente y que se consigan los resultados esperados. Evaluación de los aprendizajes de los alumnos, evaluación de los profesores, evaluación del currículum, evaluación de los centros, eva­ luación de la enseñanza superior, evaluación de los sistemas educati­ vos son los capítulos en los que, después de introducir la temática de la evaluación en el capítulo primero, se abordan de forma sisterná­

16

tica y rigurosa las distintas realidades de la evaluación educativa. En ellos encontrará el lector un actualizado, inapreciable y rico material de reflexión y trabajo que a buen seguro resultará muy sugerente y orientará la práctica evaluativa de las distintas realidades contempla­ das. Material, por otra parte, que no pretende dar respuesta absoluta y definitiva a la evaluación de realidades que de por sí son tremenda­ mente complejas y en las que como tales la multideterminación de las mismas debe llevarnos a no caer en el simplismo y a "dar tiempo al tiempo" para encontrar, sin precipitaciones ni imposiciones, respues­ tas y prácticas suficientemente consensuadas en los diferentes aspec­ tos implicados en la evaluación y en las realidades evaluadas. Los reales decretos no modifican per se la realidad y es preciso tener en cuenta que son muchas y muy variadas las sensibilidades existen­ tes (ante la práctica evaluativa) de los alumnos, los enseñantes, los centros, los sistemas educativos como para que no seamos capaces de ir con prudencia para que ante la evaluación no se produzca ni inhibi­ ción participativa ni comportamientos defensivos. Comentar pormenorizada o esquemáticamente el contenido de cada uno de los capítulos llevaría necesariamente a desvirtuar sus diáfanos y ordenados contenidos por lo que dejo que el lector, si ha decidido perder algún minuto de su tiempo leyendo esta sencilla introducción, pase directamente a abrir el telón no del gran teatro del mundo, pero sí las páginas de una obra cuyos contenidos no tienen desperdicio alguno.

Jesús Garanto Alás Catedrático de Diagnóstico e intervención en Trastornos de conducta Director del Institut de Ciéncies de l'Educació Universitat de Barcelona

Nota del autor

Lo que realmente tengo son preguntas y no respuestas.

(Eduardo Chillida, Discurso de entrada en la Real Academia de Bellas Artes de San Fernando, 1994)

Justamente éste es el tipo de pensamiento que me ha acompañado a lo largo de toda la elaboración del libro. Al iniciarlo partía del supuesto que la evaluación constituía un conocimiento perfectamente estableci­ do y de lo que se trataba era de detectar sus principios básicos y ver cómo se aplicaban a los diferentes contextos evaluativos. Desde esta lógica, la respuesta a cualquier interrogante la deberíamos encontrar al analizar sistemáticamente los fenómenos a la luz de la teoría. La primera sorpresa surge cuando, a través del esfuerzo de con­ ceptualización, descu bres que no existe en realidad una teoría evaluativa, sino simplemente un conjunto de prácticas más o menos sistematizadas y que su base conceptual está formada sustancialmen­ te por un conglomerado de metáforas altamente elaboradas y que apa­ recen de manera recurrente y superpuesta a lo largo de los distintos intentos explicativos de las acciones evaluativas, No debemos creer que estas metáforas son meros productos de la casualidad o recursos de la imaginería de los expertos, aplicados a ilustrar de manera ocasional los manuales evaluativos. De hecho cons­ tituyen una parte (sino la parte) fundamental de la estructura cognitiva 1 de la evaluación. House (1983) argumenta que los conceptos evaluativos se derivan en gran medida de metáforas fundamentales, generativas y profunda­ mente asentadas, que con mucha frecuencia permanecen ocultas, pero que sustancialmente definen la realidad del mundo del evaluador. Así identifica un conjunto de ellas que son características a gran parte del pensamiento evaluativo, por ejemplo: se asimila el proceso

18

de evaluación a un proceso productivo, los programas sociales se inter­ pretan como máquinas, las estructuras organizativas como estructuras arquitectónicas. En el modelo CIPP se emplean metáforas derivadas de distintas disciplinas, como homeostasis y metamorfismo procedentes el campo de la biología, diagnosis de la medicina,ambiente de la ecología social, input y output de la producción industrial, etc. El problema reside en que la mayoría de estas metáforas llevan aso­ ciados valores primarios y que si en ocasiones no somos conscientes de la presencia del término-metáfora, mucho menos lo somos de los valo­ res que lo acompañan. Así tenemos que valores como productividad, competitividad, ete. están implícitos en algunas de las expresiones a que hemos hecho referencia, que a su vez están muy arraigadas en la cultura americana. Cuando Óscar Wilde afirma que la vida imita al arte, lo que real­ mente quiere expresar es que nosotros construimos la realidad me­ diante lenguajes que en origen son más culturales que naturales. En defmitiva, lo que pretendemos plasmar, es que la mayoría de las metáforas que configuran nuestro pensamiento evaluativo coti­ diano, no son construcciones aleatorias y que trasladan a nuestras prác­ ticas y juicios evaluativos un sinfín de preconceptos y prejuicios sobre los que es fundamental tener conciencia. Así, House sugiere que muchas de las metáforas utilizadas en la evaluación, derivan de procesos (como el industrial) que tienen sus orígenes en el misnúsimo sistema central de valores de la sociedad americana. Sugerencia a la que añadimos la voz de alerta acerca de cómo esto puede incidir perversamente en nuestra realidad, cuando es evidente que actuamos, en la evaluación como en otras áreas de conocimiento, desde posiciones de verdadera colonización externa. Todo lo anterior y la propia experiencia de tratar de sistematizar y plasmar mi conocimiento y mi información evaluativa en el espacio acotado que supone un libro, es lo que me ha conducido a pensar lo difícil que es encontrar respuestas a las cuestiones que continuamente nos plantea la evaluación. Es más, me ha enseñado a desconfiar de quienes tienen o pretenden tenerlas todas. No se puede acudir a la evaluación con recetas, la evaluación es una actividad compleja y exige trabajo colaborativo, reflexión y organiza­ ción. Es un proceso de indagación y de construcción, de participación y de compromiso, cultural en su naturaleza y técnico en su proceso. Lo . que he tratado es de presentar la evaluación y su práctica desde el pen­ samiento actual, procurando alimentarme de numerosas fuentes y sin

19

eludir su diversidad y complejidad, aunque en ocasiones ello supon­ ga un discurso enmarañado y algo recurrente. A menudo lo he adornado con planteamientos muy personales, de los cuales espero no tenerme que arrepentir. Siempre he pensado con respeto hacia mis lectores y confiaba que de esta manera, huyendo aunque fuera brevemente del discurso convencional, les ofrecía algo más comprometido, algo realmente núo. Por supuesto he hecho inter­ venir todas las metáforas que he podido, tratando, eso sí, de introdu­ cirlas comprensivamente a fin de que quien trague sea porque quiere. y al final, como al principio, sigo pensando como Chillida, que tengo más preguntas que respuestas. Barcelona, verano de 2000

1. La evaluación educativa

Desde una perspectiva amplia la evaluación es el descubrimteruo de la naturaleza y el valor de algo... na es exactamente una búsqueda de relaciones, un inventario de la situacion presente o'una prediccián del éxito futuro, Es algo de todo esto, pero sáto en la medida que contribuye a entender la sustancia, lafuncí6n y el valor del objeto evaluado.

(Stake y Denny, 1969)

1.1. Naturaleza de la evaluación 1. i.t. EVALUACIÓN, PODER y CONOCIMIENTO

La evaluación supone una forma específica de conocer y-de relacio­ narse con la realidad, en esIe caso educativa, para tratar de favorecer cambios optimizadores en ella. Se trata de una praxis transformadora que para incidir en profundidad, precisa activar los resortes culturales, sociales y políticos más relevantes de los contextos en los que actúa. Habitualmente se define como un proceso de recogida de infor­ mación orientado a la emisión de juicios de mérito o de valor respecto de algún sujeto, objeto o intervención con relevancia educativa (Mateo, 1998). EsIe proceso deberá ir necesariamenIe asociado a otro de toma de decisiones encaminado a la mejora u optimización del objeto,su­ jeto o intervención evaluada. Sin embargo, convendrá que esta defi­ nición eminente técnica se vea matizada y enriquecida por alguna de las reflexiones que expondremos a continuación. Aproximarse al conocimiento y a la práctica evaluatíva en el mun­ do de la educación supone hacerlo sobre una realidad que participa de las mismas incertidumbres, cambios y escisiones que se regístran en la ciencia educativa. Ello le confiere a la evaluación un carácter com­ plejo en la medida que debe desenvolverse, en sus dimensiones teóri­ ca y práctica, en los Ierrenos poco firmes y llenos de vericuetos de la acción educativa y del cambio social.

22

Desde la perspectiva metodológica, en la evaluación se dan cita conjunta los principios de la investigación, de la construcción de ins­ trumentos de recogida de información y de la medición. Pero, la eva­ luación sobrepasa, sin duda, cada una de estas actividades. La evaluación constituye un universo en sí misma en el que se desarrolla una de las actividades de mayor trascendencia e influencia en la vida social y educativa. Su desarrollo resulta fundamental para la mejora y la innovación de todos los ámbitos educativos: sistemas, programas, servicios, profeso­ res, alumnos etc. y es desde la evaluación que se le confiere sentido y significado a la medición y a los procesos de recogida de información y al tipo de construcción científica que se pretende lograr y no al contra­ rio. Con ello recalcamos el carácter instrumental y subalterno de estas actividades respecto del núcleo básico de ese universo al que aludía­ mos y que fundamentalmente gira alrededor del proceso de construc­ ción del conocimiento evaluativo. Quisiéramos enfatizar, consecuentemente, que la naturaleza Intima de la evaluación va ligada a la construcción de un tipo específico de conocimiento: el axiológico (Rul, 1992). Evaluar supone siempre ne­ cesariamente el acto de establecer el valor de algo y, para ello, no bas­ tará con la mera recogida de información evaluativa sino que precisaremos interpretarla, ejercer una acción crítica sobre la misma, buscar referentes, analizar alternativas, ofrecer visiones no simplifi­ cadas de las realidades evaluadas, etc. Evaluar implicará, por encima de todo, la creación de una cultura evaluativa donde ubicar adecuada­ mente esta forma de conocimiento. No se nos escapa el acto de poder que supone la asignación de valor sobre las cosas, los hechos o las intervenciones. La evaluación legítima el valor de ciertos tipos de actividad educativa frente a otros, y discrimina, por tanto, entre lo que tendrá a partir del hecho evaluar ivo, reconocimiento social y educativo y lo que no. A la complejidad de la acción evaluativa tendremos que añadir la importante cota de responsabilidad que le corresponde a su ejercicio, que adquiere irremediablemente connotaciones de acto de poder (Kvale 1990). Desde la evaluación se orienta la actividad educativa de tal forma que los sujetos y los contextos de actuación se ven condiciona­ dos no tan sólo a partir de los resultados surgidos de la evaluación, sino desde el mismo momento en que se focaliza y determina los elementos y objetivos sobre los que ejercerá su actividad. En la evaluación se produce una paradoja que no se da habitual­ mente en otras actividades de creación del conocimiento: aquello que

23

sustantiva la evaluación (la asígnación de valor) no es lo que la legi­ tima (la mejora del objeto evaluado). Esta duplicidad de objetivos es justamente la que le otorga a la evaluación su carácter propio frente a otros tipos de conocinúento y su complejidad como actividad. Siem­ pre habrá que mantener presente la consecución de ambos objetivos, una evaluación incapaz de asignar adecuadamente las valoraciones correspondientes no gozará de validez, una evaluación de la que no se deriven acciones de mejora perderá su credibilidad. Todos estos elementos son los que de forma reiterada irán apare­ ciendo en los diferentes apartados de nuestro libro a medida que va­ yamos desgranando los ámbitos de aplicación de la evaluación educativa e irán caracterizando sus contenidos. En todo momento trataremos de huir de una presentación de la evaluación como un mero proceso técnico cuya lógica se aplica de acuerdo a pautas lineales, la evaluación moderna es fundamentalmente una actividad matricíal e interactiva que implica culturalmente a los sujetos y a sus contextos.

1.1.2. CONCEPCIONES EVALUATIVAS

La propia complejidad mencionada supone la coexistencia de di­ ferentes aproximaciones evaluativas que fundamentalmente pueden agruparse alrededor de dos grandes propuestas: (a) La evaluación centrada en los resultados, en la que ésta se aso­ cia al uso de tecnologías educativas, especializadas en fórmu­ las estandarizadas de recopilación de la información que restringen el análisis a realizaciones fragmentarias y parciales. (b) La evaluación orientada al estudio de los procesos, buscando la percepción global de la información y favoreciendo la apli­ cación de las conclusiones obtenidas mediante la evaluación de realidades educativas inmediatas. En cada caso deberemos mantener nuestras reservas, en el prime­ ro porque una percepción exclusivamente técnica, limita su compren­ sión en profundidad y en toda su complejidad. El reduccionismo tecnológico ofrece una visión determinista y preconcebida de la reali­ dad y de su evolución. En el segundo caso, los resultados que se obtienen acostumbran a ser muy irregulares; así, es frecuente encontrar trabajos bajo esta pers­

24

25

pecti va que se han llevado a cabo con la ingenuidad de presentar aná­ lisis escindidos del contexto o que desprecian el efecto regulador que proporciona el hecho de tener en cuenta también los resultados. Su marco teórico y sus realizaciones tecnológicas suelen ser insuficien­ tes, lo que evidencia sus limitaciones conceptuales y metodológicas. La complejidad conceptual del hecho evaluativo y su diversidad metodológica han supuesto importantes cambios en las concepciones evaluativas que podríamos resumir con House (1993) en las siguientes: De ámbito conceptual. La concepción actual es absolutamente pluralista, frente a la visión monolitica anterior, debido a que acepta una multiplicidad de métodos, criterios, perspectivas, audiencias, etc. También se está produciendo un reconocimiento progresivo del papel que tienen los valores en la evaluación, a la vez que se asume el carácter eminentemente práctico de la disciplina. De ámbito estructural. La transformación más relevante que se ha producido es el reconocimiento explícito del carácter multidisciplinar de la evaluación. De ámbito metodológico. La inclusión de los métodos cualita­ tivos ha hecho que actualmente, el debate ya no se centre tanto en la legitimidad como en la compatibilidad o incompatibili­ dad entre las diversas concepciones. De ámbito práctico. Se ha producido un desplazamiento claro desde una concepción instrumental de la evaluación hasta una visión "iluminativa" en la que se reconoce su carácter cultural y político.

1.2. Historia y desarrollo de la evaluación 1.2.1. LOS INICIOS. CONCEPCIÓN ESTÁTICA DE LA EVALUACIÓN

En un primer estadio, la evaluación se entendía como una medi­ ción valorada hasta el punto de utilizarse de forma perfectamente inter­ cambiable los vocablos medición y evaluación educativa. El comienzo formal de la utilización de la medida en el campo de las ciencias humanas puede situarse en los trabajos de R. Fechner, quien, en la segunda mitad del siglo XIX, introdujo la medición psico­ física, primero en los laboratorios de psicología experimental y, des­

pués, asociada al estudio de las diferencias individuales de donde sur­ ge la psicometría. Fue F. Galton quien introdujo la expresión "test mental", en un primer intento de clasificar a los individuos a partir de una inteligen­ cia promedio, y por la necesidad de tipificar las condiciones adecua­ das para examinar a los sujetos y poder compararlos entre sí. Para analizar los datos obtenidos en el laboratorio antropométrico del Museo de South Kensington, Galton recurrió a métodos estadísti­ cos y determinó promedios y medidas de varianza Recurrió a la co­ rrelación como medida de asociación para solucionar el problema de descubrir la magnitud de semejanza entre las características indivi­ duales de los padres y los hijos. Así fue el primero en aplicar los conceptos estadísticos de curva normal, media, mediana, varianza y correlación de datos psicopedagógicos. Aunque no profundizó en la metodología estadística, ayudó a K. Pearson a desarrollar los métodos estadísticos asociados al estudio de las diferencias individuales, K. Pearson formalizó el coeficiente de correlación múltiple y sentó las bases de gran parte de la estadística multivariada. Los estudios de F. Galton sobre las diferencias individuales se extendieron rápidamente por Alemania, Estados Unidos y Francia, entre otros países. En Alemania, en el año 1896, F. Kreaepelin creó un laboratorio psicológico en el que se midieron los tiempos de reacción de la me­ moria, la percepción, la discriminación y la fatiga. En Estados Unidos, las pruebas mentales recibieron la influencia de la obra realizada en Europa La figura más relevante fue J. McKeen Cattell, discípulo de F. Galton, quien realizó pruebas mentales y físi­ cas en el Columbia College. La contribución de Francia al campo de la medida de las diferen­ cias individuales puede centrarse en A. Binet, quien construyó las primeras escalas para la medida de la inteligencia. A. Binet, en cola­ boración con H. Simon, elaboró y publicó en 1905 una escala métrica de la inteligencia. Sin embargo, a principios del siglo XX el principal reto en el cam­ po de la investigación pedagógica era crear test propiamente escola­ res y elaborar escalas de comprobación de conocimientos, ya que las pruebas de laboratorio y los test psicofísicos de hasta entonces resul­ taron insuficientes para el estudio de los problemas escolares; ade­ más, los test mentales no cubrían las áreas propias del rendimiento escolar.

26

27

Aunque se considera que J. M. Rice fue el iniciador de la medi­ ción en pedagogía, ésta no se estableció con plena vigencia hasta J904, con la publicación de Introduction to the theory of mental and social measurement, de R. L. Thorndike. A partir de 1910, la línea iniciada por J. M. Rice en el campo de la educación se desarrolló rápidamente, con la aparición de escalas de redacción, de ortografía y de cálculo aritmético. Más tkde se crearon las baterías de rendimiento, con la publicación de la primera edición de los Stanford Achievement Tests, en 1923, que definieron muchas de las características de la actual medición educativa. La línea abierta por los test objetivos de rendimiento gozó de gran aceptación en Estados Unidos, donde se establecieron numerosos pro­ gramas estatales y nacionales, que en 1947 se fundieron en el Educational Testing Servíce, el cual elaboró a partir de entonces la mayoría de las pruebas de rendimiento en universidades, escuelas pro­ fesionales, organismos gubernamentales y otras instituciones estado­ unidenses. Las dos guerras mundiales estimularon considerablemente el mo­ vimiento en pro de la creación de test de todo tipo al servicio de la comunidad. Pero el fervor por el testing decreció a partir de 1950, e incluso surgieron algunos movimientos que se mostraron hipercríticos con dichas prácticas.

1.2.2. LA "GENERACIÓN DE LA MEDIDA"

E. G. Guba y I. S. Lincoln, en Fourth Generation of Evaluution (1989), se refirieron a esta etapa de la historia de la evaluación como a la primera generación, por lo que la denominaron "generación de la medida". La filosofía de la medición y la evaluación, equivalentes en aquellos momentos, puede coucretarse en los siguientes puntos: Evaluación y medición eran conceptos virtualmente intercam­ biables. Incluso el uso del término "evaluación" era poco fre­ cuente. Si se mencionaba alguna vez era siempre en compañía del de "medida", que solía colocarse en primer término: "me­ dición y evaluación". Ambos iban inevitablemente ligados al paradigma científico. Así, cuando Rice inició sus trabajos so­ bre la eficiencia escolar, el paradigma ya estaba perfectamente definido en las demás ciencias, y no dudó en asumirlo. El mis­ mo camino siguió R. W. Tyler cuando realizó el estudio que le

-

ocupó ocho años, entre 1932 Y 1940, Y que después publicó

con el título Eight Year Study of Secundary Education. Su in­

vestigación se basó en un experimento pretest y pos test reali­

zado con un grupo de control. .

Ambas materias se focalizaron en el estudio de las diferencias

individuales, siguiendo la pauta darwiniana recogida en los tra­

bajos de GaIton.

La práctica de una y otra tenía poca relación con los programas escolares y con el desarrollo del currículum. Se entendía que las pruebas procuraban información sólo acerca de los sujetos. Nadie se planteaba la posibilidad de que el currículum no fue­ ra correcto, y aún menos la consecuente petición de responsa­ bilidades a quien correspondiera. Se orientaban hacia medidas tipificadas en su doble significado: condiciones de aplicación y grupos normativos de referencia.

1.2.3. PERSPECTIVA DINÁMICA DE LA EVALUACIÓN

En 1932, R. W. Tyler, profesor de la Universidad estatal de Ohio desde 1929, fue nombrado director de una investigación que preten­ día mostrar que los estudiantes formados en centros de secundaria "con programas reformados de corte progresista, funcionaban al mismo ni­ vel cuando pasaban a las facultades universitarias que aquellos que ha­ bían asistido a escuelas con programas convencionales. Los resultados quedaron recogidos en la obra mencionada con anterioridad.. Su mayor contribución fue insistir en que el currículum necesita­ ba organizarse en torno a unos objetivos. Estos constituían la base de la planificación, ya que guiaban a los profesores y servían como crite­ rio para seleccionar materiales, concretar los 'contenidos, desarrollar procedimientos instruccionales y preparar los exámenes. Además, constituían la base para el estudio sistemático del programa: había nacido la evaluación propiamente dicha. Se trataba, en palabras de los ya mencionados, Guba Lincoln, de la "segunda generación Hasta Tyler, la evaluación se había centrado exclusivamente en formular juicios acerca de los estudiantes tomados individualmente y a partir de pruebas de norma de grupo. La lógica de Tyler orientó la evaluación hacia una nueva conceptualización de corte mucho más dinámico, como un mecanismo que debía provocar una mejora conti­ nua del currículum y de la instrucción educacional.

29

28

Para Tylcr, la referencia central en la evaluación eran los objeti­ vos preestablecidos, que debían ser cuidadosamente definidos en tér­ minos de conducta, El objetivo del proceso evaluativo era determinar el cambio ocurrido en los alumnos, pero su función iba más allá de hacerlo explícito a alumnos, padres y profesores: servía también para informar sobre fa eficacia del programa educativo y para el perfeccio­ namiento continuo del docente.

eficaz de los fondos federales como por el logro de los objetivos edu­ cativos fijados. Como resultado de estas nuevas necesidades en el campo educati­ vo, que la evaluación debía afrontar, se inició un periodo de reflexión y se publicaron numerosos ensayos teóricos. Se pretendía clarificar la rnultidimensionalidad a la que se enfrentaba el proceso evaluativo. Estas reflexiones y conceptualizaciones teóricas enriquecieron el ámbito conceptual y metodológico de la evaluación.

1.2.4. EL DESARROLLO EN LA DÉCADA DE 1960 1.2.5. LAS APORTACIONES DE CRONBACH y SCRIVEN

Probablemente, la nueva concepción evaluativa se vio impulsada por la oleada de críticas desatada en Estados Unidos, a fines de la década de 1950, cuestionando la eficacia del sistema educativo. Se puede tomar como referencia del cambio de actitud el enorme desen­ canto producido por el lanzamiento del primer satélite soviético en 1957, que sorprendió a una colectividad acostumbrada a ser la prime­ ra en todo y convencida de su superioridad moral, social, polltica, económica y educativa. Se había aceptado como axioma que el sistema educativo había sido el motor del progreso económico y social, y que la escuela cons­ tituía el instrumento más eficaz para promover las metas de la demo­ cracia. Si tradicionalmente se le reconocía este papel relevante en los éxitos del país, también era lógico que se le hiciera responsable de los fracasos. Todo ello desembocó en acciones de distinto orden, como la pro­ moción de grandes proyectos de desarrollo del plan de estudios, en un esfuerzo por mejorar la calidad de los programas escolares. Sin em­ bargo, y a diferencia de lo que había sido usual en Estados Unidos, donde la responsabilidad educativa correspondía a las autoridades locales, por primera vez, y debido en parte a la creciente preocupa­ ción por la calidad de la enseñanza, en 1965 se aprobó una ley, la Elementary and Secondary Act, por la que el gobierno federal instrumentaba los medios legales para intervenir en las administra­ ciones educativas locales, tomando la iniciativa de subvencionarlas directamente. Paralelamente, y por las mismas razones, apareció un movimien­ to, impulsado por profesionales de la educación y legisladores, que aspiraba a concienciar al conjunto del tejido social de la importancia de exigir responsabilidades (accountability) al personal docente en general, y a sus responsables en particular, tanto por el uso correcto y

De aquellos años destacaron dos ensayos que tuvieron una influen­ cia decisiva: el artículo de L. J. Cronbach, "Course improvement through evaluation" (963) y el de M. Scriven, "The methodology of evaluation" (967). Del análisis de L. J. Cronbach sobre el concepto, funciones y me­ todología de la evaluación, destacan las siguientes ideas: Si la evaluación aspira a ser un instrumento de gran utilidad para los programadores, deberá focalizar su actividad en torno a la toma de decisiones derivadas de la propia evaluación. La evaluación intentará actuar desde el proceso mismo de de­ sarrollo del programa, sin esperar a que éste haya finalizado. La evaluación se deberá centrar más en el estudio de las carac­ terísticas estructurares del propio programa que en estudios de corte comparativo. De M. Scriven destacan las siguientes observaciones: la evalua­ ción puede adoptar dos funciones distintas, la formativa y la surnativa. La evaluación formativa es la que se pone al servicio de un programa en desarrollo, con objeto de mejorarlo, mientras que la evaluación sumativa es fa que se orienta a comprobar la eficacia del programa una vez aplicado. En el mismo artículo, Scriven critico la importancia dada a la eva­ luación respecto a la consecución de unos objetivos previamente es­ tablecidos, porque, señaló, si los objetivos carecen de valor, no tiene ningún interés saber hasta qué punto se han conseguido. Destaco tam­ bién la necesidad de incluir en el proceso evaluativo tanto fa evalua­ ción de los objetivos como la determinación del grado en que éstos son alcanzados.

Resulta clarificadora la distinción establecida por Scríven entre evaluación intrínseca y extrínseca como dos formas distintas de valo­ rar un elemento de la enseñanza. En una evaluación intrínseca se va­ lora el elemento por sí mismo, mientras que en la evaluación extrínseca se evalúan los efectos que produce el elemento. En contraposición a J. L. Cronbach, M. Scriven defendió el carácter comparativo que debe presidir los estudios evaluativos.

1.2.6, EL PUNTO DE VISTA DE GLASER

Desde una perspectiva más técnica y dentro de la evaluación orien­ tada a los objetivos, fue también importante la aportación de R. Glaser, en 1963, quien desplazó la preocupación por establecer debidamente los objetivos a cómo han de ser medidos. A los test referidos a la norma les sucedieron, en cuanto a interés de estudio, los referidos al criterío. R. Glaser estableció la distinción básica entre la medición con re­ ferencia a la norma, centrada en detectar la posición relativa de un estudiante respecto a lo que es normativo en su grupo, y la medición con referencia al criterio, que se establece por comparación a "un nivel absoluto de calidad".

1.2.7, ECLOSIÓN DE LOS MODELOS EVALUATIVOS

Los trabajos de Cronbach y Scriven sentaron las bases de la eva­ luación en su acepción moderna y el inicio de lo que Guba y Lincoln denominaron la "tercera generación evaluativa", caracterizada por un período de proliferación de modelos que trataban de sistematizar la acción evaluadora y que resultan de un gran valor heurístico y orien­ tativo, Algunos de estos modelos, a pesar de las críticas contra la evalua­ ción centrada en los objetivos, e ignorando las aportaciones de Cronbach, insistieron en la línea de Tyler, y se mantuvieron en el marco por él diseñado. Son los denominados modelos de "consecu­ ción de metas", en cuya órbita giran los primeros trabajos de R. E. Stake, N, S. Metfessell, W. B. Michael y E. A. Suchman. Por el contrario, los modelos que siguieron la línea propuesta por Cronbach centraron sus esfuerzos en asociar el proceso evaluati va al de la toma de decisiones. De hecho, toda la evaluación moderna acepta

como algo axiomático la necesidad absoluta de establecer esta co­ nexión. Plantear alternativas de acción justificadas a partir de la re­ flexión sobre la evaluación constituye la razón de fondo de la actividad evaluativa, ya que abre el camino a la operatividad para la mejora de la realidad educativa evaluada. El máximo exponente de esta línea fue D. L. Stufflebeam (1973), quien llegó a definir la evaluación como "el proceso de delimitar, obtener y proveer de información útil para juzgar entre alternativas de decisión". El modelo CIPP (siglas de los cuatro momentos de ac­ tuación de la evaluación que definen este modelo: contexto, input, proceso y producto), creado por D. L. Stufflebeam y E, G, Guba, es posiblemente el más conocido y el más utilizado hasta la actualidad. En la misma línea se encuentran el modelo CSE (California State Evaluation), elaborado en la Universidad de Califomia por M. C. Alkin, y el UTO (unidades, tratamientos, operaciones) de Cronbach. Finalmente, y aún dentro del paradigma racional-cuantitivo, debe citarse el modelo de análisis de sistemas, cuyos' rasgos· característicos son los siguientes: La realidad evaluada tiene un orden formal que se debe anali­

zar.

Toda realidad dada está relacionada con el entorno que la ro­

dea.

La interdependencia de todos los elementos internos y exter­

nos del 'sistema queda explicitada en los cuatro imperativos

funcionales: adaptación, consecución de los objetivos, integra­

ción y mantenimiento de las pautas.

Este enfoque de la evaluación ha sido defendido por autores como A. M. Rivlin, P. H. Rossi, F. N. Freeman y S. Wight, mientras que las críticas a los modelos de base racional-positivista se sintetizan en las siguientes: Sólo se consideran los propósitos del grupo en el poder.

Los métodos utilizados son monistas y dogmáticos.

Los comportamientos observables son reducidos a indicadores

que no reflejan su complejidad y riqueza.

Plantean una visión teóríca de la realidad.

A mediados de 1970, la crisis entre paradigmas se extendió a los planteamientos evaluativos. Aparecieron las llamadas alternativas

32

cualitativas, que concen traron el esfuerzo de la evaluación en los pro­ cesos educativos y en cómo son percibidos por la audiencia. Se utili­

zaron procedimientos de corte antrop ológic o e incluso periodístico,

extend iéndos e el uso de la etnom etodol ogía y de otras metod ología s derivadas de ella, agrupa das bajo la denominación de "naturalistas Siguiendo la clasifi cación propue sta al hablar de las metod ología s de investigación, los model os cualita tivos pueden dividir se en dos grupos: los de adscri pción cultural-interpretativa y los sociocríticos , 1.2.8. MODELOS CULTURAL-INTERPRETATIVOS

Scriven (1973), inicial mente adscrito a la corriente positivista, re­ accion ó ante la evalua ción absolu tamen te predet ermina da por los objetivos, y señaló la import ancia de incluir como objeto de interés de la evaluación los resultados no previstos en la planificación origi­ nal. Planteó el. model o "orien tado al consum idor" (libre de objeti­

vos), en el que el evalua dor, libre de la referencia obliga da que marca n los objetivos, opera sobre las necesi dades del propio consumidor. La evalua ción se consid era más como un servicio cliente -consu midor que depend iente de las instituciones burocráticas. La escuel a de orient ación cualita tiva vincul ada a la Unive rsidad de Stanfo rd fue la impul sora del model o conoc ido como de "critic a artístic a", cuyo defens or más decidi do fue E. W. Eisner (1986). Di­ cho model o parte de una concep ción artístic a de la enseña nza, en la que el papel del docen te se concib e como el de un expert o que inter­ preta una realida d, es decir, como un artista. Con esta propu esta se rompí a radica lmente con los model os conve nciona les de base em­ pírico -exper imenta l. Para Eisner, el evalua dor es un expert o en educac ión que interpre­ ta aquello que observ a tal y como sucede en un medio cultural satura­ do de significados. La interpretación depen de de la compr ensión que se tenga del contexto, de los símbolos, de las reglas y de las tradici o­ nes, de las cuales participan las personas, los objetos, los fenóm enos y los hechos. La critica educativa, al igual que la artística, toma la forma de un documento escrito, cuya finalidad es ayudar a los otros a ver, compren­ der y valorar la calidad de la práctica educativa y sus consecuencias.

33

1.2.9. MODELO DE "EVALUACIÓN ILUMINATIVA"

En 1972, M. Parlett y D. Hamilton propugnaron un model o que denominaron de "evalu ación ilumin ativa", que según lo definie ron sus propios autores tiene como objetivo primordial descub rir y docu­ mentar a cualqu iera que participa en el esquema, sea docen te o alum­ no, para discer nir y discutir los hechos más relevantes de la .mnovaclón que se pretende introducir. Su aplicación se articula a partir de cuatro factores: la definic ión del proble ma que se ha de estudi ar, la metod o­ logía, la estructura conceptual subyacente y los valores implíc itos". En la definición, la evaluación iluminativa se centra en el análisis de los procesos de negociación que tienen lugar en el aula. Estos proce­ sos son vivos y cambiantes, y la evaluación será efectiva a partir de la familiarización intensiva con los problemas. Por ello, el diseño de la evaluación tiene que ser progresivo, los problemas se van explicitando con el transcurso de los propios hechos.

En la metodología, la evalua ción es la consec uencia del pacto y, la negociación, por lo tanto, implic a apertura y fl.e;ctbilidad metodológic a. Las técnicas más emple adas son la observación, la entrevista, el aná­ lisis docum ental y los cuestionarios. Según la estructura conceptual, las acciones fundam entale s en el proces o ilumin ativo son: compr ender a fondo e.l contex to y s~s interrelaciones, analizar las implicaciones y explicItar las perspecti­ vas subjetivas. Atend iendo a los valores implícitos, el evalua dor asume una POSI­. ción neutral, no imparcial, tiene sus propias concep ciones y ha de explicitarlas. Su tarea consis te en organizar las opiniones, rec~pilar datos, sugerencias y alternativas, promo ver el contra ste de opuuo nes y facilitar la proliferación de iniciativas de anáhsl.s y de cambio. . G. M. Jcnkin s y S. Kemm is, en 1976, y a partir de las conclusio­ nes de la segun da confe rencia de Camb ridge sobre el tema "Reco nsider ación del estudi o de casos", definieron y caracterizaron esta práctica indaga dora como model o de investigación. Este hecl~o facilitó su utilización en el ámbito de la evaluación, donde el estudi o de casos ya tenía un consid erable prestigio como práctic a evaluativa propia, inmers a en la tradición histórica e interpretativa. Autore s como R. E. Stake, en Estado s Unido s, y L. Stenho use, E. R. House y J. ElIiot, en el Reino Unido, los han incorporado en su praxis evaluativa.

34

1.2.10. MODELO DE EV ALUACrÓN RESPONDENTE

R. E. Stake, en un notable giro de sus planteamientos iniciales, de caráct er positi vista, elabor ó en 1975 el model o de "evalu ación

respondente". Se conoc e con este nombre porque "respo nde" a los problemas y a las cuestiones reales que afectan a los alumnos y al profesorado cuand o desarrollan un programa educativo determinado. Es un model o evaluativo centrado en el sujeto; el evalua dor responde a aquello que las diferentes audiencias desean conocer, y negocia con el sujeto lo que hay que hacer. El modelo de R. E. Stake también es conocido como el modelo de la "figura", por las dos matrices de datos que permiten obtene r des­

cripciones y juicios , de acuerdo con el esquem a propuesto por el au­

tor para la recopilación de información. .

El modelo de evalua ción democ rática de B. McDo nald (1977) in­

cide sobre el carácter político de la actividad evaluativa. Ls tarea del

evaluador consis te en buscar caminos para resolver situaciones pro­ blemáticas. Ha de identificar los diferentes grupos que toman las de­ cision es educa tivas, a menud o en confli cto, propo rciona rles la información que ellos consideran más valiosa, favore cer la mejora personal y colect iva, así como ayuda r a operat ivizar las pautas de mejora. J. Elliott y L. Stenhouse se inscriben en el mismo marco de pensamiento.

1.2.11. LA ETAPA DE PROFE SIQNA LIZAC róN

La etapa de profesionalización, que se extendió a lo largo de las décadas de 1970 y 1980, fue extraordinariamente prolífica. La apari­ ción de un gran número de modelos cataliz ó la reflexión en torno ,¡ los planteamientos teóricos y prácticos subyacentes, y consolidó la evaluación como un ámbito específico de investigación: la investiga­ ción evaluativa. En este contexto, no tardaron en aparecer las revistas especializadas y las asociaciones científico-profesionales. Además, las grandes universi­ dades empezaron a ofrecer cursos y programas evaluativos, no sólo postgrados o doctorados, sino también titulaciones de primer ciclo. En resumen, esta época se caracterizó por ser un período de eclo­ sión de los modelos, en el que éstos se consideraban una guía siste­ mática de la evalua ción educat iva. La evalua ción centra da en los objetivos fue evoluc ionand o hacia la orientada a la toma de decisio -

35

nes. Ello hizo que se recrudecieran las críticas al model o científico­ lógico-positivista en la medid a en que se produc ía un acerca miento a las ciencias sociales. .

Tambi én tuvo lugar una reaparición de la clásica polém ica entre paradigmas: método nomotético frente a métod o idiográfico; métod o clínico frente a método experimental; explicación frente a ~ompren­ sión. En definitiva, se produjo una dicotomía entre la perspectrva cuan­ titativa y la cualitativa. Por último, hay que menci onar como rasgo destacable de este período la pluralidad tipológica de los r:rodel.os y las metod ología s evalua tivas funda menta das en la divers idad paradigmática. 1.2.12. LA CUARTA GENERACIÓN EVALUATIVA

A partir de 1990 tuvo lugar un nuevo mome nto del desarr ollo evaluativo. Algun os autores, como Guba y ~incoln, ~onsideraro~ que el parad igma que resolv ería la plurah dad eXiste nte sena el constructivista-respondente, al integrar el enfoque respondente de R. E. Stake y el paradi gma constructivista. . La diversidad de posturas ha resultado ser muy fértil para el.desa ­ rrollo de prácticas evaluativas. La permeabilidad de los paradl~mas como característica del método, en el sentido de que cada paradigma podría incorp orar aquellos elementos que enrique~ieran sus ~plica­ cienes, y el hecho de que su utilización .en la real.ldad educat iva no depen diera de la ideolo gía del invest igador , smo d~1 grado de estructuración y tipo de organización que presen te la realidad, fueron las principales aportaciones de esta década. . Sin embargo, parece claro que la evaluación tal como se percibe en la actualidad no puede reducirse a ser defini da como un proces o metod ológic o o técnico. Guba y Lincol n .caracterizar~n ~sta cuarta generación adjetivando el proceso evaluativo con las siguíen tes cua­ lidades: -

Sociop olítico Conju nto de colaboración De enseñanza/aprendizaje Continuo, recursivo y muy divergente Emerg ente Con resultados impredecibles Que crea reali dad

37

36

A ello debe añadir se que el proces o evalua tivo es, sobre todo, un

en

proces o genera dor de cultura evaluativa. La evalua ción consis te e os asumid ser ~n proces o de constr ucción de valore s que han de ­ integra dos en la cultura de la person a, del colecti vo y de la institu ción.

De esta maner a se optimi zan las accion es de la realida d evalu ada para favore cer el cambi o en profundidad.

1.3. Perspectiva funcional de la evaluación

1.3.2. FASES DEL PROCE SO EVALU ATIVO

Una vez config urada la evalua ción, desde la perspe ctiva operat iva,

como proceso, conven drá estable cer sus fases características, las acti­ tes.

referen vidade s que implic a cada una de ellas y sus princip ales Así,la s fases características del proces o genera l de evalua ción son:

la planifi cación , el desarr ollo, la evalua ción y la metaev aluaci ón, que pasare mos a disecc ionar a contin uación . La planifi cación y diseño de la evalua ción implic a las siguien tes activid ades:

1.3.1. LA EVALU ACIÓN COMO PROCE SO

Desde una perspe ctiva funcional, la evalua ción educat iva es un de proces o de reflexión. sistemática, orienta do sobre todo a la mejora los de la calidad de las acciones de los sujetos, de las interve ncione s profeslO~ales, del funcio namie nto institucional o de las aplicac ioaes a la realida d de los sistem as ligados a la activid ad educativa. Supon e un proces o compl ejo que, a su vez, incluy e otros como: - Recogid.a de inform ación respec to de indica dores que reflejen, lo más flelmcnt~ posible, la Situación inicial, los proces os o los produc tos refend os a los agente s anterio nnente citados. - Det~nn~nación del grado de congru encia entre necesi dades, realiza ciones y objetivos. - Elabor ación de juicios de mérito o valor a partir de unos crite­ nos estable cidos o consen suados durant e el propio curso de la evalua ción.

- Toma de decisio nes que condu zca a la elecció n y a la aplica­

ción de la alterna tiva de interve nción más adecua da a partir de

la infonn ación evalua da o que se halla en proces o de evalua­ cien.

- Seg~imiento y contro l de la alterna tiva elegid a y nueva eva­ luacíón de las consec uencia s deriva das de la aplicación. La evalua ción así entend ida se presen ta como un mecan ismo re­ guiado r, posiblemen~ el más import ante de que se dispon e para des­ el cribir, valora r y reonen tar la acción de los agente s que operan en fica. especí iva marco de una realida d educat

-

Establ ecer su propósito, finalid ad y función. Especi ficar los juicios que se han de emitir, las decisio nes po­ tenciales que deberí an tomars e y las audien cias que habrá que atende r. Defini r el objeto de la evalua ción y las fuentes de información. Delim itar los proced imient os de la evalua ción (mode lo e ins­ trumen tación ). Defini r los agente s que efectu arán la evaluación. Establ ecer la ternporalización de la acción evaluativa.

Por su parte, el desarrollo, recogi da y tratam iento de la inform a­ a­ ción implic a las activid ades de obtenc ión de la inform ación, codific dos. ción, registro, análisis y elabor ación de los primer os resulta ende La evalua ción y utilización de los resulta dos evalua tivos compr n, el análisis de resultados y la formu lación de juicios (interpretació dise­ cias, audien las con clasifi cación y compa ración ), negoc iación minac ión de los resulta dos y seguim iento. Finalm ente, bajo el términ o metaev aluaci ón se incluy en todas las activid ades orienta das a evalua r la propia evalua ción efectuada.

1.3.3. FUNCIONES Y TIPOS DE EVALU ACIÓN

Debem os a Scríve n (1967) la distinc ión entre evalua ción format iva y sumati va. La evalua ción format iva es aquell a que centra su inter­ venció n en los proces os de maner a que trata desde su inicio de incidir en su mejora , mientr as que se asigna el calific ativo de sumat iva para ue la evalua ción focaliz ada sobre los resulta dos y en la que se persig acción la fundam entalm ente el contro l de los mismo s, reserv ándose mejora dora para futuras interve ncione s.

39

38

~._~~iI¡\r'ij;··j

~~dL·,-ª~!h~iét'í]Jl~'~,1.J

. r

PLANIFICACiÓN

1-

Establecer propósito, Ilnalidad. función, juicios a emi\\T, decrsicnes potenciales, audiencias, objeto de evaluación, fuentes de Información, procedimientos, agentes y

1.4. Componentes del modelo evaluativo

temoorenzaclón.

I

I

DESARROLLO

!

CONTRASTACIÓN

1-l-­

es decir, trelamienlo de la lnformaclón.

Análisis de resultados, rormutaclén da juicios (rnterpreiectcn, clasificación y

y seguimiento.

I

METAEVALUACrÓN

1-­

Un modelo evaluativo completo deberá considerar una serie de componentes básicos sobre los que reflexionar para estimar la íorma en que se concretará la participación y cuáles tienen que ser sus ca­ racterísticas.

Recogida, ccontcaclén. registro, análisis, etcétera,

comparación), loma de oecrstores, divulgación de resultados, negociación con las audiencias

nalla presencia de la evaluación formativa ha de ser por pura lógica mucho mayor que la de la sumativa y ha de ser la torma predominante de actividad evaluativa.

I

Evaluación de la evaluación.

El valor de la aportación de Scriven, se inscribe en la oportunidad del momento en que lo hizo, Una época en que la única lógica exis­ tente par~.aphcar la evaluación, era la sumativa, El enf oque formari­ VO permitió amphar conceptualmente el sentido y significado de la evaluación, Sin embargo, con el paso del tiempo, se ha ido pervirtiendo el concepto, de manera que lo que son dos funciones de la evaluación se ha c.onvertido en dos tipos de evaluación, que muchos autores prcscn­ tan incluso como enfrentados. La evaluación es una acción conceptualmente única que, sin em­ bargo, dependiendo del momento o de la necesidad, adopta funciones diversas (diagnóstica-formativa o sumativa). Lo que le confiere culi­ da? no es el calificativo. sino la oportunidad del momento de aplica­ cien, .Ia adecua~~ón de acuerdo al objetivo perseguido y nuestra capacidad de utilizarlas complementariamente. Ambas funciones se necesitan mutuamente, y responde a un planteamiento totalmente obsoleto el pensarlas como excluyentes; así, desconocer el valor for­ mativo de la eva~uación sumativa nos parece una incongruencia e Ignorar la aportación sumativa de la evaluación formativa un error. . Desde una perspectiva holística no son sino las dos caras de la misma moneda, aunque es evidente que desde la perspectiva funcio­

1.4.1. OBJETO Y FUENTES DE INFORMACIÓN

Cualquier componente del sistema educativo puede ser objeto de evaluación. Sin embargo, para llevarla a cabo es necesario someter el sistema a un proceso de contextualización y operativización, idcntifi­ cando sus aspectos más relevantes, que serán los sometidos a los pro­ cesos evalualivos. La acción evaluadora siempre se inicia con la recopilación de in­ formación; las fuentes están constituidas por todas las entidades, do­ cumentos o personas que puedan facilitar datos significativos para el proceso evaluativo.

1.4.2. ESTRATEGIAS E INSTRUMENTOS

Para la recopilación de información es preciso determinar las téc­ nicas, estrategias o instrumentos que se utilizarán. La elección depen­ derá de la finalidad y del contexto. En general, es aconsejable utilizar además una amplia gama de procedimientos a fin de superar los posi­ bles sesgos o limitaciones.

1.4.3. AGENTES Y MOMENTOS DE LA EVALUACIÓN

Los agentes son los ejecutores de la evaluación. Cada metodolo­ gía determina el carácter de agente de sus participantes. Así, en las metodologías positivistas suele ser el propio investigador, que por lo

41

40

general conserva el carácter de agente externo; en cambio, en los enfo­ ques cualitativos, los participantes actúan como objeto y como agentes. El momento o los momentos evaluativos vienen condicionados, entre otros aspectos, por la finalidad y el objeto. Así, una evaluación de necesidades tendrá que llevarse a cabo antes de poner en marcha cualquier programa de intervención; en cambio, la mejora de un pro­ ceso requerirá que la evaluación se efectúe durante el mismo.

1.4.4. CRITERIOS DE VALORACIÓN

La evaluación necesita referentes de valor con los que comparar los resultados obtenidos y, por tanto, para emitir el juicio valoranvo y las sugerencias pertinentes que se requerirán en la posterior torna de decisiones. Pueden concretarse tres referentes principales: -

El propio objeto-sujeto evaluado. La referencia se establece por comparación con la individualidad objeto de evaluación. El grupo normativo. Se busca la posición relativa del objeto evaluado respecto de la media del grupo al que pertenece. Un criterio prefijado. La valoración se hace por comparación respecto al criterio de excelencia preestablecido.

1.4.5. AUDIENCIAS E INFORMES

La utilidad de la evaluación depende no s610 de su excelencia sino también de que se establezca una buena comunicación entre los evaluadores y los interesados en ella, asegurando así su impacto. Esto exige que se preste atención a las potenciales audiencias a las que hay que llegar, así como a los informes que se les presentan. Los especia­ listas recomiendan que la comunicación no sea excesivamente for­ mal, pero sí precisa, que responda a los interrogantes y necesidades evaluativas que se tenían planteados y que se exprese en un lenguaje claro y conciso. En cualquier caso, un buen informe evaluativo deberá formular claramente los juicios valorativos respecto a los contenidos evalua­ dos, aconsejar las posibles alternativas de decisión, establecer pautas para su elección y estrategias de seguimiento y posterior evaluación de la opción escogida.

1.5. La metaevaluación El término "metaevaluación" fue acuñado por Scriven, y ha~e refe­ rencia a la incorporación, en la práctica evaluativa, de la reflexión res­ pecto a la calidad de la propia evaluación efec~ada. Para proceder .a la ió necesario , como en cualquier proceso evaluativo, metaeva1uaci n es señalar los aspectos básicos que se van a evaluar y establecer unos

criterios o normas que actúen como referencia Para ello, se tlene~ en

cuenta las normas y los criterios establecidos por el Joint Committe,

asamblea que se ocupa de la ética profesional de los evaluadores.

1.5.1. CATEGORÍAS BÁSICAS DE LA EVALUACIÓN

En cuanto a los criterios de calidad de la evaluación, el Joint

Committe on Standards for Educational definió claramente, en 1988,

cuatro características básicas: la utilidad, la factibilidad, la legitimi­ dad y la precisión.

La utilidad

La primera categoría, la utilidad, comp~cndc las normas para que la evaluación sea informativa, oportuna e 1~f1u~ente. Esto exige que los evaluadores se familiaricen con las andjencras, conozcan sus ne­ cesidades de información, diseñen evaluaciones que.respo~dan_ a esas necesidades y transmitan con claridad la información adecuada, cuando ésta sea necesaria. ." . Las normas implícitas en esta categona son las siguientes: _ La identificación de la audiencia.

_ La confianza en el evaluador.

La selección y alcance de la información.

.

_ La interpretación valorativa.. La claridad, difusión y oportunidad del informe.

_ La trascendencia de la evaluación.

En definitiva, las normas de utilidad ay~darán a det~rminar y va­ lorar si una evaluación satisface las neceSidades prácticas de infor­ mación de una audiencia determinada.

42

43

La factibilidad

La precisión

El criterio de factibilidad incluye las normas que reconocen que una evaluación. educativa ha de realizarse en un contexto real y con un costo asequible, Una preocupación clave es que el diseño de la evaluación sea realizable en un marco real y que el coste en recursos h~manos, materiales y tiempo, sea razonable en función de los propó­ sitos. Las tres normas de esta categoría son las siguientes:

La cuarta categoría, la precisión, incluye las normas que determi­ nan si una evaluación ha producido la información adecuada. La medi­ ción de un objeto tiene que integrar informaciones variadas, considerando el contexto en el que tienen lugar. La información obte­ nida debe ser técnicamente adecuada y los juicios han de guardar una relación lógica con los datos, sin ninguna clase de extrapolación impru­ dente. Las once normas implícitas en la precisión son las siguientes:

Procedimientos prácticos.

Viabilidad política.

Relación coste/producto ajustada.

. En re~umen, las evaluaciones tienen que ser realistas, prudentes, diplomáticas y económicas.

La legitimidad . La tercera categoría, la legitimidad, incluye las normas que refle­ Jan ~l hecho de que las evaluaciones educativas afectan a las personas de distintas maneras. Estas normas están pensadas para proteger a las personas afectadas por la evaluación.

Las ocho normas de legitimidad son las siguientes:

-

Obligación formal.

Conflicto de intereses.

Exposición total y sincera.

Derecho a la infonnación pública.

Derechos del sujeto.

Interacciones entre personas.

Equilibrio del informe,

Responsabilidad económica.

-

Identificación del objeto. Análisis del contexto. Propósitos y procedimientos descritos. Fuentes de información confiables. Mediciones válidas. Mediciones fiables. Control sistemático de los datos. Análisis de la información cuantitativa. Análisis de la información cualitativa. Conclusiones fundamentales. Informe objetivo.

Estas normas intentan asegurar que la evaluación proporcione in­ formación adecuada sobre las características del objeto de estudio y determine de este modo el mérito o el valor del mismo. El conjunto de las norrnas expuestas propone una filosofía del tra­ bajo evaluativo y constituye el referente más claro del que se dispone para determinar la calidad de una evaluación.

1.6. Algunos tópicos de interés 1.6.1. EVALUACIÓN Y CONTROL

E? definitiva, estas normas exigen que las evaluaciones se reali­ c~n siempre de f0l1l1;a legal, con la ética y el respeto necesarios, por el bienestar de los participantes en la evaluación, así como de los afecta­ dos por los resultados.

Conviene distinguir entre evaluación y control, dado que existe una cierta confusión, debida a que en ambos procesos se utiliza una información parecida. Partiremos en nuestra exposición del pensa­ miento de Rul (1992) quien, a nuestro juicio, es quien mejor precisa la distinción entre ambos conceptos.

44

La acción evalua dora se encue ntra implíc ita en el proces o evaluativo, es critica y supone ofrece r visiones no simplificadas de la realidad. Posibilita la interpretación de los hechos y el diagnóstico real y en profundidad de los problemas, e implica tanto a los sujetos evaluados como a los agentes que la realizan. Bien aplicada siempr e es genera dora de cultura evaluativa. El control es una prerrogativa y una obligación de la sociedad, responsable subsidiaria de la regulación de la acción educativa que ejerce a través del poder político. Para su activación exige un impor­ tante grado de simplificación, no porque sea simplista, sino porque opera sobre la realidad instrumental. Su acción, la de control, si es correcta, genera una cultura norma­ tiva, complementaria de la evaluativa. Aplicadas conjuntamente, me­ joran la realidad educativa y vertebran el cambio en profundidad. En definitiva, el control es respon sabilid ad exclus iva del poder legítimamente constituido, y su misión consiste en posibilitar el man­ tenimiento de la organización a través del equilibrio entre norma (ex­ pectativa social) y realización individual. La evaluación, por su lado, incide en el aprendizaje social de valo­ res (interiorización) y en la confor mació n de la cultura. Su puesta en march a corresponde a los distintos estamentos de la sociedad educa­ tiva. La acción conjunta de ambos factores (evaluación y control) debe gestionarse desde el marco de un model o evaluativo, pues nunca se producirá una acción evaluativa global y convincente sin ese instru­ mento racional y racionalizador. La dificu ltad de genera r, forma lizar y operat ivizar un model o

evaluativo reside sobre todo en la capaci dad de lograr un sistema jus­ to y eficiente que relacione adecuadamente evaluación y control. 1.6.2. EVALUACIÓN, DESCENTRALIZACIÓN Y CRISIS DE LEGITIMIZACIÓN

Hemos destacado en nuestra exposición que la naturaleza de la eva­ luación reside en su capacidad de asignar valores, de generar conoci ­ miento evaluativo. Sin embargo, el conocimiento y los valores están en nuestra sociedad inmersos en una profunda crisis de legitimidad. En lo que concie rne al conoc imient o social es bien conocido el alto grado de desacuerdo que existe en los ámbitos universitarios tan-

45

to en lo que se refiere a su cuerpo de conocimiento, a sus métodos, a sus conceptos básicos como a sus datos.

.'

Sin embargo, más que deplor ar la pérdid a de universalidad del conocimiento válido y el colapso de las modernas narrativas de legi­ timación, los autores post-modernos como Lyotard (1984)" recono ­ cen y aceptan la primacía de los discursos locales y. hete~?geneos. Con el colapso de las narrativas globales de legltl~aCIOn, losco? ­ textos locales se han conve rtido en esenCiales. BaJO la con~lclOn postrnoderna, la interacción local y las redes i~ter-Iocales c~ns.tltuyen el verdadero punto de partida de la constr ucción del conoc imient o'. Mejor que buscar un conocimiento evaluativo universal, se persi­ guen interpretaciones valorativas ~e la realidad elaboradas por la gente que tendrá que compartir las deCisiones Y sobre todo las consecuen­ cias derivadas de las mismas. . En el contexto del conocimiento post-moderno, la descentraliza ­ ción de las administraciones educativas no es meramente una nueva manera más eficiente de administrar o articular las pr~~uestas edu.ca ­

tivas o una respuesta a las deman das locales para facllI~ la partl~l

­ pación democrática. Es, por encim a de ~odo, una tendenCia, un ~mpho

movimiento que está forzando a cambi ar los modelos de administra­ ción centralizados hacia redes de comunidades autónomas mucho más acordes con el cambio que previamente ya se ha producido y que ha ido del conocimientos universal al local (Kvale, 1990). 1.6.3. EVALUACIÓN Y CALIDAD EDUCATIVA

Es evidente que se está produciendo una nueva configuración y organización social cuyo rasgo central consiste en que el conoc muent o y la infonn ación están reemp lazand o a los recursos ~aturales, a la fuerza y al dinero, como variables clave de la generaCIón y distribu­ ción del poder en la sociedad. Esta nueva configuracl?n SOCial lle~a asociada una profunda transformación en la orgamzaclón del trabajo que a su vez está en la base del claro aumento de la desigualdad entre los sujetos (Tedesco, 2000). . . El conocimiento ha pasado a ser, en opinió n de los expertos, el factor fundamental del desarrollo social, cultural y econó mico de las personas y de los países. Sia finales del siglo XVIII era la tierra la que limitaba la capacidad de produc ción y :n el XIX y XX lo fue el capital, en la actualidad el desarrollo econo nuco se f~ndamenta, en las sociedades modernas, en el capital humano. Sólo mcrem entand o

46

los "stocks" de conocimiento de los ciudadanos, es posible extraer un buen rendimiento de los factores físicos de producción. En la medida que la creación de este "stock" exige una transmisión de los conocí­ mie?tos, la educación adquiere en el marco de las sociedades postmdustriales un papel decisivo en su desarrollo (Serra, 20(0). . La evolución de la sociedad, particularmente de aquellas que uti­ lizan las nuevas tecnologías de producción basadas en el uso intensi­ vo de conocimientos e información, pone en evidencia la necesidad de que para poder gestionar la enorme complejidad de estos procesos, se requiere que la inteligencia y la formación de gran calidad no pue­ de estar concentrada en la cúpula de la pirámide, sino que, ésta, debe­ rá estar distribuida de forma más o menos homogénea en todo el tejido social. . En consecuencia, los niveles de calidad y de calificación de los CIUdadanos debe~ de superar ciertos niveles mínimos, sino se quiere entrar, en la lógica actual, en procesos de exclusión. Por otro lado, estas nuevas desig~~dades provocan "un sufrimiento más profundo, porque son percibidas más como un fenómeno personal que socioecon6mico y estructural" (Tedesco, 2000, p. 83). .Estos análisis ponen en evidencia la importancia crucial que ad­ quiere hoy la definición de políticas educativas que garanticen a to­ dos una enseñanza de muy buena calidad. Tal como señala muy acertadamente Tedesco (2000, pp. 85 Y 86), "la educación también modifica su papel, ya que, por un lado, será la variable más importan­ te que permitirá entrar o, por el contrario, quedarse fuera del círculo ~onde se definen y realizan las actividades socialmente más significa­ uvas; y por el, será necesario educarse a lo largo de toda la vida para poder ad~ptarse a los requerimientos cambiantes del desempeño social y productivo. En el futuro, paradójicamente, será necesaria una movili­ dad muy intensa para mantenerse en la misma posición. Este fenómeno tiene consecuencias muy importantes sobre el comportamiento de la demanda educativa. Asumir que debemos educamos a lo largo de toda la vida, que ningún aprendizaje es definitivo y que el acceso al conoci­ miento no garantiza el ascenso social, modifica profundamente la re­ presentaci6n social tradicional que se posee sobre la educación. Se requieren así unas demandas educativas más cualificadas". Parece evidente que en el marco de la sociedad de la información y del conocimiento~ la educación deberá aceptar nuevas realidades y nuevos retos. En pnmer lugar, el nuevo papel que se asigna a la edu­ caci6n imposibilita que ésta pueda ser totalmente cubierta desde una sola institución: la escuela (en su sentido más amplio).

47

Será preciso movilizar a toda la sociedad en su conjunto para que redescubra su dimensión educadora y acepte su responsabilidad en la coordinación de los diferentes agentes que en ella operan para garan­ tizar en todo el momento la universalización de la educación; pero aún es más, deberá incluir entre sus garantías el acceso al conoci­ miento socialmente significativo a todos sus ciudadanos y consecuen­ temente facilitar la continuidad de la acción educativa a lo largo de toda la vida de los ciudadanos. Sin embargo, hemos de ser conscientes que desde esta nueva pers­ pectiva ya no es posible pensar que la regulación de la adquisición del conocimiento por parte de los sujetos vendrá exclusivamente de las instituciones o se producirá espontáneamente basada en la acci6n de los mecanismos sociales a lo largo de toda la vida del sujeto. El individuo deberá adquirir un importante grado de compromiso en su desarrollo personal y deberá adoptar nuevas actitudes que le permitan el acceso a la información y al conocimiento. Es por todo ello que la educaci6n en sus momentos de acción reglada, deberá abor­ dar con valentía la necesidad de ampliar sus contenidos incorporando a los conocimientos académicos clásicos, el desarrollo en los sujetos de un conjunto de competencias y actitudes del todo necesarias en ese nuevo marco de auto-responsabilidad que estamos dibujando. Por todo ello y tal como hemos visto, universalizar la educación ya no es el único reto importante, es del todo preciso que la sociedad adquiera un nuevo compromiso y es conseguir que la educación se construya bajo unos parámetros de calidad que la dimensionen dentro de las nuevas necesidades y que la hagan social y culturalmente sig­ nificati va. Sólo desde una educación de calidad se podrá minimizar los efectos que conducen a la exclusión social y facilitar la equidad entre los sujetas y la cohesión social de las sociedades. Es justamente en este escenario donde se produce el redescubrimiento de la evaluación como uno de los instrumentos más importantes para gestionar eficiente y racionalmente la calidad en la educación. A lo largo de cada uno de los apartados en que hemos subdividido nuestro trabajo y que no hacen sino reproducir los ámbitos educati­ vos más importantes, trataremos de establecer la relación entre el co­ rrespondiente proceso evaluativo y la gestión de la calidad en aquel ámbito.

48

49

1.7. Ámbitos básicos de la evaluación educativa 1.7.1. LA EVALUACIÓN DE LOS APRENDIZAJES DE LOS ALUMNOS

Tal como se desprende del análisis del proceso histórico, la eva­ luación estuvo ligada en un principio a la valoración del aprend izaje de los alumnos, en consonancia con el hecho de que su desarrollo inicial se produjo en el marco de los avances experimentales asocia­ dos a la psicometría y la pedagogía experimental. Así, uno de los capítulos que abordaremos será el de la evaluación de los alumnos donde en los últimos diez años se ha producido un cambio fundamental en el enfoque clásico respecto de la valoración del proceso de enseñanza-aprendizaje. La tendencia actual se centra en orientar toda la atención en valo­ rar los resultados de los aprendizajes de los alumnos en detrimento de los medios, en términos de recursos para la enseñanza, que se han invertido para conseguirlos y a valorar la enseñanza en tanto en cuan­ to conlleva la consecución de resultados (Eisler, 2000). El centro de gravedad se sitúa en los outputs más que en los inpurs. Se cumple con ello, uno de los principios básicos del nuevo paradig­ ma organizativo de la educación, el de la primacía de las finalidades (Hutmacher, 1999), según el cual, se exige que las decisiones y la acción se orienten de una manera prioritaria conforme la voluntad de alcanzar los objetivos establecidos.

1.7.2. EVALUACIÓN DE LA ACCIÓN DOCENTE DEL PROFESOR

Otro de los ámbitos fundamentales de la evaluaci6n educativa es el de la evaluaci6n del profesorado. El profesorado, considerado de forma individual, y muy especialmente como colectivo constituye uno de los ejes principales sobre el que gravita la calidad de la enseñanza, y su evaluación se está convirtiendo en un tema capital en las socie­ dades occidentales. Sin embargo, hemos de ser conscientes que aunque se considere la evaluación del profesorado, tanto por parte de los expertos como de la comunidad educativa, como por parte del propio profesorado, como un elemento clave en la mejora del sistema educativo, a nadie se le escapa que su formalización resulta muy compleja y problemáti­ ca, por no decir conflictiva y aunque en los países occidentales se ha

tratado de resolver esta situaci6n, aún no se han encontrado solucio­ nes plenamente satisfactorias. Así y en primer lugar, aquello de lo que se hace responsable al profesorado, la calidad de la enseñanza, no: es un término definido desde el punto de vista operativo, y no es ningún secreto que detrás del mismo subyace un constructo muy complejo, en cuya configura­ ción intervienen numerosos agentes, entre los que se da una ingente multiplicidad de interacciones. Entre los docentes surge el temor de que, desde las administracio­ nes educativas, en un exceso de simplificaci6n, se identifique calidad de la enseñanza con rendimiento escolar, y que se les quiera responsabilizar en exclusiva de la posible cadenas de petici6n de res­ ponsabilidades en tomo al funcionamiento global del sistema educa­ tivo, ignorando, por un lado, la amplitud conceptual que abarca el término "calidad de la enseñanza" y, por otro, lo err6neo de atribuir los resultados académicos a los docentes, olvidando que también se hallan determinados por la acción de otros factores. Entre estos facto­ res pueden citarse la procedencia sociocultural de los alumnos, las condiciones del centro, su funcionamiento, etcétera. En definitiva, son varias las previsibles dificultades con las que hay que contar cuando se pretende estructurar, en la práctica, un plan evaluativo del profesorado. Algunas, de orden conceptual, se centran fundamentalmente en la dificultad de determinar los referentes que permitan determinar la evaluación y los criterios evaluativos que se van a aplicar. Otras dificultades son de orden técnico y metodol6gico, ya que las diversas técnicas, desde la autoevaluación hasta los test de capacidad o competencia, pasando por las medidas indirectas, observaciones o entrevistas, no acaban de convencer al profesorado. También se presentan dificultades relacionadas con la cultura evaluativa. El reto de un programa de evaluaci6n del profesorado no se ubica en el terreno de lo técnico. La evaluaci6n no es s610 un argu­ mento procesual, sino sobre todo un instrumento generador de cultu­ ra evaluativa. Incluso existen dificultades de gestión política de la evaluaci6n. ¿Dónde se inserta la evaluaci6n del profesorado dentro del contexto general de la acción educativa en un sistema escolar de­ terminado? Con frecuencia, los procesos se asimilan a.la simple reco­ gida de informaci6n. Otras dificultades son de legitimación de la evaluación. ¿Cuál es el marco legal idóneo dentro del cual legitimar los propósitos, el al­ cance y las consecuencias que se derivan del proceso evaluativo y en

51

50

el que establecer las garantías necesarias para preservar los derechos de los evaluados? Finalmente, existen también dificultades de orden deontológico. ¿Cómo preservar y garantizar el derecho a la intimidad y al honor de los evaluados, a la par que ejercer el debido control y las acciones que de él se deriven, tal y como legítimamente le corresponde a la socie­ dad? De estos y otros interrogantes nos ocuparemos en el capítulo decli­ cado a la evaluación del profesorado que, por su importaricia, consti­ tuirá otra de las piezas fundamentales de nuestro trabajo.

1.7.3. EVALUACIÓN DE PROGRAMAS

El siguiente capítulo estará dedicado a la evaluación de progra­ mas. La evaluación de programas educativos cuenta con una larga tradición en los Estados Unidos, donde está reconocida como espe­ cialidad académica específica desde la década de los 60. Uno de los problemas que presenta como praxis, radica en que el objeto de evaluación, es decir, los programas no son entidades per­ fectamente definidas y detrás del constructo pueden localizarse signi­ ficados y dimensiones muy diferentes. Stake (1976), considera que un programa es toda actividad orga­ .nizada que se prolonga en el tiempo para conseguir unos objetivos, que cuenta con un sistema de gestión y de financiación, que se dirige a un grupo de individuos y despierta el interés de muchos otros. Para construir una praxis convincente, la primera tarea del evaluador será conocer a fondo sus claves estructurales, comprenderlas y ser ca­ paz de describirlas con precisión. Éstos serán los pasos previos al dise­ ño de intervención que se inicia en el análisis de necesidades y llega al de los resultados. Generalmente, la propia extensión de los progra­ mas hace impensable diseños en los que se abarquen en su totalidad. La mayoría de diseños operativos se centran en unas cuantas catego­ rías del mismo. En la definición del modelo evaluativo se ha de tener en cuen ta que los programas no son entidades invariables, sino que constituyen en esencia modelos dinámicos de intervención. Desde esta óptica los estudios adoptarán enfoques muy diversos en los que el evaluador se centrará no sólo en los resultados, sino también en los procesos de desarrollo del programa, en especial en cómo a partir de ellos se ge­ neran dichos resultados.

Bajo la misma lógica que comentábamos en la evaluación de los aprendizajes de los alumnos, la tendencia actual es centrar el interés de la acción evaluativa en los resultados, pero no como entidades aisladas, como ocurría en las décadas de los 60 y setenta, sino en el marco complejo del proceso global de la intervención educativa, tra­ tando de identificar, comprender y explicar sus interacciones y el sen­ tido general que la orienta para tratar de optimizarlo. En el capítulo que dedicaremos al tema, trataremos de enmarcar las anteriores reflexiones en el contexto de los diferentes modelos y métodos que actualmente se emplean en la evaluación de programas; así como, describir y explicar las fases más significativas de sus pro­ cesos de evaluación, las características básicas de sus informes y otras metáforas de interés en la evaluación de programas.

1.7.4. EVALUACIÓN DE CENTROS

Seguirá al capítulo dedicado a la evaluación de programas el dedi­ cado a la evaluación de centros educativos. En el marco de los siste­ mas educativos, la importancia de los centros en la consecución de la calidad educativa es poco menos que vital. La escuela constituye la unidad funcional donde interaccionan todos los elementos que ope­ ran en el sistema. Su análisis es fundamental para comprender los procesos educati­ vos y la plataforma ideal para activar la evaluación del conjunto del sistema y de muchos de sus componentes. La idea de calidad educativa va asociada a la de calidad del siste­ ma, y ésta se vertebra primordialmente sobre la calidad de los centros educativos. Sin embargo, uno de los primeros problemas que tendre­ mos que afrontar en el análisis y exposición referidos a la evaluación de centros consistirá en la propia ambigüedad e indeterminación que envuelven al término calidad educativa. En este apartado trataremos de recorrer descriptivamente los dife­ rentes tipos de modelos de evaluación de centros, establecer sus ca­ racterísticas y analizar sus diferencias, para posteriormente aterrizar en aquellos que hemos adoptado administrativamente en nuestra rea­ lidad y proceder a estudiarlos y comentarlos con más detalle. A estas alturas ya poseemos suficiente bagaje experiencia1 en relación con este tema como para atrevemos a incidir crítica pero constructivamente en él.

53

52

1.7.5. LA EVALUACIÓN DE LA ENSEÑANZA SUPERIOR. LA EVALUACIÓN INSTITUCIONAL

Capítulo aparte merece la denominada evaluación institucional, que hace referencia fundamentalmente a la evaluación de las univer­ sidades como instituciones de educación superior. La Universidad como institución ha estado diseñada históricamente para atender a una demanda restringida y, sin embargo, se ha visto enfrentada en los últimos años a la responsabilidad de dar respuestas válidas a una demanda cada vez más masiva. En nuestro país consti­ tuye un servicio público que da cobertura a más de un millón y medio de estudiantes, hecho que supone comparativamente el alcanzar unas tasas de escolarización similares a las que tenía la enseñanza primaria en los años 30 (Michavila, 1998). Por otra parte, se atribuye a la Universidad una segunda función: la investigación. Ambas responsabilidades la han convertido, sin duda, en un factor de alto valor estratégico de desarrollo económico y so­ cial de las sociedades modernas, lo que se traduce en un incremento de interés en conocer y controlar su funcionamiento por parte de las mismas. Paralelamente, en los últimos años, las universidades no han que­ dado al margen del conjunto de cambios que se han operado en el sistema social, económico y tecnológico en el mundo. Cambios que son interpretados, según las corrientes de pensamiento, como un peli­ gro para su supervivencia o como una oportunidad para el crecimien­ to y ampliación de sus bases de actuación. Todo ello ha provocado la proliferación de reformas en los siste­ mas universitarios de los países más avanzados que han afectado no tan sólo a todos sus ámbitos internos, sino también a sus sistemas relacionales con la administración, con las otras universidades y con los agentes más significativos que operan en la sociedad. Uno de los resultados más evidentes de estos nuevos enfoques se sitúa en la necesidad de profundizar en la autonomía institucional. La autonomía no hay que percibirla meramente como una nueva forma más eficiente de gestión, sino que une a su evidente capacidad de mejora de la misma la consecución de una de las aspiraciones más sentida en los ambientes universitarios: la capacidad de garantizar la libertad de investigación y de enseñanza que a su vez son las garantes de la creación y diseminación del conocimiento libre. Es en este marco donde realmente cobra sentido la necesidad de establecer y sistematizar procesos de autorregulación interna y de ren­

dición de cuentas externa, como contrapartida a la nueva libertad ad­ quirida; y es en este contexto en el que se ha ido generando los deno­ minados modelos de evaluación institucional. La mayoría de los modelos desarrollados para la evaluación de las universidades se han centrado, hasta ahora, fundamentalmente, en la evaluación de la actividad docente y de la productividad científica, lo cual no excluye que la tendencia de futuro sea la de ampliar notable­ mente sus campos de acción. La evaluación institucional se define, habitualmente, como un pro­ ceso mediante el cual se pretende dar apoyo a la mejora continua como garantía de la calidad de la institución (AQSUC 2000). Trata de ser un mecanismo de progreso racional, de mejora de la unidad eva­ luada, de rendición de cuentas y de participación de la comunidad educativa en la gestión de la mejora de la calidad. A través de nuestro capítulo dedicado al tema, trataremos de refle­ jar los procesos que hay que desarrollar para poder cumplimentar esta función, describir los esfuerzos realizados por las administraciones en nuestro país para articularlos y exponer algunas de las controver­ sias surgidas en tomo al tema.

1.7.6. LA EVALUACIÓN DE LOS SISTEMAS EDUCATIVOS

La preocupación de las sociedades por la calidad de la educación que imparten sus sistemas educativos constituye un sentimiento am­ pliamente compartido por la mayoría de los países occidentales. No son ajenas a ella algunas nuevas ideas de gran predicamento, como son la vinculación entre educación y desarrollo del capital humano, entre éste y la competitividad y la importancia que se la da hoy en día al conocimiento para el desarrollo social y económico. Esta concepción actual de la educación genera cierto desasosiego ante la posibilidad de que la escuela no cumpla debidamente con su función y fracase a la hora de ofrecer una educación con garantías. La gestión de la mejora de la calidad educativa se ha convertido en un tema prioritario en el marco de la mayoría de las políticas edu­ cativas; aún hay más: a veces, constituye su elemento clave, su inspi­ ración y un argumento privilegiado en la defensa de éstas. Consecuencia de esta preocupación ha sido la creación en la ma­ yoría de países occidentales de organismos cuya misión específica es institucionalizar las prácticas evaluativas dirigidas a diagnosticar y

54

55

evaluar la calidad educativa y a proponer medidas de mejora para SllS respectivos sistemas educa ti vos. Sin embargo, aún estamos lejos de que la evaluación de los siste­ mas educativos constituya una política coordinada entre países y una práctica generalizada, globalizadora e integradora que promueva una verdadera cultura de la evaluación.

estos ámbitos aporta elementos complementarios en la comprensión y evaluación de los otros y no deben considerarse de forma absoluta­ mente independiente. De su desarrollo, de su institucionalización, de su alcance y de sus problemas trataremos en el capítulo que cerrará nuestro libro.

Bibliografía I

"LA

EVOLUCJO~ y

... DALUGAAA UNA SERIE DE VARIA6LES

OIVERSIFICACION METOOOLOGICA DE LAACCION EVALUATIVA...

)

DEFINIDORAS DE LA ACCION EVALUATIVA...

,

QUE POR SU COI'ICEPCIOI'I DIFERENCIADA, GENERAN ACCIONES EN ESFERAS DIVERSAS DE LA EDUCACiÓN'

~

Gona>pclón Bnltopom~I¡jCll. Ge~on

I

MedlclOnda loo 8?1'ondl~8 ea RIC
eaocsao

•• OElBIBTEMA EDUCATIVO

I I

EvaluaclOn d. pfCíl"'ma. (objoUvoa) Tylor,

j REFERENtES

Década da los SO.Evaluación do proglDmu: dasarrollo da modolo •• bollel V I~cnlca •.

I

ClOnboch y SOlivon. pmCI.JroOloodo la

I

ovaluaclón modorna. GI..or: 1001 ... rar\d""

~"\

..
I

ElIipa da !>Ioraolonallzad6n (71)-80)

I

~/

I

FUNCIONES

I

I

61B~o. ~~¡l"n~lI, ~Ic.hDDI.

Ec.loalón dfl mooaloacuanllraHvoB

Ponall:. liamlllM. SummDh. Slulflaba8m. GUbB.•.

PBI'll.¡llamaIhIBlpI'll.IIII1VO: S{;l\vah reacclOh61l'll.f,la a la oomefllol snt,,¡lQr y proPOflBla Bval~ecl6fl 'elfl obJaUvoo·. P"",a1amB BOCloarliul; ......c.clóI>d" OOh la Dvoluacllm·,aIPdncloilnla· y McDoflald eon la ·olmocrllUCIl·.

S~ka

Dk8da da 101SO.Cu..... gMandon . Se 8I>Oga por l. ~"(f!ldad, permeabilidad y complemenloll(;CIad da la. poalu... a o pe...dlgmaa eJ(lalBnlaa,

..DE PROGRAMAS

->

• •DE CENTRDl! EDUCATIVOS

TIPOS

I

I ..DEL PROFE90RAOO COMPONENTES

I

I

I

AMIlITOS

I

... DEl ALUhlNAOO

La realidad es que en los países con mayor tradición educativa, la practica evaluativa se limita a la aplicación de pruebas de rendimien­ to a los alumnos, con un uso muy diverso de sus resultados (Tiana, 1997). La concepción actual de la evaluación de los sistemas educativos exige un esfuerzo superior al realizado hasta el momento. Su diseño implica una perspectiva global e integrada. Global porque las tareas evaluativas no pueden reducirse al rendi­ miento de los alumnos, sino que han de abarcar también programas, currículum, profesorado, centros, administración, investigación, in­ novación, procesos de cambio, etc.; e integrada, porque cada uno de

AGÉNCIA PER A LA QUALlTAT DEL SISTEMA UNIVERSITARI A CATALUNYA. (2000), Quaderns d'autoformació: Comité intern. Barcelona: AQSUC. CRONBACH, L. J. (1983), "Course improvement through evaluation", en Payne, D. A. Y Morr¡s, R. F. Educational and psychological measurement, contributions to theory and practice. Nueva York: General Leaming Press. CRONBACH, L. J. el al. (1980), Toward reform of program evaluation. San Fran­ cisco: Jossey Bass. EISLER, D. L. (2000), New Paradigms for Teaching and Learning: An American Perspectíve. Paper presentado en la Universidad Pompeu Fabra en su décimo aniversario. Barcelona: Universitat Pompeu Fabra. EISNER, W. E. (1985), The Art of educational Evaluation. A personal view. Lon­ dres: Falmer Press . ELLIOT, J. (1990), "Democratic Evaluation as Social Críticisim or putting the judgement back into evaluation", en Norris, N. [ed.), Theory in Practice. Norwieh: Universidad de Anglia del Este. Center for Applied Research in Edueation. GLASER, R. (1963), "Instructional rechnology and the measurement of leaming outcomes: sorne questions", American Psychologist, 18,5 19-521. GUBA, E. G. Y Lincoln, 1. S. (1989), Fourth Generation ofEvaluation. San Francis­ co: Jossey Bass. HOUSE, E. (1993), Professional evaluation. Social impact and politieaJ consequences, Londres: Sage. HUTCHMACHER W. (1999), "L'Avalauació en la transformació de les modalitats de govern deIs sistemes educatius. Tendencies europees". en Avaluació i Educació, 15-34. Barcelona: Generalitat de Catalunya, ConseIl Escolar de Catalunya. JOINT COMMITTEE ON STANDARDS FOR EDUCATIONAL EVALUATION (I988), Normas de evaluación para programas, proyectos y material educativo; México: Trillas. (Original Nueva YorkrMcflraw-Hill, 1981.) KEMMIS, S. (1986), "Seven Principies for Programme Evalualion in Currículum", en House E New Directions in Educational Evaluation, Londres: Faimer Press. KVALE, S. <'1990), "Evaluation and decentralisation of knowledge" en Granheim, M. et al. Evaluation as policymaking. Londres: Jessica Kingsley Publishers. LYOTARD, J. F. (1984), The Postmodem Condition: A report on Knowledge. Minneápolis. (Traducido al español como La condición postmodema. Informe sohre el saher. Madrid: Cátedra.) MCDONALD, B. (1977), "A Political Classificalion of Evaluation Studies", en Hamilton, D" Jcnkins, D. y King, C. Beyond the numbers Game. Londres: McMillan. MATEO, J. (1998), "La evaluación educativa" en Mateo, J. (dir.) Enciclopedia Ge­ neral de la Educación, 532-586. Barcelona: Océano.

56

METFESSEL, N. S. y MICHAEL, W. B. "A paradigm involving multiplecriterion measurement for the evaluation of effectiveness of School Programs", Educational and Psychological Measurement, n? 27, 931-943. MICHA VILA, F. (1998), "Evaluación Institucional para la mejora de la actividad académica", en Universitat: estratégies per avancar (seminario internacional so­ bre dirección estratégica y calidad de las universidades). Barcelona: Univerxitat Politécnica de Catalunya. PARLETT, M. Y HAMILTON, D. (1972), Evaluation as IIIumination: A New Approach to the Study of lnnovary Prograrnmes. Edinburgh: University of Edinburgh, Centre for Research in the Educational Sciences. RICE, J. M. (1897), "The futility of the spelling grind", The forum, 23,163-172. RUL, J. (1992), La qualitat educativa a la cruúla de la gesti6 i la cultura, Barcelona: Generalitat de Catalunya, Deparrament d'Ensenyament. SCRIVEN, M. S. (1967), "The methodology of evaluation", en Perspectives of cu­ rrículum evaJuation (AERA Monograph Series on Currículum Evaluation, n" 1. Chicago: Rand McNally. SCRIVEN, M. S. (1973), "Goal-free evaluation", en House, E. R. (ed.), Scl100l Evaluation: The Politics and Process. Berkeley: McCutcham Publ. Co. SERRA, A. (2000), "Preámbulo" del libro L'educació superior en el siglo XXI. Bar­ celona: UNESCO. STAKE, R. E. (1967), "The countenance of educationa! evaluation", Teachers College Record, 68, 523-540. STAKE, R. E. (1975), "Program evaluation, particulary responsive educatiun", Occasional Paper Series n" 5, Universidad de Western Michigan, Centro de Eva­ luación. STAKE, R. E. Y DENNY, T. (1969), "Needed concepts and techniques for utilizing more fully the potential of evaluation" en National Society for the Study of Education Yearbook, LXVlII, Pt 1, p. 370. Chicago: Univcrsity of Chicago Prcss. STUFFLEBEAM, D. L. (1973), ANew Conceptualization ofEvaluation Cornpetence. Nueva Orléans: AERA paper. STUFFLEBEAM, D. L. Y GUBA, E. (1968), Evaluation: the process of stimiulating aiding and abetting insightful aetion, papel presentado en el segundo simposium nacional de profesores de investigacióu educativa. Ohio State University, College of Education, Evaluation Centre. STUFFLEBEAM, D. L. Y Shinkfield, A. (1993), Evaluación Sistemática. Guía teó­ rica y práctica. Barcelona: Paidós-MEC. TEDESCO, J. C. (2000), "Educación y sociedad del conocimiento". Cuadernos de Pedagogía, 288, 83-86. TIANA, A. (1997), Avaluació de programas, centres i professorat. Barcelona: UOC. TYLER, R. W. (1950), Basic PrincipIes of Currlculum and Instruction. Chicago: Uuiversíty of Chicago Press.

2. La evaluación del aprendizaje de los alumnos La evaluación no ha de ser un medio para conseguir que los sujetos se adapten a los medios instructivos, sino un sistema para adaptar las con­ diciones de instrucción a los individuos con la finalidad de maximizar su potencial de éxito.

"The Overall Assessment Prophcy" (Dochy y McDovell, 1997)

2.1. Cambios fundamentales en la evaluación de los aprendizajes del alumnado En los últimos diez años se han producido un conjunto de cambios en la evaluación de los aprendizajes que han supuesto posiblemente la innovación más importante que está afectando al pensamiento ac­ tual sobre aprendizaje, escuela y enseñanza. Vamos a tratar de pre­ sentarlos brevemente.

2.1.1. CAMBIOS EN EL ENFOQUE DEL PROCESO DE ENSEÑANZA­

APRENDIZAJE: DEL ÉNFASIS EN LA ENSEÑANZA AL ÉNFASIS EN EL APRENDIZAJE

Uno de los cambios fundamentales es el acontecido en el enfoque clásico respecto de la valoración del proceso de enseñanza-aprendi­ zaje. La tendencia actual se centra en orientar toda la atención en valorar los resultados de los aprendizajes de los alumnos en detri­ mento de los medios, en términos de recursos .para la enseñanza, que se han invertido para conseguirlos. El centro de gravedad se sitúa en los outputs más que en los inputs. Se cumple con ello uno de los principios básicos del nuevo paradigma organizativo de la educación: la primacía de las finalidades (Hutmacher, 1999), según el cual se

59

58

exige que las decisiones y la acción se orienten de una manera priori­ taria conforme la voluntad de alcanzar los objetivos establecidos. Entre los factores que a juicio de los expertos han conducido a este nuevo enfoque podemos citar los siguientes (Mehaffy, 2000): - La nueva cultura del consumo. El punto de vista que debe pre­ valecer es el del usuario, en este caso del alumno. En esta nueva cul­ tura existe el convencimiento de que el conocimiento es importante en la medida que es aprendido y no enseñado. - Las nuevas medidas de petición de responsabilidades desde las administraciones. La accountability centra su acción en la com­ probación de la asunción de los objetivos previamente establecidos, Los resultados más valorados son aquellos que se expresan en térmi­ nos del rendimiento de los alumnos. - Las demandas de la sociedad. Existe un creciente interés de la sociedad en su conjunto por comprobar si los estudiantes finalizan su formación, habiendo adquirido aquellos conocimientos, competen­ cias y habilidades que realmente garanticen una buena inserción en niveles de formación de orden superior o en la vida social y laboral.

2.1.2. CAMBIOS EN LOS CONTENIDOS SUJETOS A EVALUACIÓN

La naturaleza de las ejecuciones que son objeto de evaluación se modifica también sustancialmente, ampliando el campo de conteni­ dos y asignándoles y enfatizando sus valores de forma distinta a la tradicional. Así, a los contenidos académicos clásicos se añaden los conteni­ dos procedimentales y actitudinales y a todos ellos se les complemen­ ta con un conjunto de capacidades, habilidades y valores de tipo transversal que también deberían ser objeto de evaluación, bástenos citar con la Commission on Highe r Education americana (1997) los siguientes:

-

Habilidad para pensar críticamente. Habilidad para desarrollar estrategias para la resolución de pro­ blemas. Capacidad efectiva para escribir y comunicarse oralmente. Competencia tecnológica, especialmente con bibliotecas y otros recursos de gestión de la información.

Familiaridad con las matemáticas

Actitudes asociadas con los valores humanos y juicios respon­

sables.

Listado al que podríamos añadir otros sugeridos desde otras ins­ tancias, pero que en definitiva nos están indicando la obligación de afrontar la necesidad de consensuar y desarrollar nuevos objetos de enseñanza y aprendizaje para los sistemas educativos que comple­ menten y resitúen los ya considerados clásicos.

2.1.3. CAMBIOS EN LA LÓGICA DE LA EVALUACIÓN DE LOS APRENDIZAJES

Es en este contexto donde la evaluación de los aprendizajes cobra una especial dimensión y focaliza su atención en la comprobación de su asunción por parte de los estudiantes, pero no para únicamente proceder a emitir juicios valorativos respecto de los mismos sino para incidir en la mejora de la institución en su conjunto, especialmente en lo que hace referencia a los procesos de enseñanza-aprendizaje. Nos encontramos en una nueva situación en la que para gestionar­ la y hacerla viable será preciso que su lógica de funcionamiento am­ plíe su campo de acción y garantice también la necesaria vinculación entre el proceso de enseñanza y el de evaluación. Así, la Commission on Hig her Education señala como pasos a desarrollar los siguientes (CHE, 1997): Identificar los conocimientos y las habilidades que los estu­ diantes deberían aprender y las competencias que deberían de­ sarrollar para estar capacitados para su posterior aplicación en la vida real. Identificar los atributos personales que los estudiantes debe­ rían adquirir y/o desarrollar en una institución educativa. Considerar y decidir respecto del conjunto de métodos que habrá que aplicar para realmente capturar información relevante res­ pecto del rendimiento académico y del desarrollo personal. Recoger y analizar la información evaluativa requerida para juzgar la efectividad de la Institución en lo que hace referencia a la enseñanza y al aprendizaje.

60

61

Desarrollar un sistema para comunicar la información recogi­ da de forma que facilite la mejora de la enseñanza y del apren­ dizaje. Pero no se trata simplemente de una nueva reestructuración de los posicionamientos clásicos, sino que lo que se preconiza es sobre todo un cambio en la naturaleza de los elementos que intervienen. Así, cuando hablamos de conocimientos, habilidades y competencias, es fundamental entender que hacemos referencias a aquellos que son socialmente relevantes y no basta con que lo sean desde el punto de vista puramente académico. Cuando mencionamos el desarrollo de atributos personales, que­ remos señalar que no podemos dejar su activación al azar, sino que hay que preverla desde el inicio de la acción educativa en el propio marco de la institución universitaria así como su evaluación. Al igual que el contenido de los aprendizajes se entienden desde un sentido mucho más amplio que como se ha acostumbrado a hacer des­ de la perspectiva tradicional, los métodos para su evaluación van a pre­ cisar de la misma transformación. Hay que ampliar la tipología de los procedimientos empleados y extender su uso a todos los ámbitos. También será preciso nuevas formas organizativas de la institu­ ción en general y del profesorado en particular. No habrá más reme­ dio que desarrollar el sentido colaborativo de los educadores (las nuevas aproximaciones evaluativas de los aprendizajes sobrepasan la dimensión individual del profesorado), para que estos procesos sean abordados de forma conjuntamente planificada. También será preciso modificar los sistemas de gestión de la eva­ luación por parte de los centros que les obligará a explorar nuevas formas organizativas para la recogida, explotación y diseminación de la información evaluativa Cuando nos referimos al análisis ya la comunicación de la infor­ mación evaluativa, estamos preconizando cambios sustanciales. El verdadero rasgo diferencial de las sociedades postindustriales no re­ side tanto en la cantidad de información que poseen, sino en su capa­ cidad de análisis y uso intensivo y extensivo de la misma. A una institución moderna se le debe exigir capacidad organizativa para recoger la información, estructura para acumularla, uso de mo­ dernas formas de explotación de la misma por compleja que ésta sea, agilidad en los procesos de comunicación para extender con rapidez sus aplicaciones y flexibilidad y eficacia para activar los procesos de cambio.

Fundamentalmente, el colectivo más afectado por los cambios en la evaluación del aprendizaje, es el del profesorado. Las nuevas fór­ mulas evaluativas exigen que los profesores usen sus juicios respecto de los conocimientos de sus alumnos de forma eficiente, entiendan que deben incluirlos en la retroalimentación de ~u actividad docente y en atender las variables necesidades de apr~ndizaje de sus alu~nos (Tunstall y Gips, 1996). Aprendan a compartir la toma ~e ~eclSlones en lo que concierne a los procesos de enseñanza-aprendizaje con sus colegas, con los alumnos y con los padres de los alumnos (Stiggins, 1997; Gipps, 1994). Todo ello les obliga, en palabras de Hargreaves (1999), a recons­ truir su pensamiento en lo que hace referencia al significado del apren­ dizaje y al papel de la evaluación y a modificar un conjunto de hábitos organizativos anclados en el pasado. . . Es justamente en estas características donde va a residir el verda­ dero reto de una innovación en profundidad de los procesos de eva­ luación de los aprendizajes de los alumnos y evidentemente va a ser donde vamos a encontrar las mayores dificultades.

2.2. Los retos de la reconceptualización de la evaluación de los aprendizajes

Los cambios que se plantean suponen una reconceptualización de la evaluación y de sus procesos y antes de continuar con la exposr­ ción, proponemos tratar de anticipar las implicaciones que su m~o­ ducción supondrá y analizar con Hargreaves (1999) sus con~ecuenclas desde las perspectivas tecnológica, política, cultural y social.

2.2.1. PERSPECTIVA TECNOLÓGICA

Esta perspectiva asume que cualquier innovación es u.na tecnolo­ gía con soluciones predecibles y que pueden ser transfendas de ~na situación a otra. Aplicado al campo de la evaluación de los aprendiza­ jes, la perspectiva tecnológica se focaliza en asp~tos tales como la organización, la estructura, la estrategia y las habilidades para el de­ sarrollo de nuevas técnicas de evaluación.

62

Por tanto, desde esta perspectiva asumimos que un proceso alter­ n~tI,Vo de evaluacl?n de los aprendizajes como el planteado, consti­ turna una tecn~logla compleja que requeriría formación y práctica en desarrollo de sistemas de medición fiables y válidos y construidos de lfo1anera que sean capaces de capturar la complejidad de la informa­ cíón sobre la ejecución de los aprendizajes por parte de los estudian­ tes (perj'ormance-based assessment). Las consecuencias previsibles desde esta perspectiva estarán en las que presenten los profesores que se manifestarán como inexpertos en el tema. y faltos de tiempo tanto para su formación como para desa­ rrollar la instrumentación o tecnología apropiada para este enfoque evaluativo.

63

Llevado hasta sus últimas consecuencias, habría que incluir a los agentes políticos, administrativos y sociales como partícipes en los nuevos diseños evaluativos, en la medida que otorgan substantividad y relevancia a ciertos tipos de conocimientos o habilidades y condi­ cionan con ello los nuevos procesos de aprendizaje y de evaluación. Las dificultades que previsiblemente pueden surgir, se centran en lo reacios que son los sujetos de cualquier colectivo profesional a ceder parte de aquello que considera de su personal incumbencia y la poca cultura organizativa que existe en la realidad de los centros edu­ cativos frente al trabajo en equipo.

2.2.3. LA PERSPECTIVA CULTURAL 2.2.2. LA PERSPECTIVA POLÍTICA

. La perspectíva política en innovación educativa implica el ejerci­ ~IO y la negocIa~lón del poder y de la autoridad y la competencia de intereses entre diferentes grupos (House, 1981). Si nos situamos en el ámbito ~specffico de la evaluación hemos de reconocer que toda eva­ luación implica actos de poder y que los modelos alternativos pro­ puestos suponen ceder y compartir parte del mismo. Torrance y Pryor (1995) identifican dos aproximaciones evaluativas conceptualmente distintas, que ellos denominan como la evaluación convergente y la divergente. En la evaluación convergente, lo realmente importante es deter­ minar lo que el alumno sabe, comprende o puede hacer respecto de alguna cosa previamente determinada. El poder de la toma de deci­ siones se sitúa fundamentalmente en el área del profesor. En la divergente, en cambio, el énfasis se centra en lo que aprende ~ en cómo lo hac:e. Los alumnos deben aceptar parte de la rcsponsabi­ lidad en su propIO proceso y los profesores en la creación de las con­ diciones para que éste ocurra. Este ejercicio supone compartir parte del poder, como puede ser el hecho de que los criterios evaluativos deben ser previamente conocidos y a menudo desarrollados de forma colaborativa con ellos. Huelga señalar que en los nuevos planteamientos, desde el mo­ mento que los procesos evaluativos son compartidos y diseñados con­ Juntamente por los profesores, el compartir el poder no sólo hace referencia a los estudiantes sino que supone una clara redistribución del mismo entre el propio equipo de profesores.

La perspectiva cultural analiza cómo las innovaciones son inter­ pretadas e integradas en el contexto social y cultural de una institu­ ción (Fullan, 1993; Hargreaves, 1994). Desde la perspectiva cultural, el verdadero reto de las nuevas pro­ puestas evaluativas se sitúa en la necesidad de que los profesores reconceptualicen y reculturalicen sus juicios respecto de la naturale­ za y el propósito de la evaluación de los aprendizajes. La innovación en la evaluación de los aprendizajes supone la apli­ cación coordinada de un conjunto importante de distintas estrategias. Una evaluación auténtica es por naturaleza multi-direccional, directa, su uso ha de ser intensivo de forma que produzca retroalimentación continua y rápida. • Los criterios evaluativos no deben ser ni ocultos ni misteriosos sino transparentes. La actitud de profesores y alunmos no puede ser pasiva sino que todos deben estar activados y perfectamente ensam­ blados en un proyecto que lo perciben como común. La evaluación desde esta perspectiva cultural implica revaluación y autoevaluación hasta alcanzar los logros de aprendizaje previstos. Los objetivos de la nueva evaluación no se sitúan en el control sino en la mejora, en la optimización de la capacidad de aprendizaje de los alumnos, de enseñanza de los profesores y de creación de entornos favorecedores de ambos por parte de la institución. Es obvio que las dificultades desde esta perspectiva surgirán de la dificultad de cambio en el pensamiento tanto de profesores como de alunmos. Nuestra sociedad está acostumbrada a otras metáforas, y modificar hábitos sobre prejuicios tan enquistados en las rutinas su­ pondrá indudablemente un importante esfuerzo.

64

2.2.4. LA PERSPECTIVA SOCIAL

Las sociedades modernas avanzadas se han ido construyendo so­ bre un conjunto de elementos que les confieren unas características muy determinadas y que afectan sustancialmente la innovación edu­ cativa. Desde la perspectiva social se postula la necesidad de analizar en qué medida las sociedades modernas avanzadas afectan la innova­ ción educativa. Así y en primer término, hemos de aceptar que nuestra sociedad constituye una realidad compleja, diversa e incierta. Hechos que aun­ que hay que percibir como elementos enriquecedores, suponen una enorme complicación en el momento de pretender establecer y desa­ Hollar la misión de la institución y consecuentemente orientar su inno­ vación y establecer los objetivos y la evaluación de su nivel de logro. En segundo lugar y como un hecho transversal, hay que conside­ rar el nivel de impacto que ha producido la presencia de las nuevas tecnologías, las actitudes que ha despertado frente a ellas y las expec­ tativas que ha generado. Así, en lo que afecta a los procesos de inno­ vación educativa, la sociedad se pregunta sobre los tipos de habilidades básicas que tendrían que desarrollar necesariamente nuestros alum­ nos (y que consecuentemente habrían de constituir objeto de forma­ ción en la educación); cómo se deberían reorganizar los procesos de enseñanza y aprendizaje: de qué manera estarían mejor representados los aprendizajes si aplicamos en su diseño los avances tecnológicos o cómo se podría integrar la evaluación en el contexto de las nuevas tecnologías, entre otras cuestiones. Finalmente, hay que considerar también las distancias que se han abierto entre la realidad que vive el sujeto en su ambiente habitual y el de los centros educativos, de tal forma que se admite que cada vez es más habitual el sentimiento por parte del estudiante de sentirse ajeno a todo lo que le rodea en el ámbito escolar (sólo hay que cons­ tatar la creciente dificultad por conseguir la participación del estu­ diantado). La propia diversidad familiar, social y cultural en la que el sujeto se mueve y está inmerso, genera tales diferencias entre ellos que después no es sencillo construir en el espacio escolar un discurso común que sea percibido como relevante para todos. Muchos profesores, en todos los niveles educativos, admiten la dificultad de contactar con sus alumnos llegándolos a percibir como difíciles de conocer y de predecir (Bigum y Fitzclarence, 1994). Una actitud frecuentemente expresada por parte del profesorado ante el alumnado es la de desconcierto, que evidentemente constituirá lino

65

de los elementos con los que habrá que contar en la construcción de nuevas formas evaluativas. Las características generales aquí señaladas cuestionan la posibi­ lidad de establecer modelos únicos de evaluación, de aquí la impor­ tancia de introducir la necesidad de que la evaluación se sustente sobre una multiplicidad de fuentes y evidencias; debe admitir diversos ~un­ tos de vista, compartir juicios y ha de ser permanentemente redeflll~ble. En general es fundamental el aceptar como su carácter más propio la pluralidad.

2.3. Modelos de evaluación de los apreudizajes Finalizábamos el apartado anterior señalando que el carácter más propio de la evaluación actual es su pluralidad: pl~alidad de los enfo­ ques, de los contenidos, de los métodos, de los instrumentos, de .Ios agentes, de las audiencias, etc.; vamos a tratar, desde esta. aceptación plural, de presentar de forma comparativa los enfoque.s tradicionales de la evaluación de los aprendizajes frente a las alternativas emergentes. La realidad es que a lo largo de la centuria, que)ustamente ah?ra acaba, el enfoque tradicional basado casi en exclusiva en la recogida de información evaluativa mediante test construidos por el propio profesor o estandarizados ha sido y continúa siendo el modelo pre­ ponderante. . . Esta perspectiva tal como se plantea, nos proporciona un tipo de información cuantificada que es fundamentalmente útil para compa­ rar las realizaciones de unos grupos de estudiantes frente a otros y no facilita, en realidad, otros tipos de información también relevante que nos permitan una gestión más eficaz de los juicios extraídos sobre el conocimiento de nuestros alunmos. Mediante la aplicación de las estrategias y de los instrumentos del enfoque tradicional, no sabemos a ciencia cierta c~mo. están apre~­ diendo nuestros estudiantes y cómo les afecta la aplicación del curn­ culum; aún es más, el tipo de capacidades que p~nen en jue~o no siempre están relacionados con el tipo de conocimientos o habilida­ des que tienen verdadera significación en el mundo real. Por todo ello surgen movimientos que enfatizan el uso de métodos que faciliten la observación directa del trabaj~ de los al~mnos y. ~e sus habilidades. Este nuevo enfoque es conocido como evaluación alternativa".

67

66

Como acostumbra a pasar cuando aparece un nuevo término, rápi­ damente aparecen variaciones en su significado y distintas argumen­ taciones según sea éste. Así, es bastante habitual utilizar como sinónimos los términos evaluación alternativa, auténtica y de ejecu­ . ción (performance assessmenty. Evidentemente, cualquier método que aplique instrumentos de me­ dición del rendimiento distintos de las pruebas de elección mültip le o de construcción basada en el desarrollo de objetivos predeterminados, se puede considerar propiamente como una fórmula alternativa al siste­ ma tradicional. Y prácticamente todos los sistemas alternativos com­ prometen al alumno en la realización de algún tipo de ejecución. Sin embargo, Meyer (1992) afirma que la evaluaciÓn denominada como de ejecución y la denominada como auténtica no son la misma cosa. Para que una evaluación alternativa pueda ser calificada de autén­ tica es preciso que los alumnos estén comprometidos en la ejecución de tareas pertenecientes a la vida real o de un gran parecido, y este tipo de prueba no puede ser ideado por el profesor. Por su lado, esta condición no es en absoluto necesaria en una prueba de ejecución. A modo de ejemplo de una evaluación de ejecución que no es auténtica, podemos tomar el siguiente caso (Meyer, 1992) en el que se compromete a los estudiantes en la realización de un ejercicio de evaluación de su capacidad para redactar. Los alumnos son informa­ dos que deberán escribir una historia corta, que será usada para eva­ luar sus habilidades como escritores. El profesor presenta a los alumnos los elementos fundamentales para la realización del escrito. Con estas indicaciones se les concede tres sesiones de una bora a lo largo de tres días para realizarla. El primer día es dedicado a generar el tópico que servirá de base para la historia, el segundo para crear un primer borra­ dar y el tercero y último para preparar el definitivo. Ciertamente, los alumnos se ven involucrados en el proceso de escribir, pero pocos escritores en la vida real, escriben historias cortas bajo estos espacios de tiempo tan rígidos o siguiendo las limitadas instrucciones el profesor. En definitiva, la evaluación basada en ejecuciones y la autentica son dos modalidades dentro del denominado enfoque alternativo, en el cual, la evaluación de ejecución requiere que los estudiantes, en un momento determinado, demuestren, construyan, desarrollen un pro­ ducto o solución a partir de unas definidas condiciones y estándares (Rodríguez, 2000), y la auténtica se basa en la realización de tareas reales.

Por su lado, Khattri y Sweet (1996) señalan que adoptar la evalua­ ción de ejecución implica los siguientes pasos a realizar por los estu­ diantes: Estructurar las tareas objeto de evaluación.

Aplicar una información previa.

Construir respuestas.

Explicar el proceso que les ha llevado una determinada res­ puesta. Es evidente que las tareas reales incluyen todas las condiciones contenidas en la evaluación basada en ejecuciones, pero añade la rea­ lidad como elemento diferenciador, y es obvio que la evaluación al­ ternativa debería tender a la auténtica; sin embargo, es del todo ingenuo pensar que seremos capaces de generar tantos escenarios de realidad como necesidades evaluativas tengamos. Aún así, los educadores pueden tender a la ideación de aproxima­ ciones con el mayor carácter de autenticidad posible. Frazee y Rudnitski (1995) nos señalan como ejemplos de aproximaciones a la autenticidad: la resolución de problemas, el diseño y la ejecución de experimentos sobre problemas reales, la creación de vídeos, trabajos de campo, desarrollo de demostraciones, la construcción de modelos, la promoción de debates, la publicación de diarios escolares, simula­ ciones por ordenador, etc., (por supuesto no se trata de una lista ex­ haustiva). La clave está en recordar que la evaluación auténtica es aquella que evalúa las ejecuciones de los estudiantes bajo situaciones estratégicas que conectan a los estudiantes con las situaciones y las condiciones de la vida real. Podríamos resumir con Wolf y Reardon (1996), las características más básicas de los dos grandes enfoques que hemos confrontado: el tradicional y el alternativo.

2.3.1. CARACTERÍSTICAS DE LA EVALUACIÓN TRADICIONAL

Muestras: pruebas de elección múltiple, de emparejamiento, de verdadero o falso, de ordenamiento, de completar, etc. Juicio evaluativo basado en la recogida de información objeti­ va e interpretación de las puntuaciones.

68

69

Focalizada fundamentalmente sobre la puntuación del alumno en comparación con la puntuación de los otros alumnos, Permite al evaluador presentar el conocimiento del alumno mediante una puntuación, La evaluación tiende a ser generalizable, Provee la información evaluativa de tal forma que inhibe la acción curricular o instruccionaL Coloca la evaluación bajo la decisión del profesor, u otra fuer­ za externa, .

2.3.2. CARACTERíSTICAS DE LA EVALUACIÓN ALTERNATIVA

Muestras: experimentos de los alumnos, debates, portafolios,

productos de los estudiantes.

Juicio evaluativo basado en la observación, en la subjetividad

y en el juicio profesional.

- Pocaliza la evaluación de manera individualizada sobre el alum­ no a la luz de sus propios aprendizajes.

Habilita al evaluador a crear una historia evaluativa respecto

del individuo o del grupo.

La evaluación tiende a ser idiosincrásica.

Provee información evaluativa de manera que facilita, la ac­

ción curricular.

Permite a los estudiantes participar en su propia evaluación.

2.4. El proceso evaluativo Independientemente de los distintos enfoques y en lineas genera­ les, el proceso evaluativo de los aprendizajes de los alumnos aten­ diendo a la mayoría de los manuales al uso, se articula en las siguientes fases (Rodríguez, 2000): establecimiento de los objetivos de la eva­ luación, asignación de las tareas a realizar por el alumnado, fijación de los cnterios de realización de las mismas, explicitación de los estándares o niveles de logro, tomar las muestras de las ejecuciones de cada alumno/a, valoración de dichas ejecuciones, proveer el ade­ cuado feedback al alumno/a y tomar la decisión, fases que pasamos a comentar a continuación.

2.4.1. ESTABLECIMIENTO DE LOS OBJETIVOS DE EVALUACIÓN

El dominio de contenidos cuyo logro por parte de los alumnos se pretende comprobar, es necesario establecerlo al inicio del proceso evaluativo. Evidentemente, la amplitud y la rigidez con que serán fijados dependerá en gran manera del enf oque, pero al margen de ellas, todo proceso evaluativo parte de algún tipo de concreción res­ pecto de los mismos.

2.4.2. ASIGNACIÓN DE LAS TAREAS A REALIZAR POR EL ALUMNADO

Posiblemente éste es uno de los momentos más cruciales de los procesos de evaluación de los aprendizajes, el momento en que el dominio a evaluar debe ser concretado en el tipo de tarea sobre la que se recogerá información evaluativa. Obviamente aquí las diferencias según sea el posicionamiento metodológico serán profundas y distan­ tes. ¿Autenticidad o artificialidad en la naturaleza de las tareas? ¿Proactividad o reactividad en las propuestas concretas? Estos y otros muchos dilemas deberán ser resueltos en el momento de plantearse las tareas a realizar para evaluar los aprendizajes que supuestamente subyacen en ellas.

2.4.3. FIJACIÓN DE LOS CRITERIOS DE REALIZACIÓN DE LAS MISMAS

Las tareas ofrecen muchas variantes de realización, más cuanto más cercanas a la realidad estén. Es preciso establecer criterios sobre su realización de forman que permitan al observador concretar la focalización donde situar la recogida de información evaluativa.

2.4.4. EXPUCITACIÓN DE LOS ESTÁNDARES O NIVELES DE LOGRO

Es necesario establecer los niveles que permiten afirmar que la tarea se ha realizado convincentemente de acuerdo a los niveles de logro preestablecidos por definición o consenso. No es sencillo esta tarea, que exige, por un lado, un cierto grado de objetivación de reali­

70

71

dades complejas y, por otro, experiencias previas qu- ayuden a fijar dónde residen los niveles de logro aceptables en conte.xtos normatívizados.

conciencia en los procesos de aprendizaje constituye uno de los im­ portantes retos educativos a los que la evaluación puede proporcionar soluciones.

2.4.5. TOMAR LAS MUESTRAS DE LAS EJECUCIONES DE LOS

ALUMNOS

2.4.8. TOMA DE DECISIONES

Es el momento de seleccionar los procedimientos o estrategias para capturar la información. La recogida de muestras de las ejecu­ ciones de los alumnos es otra de las fases fundamentales del proceso. De la calidad de la información recogida dependerá la substantividad de la toma de decisiones. Junto con la fase de determinación de los contenidos a evaluar suponen a nuestro juicio las etapas más compro­ metidas del proceso.

2.4.6. VALORACIÓN DE DICHAS EJECUCIONES

. Constituye el momento propiamente evaluativo: el de la asigna­ ción de JUICIOS a valorar respecto de las ejecuciones realizadas. Exige

que previamente se hayan establecido los referentes correspondien. . tes, ya que un juicio exige necesariamente siempre algún tipo de com­ paración, Como comentaremos con más detalle más adelante, las dos formas más al uso son los juicios de referencia normativa, más pro­ pios del enfoque tradicional y los de referencia criterial, más usados en la evaluación alternativa.

2.4.7. RETROALIMENTAR ADECUADAMENTE AL ALUMNO

La información evaluativa recogida debe ser usada extensiva e intensivamente, muy especialmente para retroalimentar los procesos formativos de los alumnos. Una adecuada retroalimentación está en la base del llamado aprendizaje autónomo; sólo desde la reflexión evaluativa es posible capacitar al alumno para que tome conciencia de su situación en el continuum trazado por el proceso de aprendizaje. Ubicarse en ese contexto resulta primordial para graduar el es­

f~erzo, incre~entar la atención .sobre los elementos que lo precisan y

dirigir la acción de forma inteligente y apropiada. El incremento de

La retroalimentación comentada es una de las consecuencias deri­ vadas del proceso evaluativo, pero evidenteme.nte la infor~ac~ón evaluativa deberá situarse en el contexto estratégico de la institución para analizar y desarrollar el cúmulo de decisiones que se podrán de­ rivar de ella bien sea directa o indirectamente. Los modelos de toma de decisiones en las organizaciones comple­ jas modernas, acostumbran a ser de corte matricial. La información fluye en las redes establecidas de forma que alimenta los dlferent~s ámbitos de decisión y su estructura facilita no tan sólo los análisis decisión directa, sino también los que son resultado del entramado ­ 'interacciones existentes. Posiblemente, la información evaluativa constituye uno de flujos de mayor importancia en el funcionamiento de las instituciones edu­ cativas, pero desgraciadamente no encuentra, en la de los casos, cul­ turas organizativas lo suficientemente desarrolladas para que pueda aplicarse en toda su potencialidad. . . . Ante el riesgo que ello implica: torna de decisiones mgenuas, su­ perficiales, parciales, evidentes, que no tienen en cuenta los niveles de rechazo, etc., o, lo que es peor, que suponen una mejora puntual o inmediata y resultan negativas a la larga o para el conjunto, es nece­ sario extremar la prudencia y se impone el tratar de reflexionar pre­ viamente respecto del modelo de calidad de formación que se persigue y del tipo de organización en el que se inserta la m~dida, de forma que se -eliminen al menos sus posibles ef~ctos negativos. . A modo de ilustración presentamos el CIclo evaluativo de aprendi­ zajes en el aula diseñado por Thornas y Cross (1993):

72

73

PaGO 10: dlsei'\o

IJn proyeclo de segulmlenlo de la Investigación

Paso 2: cél1lrate en un obJellvo o cuestión evaluable ~

eveneüve en al aul

PliSO 3: planifica un proyecto de evaluación

Pe:>o 1:

Elige al lama

en clase cenuanccte

cenfrar

en aquella cuesucn u ohJallvo

P..e sevet.. tea afectos ele la

Paso 4: exoüce la

evaluación sobre la ereeñerue y el

lección relacionada con asa objeuvo o

\

""Ii)'"

,pm""" Paso 8: comunlce

los rescnsoos y

Paso 5: ev¡¡lua al

~t~~I~~~~~~~r~~~:~~6~O;

comprueba la

respuesta,

orientada a la

"-

retroalimentación

Paso 7: Interpretetos resultados y formula una

ror~~~~:~~Pz~¡:8mejOrilr

P,., 6, analiza " .. / el proceso

_..._-- ~~:~~~~~:3gr

2. S. Procedimientos tradicionales de evaluadón de los aprendizajes La sustitución del término contenido por el de logro (enfatizando con ello la conversión del contenido en aprendizaje) y la ampliación del dominio de este úl.timo, añadiendo a los logros académicos y pro­ fesionales, los denominados logros personales (competencias genéri­ cas y transferibles a múltiples situaciones (Rodríguez, 2000)). ha colocado en una evidente crisis a los procedimientos clásicos más orientados a la evaluación de enfoque tradicional e incapaces de cap­ turar este nuevo tipo de información evaluativa. Sin embargo, desde nuestra perspectiva, evaluar el nivel de logro de algún aprendizaje, .es un proceso en ~l que la evaluación y el propio aprendizaje están simbióticarnente unidos, de forma que ambos discu­ rren paralelamente retroalimentándose continua y respectivamente.

Desde esta visión integrada y continua no siempre es necesario (ni Posible) que la comprobación del nivel de logro se realice mediante la evaluación de ejecuciones, sino que en determinados momentos la evaluación de algún tipo de competencia inicial o intermedia, puede realizarse mediante alguna de las formas tradicionales. Con ello esta­ mos incentivando el uso complementario y combinado de los distin­ tos procedimientos que poseemos, atendiendo también a criterios de relación coste-beneficio. Entendemos que desde las nuevas tendencias, la planificación evaluativa debe estar prevista como parte integrante de los propios procesos de enseñanza-aprendizaje en el marco del diseño curricular. y es desde esta planificación que se incorporan, según sea la natura­ leza, el momento y la oportunidad el tipo de testigo que se introducirá para recoger la información evaluativa deseada. Bajo esta concepción, tienen cabida todos los procedimientos y se apuesta por una pluralidad de uso de los mismos. Creemos y hacemos nuestra consideración desde una perspectiva práctica, que la instru­ mentación clásica seguirá siendo la más usada; pero, sin embargo, el peso que tendrá en la toma de decisiones será mucho menor que la basada en ejecuciones. Todo ello nos mueve a presentar en nuestro libro una breve pre­ sentación de los instrumentos más utilizados desde las dos perspecti­ vas. Ambas series no pretenden ser en absoluto exhaustivas ni en el número ni en su contenido, especialmente en el caso de la instrumen­ tación alternativa donde la experiencia existente es menor. Hay en el mercado muchos manuales dedicados exclusivamente a ellas con los que sería, en el espacio de este capítulo, absurdo competir.

2.5.1. LAS PRUEBAS OBJETIVAS

Las pruebas objetivas son un conjunto vertebrado de preguntas claras y precisas que demandan del alumno una respuesta igualmente breve, generalmente limitada a una elección entre una serie de alter­ nativas que se le proporcionan. La denominación de objetivas hace referencia a las condiciones de aplicación de la prueba y al tratamiento e interpretación de los datos, pero no indica que sean más objetivas desde el punto de vista de una mejor valoración del rendimiento del alumno. En el proceso de construcción de una prueba objetiva hay que tener en cuenta los siguientes aspectos fundamentales: la selección de

74

los contenidos, la redacción de las preguntas o ítems (que supone tener en cuenta la tipología existente), la corrección; puntuación y presentación de la prueba.

Selección de contenidos En la selección de los contenidos, hay que asegurarse de que to­ dos los que se consideren relevantes respecto al dominio que se va a medir estén especificados de forma operativa y referenciados frente a los objetivos o capacidades a desarrollar en los alumnos. Se debe determinar el nivel en que se medirán, y establecer el peso que cada contenido ha de tener en el conjunto de la prueba. La concreción de este apartado se realiza mediante lo que se conoce como la tabla de especificaciones, que no es más que una tabla de doble entrada (contenidos-objetivos), en la que se especifica el numero de preguntas en las intersecciones. Las normas más habituales que se deben tener en cuenta en la selección de los contenidos pueden sintetizarse en las siguientes: La prueba debe considerar los contenidos que se quieren medir y que son explícitos y conocidos por los alumnos. No se deben incluir contenidos que no estén programados. - Las preguntas deben abarcar todos los puntos importantes del dominio. El número de preguntas o ítems para cada aspecto del dominio deberá ser proporcional a la importancia de los contenidos que se van a evaluar. - Deben estar fijados previamente los objetivos alcanzados y las capacidades desarrolladas cuyo logro se desea comprobar. Las preguntas de la prueba han de estar colocadas de manera que encierren una dificultad progresiva. Suelen colocarse pri­ mero las más sencillas, e ir incrementando la dificultad hasta llegar al máximo, para finalizar con unas pocas cuestiones de menor dificultad. La prueba puede someterse a la crítica de otros especialistas en

la materia.

La mayor parte de las preguntas se derivan de los objetivos

específicos propuestos en la programación.

La elaboración de las preguntas debe poner de manifiesto las

habilidades conseguidas por el alumno. De ahí que sea irnpor­

75

tante una buena definición de los objetivos operativos en tér­

minos de conducta.

Las preguntas deben ser representativas de los contenidos y

deben medir los objetivos propuestos, de modo que la prueba

en su conjunto tenga una muestra de preguntas representativa

de los objetivos y comportamientos que se pretende evaluar.

Características y tipología de los items Antes de entrar en consideraciones respecto a cómo llevar a cabo la redacción de las preguntas o íterns, se debe analizar previamente su estructura y características básicas y, después, enunciar los tipos de preguntas más usuales en el ámbito educativo. Suele entenderse por pregunta una declaración, asunto o tema so­ bre el que se va a trabajar, en este caso, sería el tema sobre el que va a trabajar el alumno. Algunos autores prefieren utilizar el término ítem en lugar de utilizar términos más propios a nuestra cultura, como se­ rían los de "pregunta" o "cuestión", porque el ítem no se limita a enunciarse únicamente en forma interrogativa, sino que puede adop­ tar la forma de una afirmación, una instrucción que se da al alumno, una orden para realizar una tarea, etcétera. En nuestra exposición; los -utilizaremos indistintamente. El ítem consta de una base que presenta una situación-problema y una serie de alternativas de respuesta. Una o varias de estas alternati­ vas deben ser correctas. Las alternativas que son respuestas 'plausi­ bies pero incorrectas se denominan "distractores", La respuesta correcta debe colocarse aleatoriamente entre las al­ ternativas, cuyo número ideal se sitúa entre cuatro o cinco, y nunca deben ser menos de tres. De esta forma, se pueden controlar aceptablemente los efectos del azar. Estas pruebas suelen conocerse adjetivadas por el tipo de ítem que las caracteriza. Existe una gran variedad de ítems, pero los más usados en la prác­ tica docente son: los de selección simple, selección múltiple, selec­ ción de la mejor respuesta, selección de la respuesta incorrecta, de base común, de ordenamiento, de identificación de gráficos y locali­ zación en mapas, de verdadero o falso y de emparejamiento.

77

76

Ítems de selección simple Se caracterizan porque a la pregunta le siguen un conjunto de res­ puestas entre las que sólo hay una que sea cierta, y otras (los distractores) que son falsas. El alumno deberá contestar evidentemente la correcta.

Ítems de selección múltiple En los de selección múltiple, el sujeto debe elegir las diversas res­ puestas que sean verdaderas entre distintas alternativas.

Ítems de selección de la mejor respuesta En el modelo de selección de la mejor respuesta, todas son verda­ deras y se debe determinar cuál es la mejor. En este caso, los distractores son todos verdaderos.

Este criterio debe estar muy claro, lo mismo que las instrucciones para realizar la tarea. Los criterios más usuales son los siguientes:

_ Histórico-temporal. En este Ítem de ordenamiento se presen­ tan al alumno una serie de acontecimientos históricos o even­ tos que deberán ser ordenados con criterio cronológico. Espacial. Demandan situar los elementos del pr?blema de f?~­ ma ordenada, en el marco de un espacio deternunado. Se utili­ zan en su construcción términos como: mayor-menor, este-oeste, cercano-lejano, superior-inferior, etcétera. Causal. Se solicita del alumno que ordene de forma concatenada los elementos de un conjunto, unidos por la relación causa­ efecto. Funcional. Exige establecer la secuencia funcional de una se­ rie de hechos fenómenos o actividades. Lógico. En este caso, el criterio de dependencia que permite la ordenación se fundamenta en una base racional. ftems de identificación de gráficos y localización en mapas

Ítems de selección de la respuesta incorrecta En este caso se le pide al alumno que marque la respuesta que no es correcta. Los distractores se corresponden justamente con respues­ tas correctas. En las instrucciones debe estar muy claro que se tiene que elegir la incorrecta, ya que, por lo general, existe una tendencia natural a elegir la respuesta correcta.

En estos casos se presenta inicialmente un gráfico o un mapa, y se pide al alumno que realice algún ejercicio de identificación o de loca­ lización.

Ítems de verdadero o falso

Ítems de base común

En el caso de los ítems de verdadero o falso, la respuesta de los alumnos exige decidir por separado, respecto a la corrección o inco­ rrección de un grupo de afirmaciones.

En los ítems de base común se aprovecha una misma información para generar, alrededor de ella, conjuntos diversos de preguntas.

ftems de emparejamiento

Ítems

de ordenamiento

En relación con los ítems de ordenamiento, el alumno se enfrenta a una serie de hechos o conceptos que aparecen desordenados, que debe ordenar con arreglo a un criterio que previamente ha sido establecido.

Las preguntas de emparejamiento o pruebas por pares se compo­ nen de dos listas una de premisas y otra de respuestas, e mstruccio­ nes claras para emparejar ambas listas. Se puede usar una gran variedad de combinaciones premisas-respuestas: fechas y.sucesos conceptos y definiciones, escritores y obras, magnitudes y unidades. cantidades y fórmulas, etcétera.

78

Ítems de problemas científico-matemáticos

Este tipo de ítems constituye un formato frecuente en materias en las que se estudian relaciones cuantitativas. Es una prueba peculiar que está a medio camino entre las pruebas de formato objetivo y las de formato libre. Suelen presentar un problema que hay que procurar que represen­ te sólo lo que se quiere comprobar, y en el que no se introduzcan simplificaciones, pero tampoco complejidades no intencionadas Las respuestas que se proponen deben tratar de comprobar la calidad del proceso seguido y el resultado obtenido. Estas pruebas constituyen una buena forma de comprobar la com­ prensión y la aplicación, en contraste con la mera memorización de

los hechos.

79

Sin embargo, es razonable pensar que para el alumno que conoce bien la materia, el efecto real (aunque no el psicológico) de la penali­ zación es muy débil, dado que el alumno no se enfrenta a un ítem con una probabilidad de acierto al azar de un, sino con una muy supenor, dado que hay alternativas que pueden desestimarse de entrada. Por el contrario, si no se introduce el factor corrector, el "plus" que reciben en aciertos los alumnos peor preparados es muy elevado como para ignorarlo. En cualquier caso, antes de aplicar una prueba objetiva se debe indicar al alumno si se utilizará o no la corrección al azar, ya que esta información le es necesaria para decidir qué opciones tomará en la resolución de la prueba.

Presentación de la prueba

Corrección y puntuación de la prueba

Posteriormente, hay que proceder a corregir la prueba ya puntuarla. Se debe asignar un valor a cada ítem de acuerdo con la aportación que se considera que hace a la puntuación global; en el supuesto de máxima homogeneidad entre ellos, se otorga un punto por ítem. La suma de las puntuaciones parciales ofrece la denominada puntuación directa. Sin embargo, hay que tener en cuenta que en los ítems de elección múltiple el alumno tiene la probabilidad de acertar por razones pura­ mente aleatorias, probabilidad que estará en función directa con el número de alternativas. Esta desviación puede compensarse, al me­ nos desde un punto de vista puramente matemático, aplicando a la puntuación directa (A) un factor corrector según la siguiente fórmula: Puntuación corregida A - E / (n-I) donde: A = número de respuestas acertadas (puntuación directa).

E = número de respuestas erróneas.

n = número de alternativas de respuesta en cada ítem. Los detractores de este sistema de corrección niegan que sea ade­ cuado utilizar la puntuación corregida en lugar de h directa. Alude al factor inhibidor que tiene para el alumno la sensación de penaliza­ ción si se equivoca.

En la presentación de las pruebas deben resolverse tres aspectos, que aunque secundarios, han de ser tratados con atención: las instruc­ ciones de realización de la misma, el formato de las preguntas y el de las respuestas. Las instrucciones hacen referencia a la presentación de ~ las pre­ guntas y de las respuestas, a la duración de la aplicación de la misma, al rigor en las expresiones y, en definitiva, a todos los aspectos que el alumno deberá tener en cuenta para su ejecución. Las preguntas y las respuestas pueden presentarse integradas en un mismo formato o por separado. Es evidente que en el primer caso, al presentar unidos ambos aspectos, se favorece la realización. Pe,ro si se pretende utilizar la misma prueba en más de una ocasió n, sera ne­ cesario reproducirla en su totalidad, por cuya razón, en algunos ca­ sos se prefie re separa r las hojas de respue sta del cuade rno de preguntas, Es evidente que esta cuestión no representa ningún pro­ blema cuando el soporte está computarizado. Crítica a las prueba s objetivas.

Desde su introducción en la práctica educativa, se han sucedido numerosas críticas a su uso, de entre las cuales destacan las siguientes: Artificialidad. Se especula que este tipo de prueba favorece fundamentalmente la memorización y que incluso la enfatiza

81

80

-

con detalles triviales, por lo que su acción se reduce a la medi­

ción de conocimientos artificiales.

Seleccián versus construcción. La elección de la mejor alter­

nativa como actividad inherente a este tipo de prueba refuerza

más el pensamiento selectivo que los procesos mentales dirigi­

dos a la construcción del conocimiento.

Adivinación y copia. El azar puede constituirse en elemento distorsionador de la medición de los conocimientos, ya que la elección puede estar más dirigida por la capitalización del azar que por la búsqueda de la respuesta correcta. La brevedad y la estereotipificación de las respuestas pueden facilitar la copia entre alumnos. Coste. Su preparación y diseño es costoso, pues precisa una elaboración compleja, que exige una gran dedicación en tiempo y en recursos humanos e incluso materiales, ya que su presenta­ ción requiere cierta formalización, que la hace evidentemente más cara.

La mayoría de estas críticas son discutibles; en cualquier caso, gran parte de ellas pueden ser atribuibles a la incapacidad del cons­ tructor de la prueba para servirse convenientemente de sus innumera­ bles posibilidades. Por otra parte, de entre sus ventajas más reconocidas pueden destacarse las siguientes: Es de fácil aplicación y corrección.

Tiene la posibilidad de abarcar amplios dominios de aprendi­

preciso, con lo que se facilita todo tipo de estudios y valoraciones en términos absolutos y comparativos.

2.6. Procedimientos mixtos de evaluación de los aprendizajes Es difícil establecer el límite entre los procedimientos tradiciona­ les y los alternativos. En ocasiones su ubicación no depende tanto de su formato como del uso estratégico que se haga en el contexto con­ creto de evaluación. Los procedimientos que muy brevemente pre­ sentamos a continuación. aunque históricamente nacieron enclavados en la aproximación tradicional, por su estructura intema co?si~era­ mos que se podrían adaptar también, modificando algunos pnncipros estratégicos. a la evaluación de ejecuciones de los aprendIzaJes.

2.6.1 PRUEBAS LIBRES ESCRITAS

Las pruebas de respuesta abierta constituyen una modalidad muy popular y utilizada; entre sus ventajas está el hecho de que se adaptan a cualquier objetivo de aprendizaje.. . . Sus normas más básicas de construcción son las sígutenres:

Especificación y referenciacián de los contenidos

zaje,

-

La puntuación de la prueba se ve menos alterada por factores

extraños al proceso de corrección.

Admite la posibilidad de múltiples análisis estadísticos de los

resultados.

Facilita el anáJisis de la información sobre alumnos concretos, grupos de alumnos, logros de objetivos por los mismos, etcétera. Posibilita la identificación y cuantificación del nivel de conse­ cución de los objetivos propuestos a los alumnos y la determi­ nación de los objetivos que alumnos concretos o grupos de alumnos deberán trabajar de cara a su refuerzo, afianzamiento o ampliación.

Por la sencillez de su aplicación y corrección. facilita que se pase a gran cantidad de alumnos, y hacerlo en tantas ocasiones como sea

Es necesario analizar el dominio de enseñanza-aprendizaje con el fin de establecer con precisión los contenidos y las competencias que se pretende evaluar y su relación con los objetivos curriculares.

Elaboraci6n de las instrucciones Se debe tener en cuenta que las instrucciones han de ser siempre muy claras, y tanto más cuanto menor sea el nivel del alumno. Las instrucciones se han de referir a 1a presentación de las preguntas y a la orientación del tipo de respuesta que se espera, al rigor en el uso de las expresiones científicas, a la duración del examen y a todos aque­ llos aspectos que faciliten la estandarización en el pase de la prueba.

82

Dificultades atribuibles Conviene reflexionar previamente sobre las limitaciones más im­ portantes de este tipo de prueba, con el fin de proponer recomenda­ ciones que traten de evitarlas o superarlas. Una de las mayores dificultades que presentan estas pruebas es que cubren dominios muy restringidos del conocimiento. Por ello, se recomienda que se utilicen de forma complementaria a otros tipos de ejecuciones, y se tenga pre­ sente que, si bien no cubren grandes áreas, pueden hacerlo con gran profundidad, poniendo en juego un gran número de capacidades y actitudes de los alumnos, lo que permite analizar con relativa facili­ dad ámbitos que con otras pruebas resultaría mucho más complejo. Otra dificultad atribuible es la indefinición de las tareas propues­ tas en las preguntas. Es fácil tropezar con pruebas de este tipo en las que no está especificada la tarea indicadora del logro ni la base para juzgarlo. Hay que señalar que, cuanto más detalladas y explicitas sean las preguntas, más objetivas y fiables podrán ser las respuestas y su corrección. También se atribuye a este tipo de prueba la subjetividad en la corrección, aunque si se toman las debidas precauciones, puede suavizarse en gran medida este efecto.

Respuesta pilotada Con ello se quiere indicar la necesidad de que, anticipadamente a la realización de la prueba, se diseñe el itinerario principal y las posi­ bles ramificaciones por donde, aproximadamente, deberían discurrir las respuestas correctas. El hecho de pilotar la respuesta ofrece ventajas múltiples. En pri­ mer lugar, es una ocasión para que el docente reflexione sobre la ca­ lidad de lo que pregunta y la corrección y claridad en la forma de preguntarlo, lo cual puede sugerir matices adicionales en la redacción de la pregunta, haciéndola más o menos fácil y más discriminante. Otra ventaja contrastada consiste en que el itinerario marcado, es­ tructurado alrededor de los puntos críticos, ofrece una referencia bá­ sica para establecer el sistema de corrección y, en el caso del la existencia de varios examinadores o incluso para uno solo, facilita la uniformidad en la aplicación de los criterios de calificación.

83

Respuestas breves También es recomendable que la prueba permita un sistema de respuestas breves. Por lo general, se considera que los logros de apren­ dizaje pueden apreciarse tanto mejor cuanto mayor sea el número de preguntas o tareas propuestas en un examen; sin embargo, también es cierto que tener que enfrentarse a una pregunta compleja-y amplia en­ traña la integración coherente de elementos variados de aprendizaje. Surge entonces el dilema: ¿Pocas preguntas de amplio recorrido, o muchas y más delimitadas? Resulta complejo ofrecer una receta única al dilema; no obstante, se recomienda dar preferencia a la elaboración de pruebas con más preguntas y con un alto grado de especificación. Las opciones de amplio recorrido deberían ser cuidadosamente sope­ sadas por el docente o profesor tratando de justificar su necesidad en función de las características específicas del tipo de aprendizaje que se pretende medir.

Tareas definidas Algunos docentes, de forma ocasional, proponen preguntas de contestación indeterminada, argumentando que lo más importante no son las conclusiones que saquen los alumnos sino la evidencia en que las basan y la lógica de sus argumentos. Sin embargo, no es aconseja­ ble hacer preguntas en cuya respuesta los expertos puedan no estar de acuerdo. Las preguntas de contestación indeterminada y controvertida son más apropiadas de actividades simultáneas a la instrucción. Pero en las pruebas debe definirse lo que se le pide al alumno tan completa y específicamente como sea posible, para ayudarle a organizar sus co­ nocimientos y a aplicar sus capacidades. Para ello es conveniente ex­ presar las preguntas sin ambigüedades, de manera que los alumnos comprendan totalmente lo que se espera que hagan.

Preguntas opcionales Por lo general, no es recomendable formular preguntas opcionales a los alumnos en el marco general de la prueba, con el fin de evitar la dispersión, lo cual debilitaría la posibilidad de comparar entre ellos y objetivar los criterios de corrección y calificación. Sin embargo, las

85

84

preguntas opcionales pueden justificarse cuando los alumnos han te­ nido diversas oportunidades de instrucción o itinerarios formativos diferenciados en distintos temas y siempre son, en todo caso, una opor­ tunidad de mostrar la riqueza de sus aprendizajes. Criterios de ·corrección.

Una vez realizada la prueba debe procederse a la corrección de la misma, y los criterios que se adopten para tal fin están íntimamente ligados a la primera norma que se ha expuesto: la de pilotar la res­ puesta estableciendo cuál debe ser el recorrido clave que se ha de seguir, pues ello facilitará la asignación de los pesos sobre el conjunto de la puntuación de cada uno de los aspectos que se espera contesten adecuadamente, lo cual permitirá avanzar en la composición de la puntuación global de la prueba. Esta actividad es fundamental si real­ mente se quiere estandarizar o tipificar en mayor o menor medida este tipo de pruebas. Una vez elaborada la prueba, se eliminan los puntos en los que se detectan deficiencias o combinaciones de deficiencias del siguiente estilo: omisión de elementos importantes; afirmaciones incorrectas; inclusión de afirmaciones correctas, pero con poca o ninguna rela­ ción con la pregunta; inducción a conclusiones no válidas, ya sea por errores en el razonamiento o por una errónea aplicación de princi­ pios, o una mala expresión escrita que oscurece el desarrollo y la exposición de las ideas.

2.6.2. PRUEBAS LffiRES ORALES

Las pruebas orales fueron los primeros procedimientos de eva lua­ ción de los aprendizajes utilizados. Sin embargo, por razones de eco­ nomía de tiempo, han caído en desuso y en la actualidad su utilización es muy limitada. Estructuralmente, son una prueba libre consistente en un diálogo entre uno o varios examinadores y un examinado, con objeto de com­ probar en el alumno el dominio de unos conocimientos y competen­ cias determinadas. La opinión que merecen es muy semejante a la de la prueba escrita, y son válidos la mayoría de los principios anterior­ mente expuestos.

2.7. Procedimientos alternativos de evaluación de.los aprendizajes Presentamos a continuación propuestas o procedimientos evaluativos que se ajustan más a la evaluación divergente, no prede­ terminada, a que hacia relación Torrance y Pryor (1995), en la que el instrumento utilizado o la estrategia aplicada, facilita que el énfasis de la evaluación se centre fundamentalmente en lo que aprende el alumno y en cómo lo hace y donde los alumnos deben aceptar parte de la responsabilidad de su propio proceso evaluador.

2.7.1. EL PORTAFOLIOS

El portafolios es posiblemente el procedimiento más popular den­ tro de la evaluación alternativa. Consiste (Martín, 1997) en una com­ pilación de trabajos del alumno, recogidos. a .10 largo de~ tiempo, que aportan evidencias respecto de sus conocirnientos, habilidades e m­ cluso de su disposición para actuar de determinadas maneras. El portafolio contiene una muestra del trabajo del alumno e incluso de evidencias escritas respecto del pensamiento y de los sentimientos del alumno que son suficientemente comprehensivos como para gene­ rar una representación de cómo lo está haciendo (Chapin y Mesick, 1996).

.

La muestra de materiales contenidos en el portafolio debe cubrir un extenso período de tiempo, usualmente el curso académico. De esta manera, los alumnos, profesores y padres disponen de suficientes eVI­ dencias concretas como para poder analizar y deternJinar el grado de desarrollo y crecimiento del alumno durante un período especifico. A modo de ejemplo, los alumnos podrían introducir en su portafolios una composición escrita realizada al prin.cipio d~l curso y otra al finalizarlo. Alumnos y profesores podría analizar y ejercer una critica constructiva respecto del cambio existente entre ambos y de­ terminar si ha habido mejora. Se puede observar también si ha habido evolución en el grado de sofisticación de sus escritos; todo ello pro­ porcionará evidencias de cómo se están produciendo los procesos de aprendizaje y el nivel de logro adquirido en los mismos. Un beneficio clave del portafolio es que permite al estudiante pre­ sentar sus creaciones al profesor, para que pueda juzgar su trabajo de una manera global e integral y no fragmentada, y desconectada de

87

'c'

.otros.aspectos de su propia personalidad. Otra de las grande s ventaj as

!ie~0; ltreside en que aLtene r que escoge r los materi ales que debe incluir en

-elpor tafolio le obliga a tomar concie ncia de cuáles son los que mejor -reñej an la evoluc ión de los aprend izajes más signifi cativo s, lo que ;;f;'i:e vident ement e supon e profun dizar en su grado de conoc imient o y ; .comp rensió n .sobre la intenc ionalid ad de la interve nción educat iva .... 'fporu n ladoy de sus propio s niveles de logro por otro. El alumn o con esta activid ad obtien e algo más que unas puntua ­ .cíones, obtien e eviden cias respec to de cómo lo he hecho en realida d a Jo largo del curso escolar. Prove e tambi én a los alumn os, profesores y padres de elemen tos sobre.los que conver sar de forma concre ta e inteligente. Al debatir los conten idos del portafolio, todas las partes toman concie ncia clara del grado de desarr ollo y progre so del alumno, como person a y Como estudi ante (Martín, 1997). Lo materi ales que debe conten er el portafo lio es un aspecto a ne­ gociar entre el profes or y el alumno. No existe ningun a lista prefija ­ da. Los alumn os pueden incluir materiales tales como: resúm enes de sus actividades e informes de investigación. Pueden servirse de foto­ grafías o vídeos realizados por ellos, trabajos por ordenador, dibujo so manualidades. Puede n incluir incluso resultados de pruebas objetivas u otros tipos de test si los han realizado, deberes o tareas escolares reali­ zadas en casa, etc.; el punto central sobre el que pivota la decisión so­ bre la recolección de materiales, es que la información incluida en el portafolios debe propiciar la generación de una película evaluativa com­ pleta de las habilidades, competencias, conocimientos, disposición para actuar y dispos ición afectiv a del alumn o (Martín, 1997). 2:7.2. OTROS TIPOS ALTERNATIVOS DE EVALUACIÓN DE EJECUCIONES

'Es del todo impos ible listar todas las posibl es ejecuc iones que ,A; podría n ser eleme ntos suscep tibles de consti tuir proced imien tos ,;;evaluativos alternativos. Es posibl e genera r tantos como creativ idad .;., tengan .los 'evaluadores. Así, puede n utilizarse práctic as reales, en las .que los .alumnos tuviera n que realiza r tareas que requie ren la aplica ­ .,."ción de destre zas en circun stancia s semeja ntes e inclus o idéntic as a ;~P~sTequeridasen la vida profes ional. '!I;irª¡ ¡'Otro. tipopo dría ser el desarr ollo de proyec tos, donde durant e un ';J¡erí odo.de tiemp o el alumn o deberí a realizar una activid ad compl eja,

con un objetivo determ inado, que puede inclus o tener car~c~er profe­ sional. Con este tipo de actividad se puede n evalua r hablhd~es de orden superi or que impliq uen ejercer responsabilidades, a.dqum.r com­ promisos person ales, poner en práctica hábito s de trabajo individ ual o de grupo, domin io interdisciplinar de las maten~s e ínclus o demos ­ trar capaci dades comunicativas. Dentro de este upo. de acuvI~ad_ se podrían desarr ollar investigaciones de campo , expen mento s, diseño s de organi zación , etc. . . Se pueden desarr ollar también. ejecuc iones en contextos d? Simu­ lación, bien sea por ordena dor o con medio s más convenclOn~Jes. Una simula ción supone el planteamiento de un proble ma cambi ante que repres enta vicaria mente un caso real y que d~b.e ser resuel to por el alumn o o equipo de alumn os. Cada toma de declslOn.es respect~ del proble ma retroal imenta el mismo y ofrece los ca~blOs produc idos por las solucio nes aportadas, con lo que penrut e analiz ar la bonda~ de las propue stas y ver las co~secuencias. origin adas por nuestr a acción . Podría mos añadir a la lista un conjunto innum erable de activida­ des como pueda n ser la resolución de proble mas, los .est~dio de ca­ sos, la generación de debate s, la confección de un periód ico escol! r, la creació n de una emiso ra de radio escolar, etc., etc., tal como sena­ lábamos al princip io tantas como seamos capace s de imagin ar, y a buen seguro que no alcanz aríamo s a agotar las propue stas posibles. En otro orden de cosas y para finalizar este apartado, Simplemente señalar que en el marco de la evaluación alternativa, no. tan sólo se consid era la posibi lidad de desma rcarse del mareo trad~clOnal; me­ diante el uso de reactiv os que provoq uen situaci ones de ejecuc ron, de naturaleza sustan cialme nte distinta a las de las prueba s objetiv as, tam­ bién se modifi ca las situaciones de prueba atendi endo a la introd uc­ ción de otros agentes en la función de evalua dor, hacem os referen cia a la autoevaluación y a la evaluación entre iguales. Algunos autores sugieren la importancia de que el alumno, espe­ cialmente los pertenecientes a grados superiores cobren mayor prota­ gonism o en sus propio s proce sos de evalu ación 1.legá ndose a responsabilizar casi exclus ivame nte de la misma . CO~~lder~ que es la única vía posibl e para alcanzar una verdad era reflexión crínca y un aprend izaje en profun didad (Boyd y Cowan , 1985). ; .. Por evalua ción entre iguale s se entien de aquell a diSPOSICión evalua tiva en la que los sujetos consid eran la cantidad, el nivel, el valor y la calida d de los produc tos surgid os de situa~i~nes de ap~en­ dizaje y corres pondie ntes a compa ñeros de estatus simila r (Topping, 1998).

89

¡;;¡j;¡!"í$j&ci··~N.~O~i··i6q,u~eríamos obviar esta última consideración referente a la par­

de otros agentes evaluativos distintos del colectivo de pro­

i@J'es'Jres,perotampocopretendemos desarrollarla. Simplemente señalar

creemos que en la medida que se van alcanzando niveles superio­

:·:·,·.. . +'·,.0 de enseñanza, se hace indispensable la participación de los alum­

i"

¡í!I~.l~~~;~~~~~~aj~~'~\i~rr~~ de intensidad, en la evaluación de sus propios

i;"

o de los compañeros. También consideramos que la cul­ evaluativa es una cuestión de grado y que conviene iniciarla des­ ide edadestempranas. Todo dentro de un marco de evidente prudencia.

2.8. Evaluación de referencia normativa y evaluación de referencia criterial

Los juicios evaluativo se basan necesariamente en algún tipo de comparación y para ejercerla precisan del establecimiento previo de referentes. La evaluación moderna se sirve habitualmente de dos cla­ ses: el normativo y el criteria!. Tipologías que no son ajenas a los enfoques tradicionales y alternativos que venimos debatiendo desde el principio de este capítulo. La evaluación de referencia normativa es la más común. Bajo esta aproximación, la ejecución de un alumno en una determinada prueba es comparada con la de otros estudiantes que también pasaron la mis­ ma prueba. Los estudiantes como grupo establecen lo que denomina­ mos la norma. Los grupos normativos pueden ser establecidos a partir de características tales como la edad, el grado, el nivel, el género, la localización geográfica, clase social, etnia, o cualquier otro factor de categorización. .: Las pruebas estandarizadas de rendimiento constituyen probable­ .mente ~I grupo de pruebas de referencia normativa mejor conocido. .Ellos sirven perfectamente para identificar las personas de acuerdo a s~vm¿abilidad. en alguna habilidad. Sin embargo, no aportan dema­ siada información respecto de la situación del sujeto en relación con :; 710s niveles de logro en algún contenido o capacidad del currículum. Las pruebas diseñadas bajo los principios de la referencia norma­ 'í," uva (como son las estandarizadas), están pensadas para poder evaluar ."e: laque los estudiantes conocen de una materia particular en relación ¡I.w .co.notros e~tudiantes en un momento determinado. Sin embargo, no miden efectivamente lo que ellos saben en términos absolutos. Pero, ,.~pesar de estas limitaciones, es bastante habitual comprobar que se

utilizan muy a menudo para evaluar los currícula o los procesos de enseñanza-aprendizaje (Pindley y Estabrook, 1991). En términos generales, las consecuencias más importantes que se derivan de aplicar pruebas basadas en estrategias normativas son las siguientes: . -

La puntuación individual se interpreta en función de los rendi­ mientos del grupo con el que mantiene una relación de perte­ nencia. La puntuación permite la comparación entre los distintos indi­ viduos. La puntuación ofrece una idea global de la realización del su­ jeto, pero no permite establecer acciones de mejora o de co­ rrección respecto al propio individuo, al currículum o al proceso de enseñanza-aprendizaje.

La alternativa a la evaluación normativa es la criterial. Este enfo­ que está diseñado para informar respecto de la calidad de una ejecu­ ción del estudiante o demostración de una habilidad o del grado de comprensión de un concepto por relación con algún tipo de criterio previamente establecido. Las pruebas construidas mediante este tipo de enfoque nos permi­ ten establecer el nivel de logro del alumno por referencia con un 'ob­ jetivo educativo específico. Nos indican lo que los alumnos pueden o no pueden hacer respecto de un contenido específico, habilidad o ac­ titud. Señalan cambios en los niveles de logro de los aprendizaje a lo largo del tiempo en contraste con las pruebas normativas que sólo capturan información evaluativa sobre los aprendizajes en momentos específicos. Las pruebas de referencia criterial focalizan sus reactivos hacia tareas o competencias específicas que pueden ser identificadas per­ fectamente en los apartados de los currícula. También proporcionan información respecto del grado de dominio del alunmado en relación con materiales concretos. Todo ello facilita que se puedan establecer diagnósticos personalizados y eficaces, perfectamente identificables en términos de contenidos curriculares concretos, lo que facilita la tarea de conocer a fondo la situación de cada alunmo y la de orientar­ los en relación con sus niveles de ejecución. Podríamos resumir indicando las características más importantes de la evaluación de referencia criterial:

jj

90

"

91

La interpretación de la ejecución individual se obtiene funda­ ~entalmente por contraste respecto a algún criterio fijado pre­ viarnente y aceptado como valioso. De la ejecución individual nos interesa la composición analíti­ ca (Io.s .co~~onentes) del contenido objeto de evaluación y la especificación de los procesos implicados en la ejecución. Los resultados así obtenidos permitirán posteriormente la puesta en marcha de estrategias de mejora a nivel individual, curricular o institucional.

La selección de los elementos que componen las pruebas cons­

truidas de acuerdo al enfoque criterial, se realiza sobre plan

tea~len~os de validez de contenido y no basada en distribuciones teórico-matemáticas. ' Las tecnologías para la construcción de pruebas de referencia nor­ mativa o criterial son los suficientemente complejas como para no poder ser abordadas en este trabajo Sin embargo, existen en el merca­ do magníficos e innumerables manuales al uso, para entrar con deta­ lle en los procesos de diseño y construcción.

2.9. A modo de conclusión . En. las soc!ed~~es postindustriales se exige cada vez más que la inserción del individuo se produzca equipado con una educación de calidad. Educación en la que el conocimiento no es el único activo importante, sino que deberá contemplar también la formación en otras capacidades, actitudes y valores en la línea de los expresados por Delors (1996) (saber conocer, hacer, convivir y ser). Ante estos ~uevos retos, la evaluación del alumnado, como prácti­ ca más extendida para regular la calidad educativa, no puede perma­ necer anclada en estrategias o enfoques insuficientes o desfasados. ~s necesario ampliar el dominio o los contenidos objeto de eva­ luación; a los aprendizajes académicos hay que incluir en la evalua­ ción aquellas habilidades, competencias y actitudes de reconocido valor, especialmente las relacionadas con las denominadas capacida­ des transversales de los sujetos (capacidades-competencias genéricas transferibles a múltiples situaciones). El énfasis en la evaluación moderna sobre los procesos de ense­ ñanza-aprendizaje se ha desplazado definitivamente desde la ense­ ñanza hacia los aprendizajes, entendidos en ese sentido amplio a que

antes aludíamos. Lo que interesa primordialmente no es lo mucho que el profesor enseña sino lo que el alumno realmente aprende. La denominada evaluación de logros (outcomes evaluation) se ha impuesto como paradigma, y debe entenderse el logro desde una pers­ pectiva doble: como una ampliación del dominio evaluable y como una enfatización de la importancia del logro como asunción efecti va y satisfactoria de un aprendizaje. No se puede gestionar eficazmente la evaluación, si se pretende atender a sus nuevas responsabilidades, desde la acción individual del profesor o concibiendo las asignaturas como entidades aisladas. La gestión de la evaluación moderna exige el trabajo mancomunado de los profesores y sitúa el curriculum como referente básico del dise­ ño educativo y evaluativo. En consecuencia, la nueva gestión no puede fundamentarse en la .recogida de información centrada fundamentalmente en la instrumen­ tación clásica; las pruebas de ejecución basadas en los planteamien­ tos alternativos de la evaluación, deberán complementar o sustituir los modelos más tradicionales, si se quieren procedimentalizar estra­ tegias que capturen información realmente sustantiva. En los procesos de referenciación evaluativa, las pruebas de refe­ rencia entena 1 deben constituirse en la alternativa más común a apli­ car en la nueva instrumentación. Hay que incorporar a otros agentes, como puedan ser los propios alumnos, en las responsabilidades evaluativas. Sólo desde procesos de autoevaluación es posible desarrollar a fondo una verdadera autonomía en los aprendizajes. Corresponsabilizar en alguna medida a los alumnos en los procesos evaluativos constituirá un importante reto en el futuro. La lógica de la evaluación, por sí sola, no garantiza I¡¡ asunción de calidad. Es preciso establecer el nexo racional entre tres grandes pro­ cesos:

-

El proceso de enseñanza-aprendizaje. El proceso evaluativo. El proceso de toma de decisiones.

Desgraciadamente acostumbramos a gestionarlos por separado. Sólo cuando el proceso evaluativo alimenta y se alimenta del de ense­ ñanza-aprendizaje y cuando la información evaluativa que se va ge­ nerando surte los planes estratégicos, considerados como marcos globales para la toma de decisiones de una institución, se garantiza mínimamente la conducción correcta de los procesos de calidad.

I

93

92

Bibliografía C. y FITl.CLARENCE, L. (l994), Conneeting Schools lo Global Networks 01W Way or Another. Ponencia presentada en la Apitite 94 Conferenee, Brisbane. BOYD, H. y COWAN, D. (1985), "Assessment and Evaluation in Higher Education", Educational Theory, 10 (3), pp. 42-50. COMMrsIüN ON HlGHER EDUCATION (1997), Framework for Outcomes Assessment Middle States Association of Colleges and Schools. CHAPIN, 1. R. Y MESSICK, R. G. (1996), Elementary Seial Studies, 3'. ed. Nueva York. Longman. CHAPMAN, W. (1991), "The Illinots Experience: State Grants ro Improve Schools Through Parent Involvernent", Phi, Delta, Kappa (enero, 1991), pp. 355-358. DELORS, 1. el al. (1996), "La Educación Encierra un Tesoro", Informe a la UNESCO de la Comisión Internacional sobre la Educación para el siglo XXI. París: Edi­ ciones UNESCO. DOCHY, F. y McDoWELL, L. (1997), "Assessment as a tool for learning. Studies in Educatíonal Evaluatíon, 23 (4). 279-298. FfNDLEY, D. Y ESTABROOK, R. (1991), "Teacher Evaluation: Cun-iculum and Instruetional Consideration", Contemporary Educatíon (verano, 1991), pp, 294-' 298. FRAZEE, B. Y RUONITSKI, R. A. (1995), lntegrated Teaching Methods. Albany, N. Y. Delmar Publishers. FULLAN, M. (1993), Changes Forces: Probing the Depths of Educational Reform Londres. Falmer Press. GIPPS, C. (1994), Beyond Testing. Washington, D. C.: Falmer Press. HAROREAVES, A. (1989), Currículum and assessment reformo Toronto: ülSE Press. HAROREAVES, A. (1994), Changing teachers, changing times: teachers' work and culture in the postmodern age. Toronto: OISE Press. HARGREAVes" A. (I999), Four Perspectives on Classroom Assessment Reform. Bar­ eelona: APAC. HARGREAVES" A., EARL, L. Y RYAN, 1. (1996), Schooling for change. Philadelpfia, K J.: Falmer Press. HOUSE, E. (1981), "Three perspectíve on innovation: Technological, political and cultural, en Rolf Lehming y Michael Kane (1981), Improving Soñools: Usíng what we know. Beverly HilIs, Ca.: Sage Publications. HUTCHMACHER, W. (1999), "L'avaluació en la transformació de les modalitats de govern deis sistemes educatius, Tendeneies europees",en A valuació i Educacío, pp. 15-34. Barcelona: Generalitat de Catalunya, Consell Escolar de Catalunya. KHAITRI, N. Y SWEET, D. (1996), "Assessment Reforrn: Promises and Challenges, en M. B. Kane y R. Mitchell (eds), lmplementing Performance Assessment, pp. 1­ 21, Mahwah, N. J.: Lawrence Erlbaum. MARTIN, D. J. (1997), Elementary Sctence Methods, A Constructivist Approach. Albany, N. Y.: Delmar Publishers. MATEO, J. (1998), "Evaluación e investigación" en 1. Mateo (Director), Enciclope­ dia General de la Educación, pp. 529-648. Barcelona: Océano. MEHAFFY, G. L. (2000), "The new meaning of teaching in the university of the 21''. Century", lección magistral presentada en las primeras jornadas sobre Models en la Docencia Universitaria. Barcelona: Universitat Pompeo Fabra. MEYER, C. A. (1992), "what's the Difference Between Authentic and Performance Assessment", Educaüonal Leadership (mayo 1992), pp. 39-40. PAULSON, F. L., PAULSON, P. R. Y MEYER, CASo (1991), "What makes a Portfolio a Portfolio'". Educatíonal Leadership (febrero, 1991), pp. 60-64. BIOUM,

RODRíGUEZ, S. (2000), La evaluación del aprendizaj~ de l?s es!ud~antes. Ponet.tcia presentada al 1 Congreso Internacional: Docencia Universitaria e Innovación. Barcelona: Institut de Ciéncies de I'Educació (UAB, UB, UPC). STlGGINS, R. (1997), Student-centered Classroom Assesssment, N. J.: Merrill. THOMAS, A. y CROSS, P., (1993), Cíassroom Assessmeru Techniques. A Handbook for College Teachers- S. Praneisco, Ca.: Jossey Bass Publishers. TOPPING, K. (1998), "Peer Assessment Between Students in Colleges and Universities". Review of Educatíonal Research, 68 (3), pp. 249-276. , ... TORRANCE, H. (1995), Evaluating authentic assessment: Problems and possibilities in new approaches to assessment. Philadelphia, N. J.: Open University P:ess. TORRANCE, H. y PRYOR, J. (1995), "Invesügatíng tea~her. assessment ID mfa~t classroorns: MethodoLogical problems and emergmg issues. Assessment In education, 2 (3), pp. 305-320. WOLF et al. (1991) "To use their rninds well: Investigating new forms of student assessrnent", en G. Grane (ed.), Review of Research in educatton, 17. WOLF, D. P. Y REARDON, S. F. (1996), "Access lo Excellence through New Forms of Studenl Assessment". en Baron, 1. B. Y Wolf D. P. (1996). eds, Performance Based Student Assessment: Challenges and Possíbílities, Ninety-fifth Yearbook of the National Society of Education, Part l. Chicago.Tll.: University ofChicago Press.

u i"1 I~

1ft :¡

li ,i l'

~(

l'i

3. La evaluación del profesorado. hacia un modelo comprensivo de evaluación sistemática de la docencia El marco conceptual de la evaluaci6n del profesorado debería enfatizar la relación dinámica entre el individuo y la institución, donde las nece­ sidades e intereses de uno se funden con el apoyo del otro.

[Strcnge, 1995)

3.1. Introducción Existe, sin duda, un renovado interés por el papel que juega la evaluación del profesorado en la mejora de la escuela. De hecho, las comunidades educativas no pueden sustraerse a la creciente preocu­ pación social en torno a cómo introducir en todos sus ámbitos los mo­ delos de gestión de la calidad y es evidente que existe la convicción de que detrás de cualquier mejora significativa en la escuela subyace la actividad del profesorado. Por todo ello, establecen la conexión nacio­ nal entre los vértices del triángulo: evaluación de la docencia-mejora y desarrollo profesional del profesorado-mejora de la calidad de la es­ cuela, es fundamental para introducir acciones sustantivas de gestión de la calidad en cualquier institución educativa. En este capítulo trataremos de analizan y resumir el pensamiento y la investigación actual en torno al tema de la evaluación del profe­ sorado y cómo se traduce en la práctica, tema al que hemos dedicado una importante parte de nuestro tiempo de investigación, de gestión y de práctica educativa. Para facilitar la comprensión del mensaje he­ mos subdividido la aportación en tres apartados, que no son equiva­ lentes en extensión, pero sí suponen tres momentos distintos en el complejo proceso que afrontamos: Aspectos previos a la elaboración de un sistema de evaluación del profesorado.

96

'97

Fases en el diseño de un sistema de evaluación del profesorado. Evaluación y desarrollo profesional.

3.2. Aspectos previos a la elaboración de un sistema de evaluación del profesorado Procesualizar y establecer las bases y la estructura de un sistema evaluativa para el profesorado no es una tarea sencilla. Prueba de el]o está en las dificultades que se dan en la mayoría de los países occi­ dentales para homologar modelos y configuran praxis completas ele evaluación. En general, sólo se ejecutan intervenciones parciales y con poca continuidad. Las reflexiones que exponemos a continuación son el producto de la investigación y de la reflexión conceptual y tratan de establecen los elementos previos clave para el establecí­ miento de un sistema evaluativo del profesorado.

3.2.1. LAS EXPECTATIVAS DEL CENTRO VERSUS LAS NECESIDADES DEL PROFESORADO

Tal como hemos señalado, el problema de fondo no es la evalua­ ción, sino cómo a partir de ella conseguimos gestionar más eficientemente la calidad. Para ello deberemos establecer, en primer lugar, los elementos básicos que sustentan un modelo de evaluación del profesorado y cómo éstos se relacionan con los procesos de mejo­ ra de los centros. Es evidente que un ingrediente fundamental en los logros de cali­ dad de un centro, lo constituye la calidad de la docencia producida por su profesorado, pero ¿hasta qué punto son coincidentes los intere­ ses de uno y otro? El paso previo para establecer un modelo de eva­ luación del profesorado es resolver el sistema relacional entre ambo, conjuntos de necesidades. Se admite que en una organización sana, la relación entre el centro y el profesorado ha de ser dinámica y el principio de que lo que es bueno para el centro es bueno para el profesorado y viceversa debe prevalecer. Este tipo de relación sinérgica favorece la posibilidad de que ambos alcancen sus propósitos; equilibrar las necesidades indivi­ duales con las expectativas institucionales es esencial para generar ambientes de trabajo productivos (March y Simon, 1993). Éste ha de

ser a nuestro juicio el primer objetivo a cubrir en cualquier estrategia 1 evaluativa. . No es posible plantearse un verdadero proceso de m:Jora de a calidad que ignore las demandas individ~ales.Tal co~o s.enala Fullan (1991, p. 349), «Combinar el desarrollo individual e institucional g~­ nera sus tensiones, pero el mensaje es evidentemente claro. Nadie puede obtener uno sin el otro». . Todo modelo de evaluación del profesorado deberá plantearse como primer paso el contar con la participación activa del nusmo e? su diseño. Sólo desde la participación es posible contempl.~ exhausti­ vamente las necesidades del profesor y tratar de c~mpa!Iblhzarlas con las del centro; de lo contrario, el proceso culturalizador q~~ toda ac­ ción evaluativa debe contener estará ausente, y la ev~uaclOn se con­ vertirá en un proceso generador de incultura evalu~t~~a.. . Los modelos participativos se caracterizan por posibilitan e incenti var la intervención y la implicación de las personas y los grupos que con­ forman la organización en la toma de decisiones que af~~ a la tarea evaluativa a realizar: delimitación de objetivos, establecimiento de p!a­ nes de acción, distribución de funciones, análisis de la lm:o~aclOn, establecimientos de juicios de .valor, generación de decisiones de mejora, seguimiento, etc. . La participación del profesorado en los proces~s de evalu.aC1ón no se ha de entender únicamente como una estrategia de gestión, SIllO que presenta un valor formativo intrínseco. Desde la implicación resulta más viable el aprovechar algunos el~­ mentos educativos contenidos en la evaluación, como es su capaci­ dad de desarrollar los procesos de autorregulación personales o de grupo. . . . 'b' La participación facilita l~ ~oordi~acl.ón de las actuaciones, ~?Sl 1­ lita la construcción de una visión unitana del centro y la creacion de una cultura institucional compartida. . Sólo activando la participación seremos capaces de crear ~n chma en el que sea factible el conjugar las necesidades a 9ue aludíamos al principio de este apartado. Desaprovechar esta función s~pone com­ prometer gravemente, tal como señalaba Fullan, la gestión correcta de la calidad.

98

3.2.2. PROPÓSITOS BÁSICOS EN UN PROCESO DE EVALUACIÓN

DEL PROFESORADO

Clarificadas las expectativas del centro, paso previo para estable­ cer su misión y de ahí derivar su definición de calidad y cornpatibi­ lizadas con las necesidades del profesorado, procede pasan a estable el propósito evaluador. Los dos propósitos más citados con más frecuencia por la mayoría de autores para la evaluación del profesorado son la petición responsa­ bilidades y la mejora de la actividad docente (McLaughlin y Pfeifer. 1988; Duke, 1990; Mateo et al., 1996, 1999). Sin embargo nos parecen suficientes, así expresados, desde la perspectiva de la gestión de la ca. lidad. La calidad educativa de un centro no depende directamente de la calidad de la actividad docente del profesor ni de que se le exijan res. ponsabilidades. Es la calidad de la docencia el núcleo básico impulsor de la calidad del centro y la calidad personal del profesor y la de su actividad no tienen que estar necesariamente relacionadas con ella. Para que la calidad del profesor esté relacionada con la de la do­ cencia será preciso establecer previamente el marco conceptual en el que se fundan dinámicamente los intereses y necesidades individua­ les e institucionales. No es posible determinan si una acción del pro. fesor es realmente de calidad sin acudir al marco de referencia que ofrece la visión global de lo que se entiende en un centro determinado por calidad de la docencia. Hemos de desarrollan una concepción de la evaluación del profe­ sorado en la que se desarrolle simultáneamente la mejora del profesor y la de la institución. Este modelo comprensivo de la evaluación del profesorado estaría enraizado en dos amplios propósitos (Stronge, Helm y Tucker, 1995): (a) Orientado a los resultados, contribuyendo a la consecución de los objetivos personales del profesor y a los de la misión del programa, del centro y de la organización educativa en su tota­ lidad. Debería también proveen de información clara y fiable para la petición de responsabilidades por la actuación docente en función de esos objetivos. (b) Orientado a la mejora, contribuyendo al desarrollo personal y profesional del profesor así como a la mejora del centro.

99

Todo centro debe tener explicitado su modelo de calidad que se desprende de su misión como organización. Debe tener perfectamen­ te establecidos los objetivos a logran y cuáles corresponden a la do­ cencia. La calidad de la actividad docente del profesor se establece a partir del modelo de calidad para la docencia en el centro. Sólo desde la calidad de la docencia pueden entenderse los objetivos que debe alcanzar el profesorado en su actividad docente y las orientaciones metodológicas que debe aplicar y, consecuentemente, establ ecer el correspondiente modelo de evaluación y sólo desde ella pueden orien­ tarse procesos de mejora del profesorado que tengan significado para el centro y para la persona simultáneamente.

3.2.3. ACCIONES BÁSICAS PARA PROMOVER EL PROCESO DE EVALUACIÓN DEL PROFESORADO

Llegados a este punto y si queremos alcanzan una evaluación del profesorado de alta calidad, el sistema evaluativo deberá construirse a partir de un equilibrio dinámico entre la mejora de la escuela y la mejora del profesorado y para ello será necesario tener en cuenta las siguientes acciones (Stronge, 1997): (a) Establecimiento de objetivos mutuamente beneficiosos. (b) Enfatización de la comunicación sistemática. (e) Creación de un clima favorecedor de la evaluación. (d) Garantía en la aplicación técnica del sistema evaluativo. (e) Uso de múltiples fuentes de datos.

(a)

Establecimiento de objetivos reciprocamenie beneficiosos

Los objetivos que van a constituir las metas a conseguir deben se~ valorados y percibidos como importantes tanto por los profesores corno por la institución. Olsen y Bennet (1980) describen la actividad evaluativa como un proceso asociativo entre la organización y sus em­ pleados, un proceso social que produce como resultado una aproxi­ mación participativa a la evaluación. Es en el marco de esta relación mutuamente beneficiosa que se produce en .elámbito laboral desde donde debería guiarse el desarrollo e implementación de un sistema evaluativo relevante y mutuamente beneficioso.

101

100

(b)

Establecimiento de un proceso sistemático de comunicación

Los sistemas de evaluación del profesorado deben construirse a partir de un proceso compartido de comunicación donde todos los aspectos clave deben sen tratados informativamente de forma correcta. Es muy importante establecer los momentos informativos tanto de aquellos as­ pectos que son públicos por naturaleza como aquellos que requerirán de un tratamiento informativo más privado. La transparencia de los procesos y la posibilidad de interacción se fundamentan en politicas eficientes de información, por tanto, cada aspecto clave del proceso evaluativo deberá ir acompañado del correspondiente acto informativo y éste debe llevar asociadas las condiciones de garantía de que se reali­ za en condiciones óptimas para favorecer un verdadero proceso comu­ nicativo.

(c)

Cuidado en la aplicación técnica del sistema de evaluación

Un sistema evaluativo técnicamente correcto no garantiza una eva­ luación efectiva, pero evidentemente un sistema incorrecto sí que ga­ rantiza que nunca llegue a serlo. Posteriormente entraremos con más detalle en la estructura y características que debe contener un sistema evaluativo y en la instrumentación disponible; pero, sí que queremos hacer aquí un especial énfasis en la necesidad de que cada uno de estos aspectos que conforman la aplicación técnica de los procesos evaluativos se realice de acuerdo a las condiciones técnicas de calidad y precisión exigidas por las más elementales normas de la evaluación educativa.

(d)

Uso dejuentes de datos múltiples

Aunque el método más usado en la evaluación del profesorado es el que podríamos denominan como clínico, basado en una secuencia que se inicia con una preconferencia, sigue con observación en el aula y acaba con la postconferencia (ETS, 1988), los sistemas moder­ nos de evaluación del profesorado se caracterizan por documentar la actividad docente a partir de múltiples fuentes de información (Glatthorn, 1984; Conley,1987; Harris, 1987 y Mc Oreal 1988). El uso de fuentes múltiples de datos para la evaluación del profe­ sorado ofrece numerosas ventajas respecto de la evaluación basada en una sola fuente, citamos entre ellas (Stronge, 1997):

_ Producción de un marco de la actuación evaluada mucho más rica y contextualizada. _ Recogida de datos en situaciones más naturales. Integración en la evaluación de fuentes primarias y secunda­ rias de datos. Seguridad de una mayor fiabilidad en la documentación de la actuación docente. Documentación respecto de la actuación docente más cercana a la realidad. Unas bases más legalmente defendibles respecto de las deci­ siones evaluativas. La integración de múltiples fuentes de datos en los procesos de eva­ luación del profesorado aporta una imagen mucho más real de la activi­ dad desarrollada por el profesor y provee de una plataforma mucho más poderosa sobre la que construir planes de mejora realistas que la que se nos ofrece a partir de una sola fuente, como pudiera ser la obser­ vación en el aula. Usar apropiadamente múltiples fuentes en un proce­ so de evaluación potencia enormemente todas sus posibilidades.

(e)

Creación de un clima adecuado para la evaluación

La evaluación sólo puede resultar absolutamente eficiente si se lleva a cabo desde un clima adecuado donde la confianza entre las partes implicadas y la honestidad y la transparencia en las actuacio­ nes sean la norma y no la excepción. La consecución de estos climas se posibilita en la medida en que se sigue los pasos establecidos: participación en el establecimiento de los objetivos, comunicación continua y fluida en las diferentes fases del proceso, precisión en la aplicación de las técnicas, honestidad en los juicios y enfoques proactivos en los procesos de mejora. No se puede ocultar que en ocasiones los procesos evaluativos no se llevan a término en las mejores condiciones en cuanto a clima. En estos casos, la prudencia debe presidir las actuaciones y en muchos casos deberemos abandonar algunas de ellas por tal de no quemar las posibilidades de mejora. Es preferible reducir los ámbitos de actua­ ción y tratar de avanzarlentamente procu,rando que sea el propio pro­ ceso el que nos vaya abriendo el camino para acometer tareas de mayor dificultad. I

I

·1

1

102

103

3.3. Fases en el diseño de un sistema de evaluación del profesorado Distingo cuatro grandes fases en el proceso de diseño de un siste­ ma de evaluación del profesorado: l. 2. 3. 4.

La La La La

fase fase fase fase

de ideación. de desarrollo. de implementación. metaevaluatíva

3.3.1. FASE DE IDEACIÓN

Durante esta fase se deben resolver básicamente los siguientes aspectos: a) Identificación del sistema de necesidades. b) Derivación de los objetivos institucionales. e) Definición del modelo de calidad para la docencia. (a)

(e)

Definición del modelo de calidad para la docencia

Tal como hemos señalado anteriormente, la operativización de los objetivos institucionales y la clarificación de su nexo relacional con las necesidades del centro, permiten juntamente con el análisis de los recursos disponibles el establecer un modelo de calidad de la docen­ cia significativo y sostenible para la institución. El modelo de calidad de.la docencia orienta y sustantiva el proce­ so de evaluación del profesorado. Es el vínculo entre la evaluación del profesor y la mejora de la calidad del centro. Su definición debe facilitar la descripción y desarrollo de las funciones del profesor y de SUS responsabilidades y orientar el establecimiento de los "estándares" de la actuación profesional del mismo.

Identificación del sistema de necesidades

Cada centro tiene sus necesidades específicas que lógicamente han de estar relacionadas con el contexto social y cultural y que deben ser alcanzadas por la acción colectiva de todo el equipo educativo. Un exam~n minucioso de las necesidades de la escuela constituye el paso previo para clarificar la misión y el propósito educativo del centro, ayuda a definir el proyecto educativo y a clarificar los objeti­ vos institucionales. (b)

De él se derivan los objetivos institucionales y su conocimiento favorece su operativización y juntamente con el análisis de la capaci­ dad del sistema vehicula el establecimiento del grado de consecución que debemos pretender. Todo ello constituirá las bases del modelo de calidad de la docencia del centro. Explicitar el modelo de de la do­ cencia posibilita la inserción de la evaluación del profesorado en los procesos de gestión de la calidad de la institución.

Derivación de los objetivos institucionales

3.3.2. FASE DE DESARROLLO

Bajo esta fase contemplamos dos acciones: (a) Determinación de las funciones y responsabilidades del profe­ sorado. (b) Desarrollo de los criterios de evaluación y de sus indicadores. (c) Fijación de los "estándares" para la valoración de la actividad docente. (a)

Determinar las necesidades de la organización es un prerrequisito absolutamen~e necesario para establecer si los restantes pasos del pro­ ceso evaluativo son relevantes en términos de la misión del centro y de las demandas de petición de responsabilidades provenientes de la sociedad (Connellan, 1978; Castetter, 1981; Patton, 1986 y Goodale 1992). '

Determinación de las funciones y responsabilidades del

profesorado

Hemos de partir de la premisa que sólo a partir de modelos de docencia bien establecidos y definidos es posible establecer descrip­ ciones apropiadas y ajustadas de las funciones y responsabilidades del profesorado (Olsen y Bennett, 1980 y Scríven, 1991).

104

105

Todo sistema de evaluación del profesorado exige establecer con precisión las áreas de responsabilidad del profesor en el contexto institucional y sus funciones más importantes, incluso deberían esta r establecidos los requisitos de entrada. Estas áreas han de servir de> marco para establecer con la mayor precisión posible las obligacío­ nes y actividades a cumplir por el profesor y cuál es su sentido en cl contexto del desarrollo general de la docencia en el centro. En general, las exigencias profesionales deberían incluir elernen tos tales como: conocimiento de la materia, buenas credenciales, ca. pacidad de seleccionar los materiales curriculares más adecuados. diseñar la instrucción y planificar las sesiones de aprendizaje. monitorización y evaluación de los aprendizajes de los alumnos, co rrocimicnto de la normativa legal relacionada con la educación, parti cipación en servicios profesionales y en actividades de desarrollo del personal (McConney et al., 1996). Scriven (1988) se refiere a los sistemas de evaluación basados fun damentalmente en las responsabilidades del profesor como DBTE (Duty based teaching evaluation model) y en varios de sus escritos ha ido desarrollando un conjunto de deberes básicos que puedan servir de punto de partida para la construcción de modelos basados en ellos I(Scriven, 1988b, 1994), mantiene incluso un e-mail específico donde ipoder aportar críticas y propuestas a su modelo ([email protected]) a 'su listado.

I Es evidente que, para nosotros, el establecimiento y la evaluación,

Ide estas responsabilidades, tal como iremos viendo a lo largo del ca­

pítulo, no agotan ni de lejos la concepción y la práctica que propone­

'mas para evaluar el profesor; pero sí nos ha parecido interesante incluir

bomo material a considerar en cualquier modelo, el listado deberes

Uel profesor que recoge la propuesta de Scriven:

DestrezaS" colTluniC:ati.V8s.- '

'D.est"-s dQilIest!6n;

;G~$l'Ón_:gelpr,oce8().

,

. Gestl6rf d'elprogreso.

Gestión de les e:mergBncia~.

- tle_f;ltre~_s_:-,~_e:P!'99~ma.9,~p,~.y~~~~r~n~~.

'.",- _ pi~nlfldacI6,11·'_c:lel -; ,-,c_u~~~. ,:J.. "'.,:' ~),-},_' ,{"

,ji

. ~iQCC'~~YcrescI6n'deÓlS¡~rl8!>:', .... ÜtlllZ8CjÓn:de--I08'recÚ.r80~; dl!lipDn'ble~._-

Evaluación dei/cursA; de ·,hten8-efta~; :d.e-Ios ­

_~!'telia~~~ y ;,~~I",I;.l;Ir?qul~:~;~./-.

,-

-~~nO~\mlen~08 sobre te "eveluacI6ri' de tofb~Btt.ialante8.

Destrezas. de,construcción _y, adr(llf1i.$~ración .de pruebas. Clasifk;:,i:w'ón,., pu~t~aci~r Y"caUlic~ciór)\., _ ;~",;¡';?', >;'-,:'iPrOeesó - ""'. " , ",:: ' ..'_ ><",::""~:,;'phiC1u~~'::'.':.", -:': , ! ,"/:i." ·,<,;,r,: ';<::('(? iÓ

>-:;R~Q\t;>j~p;~jf\f9rro~,\~\r~~~U~,le~1~,d~,,'I.Qp,,~_stH~!~~~:~.

,1 "c¿jnbbimie'nh:f$Q!:)r~':\nforme~,_ , ..»:" ..'." '."

", ,,',"'"

" '-.' ' ,";'

,,,"

-

;cie;, ':re;~;d¡,rn,I,~~to_~r ' . --" ". , '" .1,','

Cabe añadir que los sistemas evaluativos más des~onados incor­ poran sistemas de indicadores en relación con la acción ~oc~nte del rofesor. Tratan de capturar mediante el uso de muestras de 1f~dr~a?ores ~SPCC10S esenciales de la profesión docente. Parten del p~nclplo de que sólo a partir del indicador es posible objetivan la acción y la re­ flexión evaluativa.

(b)

Desarrollo de los criterios de evaluación y de sus indicadores

U na vez establecidas las funciones y áreas de respons~bilidad bá­ sicas del profesorado y el modelo de calidad de la docencia, podemos

106

107

derivar factores asociados a las mismas que nos servirán de criterios para evaluar. Una variable criterio nos provee de una dimensión gene­ ral dentro de la que será posible valorar o juzgar el nivel de realización alcanzado por.el sujeto (Wheelen y Haertel, 1993). El área de responsa­ bílidad nos orren.ta acerca de las variables criterio más significativas y el modelo de cahdad direcciona el sentido de la evaluación. Los indicadores son observables que nos permiten cuantifican las variables criterio y facilitan los procesos de objetivación de la eva­ luación. Criterios e indicadores constituyen piezas muy importantes en los procesos de concreción de los sistemas evaluativos más desarrollados.

(c)

Fijación de "estándares" para la valoración de la actividad docente del profesor

Fijar "estándares" implica determinan los niveles de actuación del profesor considerados como aceptables. Evidentemente para poder proceder a establecen los referentes que nos permitirán decidir si una determinada actuación docente ha sido realizada en términos de cali­ dad aceptable de acuerdo al ?Jodelo de calidad establecido para el centro, es preCISO haber recomdo al menos mínimamente los elemen­ tos hasta ahora establecidos. Únicamente si tenemos bien establecidos los objetivos institucio­ nal~s, su naturaleza evaluativa y el marco general de la docencia, sera posible pensar en el establecimiento de criterios y niveles de valor previamente determinados. Contar con un sistema de indicadores bien ~stableci?o facilita enormemente la tarea, ya que la objetivación de la información permite el uso de los referentes normativos y criterinles en el ~roceso de estandarización de las valoraciones. La e~tandanzación puede llevarse a término a cualquier nivel de análi­ SiS, aunqu~ obviamente cobra significados distintos según sea el mis­ mo. La umda.d .r~ferencial esencial en la evaluación del profesorado es, a nuestro JUICIO, el centro educativo. Cabe añadir, por otro lado, que la detenninación de los "estándares" para cualquier actividad evaluativa, incrementa la posibilidad de trans­ p~encia y limpieza de los juicios valorativos y la defensa legal del sujeto frente .a posibles arbitrariedades (Phi Delta Kappa National Study Comrnittee on Evaluation, 1971, Committee on Standars for Educational Evaluation, 1988).

3.3.3. FASE DE IMPLEMENTACIÓN

Para el desarrollo de esta fase consideramos tres momentos: (a) Documentación de la actividad profesional del profesor. (b) Emisión de los juicios valorativos respecto de la docencia. (c) Uso intensivo y extensivo de la información: la derivación de las propuestas de mejora.

(a)

Documentar la actividad profesional del profesor

Por documentar, entendemos el proceso de recogida de suficien­ tes evidencias acerca de la actividad profesional del profesor que dé soporte a la posterior evaluación y justifique racionalmente las tomas de decisiones personales e institucionales basadas en la evaluación. Tal como ya hemos señalado anteriormente, en la evaluación mo­ derna, los procesos de documentación deben relacionarse con múlti­ ples fuentes y estrategias de recogida de datos, en ningún caso deberemos construir un proceso evaluativo basado en una única fuen­ te de información (Conley, 1987; Ellet, 1987; Harnis, 1987; McGreal, 1988, Helm, 1994). Entre los sistemas más utilizados en la actualidad para evaluar al profesorado, tenemos (Stronge, 1997): la observación en el aula, la opinión de los padres y alumnos, juicios valorativos emitidos por pa­ res, el rendimiento en los aprendizajes de los alumnos, el autoinforme y el portafolios.

La observacion en el aula

En esta metodología se parte de la premisa de que: observar al . profesor en acción es la mejorforma de reunir información acerca de su efectividad docente. La visita al aula aporta evidencias muy difíci­ les de conseguir de otra forma como son: el clima en el aula, la natu­ raleza y calidad de las interacciones alumnos-profesor, lo que pernnite observar los procesos de instrucción directamente y el funcionamien­ to general de la clase (Everston y Holley, 1981). Sin embargo, tiene también linútaciones; así, Scriven (1981) nos señala la baja fiabilidad del procedimiento fundamentándose en las siguientes razones:

108

109

El limitad o númer o de observ acione s y la breved ad de su dura­ ción no permit en la generalización.

Hay un eviden te peligro de que el evalua dor focalice su aten­

ción guiado por sus intereses, refleja ndo, consec uentem ente. más sus propio s puntos de vista que la realida d del aula. La pobrez a de los sistem as de registr o propic ian que la mayo­ ría de evalua dores se dejen influir por sus precon ceptos . Cualq uier interrelación entre observ ador y observ ado introdu­ ce factore s de confusión. La propia visita altera el compo rtamie nto del profes or y de los estudi antes de forma que reduce la posibi lidad de que el evalua dor realme nte observ e una muest ra repres entativ a de la docenc ia. Otros eleme ntos adicionales que limitan la fiabilidad de la acción observ adora, son las que señalan Strong e, Helm y Tucke r, 1995: La natura leza artificial que entrañ a toda observ ación progra­ mada. Limita ciones por causa de la focaliz ación en cualqu ier obser­

vación.

La infrecu encia de las observaciones. (Si no se quiere alterar el ritmo de la clase, ¿cuánt as visitas se pueden progra mar") El hecho de que sólo una porció n del reperto rio total de las respon sabilid ades propias del profes or puede n ser observadas en una sola, o en unas pocas observ acione s. La realida d de que existen mucha s respon sabilid ades del pro­ fesor que se ejecut an fuera del aula (el trabajo en equipo, desa­ rrollo colect ivo de materiales, juntas de evaluación, etc.). Indepe ndient ement e de que la observ ación del trabajo del profe­ sor en el aula pueda repres entar una aporta ción signifi cativa y vital para un sistem a compr ensivo de evalua ción del profes orado, es evi­ dente que es insufic iente por sí sola. La mayor ía de trabajo s de inves­ tigació n realiza dos en este sentido han mostra do sus debilidades (Root y Overly , 1990; Wood , 1992; Frase y Stresh ly, 1994) y en la línea de lo menci onado anterio rmente , los invest igador es apuest an por el uso combi nado de las diferen tes estrategias (Stronge, 1997).

La opinión de los padres

En las últimas dos década s se han llevad o a términ o numer osos estudios analiza ndo los beneficios produc idos a partir de la inclus ión de la opinió n de padres en los proces os de evalua ción del profes orado (Pager, 1980; Beche r, 1984; Epstein, 1985; Mark y Shotland, 1985). Parece obvio que una buena relació n entre padres y profesores y una comun icación efectiv a casa-escuela ha de reperc utir en la calida d de la educación. Potenc iar la participación de los padres en los proces os de evalua ­ ción del profes orado permit e analizar perspe ctivas y conoce r puntos de vista y aspect os impos ibles de obtene r media nte otras fuente s Epstei n (1984, en la p. 4) señala: «(Los padres) aportan lnfonna ción acerca de cómo el profesor int~ract úa con el alumno y la familia, responde a las necesid ades de los est~dIantes,

asigna retos apropiados en libros y trabajo de casa (todos ellos conside rados corno indicadores de efectividad en la docencia). Los padres están Iegúim a­

mente habilitados para, juntamente con otros jueces, valoran adecua damen­

te la efectividad de los profesores y los programas escolares».

En el proyec to Faucet te (1995 ),los pr?pio s pr?fes ores ~xpresaron su sorpre sa al descub rir la cantid ad y calida d de inform ación que l~s padres poseía n sobre sus prácticas docent es en la clase; En la investi ­ gación menci onada aceptaron que los datos que poseia n eran valio­ sos, precis os y útiles y que podían ser integr ados en sus proces os evalua tivos y utilizados eficazm ente en su desarr ollo profes ional como docent es y en la mejora de la docencia. No querem os ocultar, sin embar go, las dificul tades que entrañ a la utiliza ción de esta fuente de inform ación. Los padres con todo, no son profes ionale s de la educación, y sus juici~s pu~den re~ej~ sus prejuic ios, su visión condicionada por sus propio s hijos X,tam bJensu descon ocimie nto del área de conoci miento . El profesor, P9 r otro lado, puede sentirse acosad o y como colect ivo profes i?nal tampo co es sen­ cillo que acepten ser evalua dos por person as aJ.enas al mismo (pre­ guntém onos que opinarían el colect ivo de ~uItect~s, por.po ner un caso si en su evaluación profesional parnci paran sujetos ajenos a la prof~sión y no los pertenecientes a su c.o,legio profesional). . Aun así, entend emos que la evalua ción tiene como finahd ad fun­ damen tal el aportan información, desarr ollar capaci dades y potenc l~ actitudes que puedan insertarse en los proces os de gestión ~e la .Call­ dad de la educac ión (así lo estamo s defend iendo desde el pnncip ro de

110

nuestro escrito), y las percepciones de los padres pueden en ese sentído aportar datos enriquecedores y colaborar en el desarrollo de actitudes' de interrelación y mutuo conocimiento absolutamente necesaria, para producir una educación de. calidad. No será de recibo extrapolar los datos hacia el análisis de aspecto, que no correspondan, y en ningún caso la participación evaluativa de los padres podrá entrar en el terreno de la petición de responsabilidades. Su aportación debe servir fundamentalmente para proporcionar percepciones distintas, enriquecedoras de la visión comprensiva a la que aspiramos y sobre todo para moldear nuevas y muy positivas actitudes. Como cierre de este apartado, bástenos citar del estudio de Faucette (l99~), y a m?do de ilustración de lo que tratamos de expresar, la reacción recogida de uno de los padres cuando después de participar en el proceso evaluativo expresa lo siguiente: «Estoy muy orgulloso que mi hijo vaya a una escuela donde los educadores valoren mi opinión. Doy la bienvenida a esta maravillosa oportunidad que me han brindado de ayudar al profesor de mi hijo».

La opinión de los alumnos

Incorporar la opinión de los alumnos en los procesos de evaluación del profesorado constituye uno de los tópicos más analizados por los estudiosos del tema. Uno de los argumentos más utilizados para justificar su inclusión se centra en que ellos son los consumidores primarios de los servicios del profesor. . Son, sin duda, los más directos receptores del proceso de enseñanza-aprendizaje y se encuentran en una posición privilegiada para proporcionar información sustantiva acerca de la efectividad de la docencia, más aún, los alumnos son los únicos que tienen información directa del tipo, naturaleza y calidad de las prácticas docentes que se realizan en el aula. Así, Follman (1992) señala que no hay otros individuos o colectivos que tengan una experiencia directa con el profesor, en lo que se refiere a la docencia, que les supere en extensión, amplitud y profundidad de exposición. Sin embargo, la mayoría de los investigadores admiten restricciones en la recogida, en la interpretación y en el uso de la información proporcionada por los alumnos. En primer lugar, parece claro que la práctica evaluativa involucrando alumnos debe restringirse a los de

111

mayor edad; de hecho, en nuestra realidad educativa y en la de la mayoría de países occidentales, sólo en los ámbitos universitarios constituye su uso una práctica extendida, aunque algunos estudios (Haak, Kleiber y Peck (1972), sugieren que pueden utilizarse a partir de la secundaria, A nuestro juicio y a pesar del valor que todo el mundo adjudica a esta fuente de información, consideramos que la reflexión evaluativa de los alumnos respecto de sus profesores debe inscribirse en el marco exclusivo de la evaluación formativa del profesor y en su enfoque debe primarse el acentuar las posibilidades que encierra como instrumento para mejorar la relación alumno-profesor. Que el profesor conozca las percepciones del alumno sobre su práctica docente y su actuación personal en el aula, independientemente de su valor formativo, puede ser una plataforma de interacción y acercamiento entre los alumnos y el profesor de primerísima magnitud. Los instrumentos utilizados en la recogida de información deberán estar construidos de manera que faciliten el acceso a aquel tipo de información que más ayude a ese propósito y deberá dejarse para otras estrategias aquella que pueda generar situaciones de conflicto, en la que la resolución no es sencilla, dada la natural asimetría existente entre el profesorado y el alumnado. Finalmente, cabe añadir que la información obtenida a partir de la opinión del alumnado, es también de un incalculable valor cuando se cruza con otras obtenidas mediante otros medios (p. ej., la de los padres).

Evaluación a partir del juicio emitido por los pares

Al margen de la importancia y del valor que asignemos a la información obtenida a partir de las opiniones de los padres.y de los alumnos, es un hecho comúnmente aceptado que la información así obtenida ofrece una visión parcial de la docencia. Si verdaderamente queremos obtener una imagen precisa y completa de la misma, con la intención de gestionar su mejora y orientar las decisiones tanto personales como institucionales de una manera inteligente y ajustada, no tenemos más remedio que introducir en el sistema evaluativo información proveniente de los pares. En los procesos modernos de mejora de la calidad y en el marco de la empresa, se ha adoptado últimamente en el mundo anglosajón el concepto denominado "valoración de 360 grados" (Stronge y Ostrander

112

113

1997, p. 150), consistente en retroalimentar positivamente la activi­ dad de un empleado a partir de recoger información respecto de su actividad proveniente de todas las personas que le rodean y que de una manera u otra interactúan con él. Los expertos consideran este concepto como paralelo al movimien­ to que persigue la mejora continua de la actividad docente a partir de usar la retroalimentación proveniente de los pares, como aportación fundamental en los sistemas de evaluación de la docencia. Dada la naturaleza colaborativa de la enseñanza y de la educación moderna, sería absurdo imaginar un proceso de evaluación que igno­ rara a los pares como fuente vital para la retroalimentación de la me­ jora de la calidad de la actividad docente. La evaluación por pares expresada de forma colegiada constituye, sin duda, una fórmula ex­ traordinaria de desarrollo profesional y de refuerzo positivo' para los enseñantes. ' Deberemos, sin embargo, introducir algunas precisiones básicas si qneremos qne realmente este principio sea aplicado adecnadamen­ te. En principio, en el contexto de un sistema de evaluación no hay qne confundir el concepto de retroalimentación por los pares con el de evaluación por los pares. La información aportada por los pares formará parte como la pro­ veniente de nna fnente más en el marco general del sistema de eva­ Inación comprensivo de la docencia. En ningún caso se derivarán juicios valorativos directos desde esta información. Por todo ello, la información que se solicita de los pares nnnca estará basada en juicios valorativos personales del compañero o en información subjetiva basada en la impresión (o en el desconocimiento) respecto de su actuación, sino en información objetivamente valo­ rada respecto de aqnellos elementos de su actividad, que los compa­ ñeros conocen directamente y que deberán expresar de tal manera que permite incidir en sn mejora. Sólo así la información de los pares introdnce elementos sustantivos para la retroalimentación positiva del profesor y le aporta verdadero valor añadido. Si los pares participan en la aportación de información para la evaluación sistemática de la actividad docente de los compañeros, habrá qne tener muy presentes los siguientes extremos: Usos de información basada en hechos. La más importante consideración en la recogida de datos es qne ésta esté focalizada fundamentalmente sobre descripciones factuales respecto de

la actuación docente de la persona a evaluar. Para ello es im­

portante invitar como proveedores de datos únicamente a aque­

llos pares que tengan conocimiento directo de la actividad del

profesor a evaluar (Stronge y Helm, 1991).

Consideraciones en torno a la validez y a la fiabilidad. Una

forma de incrementar la validez del estudio es preguntar única

y exclusivamente cuestiones a la persona interrogada, que por

razón de su conocimiento directo esté en condiciones de con­

testar, evitando otro tipo de consideraciones. En cuanto a la

fiabilidad, cabe recordar que cuanto mayor sea la muestra de

personas interrogadas mayor será la misma, por tanto conven­

drá incluir suficientes sujetos en los procesos evaluativos por

pares.

Confidencialidad. La confidencialidad debe garantizarse para

todo el proceso evaluativo, de lo contrario difícilmente conse­

guiremos que la información aportada sea emitida sin restric­

ciones de algún tipo.

Procedimientos de muestreo. Un estudio en el que la muestra

elegida para llevarlo a cabo no garantice una importante

representatividad, constituye un estudio absolutamente inútil.

El rendimiento en el aprendizaje de los alumnos

No debemos olvidar que el propósito directo de la enseñanza es el aprendizaje, y que la escolarización debería asegurar que cada nueva generación de alumnos acumule los conocimientos y destrezas nece­ sarios para desenvolverse solventemente al llegar a la edad adulta ante las demandas que marca la sociedad. A tenor de esta afirmación, incluir el rendimiento de los alumnos como una fuente más en los procesos de evaluación del profesorado parecería del todo razonable. Sin embargo, la idea de ligar estrechamente el aprendizaje de los alumnos con la tarea del profesor o de la escuela no es, a pesar de los numerosos trabajos en esa dirección (Scriven, 1988; Millman y Sykes, 1992; Smylie, 1994; Webster, 1994), una idea totalmente aceptada. Los problemas técnicos y políticos planteados al intentar relacionar­ los significativamente han impedido, hasta ahora, el orientar de for­ ma generalizada los procesos de evaluación del profesorado sobre el rendimiento en los aprendizajes de los alumnos (Berk, 1988). Aun así y en este marco comprensivo que venimos desarrollando parece que las nuevas líneas de trabajo vuelven sobre este tópico,

114

sólo que desde puntos de vista distintos a los mantenidos tradicional­ mente por los defensores de incluir el rendimiento de los alumnos como objeto de evaluación de la tarea docente. Se trata no tanto de valorar la tarea del profesor sobre el rendi­ miento absoluto de los alumnos, sino tratar de hacerlo sobre el valor añadido aportado por la docencia. Ello implica. por un lado, estable­ cer el punto de partida del rendimiento anterior, valorando no tan sólo las ganancias de rendimiento sino analizándolas a la luz que aporta también el potencial de aprendizaje observado en los alumnos a lo largo del tiempo (obtenido mediante el análisis de los registros de su evolución en los últimos cursos), así como también de cruzar esta información con otras de tipo contextual que nos permita racionalizar y desagregar qué parte de las ganancias obtenidas responden a una actividad docente de calidad y cuáles son atribuibles a otras causas. Por otra parte y tal como ya hemos expresado anteriormente, la información así obtenida formará parte de ese registro acumulativo de evidencias múltiples que nos ayuda a dibujar con la mayor preci­ sión posible y con el mayor número de matices la realidad de la do­ cencia ejercida por el profesorado. Al mismo tiempo, debemos nuevamente recordar que incluir en la reflexión del profesorado in­ formación de este estilo respecto del rendimiento es fundamental en los procesos de mejora personal y colectiva y aporta datos decisivos a la institución para la gestión de la calidad de la docencia.

El autoinforme

,El autoinforme constituye un proceso por el que el profesor efectúa juicios acerca de la adecuación y de la efectividad de su propia activi­ dad, con el objeto de establecer las bases que faciliten la mejora, En estos procesos de autorreflexión es el propio profesor el que debe seleccionar, recoger, interpretar y juzgar la información referida a su propia práctica. Aquí es el profesor el que establece los criterios y fija los estándares para juzgar la adecuación de sus creencias, cono­ cimientos, habilidades y efectividad respecto de su actividad docen­ te. Finalmente, es también él quien decide la naturaleza de las acciones de desarrollo personal que deberá asumir después del proceso de re­ flexión sobre su actividad. La autoevaluación aporta una tipo de conocimiento único en el contexto de la evaluación comprensiva, que no debemos desaprove­

'1

1

!

¡

115

char y cuya importancia responde a las siguientes razones (McColskey y Egelson, 1993; Airasian y Gullickson, 1995,96):

¡•

-

1

I¡:

l· I

¡

-

Es un acto de responsabilidad profesional. Es una actividad que permite focalizar el desarrollo profesio­ nal y la mejora al nivel del aula y del centro, ámbitos donde realmente el profesor es un gran experto. Supone un reconocimiento que el cambio en la organización exige también cambios en los procesos personales.

Implica también el reconocimiento que el profesor mantiene el

control sobre su propia práctica. Facilita que el profesor sea consciente respecto de las fortale­ zas y debilidades de su propia práctica. Motiva actitudes proactivas de cambio y de desarrollo profe­ sional. Trata a los profesores como profesionales con capacidad de automejora. Favorece la interacción y el debate en el marco escolar, acerca de la calidad de la docencia.

Finalizamos este apartado señalando que, posiblemente, una for­ ma de potenciar la calidad de los autoinformes es que éstos se reali­ cen después de que el profesor ha analizado información evaluativa sobre su actividad proveniente de otras fuentes (como son las que hasta ahora hemos analizado). La información previa ayuda a centrar la autorreflexión y favorece la profundidad de los propios juicios. Independientemente responde a la idea que mantenemos que los sis­ temas evaluativos sobre la docencia se fundamentan sobre el análisis complementario e interactivo de fuentes documentales múltiples y diversas en su naturaleza.

El portafolios

El portafolios del profesor se ha convertido en los últimos años en uno de los instrumentos más populares y extendidos en los Estados Unidos, tanto para la evaluación como para el desarrollo profesional del profesorado. Su uso ha sido adoptado en numerosos ámbitos in­ cluido el universitario donde se ha aplicado fundamentalmente en la formación y desarrollo profesional de profesores noveles (Borko, Michaelec y Timmons, 1996). También ha demostrado su utilidad en

116

117

el reconocimiento de actividad docente de excelencia a nivel de dis­ trito educativo en Estados Unidos (Wolf, Lichtenstein, Bartlett y Hartman, 1996) y en procesos de renovación de licencias tanto a ni­ vel estatal como nacional en el mismo país. En su forma más elemental, el portafolio en esencia no es sino una simple colección de informaciones acerca de la práctica docente del profesor. El problema que puede tener es que sus contenidos, que pueden ser tan variados como fotografías de la vida de la escuela, notas escritas de los padres dirigidas al profesor, etc., etc., no estén relacionados con la filosofía docente personal del profesor o con el plan de calidad docente de la escuela, en otras palabras que carezca de significación para orientar el proceso de mejora. Para evitarlo, el portafolios debería contemplar los siguientes as­ pectos (Schulman, 1992): El portafolios debería estructurarse alrededor de contenidos profesionales y de los objetivos institucionales del centro. Debería contener ejemplos cuidadosamente seleccionados del trabajo del profesor y de los alumnos de forma que ilustrara adecuadamente hechos o situaciones clave de la práctica do­ cente. Los contenidos del portafolio deberían ir acompañados de co­ mentarios escritos, que explicaran e interpretaran el significa­ do e importancia de los mismos. El portafolio tendría que constituir una colección de experien­ cias vividas que sirvieran de base para discutir con los colegas elementos de desarrollo profesional. En general, se admiten tres grandes propósitos para el portafolios (Wolf, Lichtenstein y Stevenson, 1997): Dirigido a cumplimentar requerimientos evaluativos. Para orientar el desarrollo profesional. Como ayuda en la búsqueda de empleo. Desde nuestro insistente punto de vista del modelo comprensivo, la función básica del portafolios está en la evaluación. El portafolios ilustra con experiencias significativas y representativas la informa­ ción evaluativa que poseemos y que se requiere para llevar a buen termino la evaluación sistemática de la docencia. Obviamente y pre­ via reflexión y en el contexto de mejora de la docencia, la informa­

ción contenida en el portafolio ayuda en la orientación del desarrollo profesional del profesor. En el portafolios del profesor deben incluirse todos aquellos ma­ teriales que puedan en algún momento incrementar, vía ilustración, nuestro conocimiento evaluativo de la actividad docente del profesor. Justamente, el carácter adicional que aporta, es incluir en nuestra reflexión muestras de ejemplos escogidos de la actividad profesional, que en sí mismos no constituyen necesariamente información objeto de evaluación, pero que su valor añadido consiste justamente en arro­ jar luz a otras informaciones que sí lo son. (b)

Emisión de los juicios de valor respecto de la docencia

Bajo el término docencia existe un constructo muy amplio y com­ plejo, pero llegados a esta fase del proceso evaluativo no tendremos más remedio que enunciar cómo vehicular su concreción. Si hemos seguido cada uno de los pasos hasta aquí explicitados: análisis de las necesidades institucionales y su compatibilización con las expectati­ vas profesionales del profesorado, determinación de los objetivos ins­ titucionales, desarrollo de criterios e indicadores, establecimiento de estándares, tenemos todos los elementos básicos que nos delimitan operativamente cuál es el modelo de calidad que se pretende en ese centro para la docencia. El modelo de calidad de la docencia es el que nos va a orientar en la procedimentalización del diseño evaluativo. Nos va a indicar qué elementos de la docencia son los más significativos para un momento determinado y, por tanto, estaremos en condiciones de determinar que tipo de información deberemos recoger, a través de qué instru­ mentos, con qué secuenciación y qué tipo de análisis habrá que apli­ car. Todos ellos constituyen los elementos clave del diseño u operativización del procedimiento evaluativo. No hemos de minusvalorar los aspectos procedimentales, paro­ diando la frase de que democracia es procedimiento, podemos afir­ mar que sin procedimiento no hay evaluación. En muchísimas ocasiones agotamos la actividad evaluadora en los procesos de recogida de la información. Documentar la actividad evaluadora de manera múltiple y enriquecida, tal como hemos indica­ do, es un paso esencial, pero no suficiente para alcanzar la sistemacidad y la comprensividad en la evaluación.

~

I1

118 119

Es precis o que dicha recogi da de inform ación esté orientada ade­ cuadam ente, que las condic iones previa s facilitadoras de la evalua ­ eren se hayan cumplido, que los nexos relacionales de la evaluación con los proces os de mejora y de desarr ollo profes ional se cumplan, etc., y todo esto nunca será posibl e si cada una de las acciones no están conven ientem ente integradas en el proced imient o evaluativo. En definit iva, la línea argum ental que va desde tener exquis ito cuidad o con que se cumpl an las condic iones de produc ción de la eva­ luació n, que pasa por asegurar la calida d técnica en los procesos de recogi da de información de forma que garanticen su sustantividad y su riquez a y variedad de puntos de vista, que contin úa controlando el cumpl imient o de los aspectos relacionales entre la información anali­ zada y los procesos de mejora de la docen cia en la institución y el desarr ollo profes ional de los implic ados, que se desarr olla bajo un cuidad o absolu to del derecho a la confid encial idad y de los derech os legales que asisten a los implicados consti tuyen la línea maestr a que verteb ra una evalua ción que aspire a adquir ir las características de sistem ática y comprensiva. Sólo a partir de una adecua da explic itación de cada uno de los mome ntos del proced imient o a efectu ar es posibl e sistem atizar el pro­ ceso entend iéndol o como un contin uo en el tiempo y recorr er cada uno de los aspectos que le permit e adquir ir el caráct er de compr ensi­ vo, ya que atiend e simult áneam ente a todas las audiencias en el con­ texto de las necesi dades institucionales y profes ionale s expres adas en el model o de calida d de la docencia. (e)

Uso intensivo y extensivo de la información evaluativa: la derivación de las propuestas de mejora.

Una de las caract erístic as que mejor caract eriza las socied ades moder nas, está en su evoluc ión hacia nuevas formas de funcionamien to basada s en el uso intensivo y extensivo de la inform ación (Tedes co, 2000). Con esta afirma ción previa, querem os dar especial relevancia a una realidad que consid eramo s fundam ental en el marco de la eva­ luació n actual, el hecho que la deriva ción de las propue stas de mejora deberá asenta rse sobre un análisis intensivo de la inform ación y en su uso extens ivo. La inform ación evalua tiva ha de ser analiz ada en profun didad uti­ lizand o para ello todos los métodos que la intelig encia y las nuevas tecnol ogías sean capace s de aportar. Sus resulta dos deberá n ser inte-

grados en todos los ámbitos desde los que se pueda incidir en la mejo­ ra global de la calidad de la docencia. , . Para conseguirlo, en el análisis de los puntos fuertes y de~¡\es y en las propuestas de mejora debere mos atende r a una doble onen~aclón. Por un lado, el análisis para poder alcanz ar el adecuado mvel de profundidad, relevancia e intensidad deberá ser orientado por el mo­ delo de calidad de la docencia y obviam ente hacer uso de los proced i­ mientos técnica mente más avanza dos y correctos. Por otro, si queremos que los resulta dos incidan ;,,:tensivamente, debere mos reclam ar la existen cia de un plan estratégico del centro donde integra r la información evalua tiva con otras de distinta proce­ dencia , pero igualm ente releva ntes, y desde él proyec tar cualqu ier propue sta de mejora. . . La toma de decisiones no depend e únicam ente de la inforrn ación evaluativa, sino que su vehícu lación exige integr ar la inform ación evalua tiva con otras, analizarlas conjun tamen te de forma realme nte compr ensiva e intensi va de forma que la genera ción de propue stas se asiente realmente en el dominio de la realidad. El plan estratégico es el único espaci o que facilita toda esta com­ pleja red de interacciones y todo centro deberí a te~erlo.d~ forma q~e se racion alicen y se fijen las priorid ades donde inscrib ir cualqu ier propue sta de desarrollo y de cambio, entre las que eviden temen te se encuen tra los planes de mejora para la docencia. . Pensem os que antes de tomar cualqu ier decisió n debe analizarse en profun didad la capacidad total del sistema, donde. entre otros as­ pectos se analiza el potenc ial de cambi o del centro, los recurs os con que se cuenta, las necesidades, las priorid ades y ~on todo el~o ~e esta­ blecen las líneas maestras sobre las que discum rá su erecírruento y desan'Ollo durant e un período determ inado y es en ese marco donde se inscrib e la infonn aeión evalua tiva que eviden temen te modifica el propio plan estraté gico al incorp orar sus aportacione~,. pero ':lue al tiempo dimen siona y direcc iona todas la.s tomas de decisiones ligada s con la evaluación, el desarrollo y la mejora . Los planes estratégicos consti tuyen en la actual idad uno de los instrumentos más utilizados para dinam izar el desarr ollo de las I~StJ­ tucion es. Consti tuyen la corrien te princip al de cualqu ier organi za­ ción alrede dor de la cual se organi zan todas las iniciativas, dotánd olas de sentido global y de significado, al tiempo que raci?n alizan I.os pro­ cesos de priorización y de secuen ciació n d~ las accion es a eJecu~ . Facilitan las tomas de decisio nes realistas e integra das en una mision

121

120

común que gracias a que está explicitada puede ser debatida, mejorada y compartida. Un modelo comprensivo de evaluación sistemática de la docencia encuentra en este espacio el contexto donde deben situarse todas las propuestas de mejora, agrupadas y ordenadas. El plan estratégico de la organización es el único ámbito donde es posible asegurar mínimamente la racionalidad y el realismo de la acción evaluadora. Al mismo tiempo, todo plan estratégico lleva implícito su propio plan de seguimiento lo que permite cerrar eficazmente el círculo que enla­ za la evaluación con la mejora. 3.3.4. LA FASE METAEVALUATIVA

Desde que en 1975 se creó el "Joint Committee on Standars for Educational Evaluation" ha ido generando diversas recomendaciones para conducir procesos metaevaluativos. En lo que hace referencia al personal ha emitido dos conjuntos de normas, una el 1988 y otra en el 1994. Según sus propias palabras, se conceptualiza el término estándar como «un principio comúnmente aceptado para ser usado en evaluar la calidad en educación» (Sanders, 1994). Sin embargo, desde nues­ tro punto de vista, las recomendaciones, tal como ellos las emiten, las concebimos más como medios para desarrollar la calidad de las prác­ ticas evaluativas. Los estándares para la evaluación del personal de 1994 vienen agrupados (como en la anterior ocasión) en cuatro categorias que tra­ tan de reflejar los atributos que debe reunir una evaluación del profe­ sorado correcta: propiedad, utilidad, factibilidad y precisión. Propiedad

El estándar de propiedad establece la expectativa de que las eva­ luaciones que afecten al profesorado deben ser conducidas legal y éticamente. Aparte deben suponer algún tipo de mejora para aquellos que van a ser evaluados y a los que sirven. Se enfatiza en este estándar los siguientes aspectos: La orientación hacia el servicio: La evaluación del profesora­ do debe promover principios educativos correctos, la protec­ ción de los derechos del estudiante y de la comunidad y la

satisfacción de las necesidades del sistema educativo. Los

estándares específicos para la enseñanza deben ser formulados

de forma que refuercen consistentemente a todos los profesores.

Carácter formal: Las políticas, los procedimientos y los crite­

rios que guían la evaluación del profesorado deben ser estable­

cidos de manera consistente, equitativa y legal.

Conflicto de intereses: La evaluación debe estar protegida de

procesos inapropiados que puedan servir a intereses persona­

les discriminatorios. Su orientación debe ser el servicio al cen­

tro y a objetivos profesionales compartidos.

Acceso a los informes personales: La evaluación del profeso­ rado tiene carácter confidencial y su acceso debe estar perfec­ tamente controlado. Interacción con los evaluados: Los profesores evaluados debe­ rán ser tratados de manera profesional, considerada y cortés.

Utilidad

La evaluación del profesorado ha de ser informativa, oportuna e influyente. En este sentido, se cuidarán específicamente los siguien­ tes elementos: -

Orientación constructiva: La evaluación del profesorado debe­ rá incidir en la mejora de la calidad del centro, en el desarrollo de sus recursos humanos y asistir a los profesores en la mejora del cumplimiento de sus responsabilidades. Usos definidos: Los usuarios y los usos derivados de la evalua­ ción del profesorado deberán ser identificados desde el princi­ pio del proceso evaluativo. Credibilidad del evaluador: La evaluación del profesorado de­ berá ser dirigida y conducida por personal cualificado, entre­ nado, autorizado, soportado y monitorizado. Informe funcional: El informe producto de la evaluación del profesorado deberá ser claro, oportuno, preciso y pertinente. Debe en definitiva tener valor práctico para los usuarios. Seguimiento e impacto: No basta con meramente informar, una evaluación de calidad proporcionará ayuda a los usuarios para que tomen las acciones pertinentes derivadas de la informa­ ción evaluativa.

123

122

Factibilidad

La evaluación del profesorado deberá ser de fácil implementación, eficiente, adecuada apoyada y viable desde la perspectiva de la co­ munidad. Entre sus características tendrá que observar: Procedimientos prácticos: Los procedimientos para obtener la información deben ser justo los adecuados y todo el proceso debe tener el mínimo costo y provocar las mínimas interrup­ ciones en la práctica diaria. - Viabilidad política: Las políticas y los procedimientos a esta­ blecer procurarán ser aceptables para todos los implicados. Viabilidad fiscal: El tiempo y los recursos deberán ser los ade­ cuados, evitando peligro de sobredimensionarlos.

Control sistemático de los datos: Hay que garantizar que la

información recogida para desarrollar los procesos evaluativos

será guardada de manera segura y que será procesada cuidado­

samente, de forma que no se introduzcan errores durante el

proceso de manipulación de los datos.

Control de los sesgos: La evaluación deberá ser limpia e im­

parcial para todos los profesores. Se debe asegurar la protec­

ción contra toda información afectada por cualquier tipo de

parcialidad.

Control sistemático de la evaluación: Será preciso revisar pe­

riódica y cuidadosamente los sistemas evaluativos de forma

que se vayan introduciendo de forma continua las pertinentes

mejoras.

3.4. Evaluación y desarrollo profesional Precisión

Este estándar hace referencia a la fidelidad del proceso. Así se exige que las conclusiones deberán estar absolutamente fundamenta­ das en las evidencias analizadas. Pensemos que al ser una evaluación que su objeto directo son personas habrá que exigír un esmerada aten­ ción a los detalles y a la precisión en las afirmaciones. Entre sus ca­ racterísticas señalamos: Funciones y responsabilidades bien definidas: Todas las partes

involucradas en este tipo de evaluación, deberán tener

homogéneamente asumidos y entendidos cuáles son las res­

ponsabilidades o funciones (y su significado) que forman par­

te de los deberes del profesor y que van a constituir objeto de

la evaluación.

Ambiente de trabajo: El contexto donde trabaja el profesor es

evidente que puede afectar a su trabajo, por tanto la evaluación

deberá tener en consideración las posibles influencias deriva­

das del mismo.

Procedimientos de documentación: La evaluación deberá estar

adecuadamente documentada, de forma que se pueda acudir a

la misma para clarificar los extremos evaluativos.

Validez y fiabilidad de los instrumentos, estrategias y procedi­

mientos usados en la recogida de información.

Entramos ya en la recta final de nuestro trabajo, y aunque sea muy brevemente queremos aportar alguna reflexión sobre el tema del de­ sarrollo profesional que evidentemente constituye una de las conse­ cuencias derivada de los procesos de evaluación de la docencia. Trataremos de exponer algunos cambios -que se están produciendo en cuanto a su concepción. Así, en los estándares establecidos por el National Staff Development Council (l995a, 1995b, 1995c) se intro­ ducen dos ideas que consideramos de máximo interés y que pasamos a comentar a continuación. En primer lugar, hay que romper con la imagen que cuando habla­ mos de desarrollo profesional se está tratando de algo que afecta úni­ camente a los profesores. En la actualidad se entiende como un proceso de crecimiento que afecta a toda la institución, aún es más a toda la comunidad educativa, lo cual compromete a todas las personas que tengan algún impacto en la docencia, (p. ej.: se pueden incluir hasta a los padres), como también a sus aspectos organizativos e incluso a los recursos que se aplican. Estamos frente a un modelo que entiende que el desarrollo profe­ sional es un compromiso global del centro y que todos aquellos ele­ mentos que intervienen favoreciendo la mejora profesional de las actuaciones en el centro son objeto de atención en las acciones de desarrollo profesional.

125

124

En otra línea está la segunda aportación del National Staff Development Council, por la que se amplía el campo de actuaciones de mejora para el desarrollo profesional dirigidas a los profesores. Según esta segunda aportación, no deberemos circunscribir las inter­ venciones para el desarrollo profesional a la formación presencial personal o de grupo del profesorado, sino que en el desarrollo profe­ sional se avanza y se realiza fundamentalmente a través de la propia práctica profesional y afectando a todas sus partes. Entendemos que estas aportaciones completan mejor nuestras pro­ puestas de modelo comprensivo para la evaluación sistemática de la docencia. , Así y como resumen y epílogo, sólo nos queda recordar-que ini­ ciábamos nuestro recorrido insistiendo en que la evalución del profe­ sorado cobra significado cuando se integra en el concepto de evaluación de la docencia, entendiendo la docencia como responsabi­ lidad común de la institución especialmente de sus equipos docentes: a su vez, la docencia responde a las directrices del modelo de calidad del centro. Seguíamos con que la recolección de información para la evalua­ ción, si quiere atender a tan vasto dominio, deberá conjugar el uso de múltiple documentación para la captura de toda la gama posible de matices implícitos en la información evaluativa con la de otras infor­ maciones de procedencias diversas. La recolección y uso intensivo de la información será preciso para entender y atender la realidad educa­ tiva. Esta información deberá integrarse en la corriente común de lo> planes estratégicos si queremos procedimentalizar no tan sólo la ac­ ción evaluativa, sino también la construcción y seguimiento de pla­ nes de mejora realistas. Finalmente, concluíamos que el desarrollo profesional entendido como una de las acciones derivadas de la evaluación deberá superar anteriores concepciones y entenderse como una acción que compro­ mete a toda la institución y que se ejecuta fundamentalmente en el espacio profesional por ella enmarcado.

Bibliografía

-. (1996), Teacher self-evatuation tool kit. Thousand Oaks, Ca.: Corwin. BECHER, R. M. (1984), Parent ínvoívement: A revíew ,01 researcñ and principies 01 successful practice. (Report N' PS 014 563). Urbana, Ill.: National Institute of Education (ERIC Document Reproduction Service n" ED 247 032). BERK, R. A. (1988), "Fiñy reasons why smdent achievement gain does not mean teacher efectíveness". Journal 01 Personnel Bvaluation in Education, 1, 345­ 363. BORKO, H., MICHAELEC, P. y TIMMONS, M. (1996), Student teaching portfolíos: A tool jar promoüng refíective practice. Washington D. C. Author. CASTRlTER, W, B. (1981), The personnel functlon in educational administration (3G. ed.). Nuevo York: Macmillan. CONNELLAN, T. K. (1978), How to improve human performance: Behavíorism in bu­ siness and industry. Nueva York: Harper and Row. CONLEV, D. T. (1987), "Critical attributes of effective evaluation systems", Educasional Leadership, 44 (7), 60-64. DELORS, J. (1996), Los cuatro pilares de la Educación en Lo. Educación encierra un tesoro. París: UNESCO. DUKE, D. L. (1990), "Developing teacher evaluation systems that promote professional growth". Joumal of Personnel Evaluatíon in Education, 4, 13 1-144. ELLET, C. D. (1987), "Emerging teaeher performance assessment practices: Implicatlons for the instructional supervision role of school principals", en W. Greenfield (ed.), Instructional Ieadership: Concept and controverstes (pp. 302­ 307). Boston: AlIyn y Bacon. EpSTElN, J. (1985), "A question of merit: Principals' and parenrs' evaluation of teachers". Educational Researcher, 14 (7), 3-10. EVERSTON, C. M. y Holley, F. M, (1981), "Classroom observation" en J. MilIman (ed.), Handbook 01 teacher evaluation, pp. 90-109. Beverly HiIls, Ca.: Sage. FAUCETIE, S. L., BALL, D. M. Y OSTRANDER, L. R, (1995), Cíients satlsfactlon surveys. Virginia Beach.Va.: Virginia Beach City Publlc Sehools Press. FOLLMAN, J. (1992), "Seeondary school students' ratings of teaeher effectiveness". High School Joumal, 75, 168-178, FRASE, L. Y STRESHLY, W. (1994), "Laek of accuraey, feedback, and commitment in teacher evaluation". Joumal of Personnel Evaluatíon in Education. 1, 47-57. FULLAN, M. G. (1991), The new meaning of educational change. Nueva York:Teaehers College Press. ' GLATrnORN, A. (1984), Differentiated supervision. Alexandria, Va.: Association for Supervisión and Currículum Development. GOODALE, J. G. (1992), "Improving performanee appraisal". Business Quarterly, 51 (2), 65-70. HAAK, R. A., KLEmER, D. y PEcK, R. (1972), Student evaluation of teacher instrument, n. Austin: Texas University, Research and Development Center for Teacher Bducation. (ERIC Document Reproduction Service N° ED 080 574). HARRIS, B. M. (1987), "Resolving oId dilemmas in diagnostic evaluation", en Educational Leadershíp, 44 (7), 46-49. . HELM, V. M. (1994, abril), The professional support personnel evaluation model.· The use of multiple data sources in personnel evaluation. Ponencia presentada al encuentro anual de la American Educational Research Association, Nueva

Orléans.

P. W. y GULLIKSON, A. (1995), Teacher self-evaluation tool kit. Repon presentado a la Office of Research, Office of educational Research and Improvement, U. S. Department of Education, Washington, D. C.

AIRASIAN,

HUTCHMACHE, R. W. (1999), "L'avaluacíó en lo rransformació de les modalitats de govern deis sistemes educatius". Tendéncies europees en Avaluació i Educació, pp. 15-34. Barcelona: Generalirat de Catalunya, Consell Escolar de Catalunya.

126

127

10lNT COMM,llTBE ON STANDARS FOR EDUCATIONAL EVALUATION (1988). The personne! evaluatíons standars: How lo assess systems 01 evaluating educators. Newburv

Park, Ca.: Sage. . MAGE~. G. M. O?,80), "The conditions which influence teachers in initiating contacts with parenls . Joumal of Educatíonal Research, 73, 276-282. MARCH, J. G. Y SIMON, H. A. (1967), Organizations. Nueva York: John Wiley. MARK, M. M., Y SHoTLANn, R. L. (1985), "Slakeholder-based evaluation and value judgments", Evaluation Review, 9, 605-626. MATEo, J., ESCUDERO, T., MIGUEL, M., MORA, J. G. Y RODRIGUEZ, S. (1996), La evo­ Iuacíon del profesorado de secundaria. La opinión de los profesores. Barceic­ na: CEDECS. - . (1999), ,"La e:alu~~j6n del profesorado de secundaria". en Cerdán, 1. y Grañeras., M. La tnvesttgacum sobre profesorado [J. 1993-97, pp. 339-359. MCCOLSKEY. W. y ~GELSON, P. (1993), Designing teacher evaluation systems thut support professional growth. Greensboro, N. C.: South-estearn Regional Visión for Education. MCCONNEY, A., WHEELER, P. H., WIERSMA, W., MILLMAN, L, STUFFLEDEAM, D., GULlLKSON, A., AIRAsrAN, P. W" VICINANZA, N., HAAERTEL, C. D., BARRY, K. v CULLEN, K. (1996), Teacher evaluation kit and database of CREATE products (CD.RC!M). Kalamazoo: Western Michigan University, Center for Research 011 Bducational Accountability and Teacher Evaluation. McGREAL, L, (1988), "Evaluation for enhancing instruction. Linking teacher evaluat!?n an? staff de~el.opment",en S. 1. Stanley y W. 1. Popham (eds.), Teachel' evaluation: Su prescriptions for success (pp. ] -29), Alexandria, Va.: Association for Supervisión and Curriculum Development. McLAUGHLJN, ~. W. y PFEJ~ER, R. S. (1988), Teacher evaluation: Improvement accountability and effective learníng. Nueva York: Teachers College Press. MILLMAN, J. Y SYKES, G. (1992), The assessment of teaching based on evidence of stu~ent learning: An analysis (Research Monograph N° 2). Washington, D. National Board for Professional Teaching Standars. NATlONAL ~T~FF DEVELOPMENT COUNCIL. (1995a), in Cooperation with the Nationa! Association of Elementary SchooJ Principals, Standars for staff developmenr (Elemenrary school ed.). Oxford, Oh.: Author. - . (1 ?9~b), in Cooperatíon with the National Association of Secondary School Principals, Ssandars for staffdevelopment (High school ed.). Oxford, Oh.: Author. - . (1995c), Standars for staffdevelopment (Middle school ed.). Oxford, Oh.: Author OLSEN, L. D. Y BENETT:,A. c. (1980), "Performance appraisal: Managemenl techniqut­ as social proeess? ,en D. S. Beach (ed.), Managing people at work: Readings in personnel (3 11 ed.), Nueva York: MacmilJan. PATTSON, M. Q. (1986), Utilization-focused evaluatton (2' ed.), Beverly Hills, Ca.: age. PHI DELTA KAPPA NATlONAL STUOY COMMITrEE ON EVALUATION (1971), Educatíoruü evaluation and decision making. Itaca, Ill.: F. E. Peacock. F,oOT, D, y OVERLY, D. (1990), "Successful teacher evaluation: Key elements for success". NASSP Bulletín, 74 (527), 34-38. SANDERS;J. R. (1994), "The process of developing national standars that meet ANSI guidelines". Journaí of Experimental Education. 63 (1), 5-12. SCRIVEN, M. (1981), "Summative teacher evaluation", en J. Millman (ed.), Handbooí: of teacher evaluation, pp. 244-271. Beveriy HilIs, Ca.: Sage - . (1988a), "Duties-based teacher evaluation", Journal of Personnel Evaluation in Educatíon, 1, 3 19-334. - . (198gb), "Evaluating leachers as professionals: The duties-based approach, eo S J. Stanley y W. Popham (eds.), Teacher evaluation: Six prescriptionsforsucces.\

!.

e

(pp. 110-142). Alexandria, Va.: Association for Supervision and Curriculum Development. (1991), Duties of teacher (TEMP A memo), Kalamazoo: Western Michigan University, Center for Research on Educational Accountability and Teacher Evaluation. ~. (J 994), "Duties of the teacher. Journal of Personnel Evaluation in education, 4, pp. 19-32. SCHULMAN, L. (1992), Portfolios for teacher education: A component of refíective teacher educatíon. Ponencia presentada al encuentro anual de la American Educational Research Association, San Francisco, Ca. SMYUE, M. A. (1994), "Redcsigning teachers' work: Connections to thc classroom" en L. Darling-Hamrnond (ed.), Revíew of research in education (pp. 129-178). Washington, D. c.: American Educational Research Association. STRONGE, J. H. (1997), Evaluatíng Teaching. A guide lo current thinking and best practice. Thousand Oaks, Cia.: Corwin Press, Inc. STRONGE, J. H. Y OSTRANCHE, R, L. P. (1997), "Client Surveys in Teacher Evaluation en Stronge, 1. H. (ed.), Evaluating Teaching. A guide to current thinking and' bes! practice. Thousands Oaks, CIa.: Corwin Press, Inc. STRONGE, 1. R, HRM, V. M., y TUCKER P. D. (1995), Evaluation handbook for professíonal support personnel. Kalamazoo: Western Michigan University, Center for Research on Educational Accountabilíty and Teacher Evaluation. TEDESCO, 1. C. (2000), "Educación y sociedad el conocimiento". Cuadernos de Pe­ dagogía, 288, pp. 83-86. WEBSTER, W. 1. (1994), "The connection between personnel evaluation and schooJ evaluation", en A. A, McConney (ed.), Toward a unified model: The foundatíons ofeducatíonal personnel evaluation (pp. 93-117). Kalamazoo: Westem Michigan University Center for Research on EducationaJ Accountability and Teacher Evaluation. WHEELER, P. H. Y HAERTEL, C. D. (1993), Resource handbook on performance assessmeru and measurement: A toolfor students practitioners, and policymakers. Chico, Ca.: Owl. (ERIC Document Reproduction Service n" ED 367 686). WOLF, K" LICHTENSTETN, G., BARTLETI, E. Y HARTMANN, D. (1996), "Professional development and teaching portfolios: The Douglas County School District Outstandíng Teacher Program". Journal of Personnel Evaluation in Educatlon, lO, 279-286. WOLF, K., LrcHTENsTEIN, G. y STEVENSON, C. (1997), "Portafolios in Teacher Evaluation", en J. H. Stronge, Evaluating Teaching. A guide to Current Thinking and best Practice (pp. 193-213) Thousands Oaks, Ca.: Corwin Press, Inc. WOOD, C. (1992), "Toward more effective teacher evaluation: Lessons from naturalistic inquiry". NASSP Bulletin, 76 (542), 52-59.

4. La evaluación del currículum

El propósito más importante de la evaluación no es demostrar sino mos­ trar y perfeccionar. La evaluación de programas debe tender de forma natural a la comprensión profunda de los fenómenos y al perfecciona­ miento.

,.

(Stufflebeam y Shinkfield, 1985)

4.1. Introducción Desde la visión comprensiva que mantenemos respecto de la eva­ luación, entendemos que el análisis evaluativo de un programa edu­ cativo, concebido como un ente aislado, no aportado suficiente significado a la interpretación de la realidad educativa en su conjun­ to, ni permite derivar excesivas decisiones de cara a la gestión de su calidad. El currículum ofrece una perspectiva mucho más holística respec­ to de la intervención educativa y proporciona mayores posibilidades de dotar a la información evaluativa recogida de sentido y significa­ do, facilitando su uso intensivo y extensivo que, en definitiva, es la vía que permite racionalizar la toma de decisiones para la mejora. Consideramos, por tanto, que la unidad funcional de la interven­ ción educativa, aquella que permite comprender la acción, asignar valores a sus elementos y gestionar de forma eficaz la mejora y el cambio se sitúa en el currículum. El programa no es sino una subunidad dentro 'del conjunto que supone el currículum. Sin embargo, desde la perspectiva procesual, la metodología evaluativa que se aplica al currículum educativo no difiere significati­ vamente de la que se aplica a los programas, tanto es así que a veces se nombran indistintamente una u otra. Esperamos que ello no intro­ duzca elementos de confusión en el escrito.

130

131

En este capítulo trataremos de analizar, en primer término, algu­ nos de los conceptos que subyacen bajo el constructo denominado curríc~lum. Posteriormente, entraremos en las aproximaciones evalu~tIvas m~s al uso describiendo y analizando sus modelos más conocidos denvados de ellas. Finalmente, especificaremos el carác­ ter'! las fa~es del proceso de evaluación para el currículum para con­ cluir reflexionando brevemente en tomo a los efectos producidos sobre lo agentes que operan en él.

4.2. El currículum Definir qué es el currículum, cuál es su propósito y cómo afecta a los alumnos y a los profesores no es una tarea sencilla de hecho exis­ tan .múltiples acepciones aunque entre ellas podríamos destacar'cinco básicas. . , Así, el currículum podría ser definido como un plan para la ac­ cion, o un documento escrito que incluye un conjunto de estrategias para alcan~ar los o.bjetivos o fines deseados. O en palabras de Stake (1976), quien considera qu~ un programa es toda actividad organiza­ da que se prolonga en el tiempo para conseguir unos objetivos, que cu~nta. c?n un sistema de gestión y financiación, se dirige a un grupo de individuos y despierta el interés de muchos otros. Esta posición, popularizada por autores como Tyler (1949) y Taba (1962), nos presenta una ~isión lineal del currículum, su cara más inge­ nua, ~onde tod? está prevlst?: los pasos a seguir, dónde empieza y aca­ ba la.intervención y el propio proceso con todas sus características. SIstemas como el conductista O los denominados de gestión directi­ va (management), estarían perfectamente identificados con esta con­ cept?alización, en esta línea. Autores, como Saylor (1994), definen el curnculum como un plan para proveer de Un conjunto de oportunida­ des de aprendizaje a las personas para ser educadas, o Wiles y Bondi (1992) que señalan que el currículum es Un plan para aprender aquellos obJet~vos de aprendizaje determinados previamente como relevantes. Sin embargo, el currículum puede ser definido de una manera mucho más amplia,. relacionándolo can las experiencias del alumno, Desde esta perspectiva, se considera cualquier elemento de la escuela e mcl~so de fuera de ella (en la medida que esté planificado) como parte integrante del currículum. Los orígenes de este planteamiento se pueden situar en la definición de experiencia y educación de Dewey

(1938), o en la visión de los años 30 de Caswell y Campbell (1935), según la cual, forman parte del currículum todas las experiencias que puedan tener los alunmos bajo la guía de sus profesores. Con esta línea coinciden muchas de las interpretaciones de los curriculistas humanistas; así, Shepherd y Ragan señalan que el currí­ culum consiste en «todas las experiencias que vive el alumno y que funcionan bajo la guía de la escuela, que conforman el entorno espe­ cífico y especial que le rodea y que le ayudan a transitar en su proceso de autorrealización a través de su participación activa en al escuela» (1992, pp. 3-4). Eisner (1993) entiende que el currículum es un pro­ grama que la escuela ofrece a los estudiantes y que consiste en una serie de barreras educativas previamente planificadas y en un entero rango de experiencias que el niño vive en la escuela. Evidentemente, los dos conjuntos de definiciones que hemos se­ leccionado recogen los dos extremos de un continuo dentro del cual cabría la mayoría de las conceptualizaciones existentes respecto de lo que es el currículum. Consecuentemente y buscando una definición de compromiso, podríamos, siguiendo a Omstein y Hunkins (1998, pp, 10-11), considerarlo como «un sistema para tratar con la gente y con los procesos educativos», definición que habría que completar indicando, que el sistema al que aludimos y que en esta definición se convierte en el núcleo central de la misma, puede concebirse de ma­ nera lineal y no lineal. Un sistema lineal supone establecer una visión del currículum es­ tructurado alrededor de una elemental relación que va de manera di­ recta, predeterminada y sin posibilidad de variar su sentido desde los medios a los fines. Por su lado, un sistema no lineal es aquel que permite que el currículum opere con flexibilidad, que el especialista entre en él desde cualquier punto, puedan saltarse componentes, re­ vertir su orden y trabajar con más de uno a la vez. Independientemente, el currículum puede también significarse como un ámbito de estudio, con sus fundamentos y dominios del co­ nocimiento, así como su propia investigación, teoría y principios y sus especialistas que interpretan de forma independiente sus conoci­ mientos. Finalmente, el currículum puede ser considerado en términos de cada una de las materias específicas que constituyen la base del cono­ cimiento (matemáticas, historia, etc.), o incluso de sus contenidos (la manera en que organizamos y asimilamos la información). A pesar de que autores como Beauchamp (1981) afirman que sólo aquellas definiciones que involucren los términos plan, sistema y cam­

132

133

po de estudio, deberían ser propiamente consideradas como referidas al currículum, la r~alidad señala que otras conceptualizaciones, más cen­ tradas en los sujetos y en sus experiencias, resultan también altamente consistentes con la buena teoría y con la buena práctica educativa. . Por todo ello, partiremos en nuestro análisis evaluativo del currí­ cul~m de la aceptación amplia de las diferentes definiciones, aunque obvlant~nte haremo~ más hincapié en aquellos procesos dirigidos a la :valuaclón del curnculum que acepten su carácter sistémico y dise­ nado de manera flexible y no lineal.

4.3. La evaluación del currículum. Naturaleza e importancia . La existencia de distintas definiciones de currículum provoca que elUs~an paralelamente numerosas claves interpretativas para su eva­

luación, por tanto la naturaleza de la evaluación dependerá en gran manera del concepto de currículum que mantengamos. Sin embargo, ~n algo h~y plena coincidencia, en la aceptación de la necesidad e nnportancía de proceder a implementar procesos de evaluación del currículum. Prueba de su relevancia es la larga tradición con que cuenta en los Estados Unidos, donde está reconocida como especialidad académica específica desde la década de los 60. Sin embarg~, en la última década, la evaluación de programas ha captado la atención no tan sólo de los expertos en educación sino tam­ bién del público en general. Se considera la evaluación corno factor crucial par~ la buena salud y marcha de la educación y sus programas. La SOCIedad en general está cada vez más interesada en que los ~sultados producidos por las actividades curriculares puedan ser iden­ tificados y comunicados. Se desea evaluar los contenidos, materiales y los métodos de enseñanza usados, conocer qué es lo que los alum­ nos están aprendiendo, qué habilidades son capaces de demostrar y qué actitudes mostrar. Se desea conocer el costo de los nuevos pro­ gramas, de las reformas educativas y si son realmente efectivos. Estas deman~as están conectadas con la nueva importancia asig­ nada a la ~~ucaclón como garante de los procesos de socialización y de transmisión del conocimrento y la cultura, y con la necesidad ex­ plícita de posibilitar mediante la evaluación que las escuelas sean objeto de petición de responsabilidades.

La evaluación curricular focaliza fundamentalmente su atención en determinar si el currículum, tal como ha sido diseñado, desarrolla­ do e implementado, está produciendo o podrá producir los resultados deseados. La evaluación sirve para identificar las fortalezas y debili­ dades del currículum previamente a su implantación de control y de mejora continua durante la misma, y de análisis de su efectividad una vez finalizada la implantación. El propósito de la recogida de datos acerca de las bondades o de­ bilidades del currículum es facilitar la tarea de los expertos, para que puedan revisar, comparar, mantener o modificar sus actividades y programas. La evaluación de programas, sin embargo, no centra toda su aten­ ción en la determinación de la calidad del currículum. Su análisis también genera información para poder investigar otros aspectos ta­ les como: la adecuación de los modelos de evaluación de los alum­ nos, cómo modificar la actividad del profesorado e incluso cómo orientar la comunicación con la comunidad educativa.

4.4. La evaluación del currículum y su pertinencia Talmage (1985) considera que gran parte de la frustración que sufren los educadores, con respecto a la evaluación, surge del hecho de que no acaban de comprender qué es lo que realmente pueden obtener a partir de ella y qué es lo que de forma realista le pueden exigir, y pasan con enorme facilidad del escepticismo al optimismo más ingenuo. Estamos haciendo referencia a dos necesidades previas, la de informar a los educadores sobre la pertinencia de los propósitos evaluativos y la de formar a los educadores en el conocimiento de la praxis, las posibilidades y los límites de la evaluación. Talmage plantea cinco tipos de cuestiones que se pueden dar en el marco de la evaluación curricular y que son absolutamente pertinen­ tes a sus propósitos:

4.4.1. LA CUESTIÓN DEL VALaR INTRÍNSECO

Esta cuestión hace referencia a la bondad y a la adecuación del currículum una vez éste ya ha sido diseñado y configurado. Evidente­ mente, la referencia viene marcada por las exigencias científicas de

134

los propios conten idos curric ulares y también por las necesidades educativas que llevan asociadas. Habitualmente los juicios de valor acerca de ese tipo de cualidad se resuelve mediante el análisis y el juicio de los expertos en la materi a concreta del contenido curricular. Sin embargo, no se considera mera­ mente una cuestión que deba resolverse únicamente a través de los es­ pecialistas, sino que la evaluación moderna indica la conveniencia de que también sea enjuiciado desde otros puntos de vista, fundamental­ mente desde las perspectivas filosófica, sociológica y psicológica. Desde estas nuevas perspectivas se aporta la visión de la calidad del currículum desde la importancia de su propósito educativo (en qué medida desarrolla el pensamiento crítico, prepara para el ejerci­ cio de la ciudadanía o para la incorporación al mundo laboral, por poner algún ejemplo) o de la teoría de aprendizaje que implícitamen ­ te supone aplicar tal como ha sido diseñado. La dificultad de estimar el valor intrínseco radica fundamentalmente en que en muchas ocasiones los contenidos programáticos y los su­ puestos teóricos que subyacen bajo ellos y que los sustentan educativa­ mente, no están formulados ni desarrollados convenientemente (en oca­ siones no existe ni conciencia de los mismos). En otras ocasiones, las dificuTtades provienen de la falta de acuer­ do en los mismos por parte de la comunidad educativa y de la diversi ­ dad de posici onami ento de los propio s profes ionale s que deberí a llevarlos a cabo. Sea cual sea el motivo de la falta de definición o de la calculada

ambigüedad, algún tipo de acuerdo es preciso para poder trabajar y

determ inar un eleme nto tan clave cama es la valoración intrínseca programa.

4.4.2. LA CUESTIÓN DEL VALOR INSTRUMENTAL

El valor instrumental del currículum trata de estable cer el corres­ pondie nte juicio de valor que se deriva de contestar a la cuestión de ¿en qué medid a el currículum diseña do es correcto en función de los objetivos y fines que se habían planificado para el programa? Esencialmente se juzga si lo que está planificado en la programa­ ción responde adecuadamente a las estrategias de logro de sus objeti­ vos. Este juicio se puede emitir analiz ando la docum entaci ón del conjun to de los programas y de su planificación, y el valor instrumen­ tal se establece a partir de señalar si tal como esta diseñado y planifi ­

135

cado el currículum, se podrán alcanzar los objetivos propuestos en él y en qué medida. . . Adicionalmente, también cabe preguntarse respecto de SI las onen­ taciones filosóficas, sociológicas y psicológicas del currículum po­ drán mante nerse, dados los conten idos, materi ales, activid ades y métodos sugeridos en él. La valoración instrumental contempla una segunda parte referida a la audiencia a la que va dirigido el currículum. No toda planificación curricular es válida para todos los alumnos. La evaluación curricular debería identificar el grado de beneficio que recibirán los alumnos como resultado de la intervención educativa, derivada del diseño curricular, según sea su tipología. . La cuestión de ¿a quién sirve realmente el currículum", teniendo en cuenta la diversidad de los alumn os a los que va dirigido, no es una cuestión menor. Constituye un elemento clave dentro del marco de los planteamientos emancipatorios propios de la teoría crítica. Bajo estos principios se alerta respecto de los efectos opresores que se pueden derivar de la aplicación indiscriminada de un currículum diseñado para atender a una tipología más o menos amplia de alumnos, sin tener en cuenta aquellas minorías más desfavorecidas social, cultu­ ralo psicológicamente. La evaluación debería recoger aquella ~nfor­ mación que permitiera identificar la existencia de estos efectos e instar a la introducción de elementos de cambio o de recambio, para vehicular la "liberación" de los sujetos afectados.

4.4.3. LA CUESTIÓN DEL VALOR COMPARATIVO

Esta cuestión surge cuando se encara la posibilidad de renovar o incorporar nuevos programas, o incluso de modificar totalm~~te el planteamiento curricular. La pregun ta que afrontamos y el JUICIO de valor que emitim os trata de respon der a la pregunta: ¿Es la nueva propuesta mejor que la que reemplazamos? Habitualmente s~ crean nuevos programas cuando existe la sensación de que los eXistentes han queda do obsoletos, o por cualqu ier otra razón resultan inadecua­ dos; sin embargo, cualquier innovación compo rta algún tipo de com­ paración con lo anterior o con otras realidades paralelas y de búsqu eda de elementos. racionales de juicio que avalen la nueva propuesta. Los elementos de juicio que se deben analizar para nuestra toma de decisiones no podemos reducirlos meramente a comparar los re­ sultados de los aprendizajes de los alumnos (que evidentemente cons­

136

tituirá n el elemento más importante), sino que en nuestras considera­ ciones valorativas en la compa ración de dos o más progra mas debe­ ríamos hacer intervenir tambié n otros factores, tales como: viabilidad

de su implantación, costos, recursos materiales y human os que com­

porta, adecuación a la cultura organi zativa de los centros, respue sta a las expect ativas de la comun idad, etc. En cuanto a la comparación de los resultados de los aprendizajes, habrem os de ser cautos en nuestros análisis y en la orientación de nues­ tros juicios valorativos, No siempr e los cambios curriculares tienen que supone r un incremento de un conocimiento concreto, sino que mucha s reformas persiguen más bien cambios cualitativos en el tipo de conoci ­ miento s a impartir, bien sea para responder mejor a las exigencias cien­ tíficas del área de conocimiento, o a las psicológicas del alumno. En otras ocasio nes, lo que se preten de es una nueva distribución de la tipolog ía de los conoci miento s para dar cabida a nuevas mate­

rias surgid as de la propia moder nidad y de los cambi os tecnológicos. Tambi én las exigencias culturales o sociales pueden modificar la import ancia de unos conocimientos frente a otros y que obligan a enfa­ tizar de forma distinta o ciertas materias de cómo se hacía en plantea ­ mientos anteriores (pensemos, por ejemplo, el papel actual de los idioma s modernos respecto del pasado). Todo ello implica modificar los come­ nidos clásicos y su distribución y obliga a incorporar otros nuevos de

forma que se atiendan mejor las necesidades formativas surgid as del cambi o social. A veces, las reformas curricu lares llevan asociadas otros factores

que pueden implic ar indirec tamen te modificaciones en los resultados de los aprend izajes de los alumn os y que no resultarán fáciles de in­ terpretar. Así, una reform a que conlle ve una mayor universalización de la enseña nza y del conoc imient o supon e que nuevas tipologías de alumn os se incorp oren a la acción de los programas. Si la genera liza­ ción del conoci miento supone en términ os global es una dismin ución de las medias de los resulta dos de aprendizaje, ¿deber ía interpr etarse como una debilidad del nuevo plante amien to? Con estas reflexiones sólo preten demos alertar respecto de las di­ ficulta des y peligros que conlle va la emisió n de juicios cuando éstos se fundam entan en la compa ración (máxim e si ésta se fundam enta básica mente en juicios cuanti tativos ). La experi encia nos enseña que la realida d educat iva siemp re es compl eja y justam ente por ello exige de plante amien tos evalua tivos, para su análisis, que la contem plen en toda su riqueza, que huyan de plante amien tos lineales y simplistas y

137

que trate con precau ción y desde la experi encia y el conoc imient o la información evaluativa.

4.4.4. LA CUESTiÓN DEL VALüR DE IDEALIZACIÓN

Cuand o piensa n en clave evaluativa, los educadores no están ~s­

pecialm ente interesados en determ inar si aquello que estaba planifi ­

cado Seha cumpl ido o no. Su preocu pación máxim a se sitúa en real!za r

activid ades evalua tivas, que les provea n de datos para la mejor a

contí.u a del programa, de forma que consig an que éste llegue a ser el

mejor posible. , . Su actividad evalua tiva se centra, por tanto, en resolv er como re-

coger información releva nte que le informe en. profun didad acerca d~

cómo está funcionando el progra ma y su gran Interrogante es saber SI

existen vías alternativas para hacer que éste funcio ne aún mejor.

Sus preocupaciones se centran ~n cómo mej~rar su activi?ad y en cómo conseguir que los alumnos se Involucren mas en su propio apren­ dizaje. Todo ello les conduce a que las cuestiones que realmente les ofrecen verdadero interés son aquellas cuya resolución les condu ce a un continuo reajuste del programa, a partir de la mejora contin ua en la

impartición de los contenidos de aprendizaje, en la ap~cación de los métodos en la selección de los recursos, etc. En definitiva, en la ges­ tión de los elementos del progra ma de los que se derivan, a su juicio,

los máximos beneficios para los alumnos que lo experimentan. 4.4.5. LA CUEST IÓN DEL VALüR DE DECISIÓN

Según Talma ge (1985), si las cuatro cuestiones previa s han sido resueltas, las decisiones que se deriven de ellas deberían ser, necesa ­ riamente, decisiones de calidad . El evalua dor podrá aporta r eviden ­ cias suficie nteme nte docum entada s e interre lacion adas, para que a

quien le corres ponda tomar las decisio nes respecto de mante~er, mo­

dificar o descar tar el nuevo progra ma, pueda Incorporar la inform a­ ción evalua tiva de maner a racion al a las otras inform acion es estratégicas disponibles que afecten al progra ma y le facilite la toma de decisio nes final.

,

.~

138 139

'Énfasls conceptualdel.programa. 'Tlpllde pe(sonal Implicado.

J;:;lI)t~*¡!,!~o';
4,5. Aproximaciones evaluativas a la realidad educativa El profesional de la evaluación puede aproximarse a la realidad educativa desde diferentes perspectivas de indagación, así como uti­ lizar diversos modelos de evaluación derivados de las mismas, y re­ coger la información a través de una gran variedad de'técnícas, Esta diversidad obedece a las diferentes concepciones y modos de interpretar la realidad social, que se basan en las distintas respuestas que pueden darse a los interrogantes planteados desde las dimcnsio nes ontológica y epistemológica y desde distintas concepciones de la naturaleza humana. La diversidad metodológica resultante deriva de las diferentes respuestas dadas en cada ámbito. Por lo general, la dimensión ontológica se refiere a la naturaleza de los fenómenos sociales y a su grado de estructuración. Plantea la ~ontroversia de si la realidad social es algo externo a las personas y se Impone desde fuera o, por el contrario, es algo creado desde un punto de vista particular. La dimensión epistemológica plantea la forma de adquirir el co­ nocimiento. El investigador ha de contemplar la posibilidad de que el conocimiento sea tan complejo y objetivo que tenga que adoptar la perspectiva de un observador externo, así como métodos propios de las ciencias naturales. O bien, por el contrario, puede considerar que el conocimiento es subjetivo, personal o único, lo que podría requerir un compromiso y una experiencia compartida con las personas impli­ cadas y, por tanto, una menor atención a los métodos físico-naturales. En cuanto a las concepciones sobre la naturaleza humana en parti­ cular, en lo que se refiere a la relación entre los seres humanos y su

entorno, puede considerarse que las personas tienden a rea.ccionar con cierta pasividad respecto a su entorno (respuesta mecánica), o bien que tienen suficiente capacidad y autonomía para tomar sus propias decisiones e iniciar acciones (determinismo o voluntarismo). La dimensión metodológica aborda los problemas que plantea la evaluación educativa en relación con los métodos a emplear. Las di­ versas metodologías que se utilizan en investigación social y educati­ va para indagar el mundo social proporcionan el marco de refer~ncla, la justificación lógica para examinar los princip~os y procedimientos empleados para formular los problemas de mvestIga~lón, dan respues­ tas a los mismos y evalúan su idoneidad y profundidad. Las decisiones que se toman en el ámbito social respecto a cada una de las dimensiones dependen, en gran manera, de cómo se conci­ be la realidad social. Las cosmovisiones o paradigmas tienden a guiar las acciones de las personas. Si bien el concepto de paradigma admite una multiplicidad de significados, puede entenderse como un conjun­ to de creencias y actitudes, como una visión del mundo "compartida" por un grupo de científicos y que implica, específicamente, ~na meto­ dología determinada. En el ámbito de las ciencias sO~lales, los paradigmas más usuales son el positivista, el constructivista y el sociocrítico.

4.5.1. LA APROXIMACIÓN POSITIVISTA

También denominada empírico-analítica y cuantitativa, la aproxi­ mación positivista sigue los métodos de las ciencias físico-naturales, consideradas como modélicas del conocimiento científico, y defien­ de determinados supuestos sobre la concepción del mundo y el modo de conocerlo. Para ello tiene en cuenta que el mundo natural tiene existencia propia, independientemente de quien lo estudia; está gobernado por leyes que permiten explicar, predecir y controlar los fenómenos del mundo natural, que pueden ser descubiertas y descritas de manera objetiva y libre de valores por los investigadores si utilizan los méto­ dos adecuados. También tiene en cuenta que el conocimiento obtenido se consi­ dera objetivo, se basa en la experiencia y es válido para todos los tiempos y lugares, Con independencia de qui~n lo descubre.. Además, utiliza la vía hipotético-deductiva como lógica metodológica válida

:J, '1

:1

,~

141

140

para todas las ciencias, y defiende la existencia de cierto grado de uniformidad y orden en la naturaleza. En el ámbito educativo, y siguiendo a T. S. Popkewitz en su obra (1988), los cinco supuestos interrelacionados que dan forma a este paradigma son los siguientes: La teoría debe ser universal, no limitada a un contexto especí­ fico o circunstancial. La ciencia tiene un propósito analítico, y sus afirmaciones de­ ben ser independientes de los objetos y valores de las perso­ nas. La ciencia es neutra. El mundo social existe como un sistema de variables que son diferentes e independientes de un sistema interactivo. El conocimiento debe ser formalizado con variables seleccio­ nadas de manera clara y precisa, así como con conceptos operacionalizados con unidades de análisis univariantes para establecer variables dependientes e independientes sobre las que se estudian la dependencia mutua y los efectos de su mani­ pulación conjunta. La estadística tiene una gran importancia como instrumento de análisis e interpretación de datos. La aproximación positivista se apoya en la filosofía realista, de­ fensora de que el mundo se puede captar tal como es. Mantiene la idea de que el conocimiento de la realidad sólo es posible a través del método científico. Predomina el método deductivo y las técnicas cuan­ titativas. La indagación científica se produce formulando hipótesis, a partir de la teoría, cuyo valor se contrasta al comparar sus consecuen­ cias deductivas con los resultados de las observaciones y de la expe­ rimentación controladas. Se buscan relaciones entre variables, a ser posible relaciones causales, que permitan predecir resultados mani­ pu�ando las variables explicativas. Por otra parte, el positivismo radical, defensor a ultranza de cues­ tiones como la neutralidad y objetividad de la ciencia, resulta insosteni­ ble por su ingenuidad. Hoy en día, se habla generalmente de postpo­ sitivismo para denominar esta corriente que mantiene sus preferencias por la metodología cuantitativa y la ciencia experimental, pero con planteamientos mucho más flexibles y menos dogmáticos. Se acepta la variedad metodológica, e incluso se recomienda la pluralidad y diversidad de fuentes y métodos como instrumento de validación cien­ tífica.

4.5.2. LA APROXIMACIÓN CONSTRlJCTIVISTA

El término "constructivista" fue adoptado en la Alternative Paradigms Conference de San Francisco (1989). Otras acepciones fre­ cuentes son las de paradigma cualitativo, humanístico-interpretativo, histórico-hermenéutico, fenomenológico, naturalista y humanista o etnográfico. . Este paradigma engloba un conjunto de corrientes o familias humanístico-interpretativas cuyo interés se centra en el estudio de los símbolos, interpretaciones y significados de las acciones humanas ~ de la vida social, y utiliza sobre todo métodos basados,en la etnografía. . Esta orientación engloba un conjunto de perspectivas enraizadas en los principios del naturalismo. Las investigaciones evaluativas ~ue­ len realizarse en escenarios naturales, y se abordan aspectos subjeti­ vos de la conducta humana, fundamentalmente a través de procedimientos como la entrevista en profundidad y la observación participante. . Desde la perspectiva constructivista, la realidad se construye so­ cialmente. No existe, por tanto, una realidad única, tangible o frag­ mentable sobre la que la ciencia pueda converger La realidad existe, pero sólo como construcción holística, delimitada en su significado, intra e interpersonalmente conflictiva y dialéctica en su naturaleza. Se mantiene una concepción relativista de la realidad social, y el mte­ rés de la ciencia constructivista se orienta a crear un conocimiento idiográfico, generalmente expresado en forma de teorías-patrones, expresadas como hipótesis de trabajo, cuyo conocimiento está ligado al tiempo y al contexto. Esta perspectiva pretende sustituir las nociones científicas de ex­ plicación, predicción y control de la perspectiva positivista,. por .Ias nociones de comprensión, significado y acción. La aproximación interpretativa se constituye como una alternativa a la visión de la pers­ pectiva positivista, y preconiza la interpretación y compre?sión .de los fenómenos educativos, centrándose básicamente en las mtencio­ nes, motivos y razones de los sujetos implicados.

4.5.3. LA APROXIMACIÓN SOCIOCRÍTICA

Bajo esta denominación se agrupa una familia de enfoque~ ~e in­ vestigación evaluativa nacida como respuesta a las tra~lclOnes postpositivista y constructivista. Pretende superar el reduccionismo

142 143

d~ .Ia primera y.el conservadurismo de la segunda, admitiendo la posi­ bilidad de una ciencia social que no sea ni puramente empírica ni única­ mente interpretativa. Sus principios ideol6gicos tienen como finalidad la transforma­ c!6n ~~ la estructura de las relaciones sociales. Se apoya en la filoso­ ffa crítica de la Escuela de Frankfurt, en el neomarxismo en la teoría social crítica de J. Habermas y en los trabajos de P. Freire, W. Carr, y S. Kernrnis y R. Mc Taggart, entre otros. Esta perspectiva tiene como objetivo el análisis de las transforma­ ciones sociales para dar respuesta a determinados problemas genera­ dos por. éstas. Algunos de sus principios son recogidos por T. S. Popkewitz: conocer y comprender la realidad como praxis; unir teo­ ría y práctica, conocimiento, acci6n y valores; orientar el conocimiento hacia la emancipaci6n y liberaci6n del hombre; e implicar al docente a partir de la autorreñexíon, Desde esta aproximación se cuestiona la supuesta neutralidad de la ciencia, y por ende de la investigaci6n, a la que se atribuye un carácter e~ancipativa y transformador de las organizaciones y proce­ sos educativos. La metodología critica, eminentemente participativa, pretende que las personas implicadas se comprometan e impliquen en el proceso de investigaci6n. Además, propicia una dialéctica intersubjetiva con el fin de utilizarla para transformar la realidad so­ cial y emancipar y concienciar a las personas implicadas. La evaluaci6n tradicional se había movido fundamentalmente den­ tro d~ la aproximaci6? positivista, y es posible que aún sea la opción ~o~ll1ante de la práctica evaluativa. Sin embargo, es obvio que en las últimas dos décadas el interés por las otras aproximaciones ha ido creciendo rápidamente. Cronbach (1982, p. 24) señala: . «Los. evaluadores de las corrientes humanísticas consideran la vía expe­ nmental inaceptable, Para ellos, el naturalístico método de estudio de casos es la panacea. Un h~mani~t~ quiere estudiar el programa tal como se produ­ ce e~ su lugar no bajo la VISión del evaluador. El programa ha de ser visto y

analizado desde la perspectiva de los que lo desarrollan y de losusuarios. El

evaluador ,n~turaIista hace distintas preguntas para los distintos programas. Los beneficios son para ser descritos, no para reducirlos a un indicador de calidad. Las observaciones han de ser oportunistas y buscando respuestas válidas para la escena local y no han de ser preestructuradas».

Aún con todo, no queda claro en la actualidad el punto de corte entre las aproximaciones evaluativas. Parece que las tendencias en

los últimos años más bien se inclinan por el uso conjunto y mixtifica­ do de ellas, atendiendo más a la naturaleza del problema y a criterios de practicidad y pragmatismo que a principios epistemol6gicos. Las posiciones monolíticas adoptadas por evaluadores de una y otra tendencia, están hoy en día en claro retroceso. Así, House ( 1990, p. 25) afirma: «La evaluación se ha desplazado de las concepciones monolíticas a las pluralistas, a la multiplicidad de métodos, criterios, perspectivas y audien­ cias. Evaluadores que en un momento veían los métodos de evaluación como básicamente cuantitativos, descubren en los métodos cualitativos medios totalmente apropiados para procesar sus datos. Más que percibir las distin­ tas aproximaciones en conflicto entre ellas, los evaluadores abogan cada vez más por el uso combinado de ellas. Una pluralidad de aproximaciones parece ser la orientación más aconsejable en la actualidad».

Con todo presentaremos en el siguiente apartado los modelos más conocidos y usados en la práctica evaluativa y aunque consideremos que ha perdido vigencia la preocupación por su ubicaci6n paradigmática, a efectos puramente académicos, señalaremos que de los escogidos, tenemos el modelo de discrepancia de Provus, el de congruencia-contingencia de Stake y el CIPP de Stnfflebeam que se pueden considerar dentro del ámbito positivista. Por su parte, el de crítica artística de Eisner, el iluminativo de Parlett y Hamilton, y el del retrato de Lightfoot estarán situados en la 6rbita constructivista (humanístico-naturalista) y posiblemente el único que respondería a algunos de los criterios del enfoque sociocrítico sería el de evalua­ ci6n respondente de Stake. No creemos que en la práctica evaluati va tengamos que escoger uno de estos modelos y aplicarlo sin más, al menos no es ésta nuestra posición al presentarlos. Si lo hacemos es por razones puramente prag­ máticas, en el sentido de que aportan ideas de cómo ante diferentes realidades podemos plantear distintas soluciones. La elaboración de un modelo entendemos que pasa por buscar una soluci6n propia a nuestro problema y siempre constituirá una experiencia de un colecti­ vo concreto y resultará difícilmente repetible. Por esta razón hemos creído conveniente, en el apartado que sigue a continuación del de la exposición de los modelos, dedicar un espacio a recalcar los elemen­ tos básicos del proceso evaluativo aplicado al currículum.

144

145

4.6. Modelos de evaluación de programas

(c) Productos. En esta fase se analizan los efectos producidos por la aplicación global del programa. Los efectos a evaluar son aquellos que afectan a los estudiantes, a los profesores, al cen­ tro y a la comunidad. Como en casos anteriores, la búsqueda de las discrepancias se realiza en comparación con los produc­ tos esperados y con los de otras realidades similares. (d) Coste. No basta con establecer comparaciones de los produc­ tos en términos absolutos, convendrá hacerlo también en fun­ ción de la relación costo-beneficio. La pregunta a formularse en este caso es si la importancia de los resultados se correspon­ de con el valor del costo. Y cuando hablamos de costo no ha­ cemos referencia exclusivamente al económico, sino también al costo moral, en términos del tiempo dedicado y del sustraí­ do a otras tareas, etc. La respuesta a esta discrepancia deberá tener implicaciones, económicas, políticas y sociales.

v ~os. a ~escribir aquellos modelos de evaluación de programas que mas difusión han alcanzado. Trataremos de ser claros y concisos, pues de una forma u otra su conocimiento ya está muy extendido y no creemos oportuno el extendemos exageradamente. 4.6.1. EL MODELO DE DISCREPANCIA DE PROVUS

El modelo des~ollado por Provus (I 971) constituye un claro ejem­ plo de aproximación evaluativa de corte positivista. Provus establece que. en cualquier programa se deben contemplar cuatro componentes básicos, y que la evaluación es un proceso que debe recorrer cinco estadios. Los cuatro componentes son los siguientes: (a) Determinar los estándares a lograr con la aplicación del pro­ grama. (b) Determinar los resultados obtenidos con la aplicación del pro­ grama. (c) Comparar los resultados obtenidos con los estándares preten­ didos. (d) Determinar las discrepancias existentes entre resultados y estándares. Por su lado, los cinco estadios del modelo evaluativo son los si­

~~~:

.

(a) D.iseño. Supone comparar internamente (adecuación del espa­ CIO, del personal, de los recursos, de los materiales, etc.) y ex­ ternamente (comparación con programas similares que parecen funcionar) el diseño del programa con un diseño estándar esta­ blecido previamente. Las discrepancias detectadas serán base para la toma de decisiones. (b) Instalación. En esta fase se analizan y se comparan las deno­ minadas características de instalación: facilidades, medios, métodos, habilidades de los alumnos y cualificación del profe­ sorado. Como en el caso anterior, la base de la evaluación se fundamenta en el análisis de las discrepancias detectadas en el proceso comparativo.

Según Provus, su modelo evaluativo es aplicable a programas en funcionamiento en cualquiera de sus estadios. También considera que es útil a nivel de centro, de distrito, regional o estatal.

6.2.

EL MODELO DE CONGRUENCIA-CONTINGENCIA DE STAKE

En sus planteamientos evaluativos, Stake (1967) distingue entre procedimientos de evaluación formal e informa!. Comenta, críticamente, que mientras se admita que la evaluación educativa con­ tinúa dependiendo de la observación casual, de objetivos implícitos, de non-nas intuitivas y de juicios subjetivos se impone que los educa­ dores deben esforzarse en la introducción de procedimientos de eva­ luación más formalizados. Para lograrlo propone que los datos deberían estar organizados en tres cuerpos de información: antecedentes, transacciones y resultados. Por antecedentes entiende aquellas condiciones o características propias de los alumnos de los que ya son poseedores antes de la apli­ cación del programa, como son, por ejemplo: sus aptitudes, puntua­ ciones previas de rendimiento, grados obtenidos, disciplina, capacidad de atención, etc. Los antecedentes incluyen también características de los profesores tales como: años de experiencia, tipo de formación y actitudes del profesor. Por antecedentes se entienden elementos de­ nominados como inputs por otros evaluadores.

'1

['

146

147

Por otro lado, Stake señala que por transacciones entendemos todo tipo de interacciones producidas entre los alumnos y sus profesores, entre los alumnos con otros alumnos y entre los alumnos y otras per­ sonas que puedan aportar recursos educativos. Transacciones son tam­ bién las interacciones con ciertos materiales curriculares y con elementos ambientales del aula tales como: espacios disponibles y flujo comunicativo. Las transacciones comprenden aquello que es comúnmente denominado por otros expertos como variables de pro­ ceso de la enseñanza y de la instrucción. En su planteamiento evaluativo, los resultados se corresponden con los denominados productos de los programas, especialmente con variables tales como rendimiento escolar, actitudes y habilidades. Señala, sin embargo, la necesidad de que los evaluadores incorporen como resultados a analizar otro tipos de logros como son el impacto de los nuevos programas en los profesores o percepciones acerca de su propia competencia, o incluso la influencia de los result~dos del programa en las acciones de los administradores. También incorpora la necesidad de ser sensibles e incorporar en los procesos de análisis aquellos resultados que no son directa e in­ mediatamente observables a la conclusión del programa y que con el tiempo van haciéndose paulatinamente evidentes. El modelo de Stake provee de un espacio organizativo que repro­ ducimos con la siguiente figura y que trata de establecer el tipo de datos a considerar y el tipo de contraste a realizar:

i

i

Conllngencla lógica

Contingencia

+ ' lt Rul.• aeclon.··.8s,.'II••

1.

P~1'18b!18", I

e7'"

e

I

ongruenca

.. ...-I"Transacclones

-1

'r

Contingencia

Rosultados prev" stos

observadas

I

Contingencia

eTca

IL.• ----[""'JI

• I conqruencíe - - - -....... -.1

I

Resultados emprrtcce '

I

El reto del evaluador es el de identificar las contingencias y con­ gruencias existentes entre los antecedentes, las transacciones y resul­ tados. Por contingencias se entienden las relaciones entre las variables en las tres categorías: antecedentes, transacciones y resultados. Ideal­ mente se tendría que demostrar que los resultados son el producto los antecedentes y los procesos. Si podemos evidenciar que las transac­ ciones están relacionadas con los antecedentes previos, entonces las transacciones son lógicamente contingentes con los antecedentes. De manera similar, los resultados deberían ser lógicamente contingentes con las transacciones. Resumiendo: se espera que cada categoría con­ duzca a los observables de la otra categoría. El modelo muestra que el evaluador está también interesado en mostrar la congruencia entre los resultados previstos y los resultados observados realmente. Para que la congruencia sea completa todos los antecedentes, procesos y resultados previstos inicialmente debe­ rían producirse en la realidad empírica.

4.6.3. EL MODELO CIPP DE STUFFLEBEAM

Posiblemente la aportación más importante de la aproximación evaluativa que agrupa los modelos orientados a la gestión y a la toma de decisiones es el modelo conocido como CIPP (Contexto-Input­ Proceso-Producto) de Stufflebeam (1971). Es también, y sin lugar a duda, el modelo más empleado hasta la fecha en la evaluación de programas. Este modelo comprensivo considera la evaluación como un pro­ ceso continuo. La información evaluativa es recogida con el propósi­ to de orientar adecuadamente la toma de decisiones. El proceso evaluativo que sigue transcurre por tres fases: Selección de la información necesaria para su posterior reco­

lección.

Obtención de la información.

Provisión de la información a las partes interesadas.

Cualquier estudio evaluativo deberá incluir estas tres fases. Co­ rrespondiendo a las tres fases, o tipos de decisión, la evaluación con­ templará cuatro grandes apartados: el contexto, el input, el proceso y el producto.

148

. Evaluacion del contexto. La evaluación del contexto implica estu­ diar todo lo que rodea al programa. Su propósito es definir y analizar el escenario donde se sitúan los elementos relevantes del contexto. Constituye de hecho, un análisis de situación, una lectura de la reali­ dad desde la que podamos establecer cuáles son sus necesidades más importantes y efectuar un diagnóstico preciso de las mismas. Fundamentalmente, el núcleo central objeto de evaluación se si­ túa en el juicio respecto de si los objetivos establecidos en el progra­ ma, son congruentes realmente con las necesidades detectadas a partir del análisis efectuado en el contexto. Esta fase diagnóstica de la evaluación no se agota en ella misma sino que posteriormente interactuará con las otras fases del modelo: La información recogida y evaluada en el momento de analizar el contexto, servirá de línea de base, de referencia primaria para estable- . ~er múl~ples valoraciones a lo largo de todo el proceso, donde irán interviniendo el resto de las fases del mismo. Evaluación del input. El segundo estadio del modelo, el denomi­ nado evaluación del input, está orientado a la recogida de informa­ ción para establecer cómo utilizar adecuadamente los recursos existentes a fin de alcanzar los objetivos programados. Constituye en realidad una evaluación de la capacidad del sistema Para juzgar si está en condiciones de aportar los recursos materiales y humanos necesarios para llevar adelante el programa tal como está planificado. . En su an:Uisis se vuelve otra vez al contexto y se valora si los obje­ uvos determinados como congruentes con las necesidades del contexto y teniendo muy en cuenta los otros elementos relevantes del mismo podrán ser alcanzados con las estrategias establecidas en el programa, contando con los recursos de todo género de que se dispone. Este tipo de valoración no debe conducimos necesariamente a una toma de decisiones dicotómica de sí/no. La toma de conciencia de las limitaciones de la capacidad del sistema puede movemos a partir del análisis evaluativo, a la modificación de los objetivos o a la búsqueda de estrategias alternativas, bien sea de planificación o de interven­ ción, de forrna que se haga viable la continuidad del programa con un grado de calidad asumible, a partir del uso realista y optimizado de los recursos de que disponemos. Evaluacián del proceso. Esta fase se orienta al análisis de la im­ plantación del currículum y a la toma de decisiones respecto del con­ trol y de la gestión del mismo. Su objetivo básico es el de establecer la congruencia entre lo planificado y la realidad resultante.

149

Incluye dos estrategias: (a) Detectar o predecir defectos del diseño del procedimiento del

proceso de implantación.

(b) Proveer continuamente de información evaluativa para la toma

de decisiones, a medida que se va implantando y ejecutando el

proceso.

En el primer caso se centra toda la atención en lo que podríamos denominar la logística del proceso. Es necesario durante este momen­ to del análisis, mantener abiertos todos los canales de comunicación entre las partes afectadas, de forma que se vayan reconduciendo o eliminando los defectos que vayan apareciendo durante las fases pre­ vias o iniciales de la implantación del currículnm o de cada uno de sus programas. En el segundo se procede a establecer estrategias inteligentes de recogida de información a fin de facilitar la gestión continuada del cu­ rrícnInm y sn permanente mejora durante la implantación del mismo. La evalnación del proceso supone en definitiva la actividad de pilotar la implantación del currículum a fin de optimizarlo previa­ mente a su establecimiento definitivo. Evaluación del producto. La evaluación del producto centra su actividad en la recogida de información a fin de comprobar si el pro­ dncto final obtenido a partir de la implantación del currícnlum, res­ ponde o no a las expectativas depositadas en él. La evalnación del producto provee a la administración de la infor­ mación necesaria para capacitarlos en la toma de decisiones final en la que se debe juzgar acerca de si se continúa, modifica o desecha el currículum o programa.

4.6.4. EL MODELO DE EVALUACIÓN ARTíSTICA DE EISNER

Los modelos hasta ahora descritos Se adscriben a la aproximación positivista de la evaluación. El modelo de Eisner y los que describire­ mos posteriormente se ubican en las denominadas corrientes huma­ nistas. Eisner (1975) recomienda, en la evaluación, proceder de acuerdo a lo qne el denomina el criticismo edncacional o la acción del experto que actúa frente al programa, de la misma manera que el crítico de arte ante nna obra artística. Considera que esta actitud permite recrear di

l'

151

150

descripciones de la realidad educativa mucho más ricas y fecundas que las que habitualmente manejamos a partir de los datos puramente científicos. El papel del evaluador para Eisner (1981) consiste en promover en los profesores y en los otros miembros de la comunidad educativa ante los programas educativos, actitudes valorativas e jnterpretativas semejantes a las que adoptan los críticos de arte. Ya que nadie mejor que ellos está capacitado para describir la realidad educativa concreta en la que están inmersos y poseen las claves para su interpretación y la capacidad para la aplicación de juicios valorativos. Justamente, éstas son las tres grandes fases del proceso propiciado por Eisner (1993): descripción, interpretación y valoración. Descrip­ ción de la realidad educativa donde se implementa el programaaten­ diendo la multiplicidad de interrelaciones existentes, interpretación de la misma aplicando las claves que nos permitan desentrañar sus signifi­ cados y conocer sus verdaderas causas a través de sus manifestaciones y finalmente emitir los juicios valorativos acerca del programa. Para llevar a cabo este proceso crítico-interpretativo (Castillo y Gento, 1995, en García Sanz, 1999, p. 231), «el evaluador ha de estar atento a aspectos tales como: el contexto, los procesos educativos, los procesos emergentes.Las relaciones e implicaciones entre los diferentes procesos y el impacto que la acción educativa tiene en el propio contexto. Todo ello sin olvidar que su misión es la de suscitar las opiniones de los implicados con el fin de ofrecer un amplio abanico crítico de interpretaciones que ayuden a emitir un juicio acerca del programa que se está evaluando».

4,6.5. EL MODELO DE EVALUACIÓN RESPONDENTE DE STAKE

La evaluación respondente es un término popularizado por Stake (1975), y se corresponde con una nueva propuesta de este autor en un notable giro desde posiciones positivistas a otras de corte humanístico. El objetivo del modelo se centra en responder a los problemas y cuestiones reales que se plantean los sujetos implicados en la implan­ tación y desarrollo de un programa educativo concreto. El papel del evaluador es responder, de una forma completa y holística, a las demandas presentadas por las diferentes audiencias, negociando con los diversos agentes implicados la manera de cómo se debe proceder (Amal, del Rincón y Latorre, 1994).

La aproximación respondente requiere planificación y desarrollo como las aproximaciones positivistas, pero a diferencia de ellas se apoya mucho menos en factores formales y en el análisis de informa­ ción provenientes de la acción investigadora basada en la metodolo­ gía científica. La estructura sustancial de la evaluación respondente se apoya en cuatro grandes elementos (Stake, 1975a): (a) Los problemas. Para Stake identificar los problemas supone aproximarse a una situación compleja que muestra necesida­ des de urgencia, pero que su detección y estudio supone desci­ frar las claves organizativas de una parte de la realidad sobre la que hay que intervenir. El evaluador precisará de la comunica­ ción real y significativa con los evaluados para poder detectar, comprender y definir las áreas problemáticas. (b) El diseño para la recogida de información. Es el factor organi­ zador del modelo. (e) Los observadores. Constituyen la base para la recogida de in­ formación significativa. Stake les concede una importancia máxima en el desarrollo del modelo. (d) La validación. Validar un proceso evaluativo para Stake supo­ ne una recogida amplia de información, proveniente de múlti­ pIes fuentes, realizada por varios agentes y debidamente cruzada. Posteriormente, amplió y completó su estructura básica estable­ ciendo diez pasos para describir el proceso evaluativo (Stake, 1975b): 1. Negociar el marco evaluativo con los clientes.. 2. Identificar los tópicos, problemas y cuestiones de interés los clientes. 3. Formular las cuestiones que permitan orientar el proceso evaluativo. 4. Identificar el alcance del currículum y las actividades de que consta: identificar las necesidades de los clientes y del personal, 5. Observar, interrogar, preparar estudios de casos, etc. 6. Acotar la información: identificar los problemas y cuestiones más básicos. 7. Presentar los resultados iniciales en un primer informe. 8. Analizar las reacciones e investigar los intereses predominan­ tes de forma más cuidada.

153

152

9. Observar cuidadosamente la existencia de evidencias conflic­ tivas que pudieran invalidar los resultados, así como eviden­ cias surgidas del trabajo colaborativo que les dieran soporte. IO.Informar de los resultados.

12 Hablar con 1115 clientes, 11 Reunir los tntcrmee

el peracnst del procreme

y lea eccaenctee

remetes. sl lo~ hay 2 PlanillC8f las ecnwcecee del programa

10 Elaborar un esquema pare

U6"O de la audiencia

•

a

Validar: confirmar, buscar

Descubrir los

evidencias pera la no conñrmecicn

prop6~ilos

a Interesas

8 ueeerroaer temes, preparar

4 COncapluellzar las

cescrpclones y eatudlar

cuestionas y problemas

•

7 Observar los antecedentes, llls transecclcnes y los reecueoos propuestos

Su propósito básico es el de recrear una pintura lo más completa posible del programa educativo, realizar un estudio intensivo tenien­ do en cuenta todos sus componentes a fin de "iluminar" todos sus problemas, cuestiones y características principales del mismo. A pesar de que en la evaluación iluminativa el programa es consi­ derado como un todo donde cada uno de sus componentes no tiene sentido sino es en función de la globalidad, Parlett y Hamilton con­ templan tres fases esenciales en el proceso de aplicación: la de obser­ vación, la de ampliación de la indagación y la de explicación.

Identificar los catea neceseoos

8

pera mveencerlos protsemas

setecctcner obaewecores,

Jueces El Inalrumllnlos, ellos hay

Para explicar las fases pertenecientes a la estructura funcional que hemos mencionado de la evaluación respondente, Stake lo plasmó de forma muy plástica mediante un reloj con un funcionamiento un tanto especial. Sus agujas pueden moverse en el sentido habitual o en sen­ tido contrario y partiendo de cualquiera de las horas. Reproducimos en la figura que acompaña a este apartado el conocido esquema.

4.6.6. EL MODEW DE EVALUAC¡ÓN ILUMINATIVA DE PARLEIT YHAMILTON

Otro de los modelos más conocidos, ubicado como los últimos que estamos analizando en la corriente humanístico-naturalista es el originalmente diseñado y desarrollado por Parlett y Hamilton (1976) y conocido como de evaluación iluminativa.

Observación. La primera fase supone efectuar una visión ge­ neral del programa que permite al evaluador familiarizarse con él al tiempo que también le ayuda a conocer el contexto donde el currículum será implantado. El evaluador deberá focalizar su observación en todos aque­ llos factores que se consideren relevantes y que pueden afectar al programa. Así se deberá prestar especial atención y recoger infor­ mación respecto de los tipos de enseñanza, los estilos de aprendi­ zaje, los materiales usados, los procedimientos evaluativos aplicados por los profesores, etc: Ampliación de la tndagactán. Esta segunda fase se considera una focalización progresiva e intensiva del programa y su contex­ to, con la finalidad de hacer emerger elementos nuevos que pudie­ ran haber pasado inadvertidos en la primera fase y de profundizar en los análisis sobre los elementos ya observados. Si en la primera fase se trataba de establecer si el programa funcionaba, en esta segunda la clave es saber por qué funciona. Todo ello supondrá que el evaluador dedicará un mayor es­ fuerzo y tiempo examinando el ámbito de actuación del programa. Deberá ampliar su base de recogida de información, analizando nuevos documentos, los portafolios de los alumnos, entrevistando o encuestando a profesores y padres, etc. Explicación. En esta fase, el evaluador deberá presentar su ex­ plicación respecto al funcionamiento del programa con todos sus detalles a los afectados por el mismo. Se trata no tanto de elaborar juicios respecto de su bondad, sino de proporcionar tantos datos como sea necesario para "¡¡uminar" la realidad y los procesos sub­ yacentes en ella y clarificar las claves que permitan a los agentes que operan en ella interpretar adecuadamente los hechos e intro­ ducir elementos de cambio y de mejora.

154

155

La evaluación iluminativa asume una perspectiva de carácter aro tístico, insiste en que la educación es un conjunto complejo y dinámi­ ca de interacciones. Estas interacciones deben ser observadas y evaluadas holística y subjetivamente, ya que no pueden ser subdivi­ didas artificialmente en categorías para su medición objetiva. La iluminación trata con categorías imprevistas, aspectos sutiles del contexto, en definitiva con todos aquellos elementos que habi­ tualmente son olvidados o descartados por los denominados observa­ dores objetivos. Finalizamos este apartado con las observaciones de Pérez Gómez (1983), recopiladas por García Sanz (1999), quien de forma sintética resume las características más significativas de la evaluación iluminativa: La evaluación de programas ha de tener un carácter holístico y

tener en cuenta el contexto en el que se desarrolla.

Existe una mayor preocupación por la descripción interpre­

tación que por la medida y la predicción.

Se orienta al análisis de los procesos más que al análisis de los

productos.

Se desarrolla bajo condiciones naturales o de campo y no bajo

condiciones experimentales.

Los métodos principales de recogida de información son la

observación y la entrevista. El evaluador no debe actuar con modos y formas con los que él rechazaría ser investigado, al tiempo que debe comprender los diferentes puntos de vista sin manipular el proceso. Los valores y derechos de las personas que informan deben reconocerse en todo momento, pudiendo tener la oportunidad de expresarse sobre las cuestiones que les conciernen. Los que participan en el programa y han sido evaluados no deben sentirse agobiados ante alguien que les juzga sin consi­ derar sus circunstancias y opiniones. Al contrario, deben sentir que se han enriquecido al intervenir en la investigación, que su pensamiento se ha movilizado y su comprensión desarrollado.

e

4.6.7. EL MODELO DEL RETRATO DE LIGHTFOOT

Acabamos nuestra presentación de los modelos con el de Lightfoot (1983), el denominado modelo del retrato que parte en sus plantea­ mientos de principios basados en la antropología.

En la conducción de este modelo, el evaluador procedería a introducirse en la escuela y a observar todo lo que en ella ocurre en relación con el currículum. Así, observaría a los profesores y a los alum­ nos en sus clases y analizaría los documentos escolares y los trabajos de los alumnos. Llevaría a cabo entrevistas y cuestionarios con profe­ sores, padres y alumnos y personal vinculado con la escuela. Generaría una descripción inicial en la que con estilo puramente narrativo explicaría lo que realmente ha observado, caído y leído que ocurre en la escuela. Una vez que el evaluador ha completado la descripción inicial, la que Lightfoot nombra como descripción "fina", pasaría a generar la denominada descripción gruesa, que es un intento de interpretar y describir con mayor ampli tud y profundidad la información recogida previamente. En la creación de este segundo informe, el evaluador se involucra en un proceso similar al de la fase de explicación que hemos comen­ tado al hablar de la evaluación iluminativa. La descripción gruesa o retrato es finalmente presentada a la comunidad educativa, especial­ mente a aquellos miembros que tienen a su cargo la responsabilidad de evaluar el currículum. El "retrato" podría entenderse como una etnografía comprimida, en la que el evaluador trata de capturar el espíritu del programa esco­ lar, no simplemente para relatar qué es lo que se ha hecho, sino funda­ mentalmente para ofrecer algún tipo de explicación respecto de las razones que existen detrás de la acción. Usualmente la descripción gruesa consta de cinco apartados: -

Descripción del conjunto de actividades. Información y comentario acerca de la gente en los sistemas. Inclusión de diálogos. Interpretación de la situación. Informe impresionista.

En la evaluación del retrato es habitual que el evaluador introduz­ ca sus sentimientos en el documento de evaluación. Sin embargo, la naturaleza del mismo debería ser de tal forma, que quienes reciben el informe lo reconocieran por sus referencias a ellos y al programa. Idealmente, el retrato debería estar formulado de forma que hicie­ ra patentes los temas emergentes importantes y los patrones de actua­ ción que previsiblemente van a ocurrir. Los informes bien hechos son

156 157

aquellos que capturan la visión interior de lo que es nuclear para la correcta gestión y conducción del currículum.

4.7. El proceso evaluativo Para llevar a cabo una evaluación es preciso determ inar el plan de acción a seguir. Independientemente del modelo, éstos son los paso> más comun es a la mayoría de los evaluadores del currículum: 1. Identificación del aspecto curricular a evaluar. Esta fase su­ pone determ inar el núcleo central que será objeto de evaluación y los objetivos que se persiguen con ella. Solventar esta fase supone plan­ tearse previamente los dos aspectos siguientes:

(a) Defini r la audiencia a la que va dirigida la evaluación: legisla­ dores, polfticos, dirección, administradores, los propios edu­ cadores implicados, la opinión pública, etc. Probablemente es imposible plantearse una evaluación que cubra las expectati­ vas de todas las audiencias, por ello convendrá definir la pri­ maria o las más importantes. Su conocimiento y el diálogo nos ayudará a solventar el tema de determinar el objeto básico de evaluación y algunos de sus objetivos. (b) Determ inar el propósito de la evaluación: para la mejora, para proced er a la correspondiente petición de responsabilidades, como instrumento de reflexión y de cambio, etc. (c) Identificar los aspectos más significativos del objeto de evalua­ ción. El ámbito curricular que hayamos fijado, por sí mismo, tiene elementos más sustantivadores que otros. Determinarlo será también parte de la tarea evaluativa en esta fase. Esta primer a fase trata de asegurar la relevancia de la evaluación y evitar que ésta se consum a en problemáticas menores sin ningún inte­ rés para nadie.

2. Valoración de la evaluabilidad. Una vez determinada la natu­ raleza y el alcance de la evaluación a realizar e identificados sus as­ pectos más significativos, se impone una reflexión previa al propio desarrollo de la evaluación en tomo a la viabilidad de llevarla a cabo. Esta valoración inicial implica efectuar un listado de los compo­ nentes básicos del objeto a evaluar, de los objetivos que persigue, de

los resultados que cabe esperar y de los efectos que puede producir, bien sean los esperados u otros inesperados. También implica diálogo en profundidad con las partes implica­ das, análisis de los posibles rechazos, de los recursos de todo tipo con los que contamos, capacidad del sistema, costos previsibles, etc. '. Todas estas precondiciones, nos orientarán respecto de la viabili­ dad estratégica del estudio, de su oportunidad, de la sensibilización frente a él y también de su viabilidad técnica y metodológica. Esta reflexión previa debe conducimos a un ajuste del estudio para incrementar su posibilidad real de ejecución. En la evaluación ~an importante como lo que se hace es el cómo se hace. Toda acción evaluativa debe generar cultura y nada justifi ca entrar en procesos alienantes, bien sea por falta de sensibilización de los agentes como por planteamientos técnicamente erróneos. . .. Para realmente optimizar el currículum es precis o movilizar las capacidades de mejora de las personas y éstas no se activa n sino se reconocen y se involucran en el proceso y la única vía conocida para conseguirlo está en la participación y en la transparencia, al mar~e~ obviamente de la calidad técnica del estudio que es lo que le conferí­ rán validez y credibilidad.

3. Fase de diseño. Se pasa a continuación a diseñar la realización de la evaluación. El diseño constituye el soporte técnic o del método , sin embargo, independientemente de las características que éste im­ ponga los momentos que acostumbran a definirlo son los siguientes: (a) Recogida de información. En este paso, los evaluadores deben identificar las fuentes de información esenciales y los medios de que se servirán para recogerla. Tendrán también que pl~uü­ ficar los momentos de recogida y establecer el correspondien­ te programa de actuación. (b) Organización de la información. En esta fase, los evaluadores tendrán que organizar la información recogi da de tal forma, que la hagan interpretable y utilizable para las audiencias com­ prometidas. (e) Análisis de la información. Aquí convendrá que los evaluadores seleccionen y apliquen los análisis técnicos más apropiados. La elección de las técnicas generalmente depen derá de la natu­ raleza del núcleo fundamental de información a analizar y del tipo de relación que conviene esclarecer para facilitar la inter­ pretación evaluativa de los fenómenos.

158

159

, Aq~Í posiblemente la cualidad que le vamos a exigir al proceso e­ la precisión en las actuaciones.

4. Utilización de la información evaluativa. Señalábamos en el primer capítulo de nuestro libro, que una de las paradojas que se dan e? la evaluación, es que aquello que la sustantiva (la emisión de jui CIO~ de valor) no es lo que la legitima (la toma de decisiones para la meJ.ora). Cuando hablamos de la utilización de la evaluación estarnos ~aclen~o referencia a las acciones que habrá que desarrollar para de. nvar e Implementar procesos de mejora como resultado de la activi­ dad evaluativa. Generalmente esta fase contempla las siguientes: (a) El informe evaluativo. En este apartado es en el que lo, e~aluadores deciden/negocian la naturaleza del informe. oe vramente, para ello deberán tener muy presente a la audiencia a la que va dirigido, que es la que en el fondo determinará en mayor medida, no el contenido pero SÍ la naturaleza del mis. mo. Conviene que la forma en que esté escrito facilite el deri­ ~ar propuestas de acción de mejora. Se acostumbra a incluir en el los datos más relevantes y sus análisis respectivos. (b) La in~l~sión de la información evaluativa en la planificación estratégica. Es mgenuo y responde a un pensamíento absoluta. mente lineal, el pensar que de la evaluación se derivan directa. mente las acciones de mejora. Cuando ello ocurre acostumbra a ser por que la mejora ya era evidente por sí misma y posible. mente no precisaba de la acción evaluativa. Por ello en el aparo tado ant~nor señalábamos que el informe debe aportar la mfo~aclón d~ tal forma que facilite su derivación, pero ésta debena producirse a través de incluir la información evaluativa en el contexto de la planificación estratégica del ente respon­ sable del ámbito curricular objeto de evaluación. (c) Reciclaje de la información. La información evaluativa básica debe ser objeto de continuo mantenimiento con el fin de ir retroalimentando permanentemente los procesos de mejora con. tenidos en los planes estratégicos.

4.8. La evaluación del currículum como actividad cooperativa Hace ya más de 30 años que Hilda Taba (1962) ya defendía que la evaluación era una actividad de naturaleza particularmente coopera­ tiva. Esta cooperación la consideraba esencial para llevar a buen tér­ mino el proceso evaluativo del currículum, para diseñar el plan general, seleccionar los instrumentos, el modelo evaluativo a aplicar y final­ mente para ejecutar los diferentes estadios que hemos mencionado. Entendía que en una evaluación del currículum centrada en la es­ cuela, es absolutamente necesario contar con la participación de los profesores, los administradores, los estudiantes y los padres, en gene­ ral de todos los miembros de la comunidad educativa. Taba indicaba que, posiblemente, la razón de mayor peso para esta cooperación es que la única forma de conseguir una fotografía completa del currículum es a partir de involucrar a todos los que, de una forma u otra, se ven afectados por él. Vamos a tratar de repasar la naturaleza de esta participación de acuerdo al diferente estatus de cada uno de ellos.

4.8.1. ALUMNOS

Es evidente que la primera responsabilidad de los alUDIDOS es con­ vertirse en agentes activos de sus propios aprendizajes y desde los nuevos principios de la evaluación moderna se acepta que los estu­ diantes deben asumir gran parte de la responsabilidad sobre la eva­ luación de sus propios aprendizajes como paso necesario para desarrollar en ellos una verdadera autonomía como aprendices. Sin embargo, lo que estamos proponiendo va más allá, deberían partici­ par también sustancialmente en la evaluación del currículum. Los alUDIDOS pueden trabajar conjuntamente con sus profesores en el aula o en comités de seguimíento del funcionamiento del currí­ culum, analizando y decidiendo sobre el valor y la efectividad de muchos de sus componentes. Naturalmente, su participación vendría condicionada por le edad y el nivel de madurez. Como señala Posner (1992), involucrar a los alUDIDOS en su propia evaluación y en la del currículum es una forma de posibilitar su dere­ cho a dirigir su propia vida de forma socialmente aceptable y de ma­ nera personalmente significativa.

160

La autoevaluacíón provee a alumnos y profesores de información valiosa y fundamental, para nutrir la autonomía de los alumnos más que s.u dependencia (Pratt, 1994). Entienden que, aunque aprendices, también deben ser capaces de enjuiciar el nivel y el significado del aprendizaje. Lo~ al~mnos juegan un papel decisivo en la detenninación de qué procedumentosde evaluación, de entre los usados por sus profesores, son los más eficaces para juzgar si se están produciendo o no lo, debidos aprendizajes. Existen experiencias (Paulson y Meyer, 19911 resJ?ecto a la creación por parte de los estudiantes de portafolios con. temendo sus propios trabajos y comentarios respecto de la calidad v la cantidad de aprendizajes que están incorporando en relación ca;} unidades concretas del currículum. También son dignas de mencio­ nar experiencias realizadas con alumnos de evaluación entre pares v otras en las que son invitados a evaluar a sus propios profesores. . Todo ello muestra una tendencia clara a que los alumnos jueguen un papel cada vez más importante en los procesos evaluativos, tanto en lo que hace referencia a sus propios aprendizajes, como a la eva­ luación de diversos componentes del currículum, especialmente aque.. l~os en los que se ~an acumulando evidencias de la significación que tienen sus aportaciones.

4.8.2. PROFESORES

~os profesores son, sin duda, los profesionales que de manera mas obvía, deberían asumir protagonismo en la evaluación del currícu­

lum. Sin embargo, la realidad es que, al menos como colectivo no se les ha tenido, históricamente, en la debida consideración. Su participación se ha resumido en muchos casos a acciones indi­ viduales, valiosas pero que no es justamente lo que se debe propugnar como modelo general de actuación. Si una aportación de las corrien­ tes humanística y naturalista ha resultado de gran valor, es generar praxis evaluativas inconcebibles sin la participación del profesorado. ~os profesores deberían involucrarse como colectivo en el trabajo curricular, y es evidente que una parte sustancial de la tarea evaluativa del ~s~o les corresponde. En la actualidad, es cada vez mayor la conc.lencla, .sea cual sea la variante metodológica empleada, que de­ ben Jugar diversos roles de importancia en la evaluación curricular. Su experiencia en el aula les hace ser testigos excepcionales de cómo los alumnos responden en el día a día a las propuestas curriculares, de

161

si los contenidos están bien secuenciados o dimensionados,si las meto­ dologías sugeridas son las más idóneas, o si las propuestas evaluativas capturan correctamente el tipo de conocimientos que se persigue eva­ luar, etc. Nadie mejor que ellos pueden elaborar juicios respecto de los ele­ mentos que van analizando desde su propia experiencia individual y colectiva. En el marco de un trabajo colaborativo y dentro del proyec­ to curricular del centro se deberían sistematizar sus aportaciones a la evaluación curricular. Lo señalado para los alumnos, respecto de la importancia de que se sientan protagonistas de su propia actividad que en definitiva for­ ma parte esencial de su propia vida, es en este caso mucho más válido y trascendental, ya que la tipología de actividad a la que estamos ha­ ciendo referencia se enmarca en el núcleo duro de su propio desarro­ llo profesional. Nadie mejor que ellos es capaz de analizar sus sentimientos y los de sus alurrmos respecto del programa en acción, y es absolutamente evidente que en las propuestas evaluativas actuales, los profesores están llamados a convertirse en la clave de la evaluación de proceso de las propuestas curriculares. Ha de quedar absolutamente claro que el tiempo en que la partici­ pación del profesor en la evaluación curricular se resumfa a pasar test a sus estudiantes o a contestar cuestionarios elaborados por los evaluadores, responden a una mentalidad absolutamente periclitada. Su presencia activa y su participación continuada son claves en las concepciones comprensivas de la evaluación.

4.8.3. LOS EVALUADORES

Tal como hemos visto, la evaluación es una actividad que exige la participación de diversos colectivos, la cooperación entre todas las partes involucradas en la evaluación curricular es absolutamente ne­ cesaria. Sin embargo, alguien tiene que encargarse de coordinarlos y de activar el proceso; ésta es una tarea que exige ala vez habilidades sociales y conocimientos técnicos; estamos haciendo referencia a los evaluadores .al equipo evaluador. Es aconsejable que las -personas que componen el equipo, formen parte del sistema donde se desarrolla la actividad curricular a evaluar, conocer el sistema y sus objetivos es indudablemente una enorme

162

ventaja. Sin embar go, también presen ta alguna dificultad que acos­ tumbr an a resumirse en que no es sencill o ser crítico respec to del sistem a desde el propio sistema, y que a veces los expert os interno s sufren de cierta descon fianza acerca de su formación como expert os y un importante grado de incom prensi ón por parte de sus propio s com­ pañero s. Aun con todo, es aconsejable que el equipo sea fundam entalm en­ te interno, lo que no signifi ca que no sea importante que colabo re con él algún experto extern o. La presen cia del evalua dor profesional no tiene por qué provo car ningún tipo de distorsión, su papel es básica ­ mente de observ ador y colabo rador, aporta conoci miento s técnicos y cierta objetividad en los juicios y en la toma de decisiones. Tambi én su presencia colabo ra notabl ement e a generar actitudes de mayor ob­ jetivid ad y profes ionalid ad por parte de los otros miemb ros del equi­ po. E! equipo en su conjun to tiene como misión planifi car la actividad evaluativa que implic a activa r el sistem a a fin de poder cumpl ir con tareas tales como: localiz ar y acudir a las fuentes que mejor inform a­ ción puedan aporta r, selecc ionar los instrumentos, técnicas o estrate ­ gias más potent es y apropi adas, analiz ar la inform ación, coordi nar los debates interpretativos, consen suar los juicios y negoc iar las me­ didas de mejora en el marco de la planificación estratégica. Esdec ir, su respon sabilid ad es diseña r y hacer funcionar la logística del siste­ ma evaluador. Sería conve niente regula r el sistem a de nombr amien to de estos equipo s y al menos ante la ausencia de normativa se impon e la con­ sulta desde los órgano s de gobier no a los de participación en particu ­ lar y a las partes afectadas en general, para determ inar la compo sición , sino ideal al menos consen suada, de sus miembros. Será necesario cuidar de su formac ión para la práctic a evaluadora y habilit ar los apo­ yos necesarios para que realme nte pueda n llevar a término su tarea. 4.8.4. LOS MIEMBROS DE LA COMUNIDAD

Incues tionab lemen te, la educac ión es una actividad cuyo interés trascie nde lo escola r o institu cional , y que eviden temen te provoc a repercusiones de tipo social, e inclus o políticas que no se puede n ig­ norar, y la evalua ción se convie rte en mucha s ocasiones en una forma más de constr uir o hacer dichas polític as.

163

Por todo esto, aquellos afectados por la educac ión deberían ser involucrados en la toma de decisiones acerca de ella, y en esta afirma ­ ción incluimos también los asuntos relacionados con el currículum. Los padres en el caso del currícu lum escolar y los agente s socia­ les, culturales y económ icos en general, deberían partici par de mane­ ra activa en la evalua ción del currículum. Existen ciertas valoraciones sobre la impor tancia de los conten i­ dos curriculares en la posterior vida activa de los sujetos, sobre el tipo de formación recibida, sobre. la satisfacción de los usuarios, etc., en las que posibl ement e la opinió n de la comun idad educat iva en gene­ ral es fundamental, e ignorarla constituiría un grave error. Existe n experiencias interesantísimas sobre la partici pación de los padres y otros miemb ros de la comun idad (1991) en la mejor a del curríc ulum que arroja n luz sobre sus posibi lidade s como factor optimizador y dan idea de su import ancia y necesi dad y que conve n­ dría extend er a todos los ámbitos de la actividad evaluadora. Por otro lado, involucrar a todos estos miemb ros de la comun idad, es introducir en la socied ad conciencia de su impor tancia como agen­ te educador. El sistema educativo resulta cada vez más insuficiente para alcanzar a cubrir todas las necesidades formativas de las perso­ nas. Sólo desde un esfuer zo conjun to, respon sabiliz ando de forma integral a la socied ad en su conjun to y actuando inteligente, compr o­ metida y coordi nadam ente a lo largo de toda la existen cia del sujeto se podrán atender debidamente.

Bibliografía ARNAL. J., DEL RINCÓN, D. Y LATDRR E, A. (1994), Investig ación Educativa. Funda­

mentos y Metodología. Barcelona: Labor. A. (1981), Currículum Theory. Itasca 111.: Peacock. Y CAMPBE LL, D (1935), Curricu lum Develop ment. Nueva York: American Book. CRONBA CH. L. J. (1982), Designi ng Evaluat ions ofEduc ational and Sodal Programs. S. Francisco. Ca.: Jossey-Bass. CHAPMAN, W. (1991), "The Illinois Experience: Stale Grants to Improv e Schools Thorough Parent Improvement", Phi, Delta, Kappa (enero), p~. 3 55-358. DEWEY, J. (1938), Experie nce ond Education. Nueva York: Macrnil lan. . EISNER, E. W, (1975), Thc percept ive Eye. Toward the Reform aüon 01 Educati onal Evaluation. Stanford, Ca.: Standard Evaluation Consortiurn. EISNER, E. W. (1981), The Method ology 01 Qualitative Evaluat ionThe Case 01 Educati onal Connoí sseursh íp and Educati onal Criticismo Stanfor d: Stanford University Press. BEAUCH AMP, G. CASWEL L H. L

164

EISNER, E. W. (1993), Educational imagina/ion: Evaluation Planning 01 School

Programs (32 ed.), Nueva York: Macmillan. GARc1A, M. P. (1999), Evaluación del Proyecto Curricular de Educación Secunda­ ria Obligatoria en un Instítuto de Educaci6n Secundaria. Un caso de Investiga­ ción Cooperativa. Murcia: Universidad de Murcia, tesis doctoral inédita. HOUSE, R. E. (1990), "Trends in Evaluation", Educational Researcher (abril), pp. 24-28. LIGHTFOOT, S. L. (1983), The Good High School. Nueva York: Books Inc. ORNSTEIN, A. C. y HUNKINS, F. P., Currículum, fiundations, principies and issues. Bastan, N. E.: AIIYII and Bacon. PARLETT, M. Y HAMILTON, D. (1976), "Evaluatíon as a 1llumination New Approach to the Study of Innovative Programa", en G. V. (ed.), Evaluatian. Studtes Review Annual. Beverly HiIls, Ca.: Sage. PAULSON, A. y MEYER, C. (1991), "What Makes a Portafolio a folio?", Educational Leadership (febrero), pp. 60-64. !'ÉRgz, A. (1983), "Modelos Contemporáneos de Evaluación, en Gimeno y A. Pérez (eds.), La enseiianza: su teoría y su práctica, pp. 426-449. Madrid: Akal Uníver­

sitaria.

POPWEWI1Z, Th. S. (1988), Paradigma e Ideologia en Investigación Educativa. Ma­ drid: Mondador!. POSNER, G.l. (1992), Analyring the Currículum. Nueva York: McGraw-Hill. PRA1T~ D. (1994), Currículum Planninp: Design ond Development. Nueva York: Harcout Brace, University Publishers. PROVUS, M. (971), Discrepancy Evaluation for EducaJional Program Improvement and Assessment. BerkeJey, Ca.: McCutchan. SAYLOR, ALEXANDER y LEWIS (1994), Currículum Planning for Better Teaching and Learning. Nueva York; Harcourt Brace Jovanovich. SHEPHERD, G. D. Y RAGAN, W. B. (1992), Modern Elemeruary Curriculum (7' ed.), Nueva York: Holt Rinehart and Winston. STAKE, R. (1967), "The Countenance of Educauonal Evaluation", en Teachers College Record (abril), pp. 523-540. STAKE, R. (1975a), Program Evaluation: Particulary Responsive Evaluation. Kalamazoo, Mich.: Evaluation Center of Westem Michigan Umversity. STAKE, R. (1 975b), Evaluating the Arls in Educa/ion. Columbus, Oh.: Merrill. STAKE, R. (1976), Evaluating educationat programs. The need and the response. Nueva York, N. Y.: McGraw-HilI. STUFFLEBEAM, D. (1971), Educational Evaluation and Decisíon Making. Itasca, Ill.: Peacock. TABA, H. (1962), Currículum Development: Theory and Practice. Nueva York: Harcourt Brace lovanovich. TALMAGE, H. (1985), Evaluating the Currículum, What, Why and How, in National Associarion for Secondary School Principal s, pp. 1M8. TYlER, R. (949), Basic Principies ofCurrículum and lnstruction. Chícago: Uruversity of Chicago Press. WILES, J. y BONDl, 1. (1989), Curriculum Development: A Guide lo Practíce.

5. La evaluación de centros

Local, pero 1W provinciano. La angustia de ser provincial y perifái~o es que estás condenado por el centro a no ser ~apaz de Juzgar tu propl~ trabajo. Cuando aceptas el juicio del centro sm te~er el luyo, . ento~ce:J además de provincial eres provinciano. Sed localístas y seréis umver­ sales. (Robert Hughes, La Vanguardia, 21 de septiembre de 2000)

5.1. El centro como unidad clave de la nu~~a arquitectura organizativa de la educación Como resultado de las profundas mutaciones que se producen en las sociedades industrializadas y en sus economías, y tal ~omo ten­ dremos ocasión de profundizar más adelante cuando analicemos la evaluación de los sistemas educativos, en los países eur?peos y de forma más general en los del mundo industria.lizado, los ~Is«:mas es­ tán realizando un verdadero cambio de paradigma orgamzativo. . Este cambio comporta una extensión importante de los mecams­ mos de evaluación a todos los niveles de enseñanza y entre ellos ocu­ pa un lugar preeminente la escuela. Sin lugar a dudas, la escuela es la unidad funcional básica del sistema y mejorarla supone la mayor apor­ tación que se puede hacer a la mejora global del mismo. . Los centros representan una pieza clave en la nueva arquitectura organizatíva. Su estatus en la gestión de ~a calidad se valora gracias a su constitución en comunidades educativas autónomas y .responsa­ bies, encargadas de realizar a nivel local el proyecto educativo global fijado por el conjunto del sistema, pero con una capacidad ~e autono­ mía y una responsabilidad amplias en cuanto a las modalidades .ac­ tuación que le permitan profundizar y generar un producto educativo propio que resalte su propia iden.tidad. '. En el nuevo paradigma orgamzattvo, cada escuela se conv.terte e~ un centro de reflexión y de innovación pedagógicas. La reflexión sera

167

166

inducida desde la autoevaluación y la evaluación externa y está ex­ clusivamente al servicio de la calidad educativa . Por otro lado, se exige cada vez más insistentemente que la escue­ la dé cuentas a la sociedad de su eficacia y efectividad. El problema está en que la institución escolar tradicional aporta pocas respuestas sólidas, razonadas o razonables a estas cuestiones que afecten a sus resultados, a sus procesos y a sus efectos. Con la evaluación de centros se persigue modificar las actitudes del contexto escolar y generar una actitud reflexiva que también dé confianza en la capacidad de realizar progresos. En este marco y tal como señala Hutmacher (1999), los instrumentos de desarrollo y de evaluación se han de construir casi en su .totalidad tanto desde las perspectivas educativa y social como culturaL La evaluación se reali­ za bajo la necesidad de atender dos perspectivas básicas: -

Una descripción evaluadora de la situación y de los resultados actuales, dentro de la tensión entre los objetivos y las condi­ ciones y circunstancias locales. Una apreciación de los procesos y de la dinámica del desairo­ 110 en la cual se inscribe el centro, teniendo en cuenta los obje­ tivos que tiene asignados.

y desde dos procesos fundamentales: -

Los procesos de evaluación internos, donde la dinámica de activación procede sustancialmente del propio centro. Los procesos externos, que vienen caracterizados por ser indu­ cidos externamente.

5.2. Los centros educativos. naturaleza Las instituciones educativas constituyen en la actualidad organi­ zaciones muy complejas que pueden ser analizadas desde diferentes puntos de vista. Así, y desde una perspectiva muy descriptiva, un centro educativo podría considerarse como una realidad dinámica en la que confluye un conjunto de actores: profesorado, personal no docente, alumnos, padres, etc., con el objetivo de alcanzar unos objetivos de aprendizaje desde unas prácticas pedagógicas concretas.

Dentro de la propia déscripci6n podemos concebirlas como "or­ ganizaciones formales" que pueden ser evaluadas tomando co~o en­ terios de referencia principios de eficacia. Desde esta perspecliva,. es habitual analizar básicamente los nombrados factores de prodUCCión que acostumbran a aglutinarse en tomo a ~uatro grandes bloques, se­ gún hagan referencia al contexto, a las vanables de entrada, al proce­ so o al producto tconiext, input, process, product). ." Otra manera de concebirlas es como "comumdades educativas, es decir, como espacios de relación interper.sonal, ámbitos donde c?n­ vive un conjunto de personas, dentro de Ciertas reglas y en relación con unos fmes. La aproximación evaluativa estará ori~ntada fundamental~ente por la necesidad de comprender en profundidad los hechos qu~ nenen lugar en el marco de la institución, a fin de logra: que los trUem~r~s perciban sus problemas y contradicciones Yfocalicen sus potenciali­ dades a fin de conseguir el cambio. Finalmente una tercera vía es la de postular enfoques en los cua­ les los centro; son considerados como organizaciones en continuo proceso de desarrollo y que mantienen una ~strecha relación ¿e inter­ dependencia con el medio en el que están Situados'.Caractenza estas instituciones la búsqueda continuada de un mayor. ajuste entre el.ce~­ tro y el contexto social, mediante un proceso continuo de aprendizaje y de desarrollo interno. El diseño específico de un modelo evaluativo por un centro estará condicionado: por el concepto que tengamos respecto de él, por el ca­ rácter que asignemos al término calidad educativa y p~r la manera e~ que ambos extremos estén interrelacionados. El conjunto orientara definitivamente el enfoque evaluativo que se adoptará.

168 169

5.3. La calidad educativa Entornó 'SoCiocultural: '< •

Bntomo-sociocultural: -Tlpologra. ~N!~I scclocunurat, Nlvel'socloeconómlco>

,flecuf$QS,e9ucativ,ol? y CU,IIUraJes. .:

InslalaCionas',-depo'rtlv~.

Ca:ractert8tl~s del centro: j.'~'

,Expactafiva~'l3:~_l,Jcal¡vas, ,.

Hábitat:'.'

.t';' ':TjPP.'fJ,Qf~,,;:,

T~rn~f1q,d8,1!'l'poblac¡ón, .

.Tamaño.

Ocupaciones.' .

, Nivelo modalidad .

Tasas de paro. Medios.oe comunicación. :Nivelasde inmigración•.

qU8j~~~8~ _', \ Relaolo~es con :,Ia )comUn·¡d~d. ' 2. Infra,8etructur:8

'lnstalaclones v.recorsos.

'Servicios,

Personal. .

ApOYOSi externos,

La calidad educativa es posiblemente uno de los temas más em­ pleados en cualquier discurso pedagógico, y a la vez resulta uno de los más difíciles de definir o concretar. En la actualidad constituye un axioma casi obsesivo el que la evaluación ha de estar orientada hacia la consecución y mejora de esta calidad educativa, pero parece evi­ dente que deberíamos previamente debatir, aunque sea brevemente, su naturaleza y su sentido. Lo que sí que parece aceptado, de manera general, es que la química básica de la calidad se produce en el con­ texto del centro, de aquí que reflexionemos sobre ella, justamente en este apartado. Tomando como referencias las distintas aproximaciones y pers­ pectivas que aparecen en la literatura (Oarvin,'1988; Harvey y Oreen, 1993; Rodríguez, 1995) y con De Miguel (1995), nos podemos aproxi­ mar a la comprensión del término cualidad partiendo de los criterios expresados con mayor frecuencia. Así tenemos:

3~,'e.structura

'Ó!9/W9s"de.Qpl;li~.mo:, unIpersonales, y ~Iegiados. Egl,J:Ip.,l:l{>de,pl"Ofesora~? 'Hespcii18éiblas.{je coórdlnaci6h'didáetlcit­ lR~6~,q";ls,~~le~,d~.I'ol?~ic¡os. " . qrganos de participaciÓn de la comunidad escolar . , "

, l,:

4. Función' ,

,~:¡~i~r~i~~~:'fr~~lh6(j~li,~aS ~d~:~'t;p'la~ s'ufunclÓn'a trav~~ deld¡se~~," 'planificación .<,':,:'-::: '" : . ,o,y-evalJElc ,n:de'-1os.prOgrBmas sIguientes:

.'

PrJÚ~~mas ~d'~cat'¡vos,' . , Programas{I:le .-fiJnDionamlento'lntérno.

Programas de administración y servidos.

5. Clima Institucional Madeja orgenlzatlvo. VisIón compartida de les valores sustentados y asumidospor el centro N!~I,'pe, comunicación. " . 'HelaClones; , .pal1¡qip~ón,.,

,"",,'

N.ormas"rle' con~'ivénc¡a. Desarrollo profesional del profesorado.

8. Resultados DeJa organización del centro. . , ' , De la ~_a!j~ad oe Jos .aprendizajea y desarrollo del alumnado Del desarrollo profesional del prctesoradc. " De la reputación y 'satlsfacclón detas familias. alumnado, profesorado y del entorne

(a) La calidad entendida como excelencia. Desde este punto de vista, se entiende por calidad el prestigio o la reputación académica y social que tienen determinadas insti­ tuciones acreditadas. La determinación del mismo se entiende y asume que no se realiza por procedimientos objetivos, sino me­ diante el juicio de expertos en el área. (b) La calidad en función de los recursos. Desde esta perspectiva, se establece el criterio entendiendo que aquellos centros dotados con más y mejores recursos (huma­ nos, materiales, económicos, etc.) han de ser' a la fuerza los de más calidad. (c) La calidad en función de los resultados. Se parte del supuesto que una institución tiene calidad en la medida que contribuye al éxito de sus alumnos. Consecuente­ mente, son sus resultados los que determinan la valoración de la institución. (d) La calidad como valor añadido, Desde esta perspectiva se entiende que la calidad de una insti­ tución se valora en función de su mayor incidencia en el cam­

171

170

bio generado en sus propios alumnos, Supone definir la cali­ dad en términos de "valor añadido" (McLain y otros, 1989), (e) La calidad entendida como adecuación a los propósitos, Bajo esta perspectiva se entiende que la calidad de una institu­ ción debería estar referida a los fines educativos señalados en el marco legal, los objetivos que se propone llevar a cabo la misma institución y a la satisfacción de Jos alumnos considera­ dos como usuarios de ésta. (f) La calidad como perfeccionamiento. Aquí se mantiene un concepto de calidad que consiste en lle­ var a cabo las tareas con la mejor perfección posible y no sólo como respuesta a requisitos legales o a controles técnicos. Apos­ tamos por una "cultura de a calidad" basada en una inejo! con­ tinuada.

(g) La calidad como resultado de un proceso. En este modelo de calidad se plantea la substitución del con­ trol de la calidad sobre el producto para la comprobación de que este producto ha estado elaborado mediante un proceso controlado y bien estructurado. Esta perspectiva implica considerar que un centro será mejor va­ lorado en la medida que se preocupa más por el establecimiento de sistemas de control interno que permitan asegurar que los procesos se realizan adecuadamente. Las distintas aproximaciones que hemos presentado no agotan ni de largo las posibilidades conceptuales del término calidad educati­ va. Podríamos deducir otros desde otros enfoques teóricos: nos he­ mos limitado a presentar las más habituales.

5.4. Factores asociados a la calidad . Conjuntamente con el concepto que adoptamos de calidad, cual­ quter modelo evaluativo deberá de determinar, previamente, aquellos elementos o factores mediante los cuales incidimos en su mejora y que generalmente son la base para establecer los indicadores o refe­ rentes que nos permitan objetivar los análisis evaluadores.

En la década de los 70, el movimiento de escuelas eficaces, Weber (1971), Edmonds (1979), intentó adivinar qué elementos inciden en la calidad de los centros educativos. Los estudios realizados en esta etapa indicaban la relevancia, que en la calidad de la acción educativa aportaban los factores siguientes: El liderazgo activo del director Las expectativas positivas hacia el alumnado _ El ambiente de trabajo y el orden - La insistencia en las habilidades básicas El control del aprendizaje del alumnado A los cuales posteriormente se añadieron: -

La planificación de objetivos y actuaciones La participación de la comunidad escolar en la gestión El compromiso de la comunidad escolar en la acción educativa

De la misma época, la Ley General de Educación del 1970 (artícu­ lo 11.5) propugnaba los elementos siguientes como factores de cali­ dad: El rendimiento del alumnado en su vida académica y profesio­ nal La titulación académica del profesorado - La relación numérica profesor-alumnado La disponibilidad y utilización de medios y métodos moder­ nos de enseñanza. Las instalaciones y actividades docentes, culturales y deportivas La cantidad y la importancia de las materias facultativas Los servicios de orientación pedagógica y profesional La formación y la experiencia del equipo directivo del centro - Las relaciones del centro con la comunidad La OCDE (París, 1992-93-94) vincula la calidad educativa a:

-

La preparación de ciudadanos para la vida adulta La eficacia y preparación profesional de los enseñantes La organización del currículum y los métodos de evaluación El liderazgo directivo Los programas para alumnos desfavorecidos o minusválidos

172 173

J. Rul (1992) indica los siguientes: Trabajo en equipo Adecuación al contexto sociocultural

Estrategias de gestión

Proyectos comunes

- Profesionalidad docente Programas de mejora Productos de calidad Interacción con la realidad Operatividad de la estructura organizativa Vinculación con las expectativas y los valores sociales Percepciones positivas del alumnado, del profesorado y de la escuela

Estatus social del profesorado

La Ley 111990, de 3 de octubre, por la cual se regula la ordenación general del sistema educativo, define como factores de calidad y me­ jora de la enseñanza: La cualificación y fonnación del profesorado

La programación de la actividad d-j Scent-.

Los recursos educativos

La función directiva

La innovación educativa y profesional

La evaluación

Es muy interesante la aportación de De Miguel (1995) cuando presenta estos factores agrupados desde la perspectiva de la eficacia y desde la perspectiva de la mejora. Así, sitúa en el primer ámbito las siguientes: La estructura de la organización

La calidad del currículum

La calidad de la enseñanza

y ligados a la mejora: -

La resolución de conflictos relacionada con la autoridad y el poder La organización del trabajo del profesorado y del alumnado

-

La cultura institucional

Las políticas de igualdad, desarrollo y soporte social

S.S. Indicadores y evaluación de la calidad educativa Evaluar en qué medida se dan los factores asociados a la calidad exige previamente un cierto nivel de operativización de los factores reseñados. Uno de los procedimientos recomendados para hacerlo es mediante el sistema de indicadores. Independientemente de que volveremos sobre el tema de los indicadores al hablar del sistema educativo, que es donde realmente cobran total carta de naturaleza, por razones de comprensión de la lógica del discurso, vamos a hacer una primera aproximación pensan­ do en clave de evaluación de centros. Los indicadores son datos (cuantitativos o cualitativos) recogidos de manera sistemática, que informan respecto de los recursos impar­ tidos' los procesos realizados o las metas' conseguidas, en ~Iaci,ón con los. objetivos de calidad que se había propuesto una orgamzacion, en este caso un centro educativo. Los primeros sistemas de indicadores surgieron en el ámbito eco­ nómico con el objetivo de facilitar a los especialistas y al público en general la comprensión de la realidad a partir del análisis de un mime­ ro reducido de datos significativos. Tal como señala Coromines (1997, p. 12), el éxito de las primeras experiencias del uso de indicadores en el a~álisis de los fenó~enos económicos y la facilidad para su comprensión por parte del público favoreció que, rápidamente, la propuesta fuera ace~tada por los espe­ cialistas y que algunos científicos intentaran aplicar el modelo d.e indicadores en el análisis de otros ámbitos sociales, incluido el ámbi­ to educativo. El movimiento de indicadores sociales de evolución socioeconómica "Social indicators" (Bauer, 1966) motivó a la OCDE a buscar indicadores de calidad internacional que permitieran compa­ rar la calidad de los sistemas educativos y medir los efectos de la educación sobre la sociedad. Durante los 80, el Centre for Educational Research and Innovation (CERI) dependiente de la OCDE, elaboró a partir de los datos Eurostat, un conjunto. de indica~ores internaci?na­ les de educación que han permitido analizar los. sistemas educativos de los países de la Comunidad Europea y comparar las políticas edu­ cativas de los diferentes estados (Coromines, 1997).

174

175

, ~ pesar de ello, no podemos ocultar la existencia de una cierta po­ lémica respecto del uso de los indicadores, dado el necesario reduccionismo que implican, especialmente cuando se opera sobre algo t~n cercano como es la realidad de un centro educativo. Pero, indepen­ dienteme~te de la problemática que suscitan está totalmente aceptado que su u~lhzaclón puede orientarse tanto para valorar y mejorar los procesos mtemos de una institución como para establecer comparacio­ nes con otras instituciones o sistemas (Oakes, 1989; Porter, 1991 y Linke, 1992). Su uso combinado con otras aproximaciones, donde aporta ele­ m~ntos complementarios y conociendo sus verdaderos límites y posi­ bilidades, no acostumbra a generar excesivas reticencias.

Finalmente y como una llamada a la prudencia, para su correcta interpretación, hemos de procurar tener en cuenta cuestiones como las siguientes (Darling-Hammon, 1991) en Coromines (1997):

Entre algunas de las razones por las cuales diversos organismos (OCDE, 1990) y autores como Kaagan y Smith (1985), Scheerens (1989) y Hopkins (1991) recomiendan su uso, están las siguientes: Permiten una estimación de los cambios en los aspectos clave

que intervienen en 'el funcionamiento de las instituciones edu­

cativas.

Posibilitan la evaluación del impacto social de una determina­

da estrategia o reforma en materia de política educativa.

Ayudan a detectar los puntos fuertes y débiles de las institu­

ciones educativas.

Facilitan ?na estimación de la eficacia de una institución por­

que penruten comparar los objetivos conseguidos en relación

con las previsiones.

Aportan una estimación de los cambios que se producen en los

fe?-ómenos educativos y de las causas que los provocan y al

rrusmo tiempo, facilitan la predicción de cómo evolucionarán

y cuáles serán las tendencias del futuro.

Facilitan el proceso de rendición de cuentas.

En ~uanto a su condición de buenos indicadores, entendemos como Coromines (1997) que los indicadores de un sistema han de cumplir como mínimo los requisitos siguientes: Ser estables

Ser fácilmente comprensibles

Ser fiables y comparables

Ser relevantes y consistentes

Ser útiles para la toma de decisiones

-

Las cifras no son suficientes y deben interpretarse correcta­ mente Sólo la multiplicidad de indicadores y de medidas de un mis­ mo aspecto del sistema puede dar una imagen correcta de una situación. Más allá de los aspectos de la educación priorizados en cada momento por la política educativa, debe tenerse en cuenta las características duraderas del sistema Los sistemas de indicadores han de ser redundantes y periódi­ camente renovados. Los indicadores han de permitir la comprensión de las motiva­ ciones individuales y de los cambios de organización y de la influencia de estos factores en los resultados Los indicadores han de ser utilizados para la evaluación de una situación y no por detectar acciones ineficaces. Debe tenerse en cuenta que unos resultados poco favorables no siempre corresponden a una mala intervención.

5.6. Enfoques evaluativos Los prácticos de la evaluación tratan de trasladar sus concepcio­ nes teóricas respecto al modelo de centro y de la calidad educativa a modelos que les permitan hacerlas operativas. En las últimas décadas se han utilizado básicamente dos enfoques evaluativos en relación con los centros educativos: los enfoques orientados a constatar la efi­ cacia, la excelencia y a la calidad entendida como un concepto abso­ luto, y los que colocan el énfasis en la mejora o el perfeccionamiento de la institución, en la calidad entendida como un factor de consenso y basada en principios de equidad. '-, El objetivo fundamental de los enfoques evaluativos centrados en la eficacia es el de identificar en primer lugar los factores que la de­ terminan, generahnente a partir de compararlos con lo que. conside­ ran paradigmas de excelencia. Para ello, se elaboran instrumentos que analicen, en el marco de la institución, la existencia y el grado de excelencia de los factores mencionados para elaborar, a partir de este conocimiento, políticas de actuación concretas.

176

En contraposición a la corrien te anterior, hay enfoques que ponen el énfasi s en la creación de las condiciones óptimas para que en el centro pueda n desarr ollarse media nte progra mas de actuac ión que garant icen la mejora de la calidad. Qué se entiende como un esfuer zo

sistem ático y sostenido para cambi ar las condiciones internas de los

centro s con la finalidad de llegar a alcanzar, del modo más eficaz, objetiv os de calidad consen suados y enmar cados en planes estratégi­ cos de mejora sostenibles y retroalimentables. Como señala De Migue l (1995) ...

«frente a la visiónd e la calidad en términos de producción, la alternat iva centrada en la mejora se sustenta en el supuesto que la resolución de los

problemas sociales exige más un proceso de comprensión que no de inge­

niería (Weis, 1977) por la cual cosa Jos madeja s racionales no son los más

adecuados para observar e intervenir en las relaciones que se estable cen

entre los miembros de una organización».

Se configuran, por tanto, dos puntos de vista contrapuestos: los que plante an la calida d en términos de producción y apoyan la mejora a partir de los procesos de control y de cambi o mediante el recambio, y los que consideran que el eje verteb rador de la mejora se sitúa en la compr ensión de los hechos y en el cambi o por la transformación. En el primer caso, la estrate gia evalua tiva se articula y se dirige desde la acción extern a y, en el segun do, desde la reflex ión autoev aluativ a de caráct er interno. Como también indica De Miguel: últimamente están apareciendo enfoqu es que pretenden conjug ar las dos perspectivas (intrínsecas y extrínsecas). Partiendo del hecho que en los centros escolares conver ­ gen diversos colectivos de implicados, hemos de superar el concep to restrictivo de "centro escolar" a favor del más amplio "comunidad edu­ cativa". Se considera, bajo estos nuevo s posicionamientos, que la eva­ luación ha de dar respuestas a distintas necesidades y sensibilidade s. Cada visión atiend e ámbitos de actuación diferentes y todos son necesa rios para orienta r y verteb rar las distintas políticas activas con proyec ción y capaci dad de incidencia sobre la mejora educativa. De aquí la import ancia y la conve nienci a de combi nar adecuada­ mente los diferen tes enfoqu es. Una posibl e respue sta a las nueva s necesi dades la podem os encon trar en los modelos que han surgido en el mundo anglosajón y que plante an la evaluación de las instituciones sobre la base de cuatro-procedimientos agrupa dos en tomo de la eva­ luación interna y extern a de los centros:

177

(a) Evaluación interna, en que la responsabilidad primar ia de la gestión de la evaluación recae sobre la misma institución. Los procedimientos evalua tivos se centrarian en: El anális is y la evalua ción intern a de los result ados del alumn ado, El análisis y la evalua ción interna del funcionamiento del cen­ tro.

(b) Evaluación externa, en que la responsabilidad básica de la ges­ tión evaluación recae sobre órganos externos a la institución. Las estrategias evaluativas se centrarían en: La auditoría respecto a la adecuación de los centros a la nor­ mativa legal. La evaluación y el control extern o respecto de los resulta dos del alumnado. A partir de estos cuatro procedimientos, pueden satisfacerse tanto las exigencias de las audiencias internas como las de las extern as y también las exigencias de los enfoqu es centrados en la eficac ia y los relativos a la mejora. El proced imient o que debería utilizarse en cada caso será el que sea acorde con la finalidad que se preten da con la evaluación. Tal como podremos compr obar más adelante, es eviden te la simi­ litud entre esta propue sta y la mayor ía de los plante amien tos duales que se están materializando en gran parte de los países de nuestr o entorno.

5.7. Orientaciones en la evaluación de centros Juntam ente con los enfoqu es a que hemos hecho referencia ante­ rionne nte otro aspecto es el de la orienta ción general que adopta el proceso evaluativo. Hacem os referen cia con ello a la intenc ionalid ad básica que se persigue al iniciar el proceso y que es la que va a deter­ minar las estrategias organi zativa s y metodológicas básicas a utiliza r. Desde esta perspectiva podem os contem plar los siguientes procesos.

179

178

5.7.1-. PROCESOS DE ACREDITACIÓN

La acreditación hace referencia al proceso de reconocimiento a que se somete un centro para obtener algún tipo de certificación que bien le habilite a su funcionamiento administrativo (homologación legal de los centros por parte de las administraciones), o a algún tipo de valoración con proyección hacia la comunidad educativa o el en­ torno social o profesional (generalmente llevada a término por alguna agencia u organismo evaluador de reconocido prestigio). Esta segunda acepción del término acreditación nace con fuerza en los Estados Unidos como respuesta a un sistema educativo poco regulado, de estructura federal y con un potente sector de institucio­ nes privadas. Todo ello ha dado lugar a la aparición y consolidación de un importante conjunto de agencias evaluadoras que han demos­ trado su funcionalidad en ese entorno. En Europa, en la regulación de las enseñanzas, siempre han estado presentes los estados, que han planteado el conjunto del sistema como un servicio público, ello ha conducido a que el enfoque habitual fuera el de la primera acepción y que los otros procesos sean minoritarios y extraños a nuestra cultura. Sin embargo, en el marco de la construcción europea donde las responsabilidades sobrepasan los contextos de los estados, es posible que en el futuro sea preciso recurrir a la acreditación para pro­ ceder a la homologación de titulaciones y facilitar con ello la movilidad de los estudiantes entre distintas comunidades de la Unión Europea.

sus fortalezas y debilidades y efectuar propuestas de mejora que inci­ dan sobre la efectividad de la institución (De Miguel, 1997). Si algo caracteriza este proceso son los términos participación, responsabilidad y compromiso. Participación desde el principio de todos o la mayor parte de sus miembros, responsabilidad en las actua­ ciones y compromiso con la mejora continuada de la institución. Posiblemente, el modelo autogestionario de mayor proyección es el conocido como GRIDS (Guidelines for Review and Internal Development in Schools, 1988), que constituye fundamentalmente un proceso guiado, bajo unos esquemas muy simples, y que dejan en manos de los miem­ bros de la institución a evaluar la mayoría de las decisiones. Parte del principio que las instituciones deben proceder a efectuar sus cambios desde dentro, y para ello es imprescindible que éstos entren en procesos de aprendizaje colectivo utilizando como metodo­ logía fundamental la investigación-acción. Reproducirnos en la siguiente figura el conocido esquema del GRIDS en el que se establece la secuenciación de sus pasos fundamentales.

Etapa 1 Fernlñarfzarse con GRIDS y buecer un apoyo.

Etapa 2: Analizar al papel del méldmo ffl5ponsab)lI.

Elape 3: Cansullaf"e\ dauslro da proleSOlllS y decidir (os pasos

&l9uI8nOO5o.

Etapa 4: Plooilicar la orgllnizQcióll da la revlslón y el d68arrollo.

Falla

2;

!Wvlalón Inicial

FallO5: livaluación da adopción del GRIDS

5.7.2. LA AUTOGESTIÓN EVALUATIVA: LOS AUTOESTUDIOS

Etapa 1:Formarse un julc:iode valor sobro el

procodlmllll)'.o GRIDS

Elapa 2: Incorporarel métodoGRlDS en las mllna

-e-¡

ssccreree.

Mientras que en los procesos de acreditación la responsabilidad evaluativa es externa, existen orientaciones que entienden que un pro­ ceso evaluativo ha de ser fundamentalmente un proceso gestionado internamente, como es el caso de los denominados autoestudios. Un autoestudio constituye un proceso de autorreflexión colectiva dentro de una institución con el fin de mejorar la calidad de su funcio­ namiento. La gestión de ese proceso, tanto en lo que hace referencia a la fijación de sus objetivos, elección de las metodologías y detenni­ nación del alcance de sus tomas de decisiones, depende absolutamen­ te de sus propios miembros. Metodológicamente se concibe como un proceso de revisión in­ terna que llevan a cabo los miembros de un centro o unidad sobre la calidad de los procesos y resultados obtenidos con el fin de detectar

I

, ,

I

I I

Fllo.e 4: PUIIlIta 01'1 ITIIlrchlldala Innovael.6n

I

1

Etapa 1: Planilicar el desam>11o de esta etapa. Etapa 2: Movilizar la acción Yla! actividades de formacfÓn. Etapa 3: COntrolar y a'0'JS0f8r duranta al dasarrollo. Etapa 4: IIlIlororla eficacia del proceso.

1

1 Etape 1: Planificarle ravlslÓIIeepecmce. etapa 2: InlltlStlgarla poIIUcaque" aplica y cómo ee epllca,ree.podoetpunto somelldo B revlalón especifica danlro del centroeduceavo. Etllpa 3: InvesUgar cenueee y prác:licasaltllmaUvas ullize.odo1iJ6I1tes externas ar cenlro ecuceuvc. Elapa '!: Informaratcfauslro da loa hallazgos. Etapa 5: Acordar er1 cfau&r'o1811 neceeroecee IIspeclfic:aa00 Innovación y dllfornlad6n.

Dlroo;;o;ion"s opdonales

------

I~

,

,

Nota: Mientras ee ponean rnlJI'Cha una revisión especifica (etapa 2, tese 4), puece eemereereealto proceso de ravlslón eepecrrtcc. No hay naC8lllded da oomplalarun cJdo G~IDS para podarampezer otro, pue~o qua las leCC!ones eprencrose en las revisioneslnmedlstamentaanlallOf&5puedanllElIVirpar1l meJorar\CI/I eíecs slgulenles.

1 1 1 -1 1

1 1 1 1 1

I

~J

180

181

Concretamos en los siguientes, los principios básicos que rigen la orientación basada en la autogestión (Pallarés, 1998): Evaluación orientada predominantemente a la mejora y al cam­

bio.

Evaluación rigurosa y precisa.

Evaluación sistémica (que conjuga una visión global del cen­

tro con la posibilidad de operar parcialmente).

Evaluación sistemática (que ordena y da continuidad y cohe­

rencia al conjunto de actuaciones evaluativas parciales que se

desarrollan en el tiempo de acuerdo a las correspondientes pre­

visiones).

Evaluación progresiva (a partir del aprendizaje social que ge­

neran las interacciones evaluativas, se desarrollan las estrate­

gias y destrezas necesarias, y los recursos internos de

mantenimiento y desarrollo de la acción evaluativa).

Evaluación constructivista (en el sentido que constituye un

modelo abierto y flexible).

Evaluación que pone el énfasis en los aspectos culturales.

Evaluación democrática y participativa.

5.7.3. LA EVALUACIÓN INSTITUCIONAL

La evaluación institucional propone como modelo general de eva­ luación para un centro, diseños y estrategias que implican algún gra­ do de integración de las dos perspectivas mencionadas. La evaluación interna constituye una estrategia de autorregulación absolutamente necesaria para la generación de compromiso entre el centro y su propia búsqueda de calidad y es un elemento clave de desarrollo institucional; sin embargo, precisa del enfoque externo, no tan sólo porque le confiere credi bilidad al someter a contraste el in­ terno, sino también porque Jo retroalimenta con nueva información evaluativa obtenida por otros medios, le somete a un análisis más diverso y plural y le evita en definitiva la pérdida de referentes que lo conduzcan a una exagerada subjetividad. Por su parte, la evaluación externa necesita ser substanciada des­ de la interna, ésta le aporta significado a sus procesos y evita su des­ arraigo. La evaluación institucional trata de conjugar ambas perspectivas y aunarlas en un objetivo común: la gestión eficaz y efi­

ciente de la calidad educativa en el marco globalizador e integrador de la institución. La realidad actual es que los procesos de acreditación externa y de autogestión interna están siendo superados por la evaluación institucional, promovida externamente por las administraciones edu­ cativas, pero asumidas internamente por las comunidades educativas. Resulta utópico pensar que una actividad compleja y cara como es la evaluación, pueda ser resuelta sin el empuje y el apoyo logístico de la administración. Sin embargo, esto no debe condicionar la libertad de los centros en sus enfoques internos, ni tampoco pervertir las fina­ lidades de los externos, sólo enriquecer las propuestas y aportar ele­ mentos de apoyo y recursos de todo tipo que las hagan viable. La evaluación institucional constituye en definitiva un espacio interrelacional nuevo, donde se produce la fusión de ambas percep­ ciones, hecho que se traduce en una importante aportación de valor añadido en términos de comprensión de la realidad educativa evalua­

~ Las variablesdel contexto modulan las relaciones existentes y ayudan en la interpretación contextuarmente

la retecton entre los reccrsoe y el proceso es Jo que nos permite establecer la eficiencia.

.

CONT~O

~

"

I

Recursos (Input)

/

I

I <,

~[

la relación entre los recursos recibidos y los reeuneoos es lo que nos permite establecerel rendimiento.

la relación entre la Institución y el contextoes lo que nos permite establecer la efectividad.

I

¡

-.

INSTITUCIóN

RHU&tad08

(Oulput)

·1

Procesos

I

.~

-,

La relación enue el proceso

y ros resultados es lo que nos permite establecer la

eñeacre.

182

183

da y es favorecedora de los procesos de desarrollo institucional y de mejora de la gestión de la calidad. Por otro lado, la evaluación institucional debe alimentar parte de los procesos de evaluación del sistema educativo a fin de contribuir a la generación de una verdadera concepción holística, integrada e integradora de la evaluación.

sultados y en el punto intermedio, los procesos, ya que constituyen el elemento nuclear que vincula los agentes con los resultados. Estructura del modelo EFQM:

~ 5.8 Modelos evaluativos institucionalizados Vamos a intentar presentar a continuación los procesos de evalua­ ción institucional que están asentados en la realidad de nuestro esta­ do, y que a su vez responden a dos concepciones diferenciadas de la evaluación.

5.8.1 MODELOS BASADOS EN LA GESTIÓN DE LACALIDAD TOTAL

Entre los diversos modelos evaluativos propuestos, cabe destacar por su difusión y popularidad el TQM (Total Quality Management) y el "protocolo europeo para la gestión de la calidad total", promocionado por la European Foundationfor Quality Management (EFQM). Inspirado en este último surge el modelo puesto en marcha por el Ministerio de Educación y Cultura de España en la zona que está bajo su administración mediante el programa "Calidad Total para las Es­ cuelas" (MEC, 1999). . El origen de estos movimientos se fundamenta en las teorías organizativas (Deming, 1993) que consideran como condición indis­ pensable para producir un producto de calidad el que los procesos que los causan se gestionen a su vez con calidad. Consecuencia casi inmediata de estos planteamientos fue la crea­ ción de sistemas de normativización para el desarrollo de los proce­ sos de calidad de una organización, con la finalidad de obtener marcos referenciales respecto de los que se pudiesen homologar estos proce­ dimientos y acreditar externamente la calidad de una organización (son las conocidas normas ISO 9000, 9002 .). El modelo EFQM estructura el análisis de las instituciones a partir de nuevos elementos: los cuatro primeros, considerados como agen­ tes de calidad; los cuatro últimos, como distintas modalidades de re­

Liderazgo (10%)

H

Polltica y eslnltegla (6%)

H

Gestión del persone! (9%)

H

Recursos (9%)

f--­

rr-

Procesos (14%)

H H H

Satisfacción rlel cliente (9%)

f--

Silli8'8cc1t;9~ll perscoet ~ Impacta sadal (6%)

aeeoueoce (15%)

1­

Se puede hacer una lectura del mismo interpretando que a partir del impulso del liderazgo, se pretende mejorar los procesos a través de incidir en las mejoras en las políticas y estrategias adoptadas, en la gestión del personal, y en la aplicación de los recursos. Se persigue optimizar los resultados expresados no tan sólo en términos absolu­ tos, sino también en satisfacción del personal, del cliente y de la pro­ ducción de un impacto social positivo. Las críticas más consistentes a este modelo se basan en no consi­ derar oportuno el traslado y la homologación de los planteamientos empresariales a las organizaciones educativas, fundamentalmente por las siguientes razones: Porque los componentes del modelo no tienen el mismo signi­ ficado en el contexto empresarial que en el escolar (pensemos, por ejemplo, en el liderazgo, ¿realmente se puede sostener que su naturaleza es homologable? ¿Existe algún paralelismo entre lo que éste representa en las organizaciones empresariales y en las escolares? O por poner otro caso; ¿Quién es el cliente en las organizaciones educativas? ¿Podemos hablar' del alumno como cliente"), Porque. los procesos educativos no son normativizables sino contextualizables, ya que la realidad donde se desenvuelven en los centros educativos es sustancialmente singular y difícil­ mente generalizable. Porque la calidad de los productos no puede, ni debe entender­ se en términos absolutos, sino rodeada de múltiples y sutiles

184

185

matices. En la escuela, la eficiencia en el logro se plantea bajo prismas muy diversos entre los que destaca por su importancia el de la equidad. Así, la escuela no puede ser reproductora o generadora de más y más profundas desigualdades, ello obliga a que la discriminación po­ sitiva constituya un elemento clave en la gestión de la calidad y orienta en muchas ocasiones la propia toma de decisiones de mejora, desde planteamientos más amplios que los basados pura, dura y exclusiva­ mente en la eficiencia. Podríamos concretar con Escudero (1999, p. 80) los elementos críticos frente a este modelo en los siguientes: adopción de un mode­ lo empresarial foráneo al mundo y a la cultura de la educación, prima­ cía del concepto cliente como componente central del esquema, afán de asentar sus bases de legitimidad sobre el declive de la mentalidad burocrática y el amplio reconocimiento que ha tenido en las últimas décadas la gestión horizontal, participativa, vertebrada en torno a la lealtad, el compromiso y la apropiación de los objetivos de las orga­ nizaciones por parte de sus empleados (Klein, 1995), la reclamación de un nuevo liderazgo del director como si éste poseyera todas las claves para la mejora y la renovación de los procesos de gestión para el logro de los objetivos de mejora que han de ser realistas, concretos, evaluables y alcanzables lo que empobrece notablemente su concep­ to (PAMs, BOE de 13 de junio de 1998). Frente a estas críticas, cabe señalar con Álvarez (1999, p. 86), que el modelo ha sido corregido para adecuarlo a la cultura, sensibilidad y reticencias del mundo peculiar de la educación y tratar de superar algunas de las críticas mencionadas que según los autores defensores del mismo no comprometen en absoluto su validez. Concretamente, indica que, en la adaptación, el criterio "satisfac­ ción del cliente" se traduce, siguiendo a Drummond (1995), por "in­ tenace", entendido como satisfacción de las expectativas del usuario en su relación de implicación con los educadores; el criterio "impacto en la sociedad" se debe interpretar como la interacción "centro-entor­ no y, finalmente, el criterio "resultados" se despliega en los tres ám­ bitos que defme Mortimore (1991): el ámbito cognitivo en relación con el desarrollo de las capacidades intelectuales, el ámbito de la so­ cialización con respecto a la interacción social (valores, actitudes, emociones), y el ámbito de la orientación en relación con la prepara­ ción para la vida activa.

Por nuestra parte añadiremos que se ha hecho un enorme esfuerzo en el despliegue del modelo y bueno será aprovecharlo como elemento de reflexión respecto de su bondad. Aun sin creer en el a priori, a estas alturas considero prudente esperar a que las iniciativas puestas en mar­ cha en esta línea de actuación, cubran la mayor parte de su reconido, para que a la luz de la propia experiencia podamos analizar en mayor profundidad sus resultados y establecer un juicio valorarivo más ajusta­ do y matizado sobre él y, sobre todo, basado en las evidencias.

5.8.2. EL MODELO DUAL APLICADO EN CATALUÑA ¡

(a)

El "corpus" legislativo

La Ley orgánica 111990 (LOGSE) establece la evaluación como un elemento para la adecuación permanente del sistema educativo a las demandas sociales y a las necesidades educativas. Posteriormente, la Ley orgánica 9/1995 (LOPEGCD), en el artí­ culo 29, señala que las administraciones educativas han de poner en funcionamiento planes de evaluación de aplicación periódica a los centros docentes sostenidos por fondos públicos. Finalmente, en Cataluña el Diario Oficial de la Generalidad (DOGC) publicó, el 11 de noviembre de 1997 la Orden por la cual se regulaba la evaluación de los centros docentes sostenidos con fondos públicos. La citada orden establece dos tipos de evaluación: la interna, que han de llevar a cabo los mismo centros con la participación de los órganos de gobierno y de coordinación y los diferentes sectores de la comunidad educativa; y la externa, que ha de llevar a cabo la Inspec­ ción de Enseñanza. (b)

Planificación y contenidos de evaluación

La evaluación se ha de llevar a cabo mediante planes de evalua­ ción de tres años de duración, en los cuales se han de tener en cuenta, como mínimo, los ámbitos y los indicadores siguientes: l.

Gestión organizativa:

Planificación de la acción educativa: proyectos de centro (gra­ do de elaboración, de implantación y de funcionalidad de los

186

187

documentos de gestión), indicadores y mecanismos de segui­ miento y evaluación.

Estructura funcional: órganos de gobierno y de coordinación,

mecanismos de comunicación y de toma de decisiones, parti­

cipación de la comunidad escolar en la dinámica educativa y

clima de relaciones y colaboración.

Gestión de los recursos: recursos humanos, recursos tempora­ les (tiempo docente y tiempo cunicular), recursos económi­ cos, recursos didácticos (espacios y equipamientos) y actividades de formación. Atención y seguimiento del alumnado: agrupación del alumnado y estrategias para la atención a la diversidad, orien­ tación al alumnado (acción tutorial y criterios de evaluación) y atención al alumnado con necesidades educativas especiales.

-

-

-

2. Enseñanza y aprendizaje: Gestión del currículum: selección y ordenación de contenidos, estrategias didácticas y opciones metodológicas, criterios de seguimiento y evaluación, mecanismos de coordinación entre el profesorado que imparte en la misma área, coordinación con otras áreas. Resultados de aprendizaje: consecución de los objetivos por parte del alumnado, desarrollo de las capacidades indi vidua­ les, evolución de los aprendizajes y del rendimiento del alumnado en los últimos cursos escolares. La evaluación de los apartados indicados en el ámbito de la ges­ tión organizativa se llevará a cabo a lo largo de los tres cursos escola­ res del plan. La evaluación del proceso de enseñanza y aprendizaje se hará en cada uno de estos cursos escolares, como mínimo en una de las áreas del currículum.

(e)

Caracteristicas básicas

En definitiva y resumiendo, la evaluación de centros en nuestro contexto tendrá las características siguientes: Será una evaluación bimodal, y entendemos que complemen­ taría e interactiva de tipo externo e interno (el orden sólo indi­

(d)

ca que la evaluación interna y la evaluación externa estarán coordinadas a efectos de ámbitos e indicadores de evaluación). Tendrá carácter público, entendiendo que los criterios y proce­ dimientos evaluativos serán públicos y que se informará a las comunidades educativas de las conclusiones que se obtengan en general y, particularmente, de las de su centro, a cada con­ sejo escolar. La evaluación de cada centro tendrá en cuenta su contexto socioeconómico y los recursos de los cuales dispone, y se efec­ tuará sobre los procesos y sobre los resultados tanto por la or­ ganización, la gestión y el funcionamiento como por el conjunto de las actividades de enseñanza y aprendizaje. Los agentes de la modalidad externa serán la Inspección, con la colaboración de los órganos de gobierno (colegiados y unipersonales) y otros sectores de la comunidad educativa. La evaluación interna será realizada por los mismos centros docentes, con la participación de los órganos de gobierno y de la coordinación del centro y de los diferentes sectores de la . comunidad escolar.

Momentos fundamentales de la evaluacián interna (una vez aprobado el plan de evaluación por el órgano competente) Nombramiento de la comisi6n evaluadora. Acostumbra a estar formada por un grupo reducido de profesores, a los que se les puede añadir otros "partenaires" (padres, alumnos, expertos externos, etc.), a pesar de que la orden otorga a los equipos de gobierno la iniciativa de la evaluación, no acostumbra a ser conveniente que figuren en la comisión. El nombramiento puede ser por designación, elección o por procedimientos mixtos. La cultura propia del centro es la que hará más aconsejable uno otro sistema. Negociaci6n de los elementos básicos del procedimiento evaluativo. Diseño del proceso evaluativo, definición de los criterios evaluativos, alcance de los procesos, ete. Selección de la instrumentaci6n o estrategias más adecuadas para la recogida de información. técnicas de análisis a utilizar, procedimientos de interpretaci6n, etc, Ejecuci6n evaluativa. Elaboración del informe, debate del mismo, reelaboraci6n de­ finitiva. i¡·

188

(e)

189

Momentos fundamentales de la evaluación externa:

Las actuaciones previstas por la administración son los siguientes (Borrell, 1999, pp. 75 Y76): • Presentación a los centros de la acción evaluativa. Implicación de los mismos: -

-

Explicación de las finalidades y los objetivos Justificación de la elección del contenido o contenidos a evaluar (relevancia, claridad, precisión). Exposición de los procedimientos de actuación (fases del proceso).

Petición de colaboración de los diferentes órganos y secto­

res de la comunidad educativa.

Recogida de sugerencias y propuestas del centro de acuer­ do a sus peculiaridades. Diseño de la actuación tratando de respetar al máximo la dinámica del centro. Consensuar el calendario y el horario de realización de las actuaciones. Acordar con el centro los espacios de realización.

• Recogida de información: Consulta a las distintas fuentes de información de las ca­

racterísticas propias del escenario donde se recogerá la in­

formación.

Aplicación de los instrumentos de recogida de información.

• Análisis y procesamiento de la información. • Sesión de evaluación conjunta. Ésta se considera una fase clave en el proceso de evaluación en la que el equipo de inspectores se reúne con los participantes del centro para dar a conocer las informaciones obtenidas y contrastar y ponderar las valoraciones extraídas de los resulta­ dos de la acción evaluativa. • Elaboración del informe de evaluación.

Sin extendernos en este momento, señalaremos que posiblemente la crítica más fuerte al modelo es la clara desvinculación que existe entre la evaluación externa y la interna. La propuesta se ha quedado en el camino hacia una verdadera evaluación institucional y no reco­ ge la dimensión de espacio interrelacional a que hacíamos referencia anteriormente.

5.9. El proceso evaluativo Llegados a este punto, creo que ya podemos concretar cuál es el proceso general del diseño global de evaluación. En términos genera­ les, la evaluación realiza el siguiente recorrido.

5.9.1. ANÁLISIS DE NECESIDADES

El primer paso consiste generalmente en realizar un diagnóstico sobre las necesidades y problemas del centro, con la finalidad de es­ coger y concretar los contenidos que tendrían que ser objetos de eva­ luación desde Un planteamiento coherente con sus necesidades. Habitualmente, se recurre al análisis de la situación actual de la institución, a la detección de sus fortalezas y debilidades y también establecer su contexto de oportunidades y amenazas futuras. En esta fase han de participar todas las audiencias interesadas im­ plicadas (stakeholders); se trata de una fase de contraste tanto de ob­ jeti vos, como de las finalidades y de las opiniones. Se persigue en este primer análisis, que ha de tener carácter de de­ bate absolutamente abierto, el posibilitar el establecimiento y priori­ zación de lo que constituirán los temas que serán objeto de evaluación.

5.9.2. ELECCIÓN Y CONCRECIÓN DE LOS OBJETOS DE EVALUACIÓN

Corresponde a este momento decidir' cuáles serán los contenidos que serán objeto de evaluación. Obviamente, éstos deben ser cohe­ rentes COn las necesidades detectadas en el apartado anterior. En la selección de los objetos de evaluación se han de tener en cuenta dos aspectos fundamentales (Borrell, 1999):

19D

191

Que el tema sea relevante y significativo. La relevancia se acos­ tumbra a otorgar a las aportaciones del conocimiento educati­ va y a la significación las necesidades del propio centro. Que el tema esté delimitado y sea evaluable. Es necesario que la información evaluativa que se genere sea manejable y la, consecuencias puedan ser asumidas por el centro. Si bien la evaluación ha de mantener una visión global tiene que ser también selectiva. No se puede pretender evaluar todo y al mismo tiempo. Los planes de evaluación permiten priorizar de acuerdo a la importancia de los temas y secuenciar la focalización de nuestra aten. ción a los diferentes elementos evaluables que configuran los objetos de evaluación. La evaluación actúa con insistencia pero prudentemente, tratando de no generar resistencias innecesarias y procurando ganar credibili oad a partir de recorrer cada uno de los momentos evaluativos desde el análisis de necesidades hasta la implantación de las mejoras. E, siempre preferible recorrer el círculo completo que no pretender abar.. cal' demasiados objetos y no cerrarlo en ningún caso. La concreción de los contenidos que serán objeto de evaluación exige proceder a establecer los objetivos que atenderemos en cada caso, los objetivos se acostumbran a definir poniendo en relación los objetos con las finalidades. Finalmente, conviene establecer los referentes o estándares de eva­ luación. Que el tipo de ejecución que vamos a exigir sea cubierta para considerar que se han alcanzado los criterios de calidad exigibles.

5.9.3. PROCEDIMIENTOS, RECURSOS Y NORMAS

Una vez que se ha definido qué es lo que se va a evaluar hemos de precisar los procedimientos que utilizaremos para conseguirlo. Así deberemos seleccionar o elaborar los instrumentos a utilizar para cap­ turar la información evaluativa que precisamos: guías de entrevistas, pautas de análisis de documentos, cuestionarios, escalas de valora­ ción, pruebas de rendimiento, etc. Seguidamente deberemos diseñar el plan de recogida de informa­ ción para que ésta nos facilite realmente el conocimiento de aquello que realmente perseguimos saber. El diseño deberá contemplar tam­ bién la previsión de todos los recursos humanos y materiales que pre­ cisaremos para llevar a cabo la operación evaluativa, así como las

•i normas precisas que servirán de guía a toda la actividad evaluadora. Instrumentos, recursos y normas constituyen los elementos básicos del procedimiento evaluativo que convendrá diseñar y prever antici­ padamente.

5.9.4. EL ANÁLISIS Y LA INTERPRETACiÓN DE LA INFORMACiÓN. LOS JUICIOS DE VALOR

La propia naturaleza de la información recogida y el tipo de rela­ ción que pretendemos establecer para proceder a su posterior inter­ pretación, nos marcarán la tipología de análisis a utilizar. Normalmente, exige el vaciado de la información que al principio aparece como fragmentada y dispersa y exige todo un proceso de or­ denación para poderla contrastar debidamente y facilitar con ello su interpretación. Para interpretar debidamente la información es preciso hacerlo en contraste con los criterios de valor debida y previamente formulados, Pérez Serrano (1994) indica que la interpretación constituye el momen­ to más arriesgado del proceso «ya que interpretar supone integrar, rela­ cionar, establecer conexiones, como también posibles comparaciones». Con todo, consideramos como el paso más complejo, el estableci­ miento de los correspondientes juicios de valor respecto de los obje­ tos sujetos a evaluación. Para ello se precisa el establecimiento previo de estándares o niveles de ejecución de referencia que nos faciliten valorar los que están sujetos a análisis. Cuando se trabajan con indicadores es -relativamente sencillo el operativizar, mediante procesos de comparación normativa o criterial, la creación de estándares. En otras situaciones menos objetivables deberemos recurrir a la generación por parte de expertos de juicios múltiples, bien descritos y detallados y suficientemente graduados respecto del objeto a evaluar que nos servirán para expresar nuestros juicios valorativos referidos al objeto evaluado. Valorar, en definitiva, no es una tarea sencilla, especialmente si se desea hacer con el necesario rigor y sistematicidad. Exige clarificar el objeto a evaluar, establecer con precisión y detalle los referentes res­ pecto de los cuales establecer por comparación nuestras valoraciones y finalmente expresarnos adecuada y convincentemente.

193 192

5.9.5. EL INFORME EVALUATIVO Y LA TOMA DE DECISIONES

El informe obviamente recoge los resultados de la evaluación. Para facilitar su comprensión se ha de procurar exponer los resultados de manera comprensible; es preciso que todos los juicios de valor se expresen de manera clara y también que estén debidamente funda mentados sobre las correspondientes evidencias. Habitualmente, el informe se inicia con una descripción del con­ texto y del ambiente en el que se ha desarrollado la evaluación. Sigue con una explicación amplia de los contenidos evaluados, se presenta la información recogida y los análisis realizados. A continuación se justifican las valoraciones y resultados, se señalan los puntos fuertes y débiles detectados y se finaliza presentando y valorando las dife rentes alternativas de decisión de cara a la mejora. En la evaluación de centros es habitual que el informe sea previa­ mente presentado y debatido con los componentes del centro, espe cialmente con aquellos que han estado más comprometidos.. con los procesos de evaluación, antes de proceder a su redacción y presenta­ ción definitiva.

su propio desarrollo, fundamentado en un análisis realista de la capa­ cidad del sistema, de su contexto de oportunidades y de los elementos culturales que puedan capitalizar. Todo ello confiere orientación y sentido a las propuestas de mejora, mientras que la aportación de la evaluación se concreta en el impulso con que dota al conjunto del sistema al introducir en su entramado la información evaluativa.

5.9.7. LA METAEVALUACIÓN

Éste es un apartado del proceso que, dado que aparece en otros temas del libro, no vamos a insistir más en él. Sólo recordar que re­ flexionar sobre la calidad de la propia evaluación, es un paso obliga­ do en nuestro campo y que los estándares para el enjuiciamiento de la misma son como en las otras ocasiones: la propiedad, la utilidad, la factibilidad y la precisión.

5.10. Algunos elementos para la reflexión y el debate 5.10.1 LA EDUCACIÓN Y EL CULTO A LA EFICIENCIA

5,9.6. USO INTENSIVO Y EXTENSIVO DE LA INFORMACIÓN. LOS ' PLANES ESTRATEGICOS DE CENTRO

.

Uno de los planteamientos más ingenuos en el que hemos incurri­ do de forma recurrente a lo largo de los últimos años, es el de derivar directamente las propuestas de mejora a partir de la acción evaluativa. Las modernas organizaciones han demostrado que para pode! vehicular eficazmente la información y hacer un uso intensivo de ella y de manera que alcance el máximo de ámbitos de actuación (uso extensivo), es preciso tener de antemano perfectamente planificada y configurada la red relacional por donde discurre la misma. Expresado de manera más acorde con nuestra realidad, si el centro no ha reflexionado, debatido y definido su plan estratégico de desa­ rrollo y mejora, difícilmente podremos hacer discurrir la información evaluativa generada, por la gran corriente ("mainstreaming") donde confluye toda la información disponible, y así diseñar de manera rea­ lista y eficiente las propuestas de mejora en un marco sostenible de desarrollo para la institución. Esta situación nos debe hacer reflexionar sobre la necesidad de que los centros dediquen parte de sus esfuerzos a la planificación de

Éste es el título de la obra de Raymond Callaban (\962), en la que el autor analizaba a principios de los 60, la penetración que se estaba produciendo en las opiniones de las com~nidades ed~cativas. y del público en general de la potente ideología empresanal amen cana. Penetración que se tradujo en duros enjuiciamientos respecto del f~n­ cionamiento de la escuela, con el resultado de un enorme dehilita­ miento de la institución escolar. El autor relata como el intenso criticismo del público frente al sistema escolar, espoleado en gran parte por cierto tipo de periodismo y también desde ciertas ideologías, había generado I~ sensa~,i?n de que la educaCión se movía en medio de estándares de calidadbajísímos, que producían un impacto en la economía absolutamente irrelevante y por encima de todo con un enorme grado de ineficiencia. Si juntamente con la crítica nos situamos en la realidad del contexto .americano, donde las escuelas son soportadas económicamente y con­ troladas por los entes locales, se entiende la enorme vulnerabi~idad a la que se vieron abocadas las direcciones escolares ante la presión de la opinión pública. Todas estas condiciones generaron la sensación más

194

absoluta de la necesidad de proceder a realizar reformas en profundi­ dad del sistema y de la escuela y a incorporar en la gestión de los centros, las emergentes tecnologías de la evaluación y de la gestión basada en criterios científicos (Norris, 1990). Si nos situáramos en los 80, observaríamos, que los elementos de debate propios de esta época recuerdan en gran manera a los identifi­ cados 20 años antes por Callahan: crítica pública de la efectividad de la escuela, cuestionamiento de su relevancia económica, descubri­ miento de la importancia de las competencias básicas, de la petición de responsabilidades, de la evaluación del profesorado, de la promo­ ción de la excelencia, de la evaluación y la monitorización y de la eficiencia en el uso de los recursos. Los trabajos de Callahan no hacen sino señalar cómo una desme­ dida presión social por la eficiencia, condujo a comportamientos ba­ sados en una visión mecanicista de la educación. La escuela fue tratada bajo los principios de producción industrial y se aplicaron los mismos valores y procesos de valoración que se aplican en el mundo empre­ sarial. Aparecen con ellos términos que después se han diseminado Con gran facilidad y que han hecho larga carrera como son, por poner algún ejemplo, los de análisis de costos y accountability, entre otros. . Todo ello ha conducido en la actualidad a una situación en la que Junto a elementos conceptuales altamente positivos procedentes de la época y que se han ido integrando al discurso evaluativo, perdura la preocupación para que, juntamente con ellos, se mantengan visiones de la realidad educativa simplistas, totalmente postizas y ajenas a nuestra cultura y que condicionan más de lo que creemos nuestras formas de actuación al desarrollar las prácticas evaluativas. Kushner y MacDonald (1987) observan cómo los evaluadores que han buscado desarrollar su tarea desde una perspectiva más crítica, democrática y cultural, han encontrado grandes dificultades al chocar con actitudes de administraciones y administradores que impregna­ dos de los modos a que hemos hecho referencia, actúan desde visio­ nes en las que creen que los outputs son el resultado simple y directo de gestionar eficientemente los inputs. De aquí nos surgen los mayores interrogantes, cuando vemos que en los modelos basados en la gestión de la calidad total hay una cierta música que nos recuerda algunos de los principios comentados. Y también notamos cómo se reproducen ciertos comportamientos de presión social sobre la escuela y el sistema educativo, generando des­ confianza antes de que llegue a estar implantado y creando la urgente necesidad de proceder a introducir cambios, y cómo finalmente se

195

vuelven los ojos al mundo empresarial para encontrar en él las claves milagrosas de la eficiencia. Hacer vulnerable al sistema y a la escuela no nos parece la mejor antesala para proponer formas democráticas de cambio. Más bien in­ ducen a pensar que forma parte de otro tipo de estrategias que en todo caso el tipo de innovación que facilitan es el propiciado por decreto­ ley.

5.1O.2.EVALUAC¡ÓN EXTERNA VS. EVALUAC¡ÓN INTERNA

A estas alturas parece evidente que nuestra apuesta personal va más en la línea del modelo que hemos denominado de evaluación institucional y no vamos a repetir la argumentación hecha en el aparta­ do correspondiente, y tratar de justificar nuestra decisión nuevamente. Sin embargo y tal como ya señalábamos, sí que debemos volver sobre algunos de los peligros que creemos podemos incurrir al aplicar este tipo de modelo. En primer lugar, podemos pensar que se tratan de dos evaluaciones separadas e independientes y sinceramente con­ sideramos esta afirmación como un grave error. La evaluación institucional es única y alcanza su verdadero potencial cuando sabe­ mos establecer el oportuno sistema relacional entre sus dos grandes dimensiones. Ambas tienen como prioridad el desarrollo de la calidad de la es­ cuela, sin embargo la forma de hacerlo es sustancialmente distinta. La evaluación interna debe trabajar la calidad desde el desarrollo de la diferencia, facilitando los procesos de desarrollo de la propia iden­ tidad de la escuela, aquella que le confiere carácter propio y la distin­ gue de las otras. La evaluación externa trabaja los procesos de homologación entre escuelas, garantiza a la comunidad que la escue­ la cumple con lo que es necesario para que participe de la cultura común a todo el sistema escolar. La tensión entre ambas posiciones es posiblemente el elemento que dinamiza los procesos de calidad. La progresiva diferenciación estimula la búsqueda de nuevos espacios de calidad, que posterior­ mente servirán de estímulo y objetivo a otros centros. La homologa­ ción evita que algún centro quede descolgado de la gran corriente y su incomunicación y aislamiento la deslice hacia algún tipo de degra­ dación o, en el mejor de los casos, le impida sumarse a iniciativas potentes y comunes de mejora.

196

197

Por todo ello, establecer el sistema relacional entre ambas varian­ tes constituye una tarea absolutamente prioritaria. Desde nuestro per­ sonal punto de vista, entendemos que la clave está en tres puntos de inflexión básicos. Primero, la evaluación externa debe partir de b documentación generada por la interna; en la interna debe participar algún agente externo y en la externa alguno interno; finalmente, loo dos informes externo e interno deben fusionarse en uno final acepta­ do por las partes y en las propuestas de mejora deben participar en igualdad de condiciones los agentes externos e internos.

5.10.3. LA AUTONOMÍA DE LOS CENTROS Y LA GESTIÓN DE LA DIFERENCIA

Uno de los tópicos más debatidos en los últimos años es el que gira en torno a la necesidad de descentralizar al máximo los sistema, educativos, basándose generalmente en tres patrones argumentales (Weiler, 1990):

(a) La descentralización como necesidad de redistribuir la auto­ ridad. En las sociedades modernas, los sistemas de gestión tien­ den a ser matriciales en lugar de piramidales. La flexibilidad y la funcionalidad que aportan estos modelos diseñados en red conducen a un funcionamiento tan superior al producido por el resto de sistemas, que se han impuesto en todos los ámbitos postindustriales. Exige, sin embargo, un alto grado de prepara­ ción y madurez por parte de los sujetos y de las organizacio­ nes, así como el desarrollo de lo que podríamos denominar como la cultura del compromiso, la responsabilización y la autorregulación. Sin embargo, es evidente que a los aparatos burocráticos de los estados altamente centralistas les cuesta entrar en la mentali­ dad descentralizadora, entre otras cosas porque después de tan­ tos años de ejercer el poder no tienen clara su relación con la antoridad. Para muchos la autoridad proviene del poder y se ejerce de forma arbitraria desde éste. Entendemos que justa­ mente los procesos de descentralización se basan en lo contra­ rio. Es el poder el que surge de la aplicación correcta de la antoridad. Redistribuir la autoridad es una manera de facilitar

su mejor uso y ello incrementa el sano ejercicio del poder com­ partido y participado.

(b) Descentralización y eficiencia. El segundo argumento utiliza­ do es que la descentralización aporta un plus considerable de eficiencia en la gestión de los sistemas educativos (Banco Mundial, 1988, pp. 10-11). Pero no debemos aplicar el argu­ mento pensando únicamente en términos económicos, la efi­ ciencia se incrementa en todas sus manifestaciones. (c) Descentralización y las culturas de aprendizaje. Esta línea de razonamiento argumenta que la descentralización provee una mayor sensibilidad a las variaciones locales y adapta más eficientemente los esfuerzos educativos a las condiciones lo­ cales de todo tipo, incrementando con ello la calidad educati­ va. (Bray, 1984). Los mismos principios de "devolución" que son válidos para jus­ tificar la descentralización de los sistemas, son lo que apoyan la nece­ sidad de incrementar la autonomia de los centros. Los centros como unidades funcionales básicas deben gozar de un alto grado de autono­ mia si pretendemos alcanzar modelos sostenibles y autorregulados de gestión de la calidad para el conjunto del sistema. La calidad no es cuestión de estado sino de grado, y la homogeneización de los centros bajo patrones de actuaciones y prác­ ticas educativas idénticas, sólo permite garantizar el alcanzar la base inferior de esa calidad. La exploración de nuevos espacios de calidad sólo se puede lograr desde la gestión de la diferencia y ésa es la razón de ser de la defensa del estatus autonómico para los centros. Cada centro debe constituirse en un contexto de investigación y de búsqueda de nuevas formas educativas que garanticen una mejor asistencia a sus alumnos, a sus profesores y al conjunto de su comuni­ dad. Cada proyecto educativo es único y debe adoptar formas especí­ ficas que acrediten las identidades diferenciales de los centros. Identidades reconocibles y donde la mayoría puedan reconocerse. Ex­ presar la calidad desde soluciones distintas es la garantía de que se pueda dinamizar la innovación y el cambio para el conjunto del siste­ ma, y que se puedan atender desde principios de equidad a los con­ textos sociales menos favorecidos. Sin embargo, autonomia no debe ser sinónimo de alienación. La gestión de la diferencia tiene como límite el respeto a la base común,

198

199

la que permite mantener abierta la comunicación y el intercambio de todo tipo entre los centros (alumnos, profesores, experiencias, etc.), No se pueden apoyar iniciativas basadas en principios de insosteni­ bilidad o de extrañamiento, Obviamente, el ejercicio de la descentralización y la autonomía es el -que pone en primer plano la evaluación institucional. A mayor au­ tonomía mayor cuota de responsabilización del centro y, por tanto, de necesidad de acudir a la evaluación como fórmula de reflexión siste­ mática sobre los procesos de desarrollo que se están llevando a térmi­ no y de racionalización de las explicaciones sobre los mismos que hay que dar, en un contexto democrático, a la sociedad,

5.11. A modo de síntesís Llegados a este punto, debemos encarar el final de este capítulo en el que hemos realizado un recorrido que partía de contextualizar la evaluación de centros en el amplio marco de los sistemas educativos, La preocupación por la calidad de la educación y su evaluación cons­ tituyen un objetivo prioritario en todas las sociedades occidentales, La evaluación de los centros no es el resultado de un capricho o de una moda más o menos pasajera, sino una necesidad claramente deri­ vada de una exigencia social y de un reconocimiento del peso especí­ fico que tienen los centros en el conjunto del sistema educativo y derivada también de la importancia del impacto global que provoca con su mejora, También hay que remarcar que la evaluación de cen­ tros aporta información valiosa y que facilita la evaluación de otros ámbitos del sistema (profesores, alumnos, etc.), Es también un proceso retroalimentador del proceso de funciona­ miento del centro, al que aporta continuos elementos de reflexión para orientar la dirección de los cambios que se han de introducir para favorecer su mejora, Como otro valor añadido, la evaluación consti­ tuye un formidable factor activador de la formación de los integrantes de los centros y también de su desarrollo institucional. La evaluación es una actividad mediática en el sentido que no cons­ tituye un fin en sí misma, sino que hay que situar su legitimación y justificación en su capacidad de mejorar el objeto de evaluación, Es muy singular el hecho de que aquello que la caracteriza (la valoración de los hechos) no es lo que la legitima (la mejora del objeto evaluado), Evaluar es una actividad compleja que implica un conjunto de pro­ cesos, En el caso de la evaluación de centros, la cadena se inicia deter­

minando el sentido de la calidad educativa, que se supone que surge del análisis de necesidades, y que debería estar recogido en la normativa general y muy especialmente en el proyecto educativo del centro, A continuación, se requiere traducir la calidad en elementos ob­ servables y susceptibles de codificación para que puedan ser tratados como información referenciada e interpretable. Interrelacionar la ges­ tión con la calidad, los procesos con los resultados, nos facilitará la toma de decisiones y las recomendaciones correspondientes. En nuestro contexto normativo, conviene centrar la actividad evaluadora en el análisis de los resultados de enseñanza y aprendizaje, en sus procesos y en las interrelaciones entre ambos. Aparte, también es preciso analizar ámbitos organizativos específicos, considerados como factores claramente asociados a la calidad educativa, Cada centro debería determinar sus propias prioridades a partir del conocimiento que tenga de sus necesidades, y ha de diseñar un plan de evaluación de acuerdo a ellas y a su capacidad real de gestión. No es necesario ni recomendable tratar de abarcar absolutamente todo. Hay que proceder de manera cíclica y progresiva, sin prisa pero también sin pausa. Una vez escogido un ámbito concreto objeto de la acción evaluativa, es conveniente aplicar el proceso hasta sus últimas consecuencias, tomando las decisiones de mejora oportunas, ejecu­ tándolas y haciendo el correspondiente seguimiento, Es preciso actuar con prudencia, para no generar resistencias in­ necesarias. Es deseable conseguir la máxima implicación de todo el personal. El final de una acción evaluativa marca siempre el inicio de otra acción más amplia y profunda que la anterior. Nunca hay que olvidar que la evaluación no es un proceso mera­ mente técnico, es fundamentalmente un proceso culturalizador. Es im­ prescindible que las personas implicadas asuman e interioricen los resultados derivados de las acciones evaluativas, Para conseguirlo y en el marco integrador de un centro, es del todo necesario contar con su participación desde el principio del diseño de la intervención evaluativa, El proceso de evaluación de un centro educativo interacciona ne­ cesariamente con los procesos de innovación y de cambio y con el de desarrollo institucional. Cualquier toma de decisiones derivada de una acción evaluativa ha de insertarse en el marco del modelo de innova­ ción del centro, para potenciar su capacidad de transformación y al tiempo ha de producir un crecimiento de la propia institución como organización. La acción conjunta de los tres procesos es imprescindi­ ble para garantizar la generación y consolidación de los elementos de mejora de la calidad educativa.

201

200

Bibliografía

DE MIGUEL, M. (1996), "La Evaluación de los Centros Educativos", en RIE, ] 1, pp. 54-72. DE MIGUEL, M. (1997), "La Evaluación de los Centros Educativos", en H. Salmerón (ed.), Evaluación educativa, pp. 15 l MORTIMER, P. (1991), The use ofperformance indícators. París: OCDE. NORRIS, N. (1990), Understanding Educaüonal Evaluation. Londres: Kogan Page. OAKES,1. (1986), Educational indicators. A guide for policymakers. New Brunswick: Rutgers University. OCDE (1992-93 ...), Education at a glance. Indicateurs de qualité. París: OCDE. OCDE (1994), La qualité de L'enseignament. París: OCDE. PALLARÉS, S. (1997), Avaluació de Centres. Tesis de maestría inédita. Barcelona: UAB-Departament d'Ensenyament. PORTER, A. (1991), "Creating a system of sehool process indicatcrs", en Educational Evaluauon and Policy Analysis, ]3 (1), pp. 13-29. RODRÍGUEZ, S. (1995), "La evaluación en la enseñanza universitaria", en E. Oroyal (ed.), Planificación y Financiación de los Sistemas Educativos. Barcelona: Civitas. RUL, J. (1992), La qualitat educativa a la cruüa de la gestió i la cultura. Barcelona: Generañtat de Catalunya, Departament d'Ensenyament. SCHEERENs,1. (1989), Process índicators of school [unctioning: A selection on the research ííterature Otl school effectiveness. París: OCDE/CERI. WEILER, H. N. (1990), "Decentralisation in educational governance: An exercise in contradiction", en Granheim, M. et al. (eds.), Evaluatíon as Policymaking: lntroducing Evaluation into a Nationaí Decentralised Educational System, pp. 42-66. Londres: Jessica Kingsley Publishers. WElS, C. (1977), Research for policy sake"::Policy Analysis, 3, pp. 531-45. R174,

M. (1999), "El modelo empresarial, en la cultura de la educación", en Cuadernos de Pedagogía, 285, pp. 86-89. BANCO MUNDIAL (1980), Educatíon Sector Policy Papero Washington D. C.: Thc World Bank. ' BANCO MUNDIAL (1988), Education in Sub-Soñaran Afríco: Policíes [or Adjustmeru. Revítalizatíon and Expansión. Washington D. C.: The World Bank. BOE. (1988), Planes anuales de mejora, n" 141,13 de junio de 1988. BORRELL, E. (1999), "L'avaluació externa deIs centres docents", en Avaluació i Educacíá, pp. 70~83. Barcelona: Generalirat de Catalunya, Consetl Escolar de Catalunya. BRAY. M. (1984), Educational Planning in a Decenrralísed System: Tite Papua New Guínean Experíence. Sídney: Sidney University Press. CALLAHAN, R. E. (1962), Educution and the Cuu 01 Efficiency. Chicago: Universitv , of Chicago Press. CORDMINES, J. (1997), lndícadors de qualitat per a t'avotuacío d'un centre educutiu. Tesis de maestría inédita. Barcelona: UAB-Departament d'Ensenyament. DEMING, W. W. (1988), Out ofthe Crisis. Cambridge: Cambridge Uníversíty Press. DEMING, W. W. (1993), The New Economics. Bilbao: Deusto. DERQUET, J. L. Y DUTERco, Y. (1997), L'etablessiment scolaíre. autonomie íocaie ct service publico París: ESF-INRP. DOHERTY, G. D. (1997), Desarrollo de sistemas de calidad en la educación. Madrid: La Muralla. DRUMMOND, H. (1995), Qué es hoy la calidad total: el movimiento de la calidad. Bilbao: Deusto. EDMONDS, R. (1979), "Effective schools for the urban peor", en Educational Leadership, 37, pp. 15-24. EsCUDERO, J. M. (1999), "De la calidad total y otras calidades", en Cuadernos d.: Pedagogía, 285, pp. 77-84. FULLAN, M. et al. (1990), "Linking classroor» and schoo l improvement", en Educational Leadership, 47 (8), pp. 13-19. OARVIN, D. (1988), Managing quality: The strategic and competitive edge. Londres: Coller, MacMiIlan. GRIDS (1988), Secondary school handbook. Londres: SCDC Publications. HARVEY, L. y OREEN, D. (1993), "Defining quality", Assessmenl and Evaluatíon in Higher Education, ] 8 (1), pp. 9-34. HOPK1NS, D. (1991), School based review for schooí improvement. Leuven: ACCO HUTMACHER, W. (1999), "L' Avaluació en la transformaci6 de les modalitats de govern deis sistemes educatius". Tendencies europees, en A valuacíá i Educació, pp. 15·· 34. Barcelona: Generalítat de Catalunya. Consell Escolar de Catalunya. KUSHNER, S. y Mc DONALD, B. (1987), "The Ihnitations of programs evaluation", en R. Murphy y H. Torrance (eds.), Evaluutíng Education: Issues and Methods Cnicago: Harper and Row. LINKE, R. (1992), "Comparative application of performance indicators in differenr education system", en T. Wyatt y A. Ruby, Indicators in Education, pp. 136­ 162. Sydney: ACDGE. MEC (1994), Centros Educativos y Calidad de la Enseñanza. Madrid: MEC. MEC (1997), Modelo Europeo de Gestión de la Calidad. Madrid: MEC. DE MIGUEL, M. (1995), "La calidad de la edueación y las variables de proceso y de producto", en Cuadernos de Sección de Educación, 8, pp. 29 ÁLVAREZ,

R51.

j, ,l·! 1 ';.'

¡O'.,

6. La evaluación institucional y la gestión de la calidad en las universidades La educación superior ha adquirido un papel sin precedentes en la so­

ciedad actual, como componente esencial del desarrollo cultural, so­ cial, económico y político y como pilar de la formación endógena de capacidades, la consolidación de los derechos humanos, el desarrollo sostenible, la democracia y la paz en un contexto de justicia. Las insti­ tuciones de educación superior, e/personal y los estudiantes han de pre­ servar estas funciones fundamentales. También han de potenciar la función crítica y la de previsión del futuro mediante un análisis conti­ nuado de las tendencias sociales, económicas culturales y políticas emergentes. Por eso es necesario que dispongan de plena autonomía académica y libertad y que a la vez sean totalmente responsables y pue­ dan rendir cuentas a la sociedad. (L 'educació superior en el segle XXI: Conferencia Mundial sobre la Educación Superior. UNESCO, París, octubre de 1998)

6.1. Los nuevos retos de la educación superior El nacimiento del milenio ha incrementado nuestra sensibilidad ante las nuevas realidades que se están generando que hacen más pa­ tente nuestra desorientación e incapacidad para construir respuestas significativas antes sus desafíos. No estamos viviendo, como en otras ocasiones, una de las periódicas crisis coyunturales a que nos tiene acostumbrado el modelo social vigente de desarrollo, los cambios actuales se sitúan en otro nivel y se sustantivan con la aparición de nuevas formas de organización social, económica y política y con las transformaciones de todo orden que las acompañan. Vivimos la inquietante sensación que el mundo cambia más rápi­ damente que nuestra capacidad organizativa para adaptarnos a él. En la base del cambio se sitúan fenómenos complejos e interrelacionados que adoptan en este espacio de modernidad nuevos significados. Así, la revolución digital, el continuo crecimiento y la rápida obsolescencia de la información y del conocimiento, la globalización y la nueva

204

organización del trabajo entre otros, incrementan de forma continua y acelerada la complejidad de la sociedad y nos plantean con urgencia la necesidad de nuevas interpretaciones de la realidad buscándose en las instituciones educativas, especialmente en las universitarias, indi­ caciones para la creación de nuevos discursos que nos ayuden a com­ prenderla y a manejarnos más eficientemente dentro de ella. Parece evidente que la educación debe atender a los nuevos desa­ fíos sobre los que la sociedad se está construyendo. Sin embargo, la institución universitaria no parece demasiado preparada sino se reor­ ganiza previamente y adopta nuevas formas de gestión más eficaces que aceleren su propio cambio, y que la capaciten para atender las enormes dificultades surgidas de la sofisticación y de la diversidad de la demanda actual de una sociedad, que no siempre sabe lo que quiere y que en ocasiones plantea sus peticiones de forma confusa cuando no contradictoria. Las Universidades en este nuevo marco san objeto de innumera­ bles críticas, y su misión, posiblemente por primera vez en la historia, es fuertemente cuestionada. Por un lado, la fractura en el enlace clási­ ca existente entre la formación universitaria y el mercado laboral, entre su investigación y el sistema productivo y el vertiginoso creci­ miento de sus costes, han colocado al sistema universitario en el ojo del huracán del sistema social. Por otro, la desvinculación secular entre la enseñanza superior y el resto de las enseñanzas también es objeto de duras críticas. Las Univer­ sidades no pueden vivir aisladas y renunciar a su papel orientador en el contexto de los sistemas educativos. Tal como señala la UNESCO en su 'declaración mundial sobre la educación superior de 1998, «La educación superior forma parte de un sistema integrado, que co­ mienza en la infancia con la educación primaria y continua toda la vida. La contribución de la educación superior al desarrollo de todo el sistema edu­ cativo y la reorganización de sus vínculos con todos los niveles educativos en particular con la educación secundaria, han de ser una prioridad». '

Si las Universidades no toman conciencia de las dimensiones e importancia de la educación superior en ese nuevo marco social y educativa, de la complejidad de la demanda, de la importancia de generar respuestas de calidad y de la necesidad de cambio en sus modos de gestión, estamos abocados a entrar en una grave crisis de imprevi­ sibles consecuencias para la institución.

205

6.1.1. LA EDUCACIÓN SUPERIOR EN EL MARCO DE LA SOClEDAD

Desde la década de los 80, la educación superior en los países industrializados ha experimentado importantes por no decir radicales cambios. La transición entre las universidades de "elite" a la de "ma­ sas" ha comportado un gigantesco crecimiento en los sistemas de edu­ cación superior, así como un fuerte incremento en el número de instituciones, estudiantes y profesorado. A modo de ilustración, hemos de señalar que en los Estados Uni­ dos el 80% de los 2.1 millones de alumnos que alcanzan el diploma en educación secundaria se incorporan a la educación superior. En Europa, dos países (Francia y Alemania) superan el millón y medio de estudiantes cada uno y tres '(España, Italia y Reino Unido) ya al­ canzan el millón (Woot, 1998). Por otro lado, la UNESCO estima que alrededor de 120 millones de jóvenes cursaran estudios universitarios en el año 2040, la mayo­ ría de ellos en los países en vías de desarrollo (Andrien, 1987). Esta tendencia al crecimiento del sistema educativo universitario se ha visto potenciada y reforzada por otros dos fenómenos que se han ido gestando a lo largo de toda la centuria y que han crecido exponencialmente en las últimas décadas: la enorme difusión del co­ nocimiento y una progresiva diferenciación y fragmentación discipli­ nar. Ambas realidades han provocado un gran incremento de las estructuras y las áreas de conocimiento académicas. Nos encontramos sin duda ante una universidad absolutamente distinta de la tradicional, y a la que la creciente complejidad de las demandas la ha forzado a multiplicarse con la creación de nuevas universidades y a crecer internamente con la incorporación de nuevas unidades básicas, institutos, centros, departamentos y todo tipo de Cursos (Chave et al., 1998). Este doble crecimiento, sin embargo, ha chocado en la última dé­ cada con las restricciones causadas por la denominada crisis del esta­ do del bienestar que ha supuesto reducciones presupuestarias que han afectado al sector educativo en parecida medida a la sufrida por otros sectores fuertemente dependientes de la financiación pública. Todo ello genera un escenario absolutamente distinto al que esta­ ban acostumbradas las universidades en los últimos años (desde que los estados se habían hecho cargo de su fmanciación y consiguiente­ mente habían incrementado su intervencionismo), y que deberemos explorar para tratar de comprenderlo y desde el que deberemos elabo­ rar respuestas válidas a los nuevos problemas surgidos.

206

. Por una parte, hemos de tener muy en cuenta que la propia comple­ jidad de la demanda del entorno y la sofisticación interna de las univer­ sidades hace impensable el mantener modelos de control de mismas de tipo centralizado. La única vía posible de gestión de la calidad en las universidades están en incrementar su flexibilidad de acción y esto pasa inevitablemente por desarrollar la autonomía institucional (a todo los niveles) y consecuentemente nos obliga, si queremos ser coherentes, a potenciar los procesos de autorregulación (Neave y Van Vaught, 199 L). El reconocimiento de la autonomía se ha extendido de forma imparable a la mayoría de las universidades de la Europa Occidental y ha obligado a lo largo de las dos últimas décadas a modificar las legislaciones de sus países (España 1983, Francia 1984 y 1989, Italia 1980,89 Y 90, Noruega 1987 y 1995, Portugal 1988 y Reino Unido 1998 y 1992) (Mateo er al., 1999). Por otro lado y tal como ya hemos señalado anteriormente, la mag­ nitud del crecimiento universitario en todos los sentidos ha supuesto la necesidad de aumentar de manera exponencial los recursos asigna­ dos a ellas. La apuesta generalizada por el reconocimiento y el desarrollo de la autonomia universitaria y la nueva sensibilidad social frente al cre­ cimiento constante de sus dotaciones desde el erario público, ha con­ ducido a la necesidad de que se exploren nuevas fórmulas de control de las universidades que cumplan simultáneamente con el compromi­ so de ser respetuosos con la autonomia de las universidades y el man­ dato social de proceder a exigir la correspondiente rendición de cuentas respecto del cumplimiento de la misión de la institución y del uso de los recursos que la sociedad ha puesto a su disposición. Es en este contexto donde aparece la necesidad de iniciar un cam­ bio en la cultura organizativa de las universidades ya proceder en ese nuevo marco a implantar la evaluación institucional como fórmula de autorregulación, por un lado, y de rendición de cuentas, por otro, como factor determinante en la retroalimentación de los procesos de ges­ tión de la calidad en las universidades, de reflexión, de desarrollo institucional y de generación de nuevos valores.

6.1.2. UN NUEVO PARADIGMA ORGANIZATIVO PARA LA EDUCACIÓN SUPERIOR

Sin embargo, el sentido y la orientación que debe adoptar la evolu­ ción del sistema educativo superior se presentan como inciertos en la

207

mayoría de los países occidentales. U na nueva cultura no se implanta de un día para otro y las estructuras emergentes acostumbran a chocar con entramados de intereses más o menos ocultos y poderosos. En el debate en torno a estas cuestiones, se está imponiendo un enfoque sistémico. Los sistemas educativos se co?~ideran cada. vez más como un conjunto de procesos en transformación que a partir de unos determinados inputs, producen efectos, resultados, outputs. A este esquema conceptual se incorpora como un ~Ieme?to de ca­ pital importancia el contexto. Un sistema de fOrmaC1?n siempre s.e sitúa en un entorno social, cultural, político y económico que lo ali­ menta y del que a su vez se nutre (Shavelson, 1989). Sin embargo, el contexto también surte al sistema formativo con sus propias tensio­ nes, contlictos y contradicciones, especialmente surgidas de las fuer­ zas más o menos convergentes y divergentes que interrelacionan con él, Evidentemente, la incorporación del contexto en el análisis del sistema, introduce un claro componente dinámico en la ret1exió.n .. En cuanto a los inputs, un enfoque reduccionista o econonuclsta tendería a sobrevalorarlos, creyendo ingenuamente que meros recur­ sos humanos, materiales, temporales, etc. constituyen factores deter­ minantes. Sin duda, son tal cual dimensiones importantes, pero su verdadero valor se produce cuando se asocian al conjunto de repre­ sentaciones, creencias, actitudes, aspiraciones y expectativas que les acompañan y que es justamente el momento en el que se transfo~a? en la verdadera capacidad del sistema. Estos componentes simbóli­ cos son en gran parte consecuencia de la acción anterior d~1 sistema, provienen en otros casos de la herencia de la historia colectiva y tam­ bién se derivan de las propias biografías personales. Por lo que se refiere a los outputs, los logros, deberíamos esta~I~­ cer una distinción entre aquellos derivados directamente de la accion educativa: nivel y calidad de los conocimientos, dominios Y compe­ tencias adquiridas por los alumnos, calificación objetiva y subjetiva, ciudadanía, etc., y los que lo hacen indirectamente:' inserción laboral, integración, cohesión social, solidaridad, etc. , . En los procesos humanos conviene reconocer y valorar no uruca­ mente los efectos directos de las finalidades previamente explicitadas, sino también los denominados efectos secundarios, que pueden ser, tal como señala Boudon (1977): deseables, como sería el caso de al­ gunos de los que aquí hemos señalado o perversos (rechazo a la edu­ cación exclusión social, desigualdad, etc.). Hemos subrayado la naturaleza del enfoque y la complejidad de los elementos que lleva asociados a fin de ahuyentar la tentación de

208 209

planteamos la evaluación y la gestión de la calidad en la educación superior desde planteamientos simplistas, Así, las categorías mencio­ nadas se aplican "mutatis mutandis" a todos y a cada uno de los nive­ les de la organización universitaria desde el aula hasta el sistema en su conjunto, Desde la perspectiva que propugnamos, la gestión positiva de la calidad se produce en la medida que somos capaces de ordenar, nivel a nivel, todos los procesos institucionales y vamos consiguiendo maximizar los efectos pretendidos y minimizar los no deseados,' , Estos planteamientos están reclamando el establecimiento de un nuevo paradigma organizativo en la educación superior, que parame­ tnce y onente los procesos de evaluación y de gestión de la calidad educativa y que en los países europeos parecen responder a los cuatro principios generales que exponemos a continuación (Hutmacher, 1999, p,24): -

La primacía de las finalidades, que exige que las decisiones y

la acción se orienten de una manera prioritaria conforme a la voluntad de alcanzar los objetivos establecidos, en todos los niveles del sistema, desde el aula hasta los niveles político­ estratégicos, El principio de imputabilidad (accountability), según el cual los agentes de todos los niveles del sistema valoran y deben respon­ der sistemáticamente del grado de logro de los objetivos, El principio de subsidiaridad, que plantea que las decisiones se han de tomar en el mismo nivel donde se produce su im­ plantación, y únicamente se delegan a un nivel superior de res­ ponsabilidad si los objetivos no es posible obtenerlos de otra manera, El principio de autoorganización y de desarrollo continuo, que establece que los sistemas y sus componentes nunca están ab­ solutamente fijados, sino que están en continua transforma­ ción, bien sea por la propia retroalimentación o bien forzados por el entorno, Una nueva cultura de la evaluación en un contexto de cambio organizativo en las universidades

Estos cambios que previsiblemente afectarán a la educación supe­ rior, en especial a su dimensión organizativa, implicará modificaciones

sustanciales tanto en nuestra concepción respecto de la evaluación como en el papel que se le asignará en la construcción de la calidad educativa, En primer lugar, implica una extensión importante de los ~e~a­ nismos de evaluación a todos los niveles del sistema universitano. Por otro lado esta extensión se acompaña de un cambio de lugar de la cultura de la ~valuación que ya no se orienta tanto hacia la sanción, la clasificación y la selección como hacia la búsqueda, análisis,? uso intensivo y extensivo de la información en los procesos de geslión de la mejora de la calidad educativa. .' . En el marco de este cambio, los sistemas uníversitanos se enfoca­ rán de otra manera Y aunque continúe su expansi?n. cuantitat~va,. ~e dará más importancia a la calidad: calidad al servlcl? de los mdl~l­ duos, de los alumnos y calidad desde el punto de vista de cnteno s sociales, políticos, culturales y económicos más globales. . Pero la exigencia de la calidad precisa previamente ?e. su defini­ ción y para ello deberá ser debatida, concretada y operativizada en el marco de la correspondiente planificación estratégica. El plan. estra­ tégico constituirá el espacio fundamental de enc~entr~ ?e los diferen­ tes inputs que lo deberán alimentar para que s~ ejecucion s~a viable y facilite la progresión hacia una calidad sostenida y s~stemble. La información evaluativa constituirá la aportación clave y nu­ clear para entender la realidad educativa, y el plan estratégico facili­ tará el uso intensivo y extensivo del conocimiento evalu.aliVO ge~erado a lo largo del proceso evaluador y servirá para vehicular eficaz y eficientemente los procesos de mejora. Las instituciones universitarias constituyen la pieza clave en la nueva arquitectura organizativa de la educación superior. Desde la nueva perspectiva, los tres grandes ámbitos de actuación de las Uni­ versidades adquieren nuevos matices (Woot, 1998): _ La investigación. La investigación al servicio de la. sociedad

como objetivo, pero también como base de la propia educa­ ción universitaria. La generación de conocimiento y la forma­ ción reflexiva y crítica frente a él constituyen ejes básicos en la formación y docencia universitarias. . La educación. Una educación orientada al desarrollo de la li­ bertad y flexibilidad del alumno y de .Ia socied~d. Capaz de facilitar la adopción de cambios y de onenta r acciones basadas en el conocimiento y en el compromiso. _ La presencia activa en la sociedad. Es importante enfatizar I.a importancia de las Universidades como generadoras de °PI­

nión y de crítica social. No existe otro sector con la misma capacidad de creación de conocimiento y su misión no debe finalizar en ese punto, debe también introducir elementos de reflexión en el debate social frente al mismo a sus orígenes y a sus consecuencias. A los que hay que añadir la sensibilización para que dedique im­ portantes esfuerzos a la reflexión y a la innovación. Su estatus en la gestión de la calidad se revaloriza gracias a que las universidades se constituyen en comunidades autónomas que se sienten responsabilizadas de incorporar un cuarto gran objetivo: el de garan­ tizar la calidad de sus procesos y de sus productos educativos me­ diante la reflexión evaluativa y la introducción de estrategias de autorregulación.

6.1.3. UN NUEVO CONCEPTO DE CALIDAD

Siguiendo también las recomendaciones de la UNESCO (l99N), conviene incorporar una percepción de la calidad mucho más ampl ia que la tradicional; así se señala que la calidad de la educación supe­ rior (2000, pp. 30-31) es « ... un concepto rnultidimensional, que ha de incluir todas las funciones y actividades: programas académicos y de enseñanza, investigación y be­ cas, personal, estudiantes, infraestructuras y entorno académico. Es nccesa­

do prestar una atención especial al fomento del conocimiento mediante la investigación. Las instituciones de educación superior de todas las regiones se han de comprometer a pasar por evaluaciones internas y externas transparentes, lle­ vadas a término de forma abierta por especialistas independientes. No obs­ tante, hay que tener siempre en cuenta los contextos institucionales, nacionales y regionales específicos para tener en cuenta la diversidad y evi­ lar la uniformidad. ' Se percibe la necesidad de una nueva visión y de un nuevo paradigma de la educación superior, que tendría que estar orientada al estudiante. Para conseguir este objetivo, habrá que reestructurar los currícula, e ir más allá del simple dominio cognoscitivo de las disciplinas e incluir la adquisición de técnicas, competencias y habilidades de comunicación, creatividad, an.i­ lisis crítico, pensamiento independiente y trabajo en equipo en contextos multiculturales» .

6.2. Las universidades en europa. factores comunes Si analizamos las universidades en Europa frente a otras zonas culturales podríamos, aun a pesar de su gran heterog.eneida? interna, identificar algunas características comunes que las diferencian clara­ mente del resto. Entre ellas cabrían mencionar las siguientes: (a) La mayoría de las universidades europeas son de carácter pú­ blico. Las autoridades públicas las crearon o las heredaron y las proveen de recursos para su funcionamiento al tiempo que tratan de controlar su misión, de incidir en los valores que de­ berían diseminar y de establecer las leyes que tendrían que res­ petar. En la actualidad, estas autoridades no se limitan a las de orden estatal sino que se añaden a las europeas, las autonómi­ cas, las regionales y las locales. .. , . (b) Han pasado por una o varias reformas legislativas en los últi­ mos quince años, conducentes al reconocimiento o reafirmación de su autonomía institucional. (e) Coexisten en su seno, poderosos cuerpos de p~fesionales (pro­ fesores, investigadores, administradores), surgidos de la propia evolución histórica del conocimiento y forjados en siglos de tra­ dición, que en el marco de los sistemas de representación y de­ signación establecidos en la propia normativa derivada de la autonomía universitaria ocupan las posiciones claves en el go­ bierno de las mismas (el Reino Unido constituye una excepción). (d) Diversificación de la misión asignada a las universida?es '.Las universidades en Europa han de afrontar la formación inicial y continuada difundir la cultura, desarrollar la investigación cien­ tífica y tecnológica, valorar sus resultados en la sociedad, de­ sarrollar la cooperación internacional, preparar para el empleo, enfocar la formación orientada a la profesionalización, contri­ buir al desarrollo económico, etc. (e) Una cierta diversificación interna entre ellas en el marco de cada país. Existe una cierta tendencia hacia la heterogenei­ zación, de forma que se está produciendo una jerarquización entre las universidades en términos de prestigio, lo que supone diferencias de atracción tanto para los estudiantes como para el profesorado. Todo ello conduce a una percepción de las universidades como or­ ganizaciones complejas que junto a la necesidad de desarrollar una plu­

212 213

ralidad de funciones, deben también gestionar las tensiones y las con­ tradicciones surgidas de tantos y tan importantes polos de influencia. Cabe añadir a esta complejidad la enfatízacíon en los últimos años del papel central de las universidades en el desarrollo de las dimen­ siones culturales europeas. Así, hay que recordar que en la declara­ ción de la Sorbonne, del 25 de mayo de 1998, se hizo especial hincapié en la creación del área europea de estudios superiores como clave para promover la movilidad y la contratación, así como para el desa­ rrollo general de todo el continente. Posteriormente, la declaración de Boloña, del 19 de junio de 1999, independientemenete de apoyar los principios generales establecidos en la declaración de la Sorbonne plantea los siguientes objetivos a cubrir dentro de la primera década del tercer milenio:

-

Adopción de un sistema de titulaciones fácilmente compren­ sibles y comparables. Adopción de un sistema basado esencialmente en dos ciclos prin­ cipales. El acceso al segundo ciclo requerirá haber completado con éxito el primero. El primer ciclo tendrá carácter profesional y el segundo conducirá hacia el Master o el Doctorado. Establecimiento de Un sistema de créditos como manera ade­ cuada de favorecer la más extensa movilidad estudiantil. Los créditos también podrán adquirirse en contextos de estudios no superiores siempre que sean reconocidos por las universi­ dades pertinentes. Fomentar la movilidad efectiva tanto para alumnos como para profesores, investigadores y equipos administrativos. Alentar la cooperación europea desarrollando criterios de cali­ dad y metodologías de control de la misma comparables. Promover a nivel europeo aspectos tales como: el desarrollo curricular, la cooperación interinstitucional, esquemas de mo­ vilidad y programas integrados de estudios, formación e inves­ tigación.

Es en este marco donde se está enraizando la nueva cultura de la evaluación que se está convirtiendo en un fenómeno irreversible y absolutamente necesario para tratar de conjugar en el contexto com­ plejo y tenso que hemos expresado la acción de los diversos instru­ mentos de gestión y construcción de la calidad de la educación superior.

6.3. La evaluación en europa, tendencias y desarrollo 6.3.1. ELEMENTOS FACILITADORES DE SU INTRODUCCIÓN

La evaluación institucional de las universidades en Europa se ini­ cia tal como la concebimos en la actualidad, a partir de la década de los' 80. Su desarrollo es distinto según el país, así en aquellos con mayor tradición evaluativa se lleva a término previo reag;upami.ento de organismos ya existentes (es el caso de Francia y el Rel?O U~I~O), mientras que en otros casos es necesario crear nuevos dISPOSItIVOS para dinamizar1a (España, Dinamarca, Finlandia, Holanda, Italia, Noruega, Portugal, etc.) y, en otros, el proceso está c.lar~me.nte ralentizado por las resistencias generadas desde las propias mstitu­ ciones universitarias a la evaluación oficial (Alemania). Es importante señalar los tres procesos que más han colaborado a la introducción y generalización de la evaluación en los países de la Europa Occidental (Dubois, 1998): En primer lugar, hay que destacar el papel motor jugado por las instituciones internacionales en especial las de la Unión Europea (pro­ gramas marco de investigación y desarrollo, ~~oyecto ?iloto europeo sobre la evaluación de la calidad en la educación supenor) o las de la OCDE. Hemos de hacer especial mención a las conferencias naciona­ les de rectores que han supuesto un impulso decisivo en el desarrollo de la evaluación en países como España, Francia, Italia y Portugal. El segundo se sitúa en la tendencia a relacionar la evaluación con los procesos de financiación de las uní versidades. Existe un claro movimiento de resistencia a financiar ámbitos uni versitarios que no puedan aportar información sobre la calidad de su funci?~amiento. El tercero está muy directamente vinculado a la petición de res­ ponsabilidades, en el sentido de que se considera muy importante el analizar críticamente los resultados obtenidos por las universidades y los procesos que conducen a ellos (como se consideran, por ejemplo, las tasas de éxito y fracaso, de abandono, etc.).

6.3.2. PLURALIDAD DE MODELOS DE REFERENCIA

A finales de los 80 convivían diferentes aproximaciones evaluativas que posteriormente han sido suprimidas o subsumidas en los actuales modelos de evaluación institucional.

215

214

Cabe mencionar entre ellos el denominado modelo de control de conformidad, que consistía simplemente en controlar si se aplicaban correctamente los recursos en la consecución de los objetivos, Otro era el de evaluación por los pares, tan antiguo en su uso como las propias universidades, Se fundamenta en un proceso de evaluación externa basada en el juicio de los expertos, Bien conocida es su utilización para acceder al cuerpo de profesores, cambios de categoría, etc, Un tercer modelo es denominado con términos como de gestión o de "management", en el que se conciben las universidades no tan sólo como una administración pública o una organización de profesionales, sino también como una empresa que produce servicios para usuarios y clientes y que dispone de recursos limitados, Desde este modelo se postula utilizar la evaluación para el control de la gestión, la racionalización del presupuesto, la planificación estratégica, etc, Un cuarto modelo de referencia es el que sitúa directamente en el corazón de la sociedad la responsabilidad de exigir el cumplimiento de la misión encomendada a las universidades, Este modelo supone dar la palabra a los ciudadanos, usuarios directos o indirectos de la educación superior, Contempla dos submodelos, el que plantea la evaluación desde la visión del ciudadano como consumidor y que postula adoptar la posición del cliente que exige obtener aquello por lo que ha pagado y el que fundamenta la evaluación sobre el principio de la accountability, la rendición de cuentas a los ciudadanos por el uso de los fondos públicos y que implica aplicar principios de transparencia y de responsabilización. Finalmente cabe mencionar la evaluación por acreditación, consistente en un proceso en el que la institución facilita información sobre su actividad a un comité externo para que emita un juicio publico a partir de unos estándares, Es posiblemente uno de los modeJos más usados en los Estados U nidos,

Las universidades como organizaciones Constituye un campo relativamente nuevo y su evaluación es aún muy marginal en la mayoría de países (salvo en Francia, Finlandia y parcialmente en el Reino Unido), Este campo de evaluación se diseñó para que las universidades pudieran analizar y escoger su organización (estatutaria, pedagógica, administrativa y financiera) evidentemente en el marco legal en vigor.

La evaluación de las enseñanzas Se contemplan dos grandes dominios, la evaluación de los cursos y currícula y la de los estudiantes, Constituye el apartado más desarrollado en la mayoría de países europeos,

La evaluación de la investigación y de los centros de investigación La evaluación de la investigación constituye el segundo gran ámbito de evaluación institucional, Son muy pocos los países que no incluyen este análisis en los informes anuales, Sin embargo, pocos tenían hasta hace muy poco estructuras estables dedicadas a su análisis, exceptuando el caso de Francia con su Centre National de la Recherche Scientifique que analiza sistemáticamente la producción científica y el Comité Nacional del CNRS que evalúa a los investigadores y a los enseñantes-investigadores,

La evaluación de los enseñantes-investigadores 6.3.3, DOMINIOS BÁSICOS SUJETOS A EVALUACIÓN

Los dominios básicos que se han ido generalizando como ámbitos básicos sujetos a evaluación en Europa son: Las universidades como organizaciones, Las enseñanzas, La investigación, Los centros de investigación, Los enseñantes-investigadores, La relación formación-empleo,

La evaluación de los universitarios para el acceso a los grados de master o doctor constituyen desde muy antiguo parte de la práctica evaluativa universitaria, Sin embargo, resulta a todas vista insuficiente ya que se trata de una actividad puramente inicial por lo que en la mayoría de países europeos se han introducido sistemas continuos para evaluar la actividad investigadora de los enseñantes universitarios y se han establecido sistemas de reconocimiento de la labor investigadora (p. ej.; los tramos de investigación en España),

2\7

216

La evaluación de la relación formación-empleo A pesar de que en estos momentos la evaluación de la relación formación-empleo no constituye objeto de la evaluación institucional en los países europeos con la excepción del Reino Unido, la creciente dificultad para la inserción de los estudiantes en el mundo del trabajo y las dudas existentes respecto de la idoneidad de la dimensión profesionalizadora del modelo de formación recibido en las universi­ dades han ido focalizando el interés por este dominio.

6.4. La evaluación institucional en la educación superior: un modelo comprensivo y una nueva referencia Como hemos podido observar, las universidades ya hace años que han introducido procesos más o menos globales de evaluación. Sin embargo, la evaluación institucional constituye un proceso mucho más comprensivo, que pretende integrar juntamente con la evalua­ ción las perspectivas de la calidad y de la mejora continuada. Según la AQSUC (2000, p. 7), la evaluación institucional es:

-

Un mecanismo de progreso racional. Un mecanismo para la mejora de la unidad evaluada.

Una herramienta de las políticas universitarias.

Un instrumento de rendición de cuentas.

Un proceso de participación de la comunidad.

.y no es: Un mecanismo de inspección.

Una puesta al día de las técnicas de control.

Un mecanismo para generar "rankings" entre las universidades.

Una imposición institucional.

«La evaluación institucional es un proceso mediante el cual se pretende

dar apoyo a la mejora continua como garantía de la calidad de la institución. Es, por tanto, una forma de constatar el cumplimiento de los objetivos de la institución, analizando simultáneamente los medios y los resultados. Es un

proceso relativo y multidimensional caracterizado por su gran flexibilidad y adaptabilidad al contexto e institución que se evalúa» (AQSUC, 2000, pp. 7-8).

Según el nuevo enfoque, los procesos de evaluación institucional han de contribuir a garantizar: -

La calidad de un sistema de masas que adoptará dos perspecti­ vas: a) La igualdad en el tratamiento de las instituciones con el objetivo de asegurar la igualdad de oportunidades y la equiva­ lencia en la calidad de los programas y b) Estimular la propia identidad de cada universidad aplicando una financiación se­ lectiva. La eficacia y la eficiencia en la aplicación de las inversiones en la educación superior. El cumplimiento de los estándares internacionales de calidad en los programas de formación que permitan la movilidad y la competitividad internacional. Satisfacer las demandas de formación de la sociedad. Que las universidades cumplan su misión, que formulado en otros términos supone el crear una cultura de responsabilidad hacia la sociedad. Crear una cultura interna y externa de calidad.

6.S. Experiencias en el ámbito de la evaluación institucional La evaluación institucional, tal como la hemos caracterizado, cons­ tituye el modelo de actuación que están tratando de seguir la mayoría de países occidentales. Vamos a referirnos a continuación a las expe­ riencias en este ámbito, pilotadas por los países más emblemáticos en cuanto al desarrollo de sus procesos de evaluación.

6.5.1. LA EVALUACIÓN INSTITUCIONAL EN LOS ESTADOS UNIDOS

Estados Unidos es posiblemente el país con mayor tradición en cuan­ to a la implantación de procesos de evaluación institucional. La acredi­ tación es el sistema más aplicado en la educación superior americana y es generalmente llevado a término por agencias especializadas. Las agencias especializadas son organismos de carácter privado sustentados por las propias universidades. La acreditación es solicitada voluntariamente por las propias universidades y, generalmente, ser acre­

218

219

ditado, constituye la condición necesaria para acceder a determina­ dos beneficios. Los rasgos característicos del sistema de acreditación empleado son (AQSUC, p. 12):

El eNE orienta su acción en tres grandes ámbilos: -

-

No se evalúa la calidad absoluta (la excelencia) sino la rela­ ción entre las finalidades propuestas y los resultados. El proceso es autorregulado, es decir, son las propias universi­ dades las que lo generan y las que se hacen responsables. El proceso se arIicula a partir de un autoestudio que es revisa­ do por una comisión externa. Los indicadores de rendimiento conslituyen una herramienta fundamental en todo el proceso.

6.5.2. LA EVALUACIÓN INSTITUCIONAL EN EUROPA

La mayoría de los países europeos se hallan inmersos en procesos de evaluación, sin embargo el estado de desarrollo de los mismos no es homogéneo. Vamos a tratar de relatar brevemente las experiencias de los que poseen mayor tradición: Francia, Holanda, Dinamarca y Reino Unido, a los que añadiremos España por razones obvias de oportunidad. El material expuesto procede de QAA. (2000), Arboix, J. (2000), Torres, J.M. (2000) Michavilá, (1998) y Du Bois (1998).

La evaluación global de las universidades (más de 100) y es­ cuelas universitarias. Evaluaciones transversales de ámbito nacional, bien sea de dis­ ciplinas concretas o de instituciones como las universidades tecnológicas o los inslitutos de formación del profesorado que tienen estatus diferenciado al de las universidades. También evalúa la propia misión de las universidades. Se cen­ tra especialmente en comprobar el cumplimiento de los con­ tratos-programa gobierno-universidades.

La metodología empleada consta de una fase interna y otra exter­ na. Cada evaluación está coordinada por dos o tres personas del CNE que entre otras tareas, desarrollan los cuestionarios metodológicos, las guías de evaluación y redactan los informes finales. Durante la fase intema que dura entre tres y seis meses, la institu­ ción elabora un informe de autoevaluación que recoge los principales puntos fuertes y débiles de la institución. Paralelamente, el CNE re­ úne información complementaria sobre el centro que le servirá poste­ riormente, junto al autoinforme, para preparar un dossier de síntesis, que será enviado a los expertos externos El comité externo, designado por el CNE, analiza la documenta­ ción y visita el centro donde se entrevista con las diferentes audien­ cias implicadas. Esta fase que dura aproximadamente de cuatro a seis meses concluye con un informe confidencial que es enviado al CNE.

Francia El CNE (Comité Nalional d'Évalualion), creado el año 1984, es el órgano francés encargado de la evaluación de calidad de todos los establecimientos públicos de carácter científico, cultural y profesio­ nal, especialmente de las universidades. Está compuesto por 17 miem­ bros (once representan la comunidad académica y el resto diferentes estamentos de la administración). El CNE goza de plena autonomía y rinde cuentas directamente al Presidente de la República. Los principales objetivos del CNE son la mejora de la calidad y el rendimiento de cuentas a la sociedad. Sus juicios no lienen una rela­ ción directa con la financiación de las inslituciones, pero el Gobierno las liene muy en cuenta especialmente en el momento de decidir los contratos cuatrienales de financiación.

Finalmente, el CNE redacta un informe final, que incorpora un comentario del rector de la universidad evaluada. Una síntesis del informe es el que se hace llegar a la prensa y al público en general. Holanda El organismo encargado de evaluar la educación superior en Ho­ landa desde el 1985 es el VSUN (Association of Universilies in the Netherlands) que es una organización independiente del gobierno. Su papel principal es dar apoyo al proceso de evaluación y responsabili­ zarse de la evaluación externa. Evalúa cíclicamente cada seis anos la mísma titulación.

221

220

El modelo que aplica es muy similar al francés (recordemos que los máximos inspiradores y dinamizadores del modelo básico utiliza­ do en Europa son los holandeses Westerheijden y Vroeijenstijn), y se basa como el anterior en dos procesos, uno interno y otro externo. Los ámbitos de aplicación son la docencia y la investigación que son tratados de forma independiente.

Dinamarca En Dinamarca, el organismo encargado de la evaluación es el EC (Evaluering Centernet), que es financiado por el Estado Danés. Su papel como en el caso de Holanda es prestar apoyo en el proceso general evaluativo y coordinar la evaluación externa. En su modelo, el punto de inicio es la creación del comité de pla­ nificación que se encarga de todos los aspectos profesionales. El EC se encarga de los aspectos administrativos. La evaluación interna es llevada a término por las propias univer­ sidades en las que participan todos los estamentos. El comité de pla­ nificación una vez ha recibido el autoinforme elaborado por la universidad procede a visitarla, entrevistándose con todos su, estamentos. El comité de planificación y el EC son los encargados de elaborar el informe final que es posteriormente discutido por todos los colecti vos del centro a puerta cerrada. Una vez debatido y añadiendo toda, las sugerencias que se crean convenientes, es el EC quien definitiva­ mente lo cierra y lo envía para su publicación. Los ámbitos evaluados son fundamentalmente los programas de educación superior. El EC también centra gran parte de su esfuerzo en el desarrollo de métodos de mejora de la calidad.

que se encarga en la Gran Bretaña y en Irlanda del Norte de vehicular los procesos de evaluación. Este organismo es el responsable de la evaluación externa, como manera de confrrrnar el cumplimiento de las responsabilidades de las instituciones en relación con el mantenimiento y mejora de los estándares de calidad de los servicios. En el sistema británico todos los procesos evaluativos comportan su publicación sin ninguna clase de reservas. Fundamentalmente abar­ can cinco tipologías:

-

España Durante el periodo 1992-94, se desarrolla y se pone a prueba un programa de evaluación de las calidades de las universidades, con aplicación de una metodología inspirada en las experiencias interna­ cionales. Se le conoció con el nombre de Programa Experimental de Evaluación de la Calidad. La experiencia fue voluntaria y no tuvo carácter gubernamental. Posteriormente, en el bienio 1994-95 se aplicó el Proyecto Piloto Europeo de la Calidad de la Educación Superior, cuyos objetivos bá­ sicos eran:

El Reino Unido Los organismos responsables de asegurar la calidad del sistema universitario son los denominados Consejos para la Financiación de la Enseñanza Superior en Inglaterra, Gales y Escocia (HEFCE. HEFCW y SHEFC); sin embargo, desde que en el 1997 se crea la Agencia para Asegurar la Calidad en la Enseñanza Superior (QAA). es esta organización la que bajo acuerdo contractual con los mencio .. nadas consejos y con todas las instituciones de educación superior, la

Los procesos internos de aseguramiento de la calidad. Estos procesos son llevados a cabo por las propias universidades. La auditoria de la calidad académica, realizada por la QAA. La evaluación de la calidad, a cargo también de la QAA. La acreditación, realizada por los consejos de financiación. La evaluación de la investigación resuelta también por los mencionados consejos de financiación.

-

Intensificar el conocimiento de la necesidad de la evaluación de la calidad en la educación superior. Introducir una dimensión europea en la evaluación de la cali­ dad. Enriquecer los procesos existentes en la evaluación de la cali­ dad. Contribuir a mejorar el reconocimiento actual de los diplomas y los periodos de estudio.

223

222

La metodología aplicada era muy similar a la anterior. Desde 1995, se puso en marcha, como en las ocasiones anteriores dinamizado por el Consejo de Universidades, el Plan Nacional de Evaluación de la Calidad Universitaria (concretamente surgió en el pleno celebrado en Almería en septiembre de ese año) con una dura­ ción prevista de cinco años, con revisión anual, que pretendía llevar a cabo sus acciones mediante convocatorias anuales, que pueden ser temáticas o globales. En ambos casos, se trata de evaluar la docencia, la investigación y los servicios de forma integrada. Las convocatorias temáticas deben atender al análisis de una o varias titulaciones en concreto y los depar­ tamentos afectados por las mismas. En las convocatorias globales, por el contrario, se trataba de evaluar a una Universidad en su conjunto. Los objetivos más importantes que se plantea el plan vigente son: Promover la evaluación institucional de la calidad de las uni­

versidades, tanto en la docencia, como en la investigación y en

los servicios.

Elaborar metodologías homogéneas para la evaluación de la

calidad, integradas en la práctica vigente de la Unión Europea.

Proporcionar a la sociedad información relevante y objetiva

sobre la calidad de las universidades españolas, sobre sus dife­

rentes programas de estudio, sobre sus áreas de especializa­

ción científica y sobre el nivel de prestaciones y servicios que

ofrece.

Proporcionar a las administraciones educativas y al Consejo

de Universidades una información objetiva, que debe servir de

base para la adopción de decisiones en el ámbito de sus respec­

tivas competencias.

El Plan Nacional de Evaluación deberá además contribuir a mejo­ rar otros tres aspectos (Michavila, 1998, p. II 1): Incrementar la eficacia y la eficiencia del gasto en la Enseñan­

za Superior.

Incentivar el cumplimiento de estándares internacionales de

calidad en los programas de formación.

La evaluación de la calidad puede ser una herramienta, singu­

larmente útil, para satisfacer demandas de formación, cada vez

más amplias y complejas.

Finalmente, cabe añadir que las consecuencias inmediatas que se persigue producir en las instituciones universitarias serían las siguien­ tes (Michavila, 1998, p. 112): El desarrollo por parte de las universidades de actuaciones con­

cretas de mejora de la calidad.

Incremento de la transparencia de la acción universitaria, de

forma que su elección resulte un ejercicio verdaderamente li­

bre.

La toma de decisiones por parte de las administraciones edu­

cativas, basadas en el conocimiento real de nuestras oportuni­

dades y de las ventajas competitivas de cada instancia

uníversitaria.

La metodología que se adopta definitivamente corresponde a la ya experimentada y validada en el Programa Experimental e inspirada en el modelo general europeo, es decir, una metodología mixta que inclu­ ye una primera fase de autoevaluación y una segunda fase de evalua­ ción externa. El Comité técnico del Plan Nacional es el encargado de cuidar por la aplicación de la metodología mencionada y que expondremos pos­ teriormente con más detalle.

6.6. Organismos estratégicos dinamlzadores de los planes de evaluación Tal como ya hemos mencionado, el Consejo de Universidades es el organismo central encargado de coordinar y dinamizar la Evalua­ ción a nivel del Estado. Sin embargo, en los últimos años se ha ido produciendo un movimiento de emergencia de otras organizaciones que a nivel autonómico están tomando el relevo o complementando la acción del Consejo. Hacemos referencia fundamentalmente, y las cito por el orden de su creación, a la Agencia para la Calidad del Sistema Universitario de Cataluña (AQSUC) y al Consorcio Unidad para la Calidad de las Universidades Andaluzas (UCUA).

225

224

6.6.1. LA AGENCIA PARA LA CALIDAD DEL SISTEMA UNIVERSITARIO DE CATALUÑA

La Agencia nace en octubre de 1996, y es un consorcio formado por el Comisionado para la Universidad y la Investigación (ahora ya Consejería) y las siete universidades públicas de Cataluña (Decreto 35511996, de 29 de octubre). Su función es la de impulsar la mejora de la calidad del sistema universitario catalán a través de la evalua­ ción de la calidad de los servicios que ofrecen las universidades cata­ lanas a la sociedad. Los elementos que caracterizaron y motivaron su creación fueron (Rauret, 1999):

-

El establecimiento de un nuevo modelo de financiación uni­ versitaria basada en la consecución de objetivos de calidad. Las experiencias previas en el campo de la evaluación de la calidad de las universidades. Las nuevas tendencias internacionales, especialmente las pro­ puestas por el Comité Económico y Social de la Unión Euro­ pea que recomienda la creación de sistemas transparentes de evaluación y de garantías de calidad, como elementos necesa­ rios para rendir cuentas a la sociedad.

«entidad de derecho público, de carácter asociativo, voluntario e indefi­

nido, dotado de personalidad jurídica plena e independiente de la de sus miembros, con la plena capacidad jurídica que requiera el cumplimiento de sus objetivos» (Galán, 1999, p. 40).

Participan en su constitución la Junta de Andalucía a través de la Consejería de Educación y Ciencia y las Universidades de Almería, Cádiz, Córdoba, Granada, Huelva, Jaén, Málaga, Sevilla, Intemacio­ nal de Andalucía y Pablo de Olavide. La Unidad para la Calidad de las Universidades Andaluzas, esta­ blece como objetivos propios (Galán, pp. 40-41): -

-

Entre sus principales objetivos figuran:

-

El desarrollo de instrumentos necesarios para evaluar la cali­

dad docente e investigadora.

La promoción de prograunas de mejora.

La optimización y rentabilización en la aplicación de los re­ cursos disponibles y el esfuerzo inversor a cargo de los presu­ puestos públicos.

6.6.2. EL CONSORCIO UNIDAD DE LAS UNIVERSIDADES ANDALUZAS

En el año 1998, en el marco del Consejo Andaluz de Universida­ des y a iniciativa del Consejero de Educación y Ciencia de Andalu­ cía, se formaliza el Consorcio Unidad como una

-

Promover y difundir una cultura de la calidad, en el ámbito de las Universidades Andaluzas, que perntita enriquecer la reflexión sobre el papel de las universidades en relación con la sociedad. Salvaguardar la calidad de la enseñanza superior en los ámbi­ tos de la docencia, la investigación, al gestión y la prestación de servicios. Ayudar a los centros de enseñanza superior a utilizar las técni­ cas de garantía de la calidad como mecanismos orientadores que garanticen la flexibilidad organizativa y aporten una me­ jora permanente. Velar por que los sistemas de garantía de la calidad se basen en los principios de autonomía e independencia de las autorida­ des encargadas de la evaluación; la adecuación de los procedi­ mientos; la conjunción de la evaluación interna y extema; la participación de todos los interesados y la publicación de los informes de evaluación. Promover la adopción de medidas de seguimiento que perntitan a los centros de enseñanza superior aplicar sus planes de mejora. Velar por que se conceda una gran prioridad al intercambio permanente de experiencias y la cooperación en materia de garantía de la calidad.

La Unidad para el cumplimiento de los objetivos anteriores pro­ moverá las siguientes actividades: Analizar los planes de estudios universitarios y evaluar el im­ pacto y los resultados de sus reformas y modificaciones, y su grado de experimentalidad.

227

226

Determinar y regular las condiciones que deben cumplir lo, centros, titulaciones y departamentos para el reconocimiento de la garantía de la calidad, acreditando su cumplimiento. Efectuar evaluaciones de la calidad de la docencia en relación con la formación inicial o permanente impartida por el profeso­ rado de las universidades, por departamentos, para titulaciones o centros.

Realizar evaluaciones de la calidad de la investigación que se

efectúa desde los departamentos e institutos universitarios, )

valorar su incidencia en el desarrollo del sistema de ciencia )

tecnología.

Analizar la adecuación y el uso de las infraestructuras destina­

das a las enseñanzas universitarias.

- Analizar la efectiva relación de las universidades con los secto­ res económicos y productivos y su incidencia en estos ámbitos. - Comprobar el nivel de eficacia y eficiencia de la gestión de los recursos de las universidades y de sus centros, así como de la organización docente y administrativa. Estudiar el nivel de eficacia y eficiencia en la prestación de los servicios. Elaborar informes y propuestas en relación con el análisis de los sistemas de educación superior de otros países y sus moda­ lidades de mejora de la calidad. Determinar las condiciones que deben reunir los evaluadores y certificar su adecuación. Cualquier otra que se e cargue, en relación con su ámbito pro­ pio de actuación.

6.6.3. EL CONSEJO, LA UNIDAD, LA AGENCIA

Como final de este apartado destinado a los organismos impulsores de la evaluación institucional, debo indicar que parece que la línea de futuro está en que cada comunidad autónoma desarrollará su propia unidad, y que cada vez más el papel del Consejo será el de coordina­ ción y apoyo a todo el sistema en su conjunto. En estos términos se manifestó el Secretario de estudios del Consejo de Universidades el Sr. Vicente Ortega Castro en el acto de clausura del Seminario sobre "Evaluación externa, ¿cómo buscamos la calidad?", celebrado en Sitges el pasado mes de mayo de 2000 y promovido conjuntamente

por la Unidad para la Calidad de las Universidades Andaluzas y la Agencia para la Calidad del Sistema Universitario de Cataluña.

6.7. El modelo evaluativo adoptado en españa El modelo adoptado en nuestro estado se corresponde al modelo común europeo y sigue la concreción experimentada en Holanda. Tiene como núcleo fundamental la evaluación interna o proceso de autoevaluación. La fase externa y el uso de indicadores se consideran complementarios. La fase de evaluación interna se inicia con la recogida y sistemati­ zación de la información de la unidad de análisis. Esta información está compuesta por estadísticas, datos de gestión e indicadores sobre los inputs, procesos y resultados de la actividad más importante de la unidad a evaluar. El autoestudio es elaborado por un Comité Interno nombrado al efecto por la Institución, el cual integrará la información mencionada con nuevas observaciones, opiniones y valoraciones ge­ neradas dur.ante el propio proceso de evaluación interna. El autoestudio debe reunir las siguientes propiedades (AQSUC, 1998, p. 1I): - Apoyarse sobre evidencias de calidad. Ser fruto de un proceso de participación. - Tener un consenso amplio de la comunidad correspondiente a la unidad evaluada. Proponer acciones de mejora pertinentes para superar los pun­ tos débiles detectados. La fase de evaluación externa se inicia con el estudio y análisis del autoestudio realizado por el Comité Interno por parte de un Comité de Expertos Externos, nombrado por el Consejo, la Agencia o la Uni­ dad, según sea el caso. El Comité Externo realizará una visita "in situ" donde recogerá nuevas observaciones, opiniones o valoraciones y emitirá con todo el material su informe externo, el cual es sometido a la consideración del comité interno para que exprese sus matizacio­ nes o alegaciones. El informe de evaluación externo a su vez deberá reunir las si­ guientes propiedades (AQSUC, 1998, p. 1I):

228

Apoyarse sobre una evidencia de calidad. Estar consensuado por sus miembros. Explicitar las fortalezas y debilidades más significativas. Proponer las acciones de mejora pertinentes para superar los puntos débiles. La síntesis de las dos fases dará lugar al Informe de Evaluación Final que deberá tener la difusión y publicidad pertinentes. El modelo y sus fases podemos sintetizarlos en la figura que expo nemos a continuación, que está inspirada en la conocida "Quality assesment spiral" de Vroeijenstein (1994) y que consideramos que lo ilustra perfectamente:

229

mando cuerpo finalmente en propuestas de mejora, se convierte fácil­ mente en un ejercicio burocrático y estéril. En la evaluación se man­ tiene la máxima que aquello que sustantiva la actividad evaluadora -la emisión de juicios de valor- no es lo que la legitima -la mejora del objeto evaluado. El proceso evaluativo ha de permitir:

-

Establecer el nexo critico y razonado entre la práctica existen­ te y un nivel de calidad determinado. . Fundamentar críticamente los criterios de calidad perseguida. Formular la conexión entre la nueva práctica y los objetivos de calidad previstos.

y las características que debe reunir una buena propuesta de me­ jora son (AQSUC, 2üOO,b):

-

Han de ser coherentes con la evaluación realizada.

Fundamentadas en la pertinencia y en la calidad de la eviden­

cia aportada.

Contextualizadas al momento y situación de la unidad evaluada.

Realistas. Viables-factibles para producir los efectos deseados a corto y medio término. Priorizadas y consensuadas entre el mayor número de perso­ nas posibles. Creativas para aportar nuevas soluciones a viejos y reiterados problemas. Sistematizadas en su diseño.

A las que personalmente añado la de ser sostenidas y sostenibles.

6.8, La evaluación institucional y la mejora de la calidad 6.8.1. EVALUACIÓN Y MEJORAS

Todo proceso evaluativo acaba y debe ir necesariamente asociado a los procesos de toma de decisiones orientados a la mejora, en este caso, de la institución universitaria. Una evaluación que no acabe to­

6.8.2. EL CONTEXTO INSTITUCIONAL Y LAS MEJORAS

Hemos de huir de las aproximaciones lineales en todo lo que hace referencia a la gestión de la calidad en las universidades, así sería ingenuo el pensar que las mejoras se derivan directamente del proce­ so evaluador. Este es condición indispensable para que ellas se pro­ duzcan pero no es suficiente, es preciso activar y considerar al menos dos elementos:

I

Ji

230

-

El contexto institucional.

Los agentes de decisión.

El contexto institucional. El contexto institucional es el ámbito mediador de todo plan de mejoras, pero éste deberá previamente ha ber diseñado su modelo de calidad y su plan estratégico, si quien' realmente potenciar al máximo su capacidad de cambio. Los planes de mejora deben insertarse en el plan de calidad del centro evaluado. Las instituciones deben tener debatido y especifica­ do su modelo de calidad, que es el que permite insertar las mejoras sugeridas desde la reflexión evaluativa, en un espacio previamente aceptado por la comunidad universitaria y que contempla y entiende el centro en su globalidad. Por otro lado, cualquier institución debe diseñar su plan estratégi­ ca, documento básico para la gestión de la mejora de la calidad del centro. El plan estratégico es elaborado a partir del análisis de la in­ formación total de la institución, no únicamente de la evaluativa, ) planifica su desarrollo racional por un espacio de tiempo. Es el que permite priorizar y desarrollar las actividades de mejora desde una concepción sostenible y sostenida de la calidad. Los agentes de decisión. Es fundamental que los órganos institu­ cionales de decisión participen y se responsabilicen en el proceso evaluativo desde el principio y es absolutamente necesario su impli­ cación en el plan de mejoras. En todo caso, hay que evitar a toda costa, la creación de canales paralelos para vehicular las mejoras, de actuar así difícilmente se in­ tegrará cualquier cambio en las rutinas habituales del Centro con vir­ tiéndolo en mejora permanente. Habitualmente el plan de mejora debería tomar cuerpo institucio­ nalmente mediante un contrato entre la Administración y las Univer­ sidades por un lado y entre ésta y cada uno de los niveles afectados por otra, en el que se especificará el plan de acción a seguir y las contrapartidas en recursos asignados para potenciar o hacer posible el desarrollo del plan.

6.8.3. EL PLAN DE ACCIÓN

El plan de acción constituye el documento técnico que sirve de concreción al plan de mejora y en el que se debe especificar la selec­ ción de mejoras efectuada, el plan de seguimiento y su evaluación.

231

En cuanto a la selección de las mejoras, deberían responder a las características siguientes: (1

;:

-

Dirigidas tanto a la eliminación de los puntos débiles como al mantenimiento de los puntos fuertes detectados en la evalua­ ción. Relacionadas con los factores más significativos del modelo de calidad de la unidad evaluada. Implicar a los diferentes agentes o niveles de gestión y de res­ ponsabilidad de la unidad evaluada.

Como criterios generales de selección se acostumbran a priorizar aquellas mejoras: Que buscan un impacto directo en las personas, por el elevado

nivel de satisfacción que generan.

Que atienden a la gravedad de los problemas detectados, por

su nuclearidad en el proceso de mejora.

Las orientadas al incremento de los resultados de la institu­

ción, por razones obvias de impacto.

Las que tengan en cuenta la capacidad del sistema que ha de

ejecutarlas, por puro realismo.

En cuanto al seguimiento cabe señalar que cualquier plan de ac­ ción debe tener previsto el seguimiento de su ejecución y la evalua­ ción de sus resultados. Sin embargo, hemos de recordar aquí el carácter cíclico de la evaluación institucional, la cual ya contempla que el punto de arranque de un nuevo ciclo evaluativo estará en la comprobación de si se han conseguido los objetivos de mejora surgidos en el proce­ so anterior.

6.9. Evaluación y acreditación: un tema a debate en el espacio europeo de educación superior En los últimos años se ha abierto el debate de la acreditación en el ámbito universitario europeo. En nuestro país, posiblemente, el infor­ me Universidades 2000 liderado y coordinado por el ex rector de la Universidad de Barcelona, Josep Bricall, quien dedica un capítulo al tema ("Qualitat i acreditació"), donde se sugiere la substitución del

232

actual Plan Nacional de Evaluación por otro que comporte la evalua­ ción y la acreditación, ha servido de detonante para colocarlo en mu­ chas agendas. No es sencillo trasladar sin más, experiencias y prácticas surgidas en otras realidades a la nuestra. Así, hemos de ser conscientes de que, la acreditación es un producto genuinamente americano, donde hov coexisten 12 agencias dedicadas a la acreditación institucional coor dinadas por las asociaciones universitarias, así como 60 agencias orien­ tadas a la acreditación de programas, en este caso controladas por los colegios profesionales (Rodríguez, 2000). Por acreditación se entiende «el proceso por el cual una institu­ ción o un programa educativo, proveen información sobre su activi dad con la finalidad que se pueda emitir un juicio público sobre el valor y la calidad de la institución o programa, a partir de uno.' estándares explícitos» (Rodríguez, 2000, p. 5). . La acreditación surge en los Estados Unidos como respuesta a un sistema universitario poco regulado, de estructura federal y que SE' desarrolla gracias al apoyo de potentes sectores privados. Evidente. mente, esto no refleja la realidad europea donde de una forma u otra los Estados han estado presentes en los procesos de regulación de su, universidades (Rauret, 2000). Sin embargo, con la creación de la Unión Europea, la incorporación de países del Este a todos los niveles (económicos, sociales y cultura­ les), los fenómenos de internacionalización de la educación superior, el incremento de la movilidad, la progresiva consolidación de iniciativa, de educación transnacional, etc., están configurando una nueva reali­ dad ante la cual parece que la respuesta más adecuada se sitúa (Solá. 2000) en la puesta en marcha de sistemas internacionales de acredita­ ción y garantía de la calidad basados en la cultura propia de cada uni­ versidad, y que simultáneamente tengan en cuenta las regulaciones gubernamentales y las de las organizaciones profesionales. Todo apunta a pensar en la creación de estructuras de coordinación entre las agencias, que conduzcan a la creación de estándares que per­ mitan el establecimiento de procedimientos de acreditación mutua. Pero no debemos olvidar que si bien la situación del espacio euro­ peo invita a la búsqueda de nuevas fórmulas de reconocimiento, la realidad política sigue aún muy alejada de la estructura federal ameri­ cana; y en el marco de unos potentes estados soberanos y una enorme pluralidad universitaria, la aplicación de las consecuencias derivadas de los procesos de acreditación puede resultar un encaje tan difícil como inútil.

233

y aquí surgen las mayores dudas sobre los procesos de acredita­ ción, que exigen una importante derivación de responsabilidades des­ de los estados y las propias universidades en favor de organismos internacionales participados. La enorme asimetría existente entre los estados y las diferencias notables en tradición, recursos, etc. que hay entre las universidades, no son el mejor caldo de cultivo para la inte­ gración de procesos que de no estar bien conducidos pueden compor­ tar dos situaciones extremas, totalmente perversas: (a) O la acreditación se convierte en un proceso por el cual las entidades más desarrolladas, por la aplicación de los mismos principios que rigen en las leyes del mercado, ven favorecida su situación y entran en un proceso de mayor profundización de las diferencias. (b) O bien se reconduce la acreditación hacia modelos absoluta­ mente "Iight", donde su implantación no va más allá de la asig­ nación de ciertos honores al estilo "guía Michelín". A nuestro juicio, la acreditación deberá convivir, durante un im­ portante tiempo, con los procesos de evaluación institucional, y jun­ tamente con ellos actuar únicamente como referentes claros e inequívocos para el desarrollo de las universidades. A medida que las condiciones de igualdad de oportunidades institucionales y de homogeneización básica en lo legislativo y económico se van asu­ miendo entre los estados y las regiones, la acreditación va transfor­ mando su papel y a la función orientadora va incorporando paulatinamente elementos sancionadores regulados, reversibles y salvables aplicando criterios de calidad sostenibles.

6.10. Recomendaciones del consejo de europa para la garantía de la calidad de la educación superior Nos parecía que este capítulo no podía ignorar como aportación a su discurso, las recomendaciones del Consejo de Europa a sus esta­ dos miembros (24 de septiembre de 1998), para la garantía de la cali­ dad de la educación superior. Nos limitaremos a incorporar el resumen elaborado sobre las mismas por el "Butlletí d'Informació sobre la Qualitat Universitaria" en su número 1 (julio-agosta-septiembre 1999, p. 6) y que son las siguientes:

235

234

(a) Dar soporte y crear sistemas transparentes de evaluación de la calidad, con los siguientes objetivos: Salvaguardar la calidad de la educación superior en el contex­

to económico, social y cultural de sus países, teniendo en cuenta

la dimensión europea y un mundo que evoluciona rápidamen­

te.

Estimular y ayudar a los centros de educación superior para

que hagan servir medidas adecuadas por lo que hace referencia

a la evaluación, con la finalidad de mejorar la calidad de la

enseñanza y el aprendizaje, así como la de la formación en la

investigación.

Estimular los intercambios de información en materia de cali­

dad y de evaluación de la calidad a nivel comunitario y mun­

dial, y fomentar la cooperación de los centros en este sentido.

(b) Basar los sistemas de evaluación de la calidad en los siguien­ tes elementos: Autonomía e independencia, de acuerdo con las estructuras

correspondientes de cada Estado miembro, de los organismos

encargados de la evaluación de la calidad en la elección de los

métodos y procedimientos.

Adaptación de los procedimientos y métodos de evaluación de

la calidad al perfil y a la misión de los centros de enseñanza

superior, respetando su autonomía e independencia, de acuer­

do con las estructuras correspondientes de cada Estado miem­

bro.

Utilización, en función de los objetivos, de los elementos de

evaluación interna o externa de la calidad, adaptados a los pro­

cedimientos y métodos usados.

Participación de las diversas partes interesadas en función del

objeto de evaluación.

Publicación de los resultados de la evaluación de una forma

adecuada a cada Estado miembro.

(c) Animar a los centros de enseñanza superior, en cooperación con las estructuras competentes de los estados miembros, a adoptar medidas de seguimiento adecuadas.

(d) Convidar a las autoridades competentes y a los centros d.e en­ señanza superior a que concedan especial importancia al mter­ cambio de experiencias y a la cooperación en. materia d~ evaluación de la calidad con los otros Estados miembros, aSI como con las organizaciones activas en el ámbito de la educa­ ción superior. (e) Promover la cooperación entre las autoridades responsab~es de la evaluación o de la garantía de la calidad en la ensenanza superior y favorecer su interconexión. Esta cooperación po­ dría centrarse en los siguientes aspectos: _ Favorecer el intercambio de información y experiencias sobre las novedades metodológicas y los ejemplos de prácticas co­ rrectas. Corresponder a las peticiones de peritaje y de asesoramiento de las autoridades correspondientes de los Estados miembros. Dar soporte a los centros de enseñanza superior que deseen cooperar en el ámbito de la evaluación de la calidad. _ Favorecer los contactos con expertos internacionales.

6.11. Como resumen y cierre Como epílogo de nuestra aportación, queremos simple~ente se­ ñalar que las nuevas necesidades y exigencias par~ la gestión de la calidad en las universidades, han forzado a la creación de una nueva cultura de la evaluación que constituye, a nuestro juicio, un fenórne­ no irreversible y que está implicando, independientemente de cam­ bios profundos de mentalidad en los profesionales universitarios, la creación de organismos y unidades queestán extendiendo lo~ meca­ nismos de evaluación a todos los niveles del sistema umversttano. Esta extensión se acompaña de un cambio de percepción de la pro­ pia evaluación, que ya no se orienta tanto hacia él control como hacia la recogida, análisis e interpretación de una información razonada ~ razo­ nable dirigida a la orientación de la gestión de la mejora e~ucatlva. Esta información actúa como retroalimentadora de la acción y apunta a estimular la reflexión y la búsqueda de las soluciones más eficaces y eficientes, para así responder a las expectativas exigentes. y a menudo contradictorias dirigidas a las Universidades desde la SOCiedad.

237

236

Una de las claves para un posible éxito de la acción evaluadora está en la explotación intensiva y extensiva de la información y del conocimiento evaluativo. Con ello señalamos una de las característi­ cas básicas de las sociedades post-industriales, en las que el elemento básico de diferenciación respecto de las tradicionales, no está tanto en la información que poseen, sino en su capacidad para hacer uso de forma rápida de la misma, afectando de forma significativa a todos los niveles y subniveles del sistema. Sólo las organizaciones potentes, bien estructuradas, con madurez en su conocimiento y con capacidad tecnológica, estratégica e instru­ mental están realmente capacitadas para el uso exhaustivo y eficiente de la información. En el marco de este cambio, los sistemas de educación superior se enfocan de otra manera, concediéndole más importancia al crecimiento en calidad más que en cantidad. Calidad al servicio de los individuos, de los alumnos y calidad desde el punto de vista de criterios sociales, políticos, culturales y económicos más globales. Las políticas educativas de la mayor parte de los países europeos tienden a pasar de una lógica centrada en los inputs a una lógica cen­ trada en los logros y en los procesos que los producen y que tratan de explicarlos convincentemente. En el nuevo paradigma organizativo emergente, la evaluación se convierte en parte de los procesos de control y de desarrollo de la propia calidad y sirve también para la rendición de cuentas. Reviste una gran importancia estratégica y está al servicio de la progresión hacia la realización de las finalidades del sistema y del conjunto de los componentes que están al servicio del desarrollo hacia la calidad. Es en este marco donde debe insertarse la evaluación institucional que sin lugar a dudas se está convirtiendo en uno de los ejes básicos del desarrollo de la educación superior en los países del área occidental y que está exigiendo un importante plus de esfuerzo en el sentido de de­ sarrollar la colaboración estatal e internacional entre los diferentes or­ ganismos dedicados a la evaluación de la Educación Superior. Fruto de esta internacionalización es la reciente preocupación por adecuar las actuales demandas por ir más allá de la evaluación e in­ corporar los procesos de acreditación a la realidad de la diversidad cultural y pluralidad de situaciones de los distintos contextos de edu­ cación superior en Europa. Todo bajo el ánimo de facilitar los fenó­ menos de movilidad de los sujetos y de equiparación de las titulaciones. Cabe esperar que se mantendrá la misma línea de prudencia, de transparencia y de participación para tratar de vertebrar respuestas a

las nuevas demandas del espacio europeo, desde los mismos princi­ pios de respeto a la equidad entre las partes y de cons~cción de la calidad desde planteamientos siempre proacnvos y también respetuo­ sos y comprensivos con los distintos contextos.

Bibliografía ANDRlEN. J. (1987), Rapport pour le Consetl Econom~ue et Social. ~arís. . AQSUC (1998) Guia d'Avaluací6. Barcelona: Agencia per a la Quahtat del Sistema

Universitari a Catalunya. . .

AQSUC (1999), "Recomonació del Consell d'Eurtopa per garantir I~ qualitat de

['ensenyament superior". en Butlleti d'Informaci6 sobre la Qualrtat unlversltcma, 1, pp. 6-7. A' . AQSUC (2000), Quaderns d'aurojonnaci6: Comite intern. Barcelona: genera pcr a la Qualitat del Sistema Unívcrsitari a Catalunya. . " ~ Al~B01X, E. (2000), "El mode l francés d'avaluació de la qualitat • en Butlleti d'lnform aci6 sobre la Qualitat Universitaria, 4, p. 2. Bonrdon. R. (1977), Effets pervers et ordre social. París:,:UF. . " CHAVE, D., BOFro, S.. HAUI10NEN, E. y RANOI, L. (1998), Evaluation of Rese.arch , en Dubois, P. Final Report: Evalúe. Bvatuauon and Self-EvaluatlOn of Ifniversities in Europe. Project 2001. Contracto 50E2-CT95-2004, pp. 58-83." Duaois, P. (1998), "Evalue: Evaluation and Self-Evaluatlon oí Llniversitics In Europe , Final Report. Project 2001, Contract: SOE2-CT 95-2004. . .' (1995), European Pilo! Projeci for Evaluating Quallty in Higher Education. Bruselas: DG XXII, European Rc?ort.. " GALÁN, M. (1999), La organizaciónde la calidad. en l~s universidades a,~daluzas: El Consorcio Unidad para la Calidad de las Universidades Andaluzas, en Cuader­ nos lRe, 3, pp. 31-39. . d HUTCHMACHER, W. (1999), "L'avaluació en la transformaci6 de les ~~dalItats . e govern deis sistemes educatius. Tendencies europees", en Avaluació l Educaciá, pp. 15~34. Barcelona: General!tat de Cata1u~ya ..Consell Escolar de Catal~nya.

EUROPEAN COMMISSION

MATEO, J. et al. (1999), "Institutional Evaluation In Europe, a Ca.se Study. The University of Barcelona", en Concepts and applicatiofls o/ sysre'~Ics, cybern.etlcs and ínformatics. World mtlüconference. Vol. VIJI, Section dedicated 10 Higher Educalion Evatuation, pp, 417-423. . . ~ M¡CHAVILA, F. (1998) "Evaluación institucional para la mejorade la actividad acadé­ mica", en Universidades: Estrategias para avanzar, pp. 95-112. ~arcelona.: UPC:. NEAVE, G. y VAN VAUOHT F. A. (1991), Prometeus Bound: The Changmg Relationship Between Government and Higher Education In Western Burope. Oxford: Pergamon Press, . RAURET, G. (1999), "El modelo Catalán de Agencia para la Garantía de la Calidad Universitaria", en Cuadernos IRC, 3, pp. 39-44. ., RAURET, G. (2000), "Qualitaty acreditacié: I'Informe 2000", en Butlleti d'lnformació sobre la Qualitat Universitaria, 5, p. 4 . .

' ,

.-

RODRíGUEZ, S. (2000), "¿Acreditació: garantía de la qualitat?", en Butllett d Informació sobre la Qualitat Universitaria, 5, p. 5. . ' SHAVEL~oN, R. J. (1989), Indicators for monitoring rnathematics and scrence education. A source book Santa María: Rand.

238

SOLA, C:' (20?O)" "Avaluació i acreditació", en Butlleti d'Informacíá sobre la Qualitut Universitaria, 5, p. 1. TORR~S, Josep~. (2000), "El model británic d'üvaluació de la qualitat", en Butllett d ínformacíá sobre la Qualitat Universitaria, 2, p. 2. UNES~O (1993). Strategies [or Change and Development in Higher Educution. Pohcy Paper, París. ' UNE~CO (2~OO), L' e.ducaci6 superior en el segle XXI. Conferencia mundial sob¡ e 1 Educac.ló Super~or. UNESCO, París, octubre de 1998. Barcelona: Agencia prr a la Quahtat d~l SIstema Universitari a Catalunya, UNESCO y Cátedra UNESCl) de gestió de 1 ensenyament superior. VROEIJENSTIJN, A. l. (19.94), I:nprovement and Accountability: navigating betweell Scylla and Chc:ryb~IS: Guide for external quality assessment in higuer education. Londres: Jessíca Kmgsley. WOOT, P. (l~98), "Managing Strategic Change in University", en Universidades Estrategias para avanzar, pp. 7-24. Barcelona: UPC.

7. La evaluación de los sistemas educativos La sociedad educativa basada en la adquisición, la actualización y el uso de los conocimientos. Éstas son las tres funciones que conviene poner de relieve en el proceso educativo. Mientras la sociedad de la información se desarrolla y multiplica las posibilidades de acceso a los datos y a los hechos, la educación debe permitir que todos puedan aprovechar esta información, recabarla, seleccionarla, ordenarla, manejarla y utilizarla. Por consiguiente, la educación tiene que adaptarse en todo momento a los cambios de la sociedad, sin dejar de transmitir por ello el saber adquirido, los principios y los frutos de la experiencia,

(Delors, 1996, La educación encierra un tesoro:

Informe de la UNESCO de la Comisión internacional sobre Ia

Educación para el siglo XXI).

7.1. La educación y la nueva sociedad del conocimiento. El contexto social «Frente a los numerosos desafíos del porvenir, la educación cons­ tituye un instrumento indispensable para que la humanidad pueda pro­ gresar hacia los ideales de paz, libertad y justicia social», de esta manera inicia Delors (1996), el capítulo titulado "La educación o la utopía necesaria", correspondiente al informe de la UNESCO sobre la educación para el siglo XXI, dirigido por él y destinado a estable­ cer las líneas maestras de actuación en el terreno educativo en los próximos años. ¿Dónde radica la importancia concedida a la educación en las so­ ciedades modernas? ¿Cuáles son las claves para comprender la cre­ ciente preocupación por el funcionamiento de los sistemas educativos como garantes de la calidad de la educación? ¿Qué papel juega la evaluación en este contexto? ¿Cómo articulamos los procesos de eva­ luación de los sistemas educativos? Éstas son las preguntas que trata­ remos de responder a continuación mediante nuestras consideraciones y propuestas.

241

240

El conocimiento y la información han pasado a ser, según los ex pertas, los factores fundamentales de la ventaja competitiva entre las personas, las organizaciones y los países (Serra, 2000). Mientras que las sociedades industriales estaban totalmente orientadas hacia la pro­ blemática del dominio técnico de la naturaleza, las sociedades postindus triales tienen como objetivo prioritario la generación y la gestión democrática del conocimiento. Predomina el convencimiento que el desarrollo económico requiere inversión en capital humano, en incremento de los "stocks" de cono­ cimientos de los ciudadanos por tal que sepan extraer un mayor reno dimiento de los factores físicos y en la medida que la creación de este mayor "stock" exige una transmisión de los conocimientos, el siste­ ma educativo adquiere un papel trascendental (Serra, 2000), y no tan sólo como mero transmisor del conocimiento, sino como responsable de las condiciones en que lo hace. La sociedad postindustrial anunciada a principios de los años se­ tenta (Bell, 1973), se está realizando desde la última década del siglo y se manifiesta a través de indicadores como los siguientes (Hutmacher. 1998):

-

Las actividades económicas se desplazan desde las industrias de transformación hacia los servicios, incluyendo la enseñan­ za y la investigación científica. Más que nunca las nuevas industrias se vuelven científicas, informatizadas, robotizadas y cada vez más abstractas y aleja­ das de la materia.

Como consecuencia de todo ello, están surgiendo nuevas elites tecnificadas y se está imponiendo un nuevo principio de jerarquía social, basado no tanto en la posesión del capital material, como en el conocimiento y en la capacidad de llevarlo a la práctica y enriquecerlo. Consecuencia que va acompañada de una sustancial transforma­ ción en la organización del trabajo, donde se está produciendo una substitución de las tradicionales pirámides de relaciones de autoridad por redes de relaciones matriciales. En este nuevo esquema, todas las fases del proceso productivo son importantes, y la inteligencia no puede estar concentrada en la cúpula de la pirámide, sino que debe estar distribuida de forma homogénea por toda la red del proceso producti­ vo (Tedesco, 2000). El ejemplo clásico que se utiliza para describir está situación (ci­ tado en Tedesco, op. cit., p. 83), es el comportamiento basado en la

hipótesis del "error O". Esta hipótesis fue elaborada a partir del acci­ dente de la nave "Challenger" cuando todo el esfuerzo y la inversión realizados para ese proyecto se perdieron por un simple fallo en una conexión secundaria. El análisis de este ejemplo permite apreciar que en el marco de las nuevas tecnologías de producción, el menor disfuncionamiento de una de las partes amenaza la producción en su conjunto. En conse­ cuencia, los niveles de calidad y de calificación de los individuos que desempeñan un mismo proceso debe de ser semejante. En este contexto, la desigualdad que antes se producía entre los grupos sociales ahora tiende a producirse también dentro de cada gru­ po social. Esta doble desigualdad agudiza la marginación y aporta un nuevo sentimiento de frustración al poner en crisis la propia represen­ tación que uno tiene de sí mismo ya que esta nueva diferenciación es percibida por el afectado como algo personal y no como un producto socioeconómico o estructural (Tedesco, op. citada, p. 83). El principal problema de la sociedad del siglo XXI es ella misma, con sus problemas de justicia, de marginación y de convivencia. Con sus necesidades de articular nuevas formas organizativas y de rela­ ción social. En un contexto de este tipo la construcción de alternati­ vas de actuación, implica revalorizar prácticas que tengan como objetivo prioritario la cohesión social y la educación en valores que promuevan la solidaridad. La respuesta a estos planteamientos pasa por una revalorización del papel de la educación que se ve sometida a nuevos desafíos y necesita para atenderlos apropiadamente, tal como veremos a conti­ nuación, modificar su naturaleza, ampliar sus objetivos y organizarse más eficazmente.

7.2. Los nuevos retos de la educación La educación debe ser entendida como una acción continuada a lo largo de toda la vida que constituye un concepto que va más allá de la distinción tradicional entre educación inicial y continuada. Constitu­ ye un compromiso de toda la sociedad por el cual se debe garantizar, a través de la acción educadora, la democratización del acceso a los circuitos donde se produce y se distribuye el conocimiento social­ mente significativo. Sin embargo, hemos de tener muy en cuenta, que en muchas oca­ siones, el tipo de conocimiento que se precisa, constituye un conjunto

242

243

de habilidades y competencias especializadas de carácter cambiante cuya evolución resulta habitualmente imprevisible. Al mismo tiempo no siempre su operativización y conversión en acción educadora es posible realizarla desde el sistema educativo, constituyendo en ocasiones objeto más propio de otros sistemas como pudiera ser el productivo. Para ello, será preciso definir políticas educativas que al objetivo, ya tradicional, de la universalización de la enseñanza añadan que ésta sea de gran calidad y de carácter sustancialmente distinto al tradicio­ nal. La educación a lo largo de la vida se basa en cuatro pilares (Delors, 1996): aprender a conocer, aprender a hacer, aprender a convivir y aprender a ser. Los cuatro pilares implican, a su vez, modificar y ampliar el con­ junto de conocimientos habituales. Así será preciso revisar y relativizar la importancia de los contenidos clásicos y convendrá incluir como objeto sistemático de educación, aquellas competencias, habilidades y actitudes que favorezcan el desarrollo de la capacidad autónoma de aprendizaje. Hemos de ser conscientes que la regulación de la adquisición de tal diversidad de conocimientos, de naturaleza tan cambiante y cuya adquisición se prolonga a lo largo de tanto tiempo, no podrá reglamentarse absolutamente desde las instituciones. Tampoco es posible pensar que se producirá una regulación espontánea basada en los mecanismos de mercado. En esta nueva era de la información y la cultura, el sujeto deberá cobrar un importante protagonismo en la selección y reclamación de los medios necesarios para la construcción de su propia educación. Para ello es necesario, por un lado, que en las fases educativas regladas, la naturaleza de la formación se centre muy especialmente en el desarrollo de aquellas competencias, habilidades y actitudes que precisará para hacerle competente en la gestión de sus propios apren­ dizajes y que haga posible que cada experiencia y cada momento pue­ dan traducirse en un incremento de su bagaje educativo y, por otro, desarrollar un modelo de sociedad educadora que lo haga posible. Establecer procedimientos sistemáticos de análisis de necesida­ des y determinación de cuáles han de ser las competencias más bási­ cas, las habilidades genéricas más importantes y las actitudes más fundamentales a educar o desarrollar en nuestros alumnos, constituye ya en la actualidad una de las responsabilidades más urgentes para toda la comunidad educativa, a fin de hacerlas posible en el marco y en los períodos escolares reglados.

Articular mecanismos socioeducativos, que hagan posible que cualquier sujeto, en cualquier momento de su biografía personal, pueda dotarse de los instrumentos y las competencias cognitivas necesarias para un desempeño ciudadano activo, constituye un elemental ejerci­ cio de justicia distributiva y de cohesión social y un objetivo político imprescindible.

7.3. La evaluación educativa como exigencia social El propio informe Delors (1996, op. citada) indica la necesidad de establecer dispositivos objetivos y públicos, para que los ciudadanos estén en condiciones de comprender la situación del sistema educati­ vo y su impacto sobre la sociedad. Sin duda y como consecuencia de la revalorización apuntada, Delors está señalando la importancia, la necesidad y la urgencia de evaluar los sistemas educativos y sus ámbitos fundamentales. No po­ demos dejar al azar la naturaleza y la orientación de su desarrollo y el análisis de sus consecuencias después de adquirir conciencia respec­ to de su trascendencia en el contexto de las sociedades postindustriales. Aunque los docentes han evaluado siempre a sus alumnos y la evaluación ha ocupado tradicionalmente un lugar preeminente en la práctica educativa, hasta hace poco tiempo no se hablaba tanto de ella, ni se habían depositado tantas expectativas en las aplicaciones que puede proporcionar. Sin embargo, la novedad radica en que el campo semántico del tér­ mino "evaluación" se ha ampliado considerablemente. En la actualidad, su ámbito de actuación se extiende más allá de los alumnos, y compren­ de la intervención educativa, el currículum, los centros, los docentes y un largo etcétera, hasta englobar el conjunto del sistema educativo. En este sentido, el informe señala: «La evaluación de la educación ha de ser concebida en sentido amplio. No tiene como único objeto la oferta educativa y los métodos de enseñanza, sino también la finan­ ciación, la gestión, la orientación general y la consecución de objeti­ vos a largo plazo». Este sentimiento sobre la necesidad de evaluar los sistemas educati­ vos y sus elementos constitutivos es compartido por multitud de países, y ha de ser situado en el contexto de una incipiente concienciación sobre el final de un ciclo expansivo de los sistemas educativos, basado en el aumento de las aportaciones económicas.

I

244

Este ciclo se inició al final de la Segunda Guerra Mundial, y fue promovido por las necesidades que tenía el mercado laboral de perso­ nal formado y cualificado para atender los procesos de industrializa­ ción y modemización de la sociedad. Actualmente, es posible que haya tocado techo, si se tiene en cuenta el extendido sentimiento de que los jóvenes, a pesar de constituir la generación mejor preparada de toda la historia de la humanidad, encuentran grandes dificultades para inser­ tarse en la sociedad laboral, incluso en el ámbito formativo para el cual fueron educados durante años. Se está abandonando el concepto de educación como inversión, y se empieza a percibir como una actividad que genera un considerable gasto social. En consecuencia, en momentos de cambios estructurales en los planteamientos económicos de las sociedades, se cuestiona este tipo de aportaciones, lo que dificulta que pueda seguirse mantenien­ do un crecimiento o mejora del sistema educativo basado exclusiva­ mente en mayores inversiones económicas. El papel de la evaluación se concibe entonces con un doble propósi­ to: como instrumento de control al servicio de una sociedad que quiere conocer los objetivos a los que se orienta la educación y el rendimiento que se obtiene de tan importante esfuerzo (rendición de cuentas), y también como instrumento de mejora y optimización del propio siste­ ma y de sus resultados, expresado en forma de calidad educativa. Todo ello implica una extensión importante de los mecanismos de evaluación que se deben aplicar a todos los niveles del sistema. Por otro lado, esta extensión se acompaña de un cambio de lugar de la cul­ tura de la evaluación que ya no se orienta tanto hacia la sanción, la clasificación y la selección como hacia aportar Una información razo­ nada y razonable dirigida a dirigir eficazmente la gestión de la mejora educativa. Con todo, hay que añadir un último e importante apunte aclarato­ rio: aunque la aceptación del doble papel de la evaluación es general, sin embargo, en el seno de las sociedades más desarrolladas se alzan voces discrepantes sobre el sentido y la orientación otorgados a la educación en la época industrial, que la ligaba casi en exclusiva a las necesidades del sistema productivo. La educación debe tener como referente la sociedad en su conjun­ to y no sólo uno de sus factores, pues si algo distingue las sociedades postmodernas es su pluralidad de enfoques, la diversificación de sus elementos, la multiplicidad de interacciones que se dan entre ellos y la velocidad con que se producen los cambios. Sin duda, esto genera una amplia gama de necesidades de todo tipo.

245

La educación como factor catalizador y de desarrollo de las capa­ cidades humanas y de enriquecimiento de las experiencias de los su­ jetos es, con absoluta seguridad, lo que mejor facilita la adaptación activa a esa configuración plural y dinámica del conjunto de necesi­ dades sociales. Se trata, también, de un importante elemento que ge­ nera calidad de vida, ofrece respuestas a las necesidades más inmediatas de un sofisticado sistema postindustrial y resulta clave en los procesos de adaptación de los sujetos al cambio. Es evidente, pues, que en el futuro se seguirá apostando por ella. Sin embargo, es evidente, tal como hemos visto en el apartado ante­ rior, que su naturaleza se ha modificado sustancialmente, tanto en lo que hace a sus contenidos, objetivos, métodos y agentes. Todo ello ha comportado un cambio sustancial del paradigma organizativo de la edu­ cación, cambio que afecta sustancialmente el sentido básico de todos los elementos que convergen en ella como es el caso de la evaluación. En el' nuevo paradigma organizativo emergente, la evaluación se convierte en parte de los procesos de control y de desarrollo de la propia calidad y sirve también para la rendición de cuentas. Reviste una gran importancia estratégica y está al servicio de la progresión hacia la realización de las finalidades del sistema y del conjunto de Jos componentes que están al servicio del desarrollo hacia la calidad.

7.4. Principios generales del nuevo paradigma organizativo de la educación Desde una perspectiva sistémica los sistemas educativos se consi­ deran, cada vez más, como un conjunto de procesos de transforma­ ción que, a partir de un determinado número de inputs, producen efectos, resultados, outputs (Hutmacher, 1999, p. 22). Quisiéramos, sin embargo, huir de Una visión mecanicista de la acción del sistema educativo, que podría derivarse de la definición. Cabe para ello señalar en primer lugar la aportación de Shavelson (1989), quien completa esta perspectiva, indicando que los factores iinputs, procesos, outputs) que conforman todo sistema educativo, están siempre inmersos en un contexto social, cultural, político y eco­ nómico que los alimenta y de los que a la vez se nutre. Con ello introduce un componente dinámico e interactivo (inter­ no-externo) en el modelo y pretende hacernos notar las aportaciones positivas, pero también las tensiones, los conflictos y las contradic­

247

246

ciones a las que está expuesto el sistema en su conjunto y que conven­ drá considerar tanto en su funcionamiento como en su evaluación. En segundo lugar, es el propio Hutmacher quien nos alerta que cuando hablamos de inputs, hay que evitar incurrir en el reduccionismo de sobrevalorar la importancia de los meros recursos materiales (per­ sonal, dinero, tiempo). Estas dimensiones, son evidentemente básicas para el funciona­ miento del sistema, pero cobran su verdadera fuerza e importancia cuando se asocian con otros inputs como son el conjunto de represen­ taciones, creencias, actitudes, aspiraciones y expectativas pertenecien­ te" a la historia colectiva y a las biografías personales de los sujetos que actúan en la primera línea del sistema. Nunca la mera acumula­ ción de recursos ha resuelto, sin más, los problemas de calidad de un sistema, siempre habrá que entenderlos e interpretarlos asociados a los componentes simbólicos a los que hemos hecho referencia. En cuanto a los outputs, las finalidades de la acción educativa, constituyen el tercer elemento del sistema y sobre el que posiblemen­ te más cambios se han producido. Cambios en su importancia, con­ virtiéndose en el elemento nuclear en los procesos evaluativos de los sistemas educativos y cambios en su dimensionalización. Así, el tér­ mino, que se acostumbra a traducir por logros, cuando se hace en el contexto evaluativo, ha superado el ser considerado como logro aca­ démico fundamentalmente cognitivo y ha incorporado un conjunto de competencias, habilidades y actitudes como objetivos básicos a conseguir. Todo ello ha conformado unos nuevos planteamientos, que parecen responder a los cuatro principios generales que exponemos a continua­ ción (Hutrnacher, 1999, p. 24), y que dan soporte y explican la apari­ ción de un nuevo paradigma organizativo de los sistemas educativos: (a) La primacía de las finalidades, que exige que las decisiones y la acción se orienten de una manera prioritaria conforme a la voluntad de alcanzar los objetivos establecidos, en todos los niveles del sistema, desde el aula hasta los niveles político­ estratégicos. (b) El principio de imputabilidad (accountability), según el cual los agentes de todos los niveles del sistema valoran y deben respon­ der sistemáticamente del grado de logro de los objetivos. (c) El principio de subsidiaridad, según el cual las decisiones se han de tomar en el mismo nivel donde se produce su implanta­

ción, y únicamente se delegan a un nivel superior de responsa­ bilidad si no es posible alcanzar los objetivos de otra manera. (d) El principio de autoorganizacion y de desarrollo continuo, según el cual los sistemas y sus componentes nunca están ab­ solutamente fijados, sino que están en continua transforma­ ción, bien sea por la propia retroalimentación o bien reforzados por el entorno.

7.5. Ámbitos de decisión en la evaluación del sistema educativo

Parece evidente que la evaluación ha entrado en un período de auge y de esperanza respecto de sus posibilidades, auge y esperanza que trataremos de desgranar y justificar a partir de los diversos elementos de reflexión que intentaremos desarrollar a lo largo de este capítulo. Vamos, en primer lugar, a hacer un breve recorrldo por los ámbitos de decisión más habituales de la evaluación en referencia al sistema.

7.5.1. EVALUACIÓN Y RENDICIÓN DE CUENTAS

La lógica exigencia de la rendición de cuentas se halla en que existe la convicción de que el sistema educativo ha de responder a las demandas de la sociedad, de la administración y de los ciudadanos sobre su funcionamiento y sus resultados, en tanto que usuarios, ges­ tores o contribuyentes, Pero ante quién y sobre qué hay que centrar la rendición de cuentas. Por lo general, la rendición de cuentas ha de contemplar tres ám­ bitos frente a los que debe responder apropiadamente (Tiana, 1997): (a) Deberá rendir cuentas ante los usuarios, es decir, la sociedad en su sentido más global y la comunidad educativa en el más específico y cercano al propio usuario. (b) Ante el colectivo profesional docente. (c) Ante la propia administración, como gestora de la actividad socioeducativa.

248

Las tres rendiciones representan la respuesta moral, profesional J administrativa ante las nuevas demandas, pero no podemos ignorar que detrás de ellas, existe una cierta desconfianza y una petición clara de transparencia sobre unos procesos que son percibidos como trascen · dentales para la vida de los individuos y la continuidad y la adaptación de la sociedad a las nuevas exigencias que impone la modernidad. 7.5.2. EVALUACIÓN Y PROCESOS DE REFORMA EDUCATIVA

El cambi o continuo a que se ve somet ida la sociedad se traduce en cambi os contin uos de sus sistemas educativos, que no tan sólo modi­ fican su estructura, sus contenidos y sus formas, sino sobre todo su lógica interna, especialmente en todo lo que hace referencia a su orien­ tación y a la manera de gobernarlos. En mayor o menor medida, todos los países occidentales se han visto involucrados en algún tipo más o menos global de reforma, fe­ nómen o que ha despertado un interés creciente por evaluar sus efec­ tos, tanto por las inversiones económ icas que evidentemente hay que justificar, como por las expectativas socíoeducativas que generan. Todo ello ha conllevado la genera ción de una nueva cultura de actuación por parte de las administraciones, en la que los procesos de toma de decisiones se condicionan cada vez más a los análisis sobre la inform ación evaluativa propor cionad a por procesos sistemáticos de evaluación. La consecuencia fundamental ha sido la generación de nuevas for­ mas de gestión de los sistemas educativos, en los que la evaluación ocupa un espacio nuclear, aportando elementos racionales para la re­ troalimentación de sus políticas estratégicas de desarrollo y de mejora . Parale lamen te han ido apareciendo, tal como veremos posterior­ mente, nuevas instituciones, estructuras y proyectos de orden regio­ nal, estatal e internacional para la organización y conducción de dichos proces os evaluativos.

7.5.3. LA SUBSIDIARIEDAD: HACIA UNA NUEVA ARQUITECT URA DE LOS PODERES

La expansión de la evaluación en el contexto de las políticas edu­ cativa s está asociada a los procesos de descentralización y reparto de poder y de compe tencias en materi a educativa.

249

Tal como señala Tiana (1997), una de las características distinti­ vas de nuestro tiempo es la redistribución del poder y de las responsa­ bilidades de gestión en los asuntos públicos que lo acercan al usuan o de los servicios. En el caso de los sistemas educativos, el argumento que subyac e en las políticas de descentralización es la necesidad de estimu lar la flexibilidad y la capacidad de adaptación del sistema educativo y sus componentes a las necesidades derivadas de la diversidad social y la velocidad de las transformaciones, lo que se traduce en deman das concretas al sistema escola r y exige capaci dad rápida de respue sta que sóloes posible desde una gestión descentrliliz.a~a. .' Todo ello implica, aplicando uno de los pnncipios orgaruzatrvos básicos el de la subsidiariedad, la concesión de un alto grado de auto­ nomía a las administraciones locales y a los propios centros educativos, como fórmula organizativa para que regulen eficazmente su funcio ­ namiento, acomodando su oferta a la demanda del entorno, y actuan ­ do con mayor responsabilidad. En este contexto, la evaluación ocupa un lugar propio y gana rele­ vancia. Una mayor autonomía debe ir acompañada de un mejor cono­ cimiento evaluativo y de una mayor responsabilización del ente local, que se debe traducir en su conversión en elementos racionales de jui­ cio que aplicados al sistema, faciliten las tareas de control y de desa­ rrollo de la calidad educativa y de conducción y seguimiento de los cambios introducidos.

7.5.4. EVALUACIÓN y POLÍTICA EDUCATIVA

En las sociedades modernas, la rapidez de los cambios sociales y los avances tecnológicos han cuestionado las formas clásicas de legi­ timación de las decisiones de los podere s públicos. Como señala Tiana (I997) , en la actualidad no se justifican las decisiones tomadas me­ diante el mero ejercicio de la autoridad o la coerción, cada vez más se va construyendo nuevas formas culturales de actuación en las que se vincula claramente la evalua ción y la tarea política, estableciendo un nuevo contexto de elaboración de la legitimidad en las decisiones que afectan a las políticas educativas y a sus componentes. .., Sigue indicando el autor citado: La evaluación como discipl ina académica participa del prestigio social de la ciencia y adquiere una nueva función en el contex to político. Es considerada como un ins­ trumento muy valioso de información y de control, por lo que consti­

250

251

tuye cada vez más una forma distinta de hacer política o, más concre ­ tamente, de explicar las medid as políticas por medio del análisis de los logros alcanzados o eventu almen te fallidos.

División, secuencie crcn y dUración de las etapas educativas

Definrción, diseñoy desarrollo del cumculum impartido en los centros educativos

Condiciones en que S6 desarrollan los procesos de enseñanza y eprendlze je en los centros eoucauvos

La dimensión polític a de la evaluación nos parece de una gran

evidencia, especialmente cuand o se vincula a los sistemas educati­ vos. Hemos querido aprove char y resumir algunas de las apreciacio­ nes de Tiana para dejar mayor consta ncia del hecho. Quisiéramos añadir que la evaluación supone tal como señalábamos al principio de nuestro libro un instrum ento de poder, que se ejerce cuando se asigna valor a un hecho frente a otros y se legitima "su bondad". Y no nos parece mal incidir en la política desde el ejercicio racional de la evaluación, la perversión se situaría en todo caso en hacer evaluación desde los dictados de la política.

7. 6. Componentes básicos para la evaluación de los sistem as educativos A diferencia de los otros ámbitos que hemos tratado en nuestro li­ bro' no es sencillo describir un modelo general de evaluación del siste­ ma educativo. Intentaremos simplemente una aproximación estratégica al tema, analizando en primer lugar los componentes básicos del mode­ lo (objeto, objetivo, agentes, audiencias y aspectos procesales). Poste­ rionne nte procederemos a desgra nar y analizar las actividades más habitu ales desarr ollada s en nuestr as socied ades en los proces os institucionalizados de evaluación de los sistemas educativos.

7.6.1. EL OBJETO DE EVALUACIÓN

Obviamente el sistema educativo constituye el objeto de evalua­ ción, pero desde la perspectiva estratégica no podemos definir al sis­ tema educat ivo tal como lo hemos hecho anteno rment e como un conjunto de procesos. Para poder articular el sistema y su evalua ci?n, para situar la acción en definitiva, preci~amos percibirlo más bie.n como el conjunto articulado de organizaciones, que llenen como mi­ sión el desano llar la oferta educativa sistemática de un país. Posteriormente cuando se diseña el programa específico de eva­ luación para un periodo determinado y con unos objetivos concretos, es cuando los elementos procesales a que hacíamos referencia en aque­ lla definición, cobran carta de naturaleza. Sin embargo, para miciar el análisis del modelo partiremos de la visión aquí establecida, que en principio es la que nos va a permitir mayor juego.

7.6.2. LOS OBJETIVOS

Es evidente que en un estado ·democrático. el sistema educativo debe dar cuentas de su actividad y de sus resultados al parlamento por un lado y a la sociedad por otra (Hutmacher, 1999). Es oblig~ción del centro estratégico correspondiente el evaluar el estado del ~Istema, y en la mayoría de los sistemas educativos OCCidentales constituyen sus objetivos evaluativos más comunes los siguientes: a) Evaluar su relación con el entorno, es decir, establecer en que medida el sistema es coherente con las necesidades de la socie­ dad. b) Evaluar el estado del sistema y su dinámica de desarrollo. e) Evaluar los resultados obtenidos y su nivel de logro, entend i­ dos en el sentido amplio que hemos expuesto anteriormente. No pretendemos con ello limitar a éstos los objetivos ~e evalua­ ción de los sistemas educativos, pero sí señalar que conslItuyen los más nucleares y los que en principio deben orientar la actividad de los organismos encargados de la evaluación del sistema.

252

253

7.6.3. LOS AGENTES EVALUATIVOS: LOS INSTITUTOS DE EVALUACIÓN U OTROS ÓRGANOS ESTRATÉGICOS DE EVALUACIÓN

La mayoría de los países europeos han aceptado el reto que supo­ ne la evaluación de sus sistemas educativos y están procediendo a su institucionalización. Para ello se están dotando de servicios o institu­ tos especializados para la evaluación o la monitorización a nivel glo­ bal del sistema educativo. En nuestro país, la Ley orgánica 111990, de 3 de octubre, de Orde­ nación General del Sistema Educativo (LOGSE), ya consideraba como uno de sus objetivos principales la consecución de una enseñanza de calidad. En el título IV, artículo 55, señala que los poderes públicos concederán una atención prioritaria al conjunto de factores que favo­ rezcan la calidad y la mejora de la educación. Entre estos factores se destaca especialmente la evaluación del sistema educativo. Para ello y en cumplimiento del artículo 62 de la propia LOGSE, se crea el Instituto Nacional de Calidad y Evaluación en el 1990, regulado pOI' el Real Decreto 928/1993 de 18 de junio, que tiene como objeto principal la realización de la evaluación general del sistema educativo. De forma paralela se crean instituciones semejantes en las comunida­ des autónomas con competencias plenas en materia de evaluación. En el resto de Europa, el proceso seguido es bastante similar al nuestro. A simple modo de ejemplo podemos cita!' los casos de Fran­ cia e Inglaterra, Gales e Irlanda del Norte, países con una larga tradi­ ción evaluativa, que crean en los últimos años organismos específicos encargados de realizarla; así tenemos la DEP, Dirección de la Evalua­ ción y Prospectiva, en Francia y la QCA, Agencia para la Calidad Curricular, en las otras tres naciones del Reino Unido, o bien la Audit Unit en Escocia, la Skolverket de Suecia, el Instituto para la Innova­ ción y la Evaluación de Portugal y así podríamos continuar con un largo etcétera que no viene tampoco al caso. Estas instituciones dependen de los más altos niveles de los minis­ terios y gozan, en general, de una gran independencia científica y metodológica. Sin embargo, quisiéramos enfatizar este aspecto y se­ ñalar con Ferrer (1999, p. 38) la necesidad de cumplir con algunos principios básicos en la evaluación de los sistemas educativos: Un primer principio fundamental es conseguir una elevada in­ dependencia política a la hora de diseñar un modelo de evalua­ ción del sistema educativo y de llevarlo a término. Guthrie (1996,

p. 88), indica, que esta independencia se ha de dar tanto en su

práctica diaria, como en la percepción que la sociedad tiene de

este organismo.

El segundo principio es el de que los organismos encargados

de evaluar han de tener un elevado nivel técnico-pedagógico,

para garantizar la calidad de los procesos y la validez, fiabili­

dad y credibilidad de sus resultados.

Evidentemente, el factor más problemático es el que hace referen­ cia a la independencia política de estos institutos. La dependencia ad­ ministrativa y económica del propio ministerio o consejería de educa­ ción a los que se está evaluando gran parte de su actividad, no acaba de generar mucha confianza en la independencia real de estos organismos. De aquí que se alcen muchas voces demandando que deberían pasar a depender, a todos los efectos, directamente de los parlamentos (Arbós, 2000).

7.6.4. Las audiencias La audiencia primaria es evidentemente la propia sociedad. Los ciu­ dadanos deberían tener garantizado el acceso a una formación de cali­ dad que sólo puede garantizar un sistema educativo bien armado, organizado y en pleno funcionamiento y a la sociedad le asiste el dere­ cho y la obligación de constatado. Le sigue la propia administración, como depositaria de la responsa­ bilidad de implantar, desarrollar y controlar al sistema en su conjunto. También el público en general debe tener acceso a la irtformación ge­ nerada en tomo a la calidad de la educación que imparten sus institu­ ciones. Sin embargo, establecíamos que la petición de responsabilidades no cubre todos los objetivos de la evaluación del sistema educativo, también es importante determinar el estado del mismo de cara a su desarrollo. Para ello existen otras audiencias más especializadas, para las que será importante generar irtformación más específica, sólo abas­ teciéndolas adecuadamente de conocimiento evaluativo de alta signi­ ficación respecto del sistema, será posible establecer pautas de mejora y de optimización del mismo, y activar y dinarnizar sus parcelas de responsabilidad. Nos estamos refiriendo a los colectivos profesiona­

254

255

les que operan en el sistema, desde los que ocupan lugares estratégi­ cos en la administración hasta los que centran su actividad en el aula.

7.6.5. EL PROCESO EVALUATIVO

. La moderna evaluación es siempre procesal y se caracteriza por vincular en todo momento la teoría con la acción, y en el caso concre­ to de los sistemas educativos, no es posible concebir su evaluación sin asociarla a la política educativa y a los ámbitos a que se aplica.

Procesos

Recursos

Eficiencia del sistema

Recursos

Resultados

Actúan modulando las relaciones anteriores y facilitan la interpretación contextualízada

El modelo teórico de mayor aplicación en la evaluación de los sistemas educativos es el CIPP (contexto, entrada, proceso y produc­

to) de D. L. Stuftlebeam y E. G. Guba (1968), ya mencionado en el capítulo dedicado a la evaluación de programas. Adaptaciones surgi­ das de él están en la base de la mayoría de propuestas evaluativas que se aplican en distintos contextos. La riqueza que proporciona el sistema de relaciones que se pue­ den establecer entre los cuatro tipos de variables contempladas en el modelo tiene una aplicación importante en el campo que nos ocupa. llustramos lo comentado, exponiendo el esquema que sirve de pre­ sentación del conocido modelo de Thélot (1993), en el que se puede observar su clara conexión con el modelo matriz de Stufflebeam. Sir­ ve también de ejemplificación del diseño para el desarrollo de la eva­ luación. La obtención de la información necesaria para alimentar el sistema se obtiene por diferentes medios, tanto cuantitativos como cualitativos, en los que deberían participar para su recolección y a nuestro juicio, los diversos agentes que operan en el contexto del propio sistema coordi­ nados por los Institutos o Consejos Superiores de Evaluación. Los procedimientos predominantes suelen explotar los datos dis­ ponibles en la Administración educativa correspondiente o los proce­ dentes de los propios centros educativos. También suelen organizar actividades encaminadas a la consecución directa de la información. A pesar de que, tal como hemos visto, en la mayoría de los países occidentales se han creado organismos cuya misión específica es ins­ titucionalizar las prácticas evaluativas orientadas a diagnosticar y valorar la calidad educativa y proponer medidas de mejora para sus respectivos sistemas educativos, la realidad es que aún estamos muy lejos de que este tipo de evaluación constituya una política generali­ zada entre países y una práctica coordinada, global e integradora que promueva a la vez una verdadera cultura de la evaluación. En los países con mayor tradición educativa, los organismos evaluativos del sistema, se limitan a poco más que a la aplicación de pruebas de rendimiento a los alumnos, con un uso muy diverso de sus resultados y a estudios de opinión aplicados a diferentes miembros de la comunidad educativa o a representantes de la sociedad. La concepción actual de la evaluación de los sistemas educativos exige un esfuerzo superior al realizado hasta el momento. Su diseño debe implicar una perspectiva global de carácter integral. Global por­ que los objetivos a evaluar no pueden reducirse al rendimiento de los alumnos, sino que han de abarcar también programas, currículum, profesorado, centros, administración, investigación, innovación, pro­ cesos de cambio, etc.

256

257

Integral porque cada uno de estos ámbitos aporta elementos com­ plementarios para la comprensión y evaluación de los otros y no deben considerarse de forma absolutamente independiente. La interpretación de la realidad educativa exige la consideración conjunta e interac­ cionada de ellos. Estructurar este tipo de procesos exige un alto grado de coordina­ ción de los diferentes agentes que operan en el sistema y ello consti­ tuye, a nuestro juicio, la tarea más determinante a desarrollar por los organismos estratégicos (Institutos, Consejos, etc.) responsabilizados de la evaluación del sistema.

7.7. Los órganos institucionales para la evaluación de los sistemas educativos y sus actividades estratégicas más habituales

-

-

Conocer y valorar el grado de logro de las capacidades básicas previstas por la educación primaria en las áreas de matemáti­ cas, lengua y literatura castellana (y las literaturas de las len­ guas propias en aquellas comunidades que las posean), y las áreas de carácter transversal relacionadas con el desarrollo de la personalidad individual y social del alumno. También se in­ corporó para los alumnos de 6° de EGB, las áreas de conoci­ miento del medio natural, social y cultural. Conocer y valorar las dimensiones del proceso y del entorno educativo con más incidencia en los resultados conseguidos, como son: la formación y las expectativas de la comunidad educativa, los métodos y los hábitos de trabajo y de estudio del alumno y el clima escolar.

Metodológicamente se usaron los siguientes medios:

Las actividades habitualmente contempladas por los institutos como más propias y orientadas a la evaluación de los sistemas educativos, acostumbran a girar alrededor de tres tipos básicos:

Datos secundarios obtenidos a partir de información existente

(informes, estadísticas, bibliografía, etc.).

Datos recogidos mediante el uso de cuestionarios, pruebas,

observaciones de campo y entrevistas en profundidad.

(a) Evaluación diagnóstica de las diferentes etapas del sistema educativo. (b) Participación en estudios con organizaciones de carácter in­ ternacional. (c) Generación de indicadores propios, acordes y complementa­ rios con los sistemas internacionales de indicadores.

En el curso 1996-97 se inició otro estudio que tenía como objetivo general indagar sobre la situación del sistema educativo y sobre su grado de eficiencia real. Se pretendía evaluar los siguientes cinco as­ pectos:

7.7.J. EVALUACIÓN DIAGNÓSTICA DE ETAPAS DEL SISTEMA EDUCATIVO

Citaremos y comentaremos en primer lugar las experiencias más importantes llevadas a término en España hasta este momento. Nos basamos en nuestra presentación de los materiales generados por el "Consell Superior d'Avaluació de Catalunya", especialmente del tra­ bajo realizado por su Secretaria General la Sra. Dolors Iduarte (1999). Así tenernos que en el curso 1994-95 el Consejo Rector del INCE, aprobó llevar a cabo una evaluación de los resultados académicos de los alumnos que aquel curso hubieran ya terminado el primer ciclo de la primaria y de los alumnos que cursaban 6° de EGB, se perseguía como objetivos específicos:

Los aprendizajes de los alumnos de 14 y 16 años. La Comisión encargada analizó el rendimiento en las áreas de lengua y ma­ temáticas de un conjunto de estudiantes de las edades señala­ das (independientemente de los estudios de pertenencia) extraídos de una muestra aleatoria de centros de todo el país. Se utilizaron pruebas de rendimiento diseñas al efecto. Lo que se enseña a los alumnos. En este caso, la Comisión encargada evaluó el Currículum de la Enseñanza Secundaria Obligatoria en las áreas de tecnología, matemáticas, lengua castellana, lengua propia de la comunidad correspondiente, ciencias sociales y ciencias naturales. Se utilizaron cuestiona­ rios dirigidos a los profesores y mesas redondas. El grado en que la Administración educativa y la organiza­ ción interna de los centros favorece el rendimiento de los alum­ nos. En este apartado se trataba de analizar las condiciones en

258

259

las que aprenden a los alumnos, básicamente se planteó como objetivo principal la función directiva, la participación y la convivencia en los centros de Secundaria. La técnica utilizada fue la del cuestionario aplicado a profesores y miembros de los Consejos Escolares de Centro. Los enseñantes. En este caso, se evaluó la función docente en aspectos tales como la atención a la diversidad, la tutoría, la orientación, la imagen social, la incentivación profesional, las estrategias de enseñanza-aprendizaje, la relación del profeso­ rado con otros colectivos y la formación inicial y permanente. Las técnicas utilizadas fueron cuestionarios al profesorado e informes de expertos nacionales y extranjeros. Lo sociedad como colaboradora del sistema educativo. Ini­ cialmente se pretendía estudiar el papel de la familia en la edu­ cación y la relación entre el mundo laboral y el mundo educativo, finalmente se centró únicamente en el estudio fami­ liar. Se utilizaron como técnicas de recogida de información el análisis documental y la encuesta aplicada a una amplia mues­ tra de padres y madres.

7.7.2. PARTICIPACIÓN EN ESTUDIOS CON ORGANIZACIONES

DE CARÁCTER INTERNACIONAL

La interdependencia y la globalización son fenómenos esenciales dé ~uestra época, actúan ya en el presente y marcarán su impronta en el SIglo XXI. Hoy ya hacen necesaria una reflexión global en Educa­ ción que trascienda los ámbitos nacionales, sobre las funciones, las estructuras y las fórmulas evaluativas de los sistemas educativos. Uno de los objetivos de los organismos de evaluación, tanto a ni­ ve estatal como autonómico, es reflexionar y hacer propuestas res­ pecto de nuestro sistema educativo basadas en la comparación, valoración y colaboración con otros sistemas pertenecientes a la co­ munidad internacional. Posiblemente, la fórmula más extendida para llevar a cabo este propósito, se sitúa en la participación en el marco de los organismos internacionales existentes al efecto, en la realización de estudios edu­ cativos de carácter internacional. Vamos a repasar los organismos más conocidos y algunas de sus iniciativas más importantes:

(a) Lo Organización para la Cooperación y el Desarrollo Econó­ mico (OCDE). Esta organización creó en junio de 1986 el Cen­ tro para la Investigación y la Innovación en la Enseñanza (CERI), con la misión de cumplir con los siguientes objetivos: Favorecer y dar soporte al desarrollo de actividades de investi­

gación en educación.

Apoyar a la realización de experiencias piloto orientadas a la

introducción de innovaciones educativas.

Potenciar el desarrollo de la cooperación entre los países miem­

bros en el dominio de la investigación y de la innovación edu­

cativas.

El proyecto internacional más ambicioso iniciado por el CERI en 1988, trabajo que se repite recurrentemente hasta nuestros días, es el conocido como proyecto INES (Indicadores Internacionales de la Educación), para la generación de indicadores de la enseñanza de ámbito internacional. Sin duda, constituye una de las iniciativas más relevantes de la OCDE en materia educativa en los últimos años. Desde 1988, el CERI, ha estimulado el trabajo de diversos grupos de especialistas, cuyo resultada es un amplio conjunto de aportacio­ nes teóricas, conceptuales y estadísticas, muchas de ellas trasladadas por escrito a una publicación, Education at a glance, que contiene los indicadores calculados y constituye en la actualidad un referente bá­ sico para todas las instituciones educativas mundiales. En esta publicación, que aparece aproximadamente cada dos años, pueden encontrarse más de una cincuentena de indicadores relativos a los diferentes aspectos de la educación de los países pertenecientes a la OCDE. Uno de los objetivos que se persigue, y en el que el sistema de indicadores puede aportar alguna información, es el de desarrollar información compartida sobre las estructuras de los diferentes siste­ mas de enseñanza, así como de las nuevas iniciativas políticas y deci­ siones gubernamentales. La construcción de indicadores de la educación está provocando la revisión de los mecanismos tradicionales de información sobre los sistemas educativos, en cuanto que mecanismos de información rele­ vante y políticamente sensible y es indudable que están llamados a constituir un instrumento valioso para la evaluación de los sistemas educativos.

..

260

Ante ciertas críticas por el carácter eminentemente estadístico y cuantitativo de sus indicadores y por su orientación hacia los produc­ tos, en el año 1996, propuso complementar el listado de indicadores a partir de introducir un nuevo estudio dedicado a recoger información respecto de los procesos educativos. Para ello realizó una encuesta internacional dirigida a directores de centros de primaria tratando de establecer nuevos indicadores en torno a:

-

Estabilidad del profesorado.

Liderazgo educativo.

Cooperación entre docentes.

Prácticas evaluativas de los alumnos.

Atención a la diversidad.

Actitud respecto a la mejora de los resultados.

Implicación de los padres.

En 1997 Y con el claro propósito de ampliar los indicadores de rendimientos escolar, inició el programa PISA que persigue hacer un seguimiento de los conocimientos de los alumnos al límite con el si­ glo XXI. El objetivo es conocer si la escuela prepara correctamente al alumnado para afrontar los desafíos del futuro. Se trata de responder a la pregunta de la sociedad, respecto de si nuestros jóvenes, a partir de la acción de los sistemas educativos, incorporan en sus activos los conocimientos necesarios para convertirse en trabajadores encajados en las sofisticadas exigencias del futuro, si están capacitados para poder seguir con el aprendizaje a lo largo de toda la vida y si son realmente capaces de analizar, razonar y comunicar comprensivamente sus ideas.

(h) La Asociación internacionalpara la Evaluación del Rendimien­ to Escolar (lEA). Esta asociación fundada en 1959 agrupa nu­ merosos ministerios de educación, facultades universitarias dedicadas a la educación e institutos de investigación que co­ operan en la realización de estudios internacionales sobre el rendimiento escolar. . ~a n;A tiene su sede en La Haya y a ella se puede afiliar cualquier mstitución solvente, que desee participar en el desarrollo de estudios sobre el rendimiento académico.

Los miembros deben cumplir cuatro condiciones derivadas del propio proceso de adhesión:

-

Representar sistemas educativos globales.

Tener experiencia investigadora y mantener contactos con pro­

fesores y profesionales del campo de la educación.

Estar en relación con órganos nacionales de financiación. Tener experiencia en trabajos sobre política educativa nacional.

(e) La Unión Europea. La Unión Europea también desarrolla nu­ merosos programas educativos (Comenius, Sócrates, Erasmus, etc.), aunque posiblemente el más relacionado con los proyec­ tos orientados a la creación de indicadores se sitúa en el marco del programa Comenius. Así, el proyecto "Crear una cultura de calidad y de credibilidad para las acciones educativas europeas. Action Comenius 1", que fue aprobado y desarrollado hasta 1998, está tratando de ofrecer a la co­ munidad educativa un conjunto de indicadores para analizar la efecti­ vidad de las acciones educativas contenidas en los diferentes proyectos. (d)La Fundación de las Regiones de Europa para la Investiga­ ción en Educación yen Formacián (FREREF). La FREREF se define como una plataforma de cooperación que busca los in­ tercambios entre responsables políticos, altos responsables ad­ ministrativos y científicos encargados de la investigación en el dominio de la educación y la formación.

Su medio de acción más importantes es el trabajo en red entre las regiones, sus responsables políticos, los expertos en educación y las instituciones de investigación. Pretende ser una red de redes y trata de estimular, animar y mediar entre las diferentes regiones europeas parti­ cipantes. Su objetivo más genérico es el de promover la cooperación científi­ ca entre las regiones europeas, con la finalidad de facilitar las investi­ gaciones educativas y el desarrollo de la educación; especialmente en la utilización de las nuevas tecnologías dentro del sistema de forma­ ción. Entre sus estudios más relacionados con el desarrollo y la evalua­ ción de los sistemas educativos, destaca el dedicado a la determina­ ci6n de las competencias, las aptitudes y los comportamientos básicos

262

263

que tendrían que adquirir los alumnos al finalizar la escolaridad obli­ gatoria, para poder garantizar la integración satisfactoria en la socie­ dad europea. Para desarr ollar este tipo de estudio se propon en las siguientes actividades marco: Realiz ar un análisis compa rativo entre los currícula de la ense­ ñanza obligatoria de las regiones europe as que participen, que permit a identificar los conocimientos, las aptitudes y los com­

portamientos básicos que puedan ser comun es a todas ellas. El análisi s se llevará a cabo sobre los cuatro grandes bloque s curriculares siguientes: tecnología, ciencias, lengua, sociales y matem áticas. Analiz ar documentalmente otras investigaciones similares rea­ lizadas, hasta el mome nto en Europa. Realiz ar entrevista en profundidad a grupos reducidos pero sig­ nificat ivos de profesores, alumnos y representantes del mundo labora l con el objeto de identif icar cuáles creen que son los conoci miento s, las aptitudes y las actitud es básicas. Con los resultados de las entrevistas se elaboraría un cuestionario que sería pasado a una amplia muestra de sujetos de la misma pro­ cedenc ia sectorial que los entrevistados. Finalmente, con los resultados se intentaría establecer lo que es común a Europa, y lo que constituyen elementos diferencia­ les de cada una de sus regiones.

7.7.3. GENERACIÓN DE INDICADORES

En la actualidad existe un enorm e interés por conoce r y comparar el funcio namie nto y los resultados que produc en los diferentes siste­ mas educat ivos del mundo occide ntal. Homo logarl os y equipa rar acreditaciones es otra de las exigencias produc to de la globalización y de la creciente movilid ad en que están inmers as las sociedades mo­ dernas . Todo ello ha comportado un importante auge de estudios orienta­ dos en esta dirección que exige la obtención de información en condi­ ciones comparables, con muestras paralelas, que permitan establecer conclusiones generalizables respecto de diversas áreas educativas. Desde el punto de vista técnico, y debido a la falta de criterios absolutos, la comparación supone un valioso instrumento de evalua -

ción. La comparación internacional, en concreto, permit~ adopta r una perspectiva externa y más amplia de los sistemas educal i;os propro s, La necesidad de afrontar estas dificultades con garantías de éxito, obligó a desarrollar y a afinar metodologías complejas, que para su realización precisan apoyarse en un sistem a estructurado y lo más ampliamente consensuado y aceptado. . ' Es por ello que otra de las actividades que los organismos dedica­ dos a la evaluación de los sistemas 'educativos han aceptado como más propia, es la generación de un sistema de indicadores y su alimentación

periódica. . .. . Participar en la construcción de los sistemas de indicadores inter­ nacionales y tratar de mante ner y desarr ollar los sistemas propio s, constituye posiblemente uno de los objetivos más preciados del INCE y de los Consejos Superiores de Evalua ción u organismos equivalen­ tes de nuestro país. El término "indic ador" ha sido definido por Tiana (1997) como una medición o estimación de una característica relativa a una deter­ minad a población, con la intención de aporta r una información signi­ ficativa y relevante sobre su estado o situación. Desde un punto de vista funcional, se trata de un índice estadísti­ co obtenido a partir de una serie de operaciones matemáticas a las que ha sido sometido un conjunto de datos, generalmente cuantitati­ vos, referidos al sistema educativo. Se trata de un dato que conden sa una importante cantid ad de in­ formación y que tiene como propósito valorar el grado de salud de un sistema educativo. Sin embargo, un indica dor no es un mero dato estadístico, es un testigo situado en un lugar estratégicamente bien dispuesto, que nos permite, al observar sus oscilaciones y por referenci~ con la est~ctu­ ra general, interpretar un ámbito concreto de la realidad educativa y sus tendencias. Es conveniente tener en cuenta que para que un dato se convierta en un indicador debe incluir una intenc ión que le dote de significado. Así, el número de alumn os matric ulados en una universidad es un dato estadístico convencional: el mismo dato segregado por edades , analizado en su evolución durante un period o de tiempo y referido a un esfuerzo institucional por captar alunm os adultos, puede constituir un indicador. En la actualidad pueden ser cuantitativos y cualitativos, pero in­ dependientemente de su categorización (numérica o descriptiva), tra­ tan de describir y simplificar los fenóm enos y cambios que operan en

265

264

la realidad educativa sin renunciar a sus características más funda­ mentales, objetivar los hechos y facilitar los estudios comparativos entre contextos muy diversos. Habitualmente se trata de datos estadísticos muy elaborados situa­ dos en un contexto complejo de referencia y que gracias a la informa­ ción que él aporta, la que tengamos de otros indicadores y el conocimiento de las características estructurales del contexto en el que opera, podemos establecer los nexos relacionales suficientes para interpretar la realidad y actuar eficientemente en ella. Un buen indicador debe ser simultáneamente estable y sensible. Estable en el sentido que aquello que registra no se trata de una situa­ ción espuria, y sensible porque reacciona con rapidez ante cualquier cambio que se produzca. El proyecto de creación de un sistema de indicadores por excelen­ cia es el de la OCDE, que sirve de referencia para el resto de sistemas internacionales y en cuyos estudios de ampliación o alimentación participan y colaboran la mayoría de países del entorno occidental, incluso en ocasiones llega a incorporar indicadores procedentes de otros organismos internacionales de prestigio. Este proyecto ha seguido dos líneas de actuación; por un lado, ha transformado en indicadores algunos índices estadísticos tradiciona­ les, a través de ciertas operaciones técnicas, y también ha creado re­ des de trabajo para explorar la posibilidad de crear nuevos indicadores en áreas innovadoras y calcularlos. Gracias a los nuevos indicadores, ha sido posible recopilar datos internacionales comparables como recursos destinados a la educa­ ción, relación entre educación y ocupación laboral, actitudes y expec­ tativas sociales en relación con la educación, etc. Finalizamos este apartado describiendo las características más re­ levantes del sistema de indicadores de la OCDE, tal como Ferrer (1999, p. 40) las establece, y que consideramos que ilustran y resumen, los aspectos más básicos de lo que hemos comentado: Tienen un fuerte componente estadístico (lo que no ha impedi­

do que abordarán mediante estudios concretos aspectos cuali­

tativos del sistema). Este hecho a propiciado que desde la mitad

de los 90 la OCDE se vio obligada a crear la Unidad de Esta­

dísticas y de indicadores de la Enseñanza.

Respetan al máximo las cualidades de tipo técnico exigibles a

cualquier indicador: fiabilidad, validez, exactitud,

comparabilidad (OCDE, 1992, p. 12).

Incorporan en su sistema de indicadores los obtenidos por otras organizaciones solventes, en determinados ámbitos del sistema educativo. No obstante, cabe añadir que la tendencia de la OCDE es asumir por ella misma la elaboración de sus indicadores. _ En sus estudios siempre explican detalladamente el sistema empleado para calcular el indicador, como también el proceso seguido para la obtención de los datos correspondientes. Indi­ can también las limitaciones y precauciones que se han de to­ mar en su interpretación. Practican un encomiable ejercicio de transparencia en todas sus actividades técnicas. Diseñan un sistema de indicadores con un conjunto de caracte­ rísticas, que les ha otorgado un alto grado de aceptación ante la comunidad científico-educativa: visión holística del sistema (sin perder la posibilidad de efectuar estudios sectoriales), relación con el contexto, comparabilidad internacional y permisividad de estudios longitudinales. _ Tienden a colaborar, desde el punto de vista técnico, con otros organismos de alcance internacional (como, por ejemplo, con la UNESCO o la Oficina de Estadísticas de la Unión Europea), a fin de mejorar las definiciones de los indicadores y la aplica­ ción de controles de calidad sobre ellos.

'.--v. i

.

'. :,;'; >'.:-;",

.:.'-:',",';:-:':" ',.;(F-\',:;::> >.'\( /:,,-.-, - ::-::!",~-:-:<,r;

:Rroporoionan.informacion'!s,úJiies rg,sp'!c1o,a1" "del sisl!j"la que, q~.ljCfi~"n: ': , furci'1namiento -,',' ,', ," ,-,-, . '",' - >'­

O<

, -,:/ ":':.'

,>.: y.

-:

¡ .,',

".-)':;>;,!.":,, •. '..

.,.}:. ;),\j~>-t,'.i(-: - -");;:

Permiten hacer compara~i6n es objetivas entre :':'...01. <•.-,-> '::; ,.,'" -,-. ,-". ,,-,_>.: . ".<' " -¡ f-: (,·-,.¡h·: ','.) i\-"'_};'.J::" '., , ..,,\. . diferentes'slstemas 'educallvos o, '¡qternamen\a, ::'.i':·;_"

;entre-'dis.ti_(ltoE;_cqnt43>qo,s:~d~Psist$rra._·,-'

i :

i!

o,"

:;;j; ','

Facilitan el estudio d~ \end~,ncias evolutivas en ~n sis\~I'J~; y, p,,,PO,piOpanpis\j!,s PíjW s~: prospectiva.'

,.

.

Focalizan,I'¡~¡~ricI611~acj~ip~p':Jnfusérlti6os .".• , 'delslste¡na, marcandPppsitlles :direcCioi,,'. de' trabajo,

"

266

267

7.8. Opciones de futuro para la evaluación del sistema educativo La actividad evaluativa a nivel nacional e internacional de los paí­ ses occidentales, aunque cargada de grandes dosis de entusiasmo, to­ davía se encuentra, a nuestro juicio, en situación precaria en gran parte de ellos: las intervenciones desarrolladas acostumbran a ser par­ ciales e incompletas (cuando no guiadas por intereses ajenos a la pro­ pia educación) y generan en muchos casos resistencias y críticas más que notables; la coordinación entre los diferentes organismos encar­ gados de la evaluación del sistema tanto de ámbito estatal como inter­ nacional aún es insuficiente y llena de recelos; las bases de datos nacionales e internacionales presentan importante lagunas por cubrir; los recursos de los organismos evaluativos son escasos; etc. No qneremos con estas afirmaciones, hacer un diagnóstico pesi­ mista de la situación. más bien alertar sobre la necesidad de seguir trabajando sobre los procesos de implantación de la práctica evaluativa a nivel del sistema y de desarrollo de los organismos responsabilizados de esta función y la necesidad de sensibilizar a amplios sectores del mundo social, político y educativo de la importancia del tema y de lo imprescindible que es el que se impliquen adecuadamente en la tarea. Uno de los elementos que a nuestro juicio requiere una importante dedicación es el de determinar los ámbitos de actuación más impor­ tantes, aquellos que conformarían de manera estructural los polos básicos de reflexión y actuación sobre el sistema y desde el sistema. Sin pretender resolver este aspecto, sí que vamos, de manera muy breve, presentar algunos de ellos, a los que hemos denominado opcio­ nes de futuro, que no son otra cosa que contextos de actuación que consideramos prioritarios que se atiendan desde la actividad evaluadora y desde la iniciativa y coordinación de los organismos institucionales dedicados a la evaluación. Estos espacios de actuación los considero complementaIios a las tres actividades clásicas de evaluación expuestas:

a

-

Evaluación diagnóstica de etapas y sectores del sistema educa­ tivo. Participación en estudios internacionales. Desarrollo de un sistema de indicadores propios.

7.8.1. CREACIÓN DE OBSERVATaRlOS DEL SISTEMA EDUCATIVO

Definir políticas educativas que garanticen de forma generalizada una enseñanza de calidad no es una tarea fácil. En una sociedad en continuo cambio, establecer lo que es sustantivo frente a lo espurio y avanzarse al propio cambio anticipándose en la modificación de los currícula y en la selección de las metodologías de instrucción, exige una acción reflexiva de amplio calado y ejercida desde una pluralidad de posicionamientos que van más allá de los propios ~duca~ores. En una sociedad compleja, la educación no puede discurrir de for­ ma simple y llana sin tener en cuenta la compleja red de interrelaciones que debería establecer con los otros sistemas que operan en la ~~alI­ dad para poder potenciar su acción, dotarla de significado y flexibilizar e incrementar su capacidad de respuesta. . Aislarse es condenar la educación a la burocratización y a la ali­ neación. La novedad del actual proceso de cambio es la simultanei­ dad de las transformaciones en las instituciones responsables del funcionamiento social. Los sistemas educativos son estructuras total­ mente interdependientes de las otras estructuras sociales y no pode­ mos concebir propuestas de calidad sin analizarlas conjuntamente'. Aceptar, tal como lo hemos hecho, la importancia y trascendencia del conocimiento y el papel esencial que juega la educación en la sociedad actual como distribuidora democrática del mismo. Asumir que ningún aprendizaje es definitivo y que debem~s edu~arnos a lo largo de toda la vida, que el conocimiento no garantiza la ~tegraclón sociolaboral, pero que el desconocimiento la bloquea Casi absoluta­ mente, modifica profundamente la representación social que se posee sobre la educación. Tal como señala Tedesco (2000, p. 86), «es preciso romper el ais­ lamiento institucional de la escuela, abriéndola a los requerimientos de la sociedad y redefiniendo sus pactos con los otros agentes socializadores». Entendemos que los sistemas educativos deben estar abiertos a la colaboración y a la acción .crítica conjunta con otros activos de la sociedad. Nuestra propuesta es la de crear observatorios continuos y plurales de los sistemas educativos en los que par:ticipen conjuntamente con los educadores, representantes de la administra­ ción y expertos en educación, otros agentes socializadores del mundo político, laboral, familiar y de los medios de comunicación. . Analizar las necesidades de la sociedad, establecer en qué medida el sistema educativo puede darles respuesta, evaluar la situación ac­ tual, hacer prospectiva y articular propuestas de mejora, podría cons­

..

268

tituir un buen conjunto de actividades a desarrollar por estos observa­ torios continuos en su acción, pero cambiantes en los contenidos de estudio, las personas participantes y las entidades representadas.

7.8.2. COORDINACiÓN DE LOS AGENTES EYALUADORES

QUE OPERAN EN EL SISTEMA

Otra de las tareas que se me ocurren como básicas y urgentes, es coordinar (no subordinar), los esfuerzos que se realizan desde distin­ tas instancias del sistema, en la evaluación de ámbitos o servicios que forman parte del mismo. Por un principio fundamental de ahorro en el esfuerzo y de racionalidad en las actuaciones lo considero total­ mente primordial. Puede llegar a pasar que un mismo centro educativo pueda ser sometido, en poco tiempo, a varias acciones evaluativas desde distin­ tos órganos de responsabilidad, que aunque no sean exactamente las mismas, por su proximidad conceptual, pueden llegar a ser percibidas como tales por la correspondiente comunidad educativa. Hemos de comprender y aceptar que la evaluación es única y ha de ser global, integrada e integradora y lo que proponemos es simplemente racionalizar la acción desde el cumplimiento de este principio básico. Es evidente que la realidad educativa es poliédrica y que cada una de las acciones evaluativas trata de visualizar su plano de aproxima­ ción a ella y la generación de un tipo específico de conocimiento evaluativo, pero no podemos desconocemos los que operamos sobre la misma realidad y no podemos renunciar a establecer una cultura evaluativa compartida en la que las distintas acciones se complemen­ tan y se enriquecen mutuamente. A los Institutos y a los Consejos de Evaluación, considero que les corresponde e 1 tratar de generar las sinergias necesarias para que esto sea una realidad; no se trata de ninguna intromisión sino de establecer políticas de colaboración fructíferas, realista y operativas entre las partes.

7. 8.3. CREACiÓN Y GESTIÓN DE GRANDES BASES DE CONOCIMIENTO

Nos hemos servido del término base de conocimiento tal como lo hace Hutmacher (1999) diferenciándolo del de base de datos, pues no

269

nos referimos a una configuración informática precisa en la que sólo se introduce información absolutamente pautada de acuerdo a unos principios cuantitativos. La gobernabilidad de sistemas complejos en un entorno cambian­ te implica ser capaces de construir y gestionar bases de conocimiento complejas y son, a nuestro juicio, los Institutos y Consejos de Evalua­ ción a los que les corresponde la elaboración de este nuevo tipo de bases con la credibilidad necesaria y asegurando su debida difusión a todos los espacios significativos del sistema y de la comunidad edu­ cativa. Como consecuencia de lo anterior, los países occidentales se es­ tán encaminando hacia una reconfiguración de sus bases de informa­ ción, en lo que empiezan a denominarse bases de conocimientos. Una base de conocimiento está formada por conjuntos sistematizados de conocimientos, donde junto con la clásica información condensada mediante indicadores estadísticos se introduce también otro tipo de información con una orientación más cualitativa, como puedan ser estudios monográficos, resúmenes de entrevistas, o incluso objetivos y expectativas políticas. Para que la información se transforme en conocimiento evaluativo, es preciso que el conjunto esté referenciado debidamente, de tal for­ ma que ha de permitir situar y comprender el estado pasado, presente y futuro del sistema educativo en su marco de referencia y ha de ser capaz de reflejar de manera solvente la diversidad de las situaciones que maneja. Para que el conjunto de conocimientos constituyan una base, han de estar estructurados y sistematizados de tal forma, que sea posible su gestión desde la utilización de modelos operativos avanzados, ge­ neralmente sustentados en aplicaciones informáticas de considerable complejidad. Uno de los graves problemas de las clásicas bases de datos al uso, es que acaban siendo cuerpos de información desprovistos de alma. Los datos sin referencias semánticas y las estructuras desligadas de todo reflejo de la realidad, acaban convirtiéndose en presa fácil de la manipulación indebida y el uso perverso. Cuando en el subapartado anterior pedíamos la coordinación de los esfuerzos de los distintos agentes evaluadores que operan en el sistema, estábamos abogando también a que la gran información que se gen' era en el día a día en el contexto del sistema, pudiera alimentar y ser compartida desde su gestión en estas grandes bases de conoci­ miento.

271

270

Con ello no estamos renunciando a los estudios autonómicos, na­ cionales e internacionales orientados a la generación y al desarrollo de indicadores y a la creación de grandes bases de datos y a su uso en los procesos de evaluación de los sistemas educativos. Considera­ mos; ésta, una iniciativa actual de enorme predicamento e importan­ cia y en la que creemos. Simplemente tratamos de alertar sobre la creación y el uso de indicadores vacíos de contenido y de redes relacionales alejadas de toda realidad. Nos consta que el esfuerzo ac­ tual de la OCDE, apunta correctamente en la dirección ya comentada. Posiblemente, la gran aportación de los indicadores, al margen de su intento de capturar la esencia de la realidad educativa y de ser especialmente sensibles a sus cambios, es que hace comparables los sistemas a todos los niveles; y en el marco de la denominada globali­ zación, hemos de ser conscientes, que cada vez más, los objetivos locales y estatales se establecen por referencia al contexto internacio­ nal. Es absolutamente evidente que para la gestión de la calidad edu­ cativa el contexto internacional constituye un espacio estratégico de primera magnitud. Por todo ello, la participación en los estudios de todo nivel, muy especialmente internacional, es fundamental. El conocimiento global y la comparación entre las diferentes realidades, es un factor básico en los procesos de asignación de significado para los indicadores y su posterior uso en la evaluación.

7.8.4. CONSTRUCCIÓN DE INSTRUMENTOS DE EVALUACIÓN

Uno de los pequeños dramas que se vive cada vez que se intenta la captura de información evaluativa, está en la selección o creación de los instrumentos adecuados. En ocasiones, sólo se buscan meramente procedimientos contrastados que sirvan de modelos para la creación de otros y aun así la tarea no acostumbra a resultar sencilla. Al igual que en el mito de Sfsifo, es un eterno inicio de esfuerzos posteriormente inútiles, en el que se ven involucrados muchos orga­ nismos. Así, cada vez que se aborda un estudio evaluativo es habitual el que se creen "ad hoc" y en su totalidad, un conjunto de instrumen­ tación que después lamentablemente se diluye y no incide en trabajos posteriores. Entendemos que una de las labores que se podrían abordar desde los Institutos o Consejos es el impulsar convenios con las Universida­ des para analizar el tema en toda su complejidad y generar instrumen­

tos evaluativos, bancos de preguntas, desarrollar proyectos evaluativos, investigar en las técnicas de assessment, etc., que pudieran servir de referentes para los estudios de los diferentes organismos. El encargo no debería ser meramente técnico, es importante acompañar a la ins­ trumentación de estudios sobre los mismos, análisis de sus posibili­ dades y límites, modos de aplicación e interpretación y toda clase de aportaciones teóricas y prácticas que generen verdadera cultura evaluativa en sus usuarios. Se podría completar con un servicio de asesoramiento al que se pudiera acudir para recibir orientación en el diseño de proyectos evaluativos y en el uso técnico de los instrumen­ tos. Constituiría un servicio de orientación e investigación evaluativa útil para el conjunto de la comunidad educativa.

7.8.5 DISEÑAR E IMPULSAR UNA VERDADERA pOLíTICA INFORMATIVA EN TORNO A LA EVALUACIÓN DEL SISTEMA EDUCATIVO

La estrecha relación de los sistema educativos con los sistemas más importantes de la sociedad y su especial vinculación con gran parte de las estrategias políticas de los estados modernos, hace que los procesos evaluativos siempre vayan acompañados de polémicas y de restricciones informativas y que susciten recelos y desconfianzas en las partes. Es a nuestro juicio un error que la única información que llega al gran público (también al especializado) sea puntual y surgida des­ pués de estudios realizados desde la más pura reacción y frente a si­ tuaciones que nadie quiso atender a tiempo. No es de extrañar que este tipo de outputs sean monopolizados por los medios de comunica­ ción, quienes tienen bien conocido que la educación únicamente es noticia cuando se mueve en el terreno de la polémica. La información sobre el sistema tiene que ser transparente y hay que ofrecerla toda, pero debe hacerse desde políticas informativas bien construidas y armadas. Informar periódica y continuamente, se­ leccionar los tiempos, adecuar cada clase de información a públicos distintos que van desde los realmente neófitos a los más especializa­ dos, generar estados de opinión, sensibilizar respecto a los temas, ofre­ cer marcos interpretativos al gran público frente a las noticias, evaluar el sistema de forma habitualmente proactiva y no bajo presión y cuando no nos queda más remedio, solicitar la colaboración de especialistas de los diferentes medios, para adecuar los lenguajes y los mensajes a

272

273

los mismos, etc. Todo ello forma parte de algo que va más allá de la pura información, constituye un intento de vertebrar una política in­ formativa respecto de la evaluación. Ignorar la importancia que tiene la comunicación en la informa­ ción evaluativa, es sacrificar un importante capital de credibilidad, tan necesario por otra parte para dinamizar situaciones de cambio en la sociedad.

Vemos, por tanto, como la evaluación surge con fuerza y con ella la necesidad de estructurar su práctica en el marco complejo de los sistemas educativos de las sociedades modernas. Se crean para ello organismos estratégicos en los estados y en las comunidades más sig­ nificativas, que tienen por misión le evaluación del sistema, hecho que exige juntamente con un gran esfuerzo práctico otro más estraté­ gico para coordinar los agentes más importantes que operan en su ámbito de actuación y entre ellas a través de los supraorganismos internacionales.

7.9. A modo de resumen 7.9.1. LA EVALUACIÓN COMO UNA NUEVA FORMA DE RESPUESTA A NUEVAS NECESIDADES

7.9.2. LA EVALUACIÓN ENTRE LA TENSIÓN DE DAR RESPUESTA A LAS NECESIDADES Y DE RENDIR CUENTAS A LA SOCIEDAD

La evaluación de los sistemas educativos surge de forma imparable a nivel internacional como producto de una nueva sensibilidad social que exige respuestas de mayor calidad a sus respectivos sistemas edu­ cativos. La preocupación social que dinamiza estas nuevas exigen­ cias es resultado de la preocupación ante el inmovilismo y la falta de capacidad de respuesta de las políticas educativas ante los vertigino­ sos cambios a que está sometida la sociedad y a los efectos de pérdida de competitividad de las sociedades más inmovilistas ante. fenómc­ nos como la globalización. Todo ello ha provocado la necesidad de plantear nuevas formas de gestión de la calidad de los sistemas educativos y se busca en la eva­ luación las claves para interpretar adecuadamente la realidad educati­ va, orientaciones para abrir los sistemas a nuevas influencias que permitan corregir sus disfunciones y legitimación para la modifica­ ción y enfoque de las políticas educativas de las sociedades. Como señala Tedesco (2000), es preciso abrir los sistemas educa­ tivos a las prioridades de la sociedad actual, redefinir sus pactos con los otros agentes socializadores y democratizar los circuitos de acce­ so al conocimiento. Tener acceso a una educación de calidad se ha convertido en la condición necesaria de cualquier estrategia de cohe­ sión social. O bien House (1998), cuando indica que los gobiernos han de en­ contrar nuevas fuentes de legitimación distintas de las tradicionales y las sitúa en la evaluación que constituye, a su juicio, un elemento nuclear de información para la acción gubernamental, al tiempo que educa la opinión pública frente a la que conserva un alto grado de credibilidad.

La evaluación de los sistemas, cuando arbitra su propia praxis, cumple con una doble pulsión. Por un lado se ve impelida a dar cuen­ tas del funcionamiento del sistema educativo (accountability) y por otro a estructurar eficientemente sus estrategias para orientar y acele­ rar adecuadamente sus respuestas a las necesidades del sistema ("responsiveness"). Como señala Pedró (1997, p. 12), «dos paradigmas "responsiveness" y accountability complementarios, sucesivos en el tiempo y en algunos casos contrapuestos, nos permiten explicar e interpretar bastante bien, la mayoría de las reformas educativas europeas de los últimos años». Para incrementar nuestra capacidad de respuesta se generan cua­ tro estrategias fundamentales: -

La descentralización La participación social en el gobierno de los sistemas educati­ vos. La abertura a los agentes sociales. La autonomía de los centros.

En cuanto a la rendición de cuentas, los movimientos estratégicos se han orientado básicamente en los últimos años en dos direcciones fundamentales: En la aplicación del principio de la subsidiariedad, que implica fundamentalmente un nuevo reparto de responsabilidades, ba­

275

274

sado en acercarlas a los que posteriormente se verán afectados por la ejecución de las mismas. y en enfatizar la evaluación de los logros en detrimento de los inputs.

7.9.3. PRINCIPIOS GENERALES DE LA EVALUACIÓN DE LOS SISTEMAS EDUCATIVOS

y cualquier interpretación de alguna de sus partes se hará en referencia al conjunto. Los resultados de la evaluación priorizarán las acciones orien­ tadas a la atención de los colectivos más desprotegidos, se apli­ cará con ello los principios de equidad. Aplicará periódicamente procesos metaevaluativos, con la fi­ nalidad de establecer mejor los principios de actuación de la actividad evaluativa.

Queremos finalizar este apartado y el capítulo dedicado a la eva

Bibliografía

luación de los sistemas educativos con la recopilación de los princi­

pios generales que la caracterizan desde una visión actual y compartida por la mayoría de los países occidentales. Esta recopilación ha sido efectuada por Arbós (2000), en su tesis doctoral: La evaluación de los sistemas educativos ha de ser diseñada y realizada desde la independencia política. La imparcialidad de la evaluación y de su práctica es una condición "sine qua non para su eficacia a largo plazo (Guthrie, 1996). Para que sea una realidad creíble y aceptada ha de disponer del adecuado soporte técnico-pedagógico, que permita conferir la necesaria fiabilidad y validez a los resultados obtenidos. Los resultados deberán ser interpretados teniendo en cuenta su naturaleza interaccionada y en el marco de su contexto políti­ co, cultural, histórico, social, etc.). La evaluación del sistema no puede ser contemplada exclusi­ vamente desde su perspectiva interna. Convendrá que exper­ tos externos colaboren en su interpretación. Sólo desde la visión amplia podemos alcanzar algún grado de independencia en los juicios (Kallen, 1996). Los resultados de la evaluación del sistema educativo han de poder ser empleados con diferentes finalidades: comparación con los de otros países del entorno europeo, realización de es­ tudios transversales o de carácter longitudinal, etc. Dado que la evaluación tiene destinatarios distintos, los análisis sobre los datos deberán tratar de atender a las diferentes audiencias y tener en cuenta sus variadas sensibilidades. La evaluación del sistema educativo ha de mantener siempre presente que su aportación tendrá siempre carácter global (Thélot, 1993). Buscará ofrecer visiones holísticas del sistema

ARB6s, A. (2000), "L'avaluació deis centres dios el sistema educatiu: una proposta

de model integrador". Tesis doctoral inédita. Girona: Universitat de Glrcna.

BELL, D. (1973), The coming 01 Post-industrial Sacie/y. A Venture in Social

Forecasting. Nueva York: Basic Books. DELüRS, 1. et al. (1996), "La Educación Encierra un Tesoro", biforme Q la UNESCO de la Comisión Internacional sobre la Educación para el siglo XXI. París. Edi­

ciones UNESCO. FERRER, F. (1999), "L'uvaluacló del sistema educatiu. Aproximació teórica des de i per Catalunya", en A valuació i Educació. Barcelona: Generalitat de Catalunya. Consell Escolar de Catalunya. GUTHRIE, J. W. (1996), "L' evolution des poli tiques economiques et son incidencc sur l'evaJuation des systémes educatifs", en Evaluer el reformer les systemes educatifs. París: OCDE. HOUSE, E. (1998), "Acuerdos institucionales para la evaluación", en Perspectivas,

vol. XXVIII, 1, pp. 123-131. París: UNESCO. HUTCHMACHER, W. (1999), "L'avaluació en la transformació de les modalitats de govern dcls sistemes educatius. Tendencies europees", en Avaluació i educació, pp. 15-34, Barcelona. Generalitat de Catalunya. Consell Escolar de Catalunya,

D, (1999), "El Consell Superior d' Avaluació del Sistema Educatiu de Catalunya". en Avaluació i educacíá, pp. 47-58. Barcelona: Generalitat de Catalunya. Consell Escolar de Catalunya. KALLEN. D. (1996), "Nouveaux paradigmes educarifs et nouvelles politiquea d'evaluation", en Evalucr et reformer les systémes educatijs. París: OCDE. OCDE (1997), Análisis del panorama educativo. 1997. París: OCDE, CERI. OCDE (1997, 98, 99... ), Education at a glance. OECDE. Indicators. París: OCDE. PEDRÓ, F. (1997), "Les grans Tendencies de les polítiques educatives a Europa" en Polftiques educatives. Barcelona: EDIUOC. SERRA, A. (2000), Preámbulo del libro L'educació superior en el se gle XXI. Conferencia Mundial (1998) sobre I'Educacíá Superior de la UNESCO. Barce­ lona: Agencia per a la Qualítat del Sistema Universítari a Catalunya, UNESCO y Cátedra UNESCO de gestió de l'ensenyament superior. SHAVELSON, R. J., MCDONNEL, L. M., OAKES, J. (eds), (1989), Indicatorsfor monitoring mathematics and science education. A source book. Santa María: Rand. STUFFLEBEAM. D. L. YGUBA, E. (1968), "Evaluation: The process of stimulating aiding and abetting insightful action", "paper" presentado en el segundo simposium. nacional de profesores de investigación educativa. Ohio State University. College

lDDAR'rE,

of Bducation. Evaluation Centre.

276 TEDESCQ, J. C. (2000), "Educación y sociedad del conocimiento". Cuadernos de Pedagogta, 288, 83-86. TH~LOT, C. (1993), L'evaiuatíon du systeme educatij'París: Bditions Nathan. TIANA, A. (1996), "Evaluación y reforma de los sistemas educativos", en Aprender para el futuro. Madrid: Fundación Santillana. TIANA, A. (1997), Avaluacio de programes, centres i professorut. Barcelona: UOe.

j,