STUFFLEBEAM, Daniel y SHINKFIELD, Anthony. Evaluación sistemática.

.."....~-...-.,.....,.,...."'""l'-...-. ~..•.•."""":.""...~-..c;:".-:,7•.•••.•. ' _~-:7".....-:''''7J

.

>

~~¡ ...

b",

'&.

" ••

J/- -

': ,""~;;~:i, .~ ..

i:.

;'

".

-,.'

~~:

lo ~

+

~

~

;;:., f

:

. ,'~ •... , J

~

::."

..•.. ,....

,,~

.

...,'.

~

"

~ w- '"" ~ • '';';;

• t~

.'.,'

~ l'

.

I

."

"

~

'

..•.

;

,',

r

!I."~-

,i

.

(

,

,'.

~

\:

\~

..

;

,

".

.a..

'j., ""

,

;

1, o

~'('

•

,,'

.•• t

.~

I~~

I -

\~

1

;.~

:

...• .~ ". '

'.

~

t

'

..

~:.

...~.

'.

'-~,;,

; ~ '""1.

; : ~~.~ ..~:.'.':~~. ~;.~-t;~~,~:.

,.,.

"

.

",.1

,~".i

~.

'il:-5-',

'o (: -c. c. '0

c' e .c' o "c!

o e e e

c. 'c-

'oe e o e o e

e

e) o c' e,

c~ e e c.

'0 ~C f":0

Daniel L. Stufflebeam Anthony J. Shinkfield

Evaluación sistemática Títulos publicados:

Guía teórica y práctica

l. J. Campian, El niño en su contexto 2. P. Waods, La escuela por dentro 3. C. Saloman, Entomos del aprendizaje con ordenadores 4. D.L. Stufflebeam y A.J. Shinkfield, Evaluación sistemática 5. RS. Nickerson, D.N: Perkins y E.E. Smith, Enseñar a pensar 6. M'w. Apple, Educación y poder . 7. J. Caok-Gumperz, La construcción social de la aliabetización 8. T. Husén, Nuevo análisis de la sociedad del aprendizaje 9. D. Edwards y N. Mercer, El conocimiento oompartido !O. N. Entwistle, La comprensión del aprendizaje en el aula 11. I. Selmes, La mejora de las habilidades para el estudio 12. S.J. BaH,

La micropolítica de la escuela

13. P. Langford, El desarrollo del pensamiento conceptual en la

escuela primaria G. Kirk, El currículum básico M. Warnock, Unapolítica común de educación P. Freire y D. Macedo, Alfabetización M'w.Apple, Maestros y textos. H.A..Giroux, Los profesores como intelectuales P. Freire, La naturaleza política de la educación P. Langford, El desarrollo del pensamiento conceptual en la escuela secundaria 21. A. Garton y C. Pratt, Aprendizaje y proceso de alfabetización 22. L.B. Resnick y W.W. Ford, La enseñanza de las matemáticas .y sus fundamentos psicológicos 23. C.a. Cazden, El discurso en el aula 24. C. Watkins y P. Wagner, La disciplina escolar 25. V. Lewis, Desarrollo y déficit 26. O.C.D.E., Escuelas y calidad de enseñanza 27. S.S. Stodolsky, La importancia del contenido de la enseñanza 28. D.A. Schiin, La formación de profesionales reflexivos 29. C. Rogers y P, Kutnick, Psicología social de la escuela primaria 30. J.D. Wilsan, Cómo valorar la calidad de la enseñanza 14. 15. 16. 17. 18. 19. 20.

',:1'.

".o',;

:.

~

Ediciones Paidós

Barcelona.

I _.~.'-_

..

Buenos Aires - México

I

_'

"

'.

t,':¡

: :';.~.;:~.-:.: 'J:'~1,:\L

~ Ministerio

de Educación

Y Ciencia

t) .')

,j Título original: Publicado

Systematic eva1uation

en inglés por Kluwer-Nijhoff Publishing,

SUMARIO

DordrechtlBoston

')

Traducción de Carlos Losilla Supervisión de Nuria Pérez de Lara Cubierta

') ')

:J

de Ferran Cartes

') ,') :)

e) )

J ,:) 13

I:J

Introducción a la evaluación

17

O

Objetivos . ¿Qué es la evaluación? Métodos Normas La historia

18

()

Guía del lector . 1.

2: reimpresión, 1993 Quedan rigurosamente prohibidas, sin la autorización escrita de los titulares del 'Copyright", bajo las sanciones establecidas en las leyes. la reproducción total o parcial de esta obra po~cualquier medio o procedimiento, comprendidos la reprografía y . el tratamiento informático. y la distribución de ejemplares de ella mediante alquiler o . préstamo públicos.

@ 19B5 by Kluwer-Nijhoff Publishing @ de la presente

edición: Centro de Publicaciones del Ministerio de Educación y Ciencia . Ciudad Universitaria, s/n, Madrid y Ediciones Paidós Ibérica, S.A., Mariano Cubí, 92 - 08021 Barcelona Coeditan: Centro de Publicaciones del M.E.e. y EdiCiones Paidós Ibérica, S.A.

ISBN 84-7509-445-7 Depósito legal B-9.532/l993 N.I.P.O. 176-87-169-7 . Impreso en Nova-Grafik, S.A., Puigcerda, 127 - 08019 Barcelona I

Impreso

en España - Printed in Spain

JL~..",~. .- ..~--,:-f._"""""

J

i

I

19 25 26 32

':) :) ,,)

El período pre-tyleriano, 33 La época tyleriana, 34 . La época de la «inocencia», 35 La época del realismo, 36 La época' del profesionalismo, 40

2.

,:)

~) ~.

O

Reparto de papeles en el trabajo e~aluativo Test de conocimientos sobre la UnIdad 1 Ejercicio práctico. Preguntas sin respuestas Referencias bibliográficas

43 53

Un análisis de métodos alternativos de evaluación

65

~

Objetivos. .. . Conceptualizaciones' alternatIvas de la evaiuación Pseudoevaluaciones

66 66 67

::)

Investigaciones encubiertas, ~8 . , . Estudios basados en las relacIOnespublIcas, 69

59 60 61

O

o

O ,.)

O

:J

O ~

(1

\('

C.

e-

8

("

ee ....

"Las verdaderas Estudios Estudios Estudios Estudios

e ( e e ( 3.

'.c (

«: c' e

eval~aciones

il

La evaluación orientada hacia los objetivos: la tradición tyleriana

91

Objetivos " La intención del m.étodo tyleriano

92 93

(.

(;

La evaluación y la administración

'c

(,

í 5,

96

:~

l

,~

! í

98

t: " ~-,

4.

Test de conocimientos sobre la unidad 3 Ejercicios prácticos Preguntas sin respuesta Referencias bibliográficas

102 106 109 109

Edward A. Suchman y el método científico de evaluación

111

Objetivos . . . . Aspectos conceptuales de la evaluación

112 113

(".

,,(,>,----,.,---,~"-------'~~-~,~~~~~~-~-"~~"-"<~,.~--------~~

119

del programa

124

La evaluación y la ciencia administrativa, 125 Administración de los estudios evaluativos: algunas áreas problemáticas, 126 ' Acuerdos para solucionar los problemas administrativos, 127

El pro;ed!miento evaluativo de las ocho etapas, 99 El apendlce de las valoraciones basadas en múltiples criterios, 100

(.

9

Evaluación contra investigación no evaluativa, 119 Aproximaciones metodolÓgicas a la evaluación, 120 Variaciones en el plan de investigación evaluativa, 121 Principios de planificación de la investigación evaluativa, 122 La valoración de los efectos, 122

J 76 78 84 88 88

. Metfessel y Michael: una ampliación del método tyleriano

Los aspectos metodológicos de la evaluación

J

La evaluación como proceso terminal 96 Limitaciones técnicas 97 ' El rendimiento como' último criterio, 97 Tendenciosidad y falta de alcance de sus componentes evaluativos, 98

(

".

72

Conclusión . Test de conocimientos sobre la unidad 2 Ejercicios prácticos . Preguntas 'sin respuesta Referencias bibliográficas

I

Propósitos y principios de la evaluación, 114 Los valores y el proceso evaluativo, 115 Las presuposiciones en los estudios evaluativos, 116 Tipos de evaluación, 118 Categorías de la evaluación, 118 .

70

de orientación de la decisión 72 centrados en el cliente 74 ' políticos, 74 . , basados en el consumidor, 75

AÍgunas limitaciones del método tyleriano

(

G.' t;;

Sumario

Procedimiento de diseño evaluativo, 93 Ventajas del método tyleriano, 94 Utilizacionés del modelo tyleriano, 95

.C

("

sistemática

Estudios basados en objetivos, 70 Estudios basados en la experimentación, 71

'f!

(

Evaluación

Cuasievaluaciones

e

'c

I

¡-

1 I

\

Test de conocimientos sobre la unidad 4.. Preguntas sin respuesta Referencias bibliográficas

128

La planificación evaluativa según Cronbach: una sinopsis

137

Objetivos . Introducción a los problemas más importantes

138 139

135 136

Una planificación previsora y flexible, 139 La evaluación útil, 140 Enfoques evaluativos enfrentados, 142 El consenso en los elementos de la planificación, 143 E} equilibrio en la planificación evaluati~a: resumen, 144 Los conceptos de Cronbach' acerca de los elementos planificación evaluativa: Uto

de una 145

Unidades, tratamientos y operaciones de observación, 145 UTOS: El dominio de la investigación, 146 Definiciones de los elementos de uto y UTO, 147 *UTOS: El.dominio de aplicación, 149 La identificación de las cuestiones a investigar, 151 La fase divergente, 152 La fase convergente, 154 Planificación de la comunicación La utilidad de los resultados, 156 La comunicación directa, 157 La extrapolación de los resultados, 158

156

:) \

() 10

I

Evaluación sistemática Sumarlo

El propósito

de la evaluación

159

Flexibilidad del diseño, 159 Las evaluaciones y la política: limitaciones, 159 Otras consideraciones, 160 T:st ~~ conocimientos sobre la unidad 5 EJercIcIos prácticos . Preguntas sin respuesta Referencias bibliográficas 6.

t \

J

Stuf~ebeam: la evaluación orientada hacia el perfeccio~am~ent~ Objetivos. . Un poco de histori; per~onaj El desarrollo del modelo CIPP . La elaboración de la evaluación CIPP por del C " de Estudios PDK parte omIte El modelo CIPP . de. .'. '.' , , , , "compara o con otras reCIentes propuestas eva1uatlvas El,' e,.IPp como: estt~tegia pa'ra' el' per f eCClOnamIento ' " d'e los sis'' temas , Panorama de Ids ca~ego;ías del CIPP Evaluación Evaluación Evaluación , Evaluación

168 171 172

8.

175

176 176 177

Stake: el método evaluativo centrado en el cliente Objetivos , La condición de la fig~ra de la evaluación La descripción, 241 El juicio, 242 Esquema para la recopilación .de .datos Evaluación respondente' ,"'," ' Evaluación preordenada cont. 1'., , ',' , la eva uaClOnresponden te 253 Estructura sustancial de la evaluación responden te, 260

11

181

T. R, Owens y R. L. Wolf: un método contrapuesto de evaluación

293

\)

Objetivos Intención del modelo de contraposición

294 295

\)

193

235 240

241

9,

299

'~) ;)

1)

() 301

r) 1,)

Test de conocimientos sobre lallnidad8 Ejercicios prácticos Preguntas sin respuesta Referencias bibliográficas

304

()

308

\)

La evaluación iluminativa: el método holístico

313

- Objetivos . La evaluación tradicional:

semillas de duda

311 311

315 316

La importancia del proceso de aprendizaje de la valoración, 316 El paradigma agrícola-botánico, 317 Mac Donald y el método holístico, 318 El concepto de Stake de la evaluación como representación La evaluación iluminativa: un paradigma socio-antropológieo

243 251

() /)

El argumento a favor, 301 El argumento en contra, 302 204 208 209 210 222 231 232

,,)

e')

el modelo judicial

-Los pros y los contras de la evaluación contrapuesta

'")

1)

La base lógica, 299 Las cuatro etapas del modelo judicial, 300

190

() ()

265 270 285 290 290

Una forma del método de la contraposición: de Wolf

186

'J

Observaciones generales Test de conocimientos sobre la unidad 7 Ejercicios prácticos Preguntas sin respuesta ReferenCias bibliográficas

Los procedimientos de contraposición en su contexto legal, 296 La aplicabilidad en la evaluación educacional, 296 Realizaciones prácticas, 297 Dimensiones de los procedimientos de contraposición, 298

del contexto, 196 de entrada, 197 del proceso, 199 del producto, 201

Él diseÍi.o' de ev~luaciones . ' Metaevaluación y normas . Conclusión T~st de conoci~ien¡os s~bre 'la u~idad 6 Ejercicios prácticos . ' Preguntas sin re'spuesta Referencias bibliográficas 7.

162

I

y métodos de la evaluación iluminativa

Características principales de la evaluación iluminativa, 323

~)

e) e) ,)

319 320

El contexto de los programas educativos, 320 Organización

,) ,)

323

,) :) ,')

~:>

(.J O ()

()

t (

f

12

f

I

Evaluación sistemática

(

El informe y la toma de decisiones ¿Quién recibe un informe?, 325 La co~unica.ción del espíritu del programa, Las dIferenCIas entre los informes, 326

(

Problemas relacionados con la evaluación iluminativa

(

326

327

Las reservas de Stenhouse, 327 La tendenciosidad experimental 328 Estudios a gran escala, 328 '

( (

.M'N':~-'f "::

?~

(

T~st conocimientos sobre la unidad 9 EJerCICIos prácticos . . Preguntas sin respuesta Referencias bibliográficas

( ( (

GUIA DEL LECTOR

325

la.

( ( ( ( (

( (

( ( ( ( (

( (

t (. (

329

339

Objetivos. . . . La definición de evaluación . Critica de otras tendencias Evaluación formativa y sum~tiv~ : . . Evaluac~~n ~ma:eul' contra evaluación profesi;nal EvaluaclOn mtnnseca y evaluación final La evaluación sin metas Valoración de las necesidad~s . La lista de control de indicadores de la evaluación La metaevaluación Ideologías evaluati~as' . . ideología !deología Ideología ideología

341 Unas palabras para el lector

343 343 344

Este libro está concebido para el uso de un amplio grupo de personas interesadas en la valoración, ratificación o perfeccionamiento de la calidad de los programas. Es decir, para aficionados, especialistas en investigación, administradores, profesores, evaluadores y estudiantes. Todos estos grupos pueden utilizar el libro para conocer un amplio panorama de métodos susceptibles de ser utilizados en programas de evaluación. No sólo obtendrán una orientación general, sino que también podrán usarlo para desarrollar un nivel básico de habilidad a 1a hora de aplicar uno o más de esos métodos. El libro puede estudiarse en el contexto de un grupo de trabajo o leerse independientemente. Puede seguirse de principio a fin, o utilizar selectivamente cada una de sus unidades como manuales en forma de capítulos. La información resultante es válida para programas de evaluación, para proyectos y para materiales sobre educación, salud y bienestar. El libro contiene diez unidades. La primera y la segunda exponen, respectivamente, un panorama de la evaluación y un análisis de tres amplios campos que tratan de explicarla. Las restantes unidades proporcionan exhaustivos estudios sobre ocho modelos escogidos de trabajo evaluativo. Nosotros le sugerimos que, al principio, estudie las dos primeras unidades. Este estudio le familiarizará con el tema de la evaluación, cada día más importante, en su perspectiva histórica. También le ayudará a apreciar la complejidad y los problemas propios de este campo. Le informará sobre los métodos alternativos que se han usado y recomendado. Y, con toda probabilidad, le ayudará a descubrir si su concepción presente de lo que se necesita para averiguar el valor de algo es totalmente limitada, anticuada, ilógica en algunos aspectos, no tan útil como otro posible método, o, por lo menos, si es opuesta a otros puntos de vista.

345 346 346 347

347 348

352 352

separatista 353 positivista: 354 administrativa 354 relativista, 356

La profesionalización de la evaluación Test de conocimientos sobre la unidad Ejercicios prácticos . Preguntas sin respuesta Referencias bibliográficas

:.

334 338

El método evaluativo de Scriven orientado hacia el consumidor

La La La La

UNIV~~:,,~~-,i:_,: 'jf j\ e lit r 1,;;)

356

la

357 370

372 373

Indice de autores Indice analítico

375 377

,

(

t. \

"\ ==-~~"~~~ ..-

.-

~.~-----

------------

••••

--

----

1II

') ') 14

I


Gula del lector

15

ficar los logros realizados en cada objetivo en una escala que vaya de ~inguno a algunos, muchos o muchísimos. Pue~e c~talogar l~s preg~ntas qu~ ~un necesitan respuesta y las técnicas y expenenc1as que aun preCIsa a~qulrlr. Puede hacer otra lista de los efectos inesperados que haya cr~ldo expen~entar en sus conocimientos, técnicas y actitudes, como consecuenCIa del ~studlO del ma:e: ial los cuales quizá sean positivos, al tratarse de nuevas 1deas, pero qUlza ~a~bién negativos, puesto que pueden haber contribu~do. a. aumenta; la. confusión. Le sugerimos que intente elaborar algunos eJerC1C10Spor. Sl m1smo, con el fin de valorar los logros que, potencialmente, le haya podIdo prop~rcionar el estudio de las unidades. Si lo hace, por favor, mándenos. una copla, que, sin duda, puede sernas de utilidad en el futuro, cuando reVIsemos este libro. Finalmente, le recomendemos que haga planes. ;oncretos con el fin de poner a prueba sus nuevas ideas acerca de la evaluaclOn, ya sea cr~ando evaluaciones, evaluando evaluaciones o dirigiendo un grupo que reahce evaluaciones.

Escoger sus propios objetivos Cuando haya terminado las dos primeras unidades, le recomendamos que se fije sus propios objetivos para el mejor uso y aprovechamiento del resto del texto. Primero, debería usted decidir qué es 10 que pretende conseguir del resto del estudio. Quizá desee alcanzar un conocimiento más profundo ::¡cerca de un método concreto que ya está empleando en la evaluación de un programa determinado, ya sea para valorarlo más minuciosamente o para disponer de una ayuda adicional; o si usted o el grupo en el que está incluido aún no se han comprometido con ningún método en particular, quizá desee estudiar varias alternativas para luego escoger o adaptar la que mejor se ajuste a su situación. Para llegar a una buena elección, le sugerimos que revise cuidadosamente el material que le proporciona la unidad 2, ya que se trata de un análisis comparativo de métodos alternativos. Cuando haya decidido si su objetivo inicial se centrará en muchas unidades o sólo en una, le sugerimos que examine las páginas iniciales de cada una de las unidades que, provisionalmente, haya decidido estudiar. En particular, debería usted fijarse bien en la lista de los objetivos que persigue cada unidad. Después, ayudándose de su propio análisis y de los objetivos reseñados en la unidad pertinente, le recomendamos que, para estudiar cada unidad, haga una lista de sus propios objetivos en otra hoja de papel. Conservando esta hoja a mano mientras examina cada unidad en concreto, le será más fácil conducir su estudio en la dirección que considere más conveniente, de acuerdo, a la vez, con los objetivos fijados por cada unidad.

\

La evaluación de su propio trabajo

I

Puede usted mismo comprobar que cada unidad contiene material destinado a ayudarle en la evaluación de su propio trabajo. Este material está estrechamente relacionado con los objetivos de la unidad e incluye preguntas con respuestas alternativas cuya solución puede comprobar usted mismo, ejercicios prácticos con las respuestas correspondientes y preguntas destinadas a la discusión. Le animamos a trabajar con todo este material. Este esfuerzo no sólo le proporcionará información adicional acerca del alcance de su dominio del material leído, sino que también le ayudará a reforzar su comprensión de los contenidos de la unidad y su capacidad de aplicar el método correspondiente. Además de trabajar con los ejercicios de evaluación que le proporcionamos, le sugerimos que también realice una cierta autovaloración comprobando la consecución de los objetivos que previamente se había fijado. Puede hacer una lista de los avances que crea haber hecho en cada objetivo. Puede clasi-

I

')

} ')

) ) ')

) ) ) )

) )

)

) )

1

~,~:?t~~. """..

:v""'~~~';l~s

) )

) ) ) ) ) ) ) ) )

) )

) ) )

------

-_

)

_------~---

..

,J

('

.j

r r:

.,.l~

•

,r

.i~

e (! e e

:;,~ ;

1

INTRODUCCION

A LA EVALUACION

.~

';';.

I íjl

'j.

e

e

,

£

e e e ( . La evaluación es una de las actividades fundamentales de los serviCiOS profesionales más solventes. Los clientes de estos profesionales merecen una asistencia que satisfaga sus necesidades, que sea de una alta calidad, moderna y eficiente. Para que los profesionales se responsabilicen de satisfacer estos niveles, la sociedad debe someter regularmente a evaluación a los propios servicios profesionales. Una parte del trabajo evaluativo, la que consiste en la regulación y protección del interés público, debe, obviamente, ser dirigida por organismos independientes, como agencias gubernamentales y juntas acreditadas. Pero, fundamentalmente, las evaluaciones rnás importantes de los servicios profesionales están realizadas (o encargadas) por los propios profe-

.,,(

( ( (

( (

e

sionales. , Para mantener sus servicios al día y asegurarse de que, efectivamente, satisfacen las necesidades de sus clientes, los profesionales deben recabar continuamente información oportuna sobre el trabajo evaluativo. Este proceso incluye estudiar las necesidades de sus clientes, evaluar los métodos que proponen o utilizan otros, seguir muy de cerca el desarrollo del servicio, valorar los' resultados a corto y largo plazo y buscar modos de que los servicios sean cada vez más eficientes y efectivos. La primera pregunta que todo grupo evaluativo exterior debe plantear es si el profesional realiza periódicamente un programa de autoeva1uación que responde oportunamente, con las correspondientes pruebas y evidencias, a estas cuestiones. Desafortunadamente, el alcance de las evaluaciones que realizan los servicios profesionales -por medio de los propios profesionales y sus agentes acreditadosha sido, tradicionalmente, y en el mejor de los casos, desigual, y, en general, pobre. Algunos distritos escolares grandes y agencias gubernamentales mantienen sistemas de evaluación competentes y realizados por un personal adecuado, y los evaluadores de agencia han, sabido ayudar a las orga-

( ( (. (.

t

, (,

t ~

" ~/

\...

~. ~

,__~'~-~~~,.~-ccr-=~~_~

__

~

__,

_

")

J 18

I


Introducción

nizaciones centrales a ser responsables con todos los implicados y a obtener la capacidad de planificar y administrar sus servicios. Pero incluso el más competente de estos sistemas evaluativos no puede asumir las responsabilidades evaluativas de todos los profesionales de la agencia. No debe olvidarse el hecho de que la evaluación es una responsabilidad tanto personal como institucional. Las oficinas de evaluación pueden cubrir las principales responsabilidades de una agencia y proporcionar preparación para el servicio y ayuda técnica al personal. Pero, a la larga, de todas maneras, cada profesional debe ser responsable de evaluar su propio trabajo. Este libro' ha sido escrito para ayudar a los educadores profesionales y a aquellos que desempeñen otros servicios profesionales, como servicios sociales o médicos, a consolidar sus conocimientos prácticos sobre la evaluación. Su intención primordial es la de un manual. Se puede consultar cada unidad, que es independiente de las demás, para obtener información sobre un tema en concreto. En ger,eral, los temas incluidos han sido escogidos para proporcionar información acerca de la naturaleza general de la evaluación, para facilitar un amplio análisis comparativo de ciertos métodos de evaluación alternativos y para exponer un profundo estudio de ocho modelos o planes alternativos para realizar evaluaciones. Cada unidad ha sido escrita como una guía autosuficiente que incluye objetivos de aprendizaje, información expositiva, preguntas y ejercicios que puede calificar usted mismo y unas pocas preguntas destinadas a la discusión.

1. 2. 3.

4

.

5.

I

a la evaluación

")

19

J

d e identificar ., um'd Definir la eva 1uaClOn, ta 1 como se presenta en esta d £mi ióna , 1 base lógica que se ha proporcionado para esta. e c . I~entificar varios métodos de evaluación alternatlvo:~a roaramar evaluaIdentificar los dos princip~les. grlupos de n~~~:: ~orm~s del Joint Comciones y caracterizar los pnnclpa es rasgos

J ) ')

I

mittee. b' 1 . períodos principales expuestos en esta Identificar y descri lr os cmco 1 " evalua1 l' , d e la teoría y a practlca unidad para caracterizar a evo UClon

')

}

~~~~~ar y definir doce funciones principales del trabajo evaluativo.

) Como en todas las unidades, al final de ésta encontrará ~~as~;r~~sdp~e~;:~ . .. L . o que los haga y que campa guntas y eJerclclos. e sugenm s . d' ta con sus colegas . ndientes Luego examme ) lSCU con las so 1UClOnescorrespo . d 1 d s los objetivos estu. t Aunque pue a a canzar te o las preguntas sm respues a. . nidad le recomendamos diando sólo el material que se proporClOna en esta u t diados consultando la que amplíe sus conocimientos sobre los conc~ptos es u bibliografía que se facilita al final de cada umdad.

)

) )

) )

¿Qué es la evaluación?

Esta primera unidad, concebida como un panorama de la evaluación, proporciona una amplia definición de este concepto y pasa revista al desarrollo de la evaluación, especialmente desde 1930. Muestra cómo ha evolucionado el término evaluación, en lo que se refiere a la profundidad y amplitud de los significados que se le han atribuido. Las muchas definiciones y funciones que se le han aplicado a la evaluación, dependiendo de los cambios en el contexto político y social, también son descritas aquí. A la vez, se descubren ciertas novedades metodológicas clave y ciertas funciones que se han asociado con el trabajo evaluativo. Finalmente, se discuten los esfuerzos que se han realizado recientemente para profesionalizar el trabajo evaluativo, especialmente a través del desarrollo de criterios profesionales. En general, la intención de esta unidad es familiarizar al lector con la evaluación entendida como un campo de estudio y una práctica que puede diferenciarse de otros afines, tales como la investigación, la planificación y la administración.

)

. ué es la evaluación? S han dado muchas respuestas a la pregunta. . (q . e , '1 en aspectos menores, otras mantlenen Mientras algunas ~e ellas var:an so o 1 d finiciones identifican esencialdiferencias sustanClales. Por ejemplo, a gunas el' . l'o'n o las encues., t como a mvestlgac mente la evaluaclOn con otros concep os . 'n de otras materias. Una tas, mientras otros distinguen cla~ame~te ~a ~va~a~~ce mucho tiempo, afirma definición importante, y que se Vlene .an. o es e ientras ue otras que la evaluación sup~ne ~?mpa~ar ob]e.tlvos Yl::~~lt:d~~, :tudio c~binado exigen u~a con~ePt~al;~ac~~o::s

~~~:~

) ) ) ) )

~~elas distintas definiciones formu-

) )

ta~ad:rda~a~~3e_~1:0n slAe~de~~s dSi{:r~~~~:'d m20~r~; .~~iO~:al~~c~:li~;se~ce:~apda~:t~: l~~ um a es., 'l' . todo lo que estos modelos y definiciones. Esencialmente, ese ana lSlS exa~ldnad d fi .. , damos en esta um a . se ha argumentado contra Ia e mClon lque d' omúnmente el diccionario ue;ce cd l Joint Committee on Esta definición es consecuente con o de una manera más específica, es la que a a opta o e " l l~~andards for Educational Evaluation. La definición es ,l~ slgdUlente:b.ateva ua . ,. d l o el mento e un o le o. ción es el enjuiciamiento slstematlco e a va la . r l evaluación Esta definición se centra en el término valor e lmp lca .~ue a 'd . .. D d 1 to en que la evaluaclOn, en un sentl o siempre supone JU1C10. es e e m?~en inforfnación'segura óptimo, emplea procedimientos ob]et1:?s para obtener una.,. 1 deni:re imparcial, ya está ligada a la valoraclOn. En efecto, su meta ese~cla

)

o

)

1

Objetivos

)

r

Esta unidad se propone cinco objetivos de aprendizaje. Cuando haya estudiado a fondo el capítulo, usted debería ser capaz de realizar los siguientes objetivos:

1,

)

) )-

o

¡ . ~-

"

)

o",.

L;~'

~__ ":"===::-===========~~~

)

es o,,

_o_~~ __ .~

)

'\.

. J

.. , __

;.,)

s.:;.: )

l_"

1

.t ¡ ( (

(

( ( ( (

f ( ( { ( (

( ( (

( ( ( (

( ( ( ( ( ( (

( (

,

(

(

'{-

20

I


minar el valor de algo que está siendo enjuiciado. De acuerdo con esta definición, si un estudio no informa de cuán buena o mala es una cosa, no se trata de una evaluación. Algunos autores se han mostrado contrarios a esta posición. Creen que esta orientación valorativa conduce a interpretaciones radicales y subjetivas que conceden un poder inmerecido a los evaluadores e impiden el progreso. Afirman, por así decirlo, que «la belleza reside en los ojos del observadot>~ y que las valoraciones de un grupo no deben tener precedencia sobre las de otro a la hora de determinar si algo es bueno o malo. También afirman que la evaluación es, demasiado a menudo, una fuerza negativa y, en general, mala psicología. Pero sus argumentos sólo nos convencen de que la mayoría de las evaluaciones no son determinantes y de que es difícil hacerlas bien; quizás existen muchas evaluaciones distintas, y posiblemente contradictorias en apariencia, de un obreto dado, dependiendo de la posición valorativa que se adopta. Pero, inevitablemente, la valoración debe desempeñar un papel. Y si sirve al progreso y se utiliza para identificar los. puntos débiles y los fuertes, y para tender hacia una mejora, puede ser una fuerza positiva. Como puede verse, la evaluación es una empresa compleja. Creemos que este aspecto de la complejidad no debe ser interpretado en el sentido de que estas evaluaciones sólo deben ser consideradas como procesos mentales que se producen de un modo natural, conduciéndonos así hacia una gran variedad de interpretaciones sobre el valor de algo. Al contrario: significa que hay que poner mucho cuidado no sólo cuando se recopile la información, que debe ser de calidad, sino también cuando se clarifique y proporcione una base lógica que justifique las perspectivas de valoración utilizadas para interpretar los resultados.

Como se puede ver, en la afirmación anterior incluimos la posibilidad de emplear muchas perspectivas de valoración. Consideramos que esta posibilidad es fundamental para los evaluadores y profesionales en general. A menudo, existen distintos públicos, que exigen o necesitan cosas distintas de un servicio profesional. Por ejemplo, a las familias acaudaladas quizá les importe más el hecho de que las escuelas públicas preparen a los estudiantes para entrar en colegios de élite y en universidades, mientras que los nuevos inmigrantes, que son pobres y hablan muy poco inglés, quizá rechacen las escuelas que no ofrecen una educación bilingüe, no atienden a los niños atrasados y no promueven la integración social. A la hora de evaluar un distrito escolar en concreto, un evaluador competente debe tener en cuenta, según nuestra definición, entre otras cosas, estas dos perspectivas de valoración. De hecho, podríamos afirmar que las necesidades que unen o separan a los clientes de un determinado servicio son las que deben considerarse como base para decidir qué tipo de información se debe recopilar y a qué criterios recurrir para determinar la valía o el mérito de un servicio. Los términos valía y mérito también deben ser definidos para enriquecer

I I

Introdúcclón

a la evaluación

I

21

., S CRlVEN (1981) ya ha indicado dlas trascend evaluaclOn _ nuestro concepto e . 11 1 importante papel que esempenan dentales diferencias q~e hay ent~e e d~s ~ ~. Por ejemplo, un programa pa.ra a la hora de determmar. el ~a or drá groducir profesores que enseñen Hlsformar a profesores de Hlstona, ¿pod p e se pueda confiar en ellos? , toria a otros de un mo d o e f ec t"IVo y e manera qu debe hacer? Si lo hace, sera h 'b' 1 ue se supone que d En general, ¿ ara len o q 'l'd Por eJ'emplo si la socieda ya no . d que no sea va I o. , d meritono, pero pue e d H' i porque ya tiene más de los que pu~ e necesita más profesores e Istor a y bueno _y quizá sea mejor . , d e1 proemplear, entonces aunque e.1 programa l'sea mu nivel de expanSlOn 'd ontmuar con e mismo A que otros parecI OS-, c . d tar sus escasos recursos. unque . , 1 mejor manera e gas grama qUlza no sea a 'l'd d bemos indicar que un progra., ede no ser va I o, e f un programa mentono pu puede ser va'l'd .. I o. P u ede que no sea bueno armar ma que no sea mentor~o n~ exista una gran escasez de ellos. . malos profesores de ~lstor.l~ aun~ue ué bases de valoración deben ser temdas Hasta aquí, esta dlscuslon so re q . do tres importantes fuentes en c~enta a la hora de evaluar algo, ha proporClOna de criterios: 1. 2. 3.

Las distintas expectativas de los clientes. ., icio en cuesuon. . 1 . d 1 El mérito o exce enclas e serv . ( d ir su validez potencial). Hasta qué punto el servicio es necesarzo es ec ,

ten an en cuenta los tres aspectos cuanEn general, recomend~~os que s~eem~s necesario considerar dos aspect~s do se realice una evaluaclOn. Pero c .. pueda ser de mucha call. d 1 'd d Aunque un serVICIO más: la viabiltda .Y a equl a... de distintos grupos de clientes y se cendad atienda los dderentes obJeuvos. . , f lle en lo que se refiere a los qUlza a tre 'en u n área que de verdad lo 'dnecesite, d valores de la viabilidad y la eqUl a., de los que necesita o pue. d nsuma mas recursos 1 Por ejemplo, pue e que ca l' . En cualquiera de los dos casos, e de causar infinidad de problemas po Idu.cfios'den esas áreas para hacerlo más . .. debe ser mo I ca o programa, en prmClplO, l" d 1 ervicio debería mencionar esto viable. Obviamente, una buena eva u~:lOn re qSueel servicio sea más sencillo, . r una so lUCl0n pa a . y, en su caso, proporClOna d d más apropiado y sea políucamente '1' l' los recursos e un mo o .. l' bl uUlce uempo y d es , en princlplO, ap lca e a viable. eEste argumento en favor dI'e a vla bTd 11 a todas las sociedades. encionar aquí la equidad, está La última base valorativa que vamos ~ dmd democráticas. Se exigen las l. d con las SOClea es predominantemente re aClOna a 1 d reclama la libertad para tomismas oportunidades para todo e ~un.? Y/:de resultar incompleta si no dos. En los Estados Unidos, .u~a e~al~~cl~~be Uestar pensado y ser asequible tiene en cuenta que un S~Vl~lO p~bd d Es importante indicar que nuestro para todos los miembros e la. so~e a. ficiente decir que los servicios púconcepto de equidad es comp eJo. o es su

)

~ 22

Evaluació.1] sistemática

blicos educativos deben poder ser requeridos y usados por todo el mundo. Como ha dicho KELLAGHAN (1982), para que exista verdaderamente la igualdad deben existir siete indicios de equidad: l.

Los servicios públicos educativos de una sociedad deben estar pensados para toda la población. 2. Todos los sectores de la sociedad deben tener el mismo tipo de acceso a los servicios. 3. Todos los grupos deben disfrutar de una participación equitativa en la utilización de los servicios. 4. Los niveles de logro, por ejemplo, los años en el sistema educativo, no serán significativamente distintos para los diferentes grupos. 5. Los conocimientos exigidos para alcanzar los objetivos del servicio no deben ser sustancialmente diferentes para los distintos grupos. 6, Las aspiraciones vitales que se persiguen deben ser similares en todos los grupos sociales. 7. El sistema del servicio deberá producir resultados similares en lo que se refiere a la mejora en el bienestar de todos los grupos sociales. De la discusión anterior, se puede colegir que la definición de evaluación que hemos propuesto es engañosa en su aparente simplicidad. Cuando examinemos seriamente el término base valor, debemos inevitablemente tomar en consideración tanto las perspectivas de valoración como la información, la combinación de ambas con el fin de conseguir averiguar el valor de algo y, por último, la transformación de los resultados en conocimientos operativos que se utilizarán para suministrar o no suministrar (o para comprar o no comprar) ciertos servicios y para mejorar los que ya se están ofreciendo. Antes de terminar con este tema de la definición de evaluación, debemos considerar otros tres aspectos de la evaluación. El primero se refiere a si la evaluación necesita ser comparativa; el segundo, a las principales utilizaciones de la evaluación; y el tercero se pregunta hasta qué punto los evaluadores necesitan cualificaciones especiales. Algunos autores (Stake, Scriven, Cronbach) han indicado que la evaluación puede centrarse en un solo producto o servicio, o compararlo con otras alternativas válidas. Por otra parte, han debatido los méritos de estas dos posturas, para acabar quedándose con una de ellas. Nosotros creemos que, dependiendo de las circunstancias, una evaluación puede ser, legítimamente, tanto comparativa como no comparativa. Algo que se debe tener muy en consideración es la naturaleza de la aud::ncia y qué es lo que necesita saber acerca del objeto de la evaluación. Si la audiencia está compuesta por consumidores que desean escoger un producto o servicio, la evaluación debe ser comparativa y ayudar a los consumidores a saber qué alternativas son convenientes y cómo compararlas críticamente. Si,

Introducción

a la evaluación

I

23

')

) or el contrario, la audiencia incluye promotores o consumidores que. ya están p 'd os con el" 1 desarrollo o el uso de un programa determInado, es comprometl d 1 . la evaluación se centre intensamente en la evo UClon e programa ~m~ . 1 . ara intentar mejorarlo. A veces sucede, sin embargo, mc u.so SI un grupo .es ~otalmente devoto de cierto servicio o producto, que, al conSIderar ot~as OPC,IOnes, obtiene mejores resultados de su proveedor o encuentra una a ternatlva

. d E~ general, creemos que la evaluación debe se~ ~omparatIva ant.es e que empif'ce el proceso o antes de suscribirse a un serVICIO,no compara~lVa duran t el 'proceso (para que permita concentrarse en 10 que resulte mejor para e d:sarrollo del servicio), y periódicamente comparativa d.espués del pr~~~so y/o la utilización continuada, para que el camino quede abIerto ante POSI es mam~m

i

yores avances. ., • . o no de'1' Hablando en general que una evaluacIOn deba Sé, comparatIva , consegUIr . de esa eva 1uaclOD, . , en c.ua~to a su utI 1de de 10 que se quiera pe~ , r fiere Nosotros consideramos tres utilizaciones pnnCIpales: perfeczaClOn se e . T ., fi re cionamiento, recapitulación y ejemplificación. La primera. utI IzaCIon se r.e. e a la información que se proporciona para asegurar la calIdad de un terVlCIo ~ para mejorarla. Hay que prestar mucha atención a la naturaleza y as neceSId des de los consumidores y a la relación existente entre el proceso y los a ' resultados. En este punto, , los evalua d ores d eb enan estar mu y end contacto d .. con el personal del programa y servir com~ guías para ~as tomas e eCISIOnes. El plan de evaluación necesita ser f1exl~le y receptlv~. Cuando .ra meta principal es mejorar algo, la evaluaci~n debena parecerse mas al estudIO de un caso que a un experimento comparativo. ., . La segunda' función más importante de la evaluacIOn :s hacer recapItulaciones o informes sumarios. Se trata de análisis retrospectIvos acerca d~ ~royectos ya terminados, programas ya hechos o productos ya aca~ados. La In ormación no va dirigida al personal encargado de su des.a;rollo, smo a l~s patrocinadmes y consumidores. Debe incluir una valora.cIOn de la efica~la. de l~ invertido siendo también importantes las comparaCIOnes con los mas lmpo tantes c;mpetidores. La información que é:: deriva de estos profun~os .estudios y de las encuestas comparativas es ml.
')

'> ') ') ') ') ") ')

) ')

) ) ) ) ) ) )

) ) ) ) )

) )

) ) ') )

) )

J

t f 24

(

(

Introducción

:r

( (

( (

(


menudo deberían conducir d d h h ::cretas e ~nteresantes en ~~~e~~ede 1: in:~s~igaaCi~~~sp~~~~Uts:~~:sc:~~ en ~~~~aes Importante (u~ los evaluadores, al planificar sus estudios, ;engan inve t' ,5'ue sus conc USlOnespueden ser utilizadas en el contexto de una s IgaC,lOnque se proponga una comprensión más amplia de los fenóme d en, la evaluación, Con una planificación más minuci nos examIna os .~adosa, las evaluaclOnes pueden servir no sólo com ' d osa y CUItlvos d o gUla e programas operatigacio~e~o:~:::~~~n cu:sSt~~n~~n~:~r~~~~~es; sino también para ilustrar inves-

(

(

I

ASI pues, parece claro que 1 l' , plicado. A la hora d 1 'fi a eVd~~~clOn es un concepto altamente come p aDl car o 1t1glr una 1 ., d b cuenta una serie de cuestiones: eva uaClOn, e en tenerse en

( ( ( (

( ( ( (

( ( ( (

, (

( ( ( ( (

,

(

-

~QQu~va,lorc:s ddebbenser mencionados al juzgar los resultados? e ue cntenos e en ser adoptad '1 d b .La 1 " d b os y cua es e en tener preferencia? e eva uaClOn e e ser comparativa? ¿La evaluación debe estar e p . d ' bilizar a los profesionales or~ aclta a par~ gUIar el desarrollo, responsal ciones acerca de los fenóm' e~ar l~s dOPclOneso promover nuevas in tuienos Imp lca os?

Si se tienen en cuenta estas cuestiones c 1n d ' en los resultados y los utilice lId on de n e que la audIencia confíe , os eva ua ores eben m t ' '. o normas en su trabajOoC, an ener CIertos crltenos ' omo consecuenCla creemo 1 d' , , , eva 1uaciones profesionales l' . f' s que a IstInCIOn entre go, todo el mundo recurre Ya~va uaClo~es In ormales es importante, Desde lueaceptar o comprar Cosas Peroasosegundas cu~nddo se trata de emplear, opinar, . . curre emaSla o a menudo 1uaClOnes resultan poco o n d' , , que nuestras eva. . . , a a slstematlcas Y en mod 1 . Dl slqUlera para nosotros mis m E h o a guno convIncentes, os, n muc os casos pr f " tras conclusiones tuvieran m' 1 '. ,e ennamos que nues. , as re evanCla ngor Y ob' t' 'd d E sitos, SIn embargo, requerirían a menudo'" Je ,IVI a, stos requilos que nosotros tenemos mas tIempo, dInero Y habilidad de Así, en muchas ocasi~nes' las buenas 1 . por un personal especializado 'Aun ue eva uaCl~~:s deben ser realizadas ción es sistemática, muchas 've q. nudesdtradenDlClOn anrma que la evaluaces, SIn u a no lo es L . proponer en este libro es un a 'd' ,o que Intentamos clase de evaluación que tenem espeCIe e evaluación que sea justificable, La os en mente requier f ' por parte de una o más p e un es uerzo sIstemático , , ersonas que posean en ' " mIDlmo en lo que se renere 1 " ,prInCIplO, un cierto nivel a as tecDlcas evaluativa ' casos, P ensamos que el concl' d d' . s que se eXIgen en estos d 1 enzu o estu 10 que P l'b ayu ar a estudiante a alcanzar 1 ' 1 b' , ropone este l ro puede para llevar a buen término n te Dlve aSlCOde habilidad que se necesita ues ro concepto de evalu . , , , . eva 1uar 1as evaluaciones reall' d aczon Ststematzca Y para za as por otros,

(

'-

:i

__

~

•••••••••••••••••

_

..

_.-

__

••••

-

__

Y.,.

a la evaluación

I

25

Métodos Un aspecto que diferencia la evaluación sistemática de la evaluación informal es, sin lugar a dudas, el área metodológica, Cuando pasamos de las eva. luaciones realizadas con juicios rápidos e intuitivos a las que suponen una rigurosa recopilación de resultados que deben ser considerados de un modo efectivo, debemos necesariamente enfrentarnos a las complejas áreas de la epistemología, las reglas empíricas, las ciencias informativas, los proyectos de investigación, las valoraciones, las estadísticas, la comunicación, etc. Muchos principios, instrumentos y estrategias de estas áreas son importantes para la evaluación sistemática, El evaluador bien preparado debe dominar convenientemente todas las técnicas de estas áreas y mantenerse informado acerca de los avances tecnológicos que puedan resuItarle útiles, Estos evaluadores, que pueden convertirse en pioneros y contribuir al desarrollo de su profesión, suelen aumentar las críticas de los métodos ya existentes y la aparición de otros nuevos. A lo largo de los años, muchos evaluadores han escogido, e incluso defendido, la utilización exclusiva de unas pocas técnicas, Algunos han equiparado la evaluación a sus métodos favoritos, como el diseño experimental, las pruebas estandarizadas o las visitas personales, Otros han atacado duramente la estrechez de miras respecto de la adecuación de los métodos y, en algunos casos, han abogado por sustituir su técnica favorita, como por ejemplo el estudio de un caso. Nosotros creemos que ambas posiciones son inencaces, inadecuadas y, a veces, parciales, A cambio, recomendamos un método ecléctico. Así, creemos que los evaluadores deberían conocer un amplio espectro de técnicas adecuadas y saber cómo aplicarlas en los distintos c~ntextos evaluativos, De este modo, podrían valorar, en cada situación, qué técnicas son potencialmente aplicables y cuáles pueden servir de un modo más encaz a los propósitos particulares de la evaluación en cuestión, Entre las áreas técnicas que, según creemos, deben conocer a fondo los evaluadores profesionales se encuentran las siguientes: las entrevistas, los informes preliminares, el análisis de contenidos, la observación, el análisis político, el análisis económico, el examen investigativo, los informes técnicos, el estudio del caso, la evaluación sin metas, la escucha de opiniones contrapuestas, las asociaciones de defensa, las listas de control, la elaboración de pruebas, el análisis estadístico, el diseño de la investigación, el análisis sistemático, la teorización y la administración del proyecto. Es recomendable consultar las fuentes de información general que, acerca de estas áreas técnicas, pueden encontrarse en SCRIVEN(1974); ANDERsoN,BALL y MURPHY (1974); BRINKERHOFFy otros (1983) y SMITH (1981a y 1981b),

J 26

I


Normas Una de las características de las prácticas profesionales es que sus miembros deben cumplir exigentes normas referentes al trabajo y al servicio que realizan. Por 10 general, estas normas ya vienen formuladas por los miembros de la profesión, y, en algunos casos, por el gobierno. Ejemplos típicos de ello son las normas existentes en las áreas de la ley, la medicina y la contabilidad, con el fin de asesorar y valorar la práctica en cuestión, y, en algunos casos, llegar a conclusiones acerca de ciertos procedimientos ilegales. Hasta muy recientemente, los evaluadores de programas no disponían de normas explícitas para la evaluación, pero esta situación está cambiando. Recientemente, se han publicado dos conjuntos de normas para las evaluaciones. Uno consiste en un grupo de treinta normas formuladas por el Joint Committee on Standards for Educational Evaluation. El otro es una serie de cincuenta y cinco normas formuladas por la Evaluation Research Society (ERS). Aquí vamos a centrarnos en el primero por unas razones determinadas. Cuidadosas comparaciones realizadas por investigadores independientes han demostrado que casi todo lo que aparece en las normas de la ERS es examinado con mayor profundidad en las Normas del Joint Committee. Es más, la primera serie ha sido elaborada por un comité cuyos diecisiete miembros han sido nombrados por doce organizaciones profesionales que abarcan un total de alrededor de dos millones de miembros, mientras que las normas de la ERS han sido elaboradas por un grupo de alrededor de dos mil miembros. Otra diferencia clave es que las Normas del Joint Committee incluyen tanto al cliente como al que realiza los servicios evaluativos. El texto Standards for Evaluations of Educational Programs, Projects, and Material (Joint Committee, 1981) fue elaborado en un período de cinco años. Este comité está formado por alrededor de doscientas personas relacionadas con la práctica profesional de la evaluación, que realizan la labor de crear, valorar y clarificar principios ampliamente compartidos con el fin de que sirvan como base para evaluaciones sobre programas educativos. El resultado son las treinta normas resumidas en la tabla 1-1. Es particularmente notable el continuo proceso que llevan a cabo reexaminando y revisando las normas. En esencia, el Joint Committee concluye afirmando que las treinta normas son necesarias y suficientes para asegurar que las evaluaciones sean útiles, factibles, precisas y válidas. Se aconseja al lector que estudie en profundidad ese libro de Normas. En general, las Normas del Joint Committee aconsejan que los evalu ¡dores y los clientes cooperen entre sí para que las evaluaciones puedan cumplir estas cuatro condiciones principales:

1I

J Introducción

1.

2.

3.

4.

a la evaluación

I

27

Una evaluación debe ser útil. Debe estar dirigida a aquellas personas y grupos que estén relacionados con la tarea de realizar aquello que se está evaluando o que sean sus más directos responsables. ~ebe ayudarles a identificar y examinar lo bueno y lo malo de este objeto. ;oebe pon.er muchísimo énfasis en plantearles las cuestiones de mayor lmportanCla. Debe proporcionarles informes claros de una manera o~rtuna. Y, en general, debe facilitar no sólo informaciones acerca de vlrtudes y defectos, sino también soluciones para mejorarlo todo. . Debe ser factible. Debe emplear procedimientos evaluatlvos ~ue p~~dan ser utilizados sin demasiados problemas. Debe tomar en conslderaclOn y aplicar controles razonables sobre aquellas .f~erzas políticas q~e. ~uedan, de alguna manera, inmiscuirse en la evoluclOn. Y deben ser dmgldas de un modo eficiente. Debe ser ética. Debe estar basada en comprar: :sos explícitos que ase~ure? la necesaria cooperación, la protección de los c:erechos de las par~es lmplicadas y la honradez de los resultados. Además, debe proporcl~nar un informe equitativo que revele todas las virtudes y d.efectos del obJet~., Debe ser exacta. Debe describir con claridad el objeto en su evoluclOn y en su contexto. Debe revelar las virtudes y defectos del plan .de eval~ación, de los procedimientos y de las conclu~iones. ?ebe estar l~bre de lilfluencias. Y debe proporcionar unas concluslOnes vahdas y fidedlgnas.

J

J ')

J ')

') ')

") "')

")

) ) ) ) ) ) )

TABLA

1-1.

Resumen del texto «Standards for Evaluations Programs, Projects, and Materials»

of Educational

)

) )

A

Al

Normas de utilidad

)

Descripción de la audiencia

)

La audiencia relacionada con la evaluación o afectada por ella debe ser descrita con el fin de que todas sus necesidades puedan ser satisfechas. A2

)

Las normas de utilidad están concebidas para asegurar que una evaluación proporcione las informaciones prácticas que necesita una audiencia determinada. Estas normas son:

)

) )

Credibilidad del evaluador

)

Las personas que dirigen la evaluación deben ser honradas y a la vez competentes para poder llevarla a cabo, con el fin de que sus concluslOnes alcancen el máximo de credibilidad y aceptación.

.) (

)

)

) )

1

('

e c. e e

28

A3

e e

e

A4

e A5

(

c

(\ A6

Claridad del informe

Difusión

Al

La evaluación debe ser planificada y dirigida conociendo las distintas posturas de los diferentes grupos de interés, con el fin de obtener su cooperáción, y para qu~ cualquier posible intento, por parte de alguno de estos grupos, de abrevia!' las operaciones evaluativas o de influir en los resultados o utilizarlos, pueda ser prevenido o contrarrestado.

B3

,, ,. (..

t., ~ ~

1-0

información

'con el valor suficiente

como para

Normas de honradez Las normas de honradez están concebidas para asegurar que una evaluación sea realizada legal y éticamente, y, a la vez, con el debido respeto por el bienest'ar de todos los que intervienen en ella, así como de aquellos que están interesados en las conclusiones.

Cl

Obligación. formal Las obligaciones de las partes formales de hacer, cómo hacerlo, quién debe hacerlo y en un compromiso escrito, con el fin de que cumplir todas las condiciones del compromiso

deben ser dados a conocer a los clientes o adecuadas, para que puedan valorar y

una evaluación (qué hay que cuándo) deben ser plasmadas estas partes estén obligadas a o a renegociarlo formalmente.

del informe

C2

El conflicto de intereses El conflicto de intereses, frecuentemente inevitable, debe ser afrontado abierta y honestamente, con el fin de que no interfiera en el proceso eva-

(

(. (. (.

Eficacia de los costes La evaluación debe producir justificar lo que ha costado.

C

del informe

Oportunidad

29

valorativa

Los resultados de la evaluación y a otras audiencias interesadas utilizar las conclusiones.

(

( ( (

Interpretación

I

B2

El informe de la evaluación debe describir el objeto que se está evaluando y su cont~~to, a la vez que los propósitos, procedimientos y resultados de la evaluaclOn, c~n el fin de que las audiencias comprendan en seguida qué se ha hecho, como se ha hecho, qué tipo de información se ha obtenido qué conclusiones se han sacado y qué recomendaciones se hacen. '

(

( (

Alcance y selección de la información

Las perspectivas, procedim~entos y bases lógicas utilizadas para interpretar los resultados deben ser cUidadosamente descri_tas, con el fin de que queden cIaras las bases para el juicio valorativo.

:,C (

a la evaluación


La ~nformación recopilada debe tener el suficiente alcance y haber sido se17cclOnada de tal man7ra como para incluir en sí misma las cuestiones per~Inentes acerca ~el objeto de la evaluación y responder a las necesidades e Intereses de audiencias concretas.

e

e

I

luativo y sus resultados. Las evaluaciones deben ser planificadas y dirigidas de manera a la audiencia a continuar investigando por sí misma. B

que animen

Procedimientos

prácticos

Los pr~c~dimientos evaluativos deben ser prácticos, para que los problemas sean mInlmos y pueda obtenerse la información necesaria.

Informes

completos

y claros

Los informes orales o escritos de una evaluación deben ser francos, directos y honestos en la revelación de las conclusiones pertinentes, incluyendo las

Normas de viabilidad Las nor~as de viabilidad están concebidas para asegurar que una evaluación sea realIsta, prudente, diplomática y moderada. Son éstas:' ,

Bl

C3

limitaciones

C4

de la evaluación.

El derecho del público

a saber

Las partes formales de una evaluación deben respetar y asegurar el derecho del público a saber, dentro de los límites de unos principios y estatutos determinados, como por ejemplo la seguridad del público y el derecho a la in timidad.

30

Evaluación

C5

Los derechos humanos

sistemátIca

Introducción

D4

Relaciones humanas

D5

Información equilibrada

D6

Responsabilidad fiscal

D?

La cuota del evaluador y los gastos efectuados deben reflejar los procedimientos econ6micos del trabajo y, por otra parte, ser prudentes y éticamente responsables.

D

Normas de precisi6n

D8

D9

D2

Dl0

Descripción de intenciones y procedimientos Las intenciones dos y descritos y valorados.

y los procedimientos de la eva1uaci6n deben ser concebi. con todo detalle, de manera que puedan ser identificados

Análisis de la informaci6n cualitativa

Conclusiones justificadas Las conclusiones a las que se llegue en una evaluación deben ser explícitamente justificadas, para que las audiencias puedan valorarlas.,

J

D3

Análisis de la información cuantitativa

La información cualitativa de una evaluación debe ser adecuada y sistemáticamente analizada con el fin de asegurar que las interpretaciones sean fidedignas.

AnáliSis del contexto El contexto en el que está incluido el programa, proyecto o material debe ser examinado en su más mínimo detalle, con el fin de identificar sus posibles influencias' sobre el objeto.

Control sistemático de los datos

La informaci6n cuantitativa de una evaluaci6n debe ser adecuada y sistemáticamente analizada con el fin de asegurar que las interpretaciones sean fidedignas.

Identificaci6n del objeto .E1 objeto de la evaluación (programa, proyecto o material) debe ser exa. minado en profundidad, de manera que su(s) estructura(s) pueda(n) ser claramente identificada(s).

Determinar la exactitud

Los datos recopilados, sistematizados y finalmente presentados. en una evaluaci6n deben ser revisados y corregidos, con el fin de que los resultados de la evaluación no sean inexactos.

Las normas de precisión están concebidas para asegurar que una eva1uaci6n revele y transmita una informaci6n técnicamente exacta acerca de las características del objeto que está siendo estudiado, para poder determinar . su. valor. o su mérito. Estas normas son: D1

Determinar la validez

Los instrumentos y procedimientos para la recopilación de informaci6n deben ser escogidos o creados y luego utilizados de manera que aseguren que la informaci6n obtenida es lo suficientemente exacta para ser utilizada de, bidamente.

La evaluación debe ser completa y honrada en la presentaci6n de las virtudes y defectos del objeto de la investigaci6n, para que las virtudes puedan ser mejoradas y los problemas solucionados. C8

Fuentes de informaci6n fiables

Los instrumentos y procedimientos para la recopilación de información deben ser escogidos o creados y luego utilizados de manera que aseguren que la interpretación final es válida para su uso.

Los evaluadores deben respetar la dignidad y la integridad humanas en su trato con otras personas relacionadas con la eva1uaci6n. C7

31

Las fuentes de informació)1 deben ser descritas con todo detalle, para que .pueda valorarse si la informaci6n es suficiente.

Las evaluaciones deben ser preparadas y dirigidas de tal manera que sean respetados y protegidos los derechos y el bienestar de los seres humanos. C6

a la evaluación

Dll

Objetividad del informe Los procedimientos de las evaluaciones deben proporcionar 1a~ garantías suficientes para proteger los resultados y los informes de la evaluación con. tra la distorsión de los sentimientos e inclinaciones personales de cualquiera de las partes formales.

FUENTE: The ]oint Comittee on Standards for Educational Evaluation, McGraw-Hill, 1981.

c) ,)

O !:J

o O ~)

( ( {

32

f

Las Normas del Joint Committee pueden aplicarse en cualquier etapa del proceso evaluativo: deben ser tenidas en cuenta, por ejemplo, a la hora de decidir si hay que realizar la evaluación o no, a la hora de planear la evaluación y llevarla a cabo, al presentar los resultados y al aplicar las conclusiones. Por lo tanto, la utilización de las Normas no sólo sirve para controlar la calidad de un informe ya terminado, sino también como asesoramiento durante la realización de la evaluación. Un segundo punto que hay que tener en cuenta es que las distintas normas son más o menos importantes en cada etapa de la evaluación. Así, quienes utilicen las normas deben estudiarlas y analizarlas comparativamente con el fin de poder aplicarlas juiciosamente en cada una de las etapas de la evaluación. El resumen de las treinta normas presentado en la tabla 1-1 es un punto de partida, pero recomendamos al lector que consiga y estudie el texto completo. El trabajo erel Joint Committee se ha basado en dos premisas básicas: que la evaluación es una actividad humana tan esencial como inevitable, y que la evaluación solvente debe proporcionar una comprensión más amplia y una mejora de la educación. Además, el comité se guió por la creencia de que una serie de normas concienzudamente elaboradas puede desempeñar un papel vital a la hora de mejorar la práctica de la evaluación educativa. En otras palabras: un papel metaevaluativo. Otro punto trascendental con respecto a las Normas del Joint Committee es que se trata de un documento vivo. Un comité permanente, formado por doce organizaciones y respaldado por el Centro de Evaluación de la Universidad de Western Michigan, controla la utilización de las normas y carga con la responsabilidad de ponerlas al día y perfeccionarlas periódicamente. El comité anima a los usuarios para que les proporcionen información basada en críticas y, especialmente, en los usos más actuales de las normas.

( ( ( ( (

( (

( ( { (

( ( ( ( ( (


( (

La historia

t

( ( ( ( ( (

Ninguna introducción a la evaluación entendida como una práctica profesional estará completa si no se presta la debida atención a 'la evolución histórica del tema. Cualquier profesión, para poder satisfacer las necesidades de sus clientes, debe evolucionar de acuerdo con los cambios de las necesidades sociales y teniendo en cuenta todos los avances teóricos y técnicos. A menos que los miembros de una profesión elaboren y sostengan una perspectiva histórica sobre su trabajo, probablemente seguirán teniendo siempre una concepción limitada de su función social, sin poder estimular la innovación ni

(

( ( (

l

,-4

1. Este apartado sobre la historia de la evaluación está basado en un análisis de George Madaus y Daniel Srufflebeam, que aparece resumido en George MADAUS, Michael SCRIVEN y Daniel STUFFLEBEAM, Evaluation Models, Boston: Kluwer-Nijhoff, 1983,

Introducción

a la evaluación

I

33

contribuir a ella. Se dice a menudo que los que no conocen su propia historia están condenados a repetirla. Nosotros facilitaremos únicamente un breve esbozo histórico con el fin de informar al lector sobre los acontecimientos más significativos ocurridos en el campo de la evaluación. Nuestro análisis histórico se basa en un trabajo clave de Ralph \'í/. Tyler (véase unidad 3), que a menudo es considerado el padre de la evaluación educativa. Utilizando sus contribuciones iniciales como principal punto de referencia, hemos establecido cinco períodos básicos: 1) el período pre-Tyler, que abarca hasta 1930; 2) la época tyleriana, que va desde 1930 hasta 1945; 3) la época de la «inocencia», desde 1946 hasta 1957; 4) la época del realismo, que cubre el período 1958-1972; y 5) la época del profesionalismo, que incluye la evolución experimentada desde 1973 hasta el presente.

El período pre-tyleriano La evaluación sistemática no era desconocida antes de 1930, pero tampoco era un movimiento reconocible. El hecho de evaluar individuos y programas apareció, como mínimo, en el año 2000 a.c., cuando algunos oficiales chinos dirigieron unas investigaciones de los servicios civiles, y en el siglo v a.c., cuando Sócrates y otros maestros griegos utilizaron cuestionarios evaluativos como parte de su metodología didáctica. En el siglo XIX, en Inglaterra, se utilizaron comisiones reales para evaluar los servicios públicos. En 1845, en los Estados Unidos, Horace Mann dirigió una evaluación, basada en tests de rendimiento, para saber si las escuelas de Bastan educaban bien a sus estudiantes. Entre 1887 y 1898, Joseph Rice estudió los conocimientos en ortografía de 33 000 estudiantes de un amplio sector escolar y sacÓ la conclusión de que la gran insistencia en la enseñanza de la ortografía, que entonces estaba en boga, no había producido avances sustanciales en el aprendizaje. Este estudio está generalmente reconocido como la primera evaluación formal sobre un programa educativo realizado en América. También en los últimos años del siglo pasado, empezó a crearse el movimiento para la acreditación de instituciones educativas y programas en los Estados Unidos; desde entonces, el proceso de acreditación se ha convertido en uno de los principales medios para evaluar los servicios educativos. Una aproximación aún mayor a la evaluación se produjo, en los primeros años de este siglo, con la aparición de los tests estandarizados. Este acontecimiento formaba parte de un gran esfuerzo que pretendía que la educación fuera más eficiente para que un mayor número de estudiantes pudiera utilizar los recursos entonces disponibles en las escuelas. . El breve resumen anterior viene a confirmar que la evaluación sistemática tIene una larga historia. Mientras que sólo muy recientemente se ha llegado a considerar la evaluación como una práctica profesional, buena parte del tra-

')

r

!"""'

l'

') ') 34

1

La época tyleriana

I

I

I

I I

En los primeros años de la década de los treinta, Ralph Tyler acuñó el término evaluación educacional y publicó una amplia y renovadora visión del currículo * y la evaluación. En un período de alrededor de quince años, desarrolló sus intuiciones hasta que conformaron un método que suponía una clara alternativa a otras perspectivas. La principal característica de su método era que se centraba en unos objetivos claramente fijados. De hecho, definía la evaluación como algo que determina si han sido alcanzados ciertos objetivos. Como consecuencia de esta definición, los evaluadores debían ayudar a quienes elaboraban currículos a clarificar el rendimiento de los estudiantes, que había sido precisamente determinado a través de la realización de un currículo. Los objetivos resultantes, referidos al rendimiento, proporcionaban entonces la base para elaborar un currículo y un test de desarrollo. La elaboración del currículo quedaba así influida tanto por los contenidos que debían aprenderse como por la evolución del rendimiento de los estudiantes. La tecnología de los tests de desarrollo iba a servir de base para la elaboración de tests relacionados con los objetivos, y también a los relacionados con las diferencias individuales y con las normas nacionales o del estado. Durante la década de los treinta, los Estados Unidos, como el resto del mundo, cayó en las profundidades de la Gran Depresión. Las escuelas, como otras instituciones públicas, se estancaron en una ausencia total de recursos y optimismo. Justo cuando Roosevelt intentaba con su New Deal sacar de este abismo a la economía americana, John Dewey y algunos otros intentaron contribuir a que la educación se convirtiera en un sistema dinámico e innovador, que a la vez se fuera renovando a sí mismo. Con el nombre de Educación Progresiva, este movimiento reflejó la filosofía del pragmatismo y empleó los instrumentos de la psicología conductista. Tyler se vio metido de lleno en este movimiento cuando le encargaron dirigir la parte de investigación del hoy famoso Eight-Year Study (SMITH y TYLER, 1942). Este estudio fue pensado para examinar la efectividad de ciertos currículos renovadores y estrategias didácticas q :e se estaban empleando en treinta escuelas a lo largo de toda América. El eS[Jdio resulta notable por-

* Dado el significado amplio que tiene la palabra «curriculum» en inglés, utilizada en general para designar todo aquello que gira en torno a la actividad docente y no sólo al plan de estudios, hemos preferido conservarla, una vez castellanizada, a 10 largo de toda la obra. [T.]

a la evaluación

I

35

')

que ayudó a Tyler a difundir, ensayar y demostrar su concepción de la evaluación educacional de una manera inmediata. A través de este programa de ámbito nacional, Tyler pudo publicar lo que él veía como un método que tenía claras ventajas sobre los demás. Desde el momento en que la evaluación tyleriana incluía comparaciones internas entre los resultados y los objetivos, ya no necesitaba recurrir a costosas y problemáticas comparaciones entre grupos de control y grupos experimentales. El método se centra en determinar el grado de éxito, por lo que se opone a métodos indirectos que determinan factores como la calidad de la enseñanza, el número de libros que hay en la biblioteca, los materiales y la participación de la comunidad. y además, las evaluaciones tvlerianas no se ven demasiado afectadas por la fiabilidad de las diferencias e~tre las puntuaciones individuales de los alumnos ya que generalmente cubren una franja más amplia de variables exógenas que las cubiertas por los test: tipificados. Todos estos argumentos fueron bien recibidos por el sector de la educación americana, y a mediados de los años 40 Ralph Tyler ya había conseguido la categoría suficiente como para ejercer una gran influencia sobre el panorama educacional en los próximos veinticinco años. •

.,


bajo evaluativo moderno continúa basándose en ideas y técnicas que ya se aplicaban hace mucho tiempo, como por ejemplo las encuestas, las comisiones, la acreditación y las comparaciones experimentales de varios programas.

I~

Introducción

'l

') ')

)

) ) ')

) ')

) ) )

La época de la «inocencia»

) )

Para la sociedad americana, los últimos años 40 y la década de los 50 fue un tiempo para olvidar la guerra, dejar atrás la Depresión, crear y desarrollar aptitudes, adquirir recursos, y lograr disfrutar de la «buena vida». Podríamos haber calificado esta época como el período de expansión, pero hay que tener en cuenta que también existía una amplia complacencia a la hora de enjuiciar los graves problemas de aquella sociedad. Como consecuencia, creemos que es mejor referirnos a esta época como al Período de «inocencia» o incluso de la irresponsabilidad social. Además de ser una época de plenitud, este período fue un tiempo de pobreza y desesperación en las c:udades del interior y en las áreas rurales, pero al parecer casi nadie, excepto los afectados, se dio cuenta. Fue un período de profundos prejuicios raciales y de segregación, pero gran parte de la población blanca parecía inconsciente de esta enfermedad. Fue un período de exorbitado consumo y de gran despilfarro de los recursos naturales, sin tener en cuenta que un día estos recursos iban a agotarse. Fue un período de un abrumador desarrollo de la industria y la capacidad militar, pero se tomaron muy pocas precau~iones contra los l?erjuicios que iban a sufrir el paisaje y las futuras generaCIOnes. Más que de la evaluación educacional, se trató de una expansión de las of.~~t~seducacionales, del personal y de las facilidades. Se construyeron nuevos edlhcIOS. Aparecieron nuevos tipos de instituciones educativas, como los co-

) ) ) ) )

) ) ) ) ) ) )

) )

) .)

\ ( (

( ( ( ( (

( ( (

( ( ( ( (

( (

( ( ( ( ( {

( ( (

36

I


legios comunitarios. Los pequeños distritos escolares se unieron a otros con el fin de proporcionar un más amplio abanico de servicios educativos, como ya 10 hacían los sistemas escolares más grandes, incluyendo servicios para la salud mental y física, consejos escolares, comedores, enseñanzas musicales, amplios programas deportivos, educación comercial y técnica y educación social. S~ incrementaron desmesuradamente las inscripciones en los programas educatlvos para maestros y, en general, las inscripciones en los colegios aumentaron espectacu1armen te. Este panorama general de la sociedad y la .educación se reflejó también en la evaluación educacional. Mientras se producía esta gran expansión de la educación, la sociedad no parecía tener un gran interés en formar profesores competentes, en localizar y solucionar las necesidades de. los menos privilegiados o en identificar y solucionar los problemas del sistema educativo. Los educadores escribían sobre la evaluación y sobre la recopilación de los datos más importantes, pero, al parecer, no traducían estos esfuerzos en intentos de mejorar los servicios 'educativos. Esta falta de objetivos provocó también el retraso de los aspectos técnicos de la evaluación. Hubo un considerable desarrollo de los instrumentos y estrategias aplicables a los distintos métodos evaluativos, como los tests, la «experimentación comparativa» y la «coincidencia entre resultados y objetivos». Como consecuencia, los educadores dispusieron de nuevos servicios de tests y de nuevas maneras de calificarlos, de algoritmos para designar objetivos de comportamiento, de taxonomías de objetivos, de nuevos modelos experimentales y de nuevos procedimientos estadísticos para analizar los datos educativos. Pero estas contribuciones no se derivaban de un análisis de la información necesaria para valorar y perfeccionar la educación, ni representaban un desarrollo de la experiencia escolar. Durante este período, las evaluaciones educacionales dependían, como ya 10 habían hecho antes~ sobre todo, de los límites de los distritos escolares locales. Las escuelas, pues, dependían del interés y la habilidad locales para poder hacer o no una evaluación. Las agencias federales y estatales aún no estaban demasiado introducidas en el campo de la evaluación de programas. Los fondos destinados a las evaluaciones provenían de las arcas locales, de fundaciones o de organizaciones profesionales. Esta ausencia de ayudas exteriores y de apoyos para la realización de evaluaciones en todos los niveles de la educación iba a concluir con la llegada del próximo período de la historia de la evaluación.

( (

La época del realismo

(

La época de la inocencia en la evaluación tuvo un brusco final con el auge, a finales de los años 50 y principios de los 60, de las evaluaciones de proyectos de currículos a gran escala, financiadas por estamentos federales. Los educadores se encontraron, durante este período, con que ya no podían hacer o no

(

( { ( .{

Introducción

a la evaluación

I

37

hacer las evaluaciones a su antojo, y que los futuros progresos de las metodologías evaluativas deberían estar relacionados con conceptos como utilidad y relevancia. Su violento despertar, en este período, marcó el final de una era de complacencia y ayudó a emprender profundos cambios, guiados por el interés público y dependiendo del dinero de los contribuyentes para su financiación, 10 cual condujo a que la evaluación se convirtiera en una industria y en una profesión. Como consecuencia del lanzamiento, por parte de la Unión Soviética, del Sputnik 1 en 1957, el gobierno federal respondió promulgando la National Defense Education Act de 1958. Entre otras cosas, esta acta proporcionó nuevos programas educativos en matemáticas, ciencias e idiomas, y creó servicios asesores y programas de encuestas en los distritos escolares. Aparecieron, así, un cierto número de nuevos proyectos nacionales para el desarrollo de currículos, especialmente en las áreas de ciencias y matemáticas. Finalmente, se asignaron fondos para evaluar estos programas. Los cuatro métodos evaluativos expuestos hasta aquí estaban ya representados en las evaluaciones que se realizaron en este período. Primero, el método Tyler fue usado para definir los objetivos de los nuevos currículos y para valorar el grado en que estos objetivos quedaban, más tarde, alcanzados. Segundo, los nuevos tests estandarizados a nivel nacional sirvieron para reflejar mejor los objetivos y los contenidos de los nuevos currículos. Tercero, el método del criterio profesional fue usado 'para valorar las propuestas y verificar periódicamente los resultados. Finalmente, muchos evaluadores se comprometieron a evaluar los resultados del desarrollo del currículo a través de pruebas concretas. A principios de los años 60, algunos de los más importantes evaluadores educacionales se dieron cuenta de que su trabajo y sus conclusiones no ayudaban demasiado a los que elaboraban currículos, y no respondían a las preguntas sobre los programas que planteaban aquellos que necesitaban comprobar su grado de efectividad. La «flor y nata» de la comunidad evaluativa educacional participó en estos esfuerzos para evaluar los nuevos currículos; estaban adecuadamente financiados y aplicaban cuidadosamente la tecnología que había ido desarrollándose durante la pasada década o incluso antes. A pesar de todo esto, empezaron a darse cuenta de que sus esfuerzos no tenían éxito. Esta valoración negativa quedó perfectamente reflejada en un histórico artículo de CRONBACH (1963: véase unidad 5). Examinando los esfuerzos evaluativos del pasado reciente, criticó duramente los conceptos en los que se habían basado las evaluaciones por su falta de relevancia y utilidad, y acon~ sejó a los evaluadores que abandonaran sus inclinaciones de entonces y se dedicaran a hacer evaluaciones basadas en comparaciones de los resultados obtenidos en tests tipificados, realizados por grupos experimentales y de control. Cronbach recomendó a los evaluadores que reconceptualizaran la evaluación no como si se tratara de una carrera de caballos entre programas compe-

¡ ") 38

I

Introducción Evaluación

a la evaluación

I

)

39

sistemática

tidores, sino como un proceso consistente en recoger y formalizar información que pueda ayudar a quienes elaboran los currículos. Cronbach argüía que el análisis y la relación de los resultados de un test podrían ser, probablemente, de más utilidad para los profesores que informarles sobre el promedio del total de las calificaciones. Cuando fue publicado por primera vez, el consejo de Cronbach y sus recomendaciones pasaron inadvertidos durante mucho tiempo, exceptuando un pequeño círculo de especialistas en evaluaciones. De cualquier manera, el artículo era básico y contenía hipótesis sobre la conceptualización y la dirección de evaluaciones que iban a considerarse totalmente válidas al cabo de muy pocos años. En 1965, conducida por la clarividencia del senador Hubert Humphrey, el carismático liderazgo del presidente John Kennedy y la gran habilidad política del presidente Lyndon Johnson, se desencadenó la Guerra contra la Pobreza. Estos programas invirtieron billones de dólares en reformas que pretendían igualar y aumentar las oportunidades para todos los ciudadanos de los Estados Unidos a través de una amplia serie de servicios sanitarios, sociales y educativos. La expansión de la economía permitió que el gobierno federal financiara estos programas, y se consiguió un gran apoyo de toda la nación para desarrollar 10 que el presidente J ohnson llamó la Gran Sociedad. Junto a este esfuerzo masivo para ayudar a los necesitados, se produjo, en ciertas regiones, una cierta preocupación por el posible despilfarro de las inversiones si no se exigían algunos requisitos en la contabilidad. En respuesta a estas preocupaciones, el senador Robert Kennedy y algunos de sus colegas del congreso promulgaron el Acta de la Educación Elemental y Secundaria de 1965 que incluía requisitos específicos para la evaluación. Como resultado, el primer artículo de esa acta (que aspiraba a proporcionar una educación compensatoria a los niños menos favorecidos) exigía específicamente que cada distrito escolar recibiera fondos, basándose en ese artículo, para que evaluara anualmente hasta qué punto los proyectos que había realizado al amparo del artículo 1 habían alcanzado sus objetivos, todo ello utilizando los datos de tests debidamente estandarizados. Este requisito, con su referencia específica a las encuestas y a la valoración de la congruencia entre resultados y objetivos, refleja cómo se encontraba la evaluación educacional en aquella época. Y, 10 que es más importante, el requisito obligó a los educadores a que trasladaran sus preocupaciones, en 10 que se refiere a la evaluación educacional, desde el campo de la teoría y las suposiciones al de la práctica y el perfeccionamiento. Cuando los distritos escolares empezaron a responder a los requisitos evaluativos del artículo 1, comprobaron rápidamente qu: los instrumentos y estrategias que empleaban entonces los evaluadores, resultaban totalmente inapropiados para aquel trabajo. Los tests estandarizados que se habían elaborado con el fin de determinar el promedio del grado de conocimientos de los estudiantes no sirvieron para casi nada cuando hubo que diagnosticar las necesi-

dades y valorar los avances de los mnos menos favorecidos, cuyo desarrollo educativo se encontraba muy por detrás del de sus compañeros de clase media. Además, dichos tests eran relativamente inadecuados para discernir las diferencias entre escuelas y/o programas, principalmente a causa de sus propiedades psicométricas y el alcance de sus contenidos. En lugar de determinar los resultados directamente relacionados con una escuela o un programa en concreto, estos tests determinaban, en el mejor de los casos, el grado de aprendizaje, centrándose casi en los mismos rasgos que los tests de aptitudes (KELLAGHAN,MADAUSY AIRASIAN,1980). La utilización de tests estandarizados planteó otro problema: un método de evaluación como éste se oponía a los preceptos del método tyleriano. Desde el momento en que Tyler reconocía y enfatizaba las diferencias entre los objetivos de un lugar u otro, a este modelo le resultaría difícil adaptar a todo el ámbito nacional sus programas de tc:sts estandarizados. Para ser comercialmente viables, estos programas regularizados debían olvidar ciertos objetivos bastante extendidos e importantes para ciertos lugares, en favor de otros que eran importantes para la mayoría de los distritos. Es más, había una escasez de información acerca de las necesidades y niveles de éxito de los niños menos afortunados, 10 cual limitaba a los profesores a la hora de fijar objetivos de comportamiento que fueran significativos para este grupo de alumnos. Los intentos de aislar los efectos del artículo 1 a través de la utilización de planes establecidos por grupos de controlo experimentales fallaron, debido, principalmente, a la incapacidad de cumplir los requisitos de estos planes. y las inspecciones in situ realizadas por expertos '-aunque fueron muy utilizadas por responsables gubernamentalesno resultaron aceptables como primera estrategia evaluativa porque se consideró que este método estaba falto de la «objetividad» y el «rigor» estip~lados en la legislación de la ESEA. Cuando se informaba de que no se había llegado a ninguna conclusión, 10 cual ocurría frecuentemente, se daba muy poca información acerca de los procedimientos empleados y, a menudo, no se proporcionaban datos sobre cómo se habían llevado a cabo. Frecuenteme:te, el énfasis puesto en las puntuaciones de los tests desviaba la atención de~ examen de los procedimientos o de su ejecución. Como resultado de la creciente inquietud producida por los esfuerzos realizados en las evaluaciones con resultados siempre negativos, el Phi Delta Kappa creó el National Study Committee on Evaluation (STUFFLEBEAM y otros, 1971). Tras examinar el panorama, este comité concluyó que la evaluación educacional «era víctima de una grave enfermedad» y recomendó el desarrollo de nuevas teorías y métodos de evaluación, así como nuevos programas para preparar a los propios evaluadores. Al mismo tiempo, empezaron a aparecer nuevas conceptualizaciones sobre la evaluación. PROVUS(1971), HAMMOND (1967), ErsNER (1967) y METFESSEL Y MrcHAEL (1967) propusieron una reforma del modelo Tyler. GLASER(1963), TYLER (1967) y POPHAM(1971) recomen-

) ')

) )

) ') ')

') ')

) ')

) ) ) ) ) ) ) ) ,) ) ) )

) ) t )

) f

)

) ) ) j

(

1 ,

( (

f ( (

( (

( (

{ (

40

I


daron los tests basados en criterios como una alternativa a los tests basados en normas. COOK(1966) pidió la utilización del método de análisis sistemático para la evaluación de programas. SCRIVEN(1967), STUFFLEBEAM(1967, 1971) Y STAKE(1967) crearon nuevos modelos de evaluación que se alejaban radicalmente de los métodos anteriores. Estas conceptualizaciones reconocían la necesidad de evaluar las metas, examinar las inversiones, y analizar el perfeccionamiento y la prestación de los servicios, así como determinar los resultados que se desean (o no se desean) obtener del programa. También insistieron en la necesidad de enjuiciar el mérito o el valor del objeto de la evaluación. Los últimos años de la década de los 60 y los primeros de la de los 70 vibraron con las descripciones, discusiones y debates acerca de cómo debía ser concebida la evaluación. Las unidades que siguen tratan en profundidad los métodos alternativos ql.!e empezaron a tomar forma en este período.

(

(

.La época del profesionalismo

( ( ( ( ( ( (

( ( ( { ( (

(

l ( (

( ,(

l .j

Aproximadamente en 1973, el campo de la evaluación empezó a cristalizar y a emerger como una profesión diferenciada de las demás, relacionada con (pero también distinta de) sus antecedentes de investigación y control. El campo de la evaluación ha avanzado considerablemente como profesión, aunque es instructivo considerar su desarrollo en el contexto del período anterior. En aquellos momentos, como ya hemos explicado, los evaluadores se enfrentaban a una crisis de identidad. No sabían muy bien cuál era su papel, si debían ser investigadores, administradores de tests, profesores, organizadores o filósofos. Cualquier calificación especial que se les pudiera dar no resultaría clara. No existían organizaciones profesionales dedicadas a la evaluación entendida como especialidad, ni tampoco publicaciones especializadas a través de las cuales los evaluadores pudieran intercambiar información acerca de su trabajo. Esencialmente, no existía literatura acerca de la evaluación educacion~l, excepto u:~os inéditos que circulaban únic-amente entre círculos de especialistas. Había muy pocas oportunidades de prepararse para ejercer un servicio evaluativo. Las normas claras para una buena práctica se veían confinadas a las encuestas educacionales y psicológicas. El campo de la evaluación era amorfo y fragmentado. Muchas evaluaciones estaban dirigidas por personal sin preparación, otras por investigadores metodológicos que intentaban sin éxito adaptar sus métodos a las evaluaciones educativas (GUBA, 1966). Los estudios evaluativos estaban cargados de confusión, ansiedad y hostilidad. La evaluación educacional como especialidad tenía poca talla y ninguna dimensión política. Con este telón de fondo, el progreso realizado por los evaluadores educacionales para profesionalizar su especialidad durante los años 70 es totalmente destacable. Algunas publicaciones, como Educational Evaluation and Policy

Introducción

a la evaluación

I

41

Analysis, Studies in Evaluation, CEDR Quarterly, Evaluation Review, New Directions for Program Evaluation, Evaluation and Program Planning y Evaluation News, aparecieron en aquella época, y luego han demostrado ser excelentes vehículos para recoger y.difundir información acerca de las diversas facetas de la evaluación educacional. A diferencia de 10 que ocurría quince años atrás, numerosos libros y monografías tratan ahora exclusivamente de la evaluación. De hecho, el problema actual no es encontrar literatura sobre la evaluación, sino seguir el ritmo de lo que se publica. El grupo May 12, la Division H de AERA, la Evaluation Network y la Eva1uation Research Society han proporcionado excelentes oportunidades para que pueda establecerse un intercambio profesional entre personas relacionadas con la evaluación y otros programas. Muchas universidades han empezado a ofrecer por lo menos un curso de metodología evaluativa (distinguiéndola de la metodología investigativa). Unas pocas -como la Universidad de I1linois, la Universidad de Stanford, el Boston College, la UCLA, la Universidad de Minnesota y la Universidad de Western Michiganhan elaborado programas para graduarse en evaluación. Durante siete años, la Oficina de Educación de los Estados Unidos patrocinó un programa nacional de preparación para el servicio evaluativo destinado a educadores especiales (BRINKERHOFFy otros, 1983), y otras organizaciones profesionales han ofrecido talleres e institutos que tratan distintos temas relacionados con la evaluación. Se han fundado centros para la investigación y el desarrollo de la evaluación, entre los que se encuentran la unidad de evaluación del Northwest Regional Educational Laboratory, el Center for the Study of Evaluation de la UCLA, el Stanford Evaluation Consortium, el Center for Instructional Research and Curriculum Evaluation de la Universidad de I1linois, el Evaluation Center de la Universidad de Western Michigan y el Center for the Study of Testing, Evaluation, and Educational Policy del Bastan College. El estado de Louisiana ha establecido un sistema y un programa para la titulación de evaluadores, Massachusetts está trabajando actualmente en un programa evaluativo similar y Dick JOHNSON(1980) ha elaborado un primer borrador de una guía telefónica de evaluadores y agencias de evaluación. De un modo creciente, la especialidad está considerando la metaevaluación (SCRIVEN,1975; STUFFLEBEAM,1978) como un medio para asegurar y comprobar la calidad de las evaluaciones. Como ya se ha indicado, un comité (Joint Committee, 1981), formado por doce organizaciones profesionales, ha publicado una clarificadora serie de normas para juzgar las evaluaciones de los programas educativos, proyectos y materiales, y ha establecido un mecanismo (Joint Committee, 1981) para repasar y revisar las Normas y facilitar su uso. Además, se han publicado muchos otros grupos de normas importantes para la evaluación educacional (Evaluation News, mayo de 1981). Y han aparecido. muchas técnicas nuevas, tal y como se describe a lo largo de este libro.

') 42

I

Evaluación

sistemática

Introducción

a la evaluación

I

')

43

")

Este considerable desarrollo profesional de la evaluación educacional ha producido diversos resultados. Primero, al producirse un indudable aumento y mejora de la comunicación en la especialidad, ha aparecido también una enorme cantidad de «cháchara» (CRONBACH, 1980). Segundo, aunque la preparación y titulación de evaluadores ha mejorado con el fin de que las instituciones puedan disponer de servicios realizados por personas cualificadas, algunos lamentan que este desarrollo pueda reducirse a una especie de club cerrado y exclusivista (STAKE, 1981). Tercero, la cooperación entre organizaciones profesionales relacionadas con la evaluación educacional, promovida por el Joint Committee on Standards for Educational Evaluation, es un prometedor pero frágil compromiso para fomentar la ejecución y utilización de trabajos evaluativos de alta calidad. Cuarto, mientras la creación de nuevas organizaciones profesionales ha incrementado la comunicación y reducido la fragmentación de la especialidad evaluativa, aún persiste una profunda división entre la Division H de AERA, la Evaluation Network y la Evaluation Research Society ..Finalmente, aunque se ha incrementado la comunicación entre los partidarios de los métodos positivistas/cuantitativos y los que proponen métodos fenomenológicos/cualitativos, existe, actualmente, el peligro de que se produzca una polarización entre estos dos campos. A pesar de la creciente búsqueda de métodos adecuados, del incremento de la comunicación y el entendimiento entre los principales teóricos, y del desarrollo de nuevas técnicas, la práctica actual de la evaluación ha cambiado muy poco en la mayoría de los casos. Está claro que es necesario renovar los esfuerzos para educar a los evaluadores en las nuevas técnicas, para poner a prueba e informar de los resultados conseguidos mediante estas nuevas técnicas y para desarrollar técnicas adicionales. En todos estos esfuerzos, debe ponerse el énfasis en conseguir que la metodología responda a las necesidades de los profesionales y de aquellos a quienes sirven. Hemos presentado la evaluación educacional como una profesión dinámica y aún en desarrollo. Aunque se trata de una profesión aún inmadura, no hay duda de que poco a poco se va convirtiendo en una parte identificable del amplio aparato profesional y gubernamental de educación, salud y bienestar. La predicción que se solía hacer en los años 60, en el sentido de que la evaluación de programas formalizada era sólo una moda que pronto desaparecería, ha demostrado ser falsa, y hay fuertes indicios de que esta especialidad continuará creciendo en importancia, complejidad y valor. Los logros alcanzados desde el final de la década de los sesenta son importantes, pero aún existen muchas deficiencias obvias y son necesarias una investigación y evolución constantes.

)

Reparto de papeles en el trabajo evaluativo Hasta aquí hemos presentado y discutido una definición básica. de la evaluación, descrito algunos de los métodos relacionados con el trabajO evaluativo, señalado las normas de esta profesión y proporcionado un panorama histórico. Hecho esto, concluiremos echando un vistazo a los papeles que se desempeñan en una evaluación. . Tanto si una evaluación es dirigida por una persona como sIlo es por muchas deben desempeñarse unos cuantos papeles, y cuando se considera el trabajo 'relacionado con apoyar y promover la evaluación como profesión, este abanico de papeles se convierte en mucho más amplio. Todos los que están relacionados con la evaluación, ya sea en generala como especialistas, deben tener una amplia visión de todos estos papeles con el fin de que su participación y su colaboración se integren en la labor de equipo. Quizá nada sea tan destructivo con respecto a la potencial contribución en una evaluación como el hecho de pensar que esa evaluación es una investigación independiente realizada por un solo investigador. Por el contrario, la evaluación alcanza su mejor momento cuando se desarrolla como un trabajo de equipo. Con la intención de proporcionar un amplio panorama del trabajo relacionado con las evaluaciones individuales y con la profesión evaluativa en general, hemos descrito doce papeles básicos. Aunque otros autores describan un panorama distinto y le asignen funciones diferentes, nosotros creemos q.u.e nuestra clasificación de papeles abarca muchas, si no todas, de las responsablhdades laborales que los evaluadores pueden llevar a cabo. Es más, en nuestra experiencia, esos doce papeles se han asociado con la actual distribución del trabajo. Desde luego, no siempre. existe una correspondencia unívoca entre papel y trabajo, pero creemos que esos doce papeles pueden resultar útiles para el lector, no sólo para que reflexione sobre la amplia serie de actividades evaluativas existentes, sino también para que tenga en cuenta los posibles estudios que se pueden realizar en torno a la evaluación. Lo que sigue, pues, son unas breves definici( :les de los doce papeles básicos que pueden desempeñarse en una evaluación.

)

, ")

') ')

~ ') )

) ')

~) ) ) ) )

)

) ) )

,

f )

) )

El cliente de la evaluacIón Cualquier evaluación de utilidad implica la plena participación de un cliente. Esto es cierto tanto si el estudio está dirigido por una persona para servir a sus propios propósitos como si 10 está por muchas. El cliente es la persona o grupo que utilizará los resultados para algún propósito, como la selección o el perfeccionamiento de un programa. El grupo de los clientes incluye tanto a quien haya encargado la evaluación, en primer lugar, como a

)

.) /) ) 1)

) )

.' ) í1

( (

(

( (

( ( (

( ( ( ( (

( ( ( (

( ( ( ( ( (

44

I

t


todos aquellos que esperan los resultados para hacer uso de ellos. De una forma u otra, el tiempo y los recursos requeridos para una evaluación son proporcionados por el cliente o por una o más personas pertenecientes a un grupo de clientes. Los clientes son, también, el origen crucial de las cuestiones planteadas y de los criterios empleados para interpretar los resultados; también tienen la responsabilidad primordial de aplicar las conclusiones; y, a menudo, una evaluación no puede realizarse si el cliente no lo dispone todo con mucho cuidado y trata de asegurar de que existirá una plena cooperación entre todos los que intervienen en el trabajo. Puede encontrarse una gran variedad de clientes en las organizaciones educativas, sociales y de la salud. Esto incluye, por ejemplo, inspectores de distritos escolares, administradores hospitalarios y directores de agencias; directores de colegios, presidentes de departamento y administradores de becas; y maestros, psicólogos y médicos. Si la evaluación consiste en contribuir al máximo a la hora de proporcionar servicios meritorios y válidos a la gente;deberán intervenir y aprovecharse toda esta serie de clientes. Además, creemos que deben estar activamente comprometidos en el encargo y la planificación de las evaluaciones, con el fin de obtener la información que necesitan para hacer bien sus trabajos. Por lo tanto, para satisfacer estas expectativas, deben estar adecuadamente preparados, tanto como todas aquellas personas que van a realizar los otros once papeles. Queremos subrayar que, quizá, la misión más importante de los programas de preparación para una evaluación -tanto para antes del servicio como para su realizaciónes enseñar a los clientes de la evaluación a cumplir con sus responsabilidades. Si no tienen un concepto sól~do de la eval~ació?: probablemente no intervendrán en ella, se mostrarán paSIVOS,no sabran uultzarla para conseguir sus propósitos y/o considerarán que los resultados tienen poco interés. En cambio, los clientes entendidos pueden ayuda~ a asegur~r que la evaluación sea un instrumento útil y poderoso para garantIzar la cahdad de los servicios profesionales.

El diseñador de la evaluación

(

( ( ( ( ( {

t

t -.4

Introducción

Uno de los aspectos más fascinantes del trabajo evaluativo es que se trata de una empresa creativa. Diseñar una evaluación para satisfacer la demanda de información de un cliente es algo más que un proceso mecánicamente rutinario. Entre otras responsabilidades, debe conceptualizar las cuestiones que serán abordadas, examinar el panorama político, trazar una recopilación de datos y un plan de análisis, idear los informes y el proceso informativo, encargarse del aspecto financiero y del personal y determinar cómo deben ser empleadas las normas profesionales de la evaluación. Para solucionar todo este complejo entramado de decisiones de planificación, no bastan modelos

a la evaluación

1

45

de otras evaluaciones o planes ya publicados. Por el contrario, el diseño típico de una evaluación consiste en un continuo proceso conceptual. . Para diseñar una buena evaluación, se debe ser un obser,:,ador sensIble de los ambientes sociales, saber entrevistar y escuchar, y ~studlar con voluncapacidad lo esencial del programa que va a ser exammado. El evaluador ta d y . d' . ., d b ser también experto en un ampho campo e teCnlcas comunlcaUvas y d:. ;ncuestas, y capaz de reunir las distintas piezas de las premisas. y la información en planes de trabajo que sean prácticos, coherentes y que sIrvan como guías racionales. ., , Debemos considerar el papel del diseñador de la evaluaclOn como el mas importante del trabajo evaluativo, junto con el del cliente: Aquellos ~ue se convierten en expertos en diseño evaluativo, a menudo trabajan todo el uempo como evaluadores y están muy solicitados como asesores 'para ayud~r a los lientes de una evaluación a planificar y encargar los estudlOs evaluatIvos. c Las conceptualizaciones generales sobre la evaluación presenta~as en las unidades 3 a 10 proporcionan un importantísimo material de e:tudlO a todos aquellos que deseen adquirir mayor facilidad para con~eptuahzar planes de evaluación. Además de estudiar las contribuciones creatIvas de otros, su~rayamos que el desarrollo de la .c~pacidad para di~eñar. ;valuaciones reqUIere práctica: se necesita haber partlclpado en la ?lanlfi~acl0n d~ ~1UC~~Sevaluaciones. Creemos que esta práctica debe inclUlr algun trabajo mdlvldual con un cliente. Además, se puede aprender mucho colaborando con grupos encargados del diseño de evaluaciones. Igualmente, el estudi~ de un gran número de diseños evaluativos preparados por otros proporclOna muchos buenos ejemplos e intuiciones acerca de esta compleja área de tra~ajo .. Cr~em~~ que estos programas de preparación para evaluaciones deben mclulr e)erCIClOSy otras formas de guías prácticas para la planificación de evaluaciones.

El coordinador

( (

T

de la evaluación

Muchas evaluaciones requieren los esfuerzos de varios participantes, y la utilización de considerables recursos y servicios para múltiples clientes. Por lo tanto, se hace necesario coordinar de un modo eficaz todo este trabajo. Esta necesidad se amplía cuando una determinada agencia tiene en preparación varios proyectos de evaluación distintos. No es sorprendente, por lo tanto, que la profesión incluya muchos trabajos evaluativos con nombres como ayudante del supervisor de la evaluación, coordinador de proyectos evaluativos, director del departamento de evaluación o director de personal del proyecto de evaluación. Este papel implica que las personas especializadas en evaluaciones deben también prepararse para funciones administrativas, y también que aquellos a quienes se les asigne un trabajo administrativo relacionado con la evaluación

') ') 46

I

Evaluación sistemátIca

Introducción

deb~n posee: o adquirir conocimientos básicos sobre la planificación de eval~aclOnes.. F1~almente, creemos que las más importantes instituciones educat:vas, samtanas y sociales, deben a menudo dirigir sus esfuerzos hacia la creación de grupos administrativos competentes.

a la evaluación

I

47

ser necesario supervisar y anotar los resultados de unas entrevistas; crear, proporcionar y utilizar instrumentos para una recopilación de datos estructurada; analizar tanto la información cuantitativa como la cualitativa; y realizar presentaciones audiovisuales de los resultados. En las evaluaciones a pequeña escala, un simple evaluador puede, a menudo, hacer todas estas tareas sin asistencia especializada. El agente evaluador está obligado a coordinar y realizar todos los trabajos que sean necesarios, así como a dominar todas las técnicas especializadas que se requieran. Este tipo de agente necesita una amplia preparación que le introduzca en las más importantes de estas especialidades. A menudo, esta persona debe ser capaz de coordinar la asistencia de los especialistas cualificados. De todas maneras, es inevitable que los estúdios a gran escala contraten especialistas para llevar a cabo estas tareas con el fin de que los asistentes puedan concentrar sus esfuerzos en su propio campo de trabajo: los clientes y los respondentes. Este gnpo de expertos puede incluir especialistas en la elaboración de pruebas, especialistas en muestreos, especialistas en el procesamiento de datos, estadísticos, especialistas en el estudio de casos y redactores técnicos.

Asistentes de la evaluación . Frecuentemente, uno.?e los papeles más importantes -a menudo independle~;e:de la eva~uaC1on es el del asistente. Este papel supone contactos p.enodlcos con lo~ ~hentes, revisiones de los documentos del programa, inspecclO~es de la~ aCtlvldades del programa, hacer entrevistas y recoger otro tipo de 1DfOrmaC1o.n~sacerca de las partes, redactar informes y asumir la principal responsaQlhdad a la hora de presentar los informes. A veces el asistente es el encargado de realizar la planificación del estudio comple~o. En otro casos, él o ella tiene una responsabilidad 'menor. Pero siempre estará encar~ gado de c~labo~~r con el personal del programa y de cooperar en la realización de la plamficaclOn del estudio. Para deserr:peñar el papel de asistente se requieren tanto habilidad técnica como capaCIdad para las relaciones humanas. Además, las personas asigna~as a este puest~ deben poseer o ser capaces de desarrollar una gran credibilidad ante los chentes y ante todos aquellos que participan en la realización del programa.

')

')

') ')

') ')

') ') \

')

") I

\

)

) ) ) )

Especialistas en información

) Un papel técnico que hemos escogido para dedicarle una atención especial es el del especialista en información. Y 10 hemos hecho porque ese papel supone una continua necesidad de información relacionada con otras evaluaciones y no con problemas técnicos determinados. El especialista en información es especialmente importante en las agencias que disponen de departamentos de evaluación. Las evaluaciones dirigidas desde estos departamentos deben tomar en consideración el panorama institucional. y su contexto histórico, examinar los descubrimientos del pasado y de la actualidad para determinar las tendencias y evitar una innecesaria pluralidad de esfuerzos en 10 que se refiere a la recopilación de datos. Es necesario, como mínimo, un buen sistema para ordenar y archiva' los informes de manera que la información que contienen pueda ser fácilmente consultada en futuras evaluaciones. Además, muchas agencias se beneficiarían de una recopilación regular de información que las ayudaría a estar totalmente al corriente de entradas de datos, procesos y producciones, así corno de la actitud de sus componentes hacia los servicios de la agencia. El desempeño del papel de especialista en información requiere que el evaluador, o uno o más miembros del equipo de evaluación, conozca bien las ciencias informativas. Eso supone conocimientos y técnicas en áreas como la . comunicación, los sistemas de información, el proceso de datos, la contabilidad financiera y la planificación de gran alcance. Las personas que piensan espe-

Responderites de la evaluación . Se tra~a de un papel al que demasiado a menudo no se le concede mucha ImportanCIa. Son las personas que rellenan los formularios, responden a los tests, contestan a las ent~evistas y permiten que les observen en su trabajo. En muchos casos, la cahdad de la información obtenida depende casi por co~pleto de su bu~na .voluntad para cooperar y dar lo mejor de sí mismos. Es Improbable que reahcen cualesquiera de estas tareas si no están informados acerc~ de s~ papel Y, convencidos de la importancia del estudio. Como consecuen~la, qUIenes estan al frente de las evaluaciones deben hacer un esfuerzo espeCial para asegurar que el estudio servirá de algo a estos colaboradores tal Y como ocurre con ~os clientes. También deben cuidar que las actividades 'que promuevan les motiven Y preparen para responder apropiadamente. Especialistas en ayuda técnica , ~a mayor pa~te de las evaluaciones suponen una cierta cantidad de trabajo tecDlCOque reqUIere la ayuda de expertos especializados. Por ejemplo, puede

) ) \

) )

.) I )

.) ) ) ) ') )

,) )

)

j'

') 'J.

t (

I

(

48

(

cializarse en evaluación deben adquirir un dominio general de las especialidades de la información, mientras que un cierto tipo de trabajo correspondiente a esta área resulta importante incluso para las evaluaciones más sencillas. Además, los departamentos de evaluación deben, a menudo, asignar una o más personas para el cumplimiento de esta importante función.

{ { (


( (

( ( ( ( (

( ( (

( ( (

( ( ( ( (

( (

l ( ( ( ( ( (

Especia/istas

en comunicación

La evaluación bien hecha es una comunicación efectiva acerca del mérito y el valor de algún objeto. Esto quiere decir que los problemas de los clientes guían el trabajo de los evaluadores, y las conclusiones de éstos llegan hasta los clientes para informarlos. Ninguno de estos objetivos se hace posible sin una comunicación efectiva entre el evaluador y el cliente. Ocurre demasiado a menudo, de todas formas, que la comunicación efectiva se pierde en el trabajo evaluativo. Los evaluadores y/o los clientes asumen que los primeros conocen su oncio y, de algún modo, obtendrán y facilitarán las conclusiones adecuadas; en lugar de eso, los evaluadores a menudo se ocupan de las cuestiones equivocadas. Por otra parte, los evaluadores deben hacer un buen trabajo consiguiendo que los clientes ayuden a centrar la evaluación y a recopilar una información que resulte sólida y potencialmente útil, para luego «pasarles la pelota» y que sean ellos los que, sin ayuda, interpreten y apliquen la información. Desearíamos dejar totalmente claro que la evaluación efectiva supone no sólo recopilar y analizar la información apropiada, sino también asegurar, a través de una efectiva tecnología comunicativa, que la información sea presentada de una forma útil y utilizada en consecuencia. Sabemos que los evaluadores no deben ser considerados responsables de todas las falsas interpretaciones y empleos erróneos que se han hecho de sus informes, pero sí, entre otras cosas, de asegurarse de que sus informes sean relevantes para los intereses de sus audiencias y de que puedan entenderlos. Todo esto requiere que los evaluadores tengan conocimientos sobre tecnologías de la comunicación. Básicamente, deben ser capaces de preparar informes escritos con claridad y que estén dirigidos a -y resulten comprensibles para- la audiencia o audiencias que los han solicitado. También deben saber cómo comunicar conclusiones a través de medios distintos del material impreso: por ejemplo, deben saber cómo hablar en público, utilizar técnicas audiovisuales y servirse de los medios públicos. Finalmente, queremos señalar que deben poseer conocimientos sobre el análisis político y la solución de conflictos, ya que, a menudo, las evaluaciones son objeto de controversia. El papel del especialista en comunicación tiene considerables implicaciones para la preparación de los evaluadores, su utilización de los especialistas y la elección de personal en los departamentos de evaluación. Sin duda, los evaluadores deben adquirir preparación en una amplia serie de técnicas comu-

'J

Introducción

)

a la evaluación

1

49

. t'Ivas . En su práctica " deben como mínimo , someter los borradores nlca . , de sus . f rmes al juicio de los editores. Y los departamentos de eva1uaclOn, a meIn o . l' . ., 1 deben emplear a espeCIa Istas en comUnlCaClOn para que asesoren a nu d o, ., d 1 l' E planificación de las evaluaciones y la presentaclOn e as conc USlOnes. stos ecia1istas también desempeñan un importante papel a la hora de evaluar esp .' d 1" y ayudar a mejorar el exhaustivo t~abaJo de un departamento e eva uaClOn, comunicando los resultados a sus clientes. . El análisis de los papeles realizado hasta este punto ayuda a clanficar la complejidad del trabajo evaluativo. Una. gran ag~n~ia, que deba somete~ continuamente a eva1uciones- a sus exhaustivos serVICIOS,puede que nece~lte un personal completo de especialistas en evaluación. La figura. ~-1 es un eJemp~o el departamento de eva1uaclOn de una agenCIa d e Cómo debe estar oruanizado b 1 ., Ca para que cumpla a la perfección las diversas funciones de una eva uaClOn. ~o puede verse en ese esquema organizativo, el coordinador. de la evaluaCl~n tiene la responsabilidad de satisfacer las necesidades evaluativas de la agenCl.a y de sus componentes. Para ayudarle en el desempeñ~ ~e este pap~l,.el coordInador de la evaluación dispone de los esfuerzos de dlstmtos espeClahstas. Que los servicios del departamento sean técnicamente sólidos e influyentes,. depende de hasta qué punto su trabajo esté coordinado de un modo efectivo. Al mismo tiempo, queremos subrayar que la evaluación debe, a menudo, estar realizada por un solo evaluador. Para hacer bien su trabajo, debe llegar a desenvolverse bien en toda la amplia gama de papeles ya descritos. Probablemente, la mejor manera de encontrar y aprender el modo de ~onocer bien toda la gama de papeles de una evaluación es dirigiendo evaluaCl.o~es de una ~ola persona bajo la tutela de un experto en evaluaciones. PartiCIpar en eqUIpos de evaluación también proporciona excelentes oportunidades de aprender. Los evaluadores deben ser inventivos a la hora de utilizar la ayuda de los especialistas, que pueden resultar1es baratos e incluso no costarles nada. Hasta Llanero Solitario consideraba necesario y beneficioso colaborar con un SoCIO leal y capaz. Llegados a este punto en el análisis de los papeles en una evaluación, sólo hemos examinado aquellos que corresponden a una evaluación efectiva. Ahora vamos a ver otros cuatro que actúan como papeles secundarios en la profesionalización de la evaluación.

:1

Preparador de /a evaluación A lo largo del análisis precedente, nos hemos ido refiriendo a la necesidad de una buena preparación por parte de aquellos que participan en una evaluación. Estas necesidades incluyen tanto la orientación hacia unos planes de evaluación específicos como el desarrollo de unas técnicas y conocimientos más generalizados, y, más concretamente, los conocimientos que se adquieren

\~

Introducción a la evaluación 50

\

I

51


Jefe de la agencia

---------

Clientes y responden tes de la evaluación

---------

,

I

Coordinador de la evaluación

Planificador de la evaluación

,,

,,

I

I

r

1

Asistentes de la evaluación

Especialistas en ayuda técnica

FIGURA

1-1.

l Especialista en información

Esquema

Especialista en comunicación

organizativo

examinando una práctica determinada. Además, la necesidad de una preparación corresponde tanto a los especialistas como a los clientes y a los respondentes. La evaluación, como cualquier otra profesión, debe asegurarse de que los que participan en ella disfruten de una amplia gama de sólidas oportunidades para prepararse bien. Esto incluye programas de preparación especializada que culminan en una titulación; cursos auxiliares que están concebidos para asesorar a todos aquellos que se estén preparando para una serie de funciones profesionales -como por ejemplo supervisores, asistentes sociales, profesores y médicos- sobre la evaluación de sus propios servicios profesionales; continuas oportunidades educativas para evaluadores y especialistas, y sesiones orientativas sobre estudios específicamente evaluativos destinados a clientes y respondentes. Este tipo de preparación debe presentar un contenido actual que resulte válido para los problemas concretos que deberán enfrentar los aprendices. Sin duda, la preparación es un papel crucial para mantener y hacer progresar la calidad de los servicios evaluativos.

Investigador

evaluativo

La misión de cualquier profesión es servir a sus clientes de la mejor manera posible, y la realización de este imperativo se ve siempre limitada por el estado actual de los conocimientos acerca de la especialidad. Por lo tanto, todas las profesiones deben tener un carácter investigativo. Los profesionales deben

diar las necesidades relacionadas con la profesiólJ. y los problemas de los estu . . . ., de . tes examinar sus prácticas a lId a uz e 1os conOCim1entos y pnnClp10S cllen , b . h' ,. 1 disciplinas más relevantes, analizar su tra aJo en su contexto 1stonco, as izar sobre los servicios profesionales y hacer avanzar los conocimientos teor . d o d e sus pnnClpa ., 1es sobre su especialidad a traves, d e un ana'l'1SlSestructura premisas e hipótesis. . Los programas de investigación más extensos se dan en las profeslOnes más veteranas, como la medicina y el derecho, o los negocios y la industria. En el primer caso, la investigación, bajo la influencia de la ética profesional, se utiliza para rendir el mejor servicio posible. En el segundo, la principal motivación es la obtención de beneficios y la supervivencia en un mundo competitivo. Ambas áreas son ~uy conscientes de que un mejor ~ervici? y. la competitividad dependen caS1 totalmente de un programa de mvesngac1ón dinámico Y adecuado. Aunque la evaluación es tan antigua como la civilización, sólo desde hace muy poco tiempo existe como práctica formal. Unicamente en las dos últimas décadas se han realizado serios esfuerzos para rec.opilar la historia de la especialidad, teorizar sobre la práctica evaluativa y planificar estudios que resulten adecuadamente descriptivos y se basen en hipótesis apropiadas. Pero existe, y debe existir, una fuerte tendencia hacia el establecimiento y mantenimiento de una base investigativa para la especialidad. Esta tendencia es especialmente evidente en la gran cantidad de literatura aparecida sobre la especialidad evaluativa, aunque gran parte de este material no puede calificarse como investigativo. En cualquier caso, queremos subrayar que la investigación evaluativa es una función vital para asegurar que los evaluadores mejoren progresivamente sus servicios y sus resultados.

j

J, I

")

) ')

) ) ) ) ) ) )

) ) )

Promotor de la evaluación Se trata de otro de los papeles vitales de la evaluación. Tiene como base la función de ayudar colectivamente a los evaluadores a alcanzar y mantener el status de Ui ,a profesión. El significado de este papel puede encontrarse en la definición de un diccionario que afirma que una profesión es «un oficio que requiere un conocimiento especializado y, a menudo, una preparación larga e intensiva, incluyendo el dominio de técnicas y métodos, así corno también de las nociones científicas, históricas y eruditas en las que se basan estas técnicas y métodos, manteniendo, mediante la organización o la coordinación de conceptos, altos niveles de ejecución y éxito, y sometiendo a sus miembros a un estudio continuo y a una concepción del trabajo en la que lo que más impOrta es el ofrecimiento de un servicio público». La especialidad de la evaluación está empezando ya a presentar las características de una profesión, tal y como se promulgan en esta definición. Ya

) ) )

)

) )

) ) j

) ) )

EJ

( (

f f (

( (

{ (

( { ( ( (

( (

52

I


existen programas de preparación que terminan en doctorados y ma~ters, así como también una extensa y boyante literatura sobre el terna. La lIteratura sobre evaluación recomienda contenidos y experiencias para ser incluidas en los programas de preparación, así corno análisis sobre cóm~ deben. elabo:arse los programas a partir de disciplinas afines, corno la filosofla, la pSIcologla, la sociología y la economía. Muchas organizaciones profesionales y dos amplios conjuntos de normas profesionales ya están a disposición de los evaluadores. Y, desde luego, el gobierno, el público y las organizaciones de servicios continúan requiriendo evaluaciones de los servicios profesionales, así corno fondos que los financien. Mantener estos avances hacia la profesionalización de la evaluación requiere iniciativas nacionales y estatales, además del apoyo de los miembros de la profesión. Cada una de las personas que cobren por trabajar corno evaluadores están obligadas a apoyar los distintos esfuerzos que se están haciendo para que la profesión siga adelante. Entre las funciones específicas que pueden cumplirse se encuentran las de editor de una publicación sobre la evaluación, elaborador de normas, educador de evaluadores y especialistas y funcionario de una sociedad evaluadora. Compartiendo las responsabilidades de estas funciones, los evaluadores pueden contribuir a asegurar al público que los servicios profesionales que ellos ofrecen son modernos y de gran calidad.

( (

( ( ( (

( { (

t ( ( {

<( (

l t 1_

El metaevaluador El último papel que querernos subrayar, el del metaevaluador, requiere mucha astucia y penetración. Está relacionado con las funciones de evaluar evaluaciones, pero también supone enjuiciar el valor y el mérito de todo lo que representa y hace la profesión: servicios de evaluación, utilización de las evaluaciones, preparación de la evaluación, investigación evaluativa y desarrollo organizativo. La metaevaluación utiliza las normas aceptadas de la profesión y trata de asegurar que son cumplidas. También se ocupa de examinar las propias normas con el fin de decidir en qué sentido deben ser revisadas. De una manera u otra, la metaevaluación necesita incorporarse a cada una de las actividades de la profesión. A veces se trata de una actividad de autoasesoramiento, corno cuando los evaluadores, los preparadores, los investigadores o los funcionarios de sociedades evaluativas examinan sus planes, la ejecución de su trabajo o los resultados, comparándolos con las normas de la profesión. En otros casos supone contratar a un agente independiente para que valore los servicios. El objetivo de la metaevaluación es asegurar la calidad de los servicios evaluativos, evitar o enfrentarse a las prácticas ilegales o a los servicios que no son de interés público, señalar el camino para el perfeccionamiento de la profesión y promover una mayor comprensión de la empresa evaluativa. Desde luego, todos los evaluadores profesionales deben mantener al día sus conocimientos de las normas de la profesión, incorporarlas a su tra-

,.-"".T ..•~ .•

! ;,~

"'

Introducción

a la evaluación

I

53

. tar dispuestos a actuar corno metaevaluadores de los trabajos de otros b aJo, es h dI' profesionales y actuar profesionalment?, a la ora e e~a uar e mtentar me. las contribuciones que la evaluaclOn hace a la SOCIedad. Jorar 1 l" . Con este breve comentario sobre a metaeva uaClon~,termmamos nu.estro s papeles que se desempeñan en una evaluaclOn. Hemos anahzado repaso de lo " minuciosamente, hasta cierto punto, la funcion del evaluador profe~lOnal y h mos echado un vistazo a las divisiones que presenta. Creernos que, sm duda, e ello ha contribuido a apoyar la idea de que la evaluación es a menudo to dotrabajOo de equipo. Pero sacar la conclusión d e que 1as eva l'uaClOnes neceun , fl' ., 1 sitan de los esfuerzos de un equipo sena una a sa mterpretaclOn: por e trario la evaluación debe ser una parte necesariamente integrante de las can , f' { funciones de todo profesional. Nuestra conclusión es que estas unClOnes o papel) son tan difíciles corno importantes. Y la conclusión más obvia y. f.undamental es que todos los profesionales deben desarrollar sus responsabIlIdades evaluativas, puedan o no conseguir la ayuda de un equipo y aunque tengan que desempeñar ellos solos todas las funciones de la evaluación. Ya daríamos un gran paso en la dirección adecuada si consiguiéramos una mayor facilidad para conceptualizar los problemas evaluativos y los métodos adecuados para solucionarlos. El resto de este libro ha sido pensado para llevar a cabo este proceso. Presenta y examina en profundidad varias conceptualizaciones alternativas de la evaluación.

Test de conocimientos sobre la unidad 1

Puede comprobar que cada unidad finaliza con tres tipos distintos de cuestiones o ejercicios; cada uno de ellos, a su manera, pretende saber cuál es su grado de comprensión de la unidad. Se encontrará con preguntas que presentan múltiples respuestas para que escoja una, y con explicaciones que aclaran cuáles de las respuestas alternativas son correctas y cuáles no. Tanto las preguntas como las respuestas deben permitirle saber si usted ha alcanzado un nivel satisfactorio en relación con los objetivos que se proponía la unidad en lo que a conocimientos se refiere. En cada caso, rodee con un círculo la letra que, según usted, representa la mejor respuesta y luego valore su elección comparándola con la solución que le proporcionarnos y con la subsiguiente interpretación de las respuestas alternativas. Cuando haya respondido a todas las preguntas sobre conocimientos, se le " pedirá que revise su trabajo y aumente su comprensión de la unidad, o bien que continué con los otros ejercicios. Entonces deberá enfrentarse a algu-

')

! 54

I

Introducción


PREGUNTA 1. ¿Cuál de las respuestas que vienen a continuación refleja lo que esta unidad ha considerado como los fundamentos esenciales que deben ser considerados para determinar el valor de un objeto que se está evaluando?

b) e) d)

a) b)

d)

3. ¿Cuál de las siguientes afirmaciones es más coherente con lue se ha dicho en esta unidad respecto de los métodos que pueden ser aprop~adamente empleados en los estudios evaluativos? ¡l)

.,c~,;:_

b) e)

. :," cinco funda-;~ "-~~£

b)

Es incorrecta porque la subjetividad del evaluador puede dar una incli- •... :.L.~,.~ ...j.~.~ ..~.. nación inadecuada al estudio, mientras que si tóma como guía los crite- .•, rios sugeridos no quedará ignorado ningún fundamento principal. '¡~l

e)

PREGUNTA

2.

En esta unidad se afirma que las evaluaciones, en general,

deben ser

a)

b) e)

d)

comparativas, cotejando las alternativas disponibles antes del desarrollo del programa o del servicio. comparativas tanto antes del comienzo del programa corno, periódicamente, después de su desarrollo. comparativas antes de que el programa empiece, no comparativas durante su desarrollo y ocasionalmente comparativas después. ni comparativas ni no comparativas.

Es incorrecta porque tant~ la fa~e. no comparativa como la fase comparativa postoperativa han sIdo om1tldas.. . . . . Es incorrecta porque la fase. no compa:~tlva ha sIdo o.m1tlda. E 'correcta porque cualqmer evaluaClon es comparauva, no comparati:alUo ambas cosas, dependiendo de las necesidades informativas de los clientes y/o la audiencia de la evaluación.

")

I

"

I

, )

) ")

1 ) );

) )

PREGUNTA

Respuestas incorrectas Es incorrecta porque es incompleta. Es incorrecta porque la unidad identifica específicamente mentas.

55

Respuestas incorrectas

Aunque otros criterios también son importantes, los esenciales son el mérito, la necesidad y la equidad. " Deben ser considerados todos los valores más apreciados por el personal de la evaluación y sus clientes. '. Los evaluadores son los que deben escoger los fundamentos, basándose en su -propia filosofía. . Las expectativas de los clientes, el mérito, la necesidad, la viabilidad y la equidad son los criterios que deben determinar esos fundamentos.

Respuesta correcta: Debe usted haber señalado la «d». Las distintas expectativas de los clientes, el mérito del objeto (o servicio) en cuestión, la necesidad que se tenga de él, la viabilidad (incluso política) del objeto y la equidad o igualdad de oportunidades para que todos puedan tener acceso al objeto, deben ser las normas por que se debe guiar el evaluador.

a)

I

rrecta Debe usted haber señalado la «e». La evaluación comRespuesta ca . . , . d' . d 1 programa permite realizar comparacIones cnucas entre lSuva antes e d 11 . para 1 t' as' la evaluación no comparativa durante el esarro o permIte . tas a terna IV , . l' t11l 1 d 1 programa concentrarse en descubnr as mejoras maneras d e . d espues 'd e1 progra ma al Persona . 1 e evaluación peno. 'd' lcamente comparaUva vanzar; y a d a ., 1 camino para el logro e mayores progresos. despejara e

nos ejercicios prácticos. La unidad concluye con unas «Preguntas sin respuesta» y con la recomendación de unas lecturas complementarias. .

a)

a la evaluación

';.I~

i ')f;t

'~i E:!t

Ji

I

\i

t

d)

Evitar el trabajo descuidado, que a menudo es consecuencia de intentar utilizar muchos métodos; un evaluador debe especializarse en la utilización de una sola técnica, como la planificación experimental o el estudio de un caso . En general, resulta apropiado seguir un enfoque ecléctico para la selección de métodos, pero el evaluador debe evitar la utilización de métodos poco científicos, como el estudio de casos o el análisis político. El panorama actual de los métodos que pueden emplearse en una evaluación es ya muy avanzado, y los evaluadores deben concentrarse no en valorar los metodos existentes y desarrollar otros nuevos, sino en aprender y utilizar la metodología disponible, especialmente la que procede de la investigación y la psicología educativas . En general, los evaluadores necesitan ser capaces de utilizar una amplia gama de técnicas de investigación, y los que se ocupan de elaborar métodos de evaluación deben desarrollar nuevas técnicas.

) ) ) ) )

) ) ) ) ) )

) )

Respuesta correcta. Debe usted haberoseñalado la «d». Esta unidad recomienda, a la vez, el empleo de un acercamiento ecléctico a la evaluación y la necesidad de nuevas estrategias e instrumentos evaluativos.

) ) )

) )

)

J

t (

I

f

56

(


(

-( (

a) b) e)

( {


Introducción

Es incorrecta porque la unidad recomienda el uso de múltiples técnicas. Es incorrecta porque la unidad fomenta la utilización de una amplia gama de técnicas, incluyendo el estudio de casos y el análisis político. Es incorrecto porque esta unidad recomienda el empleo de una amplia gama de las metodologías existentes y, a la vez, el desarrollo de nuevos métodos.

PREGUNTA 4. época tyleriana?

I

57

b) Las evaluaciones no parecían ocuparse demasiado de la exactitud de las e)

d)

diferencias existentes entre las calificaciones de cada estudiante. Las agencias federales empezaron a sentir un gran interés por la evaluación de programas. Durante este tiempo, se crearon nuevos servicios de tests, algoritmos, planificaciones experimentales y procedimientos estadísticos, como respuesta a un análisis de las necesidades de la educación.

Respuesta correcta. Debe usted haber señalado la «a». Esta afirmación refleja fielmente el desinterés de la evaluación por la responsabilidad o, lógicamente, por otras cosas, incluso aunque las disposiciones educativas estuvieran extendiéndose rápidamente.

(

{

a la evaluación

¿Cuál de las siguientes afirmaciones caracteriza mejor la

(

(,

a)

(

b)

(

e)

( (

d)

(

(

Se introaujeron los tests estandarizados para conseguir que la educación resultara más eficiente. El método tyleriano se distinguió por concentrarse en unos objetivos claramente fijados y en su consecución. Los evaluadores aprendieron a ayudar a quienes elaboraban currículos a clarificar el comportamiento de los estudiantes, que sale a la luz con la realización de un currículo. Las comparaciones internas entre resultados y objetivos resultan costosos.

(

Respuesta correcta. Debe usted haber señalado la «b». Es lo más destacable de la filosofía de Tyler y del método práctico de evaluación.

(


(

e

b) Incorrecta; la concentración en las encuestas regularizadas condujo a una e)

d)

e)

d)

(

Es incorrecta porque los tests estandarizados se desarrollaron en el período pre-tyleriano (a principios de este siglo). Aunque esto no es incorrecto, se trata de una descripción muy pobre de la alternativa de Tyler a las concepciones más tempranas de la evaluación. Incorrecta; de hecho, por el contrario, las evaluaciones internas han demostrado ser menos costosas porque no requieren los servicios de un especialista en evaluación.

b)

e)

(

(

d)

5. ¿Qué afirmación se corresponde mejor con el período de la evolución de la evaluación denominado la época de la «inocencia» (19461957)? PREGUNTA

( ( (

t

a)

Aunque se daba una gran expansión de la educación, la sociedad no tenía un particular interés en formar evaluadores responsables.

''-

'f

gran preocupación por la exactitud de las diferencias de calificaciones entre los estudiantes. Es incorrecta, porque este hecho no se produjo hasta los años sesenta. Es incorrecta, porque, lamentablemente, no fue éste el caso; procedimientos como los mencionados se ocupaban poco o nada de las necesidades educativas, incluida la de su mejora.

PREGUNTA 6. ¿Cuál de las siguientes afirmaciones se corresponde más con el desarrollo de la evaluación durante la época del realismo (1958-1972)?

a) a)

( (


°tt

Desde 1965, se invirtieron billones de dólares en programas cuyo objetivo era la igualdad y la mejora de las oportunidades en cuestiones de servicios sanitarios, sociales y educativos. El artículo 1 del Acta de la Educación Elemental y Secundaria de 1965 tenía como objetivo proporcionar una educación compensatoria a los niños atrasados. Las adecuadas metodologías evolutivas utilizadas en estos programas tuvieron, afortunadamente, éxito. El énfasis puesto en las puntuaciones de los tests hizo que la atención se dirigiera hacia los propios programas. Las duras críticas de CRONBACH (1963), que afirmaron que los métodos f: 'aluativos de entonces carecían de relevancia, y que la evaluación debía c;nvertirse en un proceso de recogida y elaboración de informaciones que sirvieron como guía para la realización de un currículo, fueron muy oportunas.

) '1 58

I


Introducción


Respuestas

e)

b)

e)

a) b)

e)

d)

b)

Es incorrecta, porque se trata de una afirmación acerca de un programa, político y no estrictamente acerca de la evaluación, incluso aunque los programas posteriores condujeran a un rápido desarrollo de las metodologías evaluativas. Es incorrecta, porque las metodologías evaluativas empleadas en esta época eran totalmente inadecuadas. Incorrecfa; la verdad está más cerca de todo 10 contrario, puesto que las puntuaciones de los tests desviaron la 'atención de los programas en sí y de su perfeccionamiento.

Los evaluadores han realizado un significativo progreso hacia el establecimiento de la evaluación como práctica formal especializada. De un modo creciente, la evaluación se fue considerando sólo como una aspirante a la categoría de profesión. Esta área laboral dejó de ser útil en la década de los sesenta: el público la fue dejando a un lado y ya no recibió más ayudas económicas. En el área de la metodología, los evaluadores han llegado casi a un completo acuerdo mediante el cual las evaluaciones deben emplear métodos naturalistas y evitar la utilización de métodos cuantitativos. En respuesta al mayor desarrollo metodológico de la pasada década, se han realizado minuciosos cambios y reformas en la práctica evaluativa.

Respuesta correcta. Debe usted haber señalado la «a». Los evidentes síntomas de profesionalización de la evaluación que se dan en 1983 incluyen la aparición de publicaciones periódicas, de numerosos libros y monografías sobre el tema, de organizaciones profesionales que se dedican a la evaluación, de normas profesionales para la práctica, de un programa concreto destinado a la titulación, y un accmento de la investigación y el desarrollo de temas sobre evaluación.

59

')

)

incorrectas

PREGUNTA7. ¿Cuál de las afirmaciones siguientes caracteriza mejor, de acuerdo con esta unidad, el estado de la evaluación en 1983?

I

')

Respuesta correcta. Debe usted haber señalado la «d». Las críticas de Cronbach contenidas en su artículo de 1963, constituyeron un gran paso adelante ~n el proceso de descubrir metodologías apropiadas para satisfacer las exigencias evaluativas de los años sesenta.

a)

a la evaluación

d)

.•,

Es incorrecta porque, contrariamente a las afirmaciones previas, acerca de que la evaluación formalizada era una moda que pasaría pronto, la especialidad ha empezado a adquirir las características de una profesión. Es incorrecta porque existe una profunda división entre aquellos que son partidarios de los métodos experimentales/cuantitativos y los que recomiendan métodos naturalistas/cualitativos. Es incorrecta porque, a pesar de la creciente competencia de los evaluadores, la práctica evaluativa actual, según esta unidad, ha cambiado muy poco en la mayoría de los casos.

INTERPRETACIÓNDEL TESTDE CONOCIMIENTOS. Cuando haya terminado el test de conocimientos, le rogamos que examine cómo 10 ha hecho. Le recomendamos que revise>las partes más importantes del test, prestando más atención a las preguntas en las que se ha equivocado o en las que ha dudado, e incluso aquellas en las que se ha sentido un poco confuso ante nuestras respuestas y explicaciones.

)

! ¡ ')

)

i ) ) )

) ) )

Ejercicio práctico Este apartado consiste en un ejercicio que pretende ayudarle a valorar si ha comprendido bien cómo pueden aplicarse en la práctica los principales contenidos de la unidad. Le sugerimos que anote su respuesta en una hoja de papel aparte y luego la compare con la respuesta-ejemplo que sigue. EJERCICIO 1. Suponga que el director del Departamento de Bienestar de una gran ciudad le contrata para discutir los planes de evaluación de sus programas que le ha facilitado la agencia. Suponga además que el director de la agencia ha asumido el concepto de «auto-evaluación», de acuerdo con el cual todos los miembros del personal de la agencia son responsables de evaluar su propio trabajo. El jefe advierte también que no se han utilizado los servicios de un departamento de evaluación, ni los de unos especialistas (ya sea durante todo el trabajo o parte de él), ni se ha pagado de una manera especial el trabajo evaluativo. En lugar de eso, ha recordado a los 95 miembros del personal que son responsables de evaluar su propio trabajo y les ha enseñado un método evaluativo, con el fin de que sus esfuerzos lleguen a buen puerto. El director cree que este tipo de actividad evaluativa puede ser de utilidad para convencer a la legislatura estatal de que incremente sus ayudas a la agencia.

) ) ) ) ) ) ) ) )

) )

) ) )

) )

) ,)

f f I Evaluación sistemática

f f

60

(

Las respuestas al ejercicio los siguientes puntos:

(

(

a)

(

b)

( (

( (

e)

( ( (

(

d)

(

(

Referencias bibliográficas

1 deben incluir convenientemente 3.

Cada profesional es totalmente responsable de la calidad y, por 10 tanto, de la evaluación de sus contribuciones. Aunque los profesionales necesitan una cierta preparación sobre evaluación, este trabajo es demasiado complejo como para suponer que cada uno de los profesionales, actuando independientemente, puede hacer todo 10 que la evaluación necesita para solucionar los problemas que la legislación estatal plantea a la agencia. Indudablemente, una preparación metodológica apropiada puede ser un positivo paso adelante hacia la profesionalización del trabajo de la agencia, pero entre la planificación de esa preparación y la decisión acerca de cómo distribuir los recursos de la evaluación, el que toma las decisiones en la agencia debe tener en cuenta una amplia gama de funciones evaluativas. Los papeles que se desempeñan en el trabajo evaluativo de una agencia son, más o menos, los siguientes: cliente de la evaluación, planificador de la evaluación, coordinador de los servicios evaluativos, evaluador especializado, asesor técnico, especialista en información y especialista en comunicación.

4.

5.

( (

(

Este apartado contiene preguntas destinadas a ayudarle a calibrar y profundizar su comprensión de los asuntos tratados en esta unidad. No se proporcionan respuestas a las preguntas. Le sugerimos que intente dar respuestas a estas preguntas siguiendo ciertos pasos, como revisar la unidad, consultar las fuentes bibliográficas adecuadas, incluyendo las que se consignan al final de la unidad, y discutiendo las preguntas con sus alumnos o colegas.

D. R. 1956. Taxonomy of educational objectives. Handbook 1: The cognitive domain, Nueva York, David McKay (trad. cast.: Clasificación de las metas educativas. Tomo 1: Taxonomía de los objetos, Alcoy, Marfil, 1979).

BRINKERHOFF,R.; BRETHOWER,D.; HLUCHYJ, T.; y NOWAKOWSKI, J. 1933. Program evaluation: A practitioners' guide for trainers and educators, Bostan, Kluwer-Nijhoff. CAMPBELL, D. T. y STANLEY, J. C. 1963. Experimental and quasi-experimental designs for research on teaching, en N. 1. Gage (comp.), Handbook of research on teaching, Chicago, Rand McNally. COLEMAN, J. S.; CAMPBELL,E. Q.; HOBSON,C. J.; MCPARTLAND, J.; MODD,A. M.; WEcNFELD,F. D.; Y YORK, R. 1. 1966. Equalty of educational opportunity. Waohington, D.C. Oficina de Educación, Departamento de Salud, Educación y Bienestar de los EE.UU. COOK, D. 1. 1966. Program evaluation and review technique: Applications in Education, Washington, D.C. Oficina de Imprenta del Gobierno. -.1971. Educational project management, Columbus, Ohio, Charles E. Merrill.

( (

l { ( (

t

1.

2.

dar o refutar el enfoque ecléctico para la elección de métodos investigativos? Algunas personas han sugerido que algunas de las Normas del Joint Committee deben ser tenidas en cuenta antes que otras, es decir, que el orden de presentación y aplicación de cada una de las normas debe ser considerado muy importante. ¿Está usted de acuerdo o no? Si 10 está, ¿cómo ordenaría usted las Normas con el fin de aplicarlas para tomar una decisión acerca de llevar a cabo o no una evaluación que le han propuesto? Si cree que el orden en el que se estudien las Normas no es importante, ¿por qué piensa que no lo es? Examine el repaso histórico de la teoría y la práctica evaluativas contenido en esta unidad. ¿Cómo evaluaría el progreso, la regresión o el estancamiento de la especialidad en 10 que se refiere a la responsabilidad social, la erudición o la repercusión? Teniendo en cuenta el alcance de la unidad y, especialmente, el análisis de los papeles que se desempeñan en un trabajo evaluativo, ¿hasta qué punto cree que la sociedad debe invertir en preparar y emplear a especialistas en lugar de simples evaluadores? ¿Dónde, cómo y hasta qué punto debe proporcionárseles preparación a ambos tipos de evaluadores?

AMERICANPSYCHOLOGICAL AssocIATION. 1974. Standards for educational and psychological tests, Washington, D.C., Autor. ANDERSON, S.; BALL,S.; Y MURPHY, R. y colaboradores. 1974. Encyclopedia of educational evaluation, San Francisco, Jossey-Bass. BLOOM,B. S.; ENGLEHART,M. D.r FURST,E. J.; HILL, W. H.; y KRATHWOHL,

Preguntas sin respuestas

( (

61


(

(

I

La definición de evaluación que hemos dado en esta unidad, ¿es igualmente defendible desde el punto de vista de escuelas filosóficas distintas, como el pragmatismo, el existencialismo o el positivismo lógico? Teniendo en cuenta que esta unidad recomienda un enfoque ecléctico a la hora de escoger los métodos que se usarán en un trabajo evaluativo, ¿existe alguna investigación cuyas conclusiones se refieran a la conveniencia o inconveniencia de elegir eclécticamente métodos de especialidades afines --como la investigación educativa, la investigación psicológica, la contabilidad y la planificación ciudadana-, contribuyendo así a recomen-

( ( 7

')

T

1

")

1

62

I

Evaluación

sistemática

CRONBACH, L. J. 1963. Course improvement through evaluation, Teachers College Record, 64, págs. 672-683. -.1980. Toward reform of program evaluation, San Francisco, Jossey-Bass. EISNER, E. W. «Educational objectives: Help or hindrance?» The School Review, 75 (1967), págs. 250-260. -.1975. The perceptive eye: Toward the reformation of educational evaluation, Stanford, California, Stanford Evaluation Consortium, diciembre. GLASER, R. «lnstructional technology and the measurement of learning outcomes: Sorne questions», American Psychologist, 18 (1963), págs. 519-521. GLASS, G. 1976. Primary secondary and meta analysis of research, Educational Researcher, 5 (10), págs. 3-8. GUBA, E. G. «A Study of Title III activities: Report ~n evaluation» (National lnstitute for the Study of Educational Change, Universidad de Indiana, octubre de 1966) (cic1ostilado). GUBA, E. G. y LINCOLN, Y. S. 1981. Effective evaluation, San Francisco, Washington, Londres, Jossey-Bass. . HAMMOND, R. L. 1967. «Evaluation ar rhe locallevel». Conferencia para el Miller Committee for the National Study of ESEA Title IIl. JOHNSON, R. 1980. Directory of evaluators and evaluation agencies, Nueva York, Exxon Corporation. Joint Committee on Standard s for Educational Evaluation. 1981. Standards for evaluations of educational programs, projects, and materials, Nueva York, McGraw-Hill. KAPLAN, A. 1964. The conduct o/ inquiry, San Francisco, Chandler. KELLAGHAN, T. 1982. «Los sistemas escolares como objeto de evaluación». En Daniel STUFFLEBEAM; Thomas KELLAGHAN; Y Benjamín ALVAREZ (comp.), La Evaluación Educativa, Bogotá, Pontificia Universidad Javeriana. KELLAGHAN, T.; MADAUS,G.; y AIRASIAN, P. 1982. The effects of standardized testing, Hingham, Mass., Kluwer-Nijhoff Publishing. KRATHWOHL, D. R.; BLOOM, B. S.; Y MASIA, B. B. 1964. Taxonomy of educational objectives: The classification of educational goals. Handbook II: Affective domain, Nueva York, David McKay (trad. cast.: Taxonomía de los objetivos de la educación. Clasificación de las metas educativas, Alcoy, Marfil, 1979). METFESSEL, N. S. y MICHAEL, W. B. «A paradigm involving múltiple criterion measures for the evaluation of the effectiveness of school programs». Educational and Psychological Measurement, 27 (1967), págs. 931-943. PECK, H. «Report on' the certificar ion of evaluators in Louisiana». Texto presentado en el congreso de la Southern Educational Research Association, Lexington, Kentucky, Fali 1981. POPHAM, W. J. 1971. Criterion-referenced measurement, Englewood Cliffs, N.J.; Educational Technology Publications (trad. cast.: Evaluación basada en criterios, Magisterio ~spañol, 1983): PROVOS, M. 1969. Discrepancy evaluation model, Pittsburgh, Pennsylvania, Pittsburgh Public Schools. REINHARD, D. 1972. Methodology developments for input evaluation using advocate and design teams. Tesis doctoral inédita, Universidad del Estado de Ohio. RICE, J. M. 1897. The futiliry of the speliing grind, The Forum, 23, págs. 163-172.

Referencias

bibliográficas

I

63

-.1914. Scientific management in education, Nueva York, Hinds Noble and Eldredge. ROT~, J. 1977. Needs and the needs assessment process, Evaluation News, 5, ágmas 15-17. p SCRIVEN, M. S,. 1967. The methodology of evaluation. En Perspectives of curriculum evaluatlOn (AERA Monograph Series on Curriculum Evaluation, n. 1), Chicago, Rand McNaliy. -. 1;n4. P rose and cons about goal-free evaluation, Evaluation Comment, 3, págmas 1-4 . -.1975. Evaluation bias and its control. Occasional Paper Series, n. 4, Universidad de Western Michigan. Centro de Evaluación. SMITH, E. R. Y TYLER, R. W. 1942. Appraising and,recording student progress Nueva York, Harper. ' SMIT ~, N. 1. 1981a. Metaphors for evaluation: Sources of new methods, Beverl HI,lS, Sage. y -. 198 lb. New techniques for evaluation, Beverly Hills, Sage. STAKE, R. E. 1967. The counrenance of educational evaluation Teachers College Record, 68, págs. 523-540. ' -.197.5. Program .eval~ation, particularly .re~ponsive evaluation. Occasional Paper Senes n. 5, UnIversIdad de Western Mlchlgan, Centro de Evaluación. -.1:)78. 5T8he case-study method in social inquiry, Educational Researcher, 7, págmas -. -. «~etting standards fer educational evaluators», Evaluation News n. 2, 2 (1981) pags. 148-152. ' STUFFLEBEAM,D. 1. «The use and abuse of evaluation in Title IlI» Theory Into Practice, 6 (1967), págs. 126-133. ' -. 1978. Metaevaluation: An overview, Evaluation and the Health Professions 1 (2), págs. 146-163. ' STUFFLEBEAM,D. L., Y otros. 1971. Educational evaluation and decision making ltasca, lli., Peacock. ' SUÁR~Z, T. 1980. N~eds assessments for technical assistance: A conceptual overVlew and companson of three strategies. Tesis doctoral inédita. Universidad de Western Michigan. TYLER, R. W. 1967. Changing coneepts of educational evaluation. En R. E. Stake (comp.), Perspectives of curriculum evaluation (vol. 1), Nueva York, Rand MeNaliy. WEBS~ER,. W. J. 1975. The organization and functions of research and evaluation umts m a large urban school district, The Dalias lndependent School District Dalias. '

') ") ') ") ')

')

) ) ')

) ) ) ) ) ) ) ) )

} ) ) ) ) )

) ) ) ) ) )

) )

)

(

2

UN ANALISIS DE METODOS ALTERNATIVOS DE EVALUACION

A lo largo de esta unidad, se presentan los tres métodos más importantes de evaluación de programas. El primero -la pseudoevaluaciónintenta conducir a conclusiones erróneas mediante una evaluación. El segundo -la cuasievaluaciónincluye estudios que se preocupan de dar respuestas a ciertas cuestiones de interés, en lugar de determinar el valor de algo. El tercero -la verdadera evaluación- comprende lo que nosotros consideramos esfuerzos globales para examinar el valor y el mérito de un objeto. Los tipos de estudio particulares que están relacionados con cada método son analizados con detalle y contrastados con otros. En total, esta unidad proporciona un . panorama de doce modelos de estudios evaluativos. Lo más frecuente es que los clientes deseen un estudio políticamente pro. vechoso (pseudoevaluación), los evaluadores prefieran realizar un estudio basado en problemas concretos (cuasievaluación) y los consumidores tiendan hacia estudios basados en valores (verdadera evaluación). Los evaluadores deben prestar tanta atención a sus propósitos evaluativos como a los de los clientes y consumidores.

)

~! "¡ :~ .~ A7rs

Uno de los más importantes avances que se han producido en el campo de la evaluación consiste en los diversos modos de conceptualizar la propia evaluación. Esta unidad proporciona un panorama y un análisis de tres méto-. dos generales que se han recomendado o empleado bajo la etiqueta de evaluación sistemática. Estos métodos son únicos y comprenden la mayoría de formas de evaluar servicios. Mientras dos de los métodos se usan, por lo general, como medios legítimos para calibrar el valor y el mérito, uno de ellos se utiliza a menudo ilegítimamente para crear una falsa impresión acerca del valor de un objeto. No debe sorprender que los distintos modelos de estudios esbozados en las siguientes páginas sean aquellos que, según nuestra opinión,

')

'1 66

I


encajan en las dos categorías legítimas de evaluación. Hemos incluid~ un comentario sobre el otro método porque se emplea con mucha frecuenda y, según creemos, debe ser expuesto como una práctica inadecuada. B.ajo el disfraz de una evaluación sistemática, este método, a menudo, proporcIOna falsas informaciones a las audiencias. Por lo general, el material contenido en esta unidad está tomado de un estudio previo de STUFFLEBEAM y WEBSTER (1980).

Objetivos Esta unidad está pensada para ayudarle a alcanzar los siguientes objetivos: 1.

2.

3.

Con la definición de evaluación que proporciona la unidad y la serie de descripciones de estudios evaluativos, debe ser capaz de clarificar éstos como pseudoevaluación, cuasievaluación o evaluación verdadera, e identificar el modelo de estudio con el que cada uno puede ser más fácilmente asociado. Con las denominaciones de dos o más de los modelos de estudio expuestos en este capítulo, debe ser capaz de contrastarlos teniendo en cuenta organizadores previos, utilidad, cuestiones que plantean, tipos y origen de éstas, métodos que usa por lo general y principales representantes. Con los nombres de los modelos de estudio seleccionados, debe ser capaz de enumerar las principales virtudes y defectos de cada uno, teniendo en cuenta la manera en que debe llevarse a cabo una evaluación, tal y como se describe en este libro.

Cuando haya estudiado el núcleo de esta unidad, se encontrará con preguntas y ejercicios que podrá calificar _usted mismo, incluyendo respuestas que reflejen parcialmente los objetivos expuestos arriba. Le recomendamos que realice estos ejercicios evaluativos para que pueda valorar su grado de conocimiento respecto al material de esta unidad. Al nnal de ella aparecen también unas «preguntas sin' respuesta» y ciertas lecturas recomendadas, que se proponen servirle de guía en sus estudios posteriores acerca de los conceptos tratados en la unidad.

Métodos

alternativos

de evaluación

I

67

) ')

minada definición de evaluación. De acuerdo con lo expuesto en la unidad 1, definimos la evaluación aquí como un estudio sistemático planificado, dirigido y realizado con el fin de ayudar a un grupo de clientes a juzgar y/o perfeccionar el valor y/o el mérito de algún objeto. Creemos que esta definición es, por lo general, aceptable, puesto que concuerda con las definiciones que aparecen en la mayoría de los diccionarios. De cualquier manera, el análisis que sigue demuestra que muchos estudios realizados bajo la denominación de evaluación sistemática o bien no se ajustan a esta definición, o bien se oponen claramente a ella. Utilizando la definición propuesta, cada uno de los modelos de estudio presentados en este libro son examinados para comprobar si se corresponde con uno (o quizá más) de los tres amplios, aunque distintos, grupos. El primer grupo incluye las evaluaciones políticamente orientadas, que son dirigidas o utilizadas subrepticiamente para provocar un punto de vista determinado, positivo o negativo, sobre un objeto, independientemente de la valoración objetiva de su valor o mérito. El segundo grupo incluye las evaluaciones destinadas a dar soluciones a preguntas concretas, cuyas respuestas, a su vez, quizás incluyan, o quizá no, el enjuiciamiento del valor o el mérito de un objeto. El tercer grupo incluye estudios pensados, ante todo, para enjuiciar y/o perfeccionar el valor o el mérito de un objeto. Para que resulte más fácil referirse a cada uno de los tres grupos de métodos, han sido denominados, respectivamente, pseudoevaluación, cuasievaluación y verdadera evaluación. Cada método y los modelos de estudio correspondientes son analizados más adelante a la luz de estos siete aspectos: 1) organizadores previos, es decir, las principales indicaciones que siguen los evaluadores para realizar un estudio; 2) su principal utilidad; 3} el origen de las preguntas planteadas; 4) los problemas característicos de" cada método o modelo de estudio; 5) los métodos más frecuentemente utilizados; 6) las personas que conceptualizaron por primera vez cada método o modelo de estudio; y 7) otras personas que han participado en el desarrollo y la utilización de cada método y modelo de estudio. Además, se enjuicia, en términos generales, cada método y modelo de estudio, comparándolos con las treinta normas del Joint Committee on Standards for Educational Evaluation.

) ') ')

j ) )

'J )

, ) ) ) )

) )

) ) )

) ) ') )

:) )

Conceptualizaciones alternativas de "la evaluación

Pseudoevaluaciones

Los modelos de estudio que se exponen aquí y a lo largo de este libro fueron seleccionados para que representaran ampliamente los diversos puntos de vista y prácticas utilizados en la evaluación educacional, sobre todo, pero también en programas de salud y bienestar. Los distintos tipos de estudio están clasificados teniendo en cuenta su grado de coincidencia con una deter-

Se dice que los mentirosos imaginan cosas y que las imaginaciones mienten. Del mismo modo, los charlatanes y los manipuladores utilizan a menudo la evaluación de una manera inadecuada para lograr sus objetivos. Puede que tecopilen la información rigurosamente, pero no revelan las verdaderas con. clusiones, o lo hacen de un modo selectivo, o incluso las falsifican, engañando

) ) )

) ) .)

)

•....

)

~ (

Métodos

f f

68

I


tanto a la gente como a sí mismos. Pueden distinguirse dos tipos de pseudo-

(

evaluación, que ahora pasamos a exponer.

( {

Investigaciones

f

El primer tipo ha sido denominado «investigaclOn encubierta», aunque también hubiera podido llamarse evaluación políticamente controlada. Sus organizadores previos son, implícita o explícitamente, una amena~a que. de~en afrontar los clientes. La intención del cliente al encargar una lllveStlgacI6n encubierta es conseguir asistencia para obtener, mantener o incrementar una esfera de influencia, poder o dinero. Los problemas que plantea son los que interesan al cliente y a ciertos grupos que comparten sus intereses. En este tipo de evaluación se dan dos preguntas principales: ¿qué información puede resultar provechosa en un conflicto potencial? y ¿qué datos pueden ser de utilidad en una confrontación? Los métodos típicos con los que se llevan a cabo las evaluaciones encubiertas incluyen el análisis de documentos, la vigilancia de los implicados, los estudios simulados, las investigaciones privadas y los expedientes secretos. Por 10 general, el cliente quiere que la información obtenida sea tan s6lida técnicamente como sea posible, pero también que se le garantice la posibilidad de controlar la revelación de la información. Dado que la información puede ser revelada selectivamente para crear una ~alsa imagen del valor de un objeto, o incluso no revelada, para ocultar una SItuación este método debe ser denominado «pseudoevaluación». Aquí no mencionaremos a nadie que pueda ser reconocido por sus contribuciones a la creación o el desarrollo de las investigaciones encubiertas. Pero, lamentablemente, mucho estudios actuales merecen que se los denomine así. Para contradecir a quienes puedan argumentar que la evaluación encubierta es imaginaria, les invitamos a que consideren el siguiente ejemplo. El director de uno de los más grandes distritos escolares de la nación confesó una vez que poseía una extensa información acerca de las escuelas de su distrito. La información incluía el nivel de éxito de los estudiantes, las calificaciones de los profesores, la composición racial de profesores y estudiantes, cuánto costaba cada alumno, las características socioeconómicas de los estudiantes, cuánto duraban los profesores en su puesto y muchas más cosas. Estos datos revelaban que se trataba de un distrito escolar muy segregado. Cuando se le preguntó por qué todo estaba anotado a lápiz, el director replicó que era absolutamente esencial que se mantuviera informado acerca de la situación de cada escuela en todo momento. Sea como fuere, dijo, era también imprescindible que la comunidad en pleno, la junta de dirección y los grupos que tenían intereses especiales en la comunidad, en particular, no tuvieran acceso a la información, porque alguno de estos grupos podía utilizar la información para perjudicar a la comunidad y amenazar su posición. De esta ma-

( ( (

( (

,1

( (

( { ( ( {

<. ( ( (

( ( ( ( (

( (

l

••

{ ~

encubiertas

alternativos

de evaluación

I

69

nera, un asesor especial mantenía al día todo 10 anotado; sólo existía una copia y el director la guardaba bajo llave en su mesa de trabajo. El hecho es que la continuada investigación encubierta y la revelación selectiva de información llevadas a cabo por el director no eran, en absoluto, un caso de verdadera evaluación, porque no incluían revelaciones totales y abiertas. Desde nuestro punto de vista, se trataba de un ejemplo de pseudoevaluación.

Estudios basados en las relaciones

públicas

Un caso similar de pseudoevaluación es el estudio planificado, realizado y utilizado para satisfacer propósitos que tengan que ver con las relaciones públicas. En este tipo de estudios, las necesidades informativas del propagandista, son organizadores previos. La intención del estudio es ayudar al cliente a crear una imagen positiva de una institución, un programa, un sistema y similares. Los principales problemas de un estudio como éste se desprenden de las concepciones de los especialistas en relaciones públicas y los administradores, acerca de qué cuestiones resultarían más populares. En general, los estudios basados en las relaciones públicas buscan información que pueda ser de ayuda para asegurar el apoyo del público. Los. métodos que se usan más frecuentemente en este tipo de estudios son las inspecciones, las pruebas y la utilización de asesores «expertos». La principal característica de la utilización de métodOS dudosos por parte de este tipo de evaluadores es su propensión a crear una buena imagen del objeto de la evolución. El caso de un distrito escolar urbano ilustrará este segundo tipo de pseudoevaluación. Un director, al solicitar una inspección de la comunidad en su distrito, afirmó abiertamente que necesitaba un documento que proporcionara un informe positivo sobre el funcionamiento del distrito escolar. Dijo que un informe de aquel tipo era urgentemente necesario para que la comunidad volviera a confiar en el distrito escolar. La petición del director, acerca de la inspección (y del informe positivo), fue totalmente rechazada, pero el hecho de que pensara que era tan necesaria quedó pronto aclarado. Algunas semanas después de la inspección, fue repentinamente despedido. Antes de plantear el grupo siguiente de modelos de estudio, queremos hacer unos cuantos comentarios más acerca de las pseudoevaluaciones. Quizás usted se pregunte por qué hemos hablado de estos dos modelos de estudio. Sin duda, no recomendamos su utilización. Hemos tenido en cuenta estos dos tipos de estudio porque son una parte importante del panorama evaluativo. Aveces, los evaluadores y sus clientes conspiran juntos para llevar a cabo estos dos primeros tipos de estudios. En otras ocasiones, los evaluadores, creyendo que realizan una valoración objetiva, descubren que sus clientes tienen otras intenciones. En el momento apropiado, el cliente interviene para manipular el estudio y extraer de él la imagen que desea y le conviene. Los evalua-

) 1

.,, , "'\

70

I

Evaluación

Métodos

sistemática

alternativos

de evaluación

I

71

cialmente la recopilación y el análisis de los datos sobre el trabajo en cuestión, relativas a objetivos específicos. Ralph Tyler es generalmente admitido como pionero de este tipo de estudios. Muchos han ido más allá que Tyler al desarrollar variaciones sobre su modelo evaluativo basado en los objetivos. Mencionaremos unos pocos: BLOOMy otros (1956), HAMMOND (1972), METFESSELy MICHAEL (1967), POPHAM (1967) y PROVUS(1971). En la unidad 3, presentamos una ampliación del modelo tyleriano desarrollado por METFESSEL y MICHAEL (1967). Indudablemente, este tipo de estudio es el que más frecuentemente se utiliza con el nombre de evaluación. Tiene una apariencia bastante racional, los profesionales acumulan experiencia mediante su utilización y emplea las tecnologías de los objetivos del comportamiento y de las encuestas regularizadas. Las principales críticas que se le hacen apuntan a que produce, principalmente, una información que llega demasiado tarde para ser utilizada en el perfeccionamiento de los servicios, y que esta información es, a menudo, de muy poco alcance como para constituir una base sólida a la hora de enjuiciar el valor de un servicio.

dores tienen que estar alertas, más de lo que suelen estarlo, ante este tipo de conflictos potenciales; de otra manera, pueden convertirse en cómplices inconscientes de un proceso de engaño a través de la evaluación.

Cuasievaluaciones Los estudios cuasievaluativos aparecen especificados porque existe la evidencia de que a veces pueden ser utilizados para enjuiciar el valor o el mérito de un objeto, mientras que en otros casos su alcance es demasiado estrecho o sólo tangencial a las cuestiones del mérito y el valor. Lo más importante es que estos estudios empiezan con un problema concreto y luego buscan la metodología apropiada para solucionar ese problema. Que la información obtenida sea suficiente para apoyar un juicio sobre el valor de algo es, definitivamente, una cuestión secundaria. Los estudios cuasievaluativos poseen otros usos muy legítimos, aparte de su relación con la evaluación. Así, la principal cautela que hay que adoptar ante estos tipos de estudios es no considerarlos equivalentes a la evaluación. Dos unidades de este libro hablan de los modelos de estudio cuasievaluativos: la unidad 3, sobre la tradición tyleriana, y la unidad 4, sobre el método científico de Suchman. En esta unidad, analizaremos estas formas de cuasievaluación: la primera entra en la categoría de la cuasievaluación que hemos denominado estudios basados en objetivos, mientras que la de Suchman se basa sobre todo en la experimentación. Otros ejemplos de métodos cuasievaluativos, descritos por STUFFLEBEAMy WEBSTER (l980), son los estudios de responsabilidad, los programas de pruebas y los sistemas de información administrativa.

')

')

1 '\ )

J ") f

)

) ) )

Estudios basados en la experimentación El modelo de estudio conocido como investigación experimental es muy importante en evaluación. Lo hemos clasificado como cuasievaluación porque incluye cuestiones y metodologías a veces relacionadas, pero a veces no, con el juicio de valores. La investigación experimental trae a la memoria la advertencia de KAPLAN (1964) contra la llamada «ley del instrumento», según la cual un método es equivalente a una investigación. Como consecuencia, el campo de estudio se reduce a los problemas que pueden ser solucionados mediante un método determinado. FISHER (1951) ya había advertido específicamente que no se equipararan sus métodos experimentales con la ciencia. Los organizadores previos en los estudios experimentales son la exposición de problemas, las hipótesis y el estudio de las cuestiones. El propósito más común de un experimento es determinar o demostrar vínculos casuales entre ciertas variables dependientes e independientes, como por ejemplo un método de enseñanza y una ejecución profesional y documentada, o un test con calincaciones. Es particularmente destacable que los problemas planteados proceden de los investigadores, de quienes desarrollan los programas de educación y de los editores de publicaciones, y no, por lo general, de los implicados, los participantes o promotores financieros. La pregunta más frecuente que se plantea en un experimento es: ¿cuáles son los efectos de una intervención determinada sobre las variables específicas resultantes? Los métodos más comúnmente utilizados son los planes experimentales y cuasiexperimentales. Los pioneros en el uso de la experimentación

Estudios basados en objetivos Como se ha visto en la unidad 1, los estudios basados en los objetivos han .sido, quizá, :a princip~l fuerza que ha impulsado el movimiento para ,iste~atIzar el trabajO evaluatIvo. En este tipo de estudio, los organizadores preVIOSse. suelen basar en algún informe sobre los objetivos. Estos pueden ser det;:rmmados por los clientes, establecidos por las personas cuyo trabajo se esta valorando, fo.r~ulados por el evaluador o fijados conjuntamente por todos aquellos que partICIpan en la evaluación. El propósito más común es determinar s; los objetivos han sido alcanzados y, de acuerdo con esto concluir si se ha tenido éxito en el trabajo que se ha valorado. Las audienci;s más frecuentes ~e. esto~ estudios son los creadores de programas, los patrocinadores, los admmlstratlvos y los proveedores de servicios. Los métodos utilizados en los estudios basados en objetivos incluyen esen-

) ) )

) ) ) ) ) ) , )

) )

) ) ) ) 1 )

) .~

J.

(

f

f 'f ( ( (

f

t (

( ( ( ( ( ( (

( ( (

72

I


para evaluar programas son LINQUIST(1953), CAMPBELLy STANLEY(1963), SUCHMAM(1967) y CRONBACH y SNOW (1969). Otras personas que han desarrollado la metodología de la experimentación, especialmente para utili. zarla en evaluación, son GLASSy MAGUIRE(l968) y WILEY y BocK (1967). En la unidad 4, revisamos específicamente las contribuciones de Suchman y su aplicación de la experimentación a la evaluación de programas sociales. La principal ventaja de los estudios experimentales en el trabajo evaluativo es que proporcionan métodos sólidos para la determinación de relaciones causales relativamente inequívocas entre el programa y los resultados. Los problemas que plantea, no obstante, consisten en que el método, a menudo, no resulta factible a la hora de señalar los límites de la especialidad y proporciona una información mucho más restringida de la que es necesaria para evaluar programas de educación, salud y bienestar. Además, los estudios experimentales tienden -a proporcionar una información final que no resulta útil como guía para el proceso de desarrollo. Antes de terminar nuestros comentarios sobre los métodos experimentales y basados en objetivos, desearíamos subrayar que sólo se trata de dos de los métodos que se podrían calificar como cuasievaluación. Nos hemos centrado en ellos porque las unidades que tratan de los trabajos de Tyler y Suchman son ejemplificaciones de estos métodos. Como ya se ha mencionado previamente en esta unidad, los otros tipos de estudios calificados como cuasievaluación son la comprobación de programas, los sistemas de información administrativa y los estudios de responsabilidad.

Las verdaderas evaluaciones

( ( (

{

La mayoría de las unidades de este libro están dedicadas a estudiar modelos que hemos denominado evaluaciones verdaderas. Oponiéndose a las pseudoevaluaciones subrayan la necesidad de evitar los estudios tendenciosos, y, en contraste con las cuasievaluaciones, recomiendan la realización de investigaciones de conjunto basadas en cuestiones de valor y mérito.

(

.'(

Estudios de orientación de la decisión

t

Empezamos nuestro análisis de las evaluaciones verdaderas o estudios basados en los valores con una panorámica sobre el enfoque de la decisión orientada. Este subraya que la evaluación debe ser utilizada tanto para el perfeccionamiento de un programa, como para enjuiciar su valor. Las decisiones a tomar -ya sea por un administrador, un consejo político, un personal de programación o un electoradoproporcionan organizadores previos para los estudios de orientación de la decisión. Básicamente la intención de estos

!

1i I

Métodos

alternativos

de evaluación

I

73

estudios es proporcionar conocimientos y bases valorativas para tomar y justificar decisiones. La procedencia de los problemas planteados en este tipo de estudios incluye a todos aquellos que toman decisiones: administradores, ciudadanos, estudiantes, profesores, médicos, juntas políticas, votantes y cualquiera que decida cómo planificar, dirigir y utilizar servicios. Las principales cuestiones que plantea son: ¿qué es lo que hay que conseguir? ¿Cuál debe ser la planificación de una empresa determinada? ¿Cómo debe llevarse a cabo el plan? ¿Cuándo y cómo debe ser modificada la empresa? Las respuestas a estas preguntas se basan en perspectivas subyacentes de valoración, por ejemplo, en que las empresas educativas deben sobresalir en el fomento del crecimiento y el desarrollo humanos, mientras que deben ser cautas en la utilización de los recursos y satisfacer tanto los objetivos individuales como el bien común. Ha m~chos métodos adecuados para llevar a cabo este tipo de estudios: inspecciones, valoración de las necesidades, estudios de casos, series de recomendaciones, observaciones estructurales y planificaciones cuasiexperimentales y experimentales. CRONBACH(1963) fue el primero que introdujo a los evaluadores en la idea de que la evaluación debía ser reorientada y que, de basarse en objetivos, debía pasar a ser una ayuda para que los educadores tornaran decisiones más acertadas acerca de cómo educar. Más tarde, STUFFLEBEAM (1966, 1967) introdujo una conceptualización de la evaluación que se basaba en la idea de que ésta debía ayudar a los educadores a tomar y justificar decisiones que pudieran satisfacer mejor las necesidades de los estudiantes. Muchos otros, desde entonces, han contribuido al desarrollo de un concepto de la evaluación basado en decisiones. Entre ellos se encuentran ALKIN (1969), REINHARD(1972), TAYLOR (1974), GUBA {l978) y WEBSTER (1975), Las unidades 5 y 6 proporcionan una amplia información acerca de las estrategias desarrolladas por Cronbach y Stufflebeam. La principal ventaja de este tipo de estrategia es que anima a los grupos de profesionales, así como a las organizaciones gubernamentales, a utilizar la evaluación continua y sistemáticamente para planificar y lle-,'ar a cabo los servicios que satisfacen las necesidades de los clientes. Tambié.1 proporciona una base lógica que ayuda a los profesionales a responder de las decisiones tomadas en el curso de un servicio. Su principal limitación es que la colaboración imprescindible entre el evaluador y el que toma las decisiones puede conducir a una distorsión de los resultados. La metaevaluación externa (la evaluación de la evaluación) se emplea para contrarrestar estas posibles desviaciones. 000

)

74

I

Métodos


de evaluación

I

"

')

75

')

Estudios centrados en el cliente Mientras que el estudio de orientación de decisión está concebido casi siempre para los niveles administrativos, más que para el personal de una organización, ya que existe más autoridad decisoria en los niveles más altos, el método que se base en el cliente se preocupa más de «dónde está la acción». Los estudios relacionados con este enfoque se centran principalmente en ayudar a aquellos que realizan un servicio cotidiano a valorar y perfeccionar sus contribuciones. Los organizadores previos son las preocupaciones y problemas del programa del servicio. El propósito del estudio es ayudar a la gente que forma parte de un servicio local a comprender cómo funcionan las actividades de su servicio y el grado en que estos servicios son respetados por los expertos y valorados por los clientes. Los problemas planteados por este tipo de estudios proceden de la comunidad y de grupos locales, así como de expertos ajenos al caso. En general, los grupos desean conocer la historia y la situación de un determinado programa de servicios, así como la manera en que ha sido enjuiciado por distintos grupos de clientes. Los métodos más frecuentemente utilizados en este tipo de estudios son el estudio de casos, informes contrapuestos, sociodramas y lo que STAKE(1975) llama «evaluación respondente». STAKE{l967) es el pionero de este tipo de estudios, y su método ha sido desarrollado por MACDoNALD (1975) en Inglaterra, RIPPEY (1973) y, más recientemente, GUBA (1978). En la unidad 7, realizamos un extenso repaso y análisis de las propuestas de Stake para la conceptualización y la realización de un trabajo evaluativo. La mayor virtud de este método es que se trata de una investigación activa en la que se ayuda a la gente que realiza programas a dirigir sus propias evaluaciones. Su principal defecto es su ausencia de credibilidad externa y la posibilidad de ser manipulado por ciertos elementos locales que, en efecto, ejercen un gran control sobre la evaluación.

alternativos

~.

diversas p~líticas aplicables a una institución determinada o a la sociedad. Los legIsladores, las asociaciones políticas y los grupos especialmente interesados son los que, más a menudo, plantean las cuestiones en un estudio p.olític~.. Una de sus, preguntas p:i~cipa1es es: ¿cuál de entre dos o más políticas dlstmtas lograra con mayor exlto resultados válidos a un coste razonable? Los ~étodos utilizados en los estudios políticos incluyen la Delphi Technique (de~cnta por AN~ERSO~,BALL, MURPHY y otros, 1973), la planificación expenmental y cuaslexpenmenta1, los guiones, los pronósticos y los procedimientos judiciales. ]oseph R~CE (en ANDERSONy otros, 1973) puede ser considerado el pioneroen esta area, puesto que, alrededor de 1900, dirigió unos estudios a gran escala con el fin de que el sistema educativo determinara si era conveniente o no continuar centrándose primordialmente en la ortografía. Otras personas que colaboraron en la creación de una metodología para la realización de estudios políticos fueron COLEMAN,CAMPBELL,HOBsoN, McPARTLAND,MooR, WEINFELD y YORK (1966); ]ENKS, SMITH, ADAND,BANE, COHEN, GINTIS, HE~NESy MIKELSON(1~72); CLARK(.1965); OWENS(nota 1); WOLF (l973), . Y \XEISS (1972). La umdad 10 descnbe el modelo de estudio recomendado por Owens y W 01£y lo que nosotros consideramos un método de estudio político. La principal ventaja de los estudios políticos es que resultan esenciales como guía de las instituciones y de la sociedad. Su principal inconveniente e.sque, una vez más, acaban corrompidos o subvertidos por el ambiente polítiCOen el que se desarrollan.

") ')

")

I ) )

) ) (

)

) ) ) )

) ) )

)

Estudios basados en el consumidor

) ~n este tipo de e.studios, el evaluador es el «inteligente sustituto del cons~lmldor». Los ~r~amzadores previos son los valores y necesidades de la soCIedad. El.rroposltO de ~n estudio basado en el consumidor es juzgar los valo~es relatIVOS de .tos bIenes y :"ervicios alternativos y, como consecuencia, a}uda~ a los cont~l~uyentes y clIentes a saber elegir en sus adquisiciones de esos bIenes y serVICIOS. 1 L~s problemas planteados por este tipo de estudios están relacionados con ~ ~ocledad, con los que forman parte de los servicios institucionales y espe~~::ente con ~as premisas del evaluado~. Su principal pregunta es: ¿cuál de 1 uc~os objetos de consumo alternatIvos es mejor comprar dado su coste nec~sldade~ del grupo consumidor y los valores de la sociedad en general? OSIm~t,odos mcluyen listas de control, la valoración de las necesidades la cva de los obJ'eti vos, 1a p 1am'ficaCIOn . ,. expenmenta1 y cuasiexperimenta1 ' 1 uaCl0n T' :é~~a lSISdel modus operandi y ~1 análisis de los costes (SCRIVEN)1974): Otr~ do popular para el consumIdor externo e independiente consiste en re-

Estudios políticos Consideramos el estudio político como el tercer gran modelo de evaluaciÓn verdadera. Hemos clasificado así este método porque sirve para identificar y valorar los méritos de varias políticas que compiten en una sociedad o segmento social. El organizador previo de un estudio político es una determInada cuestión política, como por ejemplo, ¿cuál es el mejor o, al menos, el método más efectivo de satisfacer las directrices federales en lo que a igualdadde oportunidades educativas se refiere? El propósito de un estudio político es, por 10 general, describir y valorar los costos y beneficios potenciales de

) ')

) )

) )

t

) )

) ) (

~,

) )

;:;

'b

,)

"'f', (

t" ( ( ( (

( ( ( ( ( {

76

(

( ( ( ( ( (

(

(

t .(,

77

alerta y resistencia ante los modelos que supongan algún tipo de subterfugio (las pseudoevaluaciones). Los evaluadores deben tener particularmente en cuenta que quizá se encuentren con dificultades considerables si su concepción del estudio que están llevando a cabo difiere de la de sus clientes o audiencias. Con frecuencia, los clLeptes desean un estudio políticamente ventajoso (pseudoevaluación), mientras que los evaluadores prefieren realizar estudios basados en cuestiones concretas (cuasievaluación), puesto que ello les permite aplicar la metodología para la que se han preparado. Además, los consumidores de los servicios que se están valorando desean, por lo general, estudios basados en los valores (verdadera evaluación), que les ayuden a determinar la valía relativa de los distintos bienes y servicios o juzgar el mérito y el valor de un programa u objeto dados. Si los evaluadores ignoran este tipo de posibles conflictos, la evaluación, probablemente, estará condenada al fracaso desde el ?rincipio. La moral debe ser lo primero en un estudio, y los evaluadores deben atender tanto a lo que ellos piensan, como a lo que piensan los clientes y la audiencia. Es más, los evaluadores deben avisar a las partes implicadas de los posibles conflictos que pueden producirse en lo que se refiere a los propósitos y la realización del estudio, y llegar, desde un primer momento, a un acuerdo común. Las alternativas presentadas pueden ser, perfectamente, tanto un estudio cuasievaluativo destinado a valorar cuestiones concretas, como una verdadera evaluación destinada a buscar cualquier evidencia que pueda ayudar al cliente y a la audiencia a enjuiciar el valor de un objeto. De cualquier manera, no es creíble que los estudios inspirados y controlados políticamente sean apropiados para la evaluación de la salud, el bienestar y la educación. Indudablemente, pueden ser necesarios en la administración y en las relaciones públicas, pero no deben ser confundidos con -o sustituidos por- la evaluación. Finalmente, es imprescindible recordar que ningún tipo de estudio es siempre el mejor a la hora de evaluar algo. Otra cuestión que se desprende del examen de los diversos tipos de estudio presentados en este libro es que tienen, a la vez, virtudes y defectos. En general, los defectos de los estudios orientados políticamente es que son fácik; de manipular por personas sin escrúpulos; y esto puede contribuir a que la mdiencia llegue a falsas conclusiones al desarrollar una opinión particular sobre el valor de un programa que acaba siendo infundada y quizá falsa. El principal problema de los estudios basados en cuestiones concretas es que, a menudo, plantean preguntas de un alcance más limitado que el que en realidad sería necesario para un verdadero enjuiciamiento del valor. De todos modos, también resulta notable que estos tipos de estudios sean frecuentemente superiores, en la eficiencia de la metodología y la adecuación técnica de la información empleada, a 10s verdaderos estudios evaluativos. Finalmente, los estudios basados en valores realizan una tarea muy ambiciosa. Por ello es virtualmente imposible enjuiciar el verdadero valor de cualquier objeto. Un logro completo requeriría omnis-

comendar la obtención de conclusiones a partir de estudios de programas financiados públicamente. SCRIVEN(l967) fue el primero en aplicar este tipo de estudio a la educación, y existen grandes paralelismos entre su trabajo y el de Nader en el campo del consumismo. Glass ha desarrollado enérgicamente el trabajo de Scriven. Una de las principales ventajas de este método es que se trata de un~ valoración sólida e independiente concebida para proteger a los consumidores de productos y servicios de muy baja calidad. El método goza de una gran credibilidad entre los grupos de consumidores. Su principal desventaja es que puede llegar a independizarse tanto de quienes lo practican que quizá no pueda ayudarles a la hora de servir mejor a los consumidores. Además, este tipo de estudio requiere un experto que sea competente y en el que se pueda confiar, además de los recursos suficientes que le permitan realizar un estudio minucioso. A menudo, este método es demasiado costoso como para ser llevado a cabo y da como resultado datos imperfectos y poco fiables.

( (

I

Métodos alternativos de evaluación

I Evaluación sistemática

Conclusión

Esto completa nuestra revisión de los que consideramos los tres principales acercamientos a la evaluación. Los diversos tipos de estudio descritos en este libro están contenidos en el comentario de estos enfoques. Insistimos en que ninguno de estos tres métodos se corresponde con la pseudoevaluación. En resumen, las ideas y procedimientos evaluativos que TYLER (unidad 3) y sus seguidores, METFESSELY MICHAEL (unidad 3), y HAMMOND y SUCHMAN (unidad 4), proponen más adelante, son ejemplos de cuasi evaluación. Los recomendados por CRONBACH(unidad 5), STUFFLEBEAM(unidad 6), STAKE (unidad 7), OWENS (unidad 8) y SCRIVEN (unidad 10) se corresponden con nuestra descripción de la verdadera evaluación. Mud'lOS de los procedimientos evaluativos recomendados por \'q eiss -particularmente los que se refieren a las relaciones políticas e interpersonalescoinciden casi totalmente con nuestro concepto de evaluación verdadera. En términos generales, creemos que los autores que recomiendan un método holístico de evaluación, como MAcDoNALDy STAKE(unidad 9), defienden también ejemplos de verdadera evaluación, con tal que la ausencia de la credibilidad externa sea reconocida. Como se afirma al principio de esta unidad, un análisis de estos modelos de estudio tiene importantes implicaciones tanto para el que los practica como para el que estudia la evaluación resultante. Ambos necesitan fortalece_o su capacidad de valorar y aplicar planes de evaluación, modelos, etcétera,:¡ue aparecen en la literatura evaluativa. Este estudio no sólo debe describir planes alternativos que uno puede escoger o adoptar, sino que también debe incrementar la sensibilidad a la hora de localizar las virtudes, los defectos y las diferencias entre los diversos esquemas. y debe aumentar la capacidad de

pz

Ai

')

78

I

Métodos


alternativos

de evaluación

I

'1 79

")

)

ciencia, infalibilidad y una perspectiva de valoración singularmente perfecta. Sin embargo, no olvidarse nunca de las cuestiones referentes al valor es ciertamente esencial para el progreso de la sociedad.

Respuestas incorrectas a)

b) Test de conocimientos sobre la unidad 2

e)

Siguen ahora cuatro preguntas con respuestas a elegir y doce anrmaciones para cotejar que han sido concebidas para ayudarle a comprobar y consolidar su dominio de los contenidos de la unidad 2. Le rogamos que, en cada pregunta, rodee con un círculo la letra que usted considere la mejor respuesta, y después compruebe su elección comparándola con las explicaciones de h3 respuestas correctas e incorrectas que siguen a cada pregunta. Las pregunta:; van seguidas de una tabla de puntuación. Cuando haya respondido a todas las preguntas, se le darán instrucciones para que revise (y, en su caso, perfeccione) el conjunto de su trabajo. Luego deberá intentar realizar una serie de ejercicios prácticos. La unidad concluye con varias «Preguntas sin respuesta» y una lista de lecturas recomendadas.

') ')

Es incorrecta porque esta unidad subraya que la verdadera evaluación supone tanto servir a los clientes como hacer valoraciones de conjunto. Es incorrecta por la misma razón proporcionada en la respuesta «a». Es incorrecta porque la definición de evaluación que se da en esta unidad no excluye ningún tipo de información mientras incluya cuestiones acerca del mérito y el valor del objeto de interés y pueda ser utilizada por el grupo de clientes.

')

) )

) .}

PREGUNTA2. ¿Cuál de las siguientes características pseudoevaluaciones? a) b)

e) d)

PREGUNTA1. ¿Cuál de las siguientes características de la evaluación coincide mejor con el modo en que la hemos definido en esta unidad?

no corresponde a las

Deben suponer el ocultamiento o la divulgación selectiva de los resultados. Deben incluir, a menudo, informes valorativos, públicos e independientes, del mérito y el valor de la evaluación. A menudo inventa las conclusiones con el fin de ganarse el apoyo para un producto o servicio determinado. Puede incluir la recopilación de una información fidedigna y de gran validez.

Respuesta correcta. Debe usted haber escogido la «b». Desde el momento en que las pseudoevaluaciones, por definición, son utilizaciones inadecuadas de la evaluación realizadas por ciertas personas con el fin de alcanzar sus metas, el trabajo evaluativo jamás se somete a un escrutinio público e independiente, excepto en el caso de que quien haya realizado la pseudaevaluación no sólo carezca de ética, sino también de inteligencia.

a) Las evaluaciones deben centrarse en determinar el valor o el mérito de un objeto, independientemente de los intereses o deseo~ de cualquier grupo. b) La responsabilidad principal y casi exclusiva de los evaluadores profesionales es responder a las preguntas planteadas por sus clientes. Los evaluadores deben evitar plantear cuestiones que ya han sido el foco e) de atención de otras evaluaciones, puesto que esta práctica no ayuda a ampliar los conocimientos. d) Los evaluadores deben realizar tanto un amplio enjuiciamienD del valor y el mérito de un objeto, como satisfacer las necesidades informativas de sus clientes.


e)

Respuesta correcta. Debe usted haber escogido la «d». La definición de evaluación que se da en la unidad 2 supone que el evaluador debe tener autoridad para valorar todo 10 que sea necesario a la hora de enjuiciar el valor o el mérito de un objeto, pero también insta al evaluador para que la evaluación destaque la información que pueda prestar un mejor servicio al grupo de clientes.

d)

Es incorrecta porque ocultar o revelar parcialmente las conclusiones es la característica esencial del tipo de estudio pseudoevaluativo conocido con el nombre de investigación encubierta. Es incorrecta porque el tipo de pseudoevaluación denominado estudio de relaciones públicas supone precisameritela utilización manipuladora de la evaluación con el fin de conseguir los propios objetivos. Es incorrecta porque, en las investigaciones encubiertas, la ofensa previa que se realiza contra la utilización ética de la evaluación no concierne a la calidad de los datos recopilados, sino a la presentación de las concluclusiones, que tiende a desvirtuar su mensaje.

) , }

) ) ,

) ) )

) ) ) ) ,) ,

) )

J ) ,)

) ') ,) )

J

Jz

)

j

t

T

f (

80

I


I

PREGUNTA3. ¿Cuál de las siguientes características un estudio cuasievaluativo?

no se corresponde con

!

c)

( (

a)

(

b)

(

de evaluación

I

81

I

(

(

Métodos alternativos

1

c)

(

Plantea una amplia gama de cuestiones acerca del valor y el mérito del objeto de interés. Está pensado para responder algunas preguntas concretas planteadas antes de empezar la búsqueda de información. La información obtenida puede o no puede ser suficiente para apoyar con pruebas el presunto valor del objeto de interés. Existen usos legítimos de los resultados de ciertos estudios.

d)

Mientras las cuasievaluaciones, a menudo, renuncian a la recopilación de una amplia gama de información en favor de la recogida de datos que resulten de mucho interés para unas pocas cuestiones en concreto, las verdaderas evaluaciones sacrifican a menudo un poco de rigor con el fin de obtener una información que resulte relevante para los juicios sobre el valor y el mérito. El método más comúnmente utilizado en la verdadera evaluación es la verdadera experimentación.

(

d)

( (

Respuesta correcta. Debe usted haber escogido la «a». De acuerdo con esta unidad-, la información recogida de los estudios cuasievaluativos es, a menudo, demasiado restringida como para servir de apoyo a juicios de valor acerca del objeto de interés.

Respuesta correcta. Debe usted haber seleccionado la «d». La experimentación es un método utilizado a veces en la verdadera evaluación, pero por lo general se utiliza junto con otras técnicas, como la revisión de documentos, la inspección, el estudio de casos, las visitas y las audi:iones. La experimentación, ciertamente, no es la técnica más utilizada en las v.;:rdaderas evaluaciones. Es ~ás, no hay ninguna técnica que se utilice más que otra en este método, porque la elección de técnicas es casi siempre pragmática y ecléctica.

(



(

( (

Es incorrecta (1a afirmación es característica de la cuasievaluación) porque las cuasievaluaciones empiezan comúnmente con una cuestión concreta, y luego emplean métodos que darán respuesta a la cuestión; sólo al final del estudio el evaluador puede considerar si la información obtenida es suficiente para servir de apoyo a juicios sobre el valor y el mérito del objeto. Es incorrecta porque mientras la información recopilada para responder a cuestiones concretas es, a menudo, demasiado reducida como para servir de apoyo a amplios juicios de valor, a veces las cuestiones tienen el suficiente alcance como para servir de guía para la recopilación de la amplia gama de información necesaria para servir de apoyo a juicios sobre el valor y el mérito. Es incorrecta porque las cuasievaluaciones se utilizan legítimamente ayudando a los dientes a responder a cuestiones que son importantes para ellos, sea o no suficiente la información obtenida para servir de apoyo a amplios juicios de valor.

porque existe un acuerdo para asegurar que la verdadera evaluación sea solvente, justa y útil. b) Es incorrecta porque, por definición, las verdaderas evaluaciones son intentos de obtener y presentar una gama lo suficientemente amplia de información como para servir de apoyo a afirmaciones acerca del valor y el mérito de un objeto de interés. e) Es incorrecta porque siempre debe renunciarse a algo en el trabajo evaluativo, y porque quienes re~lizan cuasievaluaciones de alcance muy limitado encuentran más fácil conseguir que sus resultados sean más exactos, que aquellos que, pretendiendo realizar verdaderas evaluaciones, deben distribuir su tiempo y sus recurS03 entre las a menudo desagradecidas tareas de recopilar toda la inforn~ación requerida para servir de apoyo a amplios juicios de valor.

PREGUNTA4. ¿Cuál de las siguientes afirmaciones no es caract.::rística de las verdaderas evaluaciones?

PREGUNTAS 5 a 16. De la lista de modelos de estudio que facilitamos más abajo, seleccione la que mejor se puede aplicar a cada descripción proporcionada en los números 5-16. En el espacio que aparece a la izquierda de cada descripción escriba la letra correspondiente al modelo de estudio seleccionado. Puede utilizar una respuesta más de una vez.

b)

( (

(

<.

c)

( (

, (

d)

( (

\ (

, ( ( ( ( 1(

a) b)

Su planificación induye garantías contra la recopilación y publicación de resultados tendenciosos. Generan consecuentemente una amplia gama de información.

a) Es incorrecta (esta afirmación es característica de la verdadera evaluación)

A. B.

Investigación encubierta. Estudio basado en las relaciones públicas.

)

'1 82

C. D. E. F. G. H.

I Evaluación sistemática Estudio Estudio Estudio Estudio Estudio Estudio

5.

6.

7.

8. 9.

--

10.

- 11. 12.

13. 14.

15. 16.

Métodos alternativos de evaluación I

basado en los objetivos. basado en la experimentación. basado en las decisiones. centrado en el cliente. político. orientado hacia el consumidor.

Las cuestiones que sirven de guía están asociadas con las necesidades que deben satisfacerse, los méritos relativos de cada uno de los modos en que las necesidades pueden ser expuestas, la idoneidad del programa de realización y el alcance y calidad de los resultados. Este modelo de estudio valora los productos y servicios desde el punto de vista de quienes van a beneficiarse de la utilización de esos productos y servicios. Este modelo de estudio está pensado para ayudar a los clientes a obtener una información exacta que puedan controlar y seleccionar para alcanzar sus objetivos. Este modelo de estudio ha monopolizado los esfuerzos realizados para sistematizar la evaluación. Los principales problemas de este modelo de estudio consisten en que, a menudo, no es operativo a la hora de construir teorías y en que ofrece una gama muy estrecha de información. Este tipo de estudio se centra en donde se encuentra la «acción» y en las cuestiones o problemas planteados por el producto o servicio que se evalúa, vistos desde la perspectiva de vatios clientes. Este' modelo de estudio podría conocerse por «creación de imagen». Este modelo de estudio está ejemplificado por un estudio que ha sido pensado para identificar y valorar dos o más propuestas legales referentes a la salud de los más necesitados. Este modelo de estudio fue básicamente desarrollado por Tyler. Este modelo de estudio ha sido recomendado por Scriven y Nader. Robert Stake es el principal representante d este tipo de estudio. Cronbach y Stu££1ebeam han recomendado este modelo de estudio.

A

7.

e

8.

D

9.

F

B

G

10.

11.

12.

e

13.

H

14.

j ¡

. '

Respuestas correctas. Debe usted haber respondido como sigue, por las razones expuestas: E

H

5.

6.

Todo lo que se refiere a las necesidades, los planes alternativos, la realización de los planes y los resultados, configura las principales categorías de información relacionadas con la conceptualización orientada hacia la decisión evaluativa de Stu££1ebeam. Las valoraciones hechas desde la perspectiva del consumidor, con

.t,

F

E

15.

16.

"'l

83

el evaluador actuando como un avezado sustituto del consumidor, es precisamente lo que supone una evaluación orientada hacia el consumidor. Las investigaciones encubiertas deben manejar tanto una información exacta como una selección de informaciones. El estudio basado en objetivos, recomendado por Tyler, ha sido la estrategia dominante para evaluar programas desde los años cuarenta. Los estudios orientados experimentalmente utilizan planificaciones que incluyen controles de laboratorio, que a menudo no pueden dedicarse a la creación de teorías porque ello interferiría en el rendimiento del servicio y que comúnmente se centran en sólo unas pocas y cuidadosamente definidas variables, dependientes e independientes, lo cual proporciona una gama de información ver. daderamente reducida. El método evaluativo de Stake, centrado en el cliente, consiste primordialmente en un cuidadoso estudio del funcionamiento de un programa de operaciones y se dedica a proporcionar información constante a los que están implicados e interesados en el ptograma en cuestión. . El modelo de estudio inspirado en las relaciones públicas se dedIca a recopilar evidencias y presentar informaciones que puedan servir de apoyo al objeto; no intenta proporcionar un perfil veraz, sino una imagen positiva. Los estudios orientados políticamente calculan y valoran los costes relativos y los beneficios de dos o más propuestas políticas, como por ejemplo estrategias opcionales para proporcionar cuidados sanitarios a los más necesitados. Ralph Tyler es la persona más mencionada en la literatura evaluativa como responsable de la concepción del trabajo evaluativo basado en objetivos cuidadosamente fijados. Los estudios orientados hacia el consumidor son coherentes con la filosofía evaluativa defendida por Scriven y con la mayoría de los productos y servicios que Ralph Nader y sus colaboradores han dirigido . El modelo centrado en el cliente es coherente con lo que se desprende de la filosofía evaluativa de Robert Stake, más conocida por «evaluación respondente». Tanto Cronbach como Stu££1ebeam han propuesto un método evaluativo que sirve como guía para la toma de decisiones.

CALIFICACIÓNDEL TEST DE CONOCIMIENTOS. Una vez terminado el test de conocimientos, le sugerimos que cuente el número de respuestas correctas.

")

") ") ')

¡ 1 )

.) )

) ) \

) ) ) ) ) ) ) ) ) ) ) )

) ,)

) ) ) )

) ) L)

84


Métodos alternativos de evaluacIón

Así, evaluaremos su trabajo inicial tal como sigue: 15-16, excdente; 13-14, muy bien; 10-12, bien; 7-9, regular; y 0-6, mal. Cuando haya obtenido una estimación aproximada de su trabajo inicial, le recomendamos que dirija su atención hacia las cuestiones que ha errado. Le sugerimos que relea cada una de estas cuestiones y su respuesta 'correcta, y luego revise el material del te]fto con el fin de mejorar su comprensión de los conceptos que incluye. '

Modelos de estudio

Estudios orientados hacia las decisiones

Estudios basados en los objetivos

Estudios orientados hacia el conStlmidor

I../1' 'VI''v/(\...

;~;~~.~~:Tt. ':',"

EJercicios prácticos

85

Estudios centrados en el cliente es' juzgado por los que, forlIlan parte de él y por los que son expertos en e! área en la que se incluye e! programa?

(1 .•. 'C)

Métodos más comunes

Este apartado contiene ejercicios prácticos que han sido pensados para ayudarle a saber si ha comprendido usted nuestra presentación y análisis de las conceptualizaciones alternativas de la evaluación. Cada una de las cuestiones va seguida de una respuesta-muestra o' de una lista de puntos importantes que usted ha debido incluir en su ,respuesta. La revisión de estas respuestas le ayudarán a valorar las suyas. '

Modelos de estlldio Organizadores previos Propósito

Procedencia de las cuestiones

Cuestiones principales


Estudios orientados hacia el ~onsumidor

Cronbach y Stufflebeam

Pioneros

Respuesta correcta al ejercicio 1. Su esquema informativo completo suele aproximarse al que aparece a continuación.

EJERCICIO 1. La tabla de información, parcialmente completa, que va a continuación contrasta los modelos de estudio en seis puntos distintos. Demuestre su dominio de los parecidos y las diferencias esenciales entre estos modelos añadiendo la información que falta. Estudios orientados hacia las decisiones

.Comparación de los datos de trabajo con los objetivos

Modelos de estudio

Estudio~ centrados en el cliente

Objetivos

Proporcionar los conocimientos suficientes y una base valorativa para tomar y justificar . decisiones La sociedad en general, los consumidores y e! evaluador


Estlldios orientados hacia el consumidor

Estudios centrados en el cliente

Organizadores previos

Objetivos

Situaciones decisivas

Necesidades y valores sociales

Cuestiones y problemas localizados

Propósito

Relacionar los resultados con los objetivos

Proporcionar los cOl,ocimientos sukientes y una base valorativa para tomar y justificar decisiones

Juzgar los méritos relativos de bienes y servicios alternativos

Facilitar la comprensión de las actividades y su valoración ,en una teoría determinada y desde distintas perspectivas

Los que toman las decisiones, sus ayudantes y los evaluadores

La sociedad en general, los consumidores y e! evaluador

La comunidad y los grupos de clientes en zonas locales, y los expertos

Procedencia de . Planificadores y directivos las cuestiones de! programa

¿Cuál es la historia de un programa y cómo

Estudios orientados hacia las decisiones

);1

11

;¡~------------------------------------------

86

I

Evaluación

Métodos

Modelos de estudio Cuestiones principales

Métodos comunes

Pioneros

sistemática

Estudios basados en los objetivos ¿Qué estudiantes alcanzan sus objetivos?

más

Comparación entre los datos de trabajo y los objetivos

Tyler

Estudios orientados hacia las decisiones ¿Como debe ser planificada, ejecutada y reciclada una empresa determinada para que promueva el crecimiento humano yel desarrollo a un coste razonable?

Inspecciones, valoración de las necesidades, grupos de recomendación, observaciones y . planificación experimental

Cronbach y Stufflebeam

Estudios orientados hacia el consumidor

Estudios centrados en el cliente

¿Cuál de los diversos objetos de consumo alternativos representa la mejor compra que' pueda hacerse, dados sus costes, las necesidades de los consumidores y los valores de la sociedad en general?

¿Cuál es la historia de u~ programa y cómo es juzgado por quienes están implicados en él y por los que son expertos en el área en la que se incluye el programa?

Listas de control, valoración de las necesidades, evaluación sin metas, planificación experimental y análisis del coste

Estudio de casos, informes contrapuestos, sociodrama y evaluación respondente

Scriven

Stake

EJERCIC~O2. Haga una lista de los que usted cree que son los principales defectos y vIrtudes del método evaluativo experiment.tl. Ejemplo de respuesta al ejercicio 2. De acuerdo con la pOSlClon adoptada en esta unidad, su respuesta debe ser aproximadamente como sigue: a)

Virtudes. 1. Valora las relaciones causales. 2. Proporciona una información exacta y objetiva. 3. Produce datos que pueden utilizarse en el análisis. 4. Da. como resultado informes precisos y objetivos. 5. EVIta la manipulación política.

b)

alternativos

de evaluación

I

87

Defectos. 1. No armoniza con las necesidades informativas de las audiencias. 2. No produce una información oportuna. 3. Ofrece una visión reducida del valor de un objeto. 4. A menudo no documenta ni valora la realización de un programa. 5. A menudo se guía por planes de procedimientos poco prácticos.

EJERCICIO 3. Haga una lista de los que usted considere como principales defectos y virtudes de la estrategia evaluativa centrada en el cliente. Ejemplo de respuesta al ejercicio 3. De acuerdo con la posición adoptada en esta unidad, su respuesta debe ser aproximadamente como sigue: a)

Virtudes. 1. Proporciona información continua. 2. Sirve a múltiples audiencias. 3. Es flexible y aguda. 4. Promueve la autoevaluación. 5. Facilita una efectiva comunicación de los resultados. 6. Toma en consideración el contexto. 7. Valora los procesos. 8. Valora los resultados propuestos y los conseguidos . 9. Valora los efectos secundarios. 10. Proporciona una información de amplio alcance. 11. Valora los defectos y las virtudes. 12. Ofrece juicios procedentes de distintas fuentes. 13. Pone énfasis en la validez. 14. Pone énfasis en la descripción completa. 15. Pone énfasis en la comunicación clara. 16. Es aplicable a pequeñas instituciones.

h)

Defectos. 1. Depende de la cooperación de las audiencias. 2. Puede dejar de lado la evaluación completa. 3. No viene avalada por métodos completamente desarrollados y válidos. 4. A menudo produce información de exactitud cuestionable. 5. La objetividad de la evaluación es a menudo dudosa. 6. Permite la utilización de evaluadores tendenciosos o poco preparados. 7. A menudo condu.ce a resultados equívocos o contradictorios. 8. A veces es vulnerable a la manipulación política.

~

1

f (

88

I


f Preguntas sin respuesta

f (

{ ( (

( (

Este apartado final incluye cuatro preguntas concebidas para ayudar a reflexionar críticamente sobre los contenidos de esta unidad. No se proporcionan las respuestas. En su lugar, le sugerimos que lea y piense cada una de ellas y, si es posible, las discuta con sus alumnos o colegas. Además, puede que estas 'preguntas le resulten útiles como guía para un futuro estudio de las lecturas propuestas al final de la unidad. 1.

¿Puede una. autoevaluacián interna aproximarse a los reqUISltOS de una verdadera evaluación? Si es así, ¿qué debe producirse para que cumpla esos requisitos?

2.

La distInción que proporcionamos en esta unidad entre cuasievaluaciones y verdaderas evaluaciones, ¿es artificial, especialmente si se considera que la evaluación supone no un simple estudio, sino un programa de estudios? ¿Existen cuestiones filosóficas fundamentales que distingan los estudios orientados hacia el consumidor de los estudios centrados en el cliente? Si es así, ¿cuáles son?

( (

( (

3.

( ( (

4.

¿Es importante que los evaluadores distingan entre pseudoevaluación, sievaluación y verdadera evaluación? Si es así, ¿por qué? Si no,

( ( ( ( ( (

( (

l (

4 (

cua¿por

qué no?

Referencias bibliográficas ALKIN, M. C. 1969. Evaluation theory development, Evaluation Comment, 2, páginas 2-7. ANnERSON,S.; BALL, S.; MURPHY, R. y colaboradores. 1973. Encyclopedia o/ educational evaluation, San Francisco, Jossey-Bass, pág. 142. BLooM, B. S.; ENGLEHART, M. D.; FURsT, E. J.; HILL, \Yl. H.; Y KRATHWOHL, D. R. 1956. Taxonomy o/ educational objectives. Handbook 1: Cognitive domain, Nueva York, David McKay (trad. cast.: Clasificación de las metas educativas. Tomo I: Taxonomía de los objetos, Alcoy, Marfil, 1979). CAMPBELL, D. T. Y STANLEY, J. C. 1963. Experimental and quasi-experimental designs for research on teaching. En N. L. GAGE (comp.), Handbook o/ research on training, Chicago, Rand McNally. CLARK, K. Dark ghetto, Nueva York, Harper and Row, 1963. COLEMAN, ]. S.; CAMPBELL, E. Q.; HOBsoN, c.]. MCPARTLAND,J.; MOOK, A. M.; \YlEINFELD, F. D.; Y YORK, R. L. 1966. Equality o/ educational opportunity, \Ylashington, D.C. Oficina de Educación, Departamento de Salud, Educación y Bienestar de los EE.UU. CoOK, D. L. 1966. Program evaluation and review techniques, applications in education, U. S. O//ice o/ Education Cooperative Monograph, 17 (OE-12024).

89

CRONBACH, L. ]. 1963. Course improvement through evaluation, Teachers College Record, 64, págs. 672-683. CRONBACH, L. J. Y SNOW, R. E. Individual Differences in Learning Ability as a Function of Instructional Variables, Stanford, Calif., Stanford University Press, 1969. EBEL, R. L. 1965. Measuring educational achievement, Englewood Cliffs, N. J., Prentice-Hall.

SCRIVEN,M. S. 1967. The methodology of evaluation. En R. E. STAKE (comp.), Curriculum evaluation. AERA Monograph Series on Curriculum Evaluatiol1 (vol. 1). Chicago, Rand McNally. STAKE, R. E. 1967. The countenance of educational evaluation, Teachers College Record, 68, págs. 523-540. STAKE, R. E. Program Evaluation, particularly Responsive Evaluation. Occasional

'-

(

~

bibliográficas

FIsHER, R. L. 1951. The design o/ experiments (6.' ed.), Nueva York, Hafner. GLASS, G. V. y MAQUIRE, T. O. 1968. Analysis of time-scires quasi-experiments. (Informe n. 6-8329 de la Oficina de Educación de los EE.UU.) Boulder, CoL, Laboratorio de Investigación Educativa, Universidad de Colorado. GUBA, E. G. 1978.. Toward a methodology Of naturalis~ic inquiry in educational evaluation. CSE Monograph Series in Evaluation, Los Angeles, Calif., Center for the Study of Evaluation. HAMMOND,R. L. 1972. Evaluation ,'1' the local level (ciclostilado), Tucson, Ariz., EPIC Evaluation Center. JENCKS, c.; SMITH, M.; AnAND, H.; B., MJ.; COHEN, D.; GINTIS, H.; HEYNES, B.; Y MICHELSON, S. 1nequality: A reassessment of the effect of family and schooling in America, Nueva York, Basic Books, 1972. KAPLAN,A. 1964. The conduct o/ inquiry, San Francisco, Chandler. LESSINGER,L. M. 1970. Every kid a winner: Accountability in education, Nueva York, Simon & Schuster. LINQUIST,E. F. 1953. Design and analysis o/ experiments in psychology and education, Boston, Houghton Mifflin. McDoNALD, B. 1975. Evaluation and the control of education. En D. TAWNEY (comp.), Evaluation: The state o/ the art, Londres, Schools Council. METFESSEL, N. S. Y MICHAEL, \Yl. B. 1967. A paradigm involving multiple criterion measures for the evaluation of the effectiveness of school programs, Educational and Psychological jvleasurement, 27, págs. 931-943. OWENS, T. 1971. Application of adversary proceedings to educational evaluation and decision making. Texto presentado en el congreso anual de la American Educational Research Association, Nueva York. POPHAM, \Yl. ]. 1969. Objectives and instruction. En R. STAKE (comp.), 1nstructional objectives. AERA Monograph Series on Curriculum Evaluation (vol. 3). Chicago, Rand McNall:-PROVUS,M. N. 1971. Disc.?pancy evaluation, Berkeley, McCutcheon. REINH ARD, D. L. Methodology Development for Input Evaluation Using Input Evaluation Using Advocate and Design Teams. Tesis Doctoral de Filosofía, Universidad del Estado de Ohio, 1972. RIPPEY, R. M. (comp.). Studies in Transactional Evaluation, Berkeley, McCutcheon, 1973.

( (

Referencias

bs

I

I 90

I

II


Paper Series n. 5, Universidad de Western Michigan, Centro de Evaluación, 1975. STUFFLEBEAM,D. L. 1966. A depth study of the evaluation requirement, Theory into Practice, 5 (junio), págs. 121-134. ... -.1967. The use and abuse of evaluatioIi in Title III, Theory mto Practzce, 6 (Junio), págs. 126-133. ., STUFFLEBEAM,D. L. Y WEBSTER, W. J. «An Analysls of Al.ternatlve Approach~s to Evaluation». Educational Evaluation and Policy Analysls, n. 3.2 (mayo-JunIO de 1980), págs. 5-19. Copyright «J 1980, American Educational Research Association, Washington, D.C. SUCHMANN, E. A. 1967. Evaluative research, Nueva York, Russell Sage Foundation. TAYLOR, J. P. 1974. An administrator's perspective of evaluation. Kalamazoo: Universidad de Western Michigan (publicación no periódica, 2). THORNDIKE, R. L. 1971. Educational measurement (2.a ed.), Washington, D.C., American Council on Education, 1971. WEBSTER, W. J. «The Organization and Functions of Research and Evaluation in Large Urban' School Districts». Texto presentado en el congreso anual de la American Educational Research Association, Washington, D.C., marzo de 1975. WEISS, C. Evaluation Research: Methods 01 Assessing Program Ellectiveness, Englewood Cliffs, N. J., Prentice-Hall, 1972. .. . . \J(1ILEY,D. E. Y BOCK, R. D. «Quasi-experimentauon m .Educauonal Settmgs: Comment», The School Review, invierno de 1967,35, pags. 3-66. WOLF, R. L. «How teachers feel toward evaluatiom>. En E. R. HOUSE (comp.), School evaluation: The Politics and Process, Berkeley, McCutcheon, 1973.

") "')

3

LA EVALUACION ORIENTADA HACIA LOS OBJETIVOS: LA TRADICION TYLERIANA

') ') ')

1

.') ')

'1 ,.._ 'l~ \ ~"

~\\(~1~ [Á.'-

"

) ')

) )

f í

i

1

.,i, 1

Off

l

1¡ 1

j I

t

l

hn

Ralph W. Tyler desarrolló el primer método sistemático de evaluación educacional. Este surgió del trabajo que realizó, en los años treinta y a principios de los cuarenta, en el Eight-Year Study de la Universidad del Estado de Ohio (SMITH y TYLER, 1942). A partir de entonces, el profesor Tyler ha continuado desarrollando aspectos de la evaluación, principalmente a escala nacional, siguiendo la evolución de los programas educativos federales. El alcance del respeto que ha conseguido puede medirse, en parte, por el gran número de reputados evaluadores que han basado su metodología en las teorías tylerianas. Antes de que Tyler publicara su modelo evaluativo en 1942, los estudios se centraban en el estudiante y en la valoración de los logros alcanzados por el estudiante. La evaluación era, por lo tanto, virtualmente idéntica a la valoración. Tyler procuró poner el énfasis en una amplia gama de objetos educativos, como los currículos y las ayudas. También destacó la necesidad de establecer, clasificar y definir los objetivos en términos de rendimiento, como una etapa inicial del estudio evaluativo. La evaluación, pues, se convirtió en un proceso para determinar la congruencia entre estos objetivos y las operaczones. El concepto tyleriano ha sido a menudo aplicado con una estrechez de miras que Tyler nunca propugnó. Más significativamente, mientras Tyler ofrecía medios prácticos para proporcionar información durante el curso de una evaluación, la atención acabó fijándose en los datos (por lo general relacionados con los logros del estudiante), que fueron considerados válidos sólo cuando el programa había recorrido ya su ciclo completo. Apesar de las desuentajas de la evaluación concebida como un proceso terminal y del estrecho ClÍcanceasignado a los objetivos, el trabajo de Tyler permanece como uno de los grandes hitos en la historia de la evaluación concebida como ciencia.

) ) ) )

) ) )

) ) )

) )

) ) ) )

) ) ,) )

,)

, f f ('

t (

( ( (

f (

'T

92


La tradición tyleriana

Ralph W. Tyler es generalmente considerado el padre ~e la ~valuación educacional. Existen, posiblemente, dos razones para ello. Pnrr:~ra. propuso, describió y aplicó un método ya desarrollado para la evaluaClon, algo que nadie había hecho antes. Y segunda: su metodología ~~ sido ta~ penetrante como influyente. Destacados estudiosos de la evaluaclOn educ:aclOnal, ~omo Nlichael y Metfessel, Provus y Hammond, han llevado m~s alla el trabajo de Tyler, sin alejarse de su filosofía básica y de su tecnologla .. , . En términos generales, Tyler consideraba que la evaluaClon debe deter:r;lnar la congruencia entre trabajo y objetivos. TYLER llegó a esta c~ncluslOn tras su trabajo en los años treinta y principios de los cuarenta, en el Elght-Year Study de' la U~iversidad del Estado de Ohio. Algunos años más tarde (1950, pág. 69) resumió sus concepciones en estas palabras:

3.

( ( ( ( (

( ( ( (

En esta unidad, presentamos los principales aspect~s del m~todo evaluativo tyleriano. También reseñamos brevemente el trabajO de Mlchael y. Metfessel, seguidores del modelo concebido por Tyler. Cuando h~y~ termll1ado el núcleo de esta unidad, se le pedirá que haga un test de conoClmlent~s sobre la tarea tyleriana, comparando sus respuestas con las que l~ propo.rclonamos nosotros, y un ejercicio práctico, en el que deberá hacer 10 rr:1smo. ~I~al~ente, la unidad termina con la discusión de los temas (y sus pOSibles utIlizacIOnes) en las «Preguntas sin respuesta» y con una lista de lecturas recomendadas.

( (

Objetivos Los objetivos de esta unidad son los siguientes:

( (

1.

(

l ( (

(

2.

Llegar a comprender la intención del método evaluativo tyleriano te~iendo en cuenta sus procedimientos de planificación evaluativa, las ventajas del método y las utilizaciones del mode:o. . . Destacar algunas limitaciones del rr~todo tylenano. En particular, la evaluación como proceso terminal, sus limitaciones técnicas (ocultar el proceso para la consecución de los objetivos y situar los objetivos ~n térr:lln~s de comportamiento), la consideración del rendimiento como último cnteno y el estrecho alcance de la evaluación.

Procedimiento de diseño evaluativo La ventaja de la definición de evaluación basada en la congruencia es que procede de una base lógica organizada a partir del desarrollo de un programa. Tyler consideraba que la evaluación debía ser una etapa esencial de este desarrollo. Además, consideraba que debían existir una serie de etapas lógicas que afianzaran el proceso de evaluación real. De acuerdo con Tyler, el procedimiento para evaluar un programa es el siguiente: 1. Establecer las metas u objeti;os. 2. Ordenar los objetivos en amplias clasificaciones. 3. Definir los objetivos en términos de comportamiento. 4. Establecer situaciones y condiciones según las cuales puede ser demostrada la consecución de los objetivos. 5. Explicar los pfJpÓSitos de la estrategia al personal más importante en las situaciones más adecuadas. 6. Escoger o desarrollar las apropiadas medida~ técnicas. 7. Recopilar los datos de trabajo (en el caso de los programas educativos, deben referirse al trabajo de los estudiantes). 8. Comparar los datos con los objetivos de comportamiento. Debe destacarse que la definición de evaluación de Tyler coincide mucho con estas etapas del procedimiento. Si el objetivo de un programa de currículos y enseñanza es producir un cambio en los modelos de comportamiento de los que se benefician de él, entonces es necesario un método que mida el

( (

L....

Revisar una ampliación del método tyleriano, la realizada por Metfessel y Michael, teniendo en cuenta su procedimiento evaluativo de ocho etapas y el apéndice (sobre valoraciones basadas en múltiples criterios).

En su informe general sobre la evaluación publicado en 1942, Ralph Tyler puso las bases de un estilo evaluativo «orientado hacia los objetivos». Concluyó que las decisiones acerca de los' programas debían estar basadas necesariamente en la coincidencia entre los objetivos del programa y sus resultados reales. Si se alcanzaban los objetivos, se tomarían las decisiones en una dirección concreta. Si no se a1c:!nzaban, o sólo se alcanzaban parcialmente, debían tomarse decisiones distintas. La principal recomendación de Tyler era que el profesor, el administrador o el que realizara los currículos debía llegar a emitir juicios racionales' acerca de las áreas programáticas que fueran en su dirección.

El proceso de la evaluación es esencialmente el proceso de determinar ~asta quÉ:punto los objetivos educativos han sido actualm~nte alcanzados mediante los programas de currículos y enseñanza. De cua.lqUlermanera,. desde el .momento en que los objetivos educativos son esenCl.al~ente cambios produCidos en los seres humanos, es decir, ya que los obJetlvos alcanzados pro~ucen ciertos cambios deseables en los modelos de com?ortami~nto del estudiante, entonces la evaluación es el proceso que determ111ael nivel alcanzado real. mente por esos cambios de comportamiento.

(

93

La intención del método tyleriano

( (

I

L

J J 94

I

La tradición


I

Ventajas del método tyleriano

')

95

Lo utilizaron otros, incluido Scriven (evaluación formativa) y Stufflebeam (evaluación del proceso), para resaltar la gran importancia de la evaluación, útil tanto para juzgar el ptoceso de un programa como sus resultados finales. Tyler subrayó que un estudio evaluativo no necesariamente debía ser considerado aislado de otros estudios similares. Creía que el valor real de la información derivada de los estudios más tempranos debía ser utilizada para ayudar a definir los objetivos, seleccionar las condiciones apropiadas para que pudieran alcanzarse los objetivos propuestos y ayudar en la interpretación de los resultados que debían valorarse. Consideraba, por lo tanto, que un buen evaluador debía adquirir destreza para utilizar con habilidad los precedentes adecuados a la hora de realizar estudios evaluativos o desarrollar técnicas de valoración. Como se ha dicho al principio, Tyler puso las bases del primer método sistemático de evaluación. Fue lo que más tarde se convirtió en el método «dirigido por objetivos», para desarrollar y controlar organizaciones o ciertos aspectos de las organizaciones. Uno de los aspectos más importantes de los métodos sistemáticos es su apariencia racional. En educación, concretamente, resultan atrayentes los conceptos derivados de las etapas sistemáticas, como formulación de objetivos, retrol!limentación, evaluación continua y reciclaje (basado en la modificación de metas u objetivos). Además, el proceso parece ser útil para el profesor que desee tomar decisiones acerca del programa. Rara vez son necesarios los agentes externos, aunque el Eight-Year Study es una excepción importante.

alcance del cambio. Antes de que esto suceda deben ser determinadas con claridad y definidas las «metas y objetivos». Dicho en términos de comportamiento, deben comprobarse los objetivos después de que se hayan establecido las condiciones apropiadas para su comprobación. Tyler no diferenciaba entre metas y objetivos en su estrategia. De sus escritos puede colegirse, de cualquier forma, que las metas de un programa eran ideales por los que había que luchar, mientras que los objetivos eran submetas que podían ser expresadas como entidades mensurables.

Antes de que Tyler desarrollara su método, la evaluación educacional se había centrado casi exclusivamente en el estudiante. Los logros de los estudiantes eran la base de la evaluación del programa. Los logros, o los méritos, se basaban a veces enteramente en valoraciones como los tests y, ocasionalmente, en una síntesis de varias valoraciones e impresiones subjetivas. En este método orientado hacia la valoración para descubrir el mérito de un programa, el estudiante era el principal foco de atención. Además, la evaluación se limitaba a aquellas variables que podían ser sometidas a valoración. El método tyleriano, en teoría, desplazaba su atención hacia otros aspectos del programa, aparte de los estudiantes. En concreto, deben tenerse muy en cuenta el conocimiento de las intenciones del programa, sus metas y sus objetivos de comportamiento, así como los procedimientos necesarios para llevarlo a cabo con éxito. El hecho de que debieran ser definidos los objetivos proporcionaba un buen punto de referencia para la evaluación y la toma de decisiones. Las definiciones de los objetivos también implicaban criterios para valorar su éxito. Cualquier evidencia válida acerca de los objetivos de comportamiento debía ser concebida como un método válido de evaluación. Nunca estuvo especialmente interesado en los métodos que no utilizaban papel-y-lápiz, como la observación, las entrevistas y la valoración de los trabajos manuales y ejercicios de los estudiantes. Tyler proporcionó medios prácticos para la retroalimentación (término que él introdujo en el lenguaje evaluativo). Así, Tyler veía la evaluación como un proceso recurrente. La evaluación, según él, debía proporcionar un programa personal con información útil que pudiera permitir la reformulación o redefinición de los objetivos. Si se produce la modificación de los objetivos, debe realizarse la revisión correspondiente de los planes evaluativos. La estrategia de Tyler también permitió que el evaluador con llllclatlva pudiera examinar los datos más relevantes del proceso mediante el cual se desarrollaba el programa. De todas formas, como afirmamos más adelante, este aspecto potencialmente valioso del programa evaluativo nunca fue promulgado por Tyler ni puesto en práctica por sus inmediatos contemporáneos.

tyleriana

.) 'l 'l ,'l ')

) , )

')

,

)

)

)

,

) )

) ) ) )

I

I

Utilizaciones del modelo tyleriano

)

Tyler previó que su método evaluativo sería utilizado principalmente por profesores y elaboradores de currículos. Tras la aparición de los programas federales en los años sesenta, consideró igualmente que su método podía ser apropiado para evaluadores profesionales. . Aparte la modificación de currículos y la clasificación de objetivos, como se ha subrayado más arriba, el método Tyler es muy útil en clase. De cualquier manera, depende mucho de la agudeza del profesor que el método sea usado positivamente (la toma de decisiones para el perfeccionamiento de la educación debe continuar siendo la principal utilización de la evaluación, no importa cuál sea el alcance de la discrepancia existente entre los objetivos y los resultados del trabajo). El método Tyler puede ser útil como guía de aprendizaje para el estudiante. Puede encargarse del diagnóstico y posterior tratamiento de los defectos del proceso de aprendizaje, ya sea individual o por grupos. Puede también permitir que un profesor modifique los objetivos de aprendizaje para satisfacer tanto las posibilidades de ese aprendizaje como las necesidades del

) ) ) )

) ) ) )

) )

) \

) )

'Ft (

I

(

96

(

estudiante, Debemos destacar que Tyler nunca mencionó el curso en el que se encontraba cada estudiante, ni 10 utilizó en su método evaluativo. Tyler también creía que la evolución era útil para proporcionar a la direc. ción de una escuela información acerca de algunos de sus aspectos. En cierto modo, preveía el uso de la evaluación con propósitos administrativos. De cual. quier forma, le interesaba más el cambio positivo que podía producirse después de una evaluación que los argumentos que podía proporcionar a los padres y a otros miembros de la comunidad para que los utilizaran contra el personal de la escuela. «La información derivada de un proceso evaluativo racional puede producir buenos efectos, esto es, un perfeccionamiento de la educación.»

( ( ( ( (

( (


( ( ( ( (

(

Algunas -limitaciones del método tyleriano Tyler consideraba que el propósito de una evaluación era proporcionar un informe que dilucidara «si la planificación de experiencias de aprendizaje servía realmente de guía al profesor para alcanzar los resultados deseados». Esto suena a propósito desarrollista o formativo. En realidad, el método tyle. riano ha sido utilizado de muchas maneras. Esta es la crítica que más frecuen. temente se le hace al modelo.

( (

La evaluación como proceso terminal

(

<. ( ( ( (

( ( (

l

,, (

'l l

Es irónico que un procedimiento que tanto habló de la retroalimentación y de su utilización en la mejora de la educación, haya sido utilizado casi exclusivamente para valorar el logro final. Con su amplia gama de posibilidades, nunca subrayadas por Tyler, el método orientado hacia los objetivos tiende, en la práctica, a convertir la evaluación en un acontecimiento termi. nal, permitiendo únicamente juicios sobre el producto final. Cualquier proceso de recogida de datos no debe ser necesariamente estéril, puesto que pueden ser utilizados cuando ya se hayan alcanzado las metas. De cualquier manera, se pierde la oportunidad de utilizar estos datos para perfeccionar el programa durante su curso. Así, el concepto tyleriano de evaluación en términos de coincidencia, que relaciona los resultados con los objetivos, concede una atención predominante al proceso terminal que proporciona información sólo cuando se ha cumplido el ciclo completo del programa. Exi~te una pequeña duda acerca del modo en que Tyler conceptualizó su método evolutivo y la manera en que esta conceptualización difiere de la práctica, demasiado a menudo en contra de las grandes posibilidades del método tyleriano.

La tradición

Limitaciones

tyleriana

I

97

técnicas

Para obtener un grupo operativo de objetivos que luego coincidan con los resultados, el evaluador debe seleccionar, y clarificar, los objetivos aproiados. Más claramente, tampoco deben ser tenidos en cuenta en una evalua~ión todos los objetivos posibles para un programa. Tyler sugiere, por 10 tanto, que se realice un proceso de criba inicial según una «filosofía y una psicología» determinadas. Nunca especificó exactamente qué forma debía adoptar este proceso; las desventajas de este método impreciso son obvias. Los intentos realizados por autores posteriores con el fin de interpretar este proceso selectivO sólo han traído más confusión. Quizá sea suficiente decir que esta criba inicial debía exponer los aspectos más importantes de un programa desde puntos de vista como el contenido, el aprendizaje y el desarrollo de una teoría, y que estos aspectos debían ser expresados en términos de rendimiento o comportamiento. La principal contribución de los evaluadores fue reducir las metas ya seleccionadas a objetivos de comportamiento valorables. Para la estrategia de tra. bajo tyleriano, los objetivos debían ser establecidos en términos operativos. La habilidad necesaria para realizar esta operación básica (por la que la totalidad de la evaluación podía seguir adelante o desmoronarse) demostró ser excesiva exigencia para algunos profesores. Como resultado, el criterio para la exposición de objetivos acabó siendo la facilidad con la que el informe podría ser utilizado directamente como test. Como consecuencia, los objetivos importantes, particularmente los relacionados con los aspectos menos concretos del programa, como las actitudes que debían adoptarse, fueron a me. nudo ignorados.

El rendimiento

como último criterio

En su definición de evaluación, Tyler puso un énfasis especial en los objetivos relacionados con el rendimiento, e, invariablemente, con el rendimiento de los estudiantes. Aunque, como hemos afirmado más arriba, el modelo tyIeriano dio su promesa teórica de atender tanto a los procedimientos educativos como a los estudiantes, los evaluadores se sintieron obligados a evaluarlo todo atendiendo a los efectos producidos en los estudiantes. Esto ocurría incluso cuando el objeto real de la evaluación era un diseño para un nuevo edificio o un procedimiento administrativo renovador. Todo tendía a ser contemplado desde el punto de vista de los estudiantes y de sus cambios en el tendimiento (el cual, si era positivo, se llamaba «logro»). Así, tomando el ejemplo expuesto anteriormente, la cuestión que debía ser respondida era si la estructura del nuevo edificio, o el procedimiento administrativo, iban

1 1 98

La tradición tyleriana

I Evaluación sistemática El procedimiento

')

de las ocho etapas

") ")

Algunos críticos consideran que el método tyleriano falla en áreas como la selección de los objetivos más importantes, la evidencia de la tendenciosidad de sus valores en esta selección y las normas básicas por las que las discrepancias entre los objetivos y los resultados del trabajo son valorados. Además, pueden surgir pequeñas dudas acerca de que el procedimiento que se centIa estrechamente, primero en la clase y luego en el profesor, sea el agente que el estudio verdaderamente necesita. Si la elección de objetivos es demasiado restrictiva, existen pocas oportunidades de que surja un estudio más realista y abierto. La evaluación estaba, en efecto, encerrada en el molde de sus objetivos iniciales. Un resuhado probable y desafortunado era que el programa se desarrollara poniendo especial énfasis en los objetivos escogidos, anulando así la creatividad del programa en favor de las demandas evalua-

1. 2.

3.

4.

I

5.

!

6. Metfessel y Michael: una am.pliación del método tyleriano METFESSELY MrcHAEL (1967) creían, al igual que Tyler, que la valoración de los resultados podía hacer más perfectas las decisiones educativas. Como apéndice a una interesante publicación (1967), Metfessel y Michael hicieron una lista de los múltiples criterios de valoración que podían ser utilizados para la evaluación de programas. Especificando toda la gama de posibles criterios para la valoración de los resultados, Metfessel y Michael van bastante más allá que Tyler. Sin embargo, su paradigma evaluativo es básicamente similar al método tyleriano.

evaluativo

Metfessel y Michael desarrollaron un paradigma evaluativo de ocho etapas con el propósito de ayudar al personal básico de las escuelas (profesores, administradores y especialistas) a evaluar la consecución de los objetivos en los programas escolares. El cuarto segmento de este paradigma utiliza las valoraciones basadas en múltiples criterios a que nos hemos referido más arriba. Las ocho etapas principales del proceso evaluativo son las siguientes:

evaluativos

tivas. Demasiado a menudo, la elección de objetivos queda restringida a los objetivos de rendimiento, que son más fáciles de cuantificar y especificar. Importantes actividades que no se definen operacionalmente, como la apreciación, el juicio y la reflexión -más difíciles de cuantificar-, fueron rara vez incluidas como objetivos específicos de la evaluación de un currículo. Era difícil poner a los estudiantes en u'na situación en la que estas últimas actividades pudieran manifestarse de un modo valorable. Con esta dificultad a la hora de especificar el rendimiento y precisar la cuantificación, dificultad que incluso podía ser imposibilidad, con la poca concreción que podía alcanzarse respecto a estos elementos del programa, la evaluación tendía a convertirse en algo desequilibrado y, por 10 tanto, incompleto.

99

')

a ayudar al éxito del estudiante. El estrecho alcance del método evaluativo técnico basado en la coincidencia centró demasiado la atención en el rendi_ miento como criterio último.

Tendenciosidad Y falta de alcance de sus componentes

I

1

7.

I

I 8.

Implicar a todos los miembros de la comunidad escolar como participantes o ayudantes de la evaluación. r::acer una lista coherente de todas las metas y objetivos específicos, claslficados en un orden jerárquico, desde los resultados más específicamente deseados hasta los más generales, a) poniendo primero las metas que más a~p~iamente abarcan las intenciones teóricas del programa; b) luego los obJetIVOS específicos en términos operacionales, para permitir una valoración objetiva siempre que sea posible; y e) desarrollando finalmente criterios de enjuiciamiento que permitan la definición de los resultados más significantes y relevantes, el establecimiento de prioridades realistas en términos de necesidad social, de la facilidad del alumno, de la retroalimentación alumno-maestro y de la disponibilidad de personal y de recursos materiales. Traducir los objetivos específicos de rendimiento a una forma inteligible que pueda ponerse en práctica para facilitar el aprendizaje en el ambiente escolar. Seleccionar o crear una variedad de instrumentos que suministren valores de los que se pueda colegir la efectividad de los programas a la hora de conseguir los objetivos que se habían propuesto. Llevar a cabo observaciones periódicas, a través de la utilización de instrumentos variados, para calibrar el alcance del cambio en el rendimiento que resulta válido respecto a los objetivos seleccionados. Analizar los datos proporcionados por la valoración del cambio a través de la utilización de métodos estadísticos apropiados. Interpretar los datos relativos a los objetivos específicos según ciertas normas ~e enjuiciamiento y ciertos valores que se consideren apropiados para los n}veles a los que se desee llegar en el trabajo; de esta manera, se podra llegar a conclusiones que proporcionen información acerca de la dirección de la evolución, el progreso de los estudiantes y la efectividad de todo el programa. H. acer :ecomen daClones . que proporcionen una base para futuros perfecclO.na~Il1entos,modificaciones y revisiones de toda la gama de metas y objetivos específicos con el propósito de mejorar el programa; proporcio-

I ') ')

) ) ')

)

.) )

) )

) )

) ) ) ) ) )

) ) ) ) ) )

)

) )

r'.

(

( ,(

100

I


La tradición

nar continua información, basada en recomendaciones, a todos los individuos implicados en el programa; y prepararse para cuando vuelva a recomenzar el ciclo del proceso evaluativo, una vez que los resultados ya hayan sido presentados a las audiencias correspondientes,

( (

( El paradigma también proporciona detalles acerca de los individuos que deberían ser los principales responsables de la evaluación en cada una de las etapas sucesivas del proceso, Estas responsabilidades, en forma de funciones de asistente, vienen indicadas con la letra «L» para el personal no experto. ([ay persormel), la «P» para el personal profesional (professional stal! personnel) y la «$» para los estudiantes (students), Cuando más de uno de estos grupos tiene alguna responsabilidad en alguna etapa del proceso evaluativo, deben designarse los que actuarán como agentes secundarios o indirectos. Por ejemplo, mientras los tres grupos se reparten la responsabilidad en la primera etapa, sólo los profesionales están implicados en la sexta y estos mismos profesionales tienen la responsabilidad principal en la octava, donde los no expertos y los estudiantes desempeñan papeles secundarios y de asistentes. Metfessel y Michael también insistían en que las decisiones que supusieran algún tipo de enjuiciamiento debían incluirse en todas las fases del proceso evaluativo, «puesto que los que participan en cada etapa deben estar preparados para reajustes en sus actividades según la cantidad y el carácter de la información que vayan recibiendo». Además, Metfessel y Michael afirmaban que los evaluadores debían saber que las valoraciones podían indicar falsos progresos o falsos retrasos relacionados con 10 siguiente:

( ( ( (

( ,'(

1

( ( (

( ( (

( (

1.

( 2.

(

( 3.

(

4.

(

Teniendo siempre presentes estos peligros, la prudencia y el buen juicio del evaluador se hacen «particularmente útiles y necesarios» si se quieren extraer conclusiones honestas y significativas de los datos de la evaluación.

( ( (

El apéndice de las valoraciones

(

( ~ .. i'

1.

2,

3.

101

Indicadores de inmovilidad o cambio en los comportamientos cognitivos y afectivos de los estudiantes según mediciones y esca!as norn:alizadas: por ejemplo, tests de conocimiento estandarizados, autOl.n.ventanos. estandarizados, escalas de valor estandarizado y tests de hab1hdades pS1comotrices estandarizados. Indicadores de inmovilidad o cambio en los comportamientos cognitivos y afectivos de los estudiantes mediante instrumentos o .sistemas, i~formales o semiformales, realizados por el profesor: entrev1stas, cuestIonarios, autoexámenes acerca de los conceptos y tests de conocimientos y escalas de valor realizados por el maestro. Indicadores de inmovilidad o cambio en el comportamiento de los estudiantes que no pueden ser valorados mediante tests, inventario o escalas de observación, pero que están- relacionados con la tarea de evaluar los objetivos de los programas escolares: por ejemplo, ausencias, apuntes anecdóticos (críticas del comportamiento), tareas (número y carácter de las que ha realizado), libros (número y carácter de los que ha pedido, en la biblioteca), acciones disciplinarias que han debido ser adoptadas (tIpO y frecuencia), participación en los trabajos de equipo, referencias del profesor al consejero y habilidades (demostración de sus nuevas aptitudes de las que ha perfeccionado). Indicadores de inmovilidad o cambio en el comportamiento cognitivo o afectivo de los profesores y demás personal de la escuela en relación con la evaluación de los programas escolares: por ejemplo, la asistencia (frecuencia con la que asiste a las reuniones profesionales o a los cursos de preparación), la participación, incluyendo los puestos de elección q~e .desempeñan en organizaciones profesionales y comunitarias; y procedlm1entos informativos practicados por administradores, consejeros y profesores. Indicadores del comportamiento de la comunidad con relación a la evaluación de programas escolares: por ejemplo, asistencia a las actividades

°

4,

criterios

El apéndice de la publicación de 1967 contiene valoraciones basadas en múltiples criterios para la evaluación de programas escolares. Estas valora-

(

(.

basadas en múltiples

I

, críticas representan una excelente contribución a la creación de instruclOnes .. . dI' orque incluye una hsta de las dlVersas fuentes y tIpos e va oraClOnes mentaS, P 1 d 1 d' l'as para alcanzar una comprensión acabada y comp eta e os 1versos ~M tos de un programa escolar. Dicho de otra manera, aunque Met f esse1 y ~rce~ael no fueran, en principio, más allá del método tyleriano, ampliaron el alcance de los juicios s~bre un ?rogra~a.. .. . El apéndice proporclOnaba Clnco d1menslOnes prmc1pales (valoraclOnes. baen criterios) para la evaluación de programas escolares. En cada eJemsadas d' . d' aparecían valoraciones que, si se aplicaban a un programa, po 1an m 1car 1 po, "d 1 1 h b' si un aspecto del programa habla permanec1 o ta cua o a la cam b'lad o, comparándolo con los objetivos ~specíficos pe~sados para el programa. Estos cinco tipos de indicadores, con ejemplos sufiClentes para comprobar las valoraciones que se aplicaban a cada uno, eran presentados así:

Experiencias dentro y fuera del ambiente escolar que caen fuera de las intenciones de los objetivos específicos de rendimiento. Diferencias no identificadas, resultado de los efectos de profesores y demás personal básico de la escuela (a menudo capaces de motivar por naturaleza). Incorrecciones en diversos aspectos de la recopilación de datos y el análisis. Errores en la planificación investigativa y en la metodología estadística.

e

tyleriana

5.

.)

J 102

I

Evaluaci6n

sistemática

La tradicl6n

especiales de la escuela; conferencias (frecuencia de las reuniones entre padres y profesores o entre padres y administradores promovidas por los padres); respuesta de los padres a las cartas e informes, y llamadas telefónicas de los padres, de la comunidad y del personal de los medios de com unicación.

tyleriana

I

') 103

")

)


") b)

El apéndice sugería que una amplia variedad de no expertos y de profesionales, individualmente o en grupo, podía estar implicada en la evaluación, definiendo las valoraciones y las audiencias para el informe final. Metfessel y Michael subrayaron la necesidad de un modelo coherente que incluyera una gran gama de metas y objetivos, así como también una serie de indicadores del nivel que se había alcanzado con éxito.

e)

d)

Es incorrecta porque la información que se recoge en el método tyleriano debe estar relacionada con objetivos referentes al comportamiento o rendimiento. Es incorrecta porque el método tyleriano ni describe los antecedentes ni interpreta ninguna información, aparte la que está relacionada con los objetivos de comportamiento. Es incorrecta porque el método tyleriano se basa en una definición de evaluación estrecha y poco flexible (como indica la respuesta correcta).

) ) ) ) \

) 2. ¿ Cuál de las siguientes afirmaciones describe mejor la posición de Tyler acerca de los tipos de evidencias admisibles en una evaluación educacional?

)

PREGUNTA

a)

b) En esta seCClOnse proporcionan preguntas objetivas y sus correspondientes respuestas, correctas e incorrectas. El propósito de la sección es determinar si ha alcanzado usted un dominio suficiente de los objetivos intelectuales del método evaluativo tyleriano. El test puede hacerlo todo usted mismo; rodee con un círculo la letra que usted considere la mejor respuesta. Luego compárela con las respuestas que vienen a continuación. Cuando haya terminado todas las preguntas, se le enseñará a valorar su trabajo.

a)

b) c)

d)

1.

De acuerdo con Tyler, la evaluación es:

El proceso mediante el cual se determina hasta qué punto han sido alcanzadas las metas propuestas. El proceso mediante el cual se definen, se obtiene y se proporciona información útil para juzgar decisiones alternativas. El proceso mediante el cual se describen los antecedentes, se controla el propio proceso, se valoran los resultados y se interpreta toda la información. La valoración del mérito.

\

) )


PREGUNTA

)

c) d)

Sólo son admisibles los tests que pretenden ser válidos y exactos. Los tests son la evidencia más útil, pero deben ser adecuadamente complementados con entrevistas y datos de observación. Cualquier evidencia válida sobre el comportamiento o el rendimiento proporciona un método evaluativo apropiado. Ninguna.

Respuesta correcta. Debe usted haber respondido «c». Tyler insiste en que la recopilación de evidencias acerca de objetivos de comportamiento debe ser lo m.ás amplia posible. Esto incluye la utilización de tests objetivos y de observaclOnes.

I

I

) ) ) ) ) ) ) )


a) Esta respuesta limita el alcance de las evidencias admisibles a los tests objetivos. b) Esta respuesta posee un énfasis incorrecto, puesto que son las circunstancias .las que d~ctan el tipo de evidencias admisibles que deben recopilarse; SI esto es CIerto, deben utilizarse evidencias acerca de los objetivos. d) La «c» es la respuesta correcta.

) ) )

) ,)

)

Respuesta correcta. Debe usted haber señalado la «a». Esta afirmación incluye la definición esencial del método evaluativo tyleriano, a saber, la discrepancia entre el trabajo en contraste con las metas (u objetivos).

3. El método evaluativo tyleriano intenta disponer de ventaJas sobre otros métodos previos, ya que: . PREGUNTA

a)

Se centra casi exclusivamente en el estudiante.

) ) )

)

t

J..•

) .)

, (

f (

104

c)

d)

(

( (

( ( (

,{ (

(

-s

en valoract' . que proporClOnan los tests. como las Permanece libre de normas para la valoración de los objetivos alcanzad Tiene en cuenta el conocimiento de las intenciones del programa, toJs, sus metas y objetivos de comportamiento y los procedimientos que has que poner en práctica para llevarlo a cabo con éxito. ay

Respuesta correcta. Debe usted haber señalado la «d». Esta afirmación contiene las principales ventajas que tiene el método sobre otros procedimien_ tos anteriores de evaluación educacional, en los que la valoración de los logro del estudiante era el centro de todo (lo cual quiere decir que la evaluación ~ idéntica a la valoración). Con los objetivos definidos, se consigue unos firmes puntos de r~ferencia para la evaluación y la toma de decisiones.

(

( (.

,

(

( (

l (

( (

l l

105

b)

Es incorrecta porque Tyler proporciona medios prácticos para la retroali. mentación incluso si no es utilizada frecuentemente por los que usan

el

este método. . .. , Es incorrecta porque esta afirmación es contrar1~ a. la 0pWlOn de Tyler según la cual esta clarificación de las metas (u obJeuvos) puede ser resul.

d)

tado de la retroalimentación. . ., Es incorrecta porque Tyler consideraba que, con la modlficaclOn de los objetivos, podía producirse la revisión correspondiente de los planes eva. luativos. PREGUNTA5.

b) e)

Aunque en la práctica el método Tyler tiende a centrarse en el estudiante, en teoría cualquier aspecto de la educación puede ser el tema de estudio. Incorrecta: vea la respuesta correcta. Es incorrecta porque la definición de los objetivos también implica cri. terios para valorar los resultados alcanzados.

a) b)

e) d)

( (

I

¿A cuál de las siguientes utilizaciones no puede aplicarse

el modelo tyleriano? a)

( (

tyleriana



( (

La tradición


b) Emite juicios acerca de los logros basándose enteramente

( (

I

PREGUNTA4. ¿Cuál de las siguientes afirmaciones caracteriza opinión de Tyler acerca de la retroalimentación? a) b) e) d)

mejor la

Tyler ve la evaluación como un proceso recurrente. Dado que puede establecerse la coincidencia entre los objetivos y el tra. bajo, el proceso intermedio es de poca importancia. La retroalimentación conduce casi inevitablemente a la confusión acerca de los objetivos de comportamiento, que son la base de la evaluación. A pesar de la reformulación de objetivos que sigue a cada nueva información, los planes evaluativos no deben variar si el estudio quiere con. servar su credibilidad.

Respuesta correcta. Debe usted haber respondido «a». Tyler consideraba que la evaluación debe proporcionar un programa personal con información continua y útil que pueda conducirle a la reformulación o redefinición de los objetivos.

La evaluación de muchos programas federales. La clarificación y modificación de los propósitos de un currículo. Servir de guía para el aprendizaje de los estudiantes, incluyendo el diagnóstico y el tratamiento correspondiente de sus puntos débiles. La presentación de un informe equilibrado sobre los pros y los contras de introducir un nuevo programa en una clase.

Respuesta correcta. Debe usted haber señalado la «d». Tyler, y todos los que están de acuerdo con su método, no disponen de ninguna estrategia para evaluar el mérito de las metas y objetivos seleccionados. Respuestas incorrectas a) b)

e)

Es incorrecta porque Ty ler consideraba que su método era útil para que el personal profesional pudiera evaluar programas federales. Es incorrecta porque la revisión de metas y objetivos es una utilización posible del método tyleriano. Es incorrecto porque la guía y el apoyo del aprendizaje escolar era una de las principales utilizaciones a las que Tyler deseaba aplicar su modelo.

PREGUNTA6. ¿Cuál de las siguientes afirmaciones describe mejor la serie de etapas sugeridas por Metfessel y Michael para una buena ejecución de un estudio evaluativo?

-'). ¡~

106

a)

b) e)

d)

~:;;;:y';~,;;~;':~;:~:ni~~:m~~t~: :~;~o~~ ~:~,u~:d::o~~;:: ...~¡l I

de datos; recopila, analiza e interpreta los datos; y formula recomenda_ ciones. Define el problema y acciones de respuesta alternativas al problema; define y opera con múltiples criterios; recopila información crítica acerca de cada problema; y juzga los méritos relativos de cada alternativa. Modela el programa para que sea evaluado; especifica los objetivos; determina los requisitos informativos; especifica valoraciones basadas en múltiples criterios; y recopila, analiza y presenta los datos. Describe los antecedentes elel programa; identifica y valora los objetivos del programa; modifica los objetivos; selecciona instrumentos basados en múltiples criterios; recopila datos del proceso y su producto; y utiliza los datos- para modificar el programa.

Respuesta correcta. Debe usted haber señalado la «a». Esta afirmación representa una breve pero acertada síntesis de las etapas progresivas de la evaluación propuestas por Metfessel y Michael.

b) Es incorrecta a causa del énfasis que pone sobre la evaluación como estra-

d)

,¡

I

t

tegia para la solución de un programa, antes que como evaluación de un programa u objeto determinados. Es incorrecta porque las tres primeras etapas son marcadamente distintas a las que propugnan Metfessel y Michael. Es in~orrecta porque esta serie de etapas difiere casi por completo de la sugenda por Metfessel y Michael.

tyleriana

I

Ejercicios prácticos

EJERCICIO 1. Seleccione un objeto o programa educativo, ya sea real o hipotético, para evaluarlo. Imagine que intenta llevar a cabo el estudio utilizando el método y la filosofía evaluativos de Tyler. Escriba un ensayo exponiendo los procedimientos que piensa utilizar. Su respuesta debe contener dos elementos principales: a) comentarios de naturaleza general acerca de la filosofía de Tyler sobre las utilizaciones de la evolución; y b) estar de acuerdo con el modelo tyleriano.

")

) "

')

) ) ')

')

La respuesta al ejercicio 1 debe incluir los siguientes puntos:

I

a)

)

Respecto a las utilizaciones de la evaluación: ,

1. 2.

f 3. 4.

Debe destacarse el deseo general de perfeccionar el currículo u objeto como resultado de la evaluación. En la evaluación de currículos, el perfeccionamiento del aprendizaje del estudiante (que incluye el tratamiento de sus puntos más débi. les) es un resultado importante, relacionado con la modificación de los objetivos de aprendizaje. La revisión de las metas y objetivos puede ser resultado de la retroalimentación; Tyler veía la evaluación como un proceso recurrente. El estudio puede proporcionar información útil para los directivos de la institución educacional a la que corresponde el programa o proyecto.

) )

)

) ) )

)

.) )

especificado por Tyler (el énfasis variará según el área que se esté investigando): 1. 2. 3. 4. 5.

Este apartado incluye un ejercicio práctico destinado a determinár su como pre~sión del modelo tyleriano y un ejercicio referente a la parte de la unidad dedIcada a Metfessel y Michael. Después de cada ejercicio hay una lista de puntos que usted deberá haber incluido en su respuesta. Su revisión le ayudará

~

a valorar su trabajo. Obtendrá una más completa valoración de su trabajo releyendo la parte o partes más relevantes de esta unidad.

b) Respecto al modelo tyleriano, a las etapas que deben cumplirse en el orden INTERPRETACIÓN DEL TEST DE CONOCIMIENTOS.Cuando haya completado el test de conocimientos sobre el método tyleriano, revise aquellas cuestiones que ha errado y las que le han dejado alguna duda a pesar de haber escogido la respuesta correcta. Le sugerimos que revise las pertinentes secciones de la unidad para afianzar el dominio de sus contenidos.

')

107

,}

f


e)

1

La tradición

6. 7.

El establecimiento de amplias metas y objetivos específicos. Una amplia clasificación de los objetivos. La definición de los objetivos en términos de comportamiento oren. dimiento. El establecimiento de las condiciones adecuadas para que pueda producirse la consecución de los objetivos. La planificación de las explicaciones de los propósitos del estudio dirigidas al personal básico en las situaciones adecuadas (véase más arriba). Ll selección de las valoraciones técnicas apropiadas. La recopilación y análisis de los datos de trabajo.

.) I )

.) ) ) ,) .) ) f)

) ¡) )

b

1)

108

,......• ..'•..'

;-:~'"

f 'f

8.

~~ '(

e ( ,(

a)

(

b)

'( (

c)

(

1<

(

d)

:( (

e)

(

(

,

a)

{

b)

(

I

Indicadores de inmovilidad o cambio en los comportamientos cognitivos y afectivos de los estudiantes expresados en valoraciones y escalas regu. larizadas. Indicadores de inmovilidad o cambio en los comportamientos cognitivos y -afectivos según los instrumentos o sistemas, informales o semiforma. les, creados por los profesores. Indicadores de inmovilidad o cambio en el comportamiento o rendimien. to de los estudiantes que no puedan ser valorados mediante tests, inven. tarios y escalas de observación, en relación con la tarea de evaluar objetivos de los programas escolares.

(

Asistencia a l~s reuniones profesionales; puestos de elección en diversas organizaciones; escalas de valor referentes a actitudes, eficiencia en el trabajo y opiniones de los diversos miembros de toda la comunidad escolar.

( ( ,( (

l

r-P

¿Cuáles fueron las más útiles contribuciones luación?

de Tyler al estado de la eva-

Tyler afirmaba que una evaluación es el proceso mediante el cual se determina hasta qué punto los objetivos educativos han sido realmente alcanzados mediante el programa de currículos y enseñanza_ ¿Qué deficiencias percibe usted en un método como éste? ¿Qué sugiere para perfeccionarlo? 3. El apéndice de Metfessel y Michael, ¿resulta válido como guía para la valoración de técnicas? Discuta los procedimientos que pueden adoptarse para utilizar ciertas valoraciones críticas en cada una de las cinco categorías, con el fin de servir de ayuda a la evaluación del logro de los objetivos del programa. 4.

Tests estandarizados de rendimiento y de aptitudes; autoinventarios estandarizados que proporcionen medidas de las actitudes; escalas de valor estandarizadas para juzgar la calidad de los productos. Técnica de las frases incompletas; cuestionarios; valoraciones de la percepción del autoconcepto (diferencial semántico, por ejemplo); valoraciones autoevaluativas.

d)

Frecuencia de la asistencia a actividades relacionadas con la escuela; entrevistas con el personal de la escuela, requeridas por los padres o por iniciativa del propio personal; frecuencia de la demanda de información y de las respuestas de los padres a las cartas o informes.

2.

Indicadores del comportamiento de la comunidad con relación a la evaluación de los programas -escolares.

Apuntes anecdóticos; asistencia; historias de casos; actividades extraaca. démicas; media de las calificaciones; referencias del maestro al consejero; demostración de habilidades.

109

En este apartado se proporcionan cuatro preguntas a las que no se da ninguna respuesta. Las preguntas p~ed~n. ser utilizadas como temas para una discusión de grupo o para tareas IndIVIduales. Cada pregunta puede ser respondida en dos niveles: primero, respecto al material contenido en es~a unida~, y segundo, respecto a referencias más amplias relacionadas con la 11sta de 11bros y artículos que cierra la unidad. 1.

Indicadores de inmovilidad o cambio en los comportamientos cognitivos y afectivos de los profesores y demás personal de la escuela con relación a la evaluación de los programas escolares.

c)

(

I

Preguntas sin respuesta

Las respuestas al ejercicio 2 pueden incluir puntos como los siguientes, de acuerdo con' las áreas de clasificación expuestas más arriba:

(

e)

,!

( (


í

La comparación de los datos analizados con los objetivos de compor. tamiento definidos.

EJERCICIO 2. Suponga que antes de empezar la evaluación del progra. ma u objetivo seleccionado en el ejercicio 1, decide investigar valoraciones basadas en múltiples criterios que pueden utilizarse como ayuda en la evalua. ción. Seleccione dos o tres de estos criterios (que sean apropiados para su tema de evaluación) según cada una de las siguientes áreas de clasificación sugeridas por Metfessel y Michael.

:(

(

-------.

:'l"'/ ........•........


Tyler proponía que cada profesor utilizara su propio método para la evaluación de currículos. ¿Piensa usted también así? (En su respuesta, puede usted citar puntos en los que el profesor puede necesitar Ia ayuda de otros.)


I

j

D. R. 1965. Stating objectives appropriately for program, for curriculum, and for instructional materials development, Journal o/ Teacher Education, 12, págs. 83-92.

KRATHWOHL,

N. S. y MrcHAEL, W. B. 1967. A paradigm involving multiple criterion measures for the evaluation of the effectiveness of school programs, Educational and Psychological Measurement, 27, págs. 931-943. MICHAEL, W. B. y METFESSEL, N. S. 1967. A paradigm for developing valid measurable objectives in the evaluarion of educational programs in colleges and universities, Educational and Psychological Measurement, 27, págs. 373-383. METFESSEL,

1

I

I I

1

!

~L

'--,~

1') 110

t


'.) SMITH, E. R. Y TYLER, R. W. 1942. Appraising and recording student progress, Nueva York, Harper & Row. STUFFLEBEAM,D. L.; FOLEY, W. J.; GEPHART, W. J.; GUBA, E. G.; HAMMoND, R. L.; MERRIMAN, H. O. y PROVUS, M. M. 1971. Educational evaluation and decision making in education, Itasca, IlI., Peacock. TYLER, 1. 1. Y KLEIN, M. F. 1967. Recommendatíons for currículum and instruetional materials, Los Angeles, Universidad de California, Los Angeles (ciclostilado). . TYLER, R. W. Í942. General statement on evaluation, Joumal o/ Educational Research, 35, págs. 492-501. -. 1950. Basic principles o/ curriculum and instruction, Chicago, University of Chicago Press. -. 1953. Sorne persistent questions on the defining of objectives. En C. M. LINDVALL (comp.), De/ining educational objectives, Pittsburgh, University of Pittsburgh Press. -.1956. The objeetives and plans for a national assessment of educational progress, ]oumal o/ Educational Measurement, 3, págs. 1-10. TYLER, R.; GAGNE, R; y SCRIVEN, M. 1967. Perspectives of curriculum evalua. tion, Chieago, 'Rand MeNally. WORTHEN, B.R. y SANDERS,]. R. 1973. Educational evaluation: Theory and practice, Worthington; Ohio, Charles A. Jones.

.")

4

EDW ARD A. SUCHMAN y EL METODO CIENTIFICO DE EVALUACION

') ,<) .•. ') ,) ') ') ,) ',,") :)

J Edward Such111-an,científico investigador que, creía firmemente en la necesidad de basar principalmente las conclusiones en evidencias científicas, consideraba que la evaluación debía disponer de la lógica del método científico. Su trabajo y sus obras) que se deSarrollaron en la década de los sesenta, insistían, de cualquier forma, en la necesidad de mejorar los programas con relación a su práctica. Por esta razón) sugería criterios específicos para perfeccionar el éxito de los programas. Sus estudios en el campo de las ciencias sociales, particularmente los referidos a la salud pública) le hicieron reconocer que la evaluación científica tiene algunas limitaciones prácticas. Además) afirmaba que los investigadores eváluativos) al exponer las consecuencias cleseadas y las no deseadas) debían tener en cuenta algunos v~lores rélevantes) espe~ialmenle los que estaban en. conflicto. . La contribución de Suchman a la especialidad, Evaluative Research: PrincipIes and Practice in Public Service and Social Action Programs (1967), dejaba claro que él consideraba que un evaluador debe utilizar todo tipo de técnicas investigativas que sean útiles y apropiadas a las circunstancias y necesidades de un estudio evaluativo determinado. Aunque Suchman creía que el estudio ideal debía coincidir con el modelo experimental clásico) también afirmaba que) en realidad, los p'1'Oyectosin vestigativos de evaluación utilizan comúnmente alguna variación o adaptación de este modelo. En un sentido amplio, la formulación de los objetivos y la planificación de un estudio investigativo de evaluación dependerá de quién dirija el estudio y de la utilización anticipada que se haga de los resultados de) los mismos. Edward SUCHMAN <:reía que la evaluación, como todas debía basarse en la lógica del método científico. Pensaba

las investigaciones, que un evaluador

~) .)

t)

/J ) ,) l)

,) .) f)

(J ) ,) )

cJ ()

C) () r-J

(:J

O

, (

112

I Evaluación sistemática Suchman

f ( ( (

( ( ( (

(

( ( ( ( (

( ( (

debía utilizar cualquier técnica investigativa que resultara útil y factible, de acuerdo con las circunstancias de cada evaluación. Suchman, que alcanzó el puesto de profesor de sociología en la Universidad de Pittsburgh (antes de su prematura muerte en 1971), trabajó intensamente en el campo de las ciencias sociales, particularmente en salud pública. Sus publicaciones se centraron en el área de la investigación social, y su principal contribución a la evaluación es su interesante y documentado libro Evaluative Research: Principles and Practice in Public Service and Social Action Programs (1967). . Suchnian no estaba solo en su creencia de que, aunque los evaluadores son básicamente investigadores, deben llegar a un equilibrio ehtre el rigor' del método y la situación en la que deben actuar. Los. primeros autores que propugnaron un método similar para la metodología evaluativa fueron KLINEBERG (1955), JAMES (1958), HERZOG (1959) y FLECK (1961). Suchman distinguía entre evaluación e investigación evaluativa. A la primera se refería por lo general como un «proceso de emitir juicios de vabr», mientras que consideraba que la investigación evaluativa consistía en los «procedimientos de recopilación y análisis de datos que aumentan la posibilidad de demostrar, más que de asegurar, el valor de alguna actividad social». Cuando hablaba del proceso evaluativo, proponía un método científico. Veía la evaluación como un proceso social continuo, que suponía intrínsecamente una combinación de suposiciones básicas acerca de la actividad que estaba siendo evaluada y de los valores personales de quienes participaban en el estudio, incluyendo al evaluador. Insistía en que la evaluación debe necesariamente convertirse en un proceso científico que dé cuenta de esta subjetividad intrínseca, ya que no puede ser eliminada.

Como ya se ha afirmado, Suchman considera que la evaluación es un proceso científico. De acuerdo con esta postura, no creía que la especialidad evaluativa tuviera una metodología distinta de la del método científico. Por lo tanto, conceptualizó la investigación evaluativa como «la primera y prin. Gipal investigación, que debe acercarse cuanto le sea posible a las normas comúnmente aceptadas de la metodología investigativa». Los mismos procedimientos que se utilizaban para descubrir el conocimiento podían ser utilizados para evaluar el nivel de éxito obtenido en la aplicación de este conocimiento. Suchman defendía firmemente la concepción de que, adoptando el método científico, un evaluador conseguirá resultados más objetivos y de una exactitud y validez fácilmente discernibles. Suchman afirmaba que la investigación básica tenía un propósito diferente al de la investigación evaluativa. La investigación básica es el descubrimiento del conocimiento; la acción administrativa no es una consecuencia necesaria. En cambio, la investigación evaluativa es investigación aplicada, y su propósito es determinar hasta qué punto un programa específico ha conseguido el resultado deseado. Los resultados siempre serán utilizados por el administrador para tomar decisiones acerca del futuro del programa. Conservando en la mente el papel dominante del criterio administrativo a la hora de determinar la validez del estudio llevado a cabo, el evaluador necesita estar continuamente al tanto de la potencial utilidad de los resultados. Este énfasis en la necesidad de la utilidad de los resultados puede convertirse, en opinión de Suchman, en un problema acucian te para el evaluador. A causa de la fuerza de los intereses creados, el administrador del programa intentará controlar la evaluación, por 10 menos hasta el punto de definir los objetivos del programa que va a ser evaluado. Aún mucho más que el investigador básico, el evaluador puede perder el control de la situación investigativa: Así, no son los conceptos investigativos, por sí mismos, los que dificultan

Objetivos Los objetivos de esta unidad son caracterizar los que Suchman consideraba los tres aspectos principales de la evaluación: 1.

Aspectos conceptuales, que incluyen los propósitos y princir 'os de la evaluación, los valores y el proceso evaluativo, las suposiciones de cara a los estudios evaluativos, los tipos de evaluación y las categorías de la evaluación.

2.

El aspecto metodológico, que incluye un enfrentamiento entre la investigación evaluativa y la no evaluativa, aproximaciones metodológicas a la evaluación, variaciones en la planificación investigativa de la evaluación, principios de la planificación investigativa de la evaluación y valoración de los efectos (subrayando la exactitud y la validez). El aspecto administrativo, que incluye la ciencia evaluativa y administrativa, la administración de los estudios evaluativos (algunas áreas pro-

( ( (

( ( (

3.

( (

, (

*ES

113

Aspectos conceptuales de la evaluación

(

(

t

Estos objetivos pueden ser alcanzados mediante la lectura del material contenido en esta unidad. De cualquier manera, p~ede obte~erse una ca mensión más completa de las teorías y la filosofIa evaluatIva de Edward ~~chman leyendo sus trabajos originales, que aparecen relacionados al final de esta unidad. Los problemas que se incluyen deben responderse según el método evaluativo de Suchman. Es aconsejable que no se aborden estos problemas hasta que, por lo menos, no se conozca profundamente el material.

( (

el método científico de evaluación

blemáticas) y los compromisos para cumplir las obligaciones administrativas.

(

(

y

•••••••••

')

!""""'""'".

) 114

I

Evaluación

Suchman

sistemática

los estudios evaluátivos, «sino más bien los problemas prácticos derivados de asumir estos principios ante las consideraciones administrativas». Cuando se preguntaba si la investigación evaluativa estaba preparada para desempeñar un papel más importante, Suchman concluía diciendo que no. El análisis sistemático de los principios teóricos, metodológicos y administra_ tivos que subyacían en los objetivos y procedimientos del evaluador, se hacía necesario, antes de que pudieran darse, con confianza, positivos y significativos pasos hacia adelante. Ahora hablaremos de algunos aspectos de las concepciones de Suchman acerca de estos tres aspectos (relacionados entre sí) de la evaluación. Propósitos

y principios

de la evaluación

Suchman asumía los propósitos evaluativos expuestos por BIGMAN(1961): 1. 2. 3. 4. 5. 6.

Describir .si los objetivos han sido alcanzados y de qué manera. Determinar las razones de cada uno de los éxitos y fracasos. Descubrir los principios que subyacen en un programa que ha tenido éxito. Dirigir el curso de los experimentos mediante técnicas que aumenten su efectividad. Sentar las bases de una futura investigación sobre las razones del relativo éxito de técnicas alternativas. Redefinir los medios que hay que utilizar para alcanzar los objetivos, así como incluso las submetas, a la luz de lós descubrimientos de la investigación.

Estos propósitos, en opinión de Suchman, sugieren una relación intrínseca entre la planificación del programa y su desarrollo, por una parte, y la evaluación, por otra. Los medios para alcanzar los propósitos de Bigman, a saber, la investigación educativa, deben proporcionar la información básica para planificar y, si es necesario, replanificar los programas. Así como la investigación tradicional suele conducir hacia una comprensión más amplia de los procesos básicos, la investigación evaluativa debe «conducir a una mayor comprensión de los procesos aplicados o administrativos». Suchman también afirmaba que los programas en acción estaban muy influidos por los procesos administrativos. Un principio fuertemente defendido por Suchman era aquel según el cual situaciones distintas necesitan distintos métodos evaluativos, incluyendo distintos métodos y criterios técnicos para valorar el éxito obtenido en la consecución de los objetivos deseados. Basándose en la suposición de que un estudio evaluativo puede tomar formas distintas y en que la función principal de muchos estudios es ayudar en la planificación, desarrollo y operatividad de los

,.¡ I

lb

y el método

científico

de evaluación

I

115

rogramas, Suchman llegó a distinguir, como ya se ha dicho, entre evaluación ~ investigación evaluativa. La primera designa el proceso de juzgar el mérito de alguna actividad, sin hacer caso del método empleado. La investigación evaluativa, por su parte, designa la utilización específica del método científico on el propósito de realizar una evaluación. En otras palabras, la evaluación cuede ser considerada como una meta, mientras que la investigación evaluafiva puede ser considerada como un medio concreto de alcanzar esa meta. Aunque Suchman consideraba que la utiliZación de la metodología cientí. fica necesitaba un énfasis especial, no excluía la utilización de métodos no científicos. Reconocía que en la planificación y realización del programa, muchas cuestiones acerca de la evaluación podían ser respondidas sin necesidad de investigación. Sin embargo, mantenía que si los requisitos básicos de la investigación evaluativa podían ser satisfechos -esto es, las suposiciones subyacentes en los objetivos examinados, el desarrollo de criterios valorables específicamente relacionados con los objetivos y el control de una situación estableeida-, los resultados serían conclusiones basadas en investigaciones convincentes, y no sólo en juicios subjetivos.

) ') ')

., ')

I I ') ')

) ')

)

) )

Los valores y el proceso evaluativo

) Una precondición de cualquier estudio evaluativo, según Suchman, es la presencia de alguna actividad cuyos objetivos tengan algún tipo de valor. Define el valor como «cualquier aspecto de una situación, actividad u objeto que tenga un interés particular, como ser bueno, malo, deseable, indeseable o cosas por el estilo». Los valores, por lo tanto, pueden estar construidos como modos de organizar la actividad humana basados en principios que determinan tanto las metas como el perfeccionamiento de los programas, así como el medio de alcanzar esas metas. Suchman consideraba que el proceso evaluativo parte de, y regresa a, la formación de los valores, tal como muestra la figura 4-1. ~

Formación del valor

Valorar el efecto

-------',Elección

de esta operación

(evaluación del programa)

) ) ) ,)

) ) (

) )

de la meta (objetivos)

1

)

)

Operar ton las actividades que conduzcan a la meta (funcionamiento~ del programa) ~

/valoración

I . . de a meta (cntenos)

)

,) Identificación de las actividades que conduzcan a la meta (planificacióndel programa)

() I )

FIGURA4-1.

El proceso evaluativo

) ) )

'"\(

,..-

..

i 116

~ ~ I

"

(

.(

~

.~ ( (

\,

1

"

"

~ )~.;

(, ( ( {

a ~

(

t (

~ ~ ~ ~ ( .~

.~

~ ~ I~

~

.~ .,

I


La evaluación empieza con un valor concreto (ya sea explícito o implícito) luego procede a definir la meta, esto es, a hacer un.a selección entre todas ~ metas alternativas posibles. Cada una d~ ellas comp:te ~on las demás en recuro sos y esfuerzo. Seguidamente, se seleccIOnan los c~l,tenos par~ v~orar la COn. secución de la meta; la ~~turaleza d; .la evaluaclOn d~ter~lUar~, el tipo de valoración que se debe utilizar. La proXlffia etap~ es la ldentificaclOn de algún tipo de actividad para alcanzar la meta (el tratamIento) y la operacionalizac:i6n de esta actividad. En algún punto del proceso, hay que valorar también esta operación. Esta etapa incluye la determinación del grado en que el programa operativo ha alcanzado el objetivo predeterminado. Finalmente, basándose en esta evaluación, se emite un juicio acerca de si esta actividad dirigida hacia la meta ha resultado útil. El acto de juzgar devuelve la actividad a la formación del valor. El concepto de Suchman acerca del movimiento cíclico del proceso evaluativo enfatiza la fuerte interrelación existente entre la evaluación y la naturaleza, basada en el valor de la planificación y la operación del programa. Como resultado, siempre existe la posibilidad de conflicto de valores entre el administrador del programa y el evaluador. Este problema será discutido más tarde en esta misma unidad. En términos generales, puede decirse que los valores desempeñan un amplio papel en la determinación de los objetivos de los programas de servicio social (como los de naturaleza educativa) y que el proceso evaluativo que presenta consecuencias deseadas e indeseadas de estos programas debe presentar valores sociales, especialmente valores conflictivos.

Las presuposiciones

en los estudios evaluativos

La principal suposición de Schuman acerca de los estudios evaluativos es que cada programa tiene algún valor con algún propósito. Así, la característica más identificable de la investigación evaluativa «es la presencia de alguna meta u objetivo cuyo nivel de consecución constituye el principal centro de atención del problema investigativo». Cuando ha sido expuesta una afirmación clara acerca del objetivo del programa que va a ser evaluado, la evaluación puede ser vista como un estudio del cambio. El programa que debe ser evaluado constituye la variable causal o independiente, y el cambio deseado es similar al efecto o variable dependien. te. Caracterizando así un estudio evaluativo, Suchman afirmaba que el proyecto debía ser formulado como series de hipótesis que afirmen que «las actividades A, B y C producirán los resultados X, Y y Z». Los objetivos y las presuposiciones de un estudio evaluativo acaban fuer. temente interrelacionadas cuando se necesita una respuesta, antes de que empiece el estudio, para las siguientes y difíciles preguntas: ¿Qué tipo de cam. bios se desea? ¿Qué medios deben utilizarse para efectuar este cambio? ¿Qué

Suchman y el método científico de evaluación

I

117

., el cambio en reconocible? Antes de responder a estas pre. convertltan 1 . . d al dor debe ser capaz de diagnosticar a presenCla o ausenCIa e al guntas, el ev ua ocial y su correspondiente sistema de vares, y d e d efini r 1as toblema s . d di ., un P . dicativas del progreso en la mejora e esa con ClOno lIletas 10 pone seis preguntas que deben ser respondidas cuando se forSuchman pro , . l' 1 ' . b' tivos de un programa con proposItos eva uatlvos y, c aro esta, lIlulen los o Je . di la planificación del propIO estu o:

sigt1°S

Cuál es la naturaleza del contenido del objetivo (P?r ejemplo, cambios 1. ~ los conocimientos, las actitudes y/o elcomrx:>rtamlento)? 2. ¿Quién es el destinatario del programa (por ejemplo, grupos grandes o pequeños) ? 1 ¿Cuándo debe producirse el .c~mbio deseado (metas a corto o largo pazo, 3. o programas cíclicos y re~tltlvoS!? . . 10 objetivos son unitartos o multrples (por ejemplo, los programas son 4. ¿'~ares para todos los usuarios o diferentes para distintos grupos)? 5. ~ICuáles la magnitud de.seada del efecto (por ejemplo, resultados concen-

6.

trados o dispersos)? ., , 'Cómo es el objetivo que debe ser alcanzado (por ejemplo, cooperaClOn <: voluntaria o sanciones obligatorias)?

Muchas de las respuestas que pueden darse a estas preguntas requieren xamen de las presuposiciones subyacentes en los objetivos fijados. Suchman e un d d .. cree que la obligación de un evalu~dor es poner en , u a. estas presupoSICIOnes, si es necesario, puesto que solo entonces podra aplicarse de verdad el método científico al proceso evaluativo. Clasificó las presuposiciones en dos clases: presuposiciones de valor y presuposiciones de validez. Las presuposiciones de valor pert:necen al sistema de creencias que determinan qué es «bueno» para una SOCIedad o para una parte de esa sociedad. Por ejemplo, un nuevo pro~rama educativo pue~e ~er juzgado favorable o desfavorablemente por los distmtos grupos de un dIstnto escolar. La pregunta a la que debe responder el evaluador antes de investigar el programa es: ¿qué se considera un éxito, y desde el punto de vista de quién? Las presuposiciones de validez están relacionadas específicamente con los objetivos del programa. Estas presuposiciones, por ejemplo, son la base de la creencia de los educadores acerca de que los primeros programas elementales deben estar en consonancia con las influencias del hogar de cada niño. Suchman insistía en que las respuestas a todas las preguntas sobre la validez nunca podían darse antes del inicio de un programa. El administrador debe atender a su propia experiencia y habilidad para desarrollar programas prácticos cuyas presuposiciones aparezcan claramente fijadas. Entonces, la tarea del evaluador consiste en demostrar o refutar el significado de estas presuposiciones.

--

J ,

118

I


~

"

Suchman' y el método científico de evaluación

~

Tipos de evaluación

"

Siguiendo k HERZOG (1959), Suchman hablaba de tres tipos de estudios evaluativos. 1:1 evaluación última se refiere a la determinación del éxito global de un programa según los objetivos que se había fijado. La investigación preevaluativa trata de los problemas intermedios (por ejemplo, el desarrollo de explicaciones válidas y exactas acerca del problema, la definición de las metas y el perfeccionamiento de las técnicas) que deben ser resueltos antes de abor. dar la evaluación final. La evaluación a corto plazo busca información especí. fica acerca de procedimientos concretos en términos de utilidad inmediata. Con cualquier tipo de evaluación que se utilice, siempre se tiende, según Suchman, a idealizar los objetivos del estudio. Sin despreciar la obvia impar. tancia de los idealizados objetivos finales, Suchman afirma que son los objetivos prácticos e inmediatos los que más a menudo representan el paso del propósito al programa. Recomendaba que la evaluación de un programa debía consistir esencialmente en la valoración del éxito obtenido en la consecución de estos objetivos prácticos. Suchman menciona un importante error que realizan los evaluadores cuan. do pasan de la evaluación global de un programa a una evaluación segmentada de cada una de sus partes. Ocurre demasiado a menudo que se evalúan los componentes de un programa con criterios de éxito final más que con crite. rios intermedios que resulten relevantes. Por lo tanto, debe existir una cadena acumulativa de objetivos que vaya desde e! objetivo más inmediatamente prác. tico hasta la última (y quizás idealizada) meta. Además, el conocimiento nunca se alcanza del todo, y deben existir vacíos entre los eslabones causa.efecto de esta cadena, que deben ser rellenados sólo con presuposiciones relativas a la validez de estas etapas. Así, las presuposiciones de validez acaban siendo «el cimiento indispensable que hace cuajar la jerarquía de los objetivos». ' Categorías de la evaluación Además de modificar los niveles de los objetivos, Suchman consideraba que la investigación evaluativa debía ser entendida según categorías de efecto distintas. Estas categorías representan varios criterios de éxito (o fracaso) con los que puede juzgarse un programa. El proponía cinco categorías: "

1. Esfuerzo. Las evaluaciones de esta categoría presentan, como criterio de

2.

éxito, la calidad y la cantidad de las actividades producidas durante el programa. Es una valoración de lo que se hace y no de! producto. Indica, por lo menos, que se está haciendo algo para solucionar un problema. Traba;o. Los criterios de esta área valoran más los resultados del esfuerzo que el esfuerzo por sí mismo.

;.

\)

I

119

~ I ')

Suficiencia del traba;o. Este crIterio de éxito se refiere al grado en que el

trabajo efectuado coincide, PQr comparación, con todas las necesidades expuestas (de acuerdo con objetivos definidos). 4. Eficiencia. La evaluación, en esta categoría, plantea la pregunta: ¿es la eficiencia la capacidad de un individuo, organización, facilidad, operación o actividad, para producir resultados en proporción al esfuerzo realizado? 5. Proceso. El propósito de esta categoría es investigar explicaciones básicas acerca de las razones que conducen a los resultados. Suchman apuntaba cuatro dimensiones para e! análisis de un proceso: a) los atributos del programa, b) la gen te a la que afecta el programa, c) e! con texto en el que se desarrolla el programa y d) los diferentes tipos de efectos producidos por e! programa (por ejemplo, efectos múltiples o unitarios y duración de los efectos).

~ ~ ~ I

) ') ") ')

) )

En resumen, al discutir los tipos y categorías de la evaluación, Suchman apuntaba e! proceso básico que debía seguirse a la hora de dirigir un estudio evaluativo. Este proceso supone objetivos fijos en términos de finalidad, metas intermedias o inmediatas, el examen de las presuposiciones y la formulación de criterios de esfuerzo, trabajo, suficiencia, eficiencia y proceso.

)

) ) ) )

Los aspectos metodológicos de la evaluación

) )

Evaluación contra investigación

no evaluativa

?)

Suchman delineó claramente las diferencias existentes entre los objetivos y las facultades investigativas de la evaluación, oponiéndolas a las de la investigación no evaluativa (esto es, básica o pura). Se dio cuenta de que la dife. rencia n? estaba en que una fuera acertada y la otra equivocada, sino en una «compleja mezcla de distintos valores, propósitos y recursos». La investigación evaluativa es un tipo especial de investigación aplicada cuya meta, a diferencia de la investigación no evaluativa, no es el descubri. miento del conocimiento, sino valorar la aplicación de este conocimiento. Poniendo principalmente el énfasis en la utilidad, la investigación evaluativa d::?e proporcionar información para la planificación de! programa, su realizaClOny su desarrollo. La investigación evaluativa asume también las particulares caracterí~ticas de la investigación aplicada, que permite que las predicciones se conVIertan en un resultado de la investigación. Las recomendaciones q~e .se hacen en los informes evaluativos son, por otra parte, ejemplos de pre. dicclOnes. Comparándolo con la investigación no evaluativa, e! estudi~~..i.¿ti~I~'b. contiene una amplia serie de variables sobre las que el evaluador;tíén~,

) ) ) )

) ) ) ,

) )

)

mui:

)

~"", ..•.•. -••" .,' ..•• f .•¡"".,~.~"'" ~'

~;':'''''-

.':.."-'C'"

)

~ ( (

120



I

121

(

( ( (

( ( ( (

(. (

1" (

poco, o ningún, control. Suchman insistía en que en la investigación evaluati. va, las variables que se pueden observar y valorar son los fenómenos de interés; el programa que se va realizando tiene como meta el cambio de los va. lores de estas valoraciones. Mientras el concepto subyacente es de importancia primordial en la investigación básica, no ocurre lo mismo en la investigación aplicada, una de cuyas formas es la investigación evaluativa. Suchman afirmaba que la evaluación de un programa puede ser muy poco generalizable, puesto que la evaluación es aplicable únicamente al programa que está siendo evaluado y a sus ramificaciones contextuales. Así pues, existe una razón de por qué tantos estudios evaluativos aparecen repetitivos (siempre existe la incertidumbre acerca de si un programa que resulta efectivo en una situación lo será también en otra). Además, cuando la solución del problema que es el objetivo de la investigación evaluativa parece ser «estimular la toma de decisiones administrativas respecto a algunas necesidades inmediatas y específicas», las futuras dificultades referentes a su validez externa se presentan por sí mismas ..

( ( ( ( ( (

l ( (

(

I

• (

~

• •

(

{

t

•

Aproximaciones

metodológicas

a la evaluación

Las diferencias existentes entre los estudios evaluativos y los no evaluativos, según Suchman, se reflejan en la forma que toma la exposición del problema. Mientras la investigación pura (investigación no evaluativa) pregunta si A está relacionado con B y comprueba esta relación experimentalmente (bajo condiciones controladas), la investigación aplicada (investigación evaluativa) pregunta si A intenta efectivamente cambiar B y procura responder a esta pregunta empíricamente, manipulando A y valorando su efecto sobre B. En la investigación no evaluativa, es muy importante el análisis del proceso mediante el cual A se relaciona con B, pero en la investigación evaluativa «tiene relativamente poca importancia el hecho de comprender por qué A produce B». Los lectores deben advertir que, al hacer esta afirmación, Suchman se opone a un punto de vista que expondremos dentro de poco: el que afirma que la evaluación debe poner el énfasis en el proceso que se desarrolla entre el inicio del programa y sus conclusiones. Las diferencias, además, entre la investigación evaluativa y la no evaluati. va no son absolutas, pero puede decirse que existen siempre. Suchman pensaba que un evaluador debe, por lo tanto, atender tanto como le sea posible en la práctica a las reglas de la investigación científica, pero el evaluador debe exponer y justificar dónde y cuándo estas reglas deben adaptarse a la realidad. De cualquier forma, puede argüirse que, si A es falsamente interpretado como causa de B, puede desarrollarse un costoso programa basado en A, sólo para descubrir que no se produce el efecto deseado debido a un cambio en la «verdadera» causa, que puede estar mínimamente relacionada con A. Such.

ecomendaba que para descubrir una causa falsa, el plan de la evaluación

r roan 11 l'" dI debe incluir un análisis del proceso que s.e desarro a en:re e .1ll1C~~e proconclusiones Este método eXIge un plan de lllvestIgaclOn evaluagrama y sus '. . el'd . que se convierta en <
Variaciones en el ptan de investigación

evaluativa

Suchman afirmaba que la investigación evaluativa no tenía un~ ~e~odolo, propia' al tratarse de una investigación, se atiene a los prtnC1p10S del gla , bl P 1 ili' .ed d de método científico tanto como le es posi e. or o tant?, ut z~ u~a var.I ~ nocidos planes de investigación y las correspond1entes tecmcas CIentíficas recO , . para la recopilación y el análisis de datos. La pregu~ta ~as l~p~r:ante que debe responderse (como ya previó Suchman) no es Sl la lllves~lgaclOn evaluativa es científica sino hasta qué punto la investigación evaluatIva puede hacer el mejor uso po~ible de los planes y técnicas de investigación disponibles. Dando mucha importancia a la relación entre las causas y efectos de un programa, por una parte, y la plani~cación por otra, Suchman propuso un modelo que demuestra que la secuenCIa de causas ~r,opuesta. p.ara una evaluación se convierte en uno más de los campos de aCClOny actIVIdades que con. ducen a las conclusiones. El diagrama de la figura 4-2 muestra ese mod:lo: un sistema abierto, un modelo naturalista y multicausal, que se opone al Slstema cerrado de la investigación no evaluativa.

:'~ ~::::::

Acontecimientos que influyen

Variable independiente

Precondiciones

~::~

I-p-ro-g-ram-a-A-] ~

, ./

•

~b

FIGURA

4.2.

b, ::/

"

Variable dependiente

Consecuencias

¿::

I--E-fec-t-o-B-I---.. ~c"

Concepto ntulticausal de evaluación

c,

122

I



Este modelo es muy importante para la planificación de los estudios d !nve~tigación evaluativa. Por ejemplo, indica que los programas sociales son~ meVItablemente, evaluados en el contexto de otros programas o actividad q.ue afectan al objeto en cuestión. Así, el plan de estudio debe tomar preca~~ ClOnes ~ara .tener en ~u~nta las precondiciones y los acontecimientos que pueden mflUIr en la actlVIdad del programa inicial. Los efectos, tanto los deseados como los indeseados, son, probablemente, consecuencia de la falta de un ~ontrol experimental, algo inherente a cualquier teoría. El plan debe prevemr, de nuevo, la investigación de estos efectos.

Principios

de planificación

de la investigación

evaluativa

Suchman hizo una lista de principios que deben ser observados al trazar el plan de un estudio evaluativo. Los principales son éstos:

1. Un buen .plan e~ aquel que resulta ser el más apropiado para el propósito 2. 3. 4.

del estudlO; no Importa tanto si es o no es científico. No hay nada como un plan correcto y simple; las hipótesis pueden estudiarse por medio de diferentes métodos y utilizando diversos planes. Todo plan de investigación representa un compromiso dietado por muchas consideraciones prácticas. Un plan de investigación evaluativa no es algo muy específico que deba ser seguido sin desviación alguna, sino una serie de indicaciones para asegurar que se va en la buena dirección.

En el capítulo 6 de su libro de 1967, SUCHMANproporciona detalles acerca ~e posibles variaciones que pueden darse en el plan de investigación evaluatlva. L?s lectores interesados quizá deseen investigar estos planes. Se encontraran ~on que S~c~man creía que el estudio ideal debía adaptarse al model~ exp~nm.e?tal claslc?, afir~ando también que, en realidad, los proyectos de .1?VeStlgaclOnevaluatlva utlllzan, por lo general, alguna variación o adaptaclOn de este modelo. En un sentido amplio la formulación de los objetivos y el pla~ de un estudio de investigación evaluativa depende de quién dirija el est~dl.o de la utilización anticipada que se haga de las conclusiones. Suchman mSlstla en que, mientras planifica un estudio, un evaluador debe saber que las consideraciones sobre la validez son cruciales. .

'!

La valoración

de los efectos

. De acuerdo con .Suchman, la. valoración de los efectos de un programa re- ;' qUIere que se especIfiquen las cuatro principales categorías de variables:

I

123

1. Partes integrantes o procesos del programa. 2. Población estimada y grupos a los que realmente concierne. 3. Condiciones situacionales en las que se desarrolla el programa. 4., Efectos diferenciales del programa. Suchman afirmaba que la determinación de la exactitud y la validez de los criterios de efectividad de estas variables origina ciertos problemas. En la mayor parte de ellos, el evaluador no debe valorar directamente el fenómeno que está siendo estudiado, sino las clasificaciones de esos fenómenos. Entonces aparecen dos problemas obvios. Primero, ¿cómo debe el evaluador tomar una decisión acerca de los indicadores de los criterios que debe emplear para alcanzar los objetivos del programa? Y segundo, ¿cómo debe el evaluador seleccionar, de entre todos los posibles indicadores, aquellos que pueden ser utilizados para un propósito concreto? Al exponer las soluciones a estos problemas, Suchman comenta aspectos de los conceptos metodológicos de fiabilidad y validez con gran amplitud. En particular, subraya que los evaluadores deben estar enterados de, y esforzarse por controlar, las principales causas de variación asistemática en la investigación evaluativa: 1. Fiabilidad del sujeto: actitudes y comportamiento afectados por el estado de ánimo, la fatiga, etc. 2. Fiabilidad del observador: factores personales que influyen en la interpretación del tema. 3. Fiabilidad de la situación: condiciones de la valoración que producen cambios en los resultados, que no reflejan el «verdadero» cambio que se ha producido. 4. Fiabilidad del instrumento: todo lo anterior (combinado) o aspectos específicos del propio instrumento (por ejemplo, preguntas mal redactadas) afectan a la fiabilidad. 5. Fiabilidad del proceso: enumerar los errores y demás cosas que pueden fortuitamente reducir la fiabilidad. , La validez presenta muchos más problemas que la fiabilidad, porque no solo se refiere a valoraciones específicas, sino también al significado de todo el proceso evaluativo. La validez de un estudio evaluativo se refiere a la valide~ de sus valoraciones específicas, así como a la teoría subyacente a las hipótesIS que relacionan las actividades evaluativas con su objetivo. Exponemos a continuación las causas de los errores referentes a la validez en los estudios evaluativos: 1. Validez proposicional: tas o inadecuadas.

la utilización de presuposiciones o teorías incorrec-

) i

) )

) ~

..) I

1 i

J)

-_._-----..._-~'"~.•.

í ~

~: fe

124

(,

, ~-

t y

r

2. 3. 4.

(

5.

( f.

6.

r

t

7.

I


Validez del instrumento: la utilización de clasilicaciones operacionalmen_ te irrelevantes. Validez del muestreo: falta de representatividad de la población escogida. Validez del observador (evaluador): introducción de errores importantes basados en inclinaciones personales o nociones preconcebidas. Validez del sujeto: hábitos y predisposiciones que conducen a errores importantes. Validez de la administración: las condiciones del estudio (por ejemplo, los métodos de recopilación de datos) constituyen una causa de invalidez. Validez del análisis: errores deliberados o involuntarios conducen a la invalidez.

(

"f~ (" ( ( ~

«

~ ~

t

Los efectos diferenciales de un programa abarcan lo que Suchman llama efectos inesperados o involuntarios. Los fenóme;nos sociales son tan complejos e interrelacionados que resulta imposible cambiar uno de sus aspectos sin producir una serie de cambios en cadena, 10 que Suchman llama efectos secundarios. Estos efectos secundarios de un programa pueden ser particularmente fastidiosos cuando el programa está pensado para ser ampliamente difundido. Los programas federales de educación pertenecen a esta categoría. El evaluador y el administrador del programa deben, por lo tanto, ser cautos y no aceptar fácilmente los efectos secundarios positivos como justificación de la consecución de los objetivos previamente fijados de un programa; las decisiones referentes a la generalización deben hacerse según esta base. De cualquier manera, es también importante comprender que la investigación es un proceso de aprendizaje y que los efectos secundarios (deseados o indeseados) y el análisis de estos efectos, son parte integrante del proceso.

~

( )

l

, ~

)

t' l.'

(

í

1

t

~ ¡.

t

La evaluación y la administración del programa Como ya se ha dicho al principio, Suchman consideraba que el propósito de una evaluación era, por lo general, la utilidad. Su principal objetivo era aumentar la efectividad en la administración del programa. Relacionado con este objetivo está el concepto' según el cual la administración de un estudio evaluativo es una forma de actividad programática; consecuentemente, la planificación y ejecución de los estudios evaluativos requieren recursos organizativos. Suchman reconocía la existencia de una intensa relación entre la investigación evaluativa, por una parte, y la teoría y la práctica administrativas, por otra.


I

125

La evaluación y la ciencia administrativa La investigación evaluativa puede desafiar a la práctica tradicional y llevar cabo la útil función de hacer más eficientes estas actividades. Los estudios a aluativos de programas anteriores cumplen la importante función de sacar ~vla luz esfuerzos improductivos: Con relación a los programas actuales, la investigación evaluativa puede valorar el progreso experimentad~ y ad~lan,t~r nuevas estrategias. Y en 10 que se refiere a programas futuros, la mvestlgaclOn evaluativa puede prestar una gran contribución a la definición de objetivos. Suchman afirmaba que la evaluación había sido tradicionalmente considerada como el proceso final de la función administrativa que representa planificar un programa, s~?ndo los. pro~e,sos anteriores, la investi~a~ió?, la planificación, la demostraclOn y la e]eCUClon.De cualqUler forma, mSlstla en que la evaluación, como estudio de la efectividad, puede darse en todas las etapas del proceso. Por ejemplo, un administrador puede desear evaluar, o haber evaluado, los resultados de un estudio investigativo o la viabilidad de un programa durante su desarrollo. De los diversos procesos, según Suchman, la planificación y la ejecución requieren una evaluación más cuidadosa, y la prioridad más alta debe concederse a los programas operativos. La evaluación de la etapa operacional (o ejecución) -«proporcionar una valoración de hasta qué punto el programa ha alcanzado los resultados deseados» '-desempeña, entre otras, estas valiosas funciones: 1. Especifica los puntos fuertes y los débiles de la operación programática y sugiere cambios y modificaciones en procedimientos y objetivos. 2. Examina la eficiencia y suficiencia de los programas comparándolos con otros métodos a la luz de las necesidades. 3. Sugiere nuevos métodos para futuros programas. 4. Establece prioridades entre los programas, según la escasez de recursos como los fondos, el personal y el tiempo. 5. Facilita una responsabilización pública. 6. Fomenta las actitudes morales y críticas del personal implicándolo en la evaluación de su propio trabajo. Debe destacarse que cada función evaluativa tiene una conexión real con las funciones administrativas. Suchman advertía que la investigación evaluativa, con todas sus consideraciones administrativas, debe ser acometida con otros propósitos aparte del perfeccionamiento del programa. Por ejemplo, un administrador puede intentar justificar un mal programa con informes manipulados (<
126

I

Evaluación

sistemática

de él (<
Suchman

que las estructuras administrativas tienden a per. tenerse también en cuenta que los resultados de mejor acogidos si el estudio tuviera la capacidad evaluación. Suchman no creía que este omniprefácil solución.

Administración de los estudios algunas áreas problemáticas . ..t f!.

"

evaluativos:

Una evaluación es «una forma de actividad social que abarca varias rela . ciones interpersonales altamente significativas, que se dan entre los investiga. dores, el personal del programa y los sujetos». El evaluador no puede eludir estas interrelaciones. Además de los aspectos normativos de la investigación, un evaluador trata con problemas muy relacionados con los intereses creados. Por lo tanto, atendiendo más al éxito o al fracaso que al objetivo escolar, las recomendaciones del evaluador pueden determinar la continuación o el cambio de un programa. La precisión del juicio del evaluador puede muy bien depen. der de la calidad de las actividades complementarias del evaluador y el personal más importante del estudio. Si las relaciones entre los papeles del evaluador y del administrador se deterioran, pueden abordarse varias estrategias para mejorarlas. Suchman proporciona algunas sugerencias: 1. 2. 3.

Desarrollar un óptimo nivel de expectación para la orientación inicial por ambas partes. Clarificar los papeles y actividades de ambas partes. Fomentar las técnicas interpersonales de todos los participantes por medio de un programa de preparación inicial (organizado por ambas partes).

Suchman advertía que, sobre todo en el caso de evaluaciones externas, los evaluadores necesitan saber que el personal del programa se siente como si 10 estuvieran juzgando y, por 10 tanto, amenazando. La coordinación entre el evaluador y los administradores puede ser un largo camino hacia la prevención del conflicto. «El evaluador y el personal del programa deberían ponerse de acue.rdo antes de que empiece la evaluación, con el fin de discutir los objetivos y el plan de procedimientos.» La pregunta ¿ quién debe hacer la evaluación?, según Suchman, no tiene una respuesta fácil. Tanto las evaluaciones internas como las externas tienen ventajas y desventajas. A pesar de que no se implica tanto personalmente y de que no sufre tantas presiones para llegar a un compromiso en el plan de investigación y en la interpretación, el investigador externo es menos apropiado para comprender los objetivos y procedimientos del programa o la viabili.

y el método

científico

de evaluación

I

127

dad de las recomendaciones. Un evaluador interno estará más informado acerca del programa, pero su falta de objetividad es un peligro omnipresente. Aunque las circunstancias son las que dicen qué estrategia es preferible, Suchman acon. seja, cuando sea posible, una combinación de ambas. Otro problema omnipresente se refiere a las distintas posiciones valorativas del evaluador y el administrador acerca de la definición de los objetivos. En general, el evaluador tiende a valorar los logros, mientras que el administrador del programa pone más el énfasis en el resultado final y la técnica. El evaluador se preocupa más de los objetivos últimos, mientras que el adminis. trador del programa se ocupa de los objetivos inmediatos. Suchman subrayaba que la evaluación está concebida para ayudar, y no estorbar, en la realización de un proyecto. Así, el evaluador puede acabar haciendo un informe de muy poco valor si se obsesiona con la precisión de las valoraciones. Y, por otra parte, la preocupación por las últimas técnicas, y el desinterés por el significado total del proyecto, es igualmente una mala práctica. Una explicación, por parte del evaluador y del administrador, de las metas del estudio, resulta crucial para la solución de los problemas planteados por las distintas posturas valorativas, como ocurre en los ejemplos reseñados más arriba.

Acuerdos para solucionar los problemas administrativos Ya se ha afirmado que Suchman consideraba que los estudios evaluativos debían alcanzar el mejor compromiso posible entre las exigencias de la ciencia y las c~~diciones realistas de la investigación. A menudo, de cualquier forma, las d~clSl0nes acerca del compromiso deben tomarse, por 10 menos en parte, atendIendo a los problemas o presiones planteados por los administradores. Si se acepta que la investigación evaluativa está destinada a proporcionar una base a las decisiones administrativas, el plan de estudio debe acomodarse a la política admi~i,strativa y otras cosas. El evaluador necesita recordar siempre ~ue u~a ~valuaclOn se desarrolla bajo condiciones naturales y que sus técnicas lDvestIg:~I~as deben necesariamente adaptarse a la realidad de la recopilación y el ~nalls1S de datos. La ingenuidad y confianza del evaluador, sin embargo, neceSItan el mayor control científico posible. . Finalmente, en sus comentarios sobre los papeles del evaluador y el adminlSt~ad?~, Suchman afirmaba que ambas partes deben consultarse acerca de la vIab111dady las posibilidades de perfeccionamiento de las conclusiones mientras que los resultados de una evaluación deben ser traducidos a 'juicios referentes al éxito o fracaso del programa. Para que tengan un valor real los resultados deben ser claros indicadores de futuras direcciones. Un evalu~dor puede cometer un gran error si hace una lista de recomendaciones sin consultar 1 d " d 1 r a a ~,ID1stra or y a personal del programa. Una consulta puede evitar la p esentaclOn de resultados erróneos que no tengan en cuenta las muchas con.

1)

) )

) i

1) I

i) ,) ,

) )

f '

L f

, (

f

128

I


Suchman y el método cientfflco de evaluación

tingencias necesarias en la práctica, incluyendo las funciones interpersonales y administrativas.

(

, (

•J

(n

:,t { ,,

Test de conocimientos

sobre la unidad 4

Este test de conocimientos contiene dos partes. Las preguntas que se responden con un «verdadero» o un «falso» valoran si ha comprendido usted bien la premisa básica del método evaluativo de Suchman. Cuando haya decidido si una afirmación es verdadera o falsa, deberá usted responder otra pregunta basada en su respuesta. Compare su contestación con la respuesta correcta. La segunda parte de este test de conocimientos consiste en dos preguntas con múltiples respuestas posibles. Una vez más, cada pregunta va seguida de la respuesta correcta y de las razones que la apoyan. Cuando haya respondido a todas las preguntas de ambas partes, le sugerimos que repase y perfeccione su trabajo, utilizando las indicaciones que aparecen después de las preguntas.

I

129

PREGUNTA2. El principal propósito de la investigación evaluativa, según Suchman, es proporcionar información útil a los administradores, con el fin de hacer más efectivas las decisiones acerca del programa. Verdadero

.

Falso

.

Si es verdad, haga una lista de cinco puntos importantes que un evaluador debe tener en cuenta para asegurar que la información derivada de un estudio evaluativo es precisa y útil para las tomas de decisiones. Si es falso, diga cuál es el principal propósito de la investigación evaluativ~ según Suchman.

Respuesta correcta. La afirmación es falsa. Suchman consideraba que el principal objetivo de la investigación evaluativa es determinar hasta qué punto un programa o procedimiento estratégico ha alcanzado los resultados deseados. Ciertamente, lo más importante es la potencial utilidad de los resultados, pero el principal propósito de un estudio evaluativo es descubrir la efectividad de un programa comparándolo con sus objetivos a la luz de la relación entre los objetivos y sus presuposiciones.

~

I,

•g

PREGUNTA1. El principal objetivo de Suchman era hacer obvia la necesidad de una re evaluación crítica del papel y la metodología de la investigación evaluativa en las áreas del servicio público y la acción social.

i

l

Verdadero

.

Falso

.

PREGUNTA3. Suchman consideraba que debe existir una relación muy estrecha entre la evaluación y la planificación y el desarrollo de un programa. La investigación pura conduce hacia un mayor conocimiento de los procesos básicos, mientras que la investigación evaluativa conduce a un mayor conocimiento de los procesos aplicados y las estrategias permitiendo así la realización de cambios racionales.

1

(

Si es verdad, ¿qué tienen que ver las conclusiones de Suchman con la relación entre la investigación evaluativa y los principios básicos de la metodología investigativa? Si es falso, ¿cuál es el principal objetivo de Suchman al escribir acerca de la investigación evaluativa?

(

(

•.

"

li:' 1 ~

ti~. ,~

Respuesta correcta. La afirmación es verdadera. Suchman insistía constantemente en que la investigación evaluativa debe asumir los principios de la metodología investigativa. La investigación evaluativa debe, por lo tanto, ser un proceso científico en el que cada esfuerzo debe estar destinado a «controlar» tanto la subjetividad del evaluador y de los participantes como la influencia de variables externas. Finalmente, el significado de los resultados evaluativos estará determinado por las «mismas normas científicas utilizadas para juzgar la investigación no evaluativa».

Verdadero

.

Falso

.

Si es verdad, diga cuáles son los requisitos básicos necesarios (en opinión de Suchman) para llevar a cabo una investigación evaluativa que pueda sugerir propuestas precisas para el desarrollo de un programa. Si es falso, diga si Suchman veía algún tipo de relación entre la evaluación y el desarrollo y/o perfeccionamiento de un programa.

Respuesta correcta. La afirmación es verdadera. Suchman concebía la investigación evaluativa como algo que proporcionaba la información básica necesaria para planificar y replanificar los programas de acción. De ahí que la evaluación, en algún sentido, deba hacer algo más que juzgar el éxito o el fracaso de un programa; debe también incluir el entendimiento y la redefinición. Para conseguir estos fines, Suchman afirmaba que la' investigación evaluativa debía ser cada vez más científica, que tanto los objetivos del programa como sus presuposiciones debían ser totalmente comprendidos antes de empezar el

---------- .••... ') ,

"

130

I

Evaluación sistemática Suchman y el método cientffico de evaluación

estudio, y que debía producirse un control de la sit~ac!ón con el £in .de deter. minar hasta qué punto se habían alcanzado esos objetivos (y cualqUler efecto secundario negativo). En este punto, según Suchman, todo estaba preparado para el desarrollo de un programa que tenga sentido.

PREGUNTA4. Suchman creía que un «valor es cualquier aspecto de una situación u objeto que proporciona una orientación acerca de si éste es "bueno", "malo" , "deseable" o "indeseable"». Verdadero

.

Falso

Respuesta correcta. La afirmación es verdadera. Suchman veía los valores como maneras de organizar la actividad humana, principios cargados de sigo nificado que determinan las metas de los programas de acción social y el medio más aceptable de alcanzar esas metas. Para cualquier evaluador, es muy im. portante comprender estos principios, puesto que sólo con esta comprensión podrá conocer el significado exacto de las metas del programa, sus presupo. siciones y la operación programática. Por 10 tanto, un evaluador debe necesariamente estar muy enterado de los valores conflictivos existentes antes de que empiece un estudio o que aparezcan durante su curso. Si no se tiene todo esto en cuenta, los valores conflictivos pueden crear problemas tan serios que hagan disminuir o anular la efectividad de la evaluación.

PREGUNTA5. Suchman no creía que el éxito de una evaluación o de un programa de acción social dependiera del diagnóstico de la presencia o ausen. cia de un problema social y de la definición de las metas, que indicarían el camino hacia una mejora de esa condición. .

Falso

I

: .., I

131

Respuesta correcta. La afirmación es falsa. Suchman pensaba que sin el diagnóstico del problema y, consecuentemente, la definición de la meta, la investigación evaluativa no tenía objeto. Para formular las metas y objetivos de una investigación evaluativa, Suchman exponía seis consideraciones principales: a) ¿Cuál es la naturaleza del contenido de la meta (u objetivo)?; b) ¿Quién es el destinatario del programa?; c) ¿Cuándo debe producirse el cambio deseado?; d) Los objetivos, ¿son unitarios o múltiples?; e) Los resul. tados buscados, ¿son dispersos o concentrados?; f) ¿Cómo deben alcanzarse las metas y objetivos?

~

)

1 ~

\)

.

Si es verdad, ¿cuál es el significado, en opinión de Suchman, de los valores con respecto a los estudios evaluativos? Si es falso, ¿cuál es la definición de «valor» de Suchman, y qué importancia tiene la comprensión del término en la realización de una evaluación?

Verdadero

I

)

.

Si es verdad, ¿qué importancia le daba Suchman (si es que le daba alguna) al problema del diagnóstico y de la definición de las metas? Si es falso, ¿cuáles son algunas de las consideraciones generales utilizadas en la formulación de las metas y objetivos de la investigación evaluativa?

) PREGUNTA6. Dado que la investigación evall}ativa es particularmente concreta en comparación con la investigación básica, que es más abstracta, pueden formularse preguntas significativas acerca del significado de la recopilación de datos en cada tipo de estudio. La investigación evaluativa subraya el concepto subyacente corno la principal variable de interés; los datos del estudio deben ser 'capaces de representar este concepto de una manera exacta y válida. La investigación básica, por su parte, subraya que las indicaciones que pueden observarse y valorarse son los fenómenos de interés. Verdadero

.

Falso

.

Si es verdad, diga cuál de los tipos de investigación -la evaluativa o la básica- se presta más fácilmente a la generalización. Si es falso, diga cuál es el «significado» exacto de la recopilación de datos en cada tipo de estudio. Respuesta correcta. Las afirmaciones que siguen a la primera frase son falsas. La investigación evaluativa se ocupa principalmente de la observación y la valoración de los resultados; el programa que se evalúa está destinado, por 10 general, a cambiar los valores de estas valoraciones específicas y sólo indirectamente se preocupa del concepto subyacente. Por el contrario, la in. vestigación básica se ocupa principalmente de traducir un concepto a unidades observables (por ejemplo, Índices operacionales del concepto subyacente), cuyo valor depende de su capacidad para representar el concepto de una manera exacta y válida.

PREGUNTA7. Dado que Suchman apoyó tanto los procedimientos de la investigación básica corno el ideal de una investigación evaluativa, abogó úni. camente por el método clásico de planificación experimental en 10 que se refiere a los estudios evaluativos. Verdadero

.

Falso

.

) '. ) '.

)

) ,

) )

) ) )

~

------~_ 132

I

Evaluación sistemática Suchman y el método científico de evaluación

)

Si es verdad, diga cuáles son los procedimientos básico.s qu: deben seguir~e para aplicar el modelo experimental clásico. Si ~s falso, ~lga Sl Suchman crela que eran factibles adaptaciones del plan expenmental ldeal. Respuesta correcta. La anrmación es ~alsa. ~uc~:na~ consideraba que. el . modelo experimental clásico es un tipo de mveStlgaclOn ldeal cuyas adap:aclOnes deben derivarse de las circunstancias particulares de cada caso. AS1, no sólo hay uno sino muchos modelos experiment~les, porque ~o hay un modo mejor que otro de planincar los estudios evaluatlVos. Co~o eJempl~s de adaptaciones del modelo experimental clásico, Suchman menClona los metodos cuasiexperimentales de Campbell.

PREGUNTA8. En la evaluación, la nabilidad no sólo está amenazada por errores casuales del instrumento valorativo, sino también por las fluctuaciones reales del objeto que se está valorando. Verdadero

.

Falso

.

Si es verdad mencione por 10 menos tres tipos de factores de cambio que contribuyen a p~ner en duda la nabilidad de las valoraciones del cambio. Si es falso, altere la anrmación para que sea correcta.

).

••.. l,¡-.:

Respuesta correcta. La afirmación es verdadera .. Las principa~es. causas de la innabilidad de las valoraciones del cambio se den van de los slgUlentes factores: a) Fiabilidad del sujeto: los estados de ánimo del sujeto pueden influir sobre su actitud acerca del programa; b) Fiabilidad del observador: los estados de ánimo del observador pueden influir en la manera en que realice sus valoraciones; c) Fiabilidad de la situación: ciertas condiciones ambientales pueden influir en los cambios informados; d) Fiabilidad del instrumento: preguntas mal expresadas, por ejemplo, pueden producir respuestas inexactas; e) Fia~ilidad del proceso: cifras equivocadas u otros errores mecánicos pueden reduclt la nabilidad.

PREGUNTA9. Suchman creía utilizados exclusivamente porque organización y el mantenimiento personalmente con los resultados realización. Verdadero

que los evaluadores «externos» debían ser el personal directamente relacionado con la .. del programa estaban demasiado implicados,': de una evaluación como para confiarles su, '. .

Falso

.

I

133

Si es verdad, mencione tres maneras en que los evaluadores «internos», a propósito o de otro modo, pueden distorsionar la información evaluativa. Si es falso, diga cuál es la verdadera postura de Suchman ante este problema. Respuesta correcta. La anrmación es falsa. Suchman anrmaba que en 10 referente a quién debe realizar la evaluación, no puede haber una respuesta clara. Tanto las evaluaciones internas como las externas tienen ventajas y desventajas. Los evaluadores externos quizás estén menos implicados personalmente en los resultados, pero son menos apropiados para comprender los objetivos o procedimientos del programa y están menos enterados de las implicaciones prácticas de las recomendaciones hechas en el estudio evolutivo. Por otra parte, aunque los evaluadores internos están más al tanto de las metas del programa, de su organización y de sus posibilidades, puede resultarles extremadamente difícil mantener su objetividad. Por 10 tanto, son las circunstancias particulares de cada situación las que deciden el uso de uno u otro tipo de evaluación. En la medida de 10 posible, Suchman consideraba que una combinación de ambos podía tener muchas ventajas. Su concepción era la de una división del trabajo racional y profesional.

PREGUNTA10. Suchman opinaba que, a menudo, las decisiones del programa debían tomarse bajo presiones administrativas. Como consecuencia, si un evaluador desea dirigir un estudio que ponga las bases para una toma de decisiones, no puede ignorar que debe tener en cuenta la política y las presiones administrativas. Todo ello debe formar parte del plan de investigación. Verdadero

.

Falso

.

. Si es verdad, diga la principal razón por la que Suchman estaba dispuesto a aceptar «interferencias» administrativas durante una investigación evaluativa. Si es falso, diga cuál era, según Suchman, la relación concreta que había entre la evaluación y la toma de decisiones administrativas. Respuesta correcta. La afirmación es verdadera. La postura de Suchman mantenía que la investigación evaluativa es investigación aplicada; debe abordar el cam~o de estudio en condiciones naturales y, por 10 tanto, debe adaptarse 10 mejor que puede a las condiciones prácticas existentes. Una condición muy frecuen~e es la presión administrativa. Si no se comprende esto y no se , hac~n conceSlOnes de este tipo en la investigación evaluativa, el estudio eva.~lUatlvo será menos útil en 10 que a la toma de decisiones se refiere.

--~ 1i ') 134

I

,


Suchman y el método científico de evaluación d)

Preguntas con muchas posibles respuestas

b)

c)

d)

lo principal es aislar, analizar y juzgar un tratamiento como si estuviera operando en la práctica, el camino más seguro hacia la formulación de conclusiones evaluativas sólidas es crear y comprobar sistemáticamente hipótesis acerca de las re. laciones existentes entre las variables intermedias y los resultados inme. diatos, el éxito o el fracaso de un programa debe ser evaluado en términos de efectividad del coste, reincidencia y diversidad de los resultados. el producto, el trabajo, la suficiencia del trabajo, la eficiencia y el proceso, son las categorías útiles que- determinan el éxito o fracaso de los programas.

Suchman consideraba que el evaluador y el administrador del programa debían ser muy cautos a la hora de confiarse el uno al otro; es aconseja. ble que cada uno vaya por su camino para que se mantenga la objetividad.


b)

c)

Aunque Suchman insistía en la necesidad de valorar los programas con relación a su práctica, apuntó criterios específicos para valorar el éxito de un programa, como se ha subrayado más arriba. El concepto de Suchman de los criterios apropiados no se reducía, obviamente, a las variables intermedias y a los resultados inmediatos. Suchman no incluyó la reincidencia y la diversidad de los resultados entre las principales categorías de criterios que recomendaba.

12. ¿Cuál de las siguientes afirmaciones refleja más fielmente las concepciones de Suchman respecto a las influencias administrativas y la posición del evaluador? PREGUNTA

a)

b) e)

Suchman afirmaba que si los resultados de la evaluación tienden a disminuir el poder de la organización, el estudio debe ser considerado beneficioso porque los cambios que se produzcan reforzarán esa debilidad. El evaluador es un juez del éxito o el fracaso y determina la continuación o cambio de un programa. La investigación está sujeta a las limitaciones sociales que impone la organización en la que trabaja el evaluador.

~ I

")

Respuesta correcta. Debe usted haber seleccionado la «e». Si el evaluador no comprende esas limitaciones y las concesiones hechas en la planificación del estudio, es muy probable que los resultados del estudio sean inexactos.

~ ~

Respuestas incorrectas a) b)

d)

:1

Las organizaciones suelen ser muy sensibles y permanecer a la defensiva ante las críticas adversas. Suchman afirmaba que la responsabilidad de un evaluador acaba cuando ya ha hecho las recomendaciones que son resultado de enjuiciar el éxito o fracaso de un programa. Suchman consideraba que el evaluador y el administrador de un programa deben discutir los objetivos y procedimientos planificados para la evaluación antes de que ésta empiece.

Respuesta correcta. Debe usted haber seleccionado la «d». Estos son los criterios que Suchman proponía para valorar el éxito o fracaso de un programa.

I~

~

PREGUNTA 11. Respecto a los criterios de valoración de programas, Such. man proponía que:

a)

[135

Es recomendable que relea aquellas preguntas que le hayan resultado difíciles o confusas, y las utilice como base para repasar las correspondientes secciones de la unidad. INTERPRETACIÓN

DE SU COMPRENSIÓN DE LA UNIDAD,

') ')

1) ,)

) )

) )

) )

Preguntas sin respuesta Las siguientes preguntas pueden resultar útiles para iniciar un debate: ¿En qué se diferencian, según Suchman, la investigación básica y la investigación evaluativa? 2. ¿Cuáles son, para Suchman, los propósitos principales de una evaluación? 3. ¿Cuáles son los principales aspectos del modelo propuesto por Suchman para demostrar que la primera secuencia causal de una evaluación es sólo una de las muchas posibles acciones y actividades que conducen a los resultados? 4. Suchman advertía que la investigación evaluativa está «cargada de consideraciones administrativas». Mencione algunas de ellas.

,~

1.

i

')

) ) ) i

') ,

Ji J \) ) )

••••• f.

f.

136

t


I


t f

t

t I

f

« 1

f

,¡

f(".

'"

f f

. t • "

",

f.

tI

,

I

lr ,, l

FLECK,A. C. 1961. Evaluation as a 10gicaI process, Canadian Journal o/ Public Health, 52 (mayo), págs, 185-191. HERZOG,E. 1959, Some guide lines /or evaluative research, Washington, D,C., De. partamento de Salud, Educación y Bienestar de los EE.UU. JAMES,G, 1958, Research by local hel!lth departments - Problems, methods, re. sults, American Journal o/ Public Helath, 48 (marzo), págs. 354-379. -.1961. Planning and evaluation o£ health programs. En Administration o/ como munity health services. International City Managers' Association, Chicago, pá. ginas 124-134. KLINEBERG, O. 1955, The problem o£ evaluation, International Social Science Bu. lletin, 73, págs, 347-362. SUCHMAN,E. A. 1954, The principles o/ research designo En J. T, Doby y otros, An introduction to social research. Harrisburg, Pa., The Stackpole Co., pági. nas 254-267. -,1963. Sociology and the /ield o/ public health, Nueva York, Russell Sage Foun. dation. -, 1966. Medical deprivation, American Journal o/ Orthopsychiatry, 36 (julio), págs. 665.672. -. 1967. Evaluative research: Principles and practice in publie service and social aetion programs, Nueva York, Russell Sage Foundation.

5

LA PLANIFICACION EVALUATIVA SEGUN CRONBACH: UNA SINOPSIS

Durante los últimos cuarenta años, Lee ]. Cronbach se ha interesado en muchos aspectos de la evaluación de programas de ciencias sociales. Muchas de sus intuiciones en estas áreas han culminado en un libro titulado Designing Evaluations of Educational and Social Programs (CRONBACH,1982), un largo y erudito trabajo cuya versión preliminar quedó terminada en abril de 1978. Con sus 374 páginas, el libro incluye algunos nuevos aspectos para la planificación de evaluaciones educacionales, a la vez que discute los pros y los contras de algunos de los conceptos de planificación que ya se utilizan. En su introducción a los problemas que plantea la planificación de evaluaciones, Cronbach afirma que planificar una investigación evaluativa es un arte, porque cada plan debe ser decidido teniendo en cuenta sz' es apropiado o no para cada nueva empresa, Dice que el evaluador debe estar bien enterado de las elecciones que puede hacer para que las ventajas derivadas de cada característica del plan puedan compensar los sacrificios que implica la elección. La planificación, por lo tanlo, acaba siendo más bien un problema de cómo deberán repartirse los recursos investigativos, basándose en una selección de las cuestiones más adecuadas y guiándose mediante consideraciones prácticas y políticas. Los fuertes contrastes existentes entre los comentarios dé' los partidarios del método científico y los entusiastas del método naturalista holístico indican una polarización tan fuerte que no es posible la reconciliación. De cualquier forma, Cronbach cree que el conflicto se ha exagerado, y que Ji un trabajo evaluativo tiende a convertirse en un programa de estudio (más que un simple estudio) será más conveniente que se le aplique una mezcla de estilos. La necesidad de una conciencia política, de una mentalidad abierta y de una buena comunicación, establecida por el operador, entre las etapas planificadoras y operacionales de una investigación son la base de todos los escritos de Cronbach.

138

I

Objetivos Los objetivos de este capítulo son los siguientes:

2.

3. 4.

,"}

,

")


A causa de su longitud, nos resulta imposible cubrir, en esta breve unidad, todo el material contenido en el libro de Cronbach (CRONBACH,1982). Si, de todas maneras, usted cree que los temas tratados son interesantes, debe asegurarse de que merece la pena estudiarlos más ampliamente acudiendo al texto completo. Del trabajo de Cronbach, seleccionamos aquí aquellos aspectos que se adaptan al contexto general, sobre todo los componentes investigativos y los recursos de una evaluación, como el lugar que ocupan los distintos estilos en la planificación evaluativa, la descripción de los problemas investigativos y la importancia de la comunicación de la toma de decisiones. Además, nos acercamos a la concepción de los elementos que forman parte de una planificación evaluativa: unidades, tratamientos y operaciones de observación (uto). El estudio de esta unidad debe capacitarle para conocer a fondo el pensamiento de Cronbach (en términos generales) acerca de las influencias que soporta la planificación de un programa evaluativo. Al final de la unidad, hay ejercicios para que compruebe sus conocimientos. Ahora le proporcionamos una lista de los objetivos de la unidad. Cuando los haya estudiado, lea la unidad y realice el test de conocimientos, contrastando sus respuestas con las que proporcionamos nosotros.

1.

)

T

Las instituciones políticas aprenden de la experiencia evaluativa, y por eso la utilizan para sus clientes y para los distritos electorales. La evaluación está concebida para acelerar el proceso de aprendizaje por medio de la comunicación de lo que de otra manera quizá quedaría olvidado o mal comprendido.

, I

-------_ ...

Facilitar el conocimiento de algunos de los problemas generales concernientes a la planificación de evaluaciones, teniendo en cuenta una planificación previsora y flexible, la utilidad de la evaluación, los métodos alternativos de evaluación, el acuerdo en la planificación de los elementos y el equilibrio en la investigación evaluativa (resumen). Presentar el concepto que tiene Cronbach acerca de los elementos de una investigación evaluativa; en particular, las unidades, los tratamientos y las operaciones de observación; UTOS: el campo de la investigación; definición de los elementos de uto y UTO; y *UTOS: el campo de la aplicación. El conocimiento de varios modos de identificar las cuestiones evaluativas teniendo en cuenta la fase divergente y la fase convergente. Destacar la importancia de la comunicación respecto a la utilidad de los resultados, la comunicación directa y la extrapolación de los resultados.

Planificación evaluativa según Cronbach

5.

I

139

"}

Investigar el concepto de Cronbach acerca de las perspectivas de la evaluación, que incluye la flexibilidad de la planificación, la relación entre evaluación y política (limitaciones) y otras consideraciones.

~ ~ ~

S

Introducción a los problemas más importantes

~ Una planificación

previsora

)

y flexible

Cronbach está convencido de que hay que estimular la planificación de la evaluación para que resista ciertos tipos de desafíos, porque, en opinión de Cronbach, las evaluaciones están concebidas para cumplir una función política. Los desafíos a la información que surgen en las evaluaciones están, a menudo, políticamente motivados. Esta es una característica ineludible de toda evaluación. Para poner una amplia gama de esperanzas legítimas en el resultado de una evaluación, su planificación debe ser algo cercano a la planificación de un programa de investigación. y así, en el mejor de los casos, la evaluación debe tener la misma flexibilidad tanto respecto a sus propios resultados como a los intereses cambiantes de la comunidad política. Cuando planifica (y replanifica) un estudio profesional completo, el evaluador se esfuerza por hacerlo de tal manera que los votantes, los administradores, el personal operativo y/o los políticos puedan tomarse en serio sus resultados. No hay nada más que justifique el esfuerzo invertido en la planificación de una evaluación. Las evaluaciones, a menudo, se realizan a petición de un administrador. Posiblemente, el administrador desee convertir al evaluador en un simple técnico, planteándole preguntas sucesivas y pidiéndole que aplique técnicas de muestreo, valoración y análisis estadístico, sin reflexionar sobre las implicaciones de estas actividades. Cronbach, de cualquier forma, concibe que un evaluador exija, y obtenga, una responsabilidad más amplia para que la evaluación sea más útil. Aunque los evaluadores no pueden, y no deben, sustituir su juicio por el de la agencia patrocinadora, debe permitírseles aportar su punto de vista acerca de la agenda investigadora. Los administradores, pues, deben pedir a los evaluadores competentes que piensen acerca de las posibilidades de la planificación antes de que se tome ninguna decisión. Cronbach cree que ningún individuo está totalmente cualificado para encar?~rse él solo de la planificación y la interpretación; casi siempre, la responsabIlIdad debe ser compartida por un equipo. Este método tiene ciertas ventajas, puesto que proporciona multiples perspectivas y promueve saludables debates profesionales. La planificación, por lo tanto, se desarrolla en dos niveles: una planificación general que reparta prioridades y responsabilidades entre los miembros del equipo, y una detallada planificación interna del equipo, que debe dar como resultado planes basados en la experiencia y las interac-

¡ ')

)

() ) ) ) ) ) )

)

.~ '.

) i

)

) ,

)

J I

'1 1 í...) I

.{ )

140


ciones de los que constituyen el equipo. Así, la planificación y los estudios', evaluativos se convierten en algo más reflexivo, ocupándose de los procesos, y , no solamente de los objetivos. ' ' Reflexionar sobre los propios acontecimientos es mucho más importante que confiar en lo que Cronbach llama «proceso de datos irreflexivo». Como' Carol WEISS (1972), Cronbach cree que la evaluación debe ser contemplada como una manera de iluminar complejos mecanismos como la variación de los tratamientos, como un estudio tanto del proceso como de los resultados y como una información sobre un campo determinado que puede utilizarse en las tomas de decisiones referentes a otros distintos.

Planificación evaluativa según Cronbach I 141 Cronbach insiste en que en todas las etapas de una evaluación, desde la planificación al informe, es esencial una «excelente información». Como WILENSKY (1967), Cronbach cree que una excelente información debe ser

_ e/ara, porque debe ser comprendida por todos aquellos que la utilicen; _

_ _

La evaluación útil Las planificaciones se realizan basándose en ciertas concepciones acerca de lo que una buena evaluación es o hace. La mejor planificación es aquella que promete aumentar el beneficio social de la evaluación; la elección entre las planificaciones alternativas se realiza atendiendo a cómo pueden influÍ! las evaluaciones en los asuntos sociales. Las instituciones sociales aprenden de la experiencia, así como de los clientes y de los distritos electorales. La evaluación, en palabras de Cronbach, está concebida para acelerar el proceso de aprendizaje, mediante la comunicación de lo que, de otra forma, no se comprendería o se entendería equivocadamente. Para ser útil, una evaluación debe tener como núcleo las «actividades científicas», puesto que si las observaciones presentadas no son realistas o la interpretación no se basa en un buen razonamiento, la evaluación no tendrá mucho valor. Por otra parte, un estudio técnicamente admirable puede quedarse corto si el evaluador no atiende a lo que piensan los individuos políticac mente más relevantes de la comunidad, como los clientes, el personal del programa, los burócratas y los ciudadanos interesados. Como resultado del método científico, el trabajo de los evaluadores puede provocar intuiciones en otros; así, los evaluadores son educadores cuyo nivel: de éxito debe ser juzgado, por lo menos en parte, según el éxito que alcancen:" en el terreno de la comunicación. Cronbach cree que este aprendizaje empieza" cuando el evaluador se reúne con miembros políticamente formados de la cO:,¡ munidad para resolver sus dudas. Continúa con cada contacto que el evalua-" dar mantiene con los que participan en el programa o con otros individuos. relevantes. El informe final es sólo uno de los medios de instrucción de que dispone el evaluador: el trabajo didáctico reside tanto en el planteamiento de.; los problemas como en la formulación de sus soluciones. Especialmente en 10" que se refiere a los problemas relativos al valor, la responsabilidad del evalua-'i; dar (como educador) es ayudar a los demás a saber solucionar los problemas" y determinar las acciones más apropiadas para la consecución de los objetivos.";,

oportuna, porque debe llegarles cuando la necesiten;

_ exacta, porque los diversos observadores que utilicen el mismo procedimiento deben contemplarlo de la misma manera; válida, porque debe incluir los conceptos y las valoraciones estrechamente relacionados con la realidad; amplia, porque debe proponer las principales alternativas políticas que tienen más probabilidades de alcanzar las metas de la organización o proponer nuevas metas.

Si 10 que se comunica acerca de una evaluación es su resultado mas lIDportante, las siguientes preguntas deben ser planteadas cuando la evaluación haya terminado:

-

¿A todas las secciones de la audiencia les interesa el mensaje? ¿Lo comprenden? ¿Lo encuentran creíble? ¿Se ha respondido, en la medida de 10 posible, a las preguntas que ellos consideraban más importantes? ¿Han alterado las respuestas sus ideas preconcebidas? ¿ Se ha enriquecido y elevado el diálogo sobre las tomas de decisiones como consecuencia de la evaluación?

Si las comunicaciones responden positivamente a todas estas preguntas, el plan y los procedimientos evaluativos deben ser considerados buenos. Una dificultad obvia que se presenta al emitir un juicio es la que se deriva de cada consenso, puesto que en una situación políticamente viva existe una comunidad formada políticamente y no sólo un individuo que toma decisiones. Todos los que desempeñan algún papel en la aprobación del programa o en la recomendación de alternativas forman parte de la comunidad. Además, de una manera ideal, el evaluador debe esforzarse por llegar a los ciudadanos más pasivos, a los que debe animar a hablar y cuyas preguntas deben ~er respondidas mediante la adecuada comunicación. Una evaluación debe reducir la incertidumbre mediante alternativas propuestas a su audiencia. Además, debe complicar los conceptos que sean demasiado simples o demasiado seguros. Aunque los evaluadores quizá no sean capaces de persuadir a todos los segmentos de la comunidad política para que utilicen sus conclusiones del modo más completo, deben ir siempre en esta dirección.

142

I

--------_~I~ ~



i I

i

¡

Una planificación evaluativa debe conducir a un estudio que clarifique los problemas de todos los implicados y delate cuándo ha. tr~bajado con falsas s~posiciones o pasado a la acción sin demasiado conOCImIento de causa. ASI, la evaluación más útil es aquella que proporciona una gran cantidad de sugerencias para solucionar futuros problemas y clarificar significados. Cronbach afirma que los programas evaluativos convencionales centran su atención en una sola agencia, técnica o intervención. Aunque esta estrategia es útil y necesaria, a la larga puede perder eficacia, porque puede que no conduzca a la comprensión de! problema básico. La consecuencia de esto para una evaluación parece estar clara .. Lo más difícil es mantener la esperanza puesta en una línea de intervención concreta; lo más importante es que la evaluación contribuya a la comprensión básica de! fenómeno. Cuando una evaluación alcanza este nivel, puede aspirar razonablemente a un avance social en la comprensión del área en cuestión.

Enfoques evaluativos

enfrentados

Los fuertes contrastes existentes entre algunas de las afirmaciones de los partidarios de! enfoque evaluativo científico y los entusiastas del naturalista u holístico sugieren una polarización tan rotunda que no es posible la reconciliación. De todas formas, Cronbach cree que el conflicto se ha exagerado y que si un trabajo evaluativo se convierte en un programa de estudios (m~s que en un solo estudio) tiene más posibilidades de emplear una mezcla de estIlos. Una evaluación, en otras palabras, puede incluir todo tipo de investigaciones, y sólo de esta manera podrá ser valorado e! significado total de una situación.

I .'

La mayor dificultad a la que se enfrentan los evaluadores, de cualquier forma, es que deben decidir sobre la distribución del trabajo investigativo en un proyecto y tiempo concretos; así pues, los cambios proyectados a largo plazo deben ser el principal centro de atención de los evaluadores. Un estudio concreto, por lo tanto, puede exigir más énfasis en sus predilecciones experimentales que en las naturalistas. Por su parte, Cronbach ha utilizado ambos métodos, según la naturaleza del estudio. De cualquier manera, y en general, su libro concede más importancia a la planificación de evaluaciones estructuradas que a la planificación de estudios concretos o al método iluminativo. Cree que, hasta ahora, se han producido pocas reflexiones acerca de los métodos más naturalistas porque no ha existido un intercambio de puntos de vista comparable al que se ha producido en el campo experimental. Como consecuencia, los problemas que han dividido a métodos distintos, como el naturalista y e! experimental, permanecen aún en la superficie.

I

143

~ ~

El consenso en los elementos

de la planificación

Cronbach afirma que existe un acuerdo general según e! cual la sociedad debe renovarse. Las instituciones y los servicios sociales rara vez son como podrían ser, e incluso los planes que una vez funcionaron se vienen abajo cuando cambian las circunstancias sociales. Por lo tanto, se hace necesario algún tipo de evaluación que mejore este panorama. También existe un acuerdo acerca de que la evaluación debe ser empírica y que los acontecimientos deben ser examinádos en los lugares donde se desarrolla e! programa. Ni los evaluadores humanísticos ni los científicos conductistas consideran esto necesario. La tradición humanista, de cualquier forma, puede llegar a asegurar que un programa es válido por derecho propio. Además, cualquier conclusión a la que se llegue acerca de los hechos recopilados es una deducción que va más allá de los datos. Son falibles y se basan en presuposiciones o hipótesis de trabajo; así, las conclusiones son verosímiles en mayor o menor grado. Debe siempre recordarse que las estimaciones estadísticas se esperan con incertidumbre. Sin embargo, puede advertirse un consenso inconsciente entre humanistas y conductistas cuando los partidarios de la experimentación empiezan a hablar de comprensión o de intuición, puesto que esto supone acercarse mucho a los estudios naturalistas que ellos practican. Los investigadores naturalistas reparten los recursos entre los numerosos tratamientos, procesos y variables externas, y buscan datos para los modelos. Presentan e interpretan muchas relaciones que no son, en modo alguno, estadísticamente significativas. En otras palabras, optan por la extensión a expensas de la fidelidad, por lo que adoptan un compromiso entre e! énfasis que ponen en el control férreo y la sobriedad, por una parte, y la ausencia total de controles, por otra. Resumiendo, parece existir un cierto consenso entre los autores importantes según e! cual en muy pocas ocasiones debe dependerse de los métodos evaluativos estadísticos y de sus conclusiones. Cuando planifica e! estudio, el evaluador debe hacer algunas elecciones. Entre ellas pueden encontrarse, quizás, un tratamiento regularizado que no puede operar en ausencia del investigador, que reduce las variabilidades (esto es, e! método experimental tradicional) o un método naturalista que tenga en cuenta interpretaciones heterogéneas de la institución bajo circunstancias operativas normales. De cualquier manera, Cronbach insiste en que e! evaluador «puede escoger un plan cualquiera, desde el estudio artificial totalmente controlado y reproducible, hasta e! estudio naturalista, más libre y oportunista».

~ ~ ~ ~ ~

1 ') ')

) ) ) )

)

) ) )

~

) i

,)

) ) ) I

.) '~

.) )

) i

~)

1

., "

:f

(~

1

.~ ff

•• ~

!. ~.

, 4. 4 ( ,( I(

1. i

l

í'.l~-


El equilibrio

en la planificación

evaluativa:

resumen

145

Cronbach resume la reflexión acerca del «continuum» existente entre la planificación científica y la humanísti.ca con la siguiente a£i~mación: ;
Lo dicho en la sección anterior indica que algunos evaluadores, en la planificación y la práctica de su estudio, pueden llegar a utilizar tanto el método científico como el humanístico. Por otra parte, otros insisten en que sólo hay que aplicar un estilo en cada estudio. Aquellos que están a favor de los tests sumativos formales también son partidarios de la objetividad en la observación y el análisis. Por el contrario, los que prefieren el estudio de casos concretos son también partidarios de la interpretación impresionista. El primer grupo insiste en el carácter fijo de la hipótesis que está siendo examinada, mientras que los segundos destacan la creciente calidad de las cuestiones investigativas. Cuando el investigador no puede especificar adecuadamente en la planificación las variables más significativas, el estudio se desarrolla en un contexto de descubrimientos. El descubrimiento proviene de los datos recopilados, que se interpretan a la luz de la experiencia previa del investigador (directa o procedente de otros). Las planificaciones más férreas, por otra parte, son convenientes si las variables pueden ser claramente definidas y las hipótesis claramente formuladas. La principal misión de una planificación férrea, en la ciencia básica, es proporcionar una base objetiva, reproducible e incuestionable para la predicción de una teoría. Cronbach afirma que no se plantea necesariamente conflicto entre el control experimental y la utilización de información cualitativa o interpretación subjetiva, o la exploración libre de prejuicios y la producción de evidencias objetivas. Esto quiere decir que incluso un experimento formal puede incorporar entrevistas de los operadores del programa y los clientes de una manera indefinida y, por último, apUcar «codificaciones ciegas para obtener datos mecanizados compatibles». Por otra parte, los datos cuantitativos y muy estructurados pueden ser utilizados para la construcción de hipótesis en estudios de casos concretos. Algunos autores, además, dejan claro que ellos pueden como binar una planificación férrea con una interpretación subjetiva. Scriven, en concreto, propone que los evaluadores informen si el tratamiento es bueno .0 malo, para que así incluyan sus propios valores en el juego. Por su parte, los observadores naturalistas pueden inyectar objetividad en su est1,ldio documentándolo con anécdotas y también utilizando observadores adicionales que se centren en aspectos concretos del programa que se está evaluando. Al diseñar y llevar a cabo una evaluación, el evaluador avezado debe decir cuáles son sus preferencias en cuanto a la metodología que se debe emplear para facilitar la resolución de un problema político concreto en un momento determinado, y debe «fortalecer su estudio en algunos aspectos y mano tenerlo flexible en otros. Según parece, incluso el más firme partidario de alguno de los estilos de investigación evaluativa está preparado para abordar el estilo opuesto para seguirlo en ciertas tareas.»

¡

En la planificación real, casi siempre es conveniente introducir algún tipo de control -en la recopilación de datos, e incluso en la manipulación del tratamientoy hacer alguna observación naturalista acerca de los acontecimientos, todo ello en el marco de la estructura planeada. El equilibrio entre los estilos debe variar de una cuestión a otra, y quizá modificarse (¡en cualquier sentido!) a medida que se desarrolla el trabajo evaluativo.

Los conceptos de Cronbach acerca de los elementos de una planificación evaluativa: Uto Las conclusiones derivadas de una evaluación deben indicar lo que ocurrirá si se adopta un cierto plan de intervención en un cierto tipo de situación. Estas conclusiones pueden ser predicciones acerca de la presentación del programa, de la reacción ante los clientes, del cambio de comportamiento, del cambio institucional, etcétera. El planificador de una evaluación debe esforzarse por asegurar (en la medida de lo posible) que el contenido de sus conclusiones son tan válidas y persuasivas como sea posible. Finalmente, «la validez consiste en un escrutinio crítico de la lógica de cada interpretación y en las operaciones investigativas consiguientes».

Unidades, tratamientos

y operaciones

de observación

Cronbach presenta una teoría en la que puede basarse cualquier recomendación referente a la planificación. El concepto abstracto caracteriza la muestra, el dominio estricto en que esa muestra resulta significativa, el dominio afectado por las decisiones tomadas por la comunidad y las relaciones entre estos tres aspectos. Los tres conceptos abstractos son unidades, tratamientos y operaciones de observación. AsÍ, un evaluador debe atender a 10 siguiente: 1.

Unidades: cualquier individuo o clase.

2.

Tratamientos: una unidad está expuesta a la realización de un tratamiento concreto; por ejemplo, un profesor selecciona y organiza lecciones, y las explica de un modo que puede ser claro o confuso; asÍ, la ejecución de algo puede variar aunque esté sujeta a un tratamiento regularizado. Operaciones de observación: el evaluador obtiene datos antes, durante y/o después del tratamiento, y utiliza un cierto tipo de tests, o envía a alguien

3.

------_ 146

1

Cuando comenta un estudio concreto, Cronbach se refiere a las unidades que participan en el estudio, a los tratamientos rea~izados y a las observaciones como uto, respectivamente. Cada u va emparejada con, ~l me~os, una t y una o, lo cual forma el símbolo uto, que se refiere al e:tudlo re~llZado, o a cualquier parte de un conjunto de estudios que puede realIzarse baJO un~ especificación concreta. Así, uto puede referirse a los datos de una sola umdad o a los de toda la muestra.. . . Cuando se han seleccionado las unidades, resulta inevitable haber mclUldo las características del marco local. Por ejemplo, si se ha estudiado a los profesores se habrá hecho según su contexto social y no como individuos aislados. L~s profesores están influidos por los directores, por las tensiones que se desprenden de las relaciones interpersonales y por las negociaciones del sindicato (por mencionar sólo algunas de las muchas influencias posibles). Además, el contexto es muy amplio. El clima intelectual y político de una situación determinada afecta a todas las unidades. Más aún, las conclusiones acerca de una situación determinada en un momento dado no tienen por qué repetirse necesariamente algunos años más tarde, incluso en esa misma unidad.

UTOS: El dominio de la investigación Cronbach afirma que los dominios correspondientes a uto son U, T y O. Estos se combinan con S en UTaS, un concepto que será explicado más tarde. Por definición, UTa especifica la clase de combinaciones unidad-tratamientooperación que el investigador pretende describir según la base de uto. Por ejemplo, un programa de seguimiento diario puede llevar a cabo ciertos planes concebidos para niños de un determinado tipo de familias, haciendo referencia a la evidencia de cuestiones concretas como las revisiones de salud efectuadas por un médico, las informaciones de la madre respecto a la utilización del tiempo libre y la aceptación del servicio por subgrupos concretos de la comunidad. Este plan de un tipo de combinación unidad-tratamiento-operación es un ejemplo de UTa. Cronbach define UTa como el <
J

)


a la clase para que recoja algún tipo de impresiones. Estas son las operaciones de observación.

')

•...,


I

147

quier escuela que se esfuerce por ofrecer a los estudiantes una metodología de aprendizaje individualizada; otro estudio puede definir un tipo especial de metodología de aprendizaje individualizada y centrar su atención sólo en los ejemplos de un modelo de actividad. Es importante destacar que cuando cambia la definición, también cambia la cuestión que está siendo investigada directamente. Cronbach insiste en que la planificación ideal define un UTa, y luego los planes para seleccionar un uto que lo represente. Si la planificación es lógica y se lleva a cabo estrictamente, pueden legítimamente inferirse de los resultados de uto los probables resultados de UTO. Los elementos u, t y o son casuales. El evaluador piensa en u como en la muestra de una población y controla el muestreo hasta donde le resulta posible. El evaluador define la recopilación de unidades de interés -la población, U- y diseña cuidadosamente una muestra representativa. El informe acerca de las observaciones de un caso concreto, o, se toma como representación de todos los demás casos; idealmente (si no lo impiden los costos) deberían disponerse de datos de cada o en O. Un punto de vista similar se aplica a t y T, puesto que el tratamiento designado define un tipo de realizaciones que interesan al investigador, y las realizaciones son una muestra de todo el dominio. Lo cierto es que, por lo general, U, T y O, en una evaluación, dependen del muestreo y de los peligros que éste esconde. Un evaluador, al planificar un estudio, debe tener siempre presente que el carácter y las variaciones de las respuestas pueden contribuir a la formación de generalizaciones inexactas resultantes de los datos recopilados, quizá cuidadosamente, durante el proceso de muestreo. __", No es inusual el concepto de una población U no homogénea de la que se extraen los datos. En UTOS, Cronbach amplía este concepto. Afirma que en la investigación más social, t y o se conciben como fijos, mientras que no ocurre lo mismo en la evaluación de un programa. El intérprete de los datos generaliza, quizás inconscientemente, sobre la realización de los tratamientos i~ual que sobre las escuelas o los estudiantes. De un modo similar, el procedImiento de observación que se emplea es uno más entre las muchas realizaciones posibles de un plan. La S de UTOS representa un marco de acción (setting: S) que debe ser considerado fijo. Según esta convención, cada estudio tiene sólo un marco de acción (aunque las unidades están relacionadas con sectores distintos de este marco).

J ') ') ') ')

') ') ')

) ) )

) ) ) )

) )

)

~

) ,

I )

) )

) ) I

Definiciones

de los elementos

de

uta y UTa

') i

) . La unidad es la entidad independiente más pequeña sobre la que la influenCIa del tratamiento es totalmente operativa. La unidad puede ser concebida como un «sistema». Es lo suficientemente completa y autónoma como para

)

J ,)

----------

1

..

,

148

I

••••

;EW~ii..;.

Evaluación sistemática Planificación evaluativa según Cronbach

que sus experiencias y respuestas no estén influidas por las experiencias y respuestas de entidades paralelas. Muy a menudo, los objetos que se investigan tienen una estruc~ra. de nido. Por ejemplo, los alumnos en sus clases, en las escuelas, en los distrltOS y en los estados. El nivel que se escoja para ser la unidad depen?e de un~, concepción sustancial del mecanismo mediante el cual opera la lntervenClOn propuesta y del nivel en que aparece esa intervención. La elección de la unidades una decisión delicada. Debe tenerse en cuenta que la presuposición de independencia se debilita cuando se utiliza el más alto nivel de la jerarquía como nivel de la unidad. Por otra parte, puede ser ventajoso definir el plan de muestreo en muchos niveles dist~tos. , En la planificación de un estudio, el problema central es Juzgar cuales son las unidades de tratamiento independientes. De aquí se sigue la elección de las unidades para el muestreo, junto con las conclusiones de ti que resultan válidas para U. '. En cualquier estudio manipulador, el evaluador deSIgna unas cuantas acclOnes que influyen en el curso de las unidades. El tratamiento des!gnado par.a la unidad es T, mientras que el tratamiento que realmente se aphca a la UnIdad es t. Las actividades del tratamiento real (t) no suelen estar enteramente de acuerdo con las designaciones del investigador, puesto que pueden existir variaciones respecto a la planificación del estudio. Cronbach afirma que cuando se somete a prueba una serie de materiales didácticos, una descripción completa del t real debe incluir, por ejemplo, el ritmo al que los ~rofesores desarrollan su trabajo, los ejercicios propuestos, las recompensas aSIgnadas a los estudiantes, etcétera. Estas descripciones reales de t discrepan de las afirmaciones generalizadoras de T al incluir 10 que se conoce comúnmente como «distribución»: aquellos elementos de un tratamiento planificado que influyen realmente en la unidad ti. La designación de T puede, desde luego, incluir directrices, instrucciones y procedimientos de supervisión, requisitos del personal que lleva a cabo el tratamiento, materiales didácticos y detalles para el tratamiento de los acontecimientos; o, por el contrario, puede no ser más que una designación global tal como «una progresión individual dentro de las cl~ses», en la que será admitida cualquier realización que responda a esta etlqueta. Las operaciones de observación incluyen tests, entrevistas, visitas a las clases {en el caso de las escuelas), grabaciones de diálogos y procedimientos para codificar las observaciones y la utilización de datos archivados. Puede realizarse, además, una observación de los antecedentes de la situación inicial! final de los logros que pretenden conseguirse, de las aptitudes y de las aCt!tudes , así como de las diversas variables intermedias o procesadas. En el esta-

I

149

dio del diseño de una evaluacioo el ideal es designar procedimientos tan claros que otro investigador sea capaz de recopilar datos comparables. Lamentablemente, ésta no es la práctica normal. En las ciencias naturales, Cronbach afirma que los procedimientos suelen ser tan regularizados que la distinción entre la clase O y el ejemplo o tiene muv poca importancia. Por el contrario, las valoraciones del comportamiento no pueden ser demasiado regularizadas. El énfasis puesto comúnmente en la «definición operacional» consiste en designar una clase más homogénea de procedimientos. De esto se sigue que la o designada para formar parte de esa clase debe concordar con ella. Aquellos que utilizan el informe evaluativo, de cualquier forma, están a menudo más interesados en una estructura más ampliamente definida. Más que escoger un solo procedimiento para aplicar a todos los sujetos, el evaluador debe representar los intereses del cliente definiendo un dominio de las diversas actividades asociadas con el concepto que se está investigando. Por ejemplo, más que afirmar que debe valorarse la comprensión de la lectura, puede ser preferible designar unas cuantas formas distintas de comprender la lectura; todos estas tareas acaban siendo elementos de O. Cronbach subraya que la clase ti debe ser designada con mucho más cuidado que U y T, puesto que una definición vaga de las variables que deben ser valoradas es insuficiente y posiblemente conduzca a errores.

.UTOS: El dominio de aplicación Una versión más depurada de UTaS, y algo que Cronbach considera básico para su argumentación, es el desarrollo del concepto de ;'UTOS. El asterisco se pone al principio (así «estrella UTaS») porque un asterisco al final quizá podría sugerir UTa en S*. Sólo una pegueñafracción de la audiencia (si es que existe alguna) se interesa primordialmente por los UTaS que define el estudio. Se interesan más en aspectos particulares del informe. Esto es lo que Cronbach llama ;'UTOS, un concepto que difiere del original en algunos puntos. Para los interesados la evaluación tiene un valor y un propósito sólo si sirve para proporcionar extrapolaciones razonables a partir de una observación de las circunstancias de los *UTOS, con su interpretación individualista de las observaciones. Como consecuencia, si una evaluación quiere ser útil, los resultados deben reducir la incertidumbre acerca de los problemas políticos incluidos en los ;'UTOS una vez que han sido recopilados los datos (basados en observaciones). De esto se sigue también que, en la planificación de un estudio, el evaluador debe anticipar, tanto como le sea posible, los U~', T* y 0* que los clientes y las audiencias deseen conocer, y también debe hacer algunas consideraciones acerca de S~',como se muestra más abajo. La pregunta

acerca de si esto funcionará con nuestros estudiantes

se re-

:r •

--==) o

")

. ,...,.<-,:'. '

-\

.1

150

I


fiere a la designación de una U". Cronbach afirma que una diferencia de r~sultados producto de una operación de laboratorio puede no darse en las SItuaciones cotidianas de una escuela, o que una diferencia producto de una muestra nacional representativa puede no coincidir con los dis~ritos escolares ~ás pudientes o más aislados. La cuestión es que U y U" difieren y que la Importancia de sus diferencias «será más acusada cuando se tomen acciones que afecten a U"». Si la O original es limitada, las audiencias pueden interesarse en ~* y recibir una satisfacción mayor con la definición más concreta que proporcIOna. Por ejemplo, un curso de matemáticas puede apare~tar tener éxito cuan~~ O se limita sólo a las lecciones explicadas. De cualquIer forma, algunos cntlcos pueden argüir muy bien que los que han aprobado ese curso. no se defienden bien en la resolución de problemas. Entonces puede muy bIen ser adoptada una determinada valoración de O" que solucione las cuestiones adicionales del curso. Como ya se ha mencionado al principio, la audiencia de la evaluac~ón e.st~ muy interesada en si debe o no adoptarse el experimental T del estudIO onglnal. A medida que el estudio avanza, las discusiones acerca de él sugieren variaciones para mejorar el plan original. Cada una de estas variaciones se convierte en un T*. Cronbach facilita un interesante ejemplo de este fenómeno: Cuando se volvió por primera vez a la educación compensatoria, algunos centraron su atención en que UTO debía utilizarse para recopilar los datos. Unos propusieron un cambio del tratamiento: «Está muy bien informar negativamente sobre el "Head Start" (T); ¿pero acaso ello no demuestra que el tratamiento compensatorio necesita prolongarse más (Ji')?» En consecuencia el "Follow Through" fue preparado como un T* (y evaluado más tarde directamente)* Es interesante advertir que el dominio del tratamiento puede cambiar cuando las consideraciones se desplazan de UTaS a UTOS* -«incluso cuando la designación operacional de T permanece inalterala»-. Si U se convierte en U* o S en S* la frecuencia de las realizaciones cambia porque la manera en que se realiza ~n tratamiento depende de los marcos loc~les .Y de los i~plicados así como de otros factores como los ambientes orgamzatlvos o SOCIales. Así, S* puede ser un aspecto significativo de *UTOS cuando cambia la población. . Quienes interpretan los resultados de una evaluación a menudo se preguntan esto: ¿ qué diferencia implica el paso de UTOS a *UTOS? Posiblemente, el cambio no tiene muchas consecuencias «ya sea porque el fenómeno que se

"

* El Head Start y el Follow Through son dos momentos de un programade apren;"~ dizaje; el primero, de principios básicos y el segundo introduce ya en la tarea que se . trata de asimilar. [T.]

!


I

151

está estudiando es impermeable al cambio social o porque el cambio es demasiado pequeño como para representar un problema». Además, si una cuestión se investiga directamente puede presentarse con la forma de un parámetro de un UTaS para proceder a su estimación. Cronbach afirma que el parámetro puede ser un medio, un coeficiente de regresión o una proporción de casos de una categoría. Cuando las cuestiones no se investigan directamente, pueden presentarse bajo la forma de un parámetro de *UTO del que se busca una estimación. Por ejemplo, el responsable de un programa puede desear conocer el valor de un indicador concreto de la motivación de un estudiante (0*) si unas reglas concretas acerca de la educación multicultural (un T*) se han promulgado para todos los distritos escolares de un estado (U"). "UTaS, el dominio de aplicación, es un aspecto central y básico de la planificación de cualquier evaluación, que consiste en ofrecer información específica y necesaria a las audiencias.

") .~

I

') ~ ~

) ~~ ) ) ) "

) 1

La identificación de las cuestiones a investigar

) I

Cronbach afirma:

)

) Los problemas de una investigación provienen principalmente de las incertidumbres de los miembros de la comunidad que debe tomar las decisiones, o de los desacuerdos entre esos miembros, cada uno de los cuales está convencido de que su solución es la buena. Identificar los problemas más importantes es un primer paso en la planificación de una evaluación; el segundo es una distribución apropiada del trabajo. El evaluador, según Cronbach, no es un agente libre para escoger los problemas que deb.en investigarse, porque el patrocinador puede querer respuestas para determlnadas preguntas y no para otras. Y hay más. Un administrador puede no querer ajustarse a un esquema experimental por muchas razones o quizá los informantes no estén muy dispuestos a suministrar datos. Por o~ra p~rte, .l~s comunicaciones entre el evaluador y el patrocinador antes de la plan~ficaclOnpue.den hacer que el segundo acepte sugerencias para ampliar el abanICOde cuestIOnes. Se han d~scrito dos fa~es de planificación: la fase divergente, en la que se.hace una h~ta .de las pOSibles cuestiones, y la fase convergente, en la que se aSIgnan las pnondades entre ellas. En la práctica, ambas actividades se desar~ol1ansimultáneamente. Parece sensato que una agencia proponga a un patrocmador una evaluación que, antes de abordar un plan operacional, siga los p.ro~esos de planificación divergente y convergente. Los intercambios y negocla~l~~es consiguientes entre el evaluador y el patrocinador conducirán a una reVlSlOnde la lista de cuestiones. El proceso de rectificación continuará inevitablemente incluso cuando el trabajo en sí haya empezado.

) I

)

)

,~) .) ¡

,) .)

,

-( :~

..( .,-~

-(

1 -1

(~

'f 1

152 I


I I

I

i

La fase divergente Esta fase infunde conciencia al evaluador y al patrocinador acerca de toda la gama de cuestiones posibles que deben ser tenidas en cuenta, por lo menos brevemente, en una investigación. ORIGEN DE LAS CUESTIONES. Mientras planifica lo que los individuos o grupos plantean como cuestiones importantes para el estudio, el evaluador debe pensar en atender una amplia variedad de informadores. Como consecuencia, las omisiones serán resultado de las elecciones informativas y no ~e la visión restringida del patrocinador, el administrador o quien tenga la pnncipal responsabilidad. Cronbach afirma que «el evaluador se ocupa de producir algo -información- que tenga valor para los consumidores y por lo que están dispuestos a pagar». Así, la decisión acerca de qué producto hay que lanzar es de carácter económico y en ella intervienen todos los aspectos de la oferta y la demanda. El evaluador tiene ciertas ventajas sobre el patrocinador a la hora de enfrentarse a las cuestiones que deben resolverse: Está libre de prejuicios. El evaluador puede estar en mejor posición que el patrocinador para recopilar y apreciar las cuestiones más actuales de los círculos políticos y no políticos. Gracias al conocimiento de otras investigaciones, el evaluador puede reconocer los desafíos y las contrainterpretaciones a las que está sujeto el estudio, y así sugerir controles específicos necesarios 'para reforzar la razonabilidad de sus respuestas. El evaluador conoce la situación de su profesión y puede informar al patrocinador (o al administrador) sobre cómo una cuestión determinada puede responderse adecuadamente sin salirse del presupuesto. De cualquier manera, al final, es la estimación del patrocinador acerca de la relevancia política y administrativa de las cuestiones la que sirve de guía al evaluador. Lo cierto es que el patrocinador no debe tomar solo este tipo de decisiones.

, l

TRATAMIENTO y PROCESOS. En el área de los serVlClOSsociales, el lugar que ocupa la evaluación no debe estar sujeto a modificaciones que sirvan a los propósitos del estudio. En otros casos, los servicios están abiertos a la manipulación; los tratamientos deben ser adecuados para proporcionar una comprobación directa de una propuesta renovadora. En cualquier caso, como afirma

1

I

I


I

153

SUCHMAN(1967), el evaluador necesita una serie de tratamientos que puedan concebir el valor de una investigación, o localizarlo allí donde esté realmente. Tanto el patrocinador como el evaluador deben estar enterados de las diferentes p~esiones ejercidas por .10s grupos partidistas, que sugerirán ciertos tipos de cuestlOnes para los tratamIentos. Otras cuestiones pueden ser sugeridas, de una manera provechosa para el estudio, por personas apartadas del centro de la acción política. No deben existir desavenencias a la hora de formular las cuestiones. Más tarde, la realidad política planteará algunas cuestiones mucho más apropiadas y útiles que otras, pero esto debe ser discutido en la etapa convergente. Detrás de cualquier propuesta programática existen dos conceptos: uno se refiere al modo en que las condiciones sociales existentes y los servicios ya ofrecidos se combinan para producir un resultado insatisfactorio, y la otra se refiere al modo en que un servicio alternativo puede producir un resultado más satisfactorio. Cronbach, por lo tanto, recomienda un modelo de intervención en el que sus diversas actividades se dispongan en forma de tablas o de gráficos. Esto, en sí mismo, debe evidenciar las cuestiones que resultarán valiosas cuando el proceso de intervención y sus efectos queden clarificados por el proceso evaluativo. Debe destacarse, de cualquier manera, que el proceso de hipótesis y las cuestiones particulares que deben formularse (para la evaluación) serán distintos en cada variante del programa. Esto resulta cierto si las variaciones han sido planificadas o reconocidas al tomar forma las distintas realizaciones. La «intensidad» de la intervención debe estar incluida en la planificación. ¿Debe prepararse a un equipo numeroso para satisfacer esta necesidad? La intensidad de la intervención puede también centrarse en cuestiones relativas a las etapas intermedias del programa que se está preparando. Si los result~dos finales no son los que el cliente esperaba o había anticipado, las evidenCIasde estos procesos y etapas intermedios pueden resultar útiles. Para controlar y conservar e~tas evidencias, se debe preparar y emplear a un equipo numeroso para que tntervenga en el estudio. RES~LTADOS .. Las metas fijadas por el patrocinador o por los que propon~n la tnterven~lón son una significativa fuente de cuestiones para la fase ~lvergente. La ltsta debe incluir metas propuestas por otros a los que se haya tnterrogado acerca de la evaluación, y también resultados intermedios. Cronbach advierte que incluso una lista bien especificada de metas resulta necesariamente incompleta com9 fuente de cuestiones si no presta atención :a los re.s~l~ados en los que no se. ~abía pensado. El evaluador debe, por lo oto, dmglr una parte de su atenclOn a los efectos secundarios, igual que hace c?n las metas. Resulta también importante advertir que en el contexto educaCIOnalel progreso no tiene nada que ver con el puesto que ocupe el estudiante en la escala. Así, la intención global de un programa es «alcanzar sus metas»

------."> ] ") 154

I


y, para ello, debe ser tratado prudentemente por el evaluador. A la hora de planificar un estudio, In única pregunta razonable es: ¿qué resultados debemos alcanzar? Si el nivel obtenido es satisfactorio o no, se sabrá cuando haya terminado la evaluación, «mediante un proceso de negociación política». Incluso aunque el personal de la evaluación deba exigir afirmaciones claras acerca de los distintos resultados que los planificadores del programa pueden tener en la mente, en la etapa divergente es importante recordar que una definición y valoración férreas de las variables, tales como las consecuencias afectivas, no debe perderse nunca de vista. . Cronbach afirma que la lista divergente debe incluir resultados conceb1dos para ser examinados sólo cuando la evaluación haya sido terminada y p~esentada. Dice que, a menudo, resulta adecuado acumular datos para que una Investigación posterior pueda ofrecer un claro p~norama de las con:ecuen~ias q~e pueden derivarse a largo término. Es necesano que las grandes dlferenc1as eXiStentes entre los tratamientos no se repitan en las etapas posteriores. Una parte importante de la planificación son las discusiones que mantiene el evaluador con personas que tienen un concepto determinado del programa, discusiones relativas a quiénes sienten esperanza o temor, o a qué tipo de efectos esperan. Debe tenerse en cuenta la amplia gama de sectores de la comunidad que toma las decisiones, con el fin de que el evaluador pueda aprender a contemplar el programa desde el punto de vista de los distintos (y enfrentados) sectores de la comunidad, incluyendo los profesionales que podrían intervenir en el programa, si es aceptado, y los ciudadanos que se servirían de él. Conocer las esperanzas y temores de estos sectores es esencial. Además, el evaluador tiene la responsabilidad de incluir en el panorama final estos valores que no disponen de voz política propia. La meta del evaluador debe ser consultar fuentes divergentes y también aquellas que no se hacen oír fácilmente.

La fase convergente

!;

La fase convergente insiste en la necesidad de que sea una amplia diversidad de individuos y grupos la que formule las cuestiones. Algunas cuestiones deben plantearse por razones prácticas. Cronbach afirma que existen, por 10 menos, tres razones para reducir la serie de variables tratadas sistemáticamente en una evaluación: 1. 2.

El coste: siempre debe existir un presupuesto límite. El alcance de la atención del evaluador: a medida 'que un estudio se hace más complicado, se hace también más difícil de administrar, la masa de información resulta demasiado extensa para ser tenida en cuenta y, canse-


3.

I

155

cuentemente, mucha información se pierde en el curso de la reducción y síntesis de los datos. El alcance de la atención de la comunidad que toma las decisiones: muy pocas personas desean saber todo 10 referente a un programa, y, claro está, muy pocos tienen tiempo para dar todas sus opiniones al evaluador.

La fase divergente, por 10 tanto, designa qué es 10 que posiblemente puede tener valor para una investigación. La fase convergente se dedica a decidir qué resulta más aceptable de 10 incompleto. El evaluador puede invertir su tiempo y su trabajo en el estudio de una cuestión concreta (o de un plan para hacerla) cuando existan las siguientes condiciones:

1. Una gran incertidumbre 2. 3. 4.

acerca de la respuesta. Una probable abundancia de información. Un bajo coste de la investigación. Un alto grado de influencia, por su parte, sobre la elección de la información (el término «influencia» se comenta más abajo).

') ) ,

")

~ I

,~ (

)

: ') ) ) .)

,)

) )

Cuando ya se ha realizado una primera lista de cuestiones, debe plantearse en términos de U, T yO, que resulten significativos para los que participan en la toma de decisiones. Además, la lista debe contener cuestiones acerca de las condiciones artificiales que arrojan una luz indirecta sobre problemas prácticos. En el proceso convergente, de cualquier manera, algunas de estas cuestiones resultan escogidas para convertirse en UTO del estudio, tras haber sido examinados detenidamente. INFLUENCIA. Cronbach define la influencia como el «peso de una determinada incertidumbre en el proceso de toma de decisiones». Al planificar una evaluación que deba ejercer alguna influencia en el futuro, un evaluador, junto con el patrocinador o el administrador, puede necesitar saber qué tipo de informaciones influyentes pueden aparecer sobre un problema concreto. Cuando el estudio haya terminado, puede juzgarse la influencia que ha ejercido sobre la comunidad la evidencia presentada en el informe. Un problema al que la comunidad entera le concede mucha atención ejercerá mucha influencia. También puede ejercer influencia si resulta signficativo para un sector interesado o para un grupo no comprometido cuyo apoyo u oposición puede ser crucial. Un problema que influye en muchas decisiones, como en las de «ir-o-no-ir», tiene más influencia que otro cuya resolución sólo afecte a detalles menores del plan. . La influencia, por 10 tanto, tiene dos aspectos: la importancia del problema o elección sobre los que se basa la evidencia, y el peso que la evidencia debe resistir. El evaluador debe tener en cuenta cuánta influencia puede ejercer cada una de las soluciones posibles de un problema.

,)

.)

) ,)

\f I~

() ¡

:) )

~j ,) ¡

..J I

() i

,.J ')

'J ()

-----------~"S... 156

I


Cronbach afirma que el evaluador conoce explícitamente los valores de todo lo que toma parte en una evaluación examinando su influencia. Nada de lo que aparece en la lista divergente de cuestiones merece atención si los resultados no tienen valor alguno, al menos para ciertas tomas de decisiones. Cosas que sólo son «bonitas de conocer» no justifican la inversión de recursos para una evaluación. Hablando de la incertidumbre previa, Cronbach considera que, cuando las cosas están equilibradas, la atención debe centrarse en la cuestión de qué incertidumbre es la mayor; esto es, cuando dos cuestiones parecen ser iguales ante la investigación, hay que emplear muchos recursos para dilucidar la cuestión de cuál de ellas despierta más la incertidumbre de la comunidad. De acuerdo con esto, el evaluador debe elaborar una escala de prioridad para el trabajo investigativo: 1.

lo-,

2. 3. .~

.

4.

Si una cuestión tiene mucha influencia y es causa de una gran incertidumbre merece un esfuerzo que elimine esa incertidumbre. Si la influencia es poca y la incertidumbre mucha, el esfuerzo está justificado. Si la influencia es mucha y poca la incertidumbre previa, debe ser recopilada información incidental. Si la influencia es poca y la incertidumbre también poca, el investigador no debe hacer más que mantener abiertos los canales para recibir información incidental.

Planificación de la comunicación

La utilidad de los resultados La utilidad de una evaluación depende del grado en que los miembros de la comunidad que toma las decisiones comprendan los resultados y los consideren razonables. Cronbach también cree que la información se pierde invariablemente al pasar de la observación al informe. Algunas observaciones nunca son comunicadas por el observador al resto del equipo, algunas se pierden en el proceso de resumen codificador y estadístico y otras se pierden porque no todo puede ser incluido en un informe. Cuando ya se ha escrito un informe, la información pasa a través de distintos filtros, mientras algunas informaciones quedan excluidas o alteradas (además, el patrocinador puede suprimir algunas conclusiones). Y es más, la audiencia lo asimila todo selectivamente y puede tender a simplificar la información o asimilar información nueva a la luz de viejas creencias, en lugar de corregir esas creencias. Cronbach advierte que una audiencia dispone de un tiempo limitado y de

r.


I

157

muchos problemas y programas sociales que exigen su atención. Son muy pocas las personas que leen en profundidad un informe evaluativo sobre una cuestión pública. Además, muy pocos pueden comprender toda la sólida serie de procedimientos y análisis técnicos. La cuestión más importante es que la tarea informativa del evaluador es diferente de la que aborda comúnmente el científico. El científico se dirige a una audiencia selecta que comparte su lenguaje y su estructura mental. El evaluador, por el contrario, habla a audiencias numerosas y dispersas, muchas de las cuales reciben sólo informaciones secundarias y suavizadas. El evaluador que cree que una audiencia ha malinterpretado un informe se encuentra con que es muy difícil, e incluso imposible, replicar de algún modo. Cronbach plantea dos preguntas: 1.

¿Qué es lo que se puede incluir en un informe para facilitar la comprensión del usuario?

2.

¿Qué supone esto para las primeras operaciones de la evaluación?

La comunicación directa El evaluador debe considerar la posibilidad de incrementar la comunicación directa. Esta comunicación puede ser comparativamente informal a causa de la audiencia que debe abarcar y porque su conocimiento público debe ser tan oportuno como sea posible. El evaluador afirma que quizás el informe más impactan te es la conversación informal, ya sea en la oficina del legislador o alrededor de la mesa de conferencias. El evaluador, según Cronbach, desempeña un papel muy parecido al del periodista que investiga asuntos de interés público, juzga qué es lo que merece la atención pública y lo presenta de una forma que atraiga la atención. Las personas que forman parte del equipo evaluativo tienen una rica experiencia y u~a oportunidad razonable de intercambiar puntos de vista con el equipo y los mformadores. Gozan, pues, de una buena posición para llevar a cabo la tare.a infor:ua.tiva tanto en un sentido periodístico como investigativo. Si el eqUIpo se lImIta a sí mismo a la realización de informes formales, deja a otros la difusión de su mensaje. Los evaluadores sospechan comprensiblemente de las limitaciones de sus i?formes. Esta clase de tensión se resuelve únicamente cuando el sistema polítICOaclara el papel que deben desempeñar las evaluaciones. En la concepción de Cronbach, se sirve mejor al interés público mediante acuerdos institucionale~ .que permiten a los evaluadores hablar directamente con todos los que partICIpan en las decisiones acerca de los programas. Es importante, por 10 t~t?, que por lo menos algunos miembros del equipo evaluativo dominen las tecn¡cas de la comunicación informal. Cronbach está de acuerdo con Stake,

----'] ')

,

) 158

I

Planificación evaluativa según Cronbach I


159 I~

que recomienda, para la planificación de informes evaluativos en comunidades grandes, un método que emplea a menudo formas de comunicación poco convencionales, como las publicaciones, las conferencias y reproducciones dramáticas del programa como apuntes y álbumes de recortes, para llevar el mensaje a las casas. El objetivo es comunicar a la audiencia algo sobre el programa y los que participan en él, y no sólo un abstracto resumen. Es necesario que el evaluador que prevé la necesidad de una información veraz, empiece muy pronto a acumular material que proporcione color y realismo a lo que, de otra manera, será sólo un relato escueto y poco convincente. Cronbach cree que es provechoso para los observadores archivar relatos de este tipo que revelen anécdotas ocurridas en las clases junto con los comentarios de quienes participan en el programa. Estos memorándums no deben estar bien presentados, sino proporcionar un contexto y una continuidad adecuados. Deben ser más objetivos que interpretativos. En opinión de Cronbach, das anécdotas ayudan maravillosamente al interés y la credibilidad de los informes». El informe, ya sea en su información anecdótica o en las valoraciones formales y estadísticas, debe ser altamente selectivo. Tanto los informes más cortos como los más largos, ya sea con un mínimo contenido técnico o quizá con un gran tratamiento, pueden servir a diversas audiencias. Incluso el informe más completo puede ser razonablemente sintetizado en algunas breves afirmaciones, omitiendo análisis y datos que no parezcan poder influir en las decisiones. Sin embargo, el informe completo puede presentar algunos puntos para ilustrar cualquier diferencia, así como también aspectos representativos de la categoría no diferencial, obviando así la inclinación que sienten algunos evaluadores por ahogar al lector con un despliegue de todas las diferencias.

La extrapolación de los resultados Cronbach cree firmemente que las audiencias que toman las decisiones tienen el derecho y la'necesidad de extrapolar, tanto como puedan, los resultados de cualquier estudio. Así, afirma: Sin duda, no es suficiente terminar un informe evaluativo con la advertencia de rigor: «Los resultados de este informe son válidos para las condiciones y la población que se ha estudiado. Es necesaria otra investigación para extender las conclusiones a otras condiciones y poblaciones.» El mundo debe ampliar las conclusiones para continuar funcionando, y el evaluador goza de una buena posición para saber cuáles son las ampliaciones posibles. El evaluador puede, por lo tanto, ofrecer predicciones alternativas, consistentes en distintas series de opiniones. Esto puede conducir a promover discusiones en las que salgan a la luz interpretaciones encontradas.

Sugerir que el evaluador debe llevar la interpretación tan lejos como le sea posible, ~on. la convenient.e precaución, ratifica lo acertado de conservar apuntes descnptIvos comparativamente ricos. Cronbach subraya el valor de revalorar periódicamente la planificación del estudio, con el fin de prestar la debida atención a las sorpresas y problemas consiguientes. Es conveniente dilucidar los resultados intermedios involuntarios que pueden afectar al futuro del programa antes de continuar las operaciones investigativas acerca de ese programa.

~ ')

\ ~ ~ .~

,) El pronóstico de la evaluación

'-'::'~fo'.'r.i:o .•

'1,.-,;'.

'+-.......-"

'':'!'~-J.~''''-.,~

~IN"":'

tJr:!\I:;:

Flexibilidad del diseño

)

'.,'.

f.4Cl.",,'

.')

Una buena parte del libro de CRONBACH(1982) trata de la elaboración de controles utilizados para fortalecer las deducciones y sacar algunas conclusiones más razonables. Hasta cierto punto, la lista de controles que aparece en el libro es una especie de lista de control para el evaluador. Cronbach afirm~ que algu~os de estos ,con.troles que fortalecen las deducciones son de muy baJO cost:, mcluso en. termmos de recursos o aplicabilidad. Especificar qué s~ lntenta estudlar, por ejemplo, es casi gratis. Llegar a esa especificaClOndeja al evaluador frente a alternativas que, de otra forma, quizá le hubieran pasado inadvertidas. '~ronbach continúa diciendo que quizá nunca exista un programa social medIante el cual todos los recursos evaluativos deban someterse a un estudio estrechamente controlado que fortalezca las deducciones del más limitado de los UTa. Sin embargo, en muchos casos, los subestudios estrechamente controlados pueden ser útiles en determinado trabajo evaluativo. En otros casos, puede resultar prudente estructurar una investigación de manera que se llegue a una buena deducción, y realizar estudios intensivos de los lugares donde se encuentran las unidades por medio de muestras y a través de métodos naturalistas e incluso i~?resionistas «que permitan al investigador aprender algo acerca de las actIVldades y procesos que no se han previsto». Como se ha a~rmado al principio, puede resultar posible combinar la comparación estadís~lca.~e los cálculos experimentales y de control, con estudios intensivos de md1V1duoso grupos por medio de métodos naturalistas.

~!o

Las evaluaciones y la política: limitaciones Cronbach insiste en el hecho de que las evaluaciones defraudarán blemente si de ellas se espera que resuelvan algún conflicto político:

')

inevita-

')

) ) ) ) )

)

~ ,) ( ) ¡

() ,)

, r" "

r

160

('

I

Evaluación sistemática Planificación evaluativa según Cronbach

La razonable aspiración del evaluador es producir información que la observación menos sistemática del programa no puede producir, o información que sea más verosímil, y por lo tanto más influyente, que la de los informes si. milares producto de observaciones menos sistemáticas. Una investigación limitada intenta hacer esto ofreciendo buena información acerca de unas pocas cuestiones importantes; para conseguir el mismo objetivo, una investigación más amplia produce una información más extensa pero de alguna manera menos segura. La elección de una u otra opción debe basarse en consideraciones acerca de la influencia de las decisiones.

( ('

t (

,1 . f

En otras palabras, el plan evaluativo que resulta demasiado amplio y, por

"

10 tanto, demasiado superficial para un contexto determinado, puede ser com-

(

1 (

1,

f

, (

~

f ( ,

()-

~

.

"

1]

f '1'

:¡ .

pletamente apropiado para otro. El estudio que se centra estrechamente en un objetivo y obtiene una información coherente pero limitada, puede resul. tar adecuado para un contexto pero totalmente inadecuado para otro. Cronbach consideraba las evaluaciones como investigaciones a corto plazo que se proponen aclarar decisiones correspondientes a la «agenda política actual o que están a la vuelta de la esquina». El valor de una evaluación no se limita únicamente a su contribución a este tipo de decisiones. La sociedad aprende de su experiencia con el programa y aún más claramente del servicio prestado por la evaluación. La evaluación contribuye a fomentar la reflexión acerca de los problemas de un determinado medio social, y así genera nuevas ideas y sentimientos a partir de los cuales aparecen posibles áreas de cambio y métodos de apoyo. El valor de una evaluación, por 10 tanto, no se limita a su influencia sobre el destino del programa que se estudia. Cronbach subraya que cuanto más aclare la evaluación el fenómeno, más duradera será su influencia en 10 que se refiere a la comprensión de los problemas y a la estructura de futuros programas.

Otras consideraciones Cronbach considera que la evaluación tendrá una gran trascendencia cuando las planificaciones y estudios pongan el énfasis en el valor de los éxitos y fracasos, más que en la simple valoración de los objetivos. Son necesarias nuevas intuiciones, y, por 10 tanto, el investigador no debe limitarse a las cuestiones que identifique de antemano, aunque sean importantes. Es también muy importante para el evaluador no retrasar el informe hasta que haya solucionado todos los problemas que debía dilucidar. Por el contrario, el evaluador puede necesitar acudir a la comunidad que toma las decisiones antes de que el tratamiento haya seguido todo su curso. Esta es una razón por la que la estructuración, la planificación, la observación y la interpretación (destinada a quienes toman las decisiones) deben discurrir más simultáneamente que sucesivamente.

I

161

Por razones similares, Cronbach sugiere que el plan evaluativo debe permitir que el personal tenga tiempo para la reflexión en cada etapa del trabajo. Esta reflexión debe impedir, por ejemplo, que la labor se centre prematuramente en delicados. ~ complicados problemas sociales. Y puede ofrecer a quie. nes toman las declslOnes buenos consejos que de otro modo no serían po. sibles. Cronbach cree que una descripción que favorezca un estilo concreto de evaluación o ponga el énfasis en ciertos controles, es de una aplicabilidad limitada. Según est~ teoría, los evaluadores deben acudir a los juicios prácticos acerca de cuestlones sustanciales y políticas, así como metodológicas. No deben emitir juic~os sin asesoramiento; deben aliarse con los patrocinadores, los colegas profeSIonales o las partes políticamente interesadas: El evaluador que utilice este sistema de localizar y sopesar adecuadamente las cuestiones. :valuativas necesita una gran preparación, más amplia de la que .sue1e recIbIr. Las teorías políticas, filosóficas y organizativas pueden ser tan Importantes, a la hora de planificar una evaluación potencialmente influyente, como el conocimiento de las estadísticas y de la llamada teoría del desarrollo del niño. Como .~ntes y~ ~icieron Stufflebeam y Stakes, Cronbach afirma que cuando la evaluaclOn se dIvIde entre los miembros de un equipo, el equipo debe trabajar .como una sola uni~ad si desea que aparezcan las intuiciones. Aunque los mlem~ros de un eq~lpo deben conocer a fondo los aspectos principales del estudl.o; los que estan en el centro del proyecto deben asumir la mayor res~onsablJ¡dad a la hora de establecer las prioridades, interpretar las obser~aCl~nes y recopilar experiencias de primera mano de los clientes y otros ImplIcados. De esta manera, el equipo, considerado como un todo, se situará en la pe~spectiva. correcta e interpretará adecuadamente los datos computados y. otras mformaclOnes .. Es necesari?, pues, que algunos miembros del equipo dl~pongan de observaCIones de pnmera mano y las comuniquen a los otros mIembros. . Fina~mente, Cr~nbach afirma que la evaluación puede resultar peligrosa SI la socIedad restnnge los programas que los evaluadores condenan y ponen e.n marcha. aquell~s que recomiendan. Los evaluadores prestan un s:rvicio valIoso y satlsfactono, descubriendo hechos y relaciones que a los observadores ~asuales. les pasan por alto. Cronbach cree que los evaluadores tendrán una InfluenCIa mayor en los años venideros, con el perfeccionamiento de su arte y con la progresiva confianza de la sociedad «en los estudios sistemáticos que ofrecen para proporcionar información».

------_ •...

) ")

162

I

~ Evaluación .sistemática

a)


b) e)

Este test de conocimientos contiene nueve preguntas con muchas respuestas para escoger una. El propósito de estas preguntas es determinar si ha alcanzado el conocimiento suficiente de los objetivos de conocimiento de la unidad. En cada caso, rodee con un círculo la letra que usted considere que incluye la respuesta o respuestas más razonables. Luego debe compararla con la solución que le proporcionemos después de cada pregunta. Cuando haya contestado a las nueve preguntas, le recomendamos que valore su trabajo y utilice esta valoración como base de un estudio más profundo de la unidad.

d)

a)

b) e)

d)

1.

Las evaluaciones, según Cronbach,

deben basarse exclusivamente en métodos establecidos y regularizados, provocan inevitablemente cambios en las instituciones sociales, desempeñan una función política, deben ser planificadas sólo en términos generales.


d)

Es incorrecta porque Cronbach cree que una evaluación debe ser considerada un modo de aclarar problemas complejos y puede utilizar diversos métodos para recopilar la información (algunas se oponen a los métodos normales). Es incorrecta porque a veces las consideraciones políticas pueden ser más influyentes que la información que se desprende del estudio, y muy frecuentemente contribuyen a mantener el status qua. Es incorrecta porque Cronbach subraya la necesidad de u~a planificación cuidadosamente elaborada; sin embargo, hay que hacer concesiones a la flexibilidad de los procedimientos una vez haya empezado la investigación.

PREGUNTA

debe hacerse

2.

Cronbach

~

considera que la elección de una planificación

I

")

~

) ~

) ') ')

b)

e)

b)

basándose en los deseos del cliente, llevando al máximo la objetividad, los controles, la regularización y la estabilidad del proceso información-recopilación, promoviendo un debate profesional acerca de los resultados del estudio llevando al máximo la influencia potencial de la evaluación en los asun: tos sociales.

según Cronbach


Respuesta correcta. Debe usted haber señalado la «e». Cronbach considera que es algo inherente a las evaluaciones que las motivaciones políticas influyan en su desarrollo e intervengan en la información consiguiente.

a)

~

evaluativa

Respuesta correcta. Debe usted haber respondido «d». Cronbach cree que la mejor planificación es la que se propone incrementar el beneficio social de la evaluación.

a) PREGUNTA

I

163

Planificación

Es incorrecta porque mientras el cliente es quien encarga la evaluación, la planificación es responsabilidad del evaluador, que puede acudir a los expertos de su equipo y satisfacer las necesidades informativas de una amplia audiencia. Es incorrecta porque Cronbach cree que las planificaciones deben ser «procesos reflexivos y desarrollados» y no, por lo tanto, límites para construir modelos. Es incorrecta porque aunque el debate puede darse, y puede resultar muy útil, el principal propósito de la planificación (y del estudio consiguiente) es influir en los asuntos sociales.

) ) )

i ) )

) ) )

PREGUNTA 3. Si las comunicaciones de la evaluación son su producto más válido, ¿cuál de las siguientes preguntas no debe ser planteada ante la evaluación ya terminada?

a) b)

¿Todos los sectores de la audiencia reaccionan ante la evaluación? ¿La consideran creíble?

e)

Las preguntas más significativas para ellos, ¿han sido respondidas, en la medida de lo posible? ¿Existe un consenso acerca de los resultados alcanzados?

d)

Respuesta correcta. Debe usted haller señalado la «d». Existe a menudo una justificable dificultad (cuando no una imposibilidad) de alcanzar un consenso, porque quien toma las decisiones es toda una comunidad y no un solo individuo. Respuesta~ incorrectas. Las respuestas «a», «b» y «e» son incorrectas, porque son esenCIales para el éxito de una evaluación.

~

) ) ;

) )

)

i.) I

-(

f .? ~ )

, (

f f (

( (

( ( (

(

( ( ( ( (

164

I

4. ¿Con cuál de las siguientes afirmaciones estaría Cronbach, probablemente, de acuerdo? PREGUNTA

Sólo los experimentos reales, y sus aproximaciones, constituyen modelos aceptables de evaluación. b) 'Una evaluación utiliza distintos estilos de investigación de acuerdo con las circuns tancias. e) El estilo evaluativo naturalista es el más valioso. d) Generalmente, debe ser utilizado el método experimental, y no el naturalista.

a)

Respuesta correcta. Debe usted haber señalado la «b». La planificación evaluativa, según Cronbach, debe producir intuiciones a partir de evidencias anecdóticas y de estudios particulares, antes de pasar a realizar tests sumativos basados en los análisis de los datos recopilados. Insiste en que una mezcla de estilos evaluativos puede ser empleada en un solo estudio.

(


(

a)

(

( ( (

y e) Son incorrectas por las razones expuestas más arriba en favor de la respuesta correcta. d) Incorrecta. Aunque la monografía de Cronbach tiende a conceder más importancia a la planificación de experimentos que a los estudios de casos concretos o al método naturalista, nunca llega a decir, sin embargo, que las circunstancias de un programa que va a ser evaluado puedan deter. minar los estilos evaluativos que habrá que utilizar y su importancia.

( ( (

(

t l

t ( (

(

l

, (.



les. La respuesta «d» indica que los acontecimientos en los lugares en los que se desarrolla el programa.

PREGUNTA

tJ)

b) e)

d)

b) e) d)

Respuestas correctas. Debe usted haber señalado «a» y «d». La respuesta «a» indica que existe un consenso en 10 que se refiere a la opinión de que, para todos los servicios e instituciones, es necesario algún tipo de evaluación, puesto que incluso los mejores fracasan cuando cambian las condiciones socia-

deben ser investigados

6. La relación entre los conceptos de UTO y uto consiste en que

cualquier uto observado puede entrar en el dominio de UTO si le inte. resa al evaluador, la distribución de uto dentro de UTO tiene poca importancia para el investigador, U, T y O, y u, t Y o son elementos casuales, UTO siempre está totalmente representado por cualquiera de sus uto.

Respuesta correcta. Debe usted haber señalado la «a». Si UTO es el universo de las observaciones admisibles, abarcará u, t y o cuidadosamente defi. nidas y seleccionadas. Respuestas incorrectas b)

c)

PREGUNTA 5. ¿Con qué dos de estas afirmaciones estarían de acuerdo tanto los evaluadores humanísticos como los conductistas científicos?

Los servicios e instituciones sociales deben ser evaluados porque rara vez desempeñan sus funciones tan bien como podrían. El evaluador debe concebir situaciones controladas que le sirvan para sus experimentos. Los tests sumativos son esenciales. Las evaluaciones deben ser empíricas.

165

Respuestas incorrectas. Las respuestas «b» y «e» son incorrectas porque ambas afirmaciones se refieren sólo a las posturas adoptadas por los evaluadores de la escuela conductista/ científica.

d)

a)

I

Es incorrecto porque el orden de distribución de uta dentro de UTO está relacionado (tanto como sea posible) con los intereses del investi. gador. Es incorrecta porque sólo u, t y o son elementos casuales; UTO es el universo. Es incorrecta porque cualquier uto nunca puede representar totalmente un UTO, aunque a través de un muestreo representativo una evaluación puede legítimamente deducir, de los resultados de uto, los posibles resultados de UTO.

PREGUNTA 7. Aunque un evaluador considera que 10 que dice la gente es una parte de la situación que debe investigar, ¿cuál de las siguientes fuentes, según Cronbach, define mejor las cuestiones que debe plantear el estudio?

a) b) c) d)

Las instrucciones del cliente o del administrador del programa. Todos los que están estrechamente relacionados con el programa (por ejemplo, maestros y estudiantes, en el caso de una escuela). Las dudas de los miembros de la comunidad que toma las decisiones o las que surgen de los desacuerdos entre estos miembros. La experiencia del evaluador y la observación de la situación.

')

') ')

166

I



Respuesta correcta. Debe usted haber respondido «e». Según Cronbach, estos grupos, o circunstancias, generan las cuestiones más p~r.tinentes: ~os que toman las decisiones porque son ellos los que deben decidir el destIno del programa, y los desacuerdos porque la polarización de opiniones descubre problemas que necesitan ser aclarados y examinados. Respuestas

incorrectas

b)

d)

particular o a la desviación. . Es incorrecta porque el evaluador debe buscar cuestlOnes (en la etapa de la planificación) procedentes de la gente del lugar; aunque su misión es generar cuestiones, se excedería en su autoridad profesional si todas las cuestiones del estudio fueran de su invención.

a)

e) d)

"I

a) El evaluador contacta con una amplia gama de personas potencialmente b) e)

d)

interesadas y les pide que valoren la importancia de los requisitos del cliente, relativos a una información específica. El evaluador busca la más amplia gama posible de cuestiones para estudiarlas, aunque sea brevemente, como focos de la investigación. El evaluador se esfuerza por identificar a todas las audiencias importantes y estimular su interés hacia la evaluación. El evaluador tiene ciertas ventajas sobre el cliente (o clientes) por conocer las cuestiones que deben ser respondidas, y así poder fiarse solamente de su propio juicio profesional.

Respuesta correcta. Debe usted haber seleccionado la «b». Durante la fase divergente, el evaluador debe mantener despiertas tanto su mente como la de sus clientes ante todas las posibles fuentes de cuestiones que pueden resultar importantes para los problemas y dudas que el estudio evaluativo debe intentar clarificar a quienes toman las decisiones.

') ')

Es incorrecta porque Cronbach insiste en que, durante la fase divergente, debe exigirse, dentro de 10 posible, al personal más importante que proponga cuestiones, y no sólo que valore las cuestiones del cliente. No es la mejor respuesta. La afirmación es exacta pero incompleta, puesto que no especifica que debe estudiarse una amplia gama de cuestiones. Es incorrecta. Aunque el evaluador puede disfrutar de ciertas ventajas sobre el cliente (o clientes), que deben utilizarse para reforzar la fase divergente, éstas no constituyen una definición de dicha fase.

')

') ')

') ')

) ')

PREGUNTA

9.

Según Cronbach,

la utilidad de una información depende

sobre todo de a) b) e) d)

PREGUNTA 8. ¿Cuál de las siguientes afirmaciones es más coherente con la definición cronbachiana del papel del evaluador durante la fase divergente

de recopilación de cuestiones?

167


a) No es la respuesta más adecuada. Aunque las opiniones de los clientes

y administradores deben ser tenidas en cuenta, sus ?erspectivas, tomadas individualmente, pueden limitar y desviar el estudlO. No es la mejor respuesta. La opinión de los que están más estrechamente relacionados con las operaciones del estudio, aunque necesaria y posible. mente muy valiosa, puede conducir también a una perspectiva demasiado

I

el grado en que los miembros de la comunidad que toma las decisiones estén enterados de los resultados y los consideren creíbles, hasta qué punto el evaluador aumente la posibilidad de una comunicación directa con quienes toman las decisiones, hasta qué punto el informe final esté libre de contenidos técnicos la cantidad de extrapolaciones válidas, enteramente distintas de l~s extrapolaciones verosímiles, que quienes toman las decisiones pueden extraer de los resultados.

Respuesta correcta. Debe usted haber señalado la «a». Esta afirmación subraya los dos factores que 'Cronbach considera esenciales para que una evaluación sea útil, a saber, las buenas comunicaciones de los resultados y su credibilidad a los ojos de la comunidad que toma las decisiones. Respuestas incorrectas

) ) ) )

) )

) ) ) ) )

) )

b) e)

d)

No es la mejor respuesta, porque es sólo una faceta de la utilidad de una evaluación. Incorrecta. Aunque Cronbach afirma que, a menudo, una jerga demasiado técnica puede malograr la utilidad de un informe final, un cierto contenido técnico puede ser particularmente apropiado si el informe se presenta bajo diferentes aspectos. No es la mejor respuesta. Aunque Cronbach considera que los evaluadores deben aceptar las ampliaciones verosímiles de las conclusiones, tal como deben también hacerlo quienes toman las decisiones, la posibilidad de esta extrapolación dependerá de la naturaleza de los procedimientos y resultados de la evaluación en cuestión.

) ) )

) ) ) ) ) ) )

, (

f ( ( (

( ('

168

I

PuNTUACIÓNDEL TEST DE CONOCIMIENTO. Cuando haya terminado el test de conocimientos, cuente las respuestas que ha acertado. Un total de 8 o 9 indican un buen dominio del material. Un total de 6 o menos es insuficiente: le recomendamos que relea la unidad, concentrándose en sus puntos más dé.

( ( (i

<' ( ( (

( ( ( ~ {

( (

•

(

• •

b)

169

Es el centro de las «actividades científicas», basadas en observacio. nes reales e interpretaciones razonadas.

El evaluador como educador: 1.

Ejercicios prácticos 2. 3.

Este apartado contiene dos cuestiones prácticas, que determinarán su como prensión de las distintas concepciones de Cronbach acerca de la evaluación. Puede, si 10 desea, relacionar el sistema y la teoría de Cronbach con situa. ciones reales en las que intervenga una evaluación. O quizá prefiera relacionar los conceptos de Cronbach con una situación hipotética o, como alternativa £nal, solamente explicar el pensamiento de Cronbach relacionándolo con dis. tintos temas prácticos. Después de cada ejercicio hay una lista de puntos que, para nosotros, deben formar parte de una respuesta apropiada. Una revisión de estos puntos puede ayudarle a valorar su trabajo. Quizá desee entonces releer las partes más importantes de este capítulo, habiendo realizado ya el ejercicio, para obte. ner una valoración más completa de su respuesta.

4. 5.

e)

a)

La intención de realizar la «mejor planificación», incluyendo las «activi.

b) e) d)

dades científicas». El evaluador como educador. La naturaleza de la mejor información. Cuestiones que deben responderse al final del estudio, incluyendo las alternativas que debe tener en cuenta la comunidad que toma las deci.

e)

siones. Nueva comprensión de los problemas (contribución sico de un área de problemas).

al entendimiento

4. 5.

d)

2.

3. La respuesta al ejercicio 1 debe incluir lo siguiente: a)

4.

La intención de realizar la «mejor planificación», incluyendo «actividades

5.

científicas»:

samiento de los miembros políticamente más relevantes de la ca. munidad. De esta forma, se promueve la formación de intuiciones. El éxito del evaluador como educador depende de su éxito en las comunicaciones. El aprendizaje empieza cuando el evaluador soluciona cuestiones en las que participan esas comunicaciones. En las cuestiones de valor, la responsabilidad del evaluador es ayudar a los demás a plantear mejores preguntas.

Clara y comprensible para todos los que la utilizan. Oportuna: llega a la audiencia cuando la necesita. Fiable: los distintos observadores (utilizando los mismos procedi. mientos) deben verla de un modo similar. Válida: concebida de forma que refleja la realidad. Amplia: ofrece distintas alternativas para alcanzar las metas organizativas u otras nuevas que se propongan.

Cuestiones que deben responderse al final del estudio, incluyendo las alternativas que debe tener en cuenta la comunidad que toma las decisiones: 1.

bá.

10 que los evaluadores aprenden debe entrar a formar parte del peno

La naturaleza de la mejor información: 1. 2. 3.

EJERCICIO 1. Escriba un ensayo titulado «La evaluación útil». Su respuesta debe incluir principalmente estos elementos:

( (

3.

I

biles.

('

(



El mensaje, ¿es interesante, comprensible y creíble para todos los sectores de la audiencia? Las cuestiones que resultaban más significativas para ellos, ¿han que. dado respondidas en la medida de 10 posible? ¿Han alterado las respuestas sus preconcepciones? ¿Se ha alcanzado, dentro de 10 posible, un consenso político en la comunidad que toma las decisiones? ¿El evaluador ha llegado a los ciudadanos normalmente pasivos? ¿Ha respondido a sus cuestiones?

(.

t t (

f

1. 2.

Proporciona beneficios sociales e influye en los asuntos públicos. Promueve el aprendizaje de instituciones e individuos a partir de la experiencia.

e)

Nueva comprensión de los problemas (contribución al entendimiento bási. co de un área de problemas):

)

() 170


I


1.

2.

3.

El evaluador debe abarcar todos los sectores de la comunidad que toma las decisiones con el fin de hacer una utilización más justifi. cada de los resultados. El estudio debe clarificar los problemas y las falsas presuposiciones para luego sugerir las posteriores comprensiones y clarificaciones d~ los problemas. La evaluación debe aspirar a avanzar en la comprensión social de los problemas.

EJERCICIO 2. nes investigativas:

I

,

1. 2. 3.

Dudas de la comunidad que toma las decisiones. Desacuerdos entre los miembros (que, sin embargo, están convencidos de sus particulares posturas). La certificación de las cuestiones más pertinentes es el primer paso en la planificación de una evaluación.

2. 3.

4. 5.

Es improbable que el lugar donde se desarrolla la evaluación esté sujeto a modincaciones. Por 10 tanto, debe acudirse a los tratamientos más apropiados para producir los datos más relevantes. El evaluador necesita estar al corriente de las distintas presiones de los grupos partidistas que proponen probables cuestiones o grupos para los tratamientos. Un esquema de intervención, en forma tabular, debe proporcionar cuestiones para el proceso evaluativo. La planincación debe indicar la «intensidad» de la intervención pensada para las distintas etapas del estudio.

La fase divergente: 1. 2. 3. 4. 5.

resultados:

Las cuestiones deben también incluir aquellas que puedan descubrir resultados que no se buscaban. La atención del evaluador debe dirigirse a los efectos secundarios. Hay que ser precavido ante la idea de que la intención global de un programa es «alcanzar sus objetivos». Las variables difíciles de definir y de valorar, como las consecuencias afectivas, no pueden ser ignoradas. La lista divergente también debe incluir resultados que podrán ser perceptibles sólo cuando el estudio haya terminado. La consulta de fuentes distintas es la esencia de la fase divergente.

Limitaciones del evaluador: 1. 2. 3. 4.

e)

y procesos: ')

6. b)

El patrocinador puede apoyar ciertas investigaciones y rechazar otras. El administrador puede negarse a aceptar un método experimental. Los informadores pueden negarse a suministrar datos. Sin embargo, una comunicación correcta puede llevar al patrocinador a aceptar una ampliación de la investigación.

La fase divergente: 1. 2.

el origen de las cuestiones:

Debe estudiarse la más amplia gama posible de cuestiones. También debe estudiarse una amplia gama de candidatos para designar las cuestiones, incluyendo aquellas personas que normalmente no hablan acerca de los problemas.

") ")

La fase divergente: tratamientos 1.

Cómo surgen las cuestiones. Limitaciones del evaluador. La fase divergente: el origen de las cuestiones. La fase divergente: tratamientos y procesos. La fase divergente: resultados.

Cómo surgen las cuestiones:

\")

')

d)

e)

a)

El evaluador disfruta de ciertas ventajas sobre el patrocinador (por ejemplo, carece de predisposiciones y conoce algunas investigaciones anteriores).

Escriba un ensayo titulado «Identificación de las cuestiola fase divergente». En su respuesta, incluya estos aspectos


171

'} 3.

principales: a) b) e) d) e)

I

')

) ) ')

'> ) ) )

) ) ) ) )

) ) ) )


)

) En este apartado se proporcionan cinco preguntas, pero no se facilita ninguna respuesta. Las preguntas pueden ser utilizadas como temas para debates de grupo o como tareas individuales. Usted quizá prenera obtener intuiciones más profundas acerca del pensamiento de Cronbach sobre la planincación evaluativa leyendo el texto completo u otros libros recomendados en la sección bibliográfica. De cualquier manera, las cuestiones pueden responderse basándose en el material contenido en esta unidad y a 10 largo del libro.

)

) ) ) )

) )

'1 •.

)

••

f

f

172

I

Referencias Evaluación

sistemática

( (

1.

( (

2.

( (

f

3.

(

f

f

(

4.

( ( ( ( (

5.

«La realidad política proporciona preguntas mucho más apropiadas que otras.» Discuta esta afirmación con relación a la elección de cuestiones que se producen en la fase convergente de Cronbach. ¿En qué se diferencia el esquema de Cronbach para el planteamiento y la elección de cuestiones de los de a) Stake (particularmente con relación a su método acreditativo), b) Wolf (el modelo de contraposición) y e) Serio ven (la evaluación sin metas)? ¿Cuáles son los méritos comparativos de cada método? Cronbach afirma que la «utilidad de una evaluación depende del grado en que los miembros de la comunidad que toma las decisiones estén al corriente de sus resultados y los consideren creíbles». Discuta el particular énfasis que pone Cronbach al hablar de las comunicaciones de la evaluación. ¿Existen otros evaluadores que concedan la misma importancia a las comunicaciones? ¿De qué manera aborda Cronbach la delimitación, definición y explica. ción de los elementos de una planificación evolutiva (esto es, uto) para que le sirven de ayuda en el plan lógico y el desarrollo de un estudio evaluativo? ¿Cuáles son las diferencias más significativas entre UTaS -el dominio de la investigacióny *UTOS -el dominio de la aplicación-? ¿Por qué Cronbach considera que los *UTOS son básicos para comprender su método de planificación de evaluaciones educacionales?

( (


( (

, (

t ( (

,,--

,,

t

(

CAMPBELL, D. T. 1957. Factors relevant to the validity of experiments in social settings. Psychological Bulletin, 54, págs. 297-312. _. 1973. The social scientist as methodological servant of the experimenting society, Policy Studies Journal, 2, págs. 72.75. -.1975. Assessing the impact of planned social change. En G. M. LYONDS (comp.), Social research and public policies, Hanover, N. H., Public Affairs Center, Dartmouth College. CRONBACH,1. J. 1963. Course improvement through evaluation, Teachers College Record, 64, págs. 672-683. -.1982. Designing evaluations o/ educational and social programs, San Francisco, Jossey-Bass. CRONBAC H, 1. J., Y otros. 1976. Research on classrooms and schools: Formulation of questions, design, and analysis. Publicación no periódica, Stanford Evaluation Consortium, Universidad de Stanford, Calif. CRONBACH,1. J., Y colaboradores. 1980. Toward re/orm o/ program evaluation, San Francisco, Jossey-Bass. HOUSE,E. R. 1976. Justice in evaluatÍon. En G. C. GLASS(comp.), Evaluation studies review annual, vol, 1. Beverly Hills, Calif., Sage, págs. 75.99.

bibliográficas

I

173

MACDoNALD,B. 1976. Eva1uation and the control of education. En D. TAWNEY (comp.), Curriculum evaluation today: Trends and implications, Londres, Macmillan Education, págs. 125-136. RIECKEN,H. W. y BORUCH, R. F. (comp.). 1974. Social experimentation, Nueva York, Academic Press. ROSSI,P. H. Y WILLIAMS,W. 1972. Evaluating social programs: Theory, practice and politics, Nueva York, Seminar Press. SCRIVEN,M. 1967. The methodology oE evaluation. En R. W. STAKE,y otros, Perspectives on curriculum evaluatiol1. AERA Monograph Series on Curriculum Evaluation, n. 1, Chicago. Rand McNally, págs. 39-83. -.1974. Pros andocons about goal.free evaluation, Evaluation Comment, 3, páginas 1-4. STAKE,R. E. 1967. The countenance of eclucational evaluation, Teachers College Record, 68 (abril), 523.540, 63, 146. SUCHMAN,E. A. 1970. Action for what? A critique of evaluative research. En R. O'TOOLE (comp.), The organization, management, and tactics o/ social research. Cambridge, Mass., Schenkman. -.1967. Evaluative research, Nueva York, Russell Sage. WEISS,C. H. (comp.). 1972. Evaluating action programs: Readings in social action and education, Boston, Allyn and Bacon. WILENSKY,H. 1967. Organizational intelligence: Knowledge and policy in government and industry, Nueva York, Basic Books.

,)

() ) STUFFLEBEAM: LA EVALUACION ORIENTADA HACIA EL PERFECCIONAMIENTO

él o) ")

'J

:) ;) ,) ,)

) 0) ,) Esta unidad afirma que las evaluaciones deben' tender hacia el perfeccionamiento, presentar informes responsables y promover el aumento de la comprensión de los fenómenos que se investigan; también afirma que el primero de estos propósitos es el más importante. El módulo explica el módelo evaluativo CIPP describiendo su desarrollo, contrastándolo con otros métodos, caracterizando el papel que desempeña en el perfeccionamiento de los programas, explicando sus principales conceptos Y esbozando los requisitos de una planificación evaluativa sólida. Finalmente, subraya la importancia de someter a evaluación el propio trabajo evaluativo a través de la metaevaluación. El propósito más importante de la. evaluación no es demostrar sino perfeccionar ... No podemos estar seguros de que nuestras metas son valiosas si no las comparamos con las necesidades de la gente a la. que presuntamente sirven. La unidad presenta una orientación perfeccionista para la evaluación de un programa. Dado que el contexto histórico es útil para comprender cualquier conceptualización de una práctica profesional especializada y que yo soy consciente de que mis antecedentes profesionales y mis experiencias influyen en gran manera sobre mis propios puntos de vista, he personalizado la presentación. He trazado el desarrollo del modelo CIPP, lo he contrastado con otros métodos, he caracterizado sus sistemas y su orientación hacia el perfeccionamiento del programa y he descrito los cuatro tipos principales de evaluación. También he expuesto mi punto de vista acerca de lo que interviene en la planificación de evaluaciones concretas y, para concluir, hablo sobre la metaevaluación. Al trabajar en esta unidad, le sugiero que estudie sus objetivos con el fin de descubrir lo que puede aprender de ella; luego lea el material, realice el

:) rO)

;J :) ,) f)

() ~

1) ,) i)

:J ':)

~)

:) () ,:)

!)

() ()

O

\

(

f (

( ( (

176

I


test de conocimientos y los ejercicios prácticos, y finalmente compruebe sus respuestas comparándolas con las que se proporcionan aquí. Para acabar, le resultará instructivo realizar las «Preguntas sin respuesta». Le sugiero que las discuta con otros estudiantes y que repase la bibliografía: al final de esta unidad, encontrará una lista de los libros y artículos pertinentes.

(

f

Objetivos

(

Los objetivos de esta unidad son los siguientes:

(

(,

1.

«

e

2.

(

(

3.

( " 4.

~ (

5.

( ¡

6.

I

7.

( { (

•

•• (

(

8. 9. 10. 11. 12. 13.

Identificar el orden en que el autor ha llegado a los conceptos. de con- ' texto, entrada de datos, proceso y evaluación del producto, y explicar por qué esta secuencia de desarrollo era una respuesta a las necesidades evaluativas. Identificar las condiciones definidas por el comité PDK como síntomas de la enfermedad que padece la evaluación educacional. Caracterizar las objeciones que pone el comité PDK a las definiciones que identifican la evaluación con la planificación experimental, la valoración, los juicios profesionales y la comparación de los resultados con los objetivos. Discutir los cinco problemas definidos por el comité PDK como causantes del fracaso de la evaluación educacional. Identificar y explicar la definición de evaluación expresada en el modelo CIPP. Identificar los principales parecidos y diferencias entre el modelo CIPP y las concepciones de la evaluación propuestas por Stake y Scriven. Caracterizar las potenciales contribuciones de las evaluaciones CIPP para satisfacer los requisitos de la responsabilidad. Explicar la orientación perfeccionista del modelo CIPP. Caracterizar el papel de la evaluación CIPP en el contexto de los trabajos realizados por una institución para perfeccionar su programa. Describir el propósito, los métodos y las utilizaciones, respectivamente, del contexto, de la entrada, del proceso y de la evaluación del producto. Explicar el propósito y los procedimientos de la técnica del grupo asesor. Describir el concepto del autor acerca de la planificación evaluativa. Definir el concepto de meta evaluación.

( (

t

•

•.

(

Un poco de historia personal Mi acceso a la evaluación de programas fue totalmente accidental. Junto con otras muchas personas que tenían algunos conocimientos sobre métodos

Stufflebeam: la evaluación del perfeccionamiento

I

177

, vestigativos, me dediqué al impresionante trabajo de cumplir los requisitos ~~derales para la evaluación de proyectos instaurados por la. ~merica's Eleentary and Secondary Education Act (ESEA) de 1965. InlClalmente, reacml'onéde la misma manera que muchos de mis colegas: recomendando la utilic d . ación de tests ya ensayados y de planificaciones investigativas ya acepta as. ~ero mientras trataba de aplicar estas recomendaciones, cambié radicalmente mi concepción de la aplicabilidad de la experimentación y de los tests objetivos para estudios evaluativos y empecé a, buscar un método .más rel.ev~nte y factible. El principal resultado de esta busqueda y del trabajo conslgUlente fue el llamado Modelo de Evaluación CIPP, que es el tema principal de esta unidad. La Elementary and Secondary Education Act de 1965 proporcionó billones de dólares a todos los distritos escolares de los Estados Unidos con el propósito de mejorar la educación de los estudiantes atrasados y, de un modo más general, de subir el nivel de todo el sistema de la educación elemental y secundaria. El acta también necesitaba educadores que evaluaran sus proyectos. Este requisito originó una crisis, porque los educadores no estaban cualificados, ni tenían la suficiente preparación o experiencia para planificar y dirigir evaluaciones, y porque los distritos escolares no podían recibir los fondos de la ESEA hasta que presentaran un plan aceptable para evaluar cada proyecto propuesto por la misma. Algunas universidades y agencias de servicio crearon programas destinados a ayudar a los distritos escolares a cumplir los requisitos evaluativos de la ESEA. Yo fui designado para dirigir un programa en la Universidad del Estado de Ohio y, más generalmente, para organizar y dirigir un centro que hiciera progresar la teoría y la práctica de la evaluación. El nuevo centro pretendía alcanzar seis metas: 1) proporcionar servicios evaluativos a las agencias educativas; 2) estudiar estas experiencias de servicios; 3) conceptualizar modos de evaluar perfeccionados; 4} idear instrumentos y estrategias para desarrollar nuevas ideas acerca de la evaluación; 5) preparar a los educadores en la utilización de esos nuevos instrumentos y estrategias; y 6) difundir información acerca del trabajo y los logros del centro .

El desarrollo del modelo CIPP Para conseguir esas metas, el centro contactó con las escuelas públicas de Columbus, Ohio, con el fin de evaluar sus proyectos de la ESEA. Estos proyectos de tres años incluían un proyecto preparvulario, proyectos sobre matemáticas y perfeccionamiento de la lectura, un centro de estudios para después de la escuela, un proyecto de servicios sanitarios y otros muchos; los proyectos estaban avalados por una subvención federal de 6,6 millones de dólares. El distrito de Columbus cedió alrededor del 8 % de esta cantidad al Centro de

)

') ") 178

I

Evaluación

Stufflebeam:

sistemática

,

1 evaluación de los ocho proyectos y ayudar al disEvaluación para patrocmar al' io sistema eva uatlvo, d d" 1 trito a desarro 11ar su prop , b ' aluativo al mo otra lClona, bordo su tra aJo ev b' , d 1 El personal e centro a h bían alcanzado sus o }etlVOs,

, 'locho proyectos a , d Intentaron determmar SI os, 'fi 1 bJ'etivos de comportamiento e , d d b' os ldentl car os o , d Según este meto o, e 1m II 1 l'nstrumentos apropia os para va' r o desarro ar os , d 1 cada proyecto, seleCClOna l' ti 'nstrumentos despues e a ense, d 1 d' te ap lCar es os , d 1 lorar el trabajo e estu lan d 1 t di ante con los objetIVOs e proyecñanza y luego comparar el tra ajad el eS u l' ica de la evaluación tyleriana d verse e a base og d ' 1 to, Se trata, como pue e , " 1 '1 r de la teoría evaluativa e ucaClOna 'd d 3) que ha sido el prmClpa ~l a ( unl a, d d 30 anos americana durante aIrede or e "t do no era adecuado para evacon que este me o d' Pronto nos encontramos S los educadores sabían o po lan C 1 b s uponer que d luar los proyectos e o um u, , d los estudiantes producto de aque' 1 omportamlento e 'd 1 fácilmente d etermmar e c , Los ob' etivos originales contenl os en as llos proyectos, no era nada reahslta, Jroporcionaban datos útiles acerca , t eran genera es y no p , , 1 1 Pnmeras propues as 'D h ho los obJetlvos por o genera, , ' d 1 estudIantes, e ec , , 'd del funclOnamlento e os .' administradores que han tem o poca o son determinados por especlahstasd~ y lo que es más, el personal del " esos estu lantes, h ninguna expenencla con d' 1 cuando el proyecto ya a empet de acuer o, mc uso h d proyecto pue d e no es ar 'fi deben ser adoptados, A ora pue o "d b' tivos especl cos que. d 1 zado acerca e os o Je d' tiempo preclOso mtentan o , II nosotros per Irnos un , bl decir que tanto e os como, d de los estudiantes eran muy var:a es y ~o hacer esto, porque las neceslda. es. or ue ningún grupo comun de obJehabían sido objeto de un estudlO ds~n,o,y p ,q les y necesidades de desarrollo, , d t sus IstlDtos mve , , tivos podla ar respues a a 1 hecho de que eXlstlan tests " l' do con esto era e , 1 Un problema teCnlCOre aClOna d 1 'y a los niveles funclOna es 1 modelos e enguaJe b que no se adapta an a os 1d ollo de estos tests a tiempo para , , t sados y e esarr ESEA de los estudIantes mas a ra , 1" d los proyectos de la , T d en la eva uaClOn e , , que pudIeran ser utllza os , b'l'd d Igualmente y esto es mas serlO, bl mas de vla I 1 a ' " '1 d presentaba gran es pro el' proponía proporcionar mformes so o se nuestro empleo ~el método ty enano d a era demasiado tarde para ayudar al 1 final de cada ano de proyecto, cuan o y bl a .d 'fi resolver sus pro emas, .. , personal de~,proyecto a I entl c,ar se hizo ostensible para mí cuando vI,slte La inutlhdad de nuestro meto o b ervé sus actividades relatlvas 1 del programa y o s a los miembros d e1 persona los proyectos funcionaran ya b encontrarme con que d al proyecto, Y o espera a d d herencia pero no vi nada e eso. 'erto gra o e co, , en escuelas y au 1as con Cl f' , tendl'da entre los profesores, que no , " gran con USlOnex h b' En camblO, eXlstla una d b' h r Muchos de ellos no a lan , ía que e lan ace, , II sabían que es lo que se supon supuestamente, deblan evar,? tenido la oportunidad de lee\ lashP~~~:~:~~~ ~~~~ban en desacuerdo con ellas o".~~ a cabo, Y muchos de los que as a d - ues que las actividades acerca , f d'd No era sorpren ente, p , . se sentlan con un lOS. . 1 , las y que estas actlVIde un proyecto determinado no funclOnaran en as au ,

b'

¡

'f

¡

1

'1

1

J

I

'1 1

la evaluación

del perfeccionamiento

I

179

dades tuvieran muy poco que ver con las que se describían en las preguntas originales, Cuando hube considerado esta situación, los datos acerca de los resultados que mis colaboradores y yo habíamos planeado recopilar, parecían tener muy poca importancia. Mi conclusión fue que los educadores necesitaban una definición de evaluación más amplia que la que se limitaba a determinar si los objetivos habían sido alcanzados, La definición que necesitaban debía proponer evaluaciones que fueran capaces de ayudar a administrar y perfeccionar los programas, Creía que lo mejor para realizar este ideal podía ser proporcionar a los dire~tivos de las escuelas, a los directores de proyectos y al personal de la escuela, mformación que pudieran utilizar para decidir y llevar a cabo los cambios que resultaban necesarios en los proyectos, Como alternativa a la definición tyleriana propuse, en una reunión de la ESEA y en un artículo periodístico, que la evaluación fuera redefinida como un proceso mediante el cual se proporcionara información útil para la toma de decisiones (STUFFLEBEAM,1966), Esta propuesta recibió un extendido apoyo, especialmente del Departamento de Educación, de muchos distritos escolares y de agencias de investigación y desarrollo, así como de muchos administradores educativos. Puesto que pensaba que la evaluación debía proporcionar la información que necesitaban quienes tomaban las decisiones, parecía apropiado identificar los principales tipos de decisiones que debían afrontar, y luego crear las adecuadas estrategias evaluativas. Basándose en la experiencia de los proyectos ESEA para Columbus, las decisiones de interés más inmediato parecían ser las relacionadas con la realización de la planificación de proyectos, esto es, cómo interesar a los profesores en la realización de los proyectos, cómo distribuir los recursos, cómo asignar y remodelar las ayudas, cómo obtener y mantener el apoyo de la comunidad, cómo proyectar el necesario transporte de los estudiantes, cómo adaptar los materiales didácticos y cómo promover la comunicación entre todos los que participan en el proyecto, Para poner en marcha todas estas decisiones de realización, enseñé a mis colaboradores cómo debían observar e involucrarse en las actividades del personal del proyecto de una manera continuada y presentando, al menos una vez cada dos semanas, un informe sobre los resultados del proceso a ese mismo personal, con el fin de que pudieran detectarse, destacarse o solucionarse los problemas operacionales, El otro tipo de decisión, especialmente con vistas al ciclo anual de subvenciones del gobierno, incluía aparentemente decisiones relacionadas con la continuación o finalización de un proyecto, según aumentaran o decrecieran los fondos, relacionando el proyecto con otro nuevo, institucionalizándolo, etc, Llamé a esto decisiones de reciclaje y sugerí que debían ser apoyadas con información acerca de lo que el proyecto ya había producido. De acuerdo con esto, mis colaboradores y yo continuamos trabajando con el personal del proyecto para clarificar qué indicios acerca de los resultados del programa resultarían adecuados, y desarrollamos y llevamos a cabo unos pocos tests de trabajo espe-

} ) ') )

) ') ') ')

) ) ')

) )

) ) ) ) )

) ) ) ) ) ) )

)

) )

-.J )

) )

.. ;b'S:lI.'

.

180

I

--,.,..

••

_.

------

5tufflebeam: la evaluación del perfeccionamiento

I

181


trada que son estudios q 'd 'fi 1 planificaciones de proyect~~ ~i:~~lto~~n y va oran los méritos relativos de las

cialmente diseñados para el caso y unas escalas de valor, Resumiendo, en este punto, la reconceptualización de la evaluación incluía la evaluación del proceso que serviría de guía para la realización Y la evaluación del producto, facilitando así las decisiones de reciclaje. La evaluación del proceso era un concepto relativamente nuevo en la tradición de la evaluación educacional; la evaluación del producto, desde luego, estaba relacionada con lo que Tyler había

Al llegar a dI' este punto ya esta b a termlDada ' (la evaluación la estructura básica del CIPP e contexto como ayuda para 1 d" ., d 1 evaluación de entrada como a d d f a eS1gnaClon e as metas, la ,, d yu a para ar arma a las pr 1 al CIar. el proceso como guía de 1'" opuestas, a ev ua" . su reailZacIOn y la evaluació d 1 d 1 serVICIOde las decisiones de recicla'e) How d ' n e pro uc~o a del Centro de Evaluación en ll)" ar Mernman, que era estudIante ' aque a epoca y que después . ., 1 ¡rector del nuevo Departament dEl ', se convlttlo en e ¿ nuestro proyecto) observó qu ~ e .va uacllon de Columbus (que desarrolló sentaban los cuatr~ conceptos e~:s ~nmeras etras de las palabras que reprepara ayudar a la gente a record ulatlvAos,propo~cionaban unas siglas adecuadas ar os. SI se aSIgnó al esq 1 b ' . uema a a rev1atura CIPP (contexto, entrada -inp u t- ,proceso y producto).

llamado evaluación per se, Poco después de haber desarrollado este esquema, fui invitado para que lo describiera en un coloquio de una facultad del Estado de Ohio. La principal reacción fue que la conceptualización propuesta era un indudable avance sobre las ideas clásicas acerca de la evaluación educacional, porque proporcionaba ideas tanto para el proceso como para el producto, Por otra parte, tres miembros del grupo arguyeron que el método ignoraba el tema fundamental de la valoración de las metas. Estaban en lo cierto. La selección de las metas pone limitaciones a lo que se espera y pretende de un proyecto, lo cual la convierte en una decisión clave. Yana había incluido la elección de las metas como una decisión que debía tomar la evaluación ni propuse estrategias evaluativas que ayudaran a los evaluadores a escoger o valorar las metas, Igualmente, sabía que la elección de las metas que debían servir de guía a los proyectos de Columbus estaban basadas, en general, más en la literatura relativa a los niños atrasados y las innovaciones educativas, que en un estudio sistemático de las necesidades de los estudiantes de Columbus. Yo sospechaba que las metas de los ocho proyectos de ESEA reflejaban las necesidades de los estudiantes de Columbus sólo muy superficialmente, y no había ninguna evidencia de lo contrario, Para solucionar esta deficiencia, propuse que los evaluadores valoraran e informaran de las necesidades de los estudiantes y de los problemas de método, para así ayudar a los educadores a escoger metas sólidas, El lenguaje que proporcionó la naciente estructura del CIPP permitió a los educadores utilizar la evaluación del contexto al servicio de las decisiones de planificación. De cualquier manera, esta intuición llegó demasiado tarde como para que pudiéramos utilizar el informe acerca de la evaluación de un contexto como base para seleccionar y dar forma a las metas del proyecto del programa Columbus. Había un hueco obvio en este nuevo esquema evaluativo, puesto que no consideraba necesario especificar qué medios eran necesarios para alcanzar una serie determinada de metas o una serie de necesidades ya valoradas. Estas especificaciones están representadas por los procedimientos, programas, planes de personal y presupuestos que aparecen en las propuestas que se envían a la jun ta de una escuela y a las agencias que proporcionan los fondos, y, en general, por la elección de un plan entre muchas posibilidades, A todo esto lo llamé decisiones de estructura Y propuse que debían basarse en evaluaciones de en-

La elaboración de la evaluación CIPP por parte del Comité de Estudios POK En 1969, Phi Delta Kappa creó un comO , d d' . evaluación. Este incluía a Walter Fole Bi~te e estu 10 naCIOnal sobre la Hammond, Howard Merriman M 1 1 y'p Gephart, Egon Guba, Robert N ' a ca m rovus y yo mism 'd os encargaron valorar el estadio de la eval ClOn ., . o como preS1 ente. general para la realización de l' educacIOnal y crear un plan en el libro de STUFFLEBEAMeva u a c10nesos ventes. Nuestro informe apareció d (1971) . f y ca al bora ores . , El lD orme se abría con la amm . , d una grave enfermedad D ' aClOn e que la evaluaCIón era víctima de , ' eClamos que esta enfermedad 'bl smtomas que presentaban 10 d .. d era reconoCl e por los en todos los niveles de la eds a ~lnIstra orles, el personal y los evaluadores ucaClOn,SIma y por a malí ' eva uativo: cal'd 1 ad d e su trabajo 1

Ut

¡

Ausencia de esfuerzo a la hora de evaluar Pre~cupación ante la perspectiva de evaluars~~sprogramas. sablan que el proceso eval t' b' programas, a causa de que ua IVOera am IguO su rfi' 1 . d penso al error y a menudo t d' ,pe C1a, lDa ecuado, proE ' , en enclOSO. sceptzclSmo acerca de que los «expertos d' lo que significa una evaluación solvent »pu lera~ ~onerse de acuerdo en intentaban ayudar a los educ d he, 10 cual h~ltaba los estudios que A " a ores a acer su trabajO usencza de dzrectrices (especialmente de 1 ' ' tisfacer los requisitos eva1 t' . 1 as agencIas) que permitieran saua IVos lDCuso cuand 1 l" evaluaciones. o o so 1CItan las propias

Malos sistemas (tanto procedentes de

realizar las evaluaciones en . expertos como de la bibliografía) de El 'd su propIO marco. sm rome de la diferencia no significativa, según el cual todos los estu-

)

) 'l 182

I



dios afirman que el método que se ha seguido no se diferencia en nada de los resultados del estudio. ., ' t de los elementos perdidos, esto es, la ausenCIa de una teona ., . f . d El sm oma . t de conceptos claros acerca' de los reqUlsltos m ormatlvos; e pertmen e; ..' instrumentos Y planificaciones apropIados; de mecamsmos para or?amzar, procesar y presentar la información evaluativa; y de un personal bIen pre5.

parado.

I

f i

¡ ¡, l \

,1

I

I

Como consecuencia, advertimos que los dominantes en la evaluación, tanto . d"d 1 mo colectl'vamente eran inadecuados. Recomendamos a nuestra m lVl ua co , ., 1'" f ,' o l'dentificara la evaluación con la valoraclOn, e JUICIOpro eau d lenCla que n ..' b' . 1 sional, la investigación experimental o la cOlnclde~cla entre o Jetlv~s y resustos métodos presentaban mdudablemente CIertas venta d os. A unque todos e b" , . l' . . tI'112' ados en la evaluación cada uno tam len tema senas lmltajas para ser u "1 1 taciones. Las ventajas Y limitaciones de estos cuatro metodos, ta como as concebimos nosotros, están resumidas en la tabla 6-1. , ., 't' PDK reconocía que todos los metodos evaluatIVOs claAunque e1 ca mI e . . . d sicos tenían cualidades aprovechables, acababa dIcIendo que nmgun? era a ecuado para satisfacer los requisitos evaluativos de la ESEA. Se~ecclOnaron el modelo CIPP como estructura general para desarrollar, a partlr d~ ella, un método más solvente. y especificaron cinco problemas ~ue neces~taban ser solucionados para perfeccionar la báse conceptual del trabajO evaluatlVo: 1.

. . ., D ef ¡mClOn.

Debe J'uzgarse si las definiciones existentes son vagas, dema. d' f siado erróneas en sus presuposiciones y/o demasla o lmper ectas en su

orientación metodológica. Toma de decisiones. El comité concebía la evaluación como algo tot~l:nen2. te relacionado con la toma de decisiones, pero pensaba que las declSlones que debían tomarse en cuanto a los cambios no ~:taba~ muy claras. Además el comité consideraba necesario una concepClOn mas clara del proceso meeÍiante la cual los evaluadores pudieran enfrentarse y resI>
¡

l

I

183

el Departamento de Educación. Por 10 tanto, el comité vio la necesidad de un proceso para la planificación de evaluaciones que sirviera de guía a los evaluadores a la hora de identificar las audiencias, valorar sus únicas y comunes necesidades informativas y planificar la recopilación de datos y las actividades informativas con el fin de complacer las necesidades de las distintas audiencias. Diseño de la investigación. El comité consideraba ya entonces que la investigación y la evaluación tenían propósitos distintos que requerían diferentes procedimientos, y que las planificaciones investigativa y evaluativa debían ser juzgadas mediante normas distintas. Las evaluaciones de la ESEA se encontraron con graves problemas cuando las planificaciones de la investigación clásica intentaron presentarse como una verdad generalizable para ser utilizada en la evaluación de proyectos nuevos, que no necesitaban un conocimiento generalizable, sino las oportunas directrices que solucionaran sus problemas de decisión.

Dedicamos un capítulo a analizar cada uno de estos problemas, y luego presentamos y elaboramos el modelo CIPP. He aquí una versión puesta al día de la definición formal que propusimos y difundimos:

')

) ') )

'\ ) ')

) ')

) ")

) ) )

) La evaluación es el proceso de identificar, obtener y proporcionar información útil y descriptiva acerca del valor y el mérito de las metas, la planificaci~n, la realización y el impacto de un objeto determinado, con el fin de serVIr de guía para la toma de decisiones, solucionar los problemas de responsabilidad y promover la comprensión de los fenómenos implicados.

) ) ) )

Esta definición resume los conceptos clave del modelo CIPP. Postula tres p.ropósitos evaluativos: servir de guía para la toma de decisiones, proporClOnar datos para la responsabilidad y promover la comprensión de los fenómenos implicados (lo cual coincide con la orientación de perfeccionamiento del modelo, puesto que el primero de estos propósitos es también el más importante). Presenta la evaluación no como una prueba sino como un proceso, y afirma que este proceso incluye las tres etapas de identificar, obtener y proporcionar información (de ahí que los evaluadores deban tener una buena preparación en las áreas técnicas y de comunicaciones). Tanto la información útil (para emitir juicios) como la descriptiva son consideradas adecuadas para va~orar y ayudar a perfeccionar el objeto de interés. Los aspectos clave del objeto que, según la definición, deben ser valorados incluyen sus metas su planificación, su realización y su impacto (los cuales son valorados, resp~ctivamente, median.te l.a evaluación del contexto, de la entrada, del proceso y del producto). El cnteno fundamental que debe ser tenido en cuenta incluye su valor (s~ respuesta a las necesidades valoradas) y su mérito (su calidad). El hbro que explicaba esta definición tuvo una considerable influencia en

)

) ) ) )

)

) ) ) )

) ) )

.

""";.,rr~r,:,...,:,...,-("'~::, (*"'i,--f"";-,r-;:"~:""'~("""F-l.'f/::R,~,...;::í-tdtAt:'f"'\ "1"\ --'f'"\-"'ri-,..c.-

-,

~e

TABLA

6-1.

Venta;asy

desventa;as

de los distintos

métodos

tradicionales

~

.~

fI\~~' ~

""" "'" "'" ~

~.

~

~ Q)

c: o o: ::1 Q)

l.

Medición

Basada en la teoría psicológica Emplea tecnología estandarizada Concebida para asegurar fiabilidad y validez Validez de los tests publicados y de los servicios

según las normas

de calificación Basada en normas profesionales Estándares procedentes de normas

Se centra sólo en los instrumentos disponibles Es inflexible a causa del tiempo y el coste que supone producir nuevos instrumentos Desatiende la validez del contenido en favor de la fiabilidad del recuento de las diferencias individuales Destaca los conocimientos y aptitudes que pueden ser fácilmente valorados mediante tests con papel y lápiz Eleva el modelo a la categoría todos los estudiantes

Fácil de llevar a cabo Toma potencialmente en consideración

2. Juicio profesional

todas las

variables U tiliza toda la habilidad y experiencia disponibles No se retrasa durante el análisis de d,atos

3, Diseño

Alta respetabilidad científica Proporciona potencialmente datos

experimental

sobre

las cau-

sas y los efectos Está preparado para alcanzar altos niveles de fiabilidad, validez y objetividad Qrdena potencialmente las opciones de quienes toman las decisiones Está apoyada por estadísticas deductivas

i'I '.;

Coincidencia entre resultados objetivos (Tyleriano)

en

..• 3 "'-..• o'

ü; ro

Q)

para

Dictados principalmente por la oportunidad Su fiabilidad y objetividad son cuestionables Tanto los datos como los criterios son ambiguos No pueden comprobar la validez La generalización es muy difícil

Impone controles inalcanzables en un contexto educativo o perjudiciales para los propósitos de la evaluación Se interfiere en las operaciones normales de los proyectos que se están estudiando Supone presuposiciones inaplicables / Limita el estudio a unas pocas variables Los servicios restringen las decisiones Proporciona los resultados sólo al final

,--~-- ~

.- ._, 4.

de norma

y

Puede combinarse con la planificación didáctica Proporciona datos sobre los estudiantes y sus currículos Posibili ta la retroalimentación periódica Define las normas del éxito Posibilidad de procesar y producir datos

-~

.....,~

-

de evaluación Desventa;as

Venta;as

Métodos

~

Concede una función técnica al evaluador Se centra casi exclusivamente en los objetivos Considera el comportamiento como el último criterio de todas las acciones educacionales Fracasa en la evaluación de los objetivos Se centra en la evaluación como proceso terminal

..•c: (J)

:l; (1)

o(1)

ll>

3 iil

~ Q)

c: o o; Q)

::1

o-

~ "tJ (1)

~ (1)

o o

o' ::1 Q)

3 ¡¡¡O ::1

8"

~

t"

,

,.186

I

Evaluación

sistemática

arrollo de las evaluaciones orientadas hacia la decisión, especialmente en e 1 d es 'd d 'd . d los distritos escolares grandes. El resto de esta Un! a esta estilla. o, en su mayor parte, a poner al día los conceptos clave y las recomendaclOnes que aparecían en el libro del PDK.

El modelo CIPP comparado con otras recientes propuestas evaluativas Mientras mis colegas y yo desarrollábamos la estructura del CIPP, Robert Stake desarrollaba su método de la «figura de la evaluación», que está incluido en su «método respondente» (véase unidad 7). Intercambi~.mos ,borradores de nuestras obras en 1966, y yo estaba interesado en saber Sl hablamos desarrollado independientemente métodos similares o distintos. . La coincidencia entre el CIPP y la estructura de la figura era cons1derabIe pero también existían diferencias notables. Ambos métodos exigían una ~aloración de los resultados, pero Stake destacaba la necesidad .de .1~calizar tanto los efectos secundarios como los ya propuestos desde un pnnc1plO. Era una excelente recomendación que más tarde incorporé en mi concepción de la evaluación del producto. Su disposición de observar y ~na.lizar las «transacciones que se producen dentro de un proyect?» fue algo slm1~ar para la evaluación del proceso. Aunque Stake no proporclO~~ba nada analogo p~ra la evaluación de entrada, tanto ésta como la evaluaclOn del contexto pod1an ~e.rcubiertas por lo que él llamaba la identificación y valo.ración de las «cond1C10nes previas» (las que existen antes que el proyecto e~p1e:: y antes de ~ue el, evaluador entre en escena). Sin lugar a dudas, la uuhzac10n de cualqUler metodo exigía una valoración del proyecto más ampfia que la .que p~oponía la concepción tyleriana orientada hacia los resultados. Una diferenc1a entre ambos métodos era el llamado problema del «punto de entrada». Al relegar la valoración de las necesidades y los planes del proyecto a la categoría de antecedentes, Stake parecía asumir que el evaluador debe~ía entrar en .acción durante la etapa de la realización, cuando sería más aprop1ado que se fijara en las transacciones que estaban ocurriendo. El CIPP permitía la entrada tanto antes como durante el proyecto y concedía la posibilidad de llevar a cabo un solo tipo de evaluación (del contexto, de la entra~a, del proceso o .del.producto) o alguna combinación, dependiendo de las neces1dades de las aud1enc1as. Ningún método estaba a favor de iniciar una evaluación después de que el proyecto hubiera quedado completado para realizar un post m.~rtem (o ~ar motivo a una celebración), puesto que ambos destacan la funclOn perfecc10nista de la evaluación. Mientras los dos métodos están concebidos para ayudar a audiencias concretas a utilizar la evaluación para llevar a cabo sus tareas, el método de Stake está concebido para ayudar más directamente al personal y los profesores del proyecto, y el método CIPP se orienta más hacia las nece-

) ) Stufflebeam:

la evaluación


I

) 187

')

sidades de los que planifican y administran los proyectos. Otra diferencia entre ellos se refiere a las bases utilizadas por los dos métodos para llegar a conclusiones acerca del éxito de los proyectos. En el método de Stake, estas conclusiones se derivan de la recopilación y el análisis de los juicios de todas las IXrsonas y grupos que están interesados en el proyecto, mientras que el método CIPP atiende más a la satisfacción de las necesidades valoradas. Ambos métodos evidencian una tensión -yo creo que saludable- entre la obtención de un amplio concepto de un proyecto y la adaptación de la evaluación a la satisfacción de las necesidades informativas más importantes de las audiencias. El método «sumativo-formativo» de Michael Scriben ofrece un contraste muy fuerte con el método CIPP y el acreditado (para una versión puesta al día de su método, véase la unidad 10). Definió la evaluación como la determinación sistemática y objetiva del valor o el mérito de un objeto, y dijo que la mejor puesta en práctica de esta definición consistía en encargar a un evaluador independiente que emitiera un juicio sobre un objeto basándose en evidencias acumuladas producto de su comparación con objetos similares a la hora de satisfacer las necesidades de los consumidores. Llamó a este método evaluación sumativa y dijo que era mucho más importante que la evaluación formativa, en la que un evaluador recopila y presenta datos y juicios que ayudan al desarrollo de un objeto. Según esta base lógica, SCRIVEN(1970) denunció que el método CIPP era imperfecto porque ignoraba casi totalmente el papel fundamental de la evaluación sumativa debido a su preocupación por el perfeccionamien to. En una reunión del grupo de evaluación May 12, Michael Scriven y yo debatimos los méritos relativos de la orientación perfeccionista enfrentada a la orientación hacia el juicio sumativo. Más tarde, AERA puso el debate en marcha, por así decirlo, y ambos fuimos encargados de codirigir y enseñar al equipo de cuatro institutos ambulantes. Como consecuencia, NIE nos encargó presidir los equipos que iban a diseñar diversos planes evaluativos para los laboratorios regionales educativos y para centros de investigación y desarrollo. A través de estos contactos, acabé convenciéndome de que las diferencias entre nuestros conceptos de evaluación eran más aparentes que reales y de que reflejaban, sobre todo, distintas perspectivas y experiencias. En mi trabajo en Columbus, una orientación hacia un juicio de valor final y basado en conceptos exteriores había quedado ahogada, sin servir a las necesidades del personal, que pretendía «sacudir» y perfeccionar sus proyectos de la ESEA. Asimismo, dado que Scriven había estado ampliamente implicado en grupos asesores relacionados con diversas evaluaciones nacionales de currículos, es fácil comprender por qué insistía tanto en las evaluaciones comparativo-sumativas. Sus audiencias principales eran los potenciales compradores de estas evaluaciones, que estaban obviamente interesados en las recomendaciones acerca de las alternativas que mejor les convenían, y no en los datos que pudieran mejorar esas evaluaciones. Finalmente, la compatibilidad de nuestros puntos de vista se confirmó cuando

., ')

) ')

) ')

}

) ) ) )

) ) ) )

) ) ) ) ) ) ) ) ) )

) ')

)

) ) )

\

( (

( ( ( ( (

( {

188

~

'o

.<:; ':l

.~ ~ ':l ...~ el

...

l:l.. ClJ

"~

(

""...

(

.::¡

( (

;:

"

.~ <.l

'"u 'o"

•... '" o

ClJ

•... o.

ClJ "":l

ClJ "":l

':l

( ( ( (

~

el .•...

.... ':l

¡::

':l l:l..

;: 'O

(

.<:; ':l

;:s

(

~~

(

ClJ "":l

(

...el

( (

e

,

(

(

( (

ClJ

189

las planificaciones de nuestros dos equipos para NIE resultaron ser muy similares, incluso habiéndose desarrollado independientemente (REINHARD, 1972). Sin embargo, estas experiencias reafirmaron la necesidad de clarificar y ampliar el modelo CIPP, para asegurarse de que satisfaría las necesidades tanto de las evaluaciones sumativas como de las comparativas. De acuerdo con esto, escribí un artículo sobre la aplicabilidad del método CIPP a la contabilidad (SruFFLEBEAM, 1971). En este artículo, yo caracterizaba la evaluación destinada a la toma de decisiones como formativa o proactiva por naturaleza, y la evaluación destinada a la responsabilidad como sumativa o retroactiva. El artículo fue escrito prinópalmente para exponer una versión del esquema presentado en la tabla 6-2. Este esquema muestra que las evaluaciones del contexto, de entrada, del proceso y del producto pueden ser utilizadas tanto como guías para la toma de decisiones, función formativa, como para suministrar información para la responsabilidad, función sumativa. Basándose en este esquema, los evaluadores pueden planificar y realizar la evaluación con el fin de ayudar al personal a proyectar y llevar a cabo su programa. Dejando aparte la estrechez o amplitud de los requisitos informativos de los que realizan el programa, pueden también pensar e intentar satisfacer todas las necesidades informativas de las audiencias externas que algún día desearán llegar a conclusiones acerca del valor y el mérito de ese trabajo de perfeccionamiento. Además, pueden realizar una relación de la información recopilada y evidencias sobre hasta qué punto la han utilizado como guía para su trabajo. Aunque esta información puede que no responda a todas las preguntas de un evaluador sumativo externo, ayudará, sin lugar a dudas, a aclarar algunas de ellas. Especialmente, si el método CIPP se lleva hasta el final, proporcionará información muy útil para plantear las siguientes preguntas: 1.

el .•..• "-

~ <.l

...

2.

~

ClJ "":l

.~ <.l

~ .•... "-o

l:l..

.~ ':l

>-4

N

l l

I

.e.•...

( (



-1J

<: ,..¡ ~ <:

E-<

':

.~ •... o

3.

¿Qué necesidades han sido planteadas, cuál es su trascendencia e importancia y hasta qué punto los objetivos del proyecto reflejan las necesidades valoradas (planteadas por la información del contexto)? ¿Qué plan de procedimientos, de personal y de presupuesto ha sido adoptado para plantear las necesidades, qué alternativas se han considerado, por qué se ha escogido una y no las otras, y hasta qué punto era una propuesta razonable, potencialmente exitosa y efectiva con relación a su coste, para satisfacer las necesidades valoradas (planteadas por la información de entrada)?

¿Hasta qué punto se ha realizado el plan del proyecto y cómo y por qué razón se ha modificado (planteada por la información del proceso)? 4. ¿Qué resultados -positivos y negativos, buscados o no- se han observado, cómo han juzgado los distintos clientes el valor y el mérito de los resultados y hasta qué punto han sido satisfechas las necesidades de la población objeto del estudio (información del producto)?

.... __ .1 ....

-

I


~


t

El CIPP como estrategia para el perfeccionamiento de los sistemas

I

I 1 I

ji

Comparado con las orientacione~, de Stak~ .Y Scriven, el CIPP está más en la línea de los sistemas de educaclOn y serV1CI0Shumanos. No se concentra demasiado en servir de guía para la realización de un estudio individual, sino más bien en proporcionar unos servicios de evaluación continu~ para la toma de decisiones de una institución determinada. Se basa especIalmente en el concepto de que el propósito más importante de una evaluación no es d~mostrar sino perfeccionar. Esto se opone a los que afirman que las evalua~~ones deben ser «cazadoras de brujas» o simples instrumentos de responsabtlidad. Por el contrario, considera que la evaluación es un instrumento para ayudar a que los programas sean mejores para la gente a la que deben serVIr. Esta postura es coherente con la que recientemente han expresado PATTON(1978) y CRONBACHy sus colaboradores (1980) (véase unidad 5). D~ cualquier f?~ma, las orientaciones del CIPP no están concebidas para reducIr la probabilidad de que algunos programas sean indignos de una mejora, por lo ~ue se de~ería terminar con ellos. Promoviendo la «eliminación» de programas mnecesanos o desesperadamente imperfectos, las evaluaciones también cumple? una, función perfeccionista, al permitir que los recursos vayan a parar a tra~aJos ma~ provechosos. Fundamentalmente, la utilización del modelo CIPP esta concebIda para promover el desarrollo y ayudar a los dir.ectivos ~,person~l respo~sable: .de una institución a obtener y utilizar una mformaclOn contmua y slstematIca con el fin de satisfacer las necesidades más importantes o, al menos, hacer lo posible con los recursos de que dispongan.. . Esta orientación, que ayuda a mantener y mejorar la calldad de las operaciones institucionales, aparece ilustrada en el diagrama de la. figura 6.1. Empezando por la izquierda, puede comprobarse .que las ope~a~lOnes de u.na escuela o cualquier otra institución, incluyen dIversos y qUlza no coordmados trabajos evaluativos, pero también que, periódicamente, la ins~i:ución nece~ita someterse a una evaluación especial del contexto. Una evaluacI0n de este tlpo puede examinar las necesidades de los clientes de la institución; exponer. oportunidades como programas de subvención, avanzadas tecnologías educatlvas o industrias con disponibilidad y capacidad para ayudar a la institución; recopilar y examinar intuiciones acerca de los problemas de .la .institu~ión. qu~ necesitan un cambio; y valorar la eficacia de las metas y pnondades mstltuclOnales. Una evaluación del contexto puede estar motivada desde dentro de la institución como una valoración regular del «estado de la institución» o como una respuesta a ciertos sectores que estén insatisfe:~os con la ~abor de la institución. Una evaluación del contexto puede tambIen estar mOtlvada desde fuera de la institución, como cuando una agencia acreditada pide un autoestudio o cuando una agencia de subvenciones pide una «valoración de ~as necesidades» como base para justificar una solicitud de fondos. Estos estudIos

1

) :,1: .•..•..•..•.... !

190

L

..

j

')

I

191

')

pueden estar dirigidos hacia áreas de interés específicas o centradas, más generalmente, en una amplia gama de funciones de la institución. En general, estos estudios ayudan a la renovación del sistema y a la promoción de un mejor y más eficiente servicio, al diagnosticar problemas concretos y modos de perfeccionamiento, Y comunicar los puntos fuertes y débiles de la institución respecto a su ciscunscripción. Los resultados de la evaluación del contexto, idealmente, pueden conducir a una decisión acerca de la introducción de algún tipo de cambio en el sistema. Si la decisión es en sentido negativo, el personal de la institución debe continuar con las operaciones del programa de costumbre. Por el contrario, si se toma la decisión de cambiar, de alguna manera, la institución, el personal del programa debe clarificar el problema (o problemas) que debe{n) ser resuelto{s) y formular sus objetivos. Seguidamente, deben considerar si existe alguna estrategia de solución clara y apropiada, así como fácilmente adaptable a su situación. Si la hay, deben adoptarla y redirigir su atención hacia su utilización y evaluación en el programa, ya en marcha, de la institución. Si no aparece ninguna solución satisfactoria, el personal, de acuerdo con el diagrama, debe realizar una evaluación de entrada. Una evaluación de este tipo debe localizar la literatura más importante, interrogar al personal de otras instituciones que hayan tenido éxito en un problema similar, fomentar el ingenio y la creatividad del personal de la institución y de los grupos de clientes, y, posiblemente, contratar a expertos del exterior. Más tarde, se encargará a uno o más equipos que propongan una o más posibles estrategias de solución. La(s) propuesta(s) resultante(s) deben ser valoradas según criterios como el interés que tienen para las necesidades, problemas y objetivos establecidos, su solvencia 'y su viabilidad. Los resultados de la evaluación de entrada pueden ser utilizados para decidir si ha sido hallada una estrategia de solución lo suficientemente prometedora como para seguir adelante con su desarrollo. Si no ha ocurrido esto, el personal debe considerar si el cambio deseado es 10 suficientemente importante para continuar la búsqueda y, si loes, debe reemprender la búsqueda de otra estrategia de solución. Si se ha encontrado una estrategia prometedora, el personal debe decidir si esta estrategia puede ser justificadamente adoptada sin comprobación. Si la estrategia es bien conocida y el persOnal se considera capaz de aplicarla, debe desviar su atención a la incorporación del cambio en las actividades regulares que lleva a cabo, sin el apoyo de evaluación especializada alguna.

')

Por el contrario, si decide su comprobación, debe dirigir su atención hacia un examen de la estrategia y someterla a una evaluación del proceso y del pr.oducto por el período de tiempo que sea necesario para analizar el procedimIento y alcanzar el nivel operativo deseado, así como la habilidad suficiente para su aplicación. De cualquier forma, si, en algún punto, el proyecto no se desarrolla satisfactoriamente o su coste es considerado alto, el director de la

") ')

) ') )

) ')

) ) )

) ) ) ) ). ) ) ) ) ) )

) ) ) ) ) )

) ) )

(

( (

192

I


{

(

( (

( ( (

( (

( ( (

( (

( ( ( ( FIGURA

6-1.

Diagrama descriptivo del papel de la evaluación el?? en el perfeccionamiento de un sistema

(

( (

«

•

( (

t

193

1.

( (

{

I

a las operaciones regulares, incluyendo la evaluación regularizada del programa que está en marcha. El análisis de la evaluación precedente, en el contexto de un proceso de cambio institucional, reafirma muchas importantes características propias de un método sistemático de evaluación:

(

(


institución puede decidir que no se continúe el trabajo y, de acuerdo con esta conclusión, terminar con él. Estas decisiones se toman frecuentemente al final de los proyectos subvencionados federalmente, cuando se ha de decidir si deben concederse los fondos locales para la institucionalización de un proyecto. Como se muestra en la parte inferior derecha del diagrama, incluso si un proyecto ha tenido éxito, el director de la institución puede determinar que las condiciones de la institución han cambiado 10 suficiente como para que ya no sea necesario el cambio que se habían propuesto y, como consecuencia, dar por finalizado el trabajo. Si supone que el proyecto es un éxito y que la solución proporcionada aún es necesaria, la institución debe seguir aplicando el proyecto y volver

La evaluación es una parte integrante del programa regular de una institución y no sólo una actividad especializada relacionada con proyectos de renovación, y el perfeccionamiento del CIPP o de cualquier otro método especializado es sólo una parte del mosaico de la evaluación formal e informal de la institución. 2. La evaluación desempeña un papel vital en la estimulación y planificación de cambios. 3. La utilización de cada tipo de evaluación del modo CIPP está indicada sólo si es necesaria más información de la que ya existe, y no por el valor intrínseco de cada clase de evaluación. En otras palabras, las evaluaciones del contexto, de la entrada de datos; del proceso y del producto son sólo una parte del gran marco evaluativo de cada institución, y la función más importante de estos estudios encargados es servir a las necesidades marginales, en lo que se refiere a la información evaluativa, de la institución. 4. El desarrollo de nuevos programas debe incluir una previsión acerca de su utilización práctica de la evaluación, una vez que hayan sido aceptados a través de algo relacionado con la evaluación con inserción de currículo (en la que la evaluación se construye mediante la realización de un currículo y, automáticamente, proporciona una retroalimentación útil para el diagnóstico, prescripción y comprobación de los progresos). 5. La información de la evaluación no sólo proporciona una guía para resolver problemas institucionales, sino que, si se realiza de cara a una revisión pública, también proporciona una base para juzgar si las decisiones acerca. del fracaso o institucionalización de un proyecto especial se toman desde posiciones justificables. 6. Las decisiones acerca del principio, mantenimiento, aplicación o final de los programas o de su perfeccionamiento, casi siempre reflejan fuerzas dinámicas -racionales e irracionalesque van más allá de la esfera de estudio e influencia del evaluador.

Panorama de las categorías del CIPP Además de considerar el método CIPP en un contexto institucional o de sistemas, es instructivo examinar más de cerca cada tipo de estudio. La matriz de la tabla 6-3 se presenta como un útil panorama de los significados esencia-

~

'. ".....~~.•.~..

~ TABLA

Evaluaci6n

del contexto

,

6-3.

Evaluaci6n

.•..
Cuatro tipos de evaluación de entrada

Evaluaci6n

Evaluaci6n

del proceso

del producto

[ e

Objetivo

Método

Relación con la toma de decisiones en el proceso de cambio

Definir el contexto institucional, identificar la población objeto del estudio y valorar sus necesidades, identificar las oportunidades de satisfacer las necesidades, diagnosticar los problemas que mbyacen en las necesidades y juzgar si los objetivos propuestos son lo suficientemente coherentes con las necesidades valoradas.

Identificar y valorar la capacidad del sistema, las estrategias de programa alternativas, la planificación de procedimientos para llevar a cabo las estrategias, los presupuestos y los programas.

Identificar o pronosticar, dti- .. Recopilar descripciones y juirante el proceso, los decios acerca de los resultafeetos de la planificación dos y relacionarlos con los del procedimiento o de su objetivos y la infotmación realización, proporcionar proporcionada por el coninformación para las detexto, por la entrada de cisiones preprogramadas y datos y por el proceso, e describir y juzgar las acinterpretar su valor y su tividades y aspectos del mérito. procedimiento.

Utilización de métodos como el análisis de sistemas, la inspección, la revisión de documentos, las audiciones, las entrevistas, los tests diagnósticos y la técnica Delphi.

Inventariar y analizar los recursos humanos y materiales disponibles, las estrategias de solución y las estrategias de procedimiento referentes a su aplicabilidad, viabilidad y economía. Y utilizar métodos como la búsqueda de bibliografía, las visitas a programas ejemplares, los grupos asesores y ensayos piloto.

Controlar las limitaciones potenciales del procedimiento y permanecer alerta ante las que no se esperaban, mediante la obtención de información específica de las decisiones programadas, la descripción del proceso real, la continua interacción con el personal del proyecto y la observación de sus actividades.

Definir operacionalmente y valorar los crirerios de los resultados, mediante la recopilación de los juicios de los clientes y la realización de análisis cualitativos y cuantitativos.

Decidir el marco que debe ser abarcado, las metas relacionadas con la satisfacción de las necesidades o la utilización de las oportunidades y los ob;etivos relacionados con la solución de los problemas, por ejemplo, la planificaci6n de los cambios necesarios. Y proporcionar una base para juzgar los resultados.

Seleccionar los recursos de apoyo, las estrategias de solución y las planificaciones de procedimientos, esto es, estructurar las actividades de cambio. Y proporcionar una base para juzgar la realización.

Llevar a cabo y perfeccionar la planificación y los procedimientos del programa, esto es, efectuar un control del proceso. Y proporcionar un esbozo del proceso real para utilizarlo más tarde en la interpretación de los resultados.

Decidir la continuación, finalización, modificaci6n o readaptaci6n de la actividad del cambio. Y presentar un informe claro de los efectos (deseados y no deseados, positivos y negativos ).

'o." !J.

:J en en

...• ro 3

...• "', ñ'

'"

!?/ e =:::

ro oro

'3" ¡¡;ro

~ e

'" o; o

e; ••• , ~

¡¡;

:J

:t< ..::: ::;

O r""'

c.. ro

t"-=.

~;.:::~~~ .~~ ;:-:"J

'C

-:n

t,~:}~ .. '

("

o o

o'

:J

;; ~~\,p~

'" 3

.,.. '!".;7~.

t.'1

ro ~ ro

r- ~_.'.

t. ~l~;':

ro

:J ...•

o

O(f"'..L. ,,, v' ..-t (:. ~(-

o::rJ In () r11 :j

_-o :.,(1 ~6':r; (l

<"

:~~~

-

....•.......... . -c.,

I Stufflebeam: 196

\

Evaluación

la evaluación


I

197

sistemática

de d del proceso y del producto. Estos les de la evaluación del contextfio"d entra a 'ac1'o' n a sus objetivos, sus métodos , d e estu d'10 son de nl os con re l cuatro upos y sus utilizaciones.

Evaluación del contexto . . l' . 'n de 1a eva 1uac l'o'n del contexto es identificar las La prmC1pa onentac10 b' una institución un programa, una d 19ún o Jeto, como ' f . virtudes Y d ef ectos e a .. onar una guía para su per ecclOpoblación escogida o una per:o~a, YdPropotClt'po-de estudio son la valoración .' 1 obJeuvos e este 1 . 'fi namiento. Los pnnc1pa es l'd 'fi 'o'n de sus deficiencias, la 1denu caI b' to a 1 enU caCl . ,. d del estado gl ob a1 d e o Je , d b esas deficiencias el d1agnOStlco e . d ue en su sanar ' 1 ción de las vlttu es que p d . 1 estado del obJ'eto y, en genera, 1 ., n pue a mejorar e ., los problemas cuya so UClO d elve el programa. Una evaluaclOn . ., d 1 rco en que se esenvu d d . la caractenzaClOn e ma . d . r SI'las metas y priori a es eX1S, b' , ' d stma a a examma del contexto tam len esta.e 1 'd des que deben supuestamente, , C1a con as neceS1 a , 1 ten tes estan en consonan 1 b' tral los resultados de una eva ua. e sea e o Jeto cen , 1 satisfacer. Cua l qUiera qu . b o'lida para el ajuste (o e estaor ClOnar una ase s . ción del contexto d e b en pro.P .d d ara la designación de los cambios blecimiento) de metas y pnon a es, y p necesarios. 1 . , del contexto puede incluir una gran ' de una eva. uaC10n La meto d o1ogla d' , d1'versos tipos de ana'1"1SlS.El . d 1 objeto e mteres y 1 variedad de va 1oraClOnes e . los clientes del estudio con e 'd ' ún es entrevistar a punto de partl a mas com . t acerca de las virtudes, los defectos y fin de tener acceso a sus puntos de VIS.a d 1 comunidad y las consiguien. . las reunlones e a los problemas. L as au d 1enC1as, . d r hipótesis adicionales acerca tes entrevistas deben estar destlhn.a,as ~ genedrea ser utilizadas para construir n . . Estas 1potes1s pue . d de los cam b lOSnecesanos. d l' d a una muestra ctilda osad' e pue e ser ap!Ca o un instrumento d e estu 10, qu ., lmente para todos aquellos 'd d l' t S Y serVir mas genera, '1' . mente escogl a e c len e , d l' ndo finalmente un ana 151S . d tos de entra a, rea Iza que deseen proporcionar a Los informes ya existentes deben separado de las respuestas de ~md bO:figruPlos. odelos de trabajOo y la informa., . d para 1 entl car os m ser tamb1en examma os ., d' nóstico especial. y contratarg ción previa. Puede aplicars~ ~amb1benun tdest 1a y 'Juzgue el valor y el mérito a visIte o serve e cerc . d se a un experto para que d' 1 estudio un comité asesor representatlvo e de un programa. A 10 l~rgo e d int~rvenir en la clarificación de las cueslos diversos grupos de clientes pue e ., d los resultados Una técnica que . l' la interpretaclOn e . tlOnes eva uatlvas y en 1 D 1 h' uede ser utilizada para asegurar tienda hacia el consenso, c~mo a .e ~ 1,. P y debe existir un taller de tra. acuerdos acerca de las necesidades pr~ontana~: 1 resultados bajo que ayude a los clientes a estud~r y ap lCa:c~:s utilizacio~es construeti. Una evaluación del contextod.pue e tener m distrito escolar se comunique vas. Puede proporcionar un me 10 para que un

con su público con el fin de alcanzar una concepción compartida de las virtudes y defectos del distrito, sus necesidades y oportunidades y sus necesidades prioritarias. Puede ser utilizada para convencer a una agencia de subvenciones de que el proyecto propuesto se refiere a un área de urgente necesidad, o convencer a un electorado de la necesidad de aprobar unos impuestos. Puede ser utilizada para formular objetivos referentes al desarrollo del personal y/o la revisión del currículo. Puede ser utilizada para seleccionar escuelas concretas que necesiten una ayuda prioritaria. Desde luego, a menudo puede ser utilizado para ayudar a los estudiantes y a sus padres o asesores a centrar su atención en las áreas de desarrollo que requieren más progreso. También puede ser utilizada para ayudar a decidir cómo interrumpir programas, con la esperanza de ayudar a la institución a ser más fuerte haciéndose más pequeña. Creo que éstos son ejemplos importantes de cómo una evaluación del contexto puede ayudar a individuos y grupos a establecer prioridades en los trabajos de perfeccionamiento. También puede utilizarse más tarde, cuando es necesario valorar lo que se ha conseguido a través de! perfeccionamiento del proyecto. Una base para juzgar los resultados consiste en valorar si responden adecuadamente a las necesidades identificadas durante la evaluación del contexto. Finalmente, la evaluación del contexto es un medio pertinente para defender la eficacia de las propias metas y prioridades.

Evaluación de entrada La principal orientación de una evaluación de entrada es ayudar a prescribir un programa mediante e! cual se efectúen los cambios necesarios. Esto lo realiza identificando y examinando críticamente los métodos potencialmente aplicables. Es una anunciadora del éxito, el fracaso y la eficacia de un cambio. Los proyectos de cambio están limitados por decisiones iniciales acerca de cómo deben asignarse los recursos, y una solución a un problema, potencialmente efectiva, no tiene ninguna posibilidad de impacto si un grupo de planificación no identifica y valora, por 10 menos, sus méritos, cuando se está estructurando su proyecto de cambio . Esencialmente, una evaluación de entrada debe identificar y valorar los métodos aplicables (incluyendo los que ya están operando en el principal programa de interés) y ayudar a explicar y «desmenuzar» el que se ha' escogido para su aplicación o continuación. También debe buscar las barreras que limitan e! marco ambiental de los clientes, las limitaciones y los recursos potencialmente utilizables que deben tenerse en cuenta en el proceso de activación del programa. El propósito global de una evaluación de entrada es ayudar a los clientes en la consideración de estrategias de programa alternativas en el contexto de sus necesidades y circunstancias ambientales, así como desarrollar un plan que sirva a sus propósitos; otra importante función que desempeña

L ') ') 198

I

Evaluación

Stufflebeam:

es ayudar a los clientes a evitar la infructuosa práctica que consiste en perseguir innovaciones propuestas que, sin duda, fracasarán o, por lo menos, acabarán

:

I

\¡

;, 1-

1.

r

'1 (l

J

I

con sus recursos. Los métodos que utiliza pueden ser descritos en una serie de etapas, aunque no existe ninguna secuencia de pasos que puedan seguirse para realizar una evaluación de entrada. Puede empezarse revisando el estado de la práctica con respecto a la satisfacción de las necesidades específicas; esto puede hacerse mediante el estudio de la literatura más importante, el contacto con programas ejemplares, la consulta con expertos y representantes del gobierno a propósito de los pertinentes servicios de información y la aceptación de propuestas del personal implicado. Esta información debe ser ordenada en una planificación especial y sometida a la profunda investigación de un grupo especial de estudio. Su investigación debe llevarse a cabo durante un cierto período de tiempo a través de un grupo especial de decisiones, Este grupo puede utilizar las informaciones para valorar si existen estrategias de soluciones potencialmente aceptables. Además, puede valorar los métodos propuestos Y su efectividad y viabilidad potenciales, además de aconsejar al personal y a la facultad acerca de la búsqueda de una nueva solución. Si se busca una renovación, el cliente y los evaluadores deben definir los criterios que debe cumplir esa innovación, estructurar una solicitud de propuestas, obtener diversas propuestas y valorarlas según su efectividad y viabilidad potenciales, Más tarde, los evaluadores pueden analizar y ordenar las propuestas potencialmente aceptables y sugerir cómo pueden combinarse las mejores características de cada una. Además, los evaluadores pueden llevar a cabo un modelo de audición en la que el personal y los administradores estén invitados a expresar sus intereses y hacer una estimación realista de los recursos y barreras que, de alguna manera, necesitan abordar durante el proceso de designación de la solución. La técnica del grupo asesor es un procedimiento relativamente nuevo para la realización de evaluaciones de entrada y merece una consideración especial. Esta técnica es especialmente aplicable en situaciones en las que no se dispone de los apropiados medios efectivos para satisfacer las necesidades específicas. Se reúnen dos o más grupos de expertos, fijan los objetivos por los que es necesario un programa, proporcionan especificaciones para la planificación de las propuestas del programa y orientan hacia los criterios mediante los que deben ser juzgadas las diversas respuestas, Los informes del grupo asesor son valorados por un plantel de expertos y/o mediante test pilotos, de acuerdo con criterios preestablecidos. Las siguientes etapas implican a los miembros del conjunto de usuarios para que operen con las mejores características de las dos o más estrategias escogidas. Las ventajas de la técnica del grupo asesor son que proporciona: 1) un procedimiento explícito para generar y valorar diversas estrategias programáticas; 2) un informe explícito acerca de por qué ha sido escogida determinada estrategia de solución; 3) un tribunal que utiliza las diversas tendencias y la competitividad para una búsqueda constructiva de

la evaluación


I

199

')

alternativa~; y 4) un medio para implicar al personal en el sistema ado ya sean miembros del grupo asesor o mi b dI' ptado, tÍvidades de convergencia y operacional~~ci~os e gr.upo que realIza la.s acn de las distintas estrategias. Encontrará más info qu~, SI~Ue? al ~rdenamlento técnico y los resultados de cinco tests d 1 r,ma.cIOn,InCuyen o un manual Diane REINHARD (1972). e a tecmca, en la tesis doctoral de

.,

Sistemática

Las evaluaciones de entrada tienen muchas a lic

.

')

1 ) ')

.

~;;'~',';/j~~::';,;::;:,;';;::' ;;:;:;:,::"~:::',u~:'l:;~,~n~, d:ut~~:::

1

¡ I

J

existente y decir si se opone a lo que se h' s va orar un programa ya la literatura. La evaluación de entrad ac~en o.~:asJartes y a lo que propone escolar independiente de Dalla a s.e a utllza ,o ta~bién en el distrito locales de renovación cuyos cSosctomo sls.tema para mvestlgar las propuestas . ' es preVIstos podían 11 d 1 benefiCIOSprevistos. Otra utilizació' .egar a exce er a os un tribunal mediante los cuales n conslS~: e~ 'proporcIOnar una estructura y llegar a un acuerdo en algún ti o d~r~~~~ lstonc~mente. antagónicos puedan de una evaluación de entrada; d 1 n. Adema\ los mformes procedentes un tipo de acción entre otras :a~i~i7i;ad~:. responsa les autorizados a escoger

') ')

)

')

) )

) )

Evaluación del proceso

) En esencia, una evaluación del . ., realización de un pIan Uno d procebs? e.s una comprobacIOn continua de la ., . e sus o jetlvos es pro' '. 1 1 porCIOnar contmua InformaCIOn a los administrativos actividades del programa siouen y a ~erson~ acerca de hasta qué punto las un había planeado y utilizan lo"'s rec ued~ nt~bol' se desarrollan tal como se ursas lspom es de fi ' tro es proporcionar una gUI'a p' d'fi una manera e Clente, O ara mo 1 cal' o expl' 1 1 sea necesario puesto que no t d 1 lcar e p an tanto como " o os os aspectos de 1 d ¡nmados de antemano y algunas de las dec' , , ~n. p an pue en ser determás tarde, ser infructuosas Otro b" ls;ones mlClales pueden demostrar, , ' o jetlvo mas es val r ' 'd' que punto los que participan en loar peno lcamente hasta ñar sus funciones Finalmente e prolgrarr:~ aceptan y son capaces de desempe, ' , una eva uaCIOndel pro d b ' extenso mforme del programa 1 ceso e e 'proporCIOnar un lo con lo que se había planific~u: re~ ~~nte se está llevando a cabo, compararcostes de su realización y sab ' ,es a , ecer un recuento total de los distintos observadores como los part' ,el' como juzgan la calidad del trabajo tanto los IClpantes El eje central de una evaluació~ del proceso. Ocurre a menudo 1 Plroceso solvente es el evaluador del que e persona de un P f ' ob tener una guía para su r l' . 'd rograma racasa al mtentar ea IzaClOn y ocum t ' / , cual se debe a un fallo en 1 ' ,/ d en aCIOnpara sus actIvidades lo / a aSlgnacIOn e los t b' A ' erroneamente que los administrativos ra aJos. menudo, se asume un adecuado trabajo de evaluació d Ylel personal pueden y deben realizar n e proceso como parte normal de sus

) )

) ) ) (

)

) )

) )

) ) ) )

)

.)

\ ( (

200

I

Evaluación

Stufflebeam:

sistemática

la evaluación


I

201

( ( (

( ( ("

( ( ( ( ( (

( ( ( ( (

( ( (

( ( ( (

( ( ( {

t (

t 1

funciones. Aunque de actividades rutinarias, como las reuniones de~ personal, pueden surgir algunos análisis y docum.e,ntación, esto no es sufiC1ent~ par~ satisfacer los requisitos de una evaluaclOn del proceso solvente. Segun IDl experiencia, estos requisitos sólo pueden satisfacerse asignando a una o ~ás personas la tarea de realizar revisiones sobre la marcha, y de encontrar información continua y documentación. El evaluador del proceso tiene mucho trabajo que hacer en un programa. Lo que sigue está concebido como una ilustración de lo que puede hacer. Primero el evaluador del proceso puede revisar el plan del programa y cualquier evalu'ación anterior en la que puede basarse para identificar aspectos importantes del programa que debe ser controlado. Algunos ejemplos de 10 que puede identificarse son las reuniones de trabajo del personal, el ~esarrollo y la puesta en marcha del conjunto de materiales, las recomendaclOnes a los estudiantes, la relación con los padres, los servicios de tutorías, las sesiones de planificación del personal, las habilidades conjun~as de los estudi~~tes,. ,la enseñanza en las aulas, los viajes didácticos, el trabajo en casa y la UtlhZaClOn de los tests diagnósticos. Otro medio para identificar 10 que debe investigar es que el evaluador forme un grupo a~esor, que sea a~pl~amente repre~entativo de quienes participan en el trabaJo, y al que penodicamente le pl~a la identificación de problemas y cuestiones que deben plantearse. Otras cuestlOnes importantes se le ocurrirán al evaluador observando las actividades del programa. . Teniendo en cuenta los problemas y cuestiones que hemos menclOnado, el evaluador del proceso puede desarrollar un esquema general de las actividades de recopilación de datos y empezar a llevarlas a cabo. Inicialmente, esto debe realizarse tan discretamente como sea posible para no molestar al personal del programa o interferir en su camino. Más tarde, a medida que se va desarrollando, el evaluador del proceso puede utilizar ya un método más estructurado. Al principio, el evaluador del proceso puede intentar trazar un panorama acerca del funcionamiento del programa visitando y observando los centros de actividad, revisando los documentos del programa, asistiendo a las reuniones del personal y entrevistándose con sus principales representantes. Luego, el evaluador del proceso puede preparar un breve informe que resuma el plan de recopilación de datos, analice lo que se está aprendiendo y subraye los problemas clave. El informe puede entonces presentarse en una reunión del personal e invitar al director a que presida una discusión acerca de él y utilizarlo para una revisión del programa que el personal y él consid~ren adecuada. Más tarde, en la reunión, el evaluador del proceso puede anahzar, junto con el personal, sus planes para una futura recopilación de datos y el consiguiente informe. Puede preguntarles qué opinan de la información que pueda resultar útil en un próximo encuentro, así como pedirles que le su~ieran algo acerca de cómo obtener mejor ciertas informaciones, como observaclOnes, diarios del personal, entrevistas o cuestionarios. Basándose en la información

del personal, el evaluador puede proyectar futuras sesiones informativas, modificar tanto como sea conveniente el plan de recopilación de datos y actuar en consecuencia. Debe demostrar continuamente que el propósito principal de la evaluación de un proceso es ayudar al personal a llevar a cabo su programa, a través de una especie de proceso de cualificación. A 10 largo de este proceso interactivo, el evaluador debe preparar y archivar informes acerca de su opinión sobre cómo está realizándose el plan del programa. Debe describir las principales desviaciones del plan original, y debe especialmente tomar nota de las variaciones experimentadas por el programa en lo que se refiere a las distintas personas y subgrupos que llevan a cabo el plan. También debe caracterizar la actividad de la planificación y trazar la evaluación del plan básico en el que se basa el programa. La principal misión de la evaluación del proceso es obtener continua información que pueda ayudar al personal a llevar a cabo el programa tal como estaba planeado o, si se considera que el plan es inadecuado, modificarlo tanto como sea necesario. Algunos administradores ven las reuniones informativas regulares sobre la evaluación del proceso como un medio de mantener al personal «alerta» y al corriente de sus responsabilidades. Los informes sobre la evaluación del proceso son también útiles para la contabilidad, puesto que las agencias de subvenciones, las juntas políticas y los clientes desean saber, por lo general, si se han realizado las inversiones que habían propuesto. Las evaluaciones del proceso pueden también ayudar a las audiencias exteriores a saber qué se hace con un programa, por si tienen que realizar uno similar. y una evaluación del proceso es un fuente de información vital para interpretar los resultados de la evaluación del producto, puesto que considerando la realidad de los resultados del programa, se puede desear saber qué actividades se han realizado para llevar a cabo el plan del programa.

Evaluación

del producto

El propósito de una evaluación del producto es valorar, interpretar y juzgar los logros de un programa. La continua información acerca de estos logros es importante tanto durante el ciclo de un programa como en su final, y la evaluación del producto debe, a menudo, incluir una valoración de los efectos a largo plazo. El principal objetivo de una evaluación del producto es averiguar hasta qué punto el programa ha satisfecho las necesidades del grupo al que pretendía servir. Además, una evaluación del producto debe ocuparse ampliamente de los efectos del programa, incluyendo los efectos deseados y no deseados, así como los resultados positivos y los negativos. Una evaluación del producto debe recoger y analizar juicios acerca del éxito del programa, procedentes de una amplia gama de gente relacionada con el programa. A veces deben compararse los resultados del programa que

)

} 202

I


se ha estudiado con los de otros programas alternativos. Frecuentemente, el cliente necesita saber por qué la comparación de los logros con los objetivos previamente fijados y el alcance de los resultados son más importantes que lo que ha costado alcanzarlos. Por lo general, es más importante ofrecer interpretaciones de hasta qué punto el fracaso en la consecución de los objetivos o la satisfacción de las necesidades están relacionadas con un fracaso en la realización del plan del programa. Finalmente, una evaluación del producto debe, por 10 general, examinar los resultados desde muchos puntos ventajosos: en conjunto, haciendo subgrupos de destinatarios, que pueden ser diferenciados por las necesidades satisfechas y los servicios recibidos, y a veces por individuos. Un resultado relacionado con un individuo puede ser clasificado como un éxito o un fracaso según haya satisfecho o no una necesidad previamente diagnosticada del individuo; esta evaluación del producto en el nivel individual también permite que se junten los individuos para así conseguir un índice global del éxito del programa en lo que se refiere a la satisfacción de las necesidades colectivas y diferenciales de los individuos. No existe una serie algorítmica para realizar una evaluación del producto, pero hay muchos métodos que pueden aplicarse. En general, debe utilizarse una combinación de técnicas para obtener una visión amplia de los efectos y proporcionar comprobaciones de los diversos resultados. Lo que sigue está concebido para ilustrar la gama de técnicas que pueden ser empleadas. Los evaluadores del producto pueden empezar valorando el trabajo con relación a algunas normas previamente escogidas. Estas valoraciones pueden hacerse basándose en tests de rendimiento comparados a un perfil de las necesidades previamente valoradas, en pre-tests de rendimiento, en normas seleccionadas, estandarizando logros concretos o en el rendimiento de un grupo de control. Los tests utilizados pueden ser tests objetivos ya publicados, especialmente tests referidos a criterios o tests de rendimiento aplicados (véase SANDERS, 1977). Las valoraciones del trabajo pueden también estar basadas en las valoraciones hechas por observadores, directivos y/o los propios destinatarios del programa. Y los expertos pueden valorar los productos del trabajo y compararlos con los esquemas de las necesidades previamente fijadas por los destinatarios del programa. Para valorar el trabajo más allá de lo relacionado con los resultados buscados, los evaluadores necesitan realizar una búsqueda intensiva de resultados inesperados, tanto positivos como negativos. Pueden organizar audiciones o entrevistas en grupo para generar hipótesis acerca de la gama completa de resultados y continuar con investigaciones clínicas destinadas a confirmar o desmentir las hipótesis. Pueden realizar estudios de casos concretos basándose en experiencias de una muestra de personas cuidadosamente seleccionada con el fin de obtener una profunda visión de los efectos del programa. Pueden interrogar, telefónicamente o por correo, a una muestra de participantes para enterarse de sus opiniones acerca del proyecto y sus puntos de vista acerca de


I

203

') ')

los resultados, tanto positivos como negativos. Pueden pedir a los participantes que r :esenten ejemplos concretos, como algo que hayan escrito, de cómo ha influi¿~1 el proyecto en su trabajo. Pueden recurrir a observadores que examinen el trabajo del programa y de los grupos de cotejo, y que desarrollen y hagan efectivos tests que diferencien sus trabajos, ofreciendo así un punto de vista sobre los pros y los contras de sus contribuciones (véase BRICKELL, 1976). Pueden identificar y examinar los resultados del programa con relación a un amplio inventario de resultados que han sido observados en programas similares. Como ejemplo final, pueden organizar un «juicio con jurado» con el fin de presentar y examinar todas las evidencias disponibles que reflejan el éxito o el fracaso del programa (véase WOLF, 1974). El informe sobre los resultados de una evaluación del producto puede desarrollarse en distintas etapas. Los informes intermedios pueden ser presentados durante cada ciclo del programa para indicar hasta qué punto están siendo planteadas y satisfechas las necesidades fijadas. Los informes final-decido pueden resumir los resultados alcanzados e interpretarlos a la luz de las necesidades pre-valoradas, el coste y los puntos del plan que se han cumplido. Los informes subsiguientes pueden también presentarse para indicar si se han conseguido algunos efectos a largo plazo. En estos informes, los resultados deben ser analizados en su conjunto, por subgrupos e individualmente. La utilización básica de una evaluación del producto es determinar si un programa concreto merece prolongarse, repetirse y/o ampliarse a otros ámbitos. También debe proporcionar una guía para modificar el programa con el fin de que sirva mejor a las necesidades de todos los miembros interesados y resulte más efectivo con relación a su coste. Desde luego, debe ayudar a quienes puedan adoptar el programa en el futuro a decidir si merece una seria consideración. Las evaluaciones del producto tienen implicaciones psicológicas, puesto que al mostrar signos de evolución y/o superioridad a los competidores, refuerzan el trabajo tanto del personal como de los destinatarios del programa; asimismo, pueden reducir el entusiasmo cuando los resultados son malos. La información procedente de la evaluación del producto es un componente esencial de cualquier informe de contabilidad y, cuando se evidencian logros significativos, puede ayudar a conseguir apoyo financiero y político adicional por parte de la comunidad y de las agencias de subvenciones. Cuando esta información revela que no se ha avanzado mucho con relación a los costes, la evaluación del producto puede ayudar a evitar la continuación de inversiones infructuosas en el programa. Además, un informe sobre los resultados obtenidos, especialmente con relación al método utilizado y a los costes, puede ayudar a otros evaluadores a decidir sobre la conveniencia de abor~ar una acción similar. Los comentarios precedentes indican que la evaluación del contexto, de e~trada, del proceso y del producto desempeñan funciones únicas, pero tamblé~ que e~is.te una relación simbiótica entre ellas. Ello demuestra que pueden aplIcarse dlstlntos métodos a cada tipo de evaluación. Pero esto no está rela-

} ')

, ')

} ')

') ')

) ) ) ) ) ) )

) ) .) ) ) (

)

) ) ) ) ) ) )

) ')

)

•• (

(

204

1



I

205

('

( (

cionado con el problema práctico del evaluador: decidir qué métodos hay que emplear en un estudio determinado. Trataremos este problema en el si. guiente apartado de esta unidad.

f (

El diseño de evaluaciones

(

Para saber cómo realizar una evaluación -ya se trate de una evaluación del contexto, de entrada, del proceso o del producto (o algún tipo de combi. nación entre ellas)- el evaluador necesita, obviamente, planificar el trabajo que debe hacer. Esto supone preparar los planes preliminares y luego modificarlos y explicarlos a medida que avance el estudio. Estos planes deben incluir una amplia gama de elecciones referentes a la realización de la evaluación, como por ejemplo las audiencias y cuestiones clave; si es más apropiada una evaluación del contexto, de entrada, del proceso y/o del producto; el objeto que debe ser valorado; el tiempo y lugar del estudio; el alcance y naturaleza de los controles que deben imponerse; las comparaciones que deben hacerse; las fuentes de información necesarias; los métodos, instrumentos y esquemas de la recopilación de datos; las formas y procedimientos de designar, archivar y conservar la información; los métodos de análisis e interpretación; las disposiciones para comunicar los resultados; y los criterios y acuerdos para valorar los resultados de la evaluación. Las decisiones acerca de estas actividades evaluativas son la base de la contratación y financiación del trabajo evaluativo, del trato con las instituciones implicadas, de la búsqueda de personal para el estudio y de la programación y dirección de las actividades de ese personal. Podemos desear que los evaluadores pongan fin a sus decisiones acerca de la planificación al principio, y luego las sigan fielmente. De cualquier forma, las cualidades dinámicas e interactivas de muchas evaluaciones y la orientación de su servicio hacen difícil, si no imposible, la proyección correcta y a largo plazo de las necesidades informativas específicas. Como consecuencia, los planes técnicos para la recopilación de datos y su análisis anteriores al inicio de un estudio, están basados, a menudo, en presuposiciones erróneas y resultan ser, al final, inapropiados o incompletos. Un rígido seguimiento de la planificación evaluativa original -especialmente si se ha definido en término~ específicos- a menudo va en detrimento de la utilidad del estudio al dirigirlo hacia cuestiones equivocadas, guiarlo mediante presuposiciones erróneas y/o convencer a los miembros de la audiencia de que el evaluador utiliza una orientación idealizada. Por lo tanto, los evaluadores se enfrentan a un dilema. Por una parte, necesitan diseñar cuidadosamente sus actividades evaluativas con el fin de realizarlas con eficiencia y aceptable rigor, así como para convencer a sus clientes de que saben lo que están haciendo. Por otra, necesitan un método evaluativo

( ( (

( ( (

( ( ( (

( ( ( (

( ( ( ( (

{ ( ( ~ ( (

e

flexible y realizar una revisión y modificación periódicas del diseño para que la evaluación siga respondiendo a las necesidades de las audiencias. Este dilema es especialmente problemático para los evaluadores, puesto que los clientes, a menudo, esperan o exigen diseños técnicos definitivos y más tarde se desilusionan cuando un rígido seguimiento de! diseño original proporciona mucha información que no resulta útil por demasiado tiempo. A menudo, los clientes perciben que, de algún modo, los evaluadores debían haber sido más inteligentes al proyectar las necesidades informativas y más habilidosos al planear las actividades de recopilación de datos. Para enfrentarse a este dilema los evaluadores deben abordar el diseño como un proceso, no como un producto, y necesitan conducir a sus clientes a hacer lo mismo. Las metas y procedimientos evaluativos deben ser esquematizados de antemano, pero también analizados, revisados, ampliados y modio ficados periódicamente. Fundamentalmente, este proceso debe estar guiado por un concepto justificable de lo que es una evaluación solvente, por una sensibilidad a los factores de! mundo real que a menudo interfieren en e! trabajo evaluativo y por una comunicación continua entre los evaluadores y sus audiencias, acerca de la pertinencia y propiedad de la planificación. Al principio del proceso, creo que es importante escuchar e investigar. ¿Quiénes son los principales clientes? ¿Qué piden de la evaluación? ¿Por qué? ¿Qué tipo(s) de evaluación (del contexto, de entrada, del proceso o del producto) puede(n) ser más efectivo(s)? ¿Cómo creen los clientes que debe ser realizada la evaluación? ¿Qué perspectivas tienen en mente? ¿Quiénes consideran que son la audiencia principal? ¿Quién puede salir perjudicado a consecuencia de la evaluación? ¿Por qué? ¿Qué cooperación será esencial? ¿De qué información se dispone? ¿Cuáles son los antecedentes? Desde un punto de vista realista, ¿qué beneficios positivos pueden esperarse de la evaluación? ¿Qué efectos nocivos pueden producirse, y cómo pueden ser evitados? ¿Qué cualificaciones se requieren para realizar el trabajo? Y así sucesivamente. Siempre que sea posible una elección, los evaluadores deben plantearse cuestiones como éstas antes de decidir si una evaluación puede realizarse o si se dan las condiciones apropiadas para hacerla. Cuando haya asumido una decisión positiva para seguir adelante, e! evalua. dor debe hacer un esquema global del plan. Este plan debe tener en cuenta que el evaluador conoce e! marco de desarrollo y las necesidades concretas de la ~valuación, y que debe ajustarse a las normas generalmente aceptadas para la realización de una evaluación solvente. Además, debe hablar, por lo menos de un modo general, de toda la gama de tareas que debe realizar. La tabla 6-4 proporciona una visión general de los puntos que deben ser abordados en un diseño eval~ativo. Estos puntos son aplicables al desarrollar el plan inicial o más tarde, al revisarlo o explicarlo. Desde luego, sólo sirven como indicación general de la información detallada que probablemente deberá ser proporcionada a la hora de operativizar el diseño.

)

T.,".

')

.';"

I 206

I

5tufflebeam:


la evaluación del perfeccionamiento

I

')

207 ')

TABLA

6-4.

Esquema de documentación

de las planificaciones evaluativas

Análisis de la tarea Definición del objeto de la evaluación Identificación del cliente y las audiencias PropósÍto(s) de la evaluación (perfeccionamiento del programa, responsabilidad y/ o comprensión) Tipo de evaluación (del contexto, de entrada, del proceso o del producto) que va a emplearse Principios de una evaluación solvente (utilidad, viabilidad, propiedad y exactitud) que deben ser observados Plan para la obtención de información Estrategia general (examen, estudio de casos concretos, grupos asesores o experimentos) Presuposiciones de trabajo que sirvan de guía para la valoración, el análisis y la interpretación Recopilación de información (muestreo, instrumentalización y recopilación de datos) Organización de la información (codificación, archivo y conservación) Análisis de la información (tanto cualitativa como cuantitativa) Interpretación de los resultados (identificación de las normas y elaboración de los juicios) Plan para el informe sobre los resultados Preparación de los informes Difusión de los informes Previsión para continuar las actividades con el fin de promover el impacto de la evaluación Plan para la administración del estudio Resumen del programa evaluativo Plan para satisfacer los requisitos económicos y los del personal Previsión para la metaevaluación Previsión para renovaciones periódicas de la planificación evaluativa Presupuestos Memorándum de compromisos o contratos

La formulación del diseño requiere que el cliente y los evaluadores colaboren, desde el principio, cuando deban acordar la realización de una tarea. El cliente necesita identificar .el objeto, por ejemplo el programa que va a ser evaluado, y el evaluador puede ayudar conduciendo al cliente hacia una definición clara y realista de los límites en los que debe desenvolverse. El cliente es la fuente principal para identificar los distintos grupos que tienen un interés potencial en el estudio, pero el evaluador también necesita basarse

en las audiencias potenciales y pensar en la evaluación en el contexto social correspondiente con el fin de identificar toda la gama de audiencias legítimas. El cliente y las demás audiencias necesitan identificar el propósito del estudio --esto es, indicar qué información necesitan y cómo piensan utilizarlay el evaluador necesita conseguir cuestiones clarificadoras para clasificar los distintos (y quizá enfrentados) propósitos y dejar que el cliente asigne las prioridades. El evaluador necesita indicar qué tipo(s) general(es) de estudio(s) (del contexto, de entrada, del proceso y/o del producto) parece necesario, y el cliente debe confirmar esta elección general o ayudar a modificarla. Para terminar la tarea, el evaluador necesita dejar claro que la evaluación estará condicionada a una serie de normas, y debe pedírsele al cliente que ayude a seleccionar y asignar las prioridades de las normas aplicables. Básicamente, el plan para la obtención de información debe ser desarrollado por el evaluador, pero debe ser sometido a una cuidadosa revisión por parte del cliente, que lo modificará en consecuencia. El evaluador debe proporcionar un panorama de la estrategia general que va a emplear (por ejemplo, exámenes, estudios de casos concretos, visitas, grupos asesores, búsqueda continua de efectos, audiencias contrapuestas y experimentos) y de los planes técnicos para la recopilación, organización y análisis de la información necesaria. Aunque los clientes deben, por lo menos, reaccionar ante estos planes técnicos, deben ejercer una influencia mayor a la hora de decidir cómo deben ser interpretados los resultados (por ejemplo, respecto a los objetivos, respecto a los resultados de las valoraciones de necesidades anteriores, basándose en el juicio profesional del evaluador o a través de algún tipo de procesos de grupo formales): El evaluador y el cliente deben prever que el plan para la obtención de información cambiará y se ampliará, probablemente, en el curso de la evaluación, puesto que aparecen nuevas audiencias y cambian los requisitos informativos. La parte del diseño evaluativo dedicada a informar sobre los resultados debe estar concebida para su utilización. El cliente y la audiencia deben participar en la proyección de los contenidos y el cálculo de los informes necesarios. Deben también ayudar ~ planear cómo deben ser difundidos los resultados (organizados, presentados, comunicados, examinados, revisados y documentados para su utilización posterior). Además, el cliente y el evaluador deben considerar seriamente si el evaluador puede desempeñar un papel importante, más allá de la comunicación del informe final, ayudando al cliente y a la audiencia a aplicar los resultados en su trabajo. En conjunto, el plan para la realización de informes debe estar destinado a promover el impacto a través de cualquier medio que se considere apropiado (por ejemplo, informes orales y audiciones, informes múltiples dirigidos a audiencias específicas, conferencias de prensa, sociodramas para representar y examinar los resultados y talleres de trabajo destinados a la aplicación de los resultados). La parte final del diseño, el plan para la administración del estudio, está

) } ')

J )

) ') ')

) )

) ) ) ) )

) ) ) ) ) ) ) ) )

) ) )

) ) ) )

, (

f

208

I



I

209

( (

( ( ( (

( { ( (

( ( ( ( (

orientada a operar con los planes técnicos y conceptuales. El evaluador necesita identificar y esquematizar las tareas evaluativas, de acuerdo con las necesidades del cliente y teniendo en cuenta las limitaciones prácticas. Es necesario identificar al personal que realizará el trabajo evaluativo y los recursos especiales que se utilizarán (como el espacio de trabajo y las facilidades para el proceso de datos); y el cliente necesita estar seguro de que el p~rso.nal propuesto goza del necesario nivel de credibilidad exigido por las audienclas. El evaluador y el cliente necesitan estar de acuerdo en el modo en qu.e se valorarán, comparándolos con unas normas comunes, los planes evaluat~vos, los procesos y los informes. También deben estar de acuerdo en el mecamsmo por el que periódicamente se revisa, actualiza y documenta el desarrollo del diseño evaluativo. Necesitan proponer un presupuesto realista. Y, desde mi punto de vista, deben resumir y formalizar sus acuerdos generales a~erca de la forma y función de la evaluación en un memorándum de compromlso o un contrato. El anterior comentario de la tabla 6-4 es, necesariamente, muy general, pero indica que diseñar una evaluación es un trabajo complejo e interminable. Se recomienda una colaboración continua entre el evaluador y el cliente, y se destaca la importancia del desarrollo del diseño evaluativo con el fin de satisfacer las necesidades informativas que se presentan. También se destaca la necesidad de mantener la integridad profesional en el trabajo evaluativo.

( ( ( ( ( ( ( ( ( ( (

( ( ( ( (

Metaevaluación

y normas

Este último punto expone la necesidad de evaluar las evaluaciones. Si las evaluaciones deben proporcionar una guía oportuna, las propias evaluaciones deben ser solventes. Entre otras consideraciones, deben centrarse en las cuestiones adecuadas, ser exactas en sus definiciones, no ser tendenciosas, ser comprensibles y ser justas para aquellos cuyo trabajo se está examinat:do. Valorar las evaluaciones según estas consideraciones es adentrarse en la literatura que trata el tema de la metaevaluación (SCRlVEN, 1972; STUFFLEBEAM,1975), que abarca, entre otros, los criterios, procesos y técnicas utilizados para evaluar evaluaciones. Si los evaluadores y sus clientes deben emplear y utilizar los resultados de las metaevaluaciones de un modo efectivo, deben estar de acuerdo acerca de los criterios para la valoración de evaluaciones. Hasta muy recientemente, la determinación de estos criterios dependía de las concepciones y las discusiones de los diversos evaluadores y sus clientes. Recientemente, sin embargo, se han desarrollado más recursos para la adopción de principios más ampliamente compartidos acerca de 10 que debe ser una evaluación solvente. Se trata de los Standards lor Evaluations 01 Education Program, Proiects, and Materials (Joint Committee, 1981), ya mencionados en la unidad 1. Durante un período de

cÍI::o años, un comité que tuve el privilegio de dirigir, representado por doce organizaciones profesionales, desarrolló estas normas (Standards). Las metaevaluaciones que se llevan a cabo, en este país y en otros, utilizando las Normas como criterio para los juicios, indican que los contenidos de las Normas forman una base sustancial para la metaevaluación. Si un evaluador (o un grupo evaluador) realiza una utilización sensata de las Normas, junto con los clientes, tanto antes como después de un estudio evaluativo, el resultado será una evaluación sólida y convincente. Una aplicación así de las Normas ayuda a asegurar que el informe final de la evaluación será útil, viable, exacto y válido.

Conclusión Michael Scriven dijo una vez que «la evaluación es una operación tímida». Y yo me he acordado a menudo de la advertencia bíblica: «No juzgues y no serás juzgado.» Pero la evaluación es también una necesaria faceta del perfeccionamiento. No podemos mejorar nuestros programas a menos que sepamos cuáles son sus puntos débiles y fuertes y a menos de que dispongamos de mejores medios. No podemos estar seguros de que nuestras metas son válidas a menos que podamos compararlas con las necesidades de la gente a la que pretendemos servir. No podemos realizar una planificación efectiva si no conocemos bien las opciones y sus méritos relativos. Y no podemos convencer a nuestros clientes de que hemos hecho un buen trabajo que merece un apoyo económico continuado a menos de que les mostremos evidencias de que hemos hecho 10 que prometimos y que ello ha producido resultados beneficiosos. Por estas y otras razones, los servicios públicos deben someter su trabajo a una evaluación competente. Debe ayudárseles a diferenciar 10 bueno de 10 malo, a marcar el camino para el perfeccionamiento necesario, a ser responsables con sus patrocinadores y clientes, y a alcanzar una mayor comprensión de su especialidad. Esta unidad ha insistido en la función perfeccionista de la evaluación. Se ha hablado del modelo CIPP, se ha mostrado su desarrollo, se ha contrastado con otros métodos, se ha demostrado cómo puede utilizarse para conducir al perfeccionamiento y servir a las necesidades de la responsabilidad y se han expuesto sus conceptos principales. Se ha proporcionado una guía general para la planificación de los estudios evaluativos. Además, haciendo referencia al Standards lor Evaluations 01 Educational Programs, Proiects, and Materials (Joint Committee, 1981), la unidad ha situado el modelo CIPP dentro de 10 que parece ser un naciente consenso acerca de 10 que es una buena y beneficiosa evaluación.

IV

"'~J

)

.-r'

) ') 210

I



1

211

) ... Res~uesta correcta. Debe usted haber seleccI'onado 1a «b». Esta descrip. d d Clon esta e acuer o con lo que se dice en el texto.


Este test de conocimientos contiene dieciséis cuestiones con múltiples respuestas posibles, para que usted elija una. El propósito de estas cuestiones es ayudarle a saber si ha alcanzado los objetivos de conocimiento de esta unidad. En cada cuestión, seleccione la respuesta que considere acertada. Luego compare su elección con la explicación que le proporcionamos. Cuando haya terminado de responder a todas esas cuestiones, podrá calificar e interpretar (y, si se da el caso, mejorar) su trabajo global. Luego deberá intentar realizar unas cuantas cuestiones prácticas. La unidad concluye con una serie de «preguntas sin respuesta» Y una lista de lecturas recomendadas.

PREGUNTA1. ¿Con qué secuencia y sobre qué base llega Stufflebeam a los conceptos de evaluación del contexto, de entrada, del proceso y del producto? Contexto, entrada, proceso y producto. El desarrollo es totalmente conceptual. Stufflebeam identifica una secuencia de estudios evaluativos necesarios para planificar y realizar un proyecto renovador. b) Producto, proceso, contexto y entrada. Stufflebeam empieza con la recomendación tyleriana de comparar los resultados con los objetivos (evaluación del producto); luego aplica la evaluación del proceso para satisfacer las necesidades administrativas acerca del perfeccionamiento de sus proyectos; luego aplica la evaluación del contexto como respuesta a la crítica de que su método fracasa al proporcionar una base para juzgar las metas; y finalmente aplica la evaluación de entrada para subsanar lo que los otros tres tipos han omitido respecto a los propósitos evaluativos. e) Proceso, contexto, entrada y producto. Stufflebeam empieza con la sugerencia de Cronbach de que las evaluaciones deben estar concebidas para el perfeccionamiento de los currículos y concentrarse así en el proceso; luego aplica la evaluación del contexto para conciliar sus intereses investigativos; luego aplica la evaluación de entrada para reflejar su experiencia en la elaboración de propuestas junto al personal de las facultades de Columbus; y aplica la evaluación del producto para estimular al gobierno a que aumente su interés en la evaluación de los resultados. d) En realidad, Stufflebeam desarrolla estos conceptos simultáneamente después de reflexionar sobre sus tres años de experiencia en las facultades de Columbus, ayudando a evaluar sus proyectos ESEA.

a)

')

) Respuestas incorrectas

')

a) Es incorrecta porque la secuencia es errónea y porque los cuatro conce -

)

e)

d)

tos los hemos desarrollado basándonos en el desarrollo conceptual ? deTyler, nuestra experiencia práctica en Columbus, la información ~~;t:IO lca d e ~uestros colegas y la lógica. Es lDcorrecta P?rque la secuencia es errónea y porque las cuatro razones que. se proporClonan no coinciden con el texto. ESdlDcorlrecta porque Stufflebeam identifica la secuencia mediante la cual or ena os cuatro conceptos.

) ')

) ') ')

) PREGUNTA . comité PDK 2 . e'C ua,'1 dI'e as dSlgUIentesafirmaciones no es considerada por el como un Slntoma e la «enfermedad evaluativa?

')

a) Los educadores se pre ocupan muc h o ante 1a perspectiva de que evalu'en

)

b)

sus programas. Los educadores confían mucho en la capacidad dI' zar evaluaciones solventes. e os expertos para re ah-

)

e)

~i~~~~c~~:va:~tudiOShan fracasado a la hora de descubrir informaciones

)

. f d) Aunq res g~~e:~a~~~~:~:~ on~os para eva~uar sus proyectos, los patrocinado-

)

la realización de 1 nO a~ proporclOn~do unas directrices claras para as eva luaClOnes necesanas.

)

)

)

) Respuesta comité PDK bcorrecta . Debe 1 us t e d h ab er sel'eCClonado la «b». En realidad el o serva que os educadore ' . ' pertos pudieran llegar a un d sberan esceptIcos acerca de que los exacuer o so re qué el" 1 mucho menos dirigir estudios q d' d s una eva uaClOn so vente y sus trabajos. ue pu leran ayu ar a los educadores a realizar

) ) ) )

Respuestas incorrectas L síntomas mencionados po; el a;o::~u~~~ evaluativa.

'! «~» subrayan todos los como lDdlCatIvos de la enfermedad

«a», «~»

) ) )

PREGUNTA3 . e'C ua'1 d e 1as SIgUIentes . . afirmaciones '1 . , una probable consecuenCI'a d e l'd en ti'ficar la evalu ' .,segun e l'comIte PDK, es . .. expenmental? aClOn con a mveStIgaclón

) ) )

) )

\

(

{

f (

212

b)

{

e)

{ (

d)

(

( (

sistemática

8tufflebeam:

a) b) e)


( ( (

b)

(

c)

(

Es incorrecta porque la planificación experimental exige, por lo general, que los tratamientos sean constantes durante el período de experimentación, y porque los experimentos producen resultados sólo al final del ciclo del proyecto. . Es incorrecta porque la planificación experimental no proporClOna valoraciones ni juicios acerca de las metas. Es incorrecta porque la planificación experimental se centra en más de un tratamiento y valora el producto oponiéndolo al proceso.

b)

e) d)

(

(

PREGUNTA4. ¿Cuál de las siguientes afirmaciones, de acuerdo con el comité PDK, caracteriza mejor las limitaciones de la base lógica tyleriana enfrentándola a la evaluación de los proyectos ESEA?

(

a)

(

( ( (

(

b) e)

d)

Ofrece pocas directrices para la definición explícita de las normas del éxito. Separa radicalmente la evaluación del proceso de perfeccionamiento de la enseñanza. Genera preocupaciones con su insistencia de evaluar la validez de los objetivos de los evaluadores. Concentra su esfuerzo en valorar los resultados post-proyecto.

( ( (

t (

t f

I

213

Es incorrecta porque este método proporciona un plan específico para la definición de los objetivos que se pretenden alcanzar en un proyecto. Es incorrecta porque el método define la evaluación como parte del proceso de desarrollo de currículos. Es incorrecta porque, por el contrario, el método ty1eriano no atiende a la validez de los objetivos de los evaluadores.

Los evaluadores no incluyen debidamente los datos recogidos en el micronivel de un sistema con el fin de que estos mismos datos puedan ser utilizados para ayudar en la toma de decisiones del macronivel del sistema. Los evaluadores no determinan qué información es necesaria en cada nivel del sistema antes de planificar su recopilación de datos y las actividades del análisis. Los evaluadores no controlan los niveles de interés de sus informes evaluativos. Los evaluadores no separan adecuadamente los datos recogidos en el macronivel de un sistema con el fin de que esos mismos datos puedan ser utilizados para responder a cuestiones específicas en los microniveles de ese mismo sistema.

Respuesta correcta. Debe usted haber seleccionado la «b». El «problema de los niveles» es que los evaluadores no saben determinar qué información es necesaria para distintas audiencias antes de planificar la recopilación de datos, el análisis y las actividades del informe. Respuestas incorrectas a)

c)

Respuesta correcta. Debe usted haber seleccionado la «d». Esencialmente, la evaluación tyleriana exige la valoración de la coincidencia entre resulta~os y objetivos, como muy bien ilustra el relato de Stufflebeam acerca de su ffitento de utilizar este método para evaluar los proyectos ESEA en Co1umbus. A menudo, la evaluación ty1eriana no puede proporcionar la información continua necesaria para guiar el desarrollo de los proyectos.


PREGUNTA5. ¿Cuál de las siguientes afirmaciones caracteriza mejor el problema de los niveles? a)

a)

la evaluación


nados , basándose en una información continua procedente de la evaluación. La evaluación proporcionará información explícita para la valoración de las metas del proyecto. La evaluación proporcionará resultados de profundos estudios de casos concretos relativos a la operación de planificar un solo proyecto. La evaluación proporcionará resultados relativamente inequívocos respecto al trabajo de aplicación de distintas planificaciones de proyectos.

Respuesta correcta. Debe usted haber seleccionado la «d», Es la única de las cuatro opciones que cita el comité PDK como una ventaja del método experimen tal.

( (

Evaluación

a) Los proyectos que se evalúan son frecuentemente modificados y perfeccio-

( (

I

d)

Es incorrecta porque asume incorrectamente que los datos recopilados que sirven a las necesidades del micronivel de un sistema, si se incluyen debidamente, serán suficientes para servir a las necesidades de niveles más altos de ese mismo sistema. Es incorrecta porque trata de un problema distinto al llamado «problema de los niveles». Es incorrecta por dos razones. Asume incorrectamente que los datos recopilados para responder a las cuestiones de un nivel pueden ser separados para responder a cuestiones más específicas. También asume incorrectamente que los requisitos informativos de un macronivel abarcan los niveles más bajos del sistema.

)

Yf.,:.-",;' 214

I

I Evaluación

Una evaluación es un juicio sobre el valor o el mérito, esto es, una prueba. El criterio básico para determinar el éxito o el fracaso de un programa debe encontrarse en los objetivos del programa. El principal prop6sito de la evaluación educacional es proporcionar intuiciones acerca del proceso enseñanza-aprendizaje. El alcance de la información potencialmente útil en una evaluación es

c) d)

') 8tufflebeam:

sistemática

PREGUNTA6. ¿Cuál de las siguientes afirmaciones es más coherente con la definición de evaluación propuesta por Stufflebeam? a) b)

)

amplio.

Respuesta correcta. Debe usted haber seleccionado la «d». La definición de Stufflebeam proporciona información tanto descriptiva como crítica acerca de las metas, la planificación, la realización y el impacto de un programa; esto abarca una gama verdaderamente amplia de información.

1

d)

la evaluación


I

215

Ambos métodos destacan la función económica de la evaluación.

., )

,Respuesta correcta. Debe usted haber seleccionado la «a». Stufflebeam esta de acuerdo c~n Stake en subrayar la necesidad de una amplia búsqueda de los resultados, mcluyendo tanto los previstos como los imprevistos.

J


)

b)

c)

d)

Es ~ncorrecta porque la contraria es una afirmación más exacta. Es mcorrect~ po~~ue el método de Stake exige conclusiones basadas no e~ la determm~clOn de si han sido alcanzados los objetivos del evaluador, smo en u~ cUldadoso examen de los juicios ofrecidos por una amplia gama de clIentes. ~s, incorrect~ p.orque, por el contrario, ambos métodos destacan la funClan perfecclOnlHa de la evaluación.

') ')

')

) ')

) ) )

Respuestas incorrectas Es incorrecta porque la definición describe la evaluación no como una prueba sino como un proceso de designación, obtención y aplicación de

a)

b)

c)

la información. . Es incorrecta porque la definición exige la descripción y el juicio de las metas, el diseño, la realización y el impacto de un programa, y porque esto implica que el criterio básico de los juicios debe derivarse de conceptos como el valor o el mérito. Es incorrecta porque aunque la definición identifica la promoción de una mayor comprensión como un propósito legítimo de la evaluación, el comentario relacionado con esta definición destaca repetidamente la primacía de la orientación perfeccionista.

PREGUNTA7. ¿Cuál de las siguientes afirmaciones contrasta con más exactitud el modelo CIPP con el método evaluativo de Stake? a)

b)

c)

Ambos métodos exigen la valoración de los resultados, pero Stake fue el primero en destacar la necesidad de localizar los efectos secundarios y los efectos no deseados. El método de Stake está más directamente destinado a satisfacer las necesidades de los administradores de más alto rango, mientras que el CIPP está más orientado hacia las necesidades informativas del personal del proyecto, especialmente los profesores. En el método de Stake las conclusiones se basan principalmente en si los objetivos han sido alcanzados, mientras que el CIPP atiende más a si han sido satisfechas las necesidades valoradas.

f~r~GUNTA 8 .. Como consecuencia de su intercambio de ideas con Scriven .tu e eam amphó su conce~~ión. ~el CIPP para demostrar que podía ser uti: ~za?~ tanto en .1,aresponsabl1lzaclOn (función sumativa) como en la toma de 1eClsil~~nes. ~funclOn formativa). ¿Cuál de las siguientes afirmaciones ejemplifica a ut IzaClOn del modelo CIPP en la responsabilización?

)

El mod~lo proporciona información sobre las necesidades, problemas y ~portumdades de un sistema del que pueden derivarse las metas y ob¡'e-

)

s

a)

) ) )

)

tIVOS.

b) c)

d)

El modelo prop?:ciona un informe sobre los modelos escogidos y las bases de esa elecclOn. El ~odelo proporciona información sobre si el programa debe concluir contmuar o ser modificado. ' ~l fimodelo proporciona un ~ontrol para las actividades del programa con e n de que puedan perfecclOnarse mientras se llevan a cabo.

l' ~~spues{a corre~ta. Debe usted haber seleccionado la «b». La responsabis~~ClO~es h~ capacIdad d~ describi~ y justificar decisiones y acciones del pa~. ; a I que prop~rclOnar un mforme de los objetivos escogidos, de los rec aza oSlY del. ~orque de todo esto sea una utilización de la evaluación del contexto a serVIClOde la responsabilización.

) ) )

) ) ) )

) )


)

a) El.si~~orrdectalporque no es un ejemplo de responsabilización sino una utl'IzaClOn el' a eva uaClOn , d e1 contexto " ob ¡eUvos.

que ayuda en la elección de los

) )

) )

, f f

216

(

f

Evaluación

sistemática

1

Stufflebeam:

e)

d)

(

Es incorrecta porque es una utilización de la evaluación del prod~cto al servicio de las decisiones de reciclaje, lo cual se opone a las necesIdades de la responsabilización. . Es incorrecta porque es una utilización de la evaluación del proceso que ayuda a llevar a cabo un plan en lugar de valorar, con descripciones y juicios retrospectivos, el proceso terminado.

d)

(

t

PREGUNTA9. ¿Cuál de las siguientes afirmaciones no es coherente con la orientación perfeccionista de la evaluación CIPP?

a) b)

( (

e)

(

(

d)

( ( ( ( ( (

I

217

E.s coherente con CIPP porque Stufflebeam define la función perfecciomsta como algo que supone tanto la mejora de los servicios como la distribución de los recursos entre los programas más valiosos y meritorios.

a) La evaluación CIPP está considerada correctamente como un plan para

(

(


PREGUNTA10. ¿Cuál de las siguientes afirmaciones no es coherente con la caracterización de la evaluación del contexto, de entrada, del proceso y del producto realizada por Stufflebeam en el contexto de los esfuerzos de una institución por mejorar sus servicios (véase figura 6-1)?

{

(

la evaluación

,

( (

I

Los servicios evaluativos deben estar planificados con el fin de proporcionar un suministro regular de información útil para quienes toman las decisiones en una institución. Las evaluaciones deben ser utilizadas principalmente para asegurar que los programas mejoren continuamente sus servicios. Para ser aceptadas y utilizadas, las evaluaciones deben empezar con la presuposición de que el programa que va a ser examinado es básicamente válido o que, en el peor de los casos, necesita una mejora. Para ayudar al perfeccionamiento de los servicios, las evaluacio~es d:ben ayudar a quienes toman las decisiones a distribuir los recursos dIspombles entre los programas que mejor satisfacen las necesidades de los clientes de la institución.

la resolución de problemas.

b) Para asegurar que se ha satisfecho toda la gama de necesidades informativas de una institución, todos los programas deben ser sometidos a eval~aciones del ,co.ntexto, de entrada, del proceso y del producto, según Clertas bases cIchcas. e)

d)

La r~aliza~ión de c~,alquier estudio evaluativo sólo estará justificada si proporClona mformaclOn necesaria que vaya más allá de la ya disponible. Los e~alua.dores deben asumir que aunque su trabajo pueda incrementar la raclOnahdad en la toma de decisiones de una institución la decisión de empezar, cont~nuar y/o terminar los trabajos de perfec~ionamiento, ~epe~den necesanamente de una amplia gama de cuestiones racionales e IrraClonales que están más allá de su alcance y control.

Respuesta correcta. Debe usted haber seleccionado la «e». Por el contrario, la orientación CIPP asume que los trabajos para el perfeccionamiento de una institución deben intensificarse mediante la identificación y la promoción de la «eliminación» de programas innecesarios o desesperadamente imperfectos, puesto que esta práctica permite la distribución de recursos entre trabajos más valiosos.



a)

Es coherente con la caracterización del CIPP que realiza Stufflebeam, puesto que !a figura 6-1 y el comentario correspondiente analizan principalmente como pueden ser utilizadas las evaluaciones del contexto, de entrada, del proceso y del producto para identificar y resolver los problemas.

e)

Es cohere~~e con. la concepción de Stufflebeam porque éste asume que l~ :valuaclOn es ~nherente a los programas institucionales y que los serVI:lOS de eval~acIón especializados se dedican más bien a ayudar a sus clIe~tes a satIsfacer las necesidades marginales de la información evaluatIva.

d)

Es. coherent~ ca?, la concepción de Stufflebeam porgue la figura 6-1 permite la finalIzaclOn de programas y de trabajos evaluativos sobre progra-

. Respuesta correcta Debe usted haber seleccionado la «b». En su comentano de la figura 6-1, Stufflebeam destaca que las evaluaciones del contexto, de en~rada, d.el proceso y del. producto deben realizarse sólo cuando puedan contribUIr a satIsfacer las necesIdades evaluativas marginales de una institución.

(

••(

a)

( { (

(

t ( (

f

b)

Es coherente con CIPP porque CIPP se centra no tanto en la realización de estudios individuales como en proporcionar unos servicios de evaluación continua en el contexto de las necesidades y programas de una institución. Es coherente con CIPP porque aunque Stufflebeam identifica la responsabilización y la promoción de una mayor comprensión de los fenómenos implicados como los propósitos más adecuados de la evaluación, d:staca que el principal propósito de la evaluación debe ser ayudar a meJorar los servicios de los clientes.

)

218

I


mas en cualquier punto, independientemente resultados.

de su necesidad o de los

PREGUNTA11. Suponga que una junta educativa ha decidido desarrollar un nuevo tipo de escuela media y ha definido las, e~pecificaciones. ~ara su construcción. De acuerdo con el modelo CIPP, ¿que tIpO de evaluaclOn debe ser llevada a cabo para ayudar en la selección del diseño arquitectónico más apropiado? a) b) e)

d)

Evaluación Evaluación Evaluación Evaluación

del contexto. de entrada. del proceso. del producto.

Respuesta correcta. Debe usted haber seleccionado la «b». Las evaluaciones de entrada identifican y valoran los méritos relativos de los planes alternativos para llev~r a cabo cualquier tipo de cambio proyectado. Respuestas

incorrectas

a) Es incorrecta porque la evaluación del contexto sería más apropiada. p~ra e)

d)

determinar la necesidad y las especificaciones deVpara el nuevo edIficIo. Es incorrecta porque la evaluación del proceso sería más apropiada para el control y el juicio de la realización del plan arquitectónico seleccionado que para su elección. ., Es incorrecta porque la evaluación no sirve para nada en la. elecclOn inicial de un plan, aunque mejora sus efectos cuando ya ha SIdo escogido y realizado.

1

') ') 5tufflebeam:

d)

a)

b) e)

Valorar los avances en la realización de un programa de trabajo y explicar también por qué los resultados del proyecto se han producido tal como 10 han hecho. Identificar y comparar los diversos planes para la consecución de una determinada serie de objetivos, y a la vez responsabilizarse de escoger un tipo de acción entre otras posibilidades. Reformular las metas y prioridades, y también seleccionar escuelas y/o . programas de atención prioritaria.

Decidir si un trabajo de perfeccionamiento se a otros marcos.

I

219

') ")

merece continuarse o ampliar-

-, }

Respuesta correcta. Debe usted haber seleccionado la «a». La principal utilización de la evaluación del proceso, según Stufflebeam, es ayudar al personal a llevar a cabo el programa; otra de sus muchas utilizaciones es ayudar a interpretar los resultados de la evaluación.

} ) ')

Respuestas incorrectas b) e) d)

')

Es incorrecta porque propone utilizaciones de las evaluaciones de entrada. Es incorrecta porque propone utilizaciones de las evaluaciones del contexto. Es incorrecta porque propone utilizaciones de las evaluaciones del producto.

') ')

) )

) PREGUNTA13. ¿Cuál de las siguientes afirmaciones es más coherente con las recomendaciones metodológicas de Stufflebeam respecto a la realización de evaluaciones del contexto? a)

b)

e)

PREGUNTA12. ¿Cuál de las siguientes afirmaciones es más coherente con las utilizaciones de la evaluación del proceso recomendadas por Stuf£lebeam?

la evaluación del perfeccionamiento

d)

) ) )

El proceso debe suponer una interacción continua entre el evaluador y el cliente. Sus comunicaciones deben estar centradas en la identificación y examen de la realización de las actividades clave del programa. Este tipo de estudio puede suponer una apropiada comparación de los resultados de un proyecto (como la valoración por medio de tests, escalas de valor o juicios sobre los productos del trabajo) con ciertas normas (como las necesidades valoradas, las competencias definidas o los objetivos especificados). Este tipo de estudio puede emplear adecuadamente grupos especiales encargados de preparar planes distintos para satisfacer un grupo específico de necesidades. Este tipo de estudio puede empezar con entrevistas y audiciones centradas en hipótesis ,acerca de las virtudes, los defectos y los problemas, para luego pasar a exámenes y estudios de casos concretos que diagnostiquen las necesidades y los problemas.

) )

) ) ) ) )

) )

) )

Respuesta correcta. Debe usted haber seleccionado la «d». Se trata de una de las pocas sugerencias que pueden hacerse para centrar y llevar a cabo una evaluación del contexto.

) )

) .~

..•...

...•.....

) • ¡,' ~ r "J ;

r- \ ••• '"''''\

)

, f f

f

220

I


(


(

a)

(

b)

(

( (

c)

'1I


Es incorrecta porque estas sugerencias están asociadas principalmente con las evaluaciones del proceso. Es incorrecta porque el hecho de centrarse en un proyecto determinado identifica estas sugerencias más claramente con las evaluaciones del producto. Es incorrecta porque la técnica del grupo asesor se aplica únicamente en las evaluaciones de entrada.

(

PREGUNTA14. ¿Cuál de las siguientes afirmaciones no es coherente con la descripción de la técnica del grupo asesor propuesta por Stufflebeam?

(

a)

{

{

b}

( (

c}

( (

d}

( (

Se aplica principalmente cuando se han desarrollado las distintas soluciones de un problema concreto, reuniéndolas y dejándolas listas para su utilización. Proporciona un debate entre representantes de grupos históricamente antagonistas, donde éstos pueden competir en una búsqueda y valoración de las diversas propuestas programáticas. Es una orientación constructiva, puesto que los grupos asesores están encargados de crear nuevas soluciones para problemas específicos en lugar de abordar las estrategias ya existentes o propuestas. Los informes presentados por el grupo asesor están sujetos a algún tipo de valoración independiente.

(

Respuesta correcta. Debe usted haber seleccionado la «a». Por el contrario, esta técnica está destinada específicamente a situaciones en las que las estrategias ya existentes se consideren inadecuadas.

(


(

,

b)

( (

c)

( ( d)

(

,,

(

e

Es coherente con la descripción porque la técnica proporciona un debate que facilita la aparición de nuevas tendencias y de la competición en una búsqueda constructiva de alternativas. Es coherente porque los grupos no se dedican a abordar las propuestas de otros, sino a crear y desarrollar las mejores propuestas alternativas posibles. Es coherente porque los informes de los grupos asesores se valoran mediante una escala especial comparándolos con los criterios pre-especificados y, a veces, sometiéndolos a tests comparativos.

221

PREGUNTA15. ¿Cuá; de las siguientes afirmaciones es más coherente con el concepto de Stufflebeam acerca de la planificación evaluativa? a) b)

e)

(

(

I

d)

La plan~cación evaluativa supone un proceso que primero planea y luego modifica y desarrolla los procedimientos evaluativos. Las elecciones que deben hacerse al formular una planificación evaluativa pueden realizarse mediante una selección, instrumentación y análisis de muestras. Cuando ~mpi~a a, pl.anificar una evaluación, el evaluador debe proponer una plam~c~Clo~ optIma, y. luego negociar sólo aquellas desviaciones que suponen limltaClOnes esencIales y concretas de tiempo y recursos. El evaluador debe buscar desde el principio un acuerdo con el cliente respecto de que la planificación evaluativa, una vez determinada, debe ser llevada a cabo de una manera tan precisa como sea posible con el fin de asegurar que los resultados no serán interpretados ambiguamente.

Respuesta correcta. Debe usted haber seleccionado la «a». Stufflebeam afir. ma que el dilema d.el evaluador es que necesita procedimientos para el proyecto, e:ql1emas de trabajO y recursos suficientes para llevar adelante y revisar perió~cament.e el plan evaluativo, con el fin de responder a todos los requisitos InformatIvos que vayan surgiendo. Dice que para solucionar el dilema los eval~adores deben contemplar la planificación evaluativa como un proceso contmuo. Respuestas incorrectas b)

e) d)

Es incorrecta porque estas características sólo cubren los aspectos técnicos de una ~lanifi~ación evaluativa y omiten otras elecciones que Stufflebeam .consIdera Importantes, a saber, la planificación del coste, el plan par~ el Informe de los resultados y el plan de administración. Es lllcorrecta porque según sugerencia se olvida la insistencia de Stufflebe~ en una evaluación que responda a las necesidades de la audiencia. Es I~~or:e:t~ porque Stufflebeam dice que seguir rígidamente una planificaClon Imclal conduce, por 10 general, a satisfacer deficientemente las necesidades del cliente.

PREGUNT~ 16. ¿Cuál de las siguientes afirmaciones no es coherente con los com.~ntanos de Stufflebeam acerca de las normas de la metaevaluación y la evaluaclOn? a) b)

La meta evaluación supone evaluar la evaluación. La ~,etaevaluación proporciona medios útiles para asegurar que la evaluaclOn va a ofrecer unas directrices sólidas.

)

) ') 222

e)

d)

I

Evaluación

Stufflebeam:

sistemática

Las Normas del Joint Committee suponen prinCIplOs ampliamente compartidos acerca de lo que es un buen programa educativo. . Las Normas del Joint Committee se desarrollaron para clarificar cuatro condiciones básicas de una evaluación solvente.

Respuesta correcta. Debe usted haber señalado la «e». Las Normas. del Joint Committee no suponen una base para juzgar lo.s, programas ~ducatIvos, sino que son principios para ser utilizados en la evaluaclOn de evaluaCIones. Respuestas incorrectas

a) b) d)

Esencialmente es así como Stufflebeam define la metaevaluación. Es coherente ~on la concepción de Stufflebeam acerca de que las propias evaluaciones deben ser evaluadas para asegurar que proporcionarán una información útil y solvente. Es coherente con la concepción, puesto que las treinta normas están agrupadas en términos de utilidad, viabilidad, propiedad y exactitud.

CALIFICACIÓNDEL TEST DE CONOCIMIENTOS.Cuando haya realizado el test de conocimientos, cuente el número de respuestas acertadas. Evaluaremos su trabajo inicial como sigue: 15-16, excelente; 13-14, muy bien; 11-12, bien; 8-10, regular; y 0-7, mal. No obstante, le sugerimos que utilice el r.epaso de su trabajo inicial para mejorar su comprensión de este módulo. ReVIsando el material del texto, debe ser capaz de corregir cualquier error que haya revelado la calificación. Le recomendamos que relea todas las preguntas que no ha acertado, y que luego revise el texto para mejorar su comprensión de los conceptos correspondientes.

Ejercicios prácticos Este apartado contiene cuestiones prácticas destinadas a ayudarle a va~orar si ha entendido las premisas y conceptos básicos presentados en esta umdad. Le recomendamos que responda a las cuestiones en hojas de papel separadas. Cada una de las cuestiones va seguida de una respuesta-ejemplo o de una lista de los puntos pertinentes que deben estar incluidos en su respuesta. Su revisión le ayudará a valorarla. EJERCICIO 1. El concepto de evaluación propuesto por el CIPP identifica cuatro tipos de evaluación que se corresponden con cuatro tipos de decisiones. Lo que sigue es una breve descripción de un hipotético trabajo de perfeccionamiento. Analice este ejemplo e identifique qué casos de evaluación del contexto, de entrada, del proceso y del producto pueden ayudar a formular

la evaluación


I

223

)

las metas, planificar y perfeccionar el proyecto, llevarlo a cabo y decidir si hay que continuar con él. Un distrito escolar obtiene fondos para mejorar la enseñanza musical. Un comité de ciudadanos ha encargado a una junta escolar que ayude a los chicos más necesitados del distrito, que en raras ocasiones tienen oportunidades de desarrollar sus intereses y capacidades musicales. La junta educativa nombra un director para investigar el encargo e informar de los resultados. Un comité, nombrado por el director, averigua que, comparado con los distritos vecinos su distrito evidencia una gran debilidad en la educación musical, pero espe: cialmente en la práctica con instrumentos en el nivel elemental. Más adelante advierten que es un porcentaje desproporcionadamente bajo de estudiante~ poco favorecidos el que participa en las pocas oportunidades musicales que se ofrecen. Como consecuencia, el director y el comité deciden empezar un proyecto de perfeccionamiento musical y dar la mayor prioridad al aumento de .las o~ertas. ,de prácticas con instrumentos en las escuelas elementales y a la mtensIficaclOn de los esfuerzos para incluir en ellas a los niños menos favorecidos. El director presenta el informe de los resultados a la junta y recibe su aprobación para comenzar un proyecto adecuado. Luego, el comité desarrolla una propuesta relativa a la financiación externa del proyecto. En principio, crean dos comités de planificación y les encargan el desarrollo de planes independientes acerca del proyecto. Un plan se concentra en la mejora de las técnicas de enseñanza musical de los profesores de las escuelas elementales del distrito; el otro pide la compra de instrumentos pa,ra.pre~tarlos a los niños necesitados, la contratación de tres profesores de practlca mstrumental que quieran trabajar todo el tiempo en las escuelas elementales y la institución de un programa voluntario para que los músicos con más talento d~ l~ ~omunidad ayuden en el programa. El comité compara est,os. pla~es, su vIablhdad y sus posibilidades en cuanto a la mejora de las pract:cas mstrumentales, y en cuanto a la integración de los estudiantes más necesItados. Acaban consider~ndo que el segundo plan es mejor que el primero y someten sus concluslOnes a debate en una reunión de facultad. En general, la facultad acepta la recomendación del comité y, como consecuencia, se lleva adelante el segundo plan, presentándolo a una fundación privada. Con unas pe~ueñas modificaciones, la propuesta es aceptada . .El dIrect?r c~ntrat~ a dos profesores de práctica instrumental (resulta imposlble localIzar mme.dlatamente a un tercer candidato cualificado) y les encarg~ que compren los mstrumentos necesarios, se los proporcionen a los estudlantes necesitados más interesados y que recluten también a los miembros de. l~ comunidad que muestren interés. Esta encarga al comité de planificación ongmal que ~ontr~le y evalúe la realización y la efectividad del proyecto. ~~ su pnmer mforme destinado al director y a los nuevos profesores, el comIt~ hace notar que. ha res~l~ado beneficioso no contratar al tercer profesor. Plensan que ese dmero adlClonal puede ser mejor empleado en la compra

') ')

') ')

) ')

)

) )

) ) ) ) ) )

) ) ) ) ) ) )

) )

) )

) )

J ) )

( (" (

f (

( (

( (

{ ( ( (

224

I



. 1 L rofesores se muestran de acuerdo, y con de más instrumentos muslc~ es. oSbP . es modifican en consecuencia el 1" d 1 agenCIa de su venCIOn , f' , el benep aclto e a 'l' mplo de cómo los in armes penolan el presupuesto. Este es so o un eje p y . , 'nf1 1 realización del proyecto. dicos del comlte luyen en a .,. f ma que el proyecto ha tenido muel comlte In or bo d Al ca e tres anos, 1 1 disponen ahora de una banda. Las cho éxito. Todas las escuelas e elmenta es se imparten a todos los estudian. d ,. instrumenta en grupo . b leCCIones e practIca .. . 'n de todos los estudIantes es uena. . d 1 d La partIC1paCIO tes a partir e cuarto gra o. 1 . clubs de apoyo activo a las bandas. lIs elementa es tienen . 1 . Dos de as tres escue a 1 'd d han ofrecido a impartIr eCCIOnes . b s de a comum a se . y unos pocos mlem ro Basándose en este informe, la Junta de música gratis como parte del ~rogr~~a'd 1 proorama y proporciona fondos de educación recomienda la contInuaClOn e f '" regulares para pagar los salarios de los dos pro esores. .

(

Phil Anthropy

( (

( (

b)

( (

c)

( (

(

••( (

,

(

t

,

t

,t

Las respuestas al e;ercicio 2 deben presentar y desarrollar los siguientes puntos:

. .. 1 deben incluir los siguientes puntos: Las respuestas al e¡erCtczo a)

d)

T ra determinar que los chicos neceLa evaluación del.contexto se u~~l~aJea desarrollar sus intereses y capacisitados rara vez tienen oportunl al d brimiento de que el distrito es dades musicales. Igualmenfte, en e :s~~cas instrumentales en la escuela especialmente pobre en o ertas d e prac elemental. identificar y valorar los dos plae T La evaluación ~e ent~ada sd utIlIza la;a de prácticas instrumentales del nes de perfeCCIOnamIento e as o er as distrito. 1 "1 r determinar que deben ser dos, La evaluación del proceso resu ta utI Pllaa cabo el proyecto y que se 1 os profesores que even a y no tres, os nuev . ., había asignado para la comnecesita más dinero del que en pnnclpIO se pra de ins:r,umentos. d . d' que el proyecto, en muchos aspectos La evaluacIOn del pro ucto In Ka . importantes, ha tenido éxito y merece contInuarse.

ted dirige una agencia de servicios evalua. EJERCI,CldO 2. SUPonga qlueC~~p desarrolle una breve propuesta en restIvos. Basan ose en e lmo de o puesta a la siguiente carta. Querido director: d' está llevando a cabo un programa de Actualmente, la Valley Foun at.lOn . d l'ndependientes de nuestra dI cal egIOs pnva os o tres fases para ayu ar a os . . udar a los colegios a aumentar región. El programa intent~ pn~cIP~men~~:;encia en el centro de los alumel número de matrículas y os ano: e pe d" el fomento de un área nos, la eficiencia del proceso enselnanza-ap~end IZ~~ :olegios el pago a plazos. desconocida hasta el momento en a mayona e ,

225

Se ha decidido que la fundación asigne muchos millones de dólares a los colegios para que adapten algunos de estos programas renovadores a su situación, con el propósito específico de incrementar los ingresos del colegio, limitar los gastos y aumentar y mantener la calidad del producto educativo. Tras este breve resumen del programa de la fundación, me gustaría subrayar que estamos profundamente interesados en desarrollar un programa evaluativo que nos diga, de un modo preciso, si nuestras subvenciones han sido efectivas. Si cree que su centro puede prestarnos algún servicio, le pido que nos explique sus ideas y esboce una propuesta específica acerca de cómo abordaría este sugestivo problema. Atentamente

{ (

I

a)

El método que recomendamos responde a su principal preocupación: determinar la efectividad de sus inversiones. Además, supone una garantía de calidad o una orientación perfeccionista. Nuestra principal preocupación es asegurarnos de que los informes que elaboremos serán útiles y utilizados.

b)

El método proporciona información continua acerca de cada proyecto y del programa global con el fin de satisfacer las más importantes necesidades evaluativas.

e)

El método examina y proporciona directrices para el perfeccionamiento de las metas, la planificación, la realización y los resultados. La planificación de la evaluación debe desarrollarse con relación a las continuas comunicaciones entre nosotros, su grupo y los representantes de cada proyecto.

d)

e)

Recopilamos y presentamos descripciones y juicios acerca de los proyectos y del programa global.

f)

Básicamente, valoramos su programa y cada uno de sus proyectos con relación a las necesidades valoradas (valor) y a la calidad del trabajo y de los resultados (mérito).

g)

Planificamos y realizamos nuestro trabajo teniendo en cuenta las razonables limitaciones de tiempo y recursos, con el fin de asegurar que nuestro trabajo resulte tan discreto como nos sea posible. Trabajamos con su grupo para asegurar que la evaluación se realiza sobre una base justa e imparcial.

h) i)

En general, valoramos nuestros planes e informes según su utilidad, viabilidad, propiedad y exactitud.

---_IIo..Jii1.;

) ~ 226



d dos colaboradores han sido encargaEJERCICIO 3. Suponga que usbte. Yd t s días en su especialidad, con . t 11r de tra a)o e re, 1 ., dos de orgamzar un a e d propone emplear la eva uaClOn s y que uste se alrededor de sesenta persona , .' S ponga además que se propone . , d la expenenCla. u 1 como guía y va oraClOn e h dispondrá de 300 dólares para d 1 CIPP que como muc o, 1h 1 utilizar el mo e o . y ,. L x eriencia tendrá lugar en e ate llevar a cabo el trabajo evaluatlvo. a e p durante seis semanas. . . que cree necesarias. Luego diga los Haga una lista de las presuposiciones . 1 ara ser empleados en la eva, d . de datos esenCla es p . que segun uste , son tlpOS d l. del producto SegUldamente, ' d d e proceso y . . luación del contexto, e entra a, h pi'lado para cada tipo de mfor. 1 d 1 datos que a reco d proporcione eJemp os e os. d pilación de datos. Finalmente, es'd 'fi 1 medlOs e esa reco h l' d mación e 1 entl que os., 1 x li ue detenidamente cómo a ana iza o criba el plan de evaluaclOn globa y e p q sta en ha)'as de papel separaDi ponga su respue 1 d y presentado los resu ta os. s , 1 ema de la figura 6-2. das. Quizá le resulte útil, como gUla, e esqu

Requisitos generales con relación a los datos

')

Las respuestas al ejercicio 3 deben aproximarse al siguiente modelo:

)

Hipótesis de trabajo:

')

')

1.

2. 3. 4.

5. Medios para la recopilación de datos

227

)

Hipótesis de trabajo Datos que deben ser recopilados en esta evaluación

I

6.

La experiencia debe ofrecerse a los principales institutos para informarles de los métodos que han demostrado ser efectivos a la hora de perfeccionar la capacidad y las actitudes de los estudiantes. La experiencia estará financiada conjuntamente por el Departamento de Educación y los participantes.

)

l )

La audiencia de la evaluación, en orden prioritario, incluirá al personal del taller, a la agencia de subvenciones y a los participantes. El personal del taller será el principal responsable de la evaluación, pero con la ayuda, en la recopilación y análisis de datos y la elaboración del informe final, de algún estudiante graduado que haya hecho algún curso sobre evaluación.

')

Con el fin de conseguir una perspectiva independiente, un representante de la agencia de subvenciones ha decidido revisar el trabajo evaluativo comparándolo con las Normas y responder a ciertos requisitos informativos basándose en su conocimiento de los programas estatales. Un graduado en busca de una experiencia evaluativa ha decidido realizar y presentar una amplia evaluación de la experiencia totalmente gratis.

)

) ')

)

) )

) )

Evaluación del contexto

Con las anteriores hipótesis, el plan general de la figura 6-3 se ofrece como guía del trabajo evaluativo. y ahora le proporcionamos la descripción narrativa del plan.

Evaluación de entrada

)

) )

Descripción narrativa de la figura 6-3: Evaluación del proceso

Evaluación del producto

I

I FIGURA 6-2.

Descripción narrativa del plan evaluativo que destaque espe~ialmente el análisis y los mformes

I

I

Modelo de esquema para el ejercicio 3

El personal del taller debe coordinar la evaluación del contexto. Básicamente, debe incorporar las cuestiones de evaluación del contexto en forma de aplicaciones concretas a la experiencia: deben leer y discutir cada aplicación como un medio de examen y revisión de sus objetivos provisionales. Además, deben reunirse con uno o más representantes de la agencia de subvenciones para obtener una mejor comprensión de las necesidades y recursos de ámbito estatal, así como reacciones críticas a sus planes. Deben telefonear y enviar peticiones escritas a las autoridades del estado y a los distritos escolares con el fin de obtener documentos relativos a los programas de los institutos, y deben encargar a su ayudante graduado que lea y haga un informe sobre estos documentos, comparándolos con los objetivos del taller. Finalmente, deben enseñar al graduado a preparar un informe sobre los antecedentes, centrado en las características y necesidades generales de los participantes seleccionados, del es-

) ) ,) ) ) ) )

) ) )

) )

-

,r~-',.

.,.-"~-~~~-~~=¡¡¡tJi>.,---¡jIf>.;,-""-~--"'--"~_-_'_"A_-'" ••. -..F; H' ., '. '!"., ~::! 'o'!' ~,'~ ~::J.. l,,"«"",:"",'-0"' ~);' ~;J';'~ f,;,J ';,;J '",-.! J,l ,A ':' ' ..' ,," ' '," ;". . , A, ,"..., .... .....,'

~-- ••. _

.:'.

lA"":.J

""",

,...,...••••. ~

'

r¿"

i"!lIi:

'1 ~7"'J. ,'~~-'-

;J:"'l~""'T:""""'"

, .. "-"""'_.--

'_

. l\) l\)

Requisitos generales para los datos

Datos

que deben ser recopilados en esta evaluación

Medios

00

para la recopilación de datos

~ Evaluación texto

del

con-

Necesidades

Problemas

Evaluación

de entrada

Planes

Forma de aplicación de la experiencia (1, 3,4)

2. Descripción de las necesidades, problemas y oportunidades del ámbito estatal por parte de los representantes de la agencia de subvenciones

Peticiones

Reunión con los representantes de la agencia de subvenciones (21 3,4) telefónicas

y escritas (4)

III

e o; III ()

:J U>

ü; ..•. ro

3 e',.' Ci' D>

3. Valoración de los resultados potenciales de la experiencia por parte de los futuros participantes y de los representantes de la agencia de subvenciones

Oportunidades

Objetivos

1. Informes de ln. .~- futur .. _ cipantes sobre sus razones para participar en el taller y sobre sus experiencias con programas de lectura

4.

propuestos

Informes pertinentes las escuelas locales

1. Planes e informes cias similares

alternativos

Actividades, personal, esquemas, facilidades, presupuestos, etcétera

acerca de y estatales

de experien-

2. El plan del personal 3.

Revisión del plan preliminar 'parte de los representantes la agencia de subvenciones,

por de de

Entrevistas telefónicas con directores de experiencias similares (l, 3) Reunión para discutir el plan del personal comparándolo con los resul tados de la entrevista telefónica (2,3)

,,,,-",,~,,;,,,"., ~ ...

•....•._--~:..~ ..• ~,

.

..

,

"

futuros partiCipantes seleccionados y de directores de experiencias similares Evaluación ceso

del

pro-

Realización del plan, nivel de participación por temas, nivel de satisfacción

1. Informe de las actividades desviaciones del plan 2.

Asistencia

3.

Valoraciones

4.

Sugerencias

y las

y participación del proceso para mejoras

Reuniones diarias con una sentación de los participantes Un observador

repre(3, 4)

(1, 2, 3, 4)

Valoración

diaria (3, 4)

Sesión

información

CJ)

de

diaria

...•. e

( 1,

::!i

3,4) Evaluación ducto

del

pro-

Efectos (buscados y no buscados, positivos y negativos, inmediatos y a largo plazo) Juicios sobre los resultados

1. Valoraciones de la habilidad con que se ha abordado cada obj~ tivo 2. Juicio acerca cada producto

de la calidad de de la experiencia

3. Aplicaciones del conOCimIento adquirido tras la experiencia 4.

Valoraciones

de la experiencia

ro oro

Escalas de autovaloración y posteriores (1)

III

anteriores

3 ñ)

ro < ~ e

Reunión del personal para juzgar y revisar los productos del trabajo a través de participantes seleccionados (2, 3)

III ()

o;

:J

a.

~ Informe

telefónico

Valoraciones

(3)

de la experiencia

"O

(4)

ro ::¡., ro

() ()

¡::;. Juicio resumido de los representan tes de la agencia de subvenciones (4) FIGURA

6-3.

:J III

ª.

ro

:J ...• o

Esquema completo del plan para el ejercicio 3

''""

CD

.~

'¡!~

ti f:" ;~.;.

-----)) ") 230

I

Evaluación

sistemática

tado y de cualquier otra parte, así como proporcionar una valoración de los objetivos de la experiencia. Este informe debe ser compartido, durante la experiencia, con los participantes, y utilizado más tarde al preparar el informe final. El personal del taller debe desarrollar un plan provisional para la experiencia y pedir al ayudante graduado que lo evalúe. El ayudante debe contactar con directores de experiencias similares, describirles el plan propuesto e invitarlos a que realicen críticas y sugerencias. Puede también pedirles que le envíen copias de los planes de sus experiencias. Debe preparar un informe resumiendo, comparando y contrastando las que, según él, son las principales estrategias informativas del taller, y resumiendo las críticas y sugerencias ofrecidas con relación al plan de sus superiores. El personal del proyecto debe entonces reunirse con el ayudante y el representante de la agencia de subvenciones para revisar los resultados de la evaluación y discutir cómo puede mejorarse el plan. Seguidamente, se le pedirá al ayudante que añada un post scriptum a su evaluación de entrada indicando cómo ha sido afectado el plan del taller por la evaluación que se ha hecho de él y, en general, si el plan es lo suficientemente justificable, según las distintas alternativas y las críticas y sugerencias obtenidas. Este informe será archivado para incorporarlo en el informe final de la evaluación. Básicamente, el graduado ayudante debe realizar la evaluación del proceso. Debe utilizar la evaluación del contexto y sus datos como base para reclutar un pequeño grupo de participantes, que serán tan representativos como sea posible del conjunto del grupo, con los que se reunirá durante tres noches para obtener sus reacciones y sugerencias. Deberá observar las actividades del taller e informar de las principales desviaciones del plan, y, al final de cada día, deberá buscar una forma para que los participantes puedan valorar el proceso. En la noche del primero y el segundo día, deberá reunirse con el personal del programa para ofrecerles información y ayudarles a perfeccionar el plan de trabajo de los días siguientes. Cada mañana, el personal del taller deberá revisar la información procedente de la evaluación del proceso del día anterior con los participantes, identificar cualquier modificación del plan y, en un período de tiempo limitado, provocar comentarios y sugerencias. Al final de la experiencia, el ayudante graduado debe escribir el informe de un caso resumiendo el proceso real, destacando las desviaciones del plan original y, en general, valorando la calidad del trabajo. Este informe será archivado para incorporarlo en el informe final de la evaluación. El ayudante graduado debe coordinar la evaluación del producto. Debe desarrollar una escala según la cual cada participante pueda valorar su capacidad respecto a los conocimientos y las técnicas relacionados con cada objetivo del taller y administrarla de forma anónima al principio y al final del programa. Debe informar de los medios utilizados antes y después del test

Stufflebeam:

la evaluación


I

231

Y analizar las diferencias utilizando un test t par 1 b . pondientes. Debe buscar una forma en la a as. ~ servaclOnes corresdistintos aspectos del taller y ma's ta d que cada partIcIpante pueda valorar . ' r e esquematIzar y resu . 1 1 ClOnes. .. d eb e con ocmlr 1as va ora-1 . Inmediatamente después de la expenenCla y pedules que intercambien puntos de vista acerc'a d 1 v lar a persona 'd d . . e os resu tados que h o b'b' tem1 o ca a partICIpante' ' esta reunl'o'n d eb e ser gra b ad a para d a ' crJ Ir a y analizar su contenido P d l' . espues trans,. d ' . ue e rea Izar una sene de entrevi t 1 'bl b s as ~e efomcas espues de la experiencia y, en la medida de lo ~~~:ó~e~~r:~a~~lIe:~li~:e P~~t~~se:aurnticipanl tes ~~e reflej~;SIsue~r~d~e~:r i~~~~ a va oraClOn resumIda de 1 tan tes d e la agencia de subvenciones Deb h 1b d os represenevaluación del producto enviarlo' e acer e. orra or de una posible a agencia de s b . y para que lo reVIsen los representantes de u ven clOnes la repre t' , d . . l n borado en la evaluación del' proceso ;e~ ~~~~na~ de~r:IC{tan~s que dhab col~sar la evaluación del producto para tener 1 . a ero ~:go, e e reVIF 1 presente a lil formaClOn lila mente, la evaluación debe concluir con u .; de los representantes de la agencI'a de b . na meltaevaluaclOn por parte . f su venclOnes y a pr ., d 1 III ormes finales . El ayudante grad ua d o d e b'e pnmero re' esentaclon e os l' y argumentos teniendo en cuent h ' sumIr sus va oracIOnes cada una de las 30 normas del ]oa ' acsta q~e punto la evaluación ha seguido I nt ommIttee y debe en i l' , a los representantes de la agencia de subvenc" .. , v ar esta va oraClOn presenten su informe metaevaluativo. Enton~~~esi PldI~ndoles que finalicen y hacer el borrador de un inform d e ayu ant: graduado puede resultados de la metaevaluacl'o'n e eln os parteds: en la pnmera incluirá los de contexto e ent d d 1 producto, y en el segundo un ape'nd' ,.' E ra a, e proceso y del , Ice tecmco ste inf d b . para su revisión a la representación d . '. orme e e ser envIado para colaborar en la evaluación El e ¡artlClpantes previamente reclutados una reunión de los representant~s d ~yu ante. graduado debe luego convocar e del taller para revisar los borradore ; arn~l~ de subvenc!ones y el personal participantes. Debe colaborar en la fis 1: o~,In dor~es y la Información de los llo de planes para su difusión L na IzaClOn e os informes y en el desarrociones y el personal del taller d' bOS rlepresedntantes de la agencia de subven, e en uego ar las gr' 1 d mas experimentado ayudante y e d 1 aClas a agota o pero ya ncargarse e a presentación final y 1a d'fl USlOn. .,

")

., ., )

1 ) ')

) )

) ) ) )

) ) )

) )

) ) ) ) )

) )

Preguntas sin respuesta En este apartado proporcionamos cuatro r . puesta. Las preguntas pueden t"1" p eguntas, pero nInguna rescomo fuentes de traba]' . d' ~dI Izlarse como temas para discusiones de grupo . o In IVI ua y como guías p f d' ' CtItos de Stufflebeam. ara pro un Izar en los es-

)

j ) j ) ) )

•

(

f f ( ( ( (

( (

• • (

232

( (


1. Responda a la crítica acerca de que el CIPP es ideológicamente tendencioso en favor de algún grupo ya poderoso, a saber, quienes toman las decisiones. El argumento, resumidamente, es que el CIPP está al servicio de quienes toman las decisiones y así convierte a los poderosos en más pode. rosos. Dado que las evaluaciones cuestan dinero, sólo los poderosos pueden permitírselas. ¿Quién protege a los subordinados? 2. Stufflebeam desarrolló el modelo CIP? y coordinó el desarrollo de las Standards for Evaluation of Educational Programs, Projects, ando Materials. ¿Son las Normas, por lo tanto, tendenciosas, en favor del modelo CIPP y en contra de otros métodos? Si no lo son, ¿existen incoherencias básicas entre estos dos grupos de recomendaciones? 3. SCRIVEN(1970) advertía que en el modelo CIPP, las evaluaciones del contexto, del proceso y algunas de entrada son principalmente descriptivas y, por lo tanto, no deben ser llamadas actividades evaluativas. ¿Cuál

(

(

I

4.

es su respuesta? Guba ha afirmado que el modelo CIPP es útil principalmente para los programas de largo alcance y sólo es aplicable en situaciones en las que existe un alto nivel de labor administrativa, mucho dinero para financiar el trabajo evaluativo y un alto nivel de perfección técnica. ¿Cómo respondería usted?

( (

(


(

AnAMS,J. A. 1971. A study o/ the status, scope and nature o/ educational evaluation in Michigan's public K-12 school districts. Tesis doctoral inédita, Universidad del Estado de Ohio. BRICKELL,B. M. 1976. Needed: Instruments as good as our eyes. Centro de Evaluación, Universidad de Western Michigan, Occasional Paper Series, número 7, Kalamazoo, Michigan, julio. CRONBACH,1. J., y colaboradores. 1980. Toward re/orm of program evaluation, San Francisco, Jossey-Bass. FINDLAY, D. 1979. Working paper for planning an evaluation system. Inédito, The Center for Vocational and Technical Education, Universidad del Estado de

(

(

( (

( ( (

( ( ( ( (

l

Ohio. GUBA,E. G. 1969. The failure of educational evaluation, Educational Technology, 9, págs. 29-38. Joint Committee on Standard s for Educational Evaluation. 1981. St~ndards for Evaluations o/ Educational Programs, Projects, and Materials. Nueva York, McGraw-Bili. NEVO,D. 1974. Evaluation priorities o/ students, teachers, and principals. Tesis doctoral inédita, Universidad del Estado de Ohio. PATTON,M. Q. 1978. Utilization-/ocused evaluation, Bevetly Bilis/Londres, Sage Publications.


I

233

REINHARD,D. 1. 1972. Meth~dology development /ar input evaluatin using advocate and deszgn teams. TeSIS doctoral inédita, Universidad del Estado de Ohí ROOT,D. 1971.. The. evaluation training needs o/ superintendents o/ sehool T ? doctoral, UmversIdad del Estado de Ohio. s. eSIS SANDERS, J R. Yl SACHSE, T. P. 1977. Applied performance testing in the classj ~~~:' 92~~;~~ o/ Research and Development in Education (primavera), 10, SCRI~N, M. 1966..The metho~ology ?f evaluation. Publicación n. 110 de la Social ~cIdendce pEdudcatl0Ln fConsortlum: DIrector ejecutivo: Irving Norrissett, Universia e ur ue, a ayette, IndIana . -. 1~70. Critique of the PDK Book, Educational Evaluation and Decision Makzng.P~esenNtadaen el congreso anual de la American Educational Research AssocIatIon, ueva York. -.1972. An introduction to metaevaluation. En P A TAyrOR D M C (comp) R d' . . l .. y . . OWLEY ., ea zngs zn currtcu um evaluation Dubuque Iowa W C B STAKE'dR 1967. T~e countenance of educatio~al evaluation, T~ach~rs .Co~~;mge .Recor, 8, 7 (abril). STUFFLEBEAM . ~ D " L 1966 . A d ept h stu dy of the evaluatlon requirement Theory 1nto P ractlce, 5, n. 3, págs. 121-133. ' -.1969. Evaluatian as enlightenment for decisian making. En A. WALCOTT (comp.), Improvmg educ.ational assessment and an inventory o/ measures o/ affectlVe behavlOr, Washmgton, D.C., ASCD. -. 19?~. The re1evance of the CIPP evaluation model for educational accountabllity, Journal o/ .Research and Development in Education (otoño). -.1975. Met.aevaluatlOn. Oceasional Paper Series. Kalamazoo MI' hi de 1 ' U' 'd ' c gan Centro eva uaClOn, nrverSI ad de Western Michigan 3. ' STUFFLEBEAM '. ' D .. L Y ot ros. 1971 . Ed.ueatlOnal evaluatlon and decision making I tasca, 111., Peacock. ' TYLER,R . 3W, 1~42. General statement on evaluation, Journal o/ Educational Researc, h 5, pags. 492-501. WE~ST~R, 1975. The.or¥anization and functions of research and evaluation m a~ge lit an s~hool dIstncts. Texto presentado en el congreso anual de la Amencan EducatlOnal Research Association Washington. D C WOLF R L 1974 Th r' ' , .. , marzo . . ' T' : d . ~ a?~ Icatlon of select legal concepts to educational evaluatlOn. eSIS octoral medIta, Universidad de Illinois. 6'

W'l'

-~)-

.J ') ")

7

STAKE: EL METODO EVALUATIVO CENTRADO EN EL CLIENTE

")

') ") ,) ,)

) ,)

J ) ,) ,)

" Los exigentes requisitos federales para la evaluación que se impusieron en la educación americana en la década' de los sesenta estimularon el desarrollo de algunos nuevos métodos evaluativos. Uno de estos métodos fue introducido por Robert Stake en 1967 con lo que se dio en llamar «modelo de la figura (countenance) para la evaluación educacional», Este método está construido sobre la noción de Tyler acerca de que los evaluadores deben comparar los resultados deseados y las observados, pero amplía el concepto de evaluación pidiendo un examen de los antecedentes, del proceso, de las normas y de los juicios, además de las resultados. Sú,ke desarrolló su filosofía de la evaluación durante los últimas años sesenta y los primeras setenta, y en 1975 presentó su concepción ya ampliada con el nombre de «evaluación respondente». Esta presentación conservó el énfasis en el método de la figura examinando «toda figura de un programa», pero rompió totalmente con la tradición tyleriana al recoger datos con el fin de discutir si se habían realizado las intenciones originales. En cambio, la evaluación r~spondente asumía que las intenciones pueden cambiar y pedía una comunicación continua entre el evaluador y la audiencia con el fin de descubrir, in'vestigar y solucionar los problemas. En general, Stake es el líder de una nueva «escuela de evaluación» que exige un método pluralista, flexible, interactivo, holístico, subjetivo y orientado hacia el servicio. El juicio racional de la evaluación es una decisión que dice cuánta atención hay que prestar a las normas de cada grupo de referencias a la hora de decidir si se emprende alguna acción administrativa. Agradecemos la ayuda del doctor Stake, que corrigió y clarificó un borrador previo y proporcionó ejercicios de estudio. Cualquier distorsión o ambigüedad, relativa a los conceptos evaluativos, que permanezcan en esta versión son, desde luego, responsabilidad de los autores. .

) ~

) )

:) ,) ,:) ,) ,) ,) ,) ) ,)

'J ',)

:J ) :,)

:.J

~)

.-....".~r~'

, f

f

¡

(

( (

( ( ( (

( { (

( ( ( ( (

( ( ( (

(

l ( (

( (

( ( ( (

t (

t

236

I


Robert Stake ha contribuido especialmente al desarrollo filosófico y teórico de la evaluación educacional. En 1967 publicó un artículo histórico titulado «The Countenance of Educational Evaluation», que atrajo mucho interés hacia la educación. Basándose en la reacción de la gente ante el método Contenido en este artículo y en los trabajos realizados con él, Stake, en 1975, publicó su concepción ampliada de la evaluación con el nombre de «evaluación respondente». En general, Stake había desarrollado una particular filosofía evaluativa, con una metodología de apoyo, que nosotros hemos decidido comentar bajo el nombre de «evaluación centrada en el cliente». Hemos escogido esta denominación porque uno de los temas omnipresentes en los escritos de Stake es que el evaluador debe trabajar con y para ayudar a aquellos educadores que desarrollan e imparten servicios de educación primaria. Potencialmente, contempla al evaluador al servicio de una amplia gama de clientes, incluyendo profesores, administradores, elaboradores de currículos, contribuyentes, legisladores, patrocinadores financieros y el público en general. Los distintos clientes tienen distintas prioridades, y el personal del programa debe a menudo prestarles la mayor atención. Pero hay otros que también la necesitan, incluso cuando los principales clientes se oponen a que se les atienda. Stake recomendaba a los evaluadores trabajar .continuamente con las distintas audiencias y responder a sus necesidades evaluativas. Ellas son los clientes en el sentido de que son precisamente ellas, las audiencias, las que apoyan, administran o directamente operan con los programas que se están estudiando y buscan el consejo y los planes del evaluador para comprenderlos y mejorarlos. Para entender las contribuciones de Stake, resulta muy útil tener en cuenta sus antecedentes y experiencias profesionales. En la década de los cincuenta daba clases de matemáticas en la U.S. Naval Academy Preparatory School, y más tarde terminó su tesis doctoral sobre psicometría en la Universidad de Princeton. En 1963, ingresó en la facultad de la Universidad de Illinois, donde dio clases en el departamento de psicología educativa y fue director adjunto del Center for Institutional Research and Curriculum Evaluation (CIRCE) bajo la dirección de Thomas Hastings. Hastings le había traído a Illinois para que investigara sobre la enseñanza, pero el interés de Stake pronto se concentró en el nuevo trabajo que estaban realizando Hastings y Cronbach acerca de la evaluación de currículos. Cuando el doctor Hastings se retiró en 1978, Stake se convirtió en el director de CIRCE y aún estaba en ese puesto cuando se escribió esta unidad. Su pensamiento parece haber sido influido por muchos factores notables. Su primera preparación y sus experiencias en matemáticas, estadística y valoración, le convirtieron en un experto en la aplicación de los conceptos y mé. todos de estas áreas prácticas de la evaluación educacional. A medida que crecía su escepticismo acerca de la concepción clásica de la medición y de su empleo en la evaluación, su condición de experto en estas áreas dio credibi-

5take: el método evaluativo y el cliente

I

237

lidad a sus ataques y contrapropuestas, y condujo a sus audiencias a considerar seriamente sus puntos de vista. A media~~s de los años sesenta (STAKE, 1967), atacó el clásico concepto de la evaluacIOn como algo estrecho, mecánico y que no ayudaba en nada. Su desencanto parece haber estado influido y fomentado por Lee Cronbach, que hasta 1964 fue profesor en la Universidad de Illinois. CRONBACH(1963) ha afirmado que la función básica de la evaluación en educación debe ser servir d~ guía al perf~:cionamiento de los currículos, y no juzgar currículos ya termmados. T.ambIen ha afirmado que las evaluaciones comparativas de currículos alternatIVOS basados en promedios de calificaciones de post-tests no resultan ni informativas ni de ninguna' ayuda. Más tarde, Stake insiste en ello cuando ataca los experimentos comparativos, exige descripciones completas de los programas y subraya la importancia de la información subjetiva. La influencia de Ralph Tyler, que había definido la evaluación como la deterl'?inación de hasta qué punto habían sido alcanzados los objetivos valorados, resulta evidente, también, en los primeros escritos de Stake. En su texto Coun!~nance recomendaba comparar los resultados deseados y los reales, pero t~bIen que los evaluadores valoraran los antecedentes y las continuas operacIOn.es, tanto las propuestas como las reales. En otras palabras, amplió el pensamIento ~e 'Tyler. Esta conexión entre el trabajo de Stake y el de Tyler parece comprenSIble, puesto que la conceptualización de TYLER (1942) ha sido el punto d: vista domina~~e sobre la evaluación desde los años cuarenta (y quizá lo ,s~a aun hoy). TambIen Lee Cronbach y Tom Hastings, que influyeron muchlSl.mo en el ~esarr.ollo. ?rofesional de Stake, estudiaron con Ralph Tyler. En pa.r~lcular, la mvestIgacIOn de Hastings demostró a Stake que los profesores uuhzan muy poco las valoraciones y los conceptos valorativos apoyados por los tests profesionales. Stake también estuvo obviamente influido por el argumento de Michael SCRIVEN(1967), según el cual los evaluadores deben juzgar. Stake está de acuerdo en que los juicios deben estar incluidos en las evaluaciones pero afirma, basándose en algunas razones, que los evaluadores deben rec~pilar procesar e infor~ar de los juicios de otras personas y no revelar los suyos. ' Otro factor Impo:;ante que influyó obviamente en las concepciones de Stake acer:a .de la :valuaclon, fue su participación en los proyectos de CIRCE de los ulumos anos sesenta, muchos de los cuales tuvieron lugar en universidades. Los. proyectos eran progresistas por naturaleza y, aunque estaban abiertos al estudIO, a la. observación y a la información perfeccionista de los evaluador.es, no permItían la intervención controladora ni la manipulación de las vanabl:s por parte de los investigadores. Muchos de estos proyectos estaban conce?,ldos para ,los más inteligentes o para profesores que aprendían la elabora~IOn de cu~ncul?s. Stake y sus colegas descubrieron que los tests entonces p~bhcados y dIspon:~les resultaban totalmente inadecuados para evaluar estos p oyectos. Los reqUISItOs federales para la evaluación eran esencialmente tyle-

)

) 238


rianos, y se dedicaban a comprobar si los proyectos patrocinados habían alcanzado sus objetivos mediante su valoración por los tests más adecuados. En su texto Cauntenance, Stake recomendaba ayudar a los proyectos a satisfacer los requisitos federales de una manera aceptable para el gobierno y útil para el personal y otros interesados. Su método de la figura refleja un intento de adaptar la evaluación tyleriana a las necesidades de la época, y presenta un amplio concepto de los muchos datos que pueden ser utilizados para responder a las preguntas de los distintos clientes. Su principal propósito era ayudar al lector a comprobar la amplia gama de datos que pueden utilizarse en una evaluación. Tras su publicación en 1967, el textoCauntenance fue muy citado en los debates sobre evaluación educacional. Al presentarlo, Stake no pretendía ofrecer un modelo (aunque muchos lectores pensaron que sus recomendaciones formaban parte de uno), de ahí que utilizara frecuentemente la denominación «modelo de la figura». En cambio, intentaba proporcionar un panorama de la evaluación. Por figura, él entendía «el rostro de la evaluación, su imagen total, una capa». Pensaba que los distintos modelos (u opiniones) se podían adaptar aquí o allá, y que la figura era como una red o mapa para poder localizarlos. Los aspectos principales atribuidos a la concepción de Stake son los siguientes: Las evaluaciones deben ayudar a las audiencias a observar y mejorar lo que están haciendo (de ahí nuestra denominación de evaluaciones centradas en el cliente). Los evaluadores deben escribir programas con relación tanto a los antecedentes y las operaciones como a los resultados. Los efectos secundarios y los logros accidentales deben ser tan estudiados como los resultados buscados. Los evaluadores deben evitar la presentación de conclusiones finales resumidas, pero en su lugar deben recopilar, analizar y reflejar los juicios de una amplia gama de gente interesada en el objeto de la evaluación. Los experimentos y los tests regularizados son a menudo inadecuados o insuficientes para satisfacer los propósitos de una evaluación, y deben frecuentemente ser sustituidos o completados con una variedad de métodos, incluyendo los «soft» y los subjetivos. A principios de la década de los sesenta, STAKE desarrolló estos conceptos y los publicó (197 5b) en un texto titulado «Program Evaluation, Particularly Responsive Evaluation». La «evaluación respondente», como consecuencia, sustituyó a la «evaluación figura» como denominación popular del método de Stake. De todas formas, su nueva formulación conservaba mucho de lo que había incluido en su artículo Cauntenance. La principal desviación fue su gran distanciamiento de la orientación tyleriana, dirigida hacia los objetivos. De


I

239

) )

hecho, presentó la evaluación respondente tendiendo más a sus diferencias con la evaluación tyleriana (que él denominó «evaluación preordenada») que a su propia unidad, totalidad e integridad. En esencia, pues, el texto Cauntenance sirvió como puente entre la evaluación tyleriana o preordenada y un nuevo y relativamente distinto concepto de evaluación llamado de evaluación respondente. En realidad, este concepto refleja la ya veterana prá.ctica de la evaluación informal e intuitiva un tanto formalizada. Pero Stake aportó otras contribuciones notables. Para facilitar el perfeccionamiento de su método, ayudó a desarrollar la técnica de contraposición (STAKE y GJERDE, 1971) en la que equipos distintos ideaban y presentaban los casos más positivos y los más negativos a favor y en contra del programa. Con Tom Hastings, dirigió la tesis doctoral de Robert Wolf,el cual, en respuesta a la petición, por parte de Stake, de nuevos métodos para la recopilación y proceso de juicios, adaptó los procedimientos judiciales para utilizarlos en la evaluación educacional (WOLF, 1973). También trabajó intensamente para incorporar la metodología del estudio de casos concretos a su método evaluativo. Editó la famosa serie de monografías AERA sobre valoración de currículos. Junto con Len Cahen y Garley Forehand, fundó el May 12th Group on Evaluation, que ha sobrevivido como un importante centro de discusiones y debates sobre las teorías, metodologías y prácticas evaluativas. Y ayudó a establecer canales de comunicación y relaciones de colaboración entre los evaluadores de Suecia, Gran Bretaña, Australia, la OCDE, la CEE y los Estados Unidos. La productividad de este intercambio internacional queda explicada en el libro Beyond the numbers game (HAMILTONy otros, 1977). El material precedente ha sido proporcionado como información sobre los antecedentes para ayudarle a estudiar las contribuciones de Robert Stake. En el resto de esta unidad encontrará más información acerca del texto Cauntenance, de la evaluación respondente y, en general, de la filosofía evaluativa de Stake. Los objetivos didácticos alrededor de los cuales se estructura la unidad, aparecen consignados más adelante. Examínelos, lea el material correspondiente y luego realice el test de conocimientos y los ejercicios prácticos que hayal final de la unidad. Valore sus respuestas comparándolas con las correctas, y si alguna es incorrecta revise las secciones pertinentes del texto. Puede profundizar en la investigación realizando las «Preguntas sin respuesta» (o discutiéndolas con otras personas), y consultando otras fuentes de información acerca del trabajo de Robert Stake que aparecen en la bibliografía que pone fin a la unidad.

)

)

J ')

)

)

) ')

) ) ) ) ) )

) ) ) ) ) ) ) )

) ) )

) ) ) )

) )

\ (

(

240

Evaluación

sistemática

Stake:

el método

I

241

~1'~US:Tr:I.-;,...,:": !"1-'!;:'Í'.

r",',!

evaluativo

y el cliente

( (

Objetivos

(

Los objetivos de este capítulo son los siguientes:

( (

1.

(

2.

(

3.

( (

4. 5.

( ( (

e

6. 7. 8.

( (

9. 10.

( (

11.

(

12.

( (

13.

(

( (

14. 15.

( (

(

16. 17.

(

18.

(

19.

( ( ( I

Identificar los factores clave que han influido en las concepciones evaluativas de Robert Stake. Identificar las principales maneras en que las conceptualizaciones evaluativas de Stake se acercan y se alejan del concepto de evaluación tyleriano. Identificar las objeciones de Stake a las concepciones y utilizaciones tradicionales de los tests regularizados. Definir el propósito del método de la figura. Identificar los significados y aplicaciones de los siguientes conceptos identificados con el texto Countenance: base lógica, antecedentes, operaciones, resultados, normas absolutas, normas relativas, efectos secundarios, análisis de la contingencia, análisis de la congruencia y juicio. Describir el concepto de Stake del papel del evaluador. Analizar el concepto de Stake del papel del juicio en la evaluación. Identificar las presuposiciones básicas subyacentes a la evaluación respondente. Identificar las características esenciales de la evaluación responden te. Identificar las diferencias más importantes entre la evaluación preordenada y la evaluación responden te. Identificar lo que Stake considera utilidades relativas de la evaluación preordenada y de la evaluación responden te. Examinar las opiniones de Stake acerca de cómo los evaluadores respondentes pueden distribuir su tiempo entre las tareas evaluativas, en relación a los evaluadores preordenados. Identificar las recomendaciones de Stake referentes a cómo los evaluadores deben escoger los propósitos, las cuestiones y los criterios para sus evaluaciones. Proporcionar el punto de vista de los autores acerca de la concepción de Stake sobre las responsabilidades éticas y sociales del evaluador. Presentar el punto de vista de los autores acerca de la filosofía educativa de Stake. Describir e ilustrar cada tarea de la «evaluación reloj». Identificar las recomendaciones generales de Stake para la utilización de la «evaluación reloj». Presentar los comentarios del autor acerca de la orientación epistemológica de Stake. Identificar e ilustrar las principales partes de la estructura sustancial de la evaluación responden te.

La condición de la figura de la evaluación \'

,

',_

El artículo de Stake de 1967, titulado «The COUmt:.l;Iªfl~r.Qf:E4tl~?¡ti9n~t ~;:~~=-!~f,, Evaluation», no pretendía ser una guía específica para liaiplailüficación *.~D.i,~"~:)¿:;',;'~ e evaluación, sino una base general para todos los que se enfrentaran a una .. tarea de este tipo. En este artículo, Stake esbozaba su naciente filosofía evaluativa. Escogió un título así para su artículo con el fin de transmitir un mensaje concreto a los especialistas en evaluación y educadores en general. En él dice que hay pocos. evaluadores que contemplan la educación «al completo». En particular, afirma que, a menudo, las evaluaciones formales se centran sólo en unas pocas variables de un programa (como por ejemplo la relación entre resultados y objetivos) y que las evaluaciones informales reflejan a menudo las opiniones de un grupo de gente reducido (pero no datos empíricos cuidadosamente recopilados). Urge a los educadores y a los evaluadores a reconocer la estrechez de sus prácticas evaluativas y a prestar más atención a todo el conjunto de la evaluación. Este, según él, incluye 1) la descripción y el juicio de un programa, 2) distintas fuentes de datos, 3) análisis de la congruencia y las contingencias, 4) identificación de las normas pertinentes y a menudo opuestas, y 5) las múltiples utilizaciones de la evaluación. Fundamentalmente, afirma que evaluar un programa supone describirlo y juzgarlo por completo, y trata con cierto detalle estos conceptos antes de presentar su método global.

La descripción Al considerar la descripción como un acto básico de la evaluación, hace referencia a los trabajos anteriores de Tyler y Cronbach. Los partidarios del método de Tyler han concentrado sus esfuerzos descriptivos en discernir hasta qué punto han sido alcanzados los objetivos. Se han limitado a la utilización, principalmente, de tests regularizados para recopilar sus datos. Stake critica esta estrechez de miras y apoya la sugerencia de Cronbach acerca de que los educadores deben ampliar su concepto de lo que significa conseguir un objetivo y de los modos de valorar esto. STAKE(1967) aconseja a los educadores que «supliquen a los especialistas en valoración que desarrollen una metodología que refleje la totalidad, la complejidad y la importancia de sus programas». Más específicamente, afirma que la «tradicional preocupación de los especialistas en valoración educativa por la exactitud de las calificaciones de los estudiantes y el pronóstico de su validez es un recurso cuestionable. En la evalUáción de currículos, la atención prestada a las diferencias individuales entre los estudiantes debe desplazarse hacia las contingencias de los antecedentes, las

l... ') ) 242

I

Evaluación

sistemática

8take:

ltados escolares», Como se comentará más adeactividades de clase y los redsu k ndo' a los educadores que descnSta e recome . ida . . lante en esta mlsma un , d estos y reales las operaczones dl. 1 t los antece entes supu , " bleran comp etamen e . us congruencias y contmgenclas, dácticas y los resultados, y que exammaran s

El

juiciO

1 ' ., S ake está de acuerdo con la posición de Al abordar el problema de JUlClO, tI l"n no tiene sentido hasta que se de que una eva uac o 967) SCRIVEN(1 acerca . lo acertado de asignar la responsa. . ., P otra parte cuestlona , li emlte un JUKlO. or , . 1 parcialmente) a los espeCla stas en bilidad del juicio sólo (o a veces mc uso evaluación. " , n él pue d e resu lt ar poco realista por una serie . de raEsta practlca, segu 'd 1 aluadores pueden convertlrse en zones. Los educadores, intuyen o qUJ os e~tirse a cooperar en sus trabajos únicos jueces de sus programas, pue en res adores pueden ser censurados o '1 ., d d tos Ademas l os eva lu , de recopl aClOn e a. , que los evaluadores que actuan . . . legas suyos que crean . cntlcados por clertos co . . d bJ'etl'vos- convierten a las Clen, 1 r de mvestlga ores o 1 como Jueces --en. uga. ., 1 om ortamiento en algo sospechoso, Iguacias sociales y a la mvestlgaclOn de c PI dores pueden sentirse cualificados fi e muy pocos eva ua . S k mente, . ta . e arma qu . para una escue la o comunidad poco conoCldas. , 1 mejor , d para lscutlr que .e,s o dil ma Stake sugirió una posición de compromISO. Para dar soluclOn a este e d' d' debl'eran actuar como jue1 valua ores pu leran o d ha d Aunque du a e que os e , de los programas que evalúan, pensaba que ces únicos o £nales de la mayona il rocesar objetivamente las opinioeran los únicos cualificados para ~ecop ar que las evaluaciones de progra-

¡:

nes y juicios de ~t,ras p~s?na:l ~~~i~Oe~ ~o: defectos percibidos por grupos d mas escolares e lan re e!ar, . l'mportantes opiniones que exponer 'd 'fi dos y menClOno cmco con 1 b. len 1 entl ca , dI' d d en general expertos en e acerca de la educación: portavoces e a sOCle a , f adres y estudiantes. ,, d S k tema, pro esores, P ., .' eliminó la preocupaClOn e ta e Esta recomendaclOn ?e comp:oml;~ual los evaluadores deben emitir los acerca del sistema de Scnven, segun e , e su recomendación obviaba juicios £nales. Especialmendte, Stake a~r~o qsuma's cuestionables del sistema '1 'd b las os presupOSlClone las que e conSl era a , d el mejor puede resultar ser de Scriven: 1) que un progra~a que s;a J~:g~n~ opción local no es válida si el mejor para todos los estudlantes, lY d) q no pueden hacer ninguna presu. 1 b' mún Los eva ua ores . es contrana a len co . . icios procedentes de una ampha posición si recogen, procesan y presentan JU gama de grupos de referencia.

el método

evaluativo

y el cliente

I

243

')

) Esquema para la recopilación

de datos

Con esta información sobre los puntos de vista de Stake acerca de la descripción y el juicio, ya podemos proporcionar un amplio panorama de su método global, representado en la figura 7-1. La figura presenta los principales tipos de información que debe ser recopilada para realizar cualquier evaluación de programas. Advierte que Stake no ha concebido esas cajas para que sean rellenadas. Las cajas representan únicamente una clasificación de datos que pueden o no resultar útiles. Los conceptos de antecedentes, transacciones y resultados son de importancia primordial. Stake comenta que si los evaluadores pueden recoger, analizar y presentar información acerca de todo eso basándose en diversas fuentes, podrán aproximarse con más éxito al objetivo de abordar la totalidad 1 de la evaluación, que si persisten en sus intentos de determinar si los objetivos han sido alcanzados. Cada uno de estos tres conceptos es complejo y requiere una explicación, Los antecedentes se refieren a la información más relevante sobre el historial. En concreto, Stake consideraba este tipo de información como algo que incluía alguna condición ya existente antes de la enseñanza y el aprendizaje, y quizá relacionada con los resultados: por ejemplo, si un estudiante se ha comido un buen desayuno antes de ir a la escuela, si ha hecho los deberes o si ha dormido bien; igualmente, si el sindicato del profesor se opone a que participe en la preparación de los servicios. Para describir y juzgar totalmente un programa o un episodio del aprendizaje, Stake afirma que los evaluadores deben identificar y analizar los pertinentes antecedentes. El segundo tipo de información propuesto por Stake, las transacciones de la enseñanza, incluye los innumerables encuentros de los estudiantes con otras personas, como los profesores, los padres, los miembros del consejo, los tutores y otros estudiantes. Stake recomienda a los evaluadores que realicen una especie de proceso evaluativo continuo con el fin de discernir los trabajos reales del programa, Los resultados se refieren a lo que se consigue a través de un programa. Esto incluye las capacidades, los logros, las actitudes y las aspiraciones. Incluye también el impacto que causa en todos los participantes (profesores, padres, 1. En su correspondencia personal, Stake indicaba que se sentía confuso ante el asunto de la «totalidad». Reconocía que las exigencias de figura acerca de la totalidad de la descripción y el juicio, no eran para conseguir unos informes más largos, sino para desviar la atención de lo que se estaba haciendo (de ser menos «total» en ello) y situarla en otros aspectos del objeto. Reconocía la necesidad de delimitar, de concentrarse. En la evaluación responden te solucionó esta necesidad de una cobertura y delimitación más amplias, aconsejando al evaluador que buscara y solucionara los «problemas» clave.

.) ')

') ') ') ') ')

') ')

) )

) ) ) ) ) ) ) ) ) )

) ) ) ) )

)

) ) )

\ ( (

244

I

Evaluación

Stake:

sistemática

el método

evaluativo

y el cliente

I

245

( (

Intenciones (lo que pretende la gente)

(

f

Normas (lo que la gente generalmente aprueba)

Observaciones (lo que percibe la gente)

(

Juicios (lo que la gente cree que debe ser el programa principal)

( (

«

Base lógica

que ellos entiendan (no necesariamente en forma de objetivos de compor~lmiento). Las observaciones se refieren a qué antecedentes, transacciones y cesultados han sido observados y anotados, los cuales pueden haber sido recopilados a través de distintas fuentes e instrumentos de recopilación de datos. Stake aconseja a los evaluadores que realicen una amplia búsqueda de la existencia de acontecimientos, tanto los que se habían pronosticado como los que no. La siguiente lista ilustra los tipos de información que un evaluador puede recopilar desde la perspectiva de la matriz de descripción de Stake: 1.

( 2.

(

Transacciones

(

3.

( (

4. Resultados

( (

5.

(

Matriz de descripción

Matriz de juicio

( (

(

rIGURA

7-1.

Esquema de Stake para la recopilación de datos en la evaluación de un programa educativo

STAKE, Robert E., 1967, «The Countenance of Educational Evaluations», Teachen College Record, 68:523-40.

FUENTE:

( ( ( ( (

, (

( ( ~

t ( I

administradores, educadores, estudiantes y otros). E incluye finalmente los resultados evidentes y los confusos, los buscados y los no buscados, los de largo y los de corto alcance. . Stake utilizaba los antecedentes, las transaCClOnes y los resultados como conceptos centrales para estructurar su concepción de lo que debe hacerse al describir y juzgar un programa. Esta estructura aparece representada en las matrices de descripción y juicio de la figura 7-1. Los antecedentes, las t.ransacciones y los resultados son las dimensiones ~er.t~cales de ~mbas. matnces. La dimensión horizontal de la matriz de descnpclOn son las mtenclOnes. y las observaciones. Con intenciones Stake se refiere a todo lo que se planea, mcluyendo los antecedentes, las actividades de enseñanza y apre~dizaje, y los resultados deseados; recomienda a los evaluadores que estudien tan.to l.~ que los educadores excluyen como lo que incluyen, todo bajo la denommaClon ~e «intención», y que expresen los propósitos de los educadores en un lenguaje

6.

El profesor dice que los estudiantes se inscriben en la clase de apreciación musical porque quieren (antecedente propuesto). Sin embargo, el 40 % de los estudiantes se quejan de que sus padres les han obligado a inscribirse (antecedente observado). . El currículo de apreciación musical especifica que los estudiantes pasan 40 minutos a la semana oyendo música y 20 discutiendo sobre ella (transacciones propuestas). Por regla general, los estudiantes dicen pasar 19 minutos a la semana oyendo música, 3 minutos discutiendo, 20 minutos estudiando y el resto del tiempo haciendo otras cosas (transacciones observadas). Al final del curso, los estudiantes esperan, entre otras cosas, ser capaces de conocer los nombres de los compositores de obras musicales seleccionadas para su audición (resultado propuesto). Por regla general, los estudiantes conocen correctamente los nombres de los compositores de dos piezas de las diez que han escuchado; igualmente, y de una forma inesperada, el padre de uno de los estudiantes contribuye con una gran suma de dinero a la ampliación de la biblioteca' musical de la escuela (resultados observados).

Aunque el ejemplo es simplista, ilustra muy bien uno de los mensajes básicos de Stake: a través del estudio de los antecedentes propuestos y de los reales, de las transacciones y de los resultados, debe estimularse a los evaluadores para que describan los programas de una forma más completa que si se limitaran a relacionar los objetivos con los resultados. Stake reconocía que los límites entre los elementos de la matriz de descripción eran vagos. Pero, según él, esto no tenía importancia, porque el propósito principal es estimular a los evaluadores a reflexionar ampliamente y proporcionarles una guía para que lo hagan. Además de describir el programa de interés con relación a la matriz de descripción, Stake recomendaba a los evaluadores que investigaran cuidadosamente la base lógica del programa. En efecto, ¿cuáles son los antecedentes e intenciones filosóficas del programa? Una vez que se haya informado de la base lógica del programa, el evaluador puede utilizarla como punto de partida para juz-

) ') 246

I


gar las intenciones del programa. Por ejemplo, ¿constituye el programa planificado un paso lógico en la realización de las intenciones básicas? Stake también observó que la base lógica es útil para la elección de grupos de referencia que luego pueden ser usados para identificar las normas y aprobar los juicios. Al concluir su comentario sobre la base lógica, Stake advierte a los evaluadores que no sobrerracionalizen un programa. Deben evitar imponer su filosofía y su lógica por encima del programa. Los evaluadores deben caracterizar cualquier base racional que encuentren, en el lenguaje del personal del programa, y no necesariamente en el suyo. Aunque él no lo diga, nosotros presumimos que Stake quiere llamar la atención de los evaluadores sobre los problemas que ellos mismos perciben en la base lógica de un programa (como la ambigüedad, la incoherencia, la ilegalidad o la inmoralidad). Tras sus explicaciones sobre la matriz de descripción y la base lógica, Stake se dedica a comentar las maneras en que se puede analizar la información descriptiva. Identifica el análisis de la congruencia y el análisis de la contingencia como los dos tipos básicos de análisis, representados en el paradigma de la figura 7-2. El análisis de la congruencia se dedica a averiguar si los propósitos se han cumplido. ¿Son congruentes los antecedentes observados con los pronosticados? ¿Los profesores deben proporcionar las directrices del currículo? ¿Se han alcanzado los objetivos propuestos? ¿Existen efectos secundarios? El análisis de la congruencia es idéntico, en esencia, a la recomendación de Malcolm PROVUS acerca de que los evaluadores deben buscar discrepancias entre los propósitos y 10 que realmente sucede (1971). Al citar el análisis de la contingencia, Stake afirma que «dado que la evaluación es la búsqueda de relaciones que permitan el perfeccionamiento de la educación, la tarea del evaluador consiste en identificar los resultados contingentes a antecedentes concretos y transacciones didácticas». Más adelante, explica que es importante investigar las contingencias existentes entre las intenciones y entre las observaciones? Como aparece en la figura 7-2, el criterio apropiado para identificar y valorar las contingencias entre los antecedentes propuestos y las transacciones, y las transacciones propuestas y los resultados, es lógico. ¿Es razonable asumir que los antecedentes propuestos permiten el ejercicio de la enseñanza propuesta? ¿Y que esta última puede conducir a los resultados propuestos? Stake advierte que, al realizar análisis lógicos, los evaluadores deben confiar en su experiencia previa con poblaciones y programas similares, y que pueden obtener intuiciones útiles estudiando la bibliografía de investigación más importan2. En su crítica del borrador previo, Stake indica que estos conceptos analíticos no resultan productivos y, por lo tanto, no deben ser recomendados. NosottoS los hemos examinado porque pensamos que proporcionan un adecuado panorama de los métodos de análisis que los evaluadores, por lo general, intentan aplicar, incluso aunque a menudo resulten infructuosos.

8take:

el método evaluativo y el cliente

I

247

')

~

Datos descriptivos

") ~ ') ") Congruencia

')

) ') Contingencia lógica

Contingencia empírica

) ) )

) Congruencia

) ) )

Contingencia lógica

Contingencia empírica

)

) ) )

Congruencia

) ) )

FIGURA

7-2.

Esquema de Stake del procesamiento de datos descriptivos

FUENTE:STAKE,Robert E., 1967, «The Countenance of Educational Evaluations», Teachers College Record, 68:523-40.

) ) )

te y, según deducimos nosotros, informes evaluativos de programas similares. Un análisis lógico de la contingencia entre las intenciones resulta importante, como observa PROVUS(1971), como guía de los juicios acerca de la solvencia teórica y adecuación estructural del programa. Los análisis de la contingencia de las condiciones observadas, según Stake, deben estar basados en criterios de evidencia empírica. ¿Existen correlaciones entre los antecedentes reales y las actividades didácticas observadas? ¿Y entre

) ) ) ) ) )

~. i

(

j

( 248

(

( ( ( ( (

( ( ( ( ( (

( ( ( ( (

( ( ( ( (

( ( ( (

, t

t (

t (

I

Stake: el método evaluativo y el cliente


estas últimas y ciertos resultados (ya sean o no buscados y deseados)? ¿ Puede justificarse como causal alguna de las correlaciones? Stake advierte que los análisis de la contingencia requieren datos procedentes del programa que se está investigando y pueden suponer un examen de los datos presentados en los informes investigativos. Stake finaliza diciendo que los requisitos relacionados con el análisis de la contingencia implican cualificaciones especiales para los evaluadores de determinados programas. Todo ello incluye la familiaridad con la literatura teórica e investigativa más importante y experiencia previa en el estudio de programas similares. Dado que un solo evaluador no suele poseer todas estas cualificaciones específicas, además del dominio de los métodos analíticos, técnicos, comunicativos, políticos y administrativos que requiere una evaluación, Stake afirma que una evaluación solvente exige un trabajo de equipo. La recopilación y el análisis de la información descriptiva y de la descripción de base lógica del programa, proporciona el fundamento de la tercera característica principal del método de la figura: la identificación de normas y la formulación de juicios acerca del mérito del programa. Esta parte está representada en la matriz de juicio de la figura 7-1. Su dimensión vertical incluye los tres conceptos centrales llamados antecedentes, transacciones y resultados. La dimensión horizontal de la matriz está dividida entre las normas y los juicios. Stake define las normas como criterios explícitos para valorar la excelencia de una oferta educativa. Advierte que la calidad de las escuelas, los tests calificativos regularizados y las opiniones de los profesores no son buenos indicadores de la excelencia de los estudiantes; y, en general, afirma que las evaluaciones en boga no poseen amplios valores de referencia. Advierte que en una sociedad sana, sus distintas partes deben disponer de distintas normas. También cita y apoya la afirmación de CLARK y GUBA (1965) acerca de que las distintas etapas de la realización de un currículo suponen la utilización de distintos criterios. Con relación a la complejidad del problema de los criterios, advierte a los evaluadores que digan, con tanta amplitud y claridad como les sea posible, qué normas adopta cada uno, y que tengan en cuenta las normas generales y los juicios emitidos por individuos y grupos acerca de un programa concreto. El concepto de Stake acerca de los juicios está inextricablemente ligado con su concepción de las normas. Dice: «El juicio racional en la evaluación educacional es una decisión sobre la atención que hay que prestar a las normas de cada grupo de referencia (punto de vista) a la hora de decidir si hay que emprender o no alguna acción administrativa.» Además, identifica dos tipos de normas que sirven de base para los juicios: las normas absolutas (convicciones personales acerca de 10 que es bueno y deseable para un programa) y las normas relativas (características de los programas alternativos que se creen satisfactorios) .

I

249

Comparación absoluta

Propuestas observadas An teceden tes Transacciones Resultados

(Datos descriptivos del programa en cuestión)

Normas de calidad

Comparación relativa

Datos descriptivos de otros programas

J U 1 C

1 O S

FIGURA 7-3. FUERNTE:

Esquema de Stake del proceso del juicio del mérito de un programa educativo STAKE,Robert K, «The Countenance of Educational Evaluation» Teachers College

ecord, 1967, 68:523-540.

'

Su representación de las operaciones implicadas en la emisión de juicios aparece en la figura 7-3. Aunque Stake no contempla la evaluación como un proceso metódico, la siguiente tarea se desarrolla más o menos según el proceso descrito en la figura 7-3.3 . 3. En una carta personal,. Stake subraya que las flechas no indican el paso del tIempo. Las dobles flechas sugIeren que las distintas actividades son interactivas, y él contempla. el proceso como algo, en gran parte, inconsciente, simultáneo y no necesaria. mente racIOnal.

)

250

1.

I

Evaluación

sistemática

El evaluador recopila y analiza la información descriptiva

(y describe la

base lógica del programa). . . El evaluador identifica las normas absolutas (las conv1cc10n~s formales e 2. informales, conducidas por importantes grupos de referencla, acerca de qué normas de calidad deben utilizarse). El evaluador recoge los datos descriptivos de otros programas.7 extrae 3. las normas relativas para compararlas con el programa en cue::lOn. 4. El evaluador valora hasta qué punto el programa en cuesuon cumple las normas absolutas y relativas. . En solitario o en colaboración con otros, el evaluador Juzga el programa, 5. esto es, decide qué normas tomar en consideración. Más específicamente, asigna un peso, una importancia, a cada grupo de normas.

1

8take:

el método

evaluativo

y el cliente

I

J 251

sofía, etcétera. También pide el desarrollo de nuevos y mejores modos de procesar los juicios y de que las evaluaciones sean menos «intrusivas». Con relación al último punto, dice que la figura de una evaluación debe ser una de las recopilaciones de datos que conduzca a la toma de decisiones, y no a la búsqueda de problemas. A pesar de las dificultades de llevar a cabo este método, Stake urgía a los educadores para que sus evaluaciones fueran más meditadas y formales. Recomendaba que clarificaran sus responsabilidades respecto a las evaluaciones individuales respondiendo a cinco preguntas:

")

")

J J ') ')

')

") 1. 2.

Contraponiendo las normas relativas y las absolutas, Stake cita un desa~ cuerdo que se produjo entre Scriven y Cronbach. CRONBAC~ (l9.~3) afirmo que los estudios comparativos de currículos eran una mala mverS10n ?o.rque no generalizaban adecuadamente sobre la situación local y porque, los d~st~ntos programas servían a las necesidades de distintos grupos y tem~n distmtos propósitos. En general, recomendó a los evaluadores que no reahzaran es~udios comparativos, pero que, en su lugar, trabajaran ~n ~r?fundos estudios del proceso destinados a perfeccionar los prog~~mas. mdiv1duales. SCRIVEN (1967), por otra parte, recomienda la compa::aclOn d1recta ~e un progr,ar.na con sus «competidores críticos» como la mejor ~ase para Juzgar el :nento del programa. Reconocía la necesidad de los estudlOs. del proceso d~l Upo de los recomendados por Cronbach {Scriven los denommaba .«evaluac1~nes formativas»), pero decía que eran (por lo menos entonces) de 1m~ortancla se;~ndaria, comparados con los estudios comp~rativos dest~nados a Juzgar el mento del programa (él las denominó «evaluaclOnes .sumauvas»). . , Stake consideraba la necesidad de ambos tlpOS de estudios y observo que su importancia relativa podía variar, de acuerdo con el propósito de la evaluación, para ser comprendida. Esto es, afirmab~ que la figura ~otal de ~a evaluación implica distintas utilizaciones de los mformes evaluatlvos. Cre1a que las evaluaciones sumativas comparativas eran necesarias para un educad?r enfrentado a la decisión de qué programa adoptar, pero no para los espeClalistas en currículos enfrentados a la tarea de planificar y desarrollar un nuevo programa o a la responsabilidad de mejora: uno 'ya existente. E.sta última n~cesidad de un servicio evaluativo queda mejor satlsfecha con el upo de estudlO formativo recomendado por Cronbach. . .. Al terminar el texto Countenance, Stake reconoce la d1ficultad de uuhzarlo literalmente. Dice que un trabajo de equipo es lo que, por 10 gene~a1, ?e~e utilizarse. Las especializaciones del equipo puede? inc.l~ir la teCn?~O~la.d1da~tica, los tests y las escalas psicométricas, la plamficaCl?n y el anahs~s lnvestlgativo, la difusión de información, la antropología soc1al, la econom1a, la £10-

")

3. 4. 5.

¿La evaluación debe ser descriptiva, orientada hacia el juicio o ambas cosas? ¿La evaluación debe destacar los antecedentes, las transacciones, los objetivos o sus contingencias funcionales? ¿La evaluación debe destacar la congruencia? ¿La evaluación debe centrarse en un solo programa o ser comparativa? ¿La evaluación está concebida como guía del desarrollo o para elegir entre varios currículos?

')

)

.) ) ) ')

Finalmente, Stake mira al futuro y afirma que las evaluaciones deben ser utilizadas para desarrollar un conocimiento básico sobre la educación. Urge a los educadores a que desarrollen bancos de datos que documenten las causas y efectos, la congruencia entre los propósitos y su consecución, y un panorama de juicios de todos aquellos que tengan algo que ver con los programas que se evalúan.

) )

) ) ) )

Evaluación respondente Trataremos ahora de la ampliación que hace el propio Stake de su filosofía evaluativa bajo la denominación de «evaluación respondente». Esta ampliación apareció en el texto titulado «Program Evaluation: Particularly Responsive Evaluation», que STAKE (l975b) presentó en la Conference on New Trends on Evaluation de Gotemburgo, Suecia, en 1973. Al presentar la evaluación respondente advierte que su atención se centra en la evaluación de programas, que pueden ser estricta o libremente definidos, grandes o pequeños, y, según deducimos nosotros, continuos o ad hoc. Al considerar este método, pide a su audiencia que suponga que alguien ha sido encargado de evaluar un programa y que el programa en muchas ocasiones es algo subyacente. Subraya que pueden existir clientes específicos o audiencias que satisfacer y que, por lo general, incluyen responsables para la realización del programa. El evaluador, según Stake, debe ser el responsable de comunicar con estas audiencias específicas. Estas presuposiciones a modo de

) )

) ) ) (

) )

J ) )

) )

,

-..¡

( (

252 I



I

253

{ (

( ( (

( ( ( {

( ( ( ( (

( ( (

(

( (

,, ,,• (

(

,

(

t ~ (

<

guía coinciden claramente con los princlplOs del texto Countenance: a saber, que el punto en el que empieza a actuar el evaluador está situado, por lo general, después de que el programa ya ha empezado, y que el principal papel del evaluador es, comúnmente, proporcionar información evaluativa útil a aquellas personas que están operando con el programa. Stake identifica la evaluación respondente como una alternativa frente a otros ocho métodos evaluativos: 1) el modelo pre-test y post-test (preferido por muchos investigadores); 2) el modelo acreditativo, que supone un autoestudio y la visita de expertos exteriores (les gusta a los educadores, según Stake, si pueden escoger los visitantes, pero no les gusta a los investigadores, puesto que confía en información de segunda mano); 3) la investigación aplicada al modelo didáctico (recomendada por CRONBACH, 1963, 1980); 4) la evaluación orientada hacia el consumidor (recomendada por SCRIVEN, 1967, 1974); 5) la evaluación orientada hacia la decisión (propuesta por STUFFLEBEAM,1966, 1971); 6) la metaevaluación (introducida por SCRIVEN,1976); 7) la evaluación sin metas (desarrollada por SCRIVEN, 1974); y 8) la evaluación contrapuesta (recomendada por OWENS, 1973, y WOLF, 1973). Stake consideraba que los dos primeros eran los principales modelos de la evaluación de un programa y decidió específicamente presentar la evaluación respondente como una alternativa bien definida al modelo pre-test y post-test, que él llamaba evaluación preordenada. Stake identificaba la evaluación respondente como un método que ya había sido recomendado por PARLETT y HAMILTON(1972), McDoNALD (1975), SMITH y PAHLAND(1974) Y RIPPEY (1973). Fundamentalmente, según él, el método subraya marcos para el desarrollo del aprendizaje, las transacciones didácticas, los datos para los juicios, el informe holístico y la asistencia a los educadores. Al ampliar el método, suscribió una definición general de evaluación que él atribuía a Scriven. De acuerdo con esta definición, la evaluación es un valor observado comparado con alguna norma. Stake representaba esta definición en la siguiente proporción: Toda la constelación de valores de un programa

Evaluación

= ---------------------

Complejo de expectativas y criterios que distintas personas tienen sobre el programa Stake advierte que la tarea básica del evaluador no es resolver la ecuación numéricamente ni, como dice que recomendó Scriven, obtener un resumen descriptivo del programa. En cambio, Stake advierte al evaluador que realice un amplio informe de lo que se ha observado acerca del programa y de la satisfacción o insatisfacción que siente un grupo de personas adecuadamente seleccionado ante el programa. Este sistema es claramente reminiscen-

te del texto Countenance, en el que Stake afirma que las dos principales tareas de la evaluación son la descripción y el juicio de un programa. Al comentar la evaluación responden te Stake no contempla al evaluador recopilando normas, clasificándolas según su importancia y reduciendo estas escalas a un juicio global. Por el contrario, el evaluador debe hacer referencia, simplemente a las opiniones de la gente acerca del programa y no juzgarlas, clasificarlas o sintetizarlas. El tema dominante en la evaluación respondente es proporcionar un servicio a personas específicas (clientes). Stake subraya que las evaluaciones probablemente no serán útiles si los evaluadores no conocen el lenguaje y los intereses de su audiencia y si no realizan sus informes con ese lenguaje.

Evaluación preordenada

contra evaluación respondente

A lo largo de su presentación, Stake contrasta en repetidas ocasiones la evaluación respondente y la evaluación preordenada. Nosotros hemos intentado reflejar las principales distinciones de Stake en el resumen de la tabla 7-1. Como puede verse, destacamos once distinciones clave. La primera, y quizá más expresiva, distinción se refiere al propósito de la evaluación. El propósito de una evaluación preordenada es; por lo general, centrarse estrechamente en responder una pregunta clásica: ¿hasta qué punto han sido alcanzados los objetivos preestablecidos? Por otra parte, una evaluación respondente está destinada a ayudar al cliente a comprender los problemas y a descubrir las virtudes y los defectos del programa (según distintos grupos). La segunda distinción se refiere al alcance de los servicios que el evaluador debe proporcionar. En una evaluación preordenada el evaluador debe recopilar, analizar y presentar los resultados de acuerdo con un plan estrictamente preespecificado. El evaluador responden te, por otra parte, debe buscar los problemas y cuestiones pertinentes a lo largo de todo el estudio e intentar responder de manera oportuna, recopilando y presentando información útil, incluso si no se ha anticipado la necesidad de esta información al principio del estudio. En general, el alcance de las evaluaciones preordenadas resulta estrecho comparado con la amplia gama de problemas que pueden ser considerados en una evaluación responden te. Otra distinción se basa en la formalidad y especificidad de los acuerdos escritos que gobiernan la evaluación. A menudo, las obligaciones formales de las partes principales deben acordarse por escrito al principio del estudio, en cualquier tipo de evaluación. De cualquier forma, los contratos de las evaluaciones preordenadas deben ser formales, específicos, amplios y obligatorios, mientras que los de las evaluaciones responden tes tienden a ser generales, flexibles y sin límites fijos. Una cuarta diferencia entre los dos tipos de evaluación consiste en su

...=.c •.•.••_ ••...-,...__

. --_~.~

-

77,'

~~

TABLA

7-1.

Principales

distinciones

..

entre la evaluación preordenada

I\J

y la evaluación respondente

~

Evaluación preordenada

Evaluación responden te

Determinar hasta qué punto han sido alcanzadas las metas

Ayuda a los clientes a distinguir las virtudes y los defectos

2. Alcance de los servicios

Satisfacer los requIsItos informativos tal como se había acordado al principio del estudio

Responde a los reqUlSltOSinformativos de la audiencia a lo largo de todo el estudio

3. Contratos

Las obligaciones de las partes formales de la evaluación se negocian y definen tan específicamente como sea posible al principio del estudio

Los propósitos y procedimientos se esbozan de una manera muy general al principio y se desarrollan durante el estudio

4. Orientación principal

Propósitos del programa, indicación de las variables

Problemas y actividades del programa

5. Planificaciones

Preespecificadas

Se van haciendo a sí mismas

6. Metodología

Reflejo del «Modelo investigativo»: intervención y observación

Reflejo de lo que la gente hace «naturalmente»: observa, interpreta y especifica

7. Técnicas preferidas

Diseño experimental, objetivos de comportamiento, hipótesis, muestreo al azar, tests objetivos, estadísticas de resumen e informes investigativos

Estudio de casos concretos, objetivos expresivos, muestreo intencionado, observación, exámenes de programas opuestos e informes expresivos

8. Comunicaciones entre el evaluador y el cliente

Formales e infrecuentes

Informales y continuas

Distinción

~ !.'?. e

1. .Propósito

'(5;" (')

::J en

¡¡j' •..•. m 3

~ o'

'"

",

Referencias a los objetivos preestablecidos, a los grupos de reglas y a los programas competitivos

Referencias a las distintas perspectivas de valor de la gente que se tiene a mano

10. Diferencias fundamentales

Sacrifica el servicio directo a los que toman parte en el programa por la producción de informes investigativos objetivos

Sacrifica cierto grado de precisión en la valoración para que pueda aumentar la utilidad

11. Previsiones para evitar la tendenciosidad

Utiliza procedimientos objetivos y perspectivas independientes

Reproducción y definición operacional de los términos ambiguos

9. Bases para la interpretación de los valores

CJl •..•.

'm" " ~ 3 m,

ooo

~

'" '<"

e

o '<

~ (')

m ::J •..•.

m

I\J 01 01

OG~0UGGG~0UGU00uuu0uU0u000UU0~~UJ~U

\

(

(

256

I

Evaluación

sistemática

( ( ( (

( (

( ( ( ( (

( ( I

(

( ( ( ( (

( (

( ( ( {

{ { { ~ ~ (

orientación. Los evaluadores preordenados deben examinar los proposltos del programa -incluyendo especialmente los objetivos, los procedimientos y la oportunidad de la propuesta del programapara decidir qué información debe recoger. En efecto, deben estar predispuestos a recoger aquellos datos necesarios para determinar si sus objetivos han sido alcanzados y, en ocasiones, si el programa se ha realizado tal como se había planificado. Los evaluadores responden tes no deben dejar que la retórica de la propuesta sea tan determinante. Guiándose por ciertas expectativas de lo que será importante, deben examinar las actividades y problemas del programa, pero quedar libres de decidir acerca de ciertas actividades o cuestiones de mayor importancia. Deben preocuparse por las propuestas del programa que pueden poner de relieve puntos «ciegos». Los dos tipos de estudios deben estar conducidos por planificaciones considerablemente distintas. Las planificaciones de las evaluaciones preordenadas deben ser preespecificadas tanto como sea posible, puesto que los objetivos del estudio deben establecerse y los controles, las definiciones y las estructuras comunes a este tipo de estudio deben quedar determinados al principio. Las planificaciones de las evaluaciones responden tes deben ser más abiertas y libres, tendiendo hacia la descripción narrativa, más que hacia la valoración de los casos. Los controles y las intervenciones en el programa rara vez se planifican. El evaluador debe intentar, a lo largo de todo el estudio, descubrir y responder aquellas cuestiones importantes para distintos clientes. Coincidiendo con la diferencia entre los dos tipos de clasificación, existe una marcada diferencia en los métodos utilizados por las dos evaluaciones. Las evaluaciones preordenadas, en general, deben emplear el «modelo investigativo». En él, el evaluador suele intervenir con dos o tres tratamientos, observa su impacto relativo sobre los estudiantes o clientes valorándolo por medio de unos pocos criterios y comprueba las hipótesis acerca de los distintos efectos. De acuerdo con Stake, la evaluación preordenada refleja más un «modelo de estímulo y respuesta» y la evaluación respondente invierte la secuencia. La evaluación respondente es una evaluación de «respuesta y estímulo», en el sentido de que el evaluador responde primero, esto es, observa el natural discurrir de un programa evitando cualquier tipo de intervención y luego lo estimula o interviene en él, de modo parecido a como lo hace el cliente. Por lo general, podría decirse que las metodologías de ra evaluación preordenada y de la evaluación respondente son, respectivamente, experimental y naturalista. De acuerdo con esto, las técnicas preferidas por ambos métodos son también distintas. En la evaluación preordenada las técnicas elegidas son las planificaciones experimentales, los objetivos de comportamiento, las hipótesis, los muestreos al azar, los tests regularizados, las estadísticas deductivas y los informes investigativos. Las técnicas preferidas por los evaluadores respondentes son el estudio de casos concretos, los objetivos expresivos, los mues-

1

8take:

el método

evaluativo

y el cliente

I

257

treos intencionados, la observación, los exámanes de programas opuestos y los informes narrativos. Las comunicaciones entre el evaluador y el cliente, en los dos tipos de estudios, desempeñan distintos papeles. En los estudios preordenados la comunicación se emplea para alcanzar acuerdos previos acerca de cómo y por qué debe ser realizado el estudio, para controles periódicos a lo largo del estudio para asegurar que los participantes están cumpliendo con sus responsabilidades, y para presentar el informe final. En general, el evaluador preordenado intenta comunicarse formal e infrecuentemente con el cliente. Y a la inversa, las comunicaciones entre el evaluador respondente y el cliente tienden a ser informales y frecuentes. Dado que se opone a las preorganizaciones, la comunicación en la evaluación respondente debe ocurrir de una manera natural. Un intercambio más relajado y continuo entre el evaluador y el cliente resulta, según Stake, esencial, puesto que el propósito es efectuar una búsqueda continua de cuestiones clave y proporcionar al cliente toda la información útil que le sea posible. Los dos tipos de evaluación también difieren en su aproximaclOn a la interpretación de los valores. Al conceder un significado de valor a los resultados observados, el evaluador preordenado remite a los objetivos preestablecidos o al nivel de elaboración de un grupo de reglas o estudiantes de un programa competidor. El evaluador respondente no debe excluir necesariamente estas fuentes, pero debe estar seguro de remitir a las distintas perspectivas de valor de toda aquella gente implicada realmente en el programa específico que se está estudiando. Además, el evaluador respondente no debe perseguir una sola conclusión acerca de la buena o mala calidad del programa, sino intentar reflejar todas las opiniones obtenidas de los grupos de referencia. Stake reconoce, como consecuencia, en sus escritos, que las evaluaciones sirven para una amplia gama de propósitos y deben seguir, legítimamente, distintos métodos. Aunque explica por qué prefiere, por lo general, la evaluación respondente, también advierte que deben existir intercambios con otros métodos. Dice concretamente que las evaluaciones preordenadas deben sacrificar el servicio directo a los componentes del programa por la producción de informes investigativos más rigurosos y objetivos. Las evaluaciones respondentes, por otra parte, deben sacrificar cierta precisión en la valoración por el aumento de la utilidad de sus informes para todos aquellos que intervienen en un programa concreto. Nuestra distinción final, la número once, entre la evaluación respondente y la evaluación preordenada se refiere a las previsiones para evitar la tendenciosidad. Obviamente, este tema es importantísimo en la evaluación preordenada. Los procedimientos objetivos y las perspectivas independientes se emplean para asegurar que la información obtenida satisface ciertos niveles de adecuación técnica. La evaluación responden te también emplea tests de educación técnica, pero no los verifica con tanta facilidad. La evaluación res pon-

c_

L

'> ')

258

I



. l'a lmpor t an Cl'ade la información , ' subjetiva y resta 'importancia a d ente d estaca la utilización de técnicas regularizadas y obJetlvas, dando paso aSl; u?a ayor tendenciosidad. Stake sostiene que existen otras maneras de re UCl! a tendenciosidad, Concretamente, pide a los evaluadores respondentes que com' 'de resultados estables y coherentes empleando la reprue b en 1a eXlstencla dundancia en sus actividades de recopilación de, ?atos y respuesta,s, a sus esde sus tu di os d e casos, Tambl'én les aconseJ'a que faciliten la comprenSlOn ,. b' informes presentando definiciones operacionales de los terr:rlln~s an:: 19uOS, Pero, con todo, Stake es partidario de que sea el lector qUlen ldentlfique e

t

interprete la posible tendenciosidad. ..' , , En la tabla 7-1 presentamos nuestra visión de las pnnClpa1es dlstmclOnes ,' preordenada y la evaluación respondente, 1 La entre 1a eva 1uaClOn 1 tabla 7-2 ' t' dl'stl'nto de comparación. En ella, Stake calcu a os porcentacontlene un lPO d d' jes de tiempo que los evaluadores preordenados y los respond~ntes e lcan a las distintas actividades evaluativas en un caso normal. El cal~~lo ~~ Stake refleja, por 10 que sabemos, sólo .su opinión y puede ser conSl era emente opuesto a otras visiones de la reahdad. De acuerdo con comparaciones hipotéticas, tanto l~s eva1uadore,s preordenados como los responden tes dedican el diez por Clento de su tlempo a identificar organizadores previos. Pero este tiempo, ~ara los evaluadores ~reordenados, debe ser una búsqueda de las metas, mlentras que para los .esTABLA

Cálculo de Stake sobre la distribución del tiempo en los evaluadores preordenados y los responden tes 7-2,

Tareas Identificación de problemas y metas Preparación de los instrumentos Observación del programa Administración de tests, etc. Recopilación de juicios Identificación de las necesidades del cliente Proceso de datos formales Preparación de informes informales Preparación de informes formales

S R b rt E 1975b Program Evaluation: Particularly Responsive Evalu~tion, FUE~~~~Sio::~Epap~r eSerie;, n, 5, Centro de Evaluación, Universidad de Western Michlgan; Kalamazoo, Michigan,

I

259

pondentes debe ser una búsqueda de problemas y cuestiones. Los evaluadores preordenados pueden pasar el treinta por ciento de su tiempo seleccionando y creando instrumentos con el fin de asegurar la suficiencia técnica, mientras que los evaluadores respondentes pueden invertir sólo el quince por ciento en esta actividad. La mayor discrepancia se refiere a la observación del programa: el quince por ciento en la evaluación preordenada contra el treinta por ciento en la evaluación responden te. Según Stake, los evaluadores respondentes deben dedicarse más a las actividades de observación para descubrir y estudiar todos los problemas y para saber cómo opera en realidad el programa, mientras que la identificación de los problemas y la descripción de las operaciones del programa rara vez conciernen a los evaluadores preordenados. Stake estima que el diez por ciento del tiempo de un evaluador preordenado puede ser utilizado para la administración de tests, actividad que ocupa muy poco tiempo al evaluador responden te, que puede realizar su recopilación de datos principalmente a través de la observación naturalista y el examen de los informes ya existentes, Además, Stake estima que el quince y el cinco por ciento del tiempo del evaluador respondente puede dedicarse a recopilar juicios y a satisfacer los requisitos' informativos del cliente, respectivamente; el evaluador preordenado, que está más interesado en la valoración objetiva de los resultados relacionados con los objetivos de quienes realizan el programa, puede utilizar este tiempo en cualquier otra actividad. El evaluador preordenado no necesita averiguar las necesidades de los clientes, puesto que las evaluaciones preordenadas están firmemente destinadas a descubrir si han sido alcanzados los objetivos del programa, A causa del mucho tiempo que invierten en la recopilación de datos objetivos, Stake calcula que los e~aluadores preordenados de un programa normal pueden dedicar el veinticinco por ciento al análisis de los datos formales, mientras que los evaluadores respondentes pueden dedicar el cinco por ciento. y a la inversa, los evaluadores responden tes pueden invertir el diez por ciento de su tiempo en preparar y presentar informes informales para cumplir la misión de proporcionar continua información, mientras que los evaluadores preordenados no tienen una obligación comparable y pueden utilizar muy poca cantidad de tiempo para este tipo de comunicaciones informales. Finalmente, los evaluadores preordenados pueden invertir mucho tiempo en preparar informes formales -alrededor del veinte por ciento de su tiempo- puesto que éste es su principal medio de recopilar y comunicar los resultados, Los evaluadores responden tes, que ya han invertido un tiempo y esfuerzo considerables en proporcionar continua información a su cliente, pueden dedicar sólo alrededor del diez por ciento de su tiempo a los informes formales, Al comentar su comparación entre la evaluación preordenada y la evalua-

')

'>

., ') ') ') ') ') ')

) ) ) )

) )

) ) )

) ) ) )

) ) ) )

) ) )

) ) )

,

TI

(

!

('

I

(

260

(

ción respondente, Stake subraya que la principal diferencia temática reside en los propósitos, cantidad y clases de las comunicaciones establecidas con el cliente. El evaluador preordenado comunica con su cliente antes de que empiece el estudio para establecer las condiciones necesarias para llevarlo a cabo; lo hace poco o nada durante el estudio, ya que estas comunicaciones pueden influir en el desarrollo de las operaciones del programa; y 10 hace de una manera formal al final del estudio, a través de un informe impreso con una descripción detallada de lo que se ha hecho y descubierto. En contraste con esta caracterización de una comunicación artificial y básicamente unilateral, Stake describe al evaluador responden te enfrascado continuamente en una comunicación bilateral, con el fin de aprender de los importantes problemas que el cliente necesita investigar y, cuando la información sea aprovechable, proporcionar información útil a ese cliente. Stake afirma que los informes de los evaluadores preordenados son demasiado estrechos y limitados. Dice que su apariencia formal y técnicamente compleja provoca que su cliente confunda, con demasiada facilidad, su mensaje con la verdad. Dice que, a causa de su dependencia de las ecuaciones matemáticas y la prosa formalista, no resulta adecuado para contarle al cliente cómo es el programa. Para evitar los peligros de los informes preordenados Stake aconseja a los evaluadores responden tes que desarrollen sus poderes de comunicación. Dice que deben utilizar cualquier técnica comunicativa que sea efectiva para ayudar a sus audiencias a sentir algo acerca de la naturaleza del programa. Sugiere que se utilice la «narración de historias» (ver DENNY, 1978) para re. flejar toda su complejidad y afirma que sus informes deben tener más ambigüedad. En general, según él, los informes evaluativos deben revelar la «múltiple realidad» de la experiencia educativa, esto es, los diferentes puntos de vista y opiniones que los distintos participantes y observadores mantienen respecto a la experiencia. Para finalizar su comparación de los dos métodos, Stake dice que la evaluación respondente puede ser criticada por errores de muestreo, pero que la envergadura de estos errores resulta pequeña comparada con los progresos experimentados en el perfeccionamiento de las comunicaciones con la audiencia. Sin embargo, también reconoce que el método preordenado resulta a veces necesario y realiza un trabajo más efectivo.

( (

{ ( (

( ( ( ( (

(\ ( (

( ( ( ( (

( (

,

(

(


(

( ( ( ( ( (

Estructura sustancial de la evaluación respondente Después de contrastar la evaluación preordenada y la evaluación respondente Stake amplía su concepto de evaluación respondente. Y 10 hace, especialmente, describiendo sus estructuras sustanciales y funcionales. Stake identifica los organizadores previos como la primera parte de la

Stake: el método evaluativo

y el cliente

I

261

estructura sL:_stancial.En 1~ evaluación responden te, según él, éstos son los probler~as. l';os.otros dedUCImos que quiere decir áreas de desacuerdo, dudas y cuestlOnes. DIce que un problema es un organizador previo útil puesto que refleja una sensación de complejidad, urgencia y valoración. Aunque proporciona directrices para la investigación, se muestra en contra de las recopilaciones de datos cuantitativos demasiado limitadas. Para identificar y solucionar los problemas, Stake aconseja al evaluador que se familiarice con el programa hablando con la gente, para alcanzar una comprensión mutua acerca de la existencia de ciertos problemas, y luego que utilice esos problemas como estructura de futuras discusiones y para desarrollar planes de recopilación de datos. Subraya que el evaluador debe identificar y dar solución a los problemas a 10 largo de toda la evaluación. Stake afirma que la segunda parte de la estructura sustancial de la evaluación responden te consiste en un esquema para la recopilación de datos. Además de los problemas, dice que este esquema debe proporcionar una estructura adicional para la recopilación de datos. A través de la utilización de este esquema, que debe proceder del modelo de la figura, el evaluador pued~ intentar identifi~ar perspectivas múltiples e incluso contradictorias y examrnar las congruencIas y las contingencias. Las observaciones más importantes incluyen la base lógica del programa; sus antecedentes previstos y los o?s~rvados, las transacciones y los resultados; las diversas normas que los dIstrntos grupos creen que deben cumplirse; y sus distintos juicios acerca de ellas. Stake identifica los observadores humanos como la tercera parte de la estructura sustancial de la evaluación respondente. Subraya su importancia y anrma que son los mejores instrumentos de investigación para muchos problemas evaluativos. La parte cuarta y final de la estructura sustancial de la evaluación respondent~ es la valida~ión. Stake responsabiliza al evaluador respondente de proporClOnar la sufiCIente cantidad de información, procedente de numerosas fuentes independientes y creíbles, como para que pueda representar efectivamente ~l estado ya ~bservado del programa, de cualquier forma complejo. De]and? ya atras la estructura sustancial de la evaluación responden te Stake conSIdera su estructura funcional. Al comentar cómo evaluar «de manera respondente» dice que el método requiere una gran cantidad de observación. También dice que no existen fases lineales: la observación y la información continua son importantes a 10 largo de toda la evaluación. LA EVAL~ACIÓNRELOJ. Expuestas estas condiciones, Stake presenta la estruc:ura funclOnal de la evaluación responden te bajo la forma de la evaluación reloJ, tal como aparece en la figura 7-4. Subraya que no se trata de un reloj normal; se mueve en la dirección de las agujas del reloj, en sentido contrario y en cualquier otro sentido que pueda satisfacer mejor las necesidades del clien-

.T.....

)

,

262

I

12

10

Hablar con los clientes, el personal del programa y las audiencias Iden tificar el alcance del programa

Reunir los informes formales, si los hay

2 Panorama de las actividades del programa

Esquema para uso de la audiencia 9

3 Descubrir los propósitos e intereses

Validación: confirmación, búsqueda de evidencias para la no confirmación 8

4 Conceptualizar las cuestiones y problemas

Desarrollar temas, preparar descripciones y estudiar casos concretos 7

5

Observar los antecedentes, las transacciones y los resultados propuestos

6

Identificar los datos necesarios para investigar los problemas

Seleccionar observadores, jueces e instrumentos, si los hay

F IG URA 7-4.

') Stake: el método evaluativo y el cliente


11

')

La estructura funcional de la evaluación respondente ., l' según Stake: la evaluaclOn re 01 .

.

FUENTE'STAKERobert E., 1975b, Program Evaluation: Par~icul~rly Resp;;nstve E:u;::lOn: Oce~sional Papers Series, n. 5, Centro de Evaluación, Umversldad de estern c gan, Kalamazoo, Michigan.

te Nosotros creemos que concibe el reloj sólo como algo heurístico, y no .com~ u~a serie de directrices técnicas, puesto que en el artículo. nunca e.xphca 111 '1 t tl'lización A riesgo de tomarnos demasiado en seno el reloJ en cues1 us ra su u. f 1" t . tertión y malinterpretar el pensamiento de Stake, o recemos a SlgUlen e ID pretación. . lId 1 pr Las doce en punto: el evaluador habla con el cltente, e persona e 0grama y las audien'CÍas. Estos intercambios ocurren a men~do ~ur~nte la evaluación y abordan una amplia gama de temas, que pueden .1llc1Ulr~I ~s necesaria una evaluación y por qué; cuáles creen que son las cuestlOnes mas Importan-

I

263

tes; qué opinan respecto de las representaciones que ha hecho el evaluador sobre las cuestiones de valor, las actividades, el contenido del currículo y los resultados de los estudiantes; y cosas parecidas. Aparentemente, esta etapa es un medio de completar muchas, si no todas, de las otras tareas identificadas en el reloj. Una sugerencia general que ofrece Stake es que el evaluador puede llevar un informe de estos intercambios y de las acciones de las audiencias basadas en ellos; un informe de este tipo puede resultar útil en tareas como clarificar los problemas, centrar las observaciones y preparar los informes definitivos. La una en punto: el evaluador, en colaboración con el cliente, examina el alcance del programa que va a ser evaluado. A menudo, lo que está dentro o fuera de un programa se discierne ambiguamente y de diversos modos. Nosotros creemos que el evaluador debe intentar, de alguna manera, apreciar y clarificar la complejidad que implica definir límites geográficos, períodos y duraciones de tiempo, características de la población, áreas de contenido, etcétera. En efecto, esto supone poner algunos límites a lo que se está observando y centrar la investigación. Nosotros deducimos que, en la evaluación respondente, estas decisiones deben ser flexibles y revisadas periódicamente durante el curso del estudio. Las dos en punto: el evaluador hace un panorama de las actividades del programa, Nosotros creemos que ésta es la actividad menos estructurada, más exploratoria y caracterizadora, puesto que la etapa de las siete en punto exige observaciones estructuradas mediante la utilización de ciertos grupos de datos proporcionados por el texto Countenance. Pensamos que el principal punto de observación de las dos en punto es examinar y empezar a conocer el programa sin imponer una estructura sustancial demasiado rápidamente. Las tres en punto: el evaluador pretende descubrir los propósitos de la evaluación y los intereses que tiene la gente acerca del programa. (Los propósitos fijados por ciertos grupos puede que no sean los propósitos que realmente tienen en la cabeza.) Probablemente, los distintos grupos contemplarán distintos propósitos para la evaluación. Un modo de descubrir los distintos propósitos de una evaluación es hacer una lista de los intereses de los distintos grupos y luego averiguar cuáles les preocupan más. Las cuatro en punto: el evaluador analiza las cuestiones y problemas, y los sintetiza con el fin de proporcionar una base para determinar los datos que se necesitan. Para realizar esta conceptualización, el evaluador puede recoger distintos puntos de vista acerca de lo que es o no es útil para el programa y lo que debe añadirse. También puede resultar enormemente práctico estudiar las reacciones de las audiencias ante cada nueva conceptualización de los problemas. Stake previene a los evaluadores para que no se rindan fácilmente a los deseos de los que piden información sólo favorable o desfavorable. Y también les advierte que no crean que sólo los problemas expuestos por los evaluadores o las autoridades externas son válidos para la discusión.

) )

} ) ) ") ) ') ')

")

) ) ) )

) ) ) )

) ) ) )

) ) ) )

) ) )

,) ) (

)

, f (

( ( (

( ( ( ( '( ( (

( ( (

( ( ( ( ( (

« ( ( ( ( ( ( ( ( ( ( (

264

I


Las cinco en punto: el evaluador identifica los datos necesarios para investigar los problemas. Se trata de una derivación más interactiva de la conceptualización de los problemas, trabajando de una parte a otra, entre los datos potenciales y los contextos de problemas. Se pretende. ase~urar que los datos ligados a los problemas más importantes para las audIenclas v.an a ser recopilados. Más tarde es necesario, claro está, c?mprobar la amplitud de estos datos, y el evaluador volverá al punto de pawda. .. . ., Las seis en punto: el evaluador plamfica las actiVldades de recoptlaclOn de datos: traza un plan de observaciones, selecciona los observadores (si los hay), identifica los informes que deben ser exami.nados (quizá), ~ele.c,ciona muestras y organiza las observaciones y otras activldades de recoptlaclon de datos. Las siete en punto: el evaluador observa los antecedentes, las transacciones y los resultados. Nosotros creemos que el evaluador pue~~ ~xamina: también la base lógica del programa y recopilar las normas y ¡UlC10Srelativos a los antecedentes las transacciones y los resultados del programa. Las ocho en' punto: el evaluador analiza la información obtenida desarrollando temas que haya localizado en esa información, utilizándolos para preparar descripciones del programa y quizá realizando estudios de casos concretos. Con la ayuda de los observadores, el evaluador puede desarrollar breves narraciones, presentaciones del producto, gráficas, exposiciones fotográficas, esquemas, un sociodrama, presentaciones audiovisuales, etcétera. De acuerdo con los procedimientos superiores en el texto Counten~nce el evalu~dor p.uede realizar también análisis pertinentes de la congruenoa entre las lntenclones y las observaciones, así como de las contingencias entre los antecedentes, las transacciones y los resultados. Las nueve en punto: el evaluador comprueba la validez de los resultados y los análisis .. Se realizan diversos tests de la calidad de los informes. El personal del programa opina sobre la calidad de las descripciones. El evaluador puede hacer que diferentes personas desar~o~en informes a favor y .e~ ~ontra respecto a los méritos del programa, y qUlza someterlo t~do a. un «¡U1C10con jurado». Y puede alejarse de sus funciones buscando eVldenclas que contradigan sus resultados, así como su triangulación y confirmación. Las diez en punto: el evaluador esquematiza la información con el fin de que resulte de la máxima utilidad ?ara sus audiencias. D,ebe i.nformar:e a las audiencias acerca de los datos reumdos y preguntarles cuales tienen mas valor para ellos. También deben obtenerse opiniones de a~toridades y otr?s ~iembros de la audiencia. Luego, el evaluador debe plamficar las comumcaClOnes, concediendo más importancia a la información más útil, con el fin de satisfacer las distintas necesidades de las diferentes audiencias. Las once en punto: el evaluador prepara, si se los piden, los informes formales. Puede que un informe impreso no sea necesar.io, según los ac~erd?s previos que se hayan realizado con el cliente y las necesldades de la audIencla.


I

265

El evaluador puede presentar un video de un juicio con jurado sobre el programa o el guión de un sociodrama que describa sus resultados. En general, deben escogerse los medios de comunicación que resulten más accesibles para las audiencias y que puedan intensificar la comunicación y asegurar la fidelidad del mensaje. La descripción de la etapa informativa completa nuestro comentario de la evaluación reloj. Sospechamos que su mensaje principal no se encuentra en estas doce etapas, sino en su estrategia general. Stake elaboró esta estrategia en términos de utilidad y legitimidad, comparándolos con los de la evaluación preordenada. . Observó que la explicitud no es esencial para indicar el valor y que, de hecho, el tipo de explicitud recomendada en la evaluación preordenada incrementa el peligro de equivocación. Al decidir cuántas cosas y de qué forma comunicarlas, Stake considera que 10 más importante son los propósitos de la audiencia. Dice que los diferentes estilos de evaluación sirven a distintos propósitos y admite que el evaluador puede necesitar descubrir qué es 10 que legitima el buen nombre de la audiencia. Pero afirma que la evaluación respondente puede ser útil tanto en la evaluación formativa (cuando el personal necesita ayuda para controlar su programa) como en la evaluación sumativa (cuando las audiencias necesitan comprender las actividades del programa, sus puntos fuertes y sus defectos, y cuando el evaluador cree que debe realizarse una experiencia ajena). Reconoce que la evaluación preordenada es el método preferido cuando se busca la valoración de la consecución de las metas, el cumplimiento de las promesas y la comprobación de las hipótesis. También está de acuerdo en que las valoraciones de la evaluación preordenada son más objetivas y exactas. Sin embargo, Stake concluye diciendo que toda evaluación debe ser adaptable y, obviamente, cree que la evaluación respondente es claramente superior en el cumplimiento de esta norma.

Observaciones generales Para concluir esta unidad, hemos querido dar nuestra opinión general sobre las contribuciones de Robert Stake. En algunos casos, estas observaciones son resultado del estudio de sus escritos y, en otros, se basan en encuentros que mantuvimos con él en el pasado. Deseamos destacar que éstas son nuestras impresiones personales y que pueden no coincidir con sus propios puntos de vista acerca de su filosofía, su método y sus contribuciones. En conjunto, queremos subrayar que Stake ha sido uno de los líderes más atrayentes y creativos de la evaluación. Ha llamado la atención de los evaluadores con sus corteses ataques a algunas de sus «vacas sagradas» (por ejemplo, los tests estandarizados, el diseño experimental y los contratos de trabajo). Les proporcionó nuevas estructuras para sus reflexiones acerca de la

)

-~.-~ ,

}

¡

,

! 266

I

) 8take:

Evaluación

el método

evaluativo

nicación personal). Stake también estimuló a sus estudiantes -Dennis Gooler, Steve Kernmis, Barry McGaw, Nick Smith, Peter Taylor y Bob Wolfpara que realizaran contribuciones sustanciales en el campo de la evaluación. Ejemplos de ello son la adaptación de los procedimientos judiciales a la tarea de recopilar y analizar juicios y su introducción en la evaluación de museo, realizada por Wolf, o la exploración de distintas metáforas evaluativas por parte de Nick Smith. Además, Stake pidió a sus colegas que reflexionaran seriamente acerca de sus responsabilidades éticas y sociales, y que no sobreestimaran la importancia de sus servicios. El método evaluativo de Stake, desde luego, está influido por su filosofía de la educación. Cree que la educación es orgánica, no producida. Considera que todo el mundo se esfuerza por superarse, aunque no necesariamente en el campo de la educación prescrita por el estado. Cree que la educación formal modifica en muy poco la educación informal, que el contexto es lo que más influye y que los profesores son más una parte del contexto que verdaderos «creadores» de educación. Dice que las metas de la educación no pueden ser otras que la variación de las aspiraciones incluidas en los ideales y convicciones de las distintas comunidades, familias y estudiantes. Está totalmente a favor de la autonomía local en el gobierno básico de las escuelas. Pide regularmente al evaluador que identifique el orden de los resultados reales, y que descubra las normas que mejor convienen a las características del programa que se está estudiando y de la comunidad circundante. Dice que son muy pocas, si es que hay alguna, las etapas del aprendizaje que sean verdaderamente esenciales para tener éxito en la vida, que el éxito y el fracaso se han sobrevalorado y que, en cualquier caso, es mejor, por lo general, no pensar en el valor instrumental de la educación como base para evaluarla. Como consecuencia, afirma que el evaluador debe atender tanto a la calidad intrínseca como a la extrínseca de las prácticas educativas. Más concretamente, recomienda al evaluador que advierta si las experiencias de aprendizaje tienen un buen contenido y están bien estructuradas, y que averigüe qué piensan una serie de personas adecuadamente seleccionadas acerca de los costes y beneficios de estas experiencias. Dice que los profesores, los padres, los estudiantes, los directivos y los líderes de la opinión pública son quienes emiten los juicios

I

267

')

críticos más relevantes, :i su criterio es más o menos explícito, y afirma que el ev~~uador debe recopIlar y analizar sus juicios. Finalmente, sostiene que la solucIon de los pro,ble~as de la enseñanza deberá proceder, probablemente, de l~ gente que esta mas en contacto con ellos. Recomienda al evaluador que consIdere a. l~s profesores y otros educadores relacionados con el programa corno el prmcIpal grupo de clientes, que se centre -al menos en parteen la~ cosas qu~ n:ás les preocupan y que les demuestre que la evaluación está onentada ?~mcIpa1mente hacia el tratamiento de sus propósitos, se trate o no de una cntIca de su trabajo. ,Los escritos de, Stake también reflejan una epistemología relativista, que, segun ~r~err,r0s,esta e.n la base de todas sus sugerencias metodológicas. Todo ello. qUIza tiene su ongen en su estudio de graduación sobre la filosofía transaccIonal de Cantril, y él dice que los evaluadores son «buscadores de la verdad», ~ que algunos de ellos se tornan su papel demasiado en serio, puesto que eXIsten muy. pocas verdades objetivas en la evaluación, si es que existe alg~na. En cambIO, observa que existen «realidades múltiples», 10 cual quiere deCIr que la verdad, corno la belleza, reside en los ojos del observador. Como cons:cuencia, .re~omienda a los evaluadores que recopilen y presenten las perspectivas de dIstmtas personas y grupos. Les advierte que no crean que sólo lo~ resultados valorables p~~den hablar del valor de un programa; dice que eXIsten muy pocos datos cntIcos en un estudio y que los resultados deben ser valorados. a .veces, pe~o otras veces no. Destaca que los evaluadores pueden escog~r distmtos c~mmos para revelar la utilidad de un programa y añade que III los tests escntos ni otros datos concretos deben ser contemplados como absolutamente esenciales, aunque tampoco deben ser automáticamente excluidos. Cr:e que la ev~lu~c~ón interna es más útil que la externa y que las autoevalua.clOnes son mas utIles que las evaluaciones centralizadas. En conjunto reco:?Ienda a los evaluadores que utilicen cualquier técnica y fuente de infor: m~CI?n que les parezcan relevantes para describir la complejidad y la realidad multIple de un progr.ama y para comunicar esa complejidad, aunque el resultado sea dudoso y dIficulte la torna de decisiones. La metodología de Stake en 10 que se refiere a la recopilación y presentación de datos es pues e~ muchos aspectos, más divergente que convergente. ", En cuanto al papel del evaluador, Stake dice que una tarea fundamental en cualquier eva!uación es. determinar su propósito y los criterios que deben ser valorad~s,' DIce que eXIsten, por lo menos, siete propósitos legítimos para una evaluaclOn:

')

sistemática

evaluación, y muchos evaluadores consideraron seriamente y aplicaron sus ideas. Ayudó a desarrollar una nueva técnica (el informe a favor y en contra) y adaptó algunas ya existentes que no solían utilizarse en la evaluación (como el estudio de casos [1978] y el sociodrama) para ayudar a la gente a ensayar su método. Contribuyó sustancialmente al desarrollo de la evaluación naturalista y fue uno de los primeros en responder a la pregunta sobre qué consti. tuye una evidencia. Aunque también contribuyó sustancialmente a la conceptualización y operacionalización de la evaluación, consideraba que el planteamiento de cuestiones conceptuales era probablemente más importante (comu-

y el cliente

')

') ') ) ')

') ')

) )

) )

) ) )

) )

) ) ) ) ) ) )

) )

1. 2. 3. 4. 5.

Documentar los acontecImIentos. Informar del cambio del estudiante. Determinar la vitalidad institucional. Localizar la raíz de los problemas. Colaborar en la torna de decisiones administrativas.

) )

) ) /

)

f (

268

¡ Evaluación sistemática

( (

6. 7.

(

, (

{ ( ( (

( (

( ( ( (

Proponer una acción correctiva. Intensificar nuestra comprensión de la enseñanza y el aprendizaje, o combinaciones entre los propósitos anteriores.

Subraya que todos los propósitos no pueden ser satisfechos mediante una sola recopilación de datos y que sólo unas pocas cuestiones, en cualquier estudio, pueden ser objeto de la atención principal. Así, cada evaluador debe tomar su propia decisión sobre estos problemas, y ser, en este' aspecto, reduccionista y convergente. Stake recomienda a los evaluadores que no trabajen con nociones de éxito preconcebidas. En lugar de eso, les sugiere que, en primer lugar, presten mucha atención al hecho de «por qué ha sido encargada la evaluación», luego echen un vistazo a 10 que sucede en el programa y, finalmente, negocien y escojan las cuestiones de valor y los criterios. Más adelante comenta los requisitos de estas elecciones: 1. 2. 3.

Deben conducir al descubrimiento de las mejores y peores actividades del programa. Deben centrarse en 10 que más interese a la gente implicada. No deben preocuparse de realizar una lista de los objetivos ni de escoger los instrumentos de recopilación de datos.

( ( ( ( (

, (

(

( (

t (

, , (

t

(

En muchos aspectos, Stake transmite un mensaje sobre las responsabilidades sociales y éticas del evaluador. Parece aconsejar a los evaluadores que promueven la igualdad y la justicia en la educación, que ayuden a los menos poderosos, que se aprovechen de los poderosos y les prohíban abusar de su poder, que pongan en evidencia a los charlatanes, que acobarden a los confiados, que animen a los inseguros y que ayuden siempre a la gente a ver las cosas desde distintos puntos de vista. (Este plan parece inspirado en las Bienaventuranzas.) Stake recomienda tanto a los evaluadores como a los clientes que eviten la utilización burocrática, parasitaria o explotadora de las evaluaciones. Finalmente, recomienda que la evaluación formal sea llevada a cabo sólo cuando sea necesario, porque cree que muchas evaluaciones formales no resultan productivas y agotan en lugar de proporcionar energía, y porque piensa que la evaluación informal es una parte integrante del comportamiento personal e institucional y es capaz de informar y perfeccionar regularmente la evaluación formal. Quizás este último punto sea el que proporcione más información sobre la escéptica reacción de Stake ante las recientemente aparecidas Standards for Evaluations of Educational Programs, Projects, and Materials Ooint Committee, 1981). Reconoce que el plan contenido en este documento es, por 10 general, coherente con su punto de vista sobre la evaluación, según el cual ésta debe proporcionar un servicio útil a los clientes, debe emplear valora-


I

269

ciones múltiples, debe ejercer como censura, debe ser compatible con las condiciones del mundo real y puede emplear legítimamente distintos paradigmas y métodos. Por el contrario, expresa sus temores acerca de que la adopción de normas formales (procedimientos) por parte de los evaluadores pueda 1) tender a legitimar su servicio profesional en mayor medida que un informe de sus logros, 2) implicar un concepto normativo y convergente de la evaluación y, posiblemente, ahogar la creatividad en el desarrollo de la especialidad, 3) focalizar la atención sobre aspectos metodológicos relativamente triviales, mientras no hace ningún caso a los mayores despropósitos, y 4) pueda fomentar las malas prácticas no específicamente condenadas en las Normas. Por 10 visto, Stake cree que la evaluación formalizada es inevitable en el sistema social nor:teamericano, aunque su valor sea limitado y necesite ser perfeccionada. Aunque advierte a los educadores que sean muy cautos y selectivos a la hora de contratar servicios evaluativos, también ofrece a los evaluadores una amplia serie de ideas destinadas a ayudarlos a mejorar su servicio. Caracterizar el trabajo y la obra de alguien a 10 largo de una década o más, es una tarea atrevida y puede que imposible. Nosotros hemos recibido y respondido a un detallado texto del doctor Stake, respecto a un anterior borrador de esta unidad, y creemos que este artículo es un fiel, aunque ciertamente no muy amplio, resumen de cómo contempla él su propio trabajo. De cualquier manera, creemos que su valoración global de la anterior versión proporciona una advertencia útil para su examen y quizás una caracterización de su propio mensaje mejor que la nuestra. De ahí que terminemos con la valoración que ha hecho el doctor Stake del borrador previo de esta unidad: Han realizado ustedes un buen trabajo acerca de una difícil tarea: tratar de dar coherencia a lo que yo he dicho. He hecho algunos comentarios y he sugerido cambios (sin duda, muchas de las cosas que he dicho no debería haberlas dicho nunca). Como crítica general, quiero decir que sus esfuerzos por ser fieles al detalle disminuyen el sentido global que se refiere al aprovechamiento de la experiencia y de la evaluación informal ya en marcha, y que es lo que se supone que debe ser la evaluación respondente -en honor al contexto y al pluralismo-- no sólo como ideal, sino como una limitación para el evaluador que b~sca la «ilustr~ción». Ustedes han hecho uso de ella, pero la encuesta, por ejemplo, comumca al lector que los relojes y las redes son más importantes que acomodarse a la situación y a la historia local.

~ 270

I

¡

¡

) Evaluación

sistemática


Stake:

Respuestas

el método

evaluativo

y el cliente

I

271

1

¡

incorrectas

')

a) Es incorrecta porque Stake no obtuvo ninguna preparaClOn formal en Este test de conOCImIentos contiene 19 preguntas con muchas posibles respuestas, para que usted escoja una. El propósito de estas preguntas es ayudarle a determinar si ha alcanzado los objetivos de conocimiento de esta unidad. En cada caso, seleccione la que usted considere la mejor respuesta y luego compare su elección con la explicación que sigue sobre las respuestas correctas y las incorrectas. Cuando haya respondido ~odas las preguntas, se le dirá cómo calificar e interpretar (y, si es necesario, mejorar) su trabajo global. Entonces deberá realizar una serie de ejercicios prácticos.

PREGUNTA 1. ¿Cuál de las siguientes afirmaciones identifica con más exactitud los antecedentes que los autores creen que han influido en el penS2miento evaluativo de Robert Stake?

d)

e)

d)

Respuesta correcta. Debe usted haber seleccionado la «b». Dos de los mentores de Stake fueron Tom Hastings y Lee Cronbach, que habían estudiado con Tyler; Stake participó en CIRCE, en proyectos destinados a ayudar a que los proyectos de currículos satisficieran los requisitos evaluativos federales (en su mayor parte tylerianos por naturaleza) y la investigación de Tyler influyó en sus puntos de vista acerca de la valoración.

') ') ') ')

) PREGUNTA2. ¿Por qué recomienda Stake a los evaluadores que «pidan a los. especialistas e~ valoración que desarrollen una metodología que refleje la totahdad, la complepdad y la importancia de los programas»?

')

Dice, en efecto, que los especialistas en medición han desarrollado una tecnología basada en tests estandarizados que ofrecen una perspectiva sobre las diferencias entre los estudiantes, pero han ignorado muchas de las variables importantes para la descripción de programas educativos. Dice que los especialistas en medición se han dedicado muy poco a pronosticar la- validez. Dice que los tests estandarizados son totalmente inadecuados para satisfacer los requisitos informativos de la evaluación de un programa y deben ser reemplazados por un método naturalista que emplee técnicas como e~ estudio de casos concretos, la observación y los procedimientos judiCIales. Destaca, ~ue el campo de la psicometría ofrece, potencialmente, la mejor base teonca para desarrollar una metodología evaluativa.

)

a)

a) Su tesis doctoral fue sobre antropología

b)

cultural, asumió el punto de vista de Scriven acerca de que la evaluación supone juicio y comprobó direw\mente algunas de las dificultades que supone la aplicación del modelo Tyler para la evaluación de modelos federales. Dos de los estudiantes de Tyler están entre los mentores de Stake. Tuvo su primera experiencia en la evaluación de proyectos federales a través de su trabajo en el Center for Instructional Research and Curriculum Evaluation (CIRCE), y la investigación de Hastings le reveló dudas acer' ca de la utilidad de los tests regularizados. Suscribió la preferencia de Cronbach por las evaluaciones comparativas, siguió la sugerencia de Tyler acerca de que los evaluadores deben comparar los resultados deseados con los observados y suscribió la concepción de Scriven acerca de que los evaluadores deben describir y no juzgar. Se formó con estadísticas y valoraciones, estudió Derecho y Filosofía Social con Robert Wol£ y fue influido por Tom Hastings.

e)

')

antropología cultural, aunque actualmente está muy interesado en los estudios de casos etnográficos. Su tesis doctoral versó sobre psicometría. Es incorrecta porque Cronbach no recomendaba la utilización de evaluaciones comparativas y porque Scriven insistía en que un evaluador debe juzgar. Es incorrecta porque Stake fue el director de la tesis doctoral de Bob W 01£ y no al revés.

b) e)

d)

) )

) ) ) )

) ) ) ) )

Respuesta correcta. Debe usted haber seleccionado la «a». Stake afirma que el método de los tests, que incluye tanto tests basados en normas como tests basados en criterios, es demasiado limitado como para servir de base adecuada para la descripción y el juicio de un programa.

)

) )

Respuestas

b) e)

incorrectas

Es incorrect~ ~orque, muy al. ~ontrario, Stake dice que la preocupación de los especlahstas en valoraclOn por la exactitud de las calificaciones de cad~ estudiante y la predicción de la validez es un recurso muy dudoso. Es. ~ncorrecta porque Stake recomendaba una amplia metodología (para ~tlhz~rla en la descripción y el juicio-de programas) que a menudo podía tnclulr los tests regularizados.

) .'

) ) )

) )

)

.~--f f f (

I

272

posibles áreas para el desarrollo de la metodología. ~valuativa ~e un programa, Stake urge a los evaluadores para que utihcen, otras areas ta~bién, como la historia, la crítica de arte y la etnografla, cuyo lenguaje y conceptos resultan más familiares a los clientes.

( (

( PREGUNTA

3.

El principal propósito del método de la figura es ayudar

a los evaluadores que intentan

( (

a) decidir qué cosas convertir en datos, b) establecer los objetivos de comportamiento,

(

e)

(

d)

esbozar los procedimientos para identificar, recopilar y analizar las descripciones y juicios más relevantes, encontrar la proporción entre el coste y los beneficios.

( ( ( ( ( (

Respuesta correcta. Debe usted haber seleccionado la «a». Stake subraya que el propósito del texto Countenance es describir la serie de .datos que pueden ser recopilados en una evaluación (mientras que el propÓSito de su texto respondente es proporcionar una guía para obtener esos datos).

b) Es incorrecta porque Stake dice que esta práctica --que

( (

, ,

e)

d)

dimientos.

(

(

PREGUNTA 4. ¿Cuál de las siguientes afirmaciones es coherente con la reacción de Stake ante la conceptualización evaluativa de Tyler, tal como queda reflejado en el texto Countenance?

(

( (

(

a)

b) e)

( ( (

ha sido recomendada por Tyleres demasiado limitada. Incorrecta. Describe bien el propósito del texto respondente. Es incorrecta porque el texto Cauntenanee es mucho más amplio en su concepción de los datos más importantes y porque no explica los proce-

d)

Está de acuerdo con la deducción de Tyler acerca de que los evaluadores no deben juzgar las metas propuestas. Comparte el desinterés de Tyler por las aspiraciones de estudiantes y padres. Está de acuerdo con la concepción de Tyler según la cual los evaluadores deben valorar si las metas han sido alcanzadas, pero también realizar una amplia búsqueda de otros tipos de datos sobre los resultados. No se adhiere a la recomendación de Tyler acerca de que los objetivos

I

273

Respuesta correcta. Debe usted haber seleccionado la «e». La preVlSlon que hace Stake en su texto Countenance para valorar la congruencia entre los resultados deseados y los obtenidos es coherente con la concepción de Tyler acerca de que la evaluación supone determinar si los objetivos han sido alcanzados; a pesar de todo, Stake pide una investigación más amplia que incluya la observación de los antecedentes previstos y los no previstos, de las transacciones y los resultados. Respuestas a) b) d)


(

el método evaluativo y el cliente

deben ser expresados en el lenguaje de la audiencia y pueden ser presectados, aceptablemente, tanto como objetivos expresivos como de compo.tamiento.

d) Es incorrecta porque, aunque no rechaza la psicometría como una de las

(

(

Stake:


incorrectas

Es incorrecta porque Stake asume el juicio de las metas recomendado por Scriven y otros. Es incorrecta porque tanto Stake como Tyler ahogan por el interés eva'luativo por las aspiraciones de estudiantes y padres. Es incorrecta porque las recomendaciones de Tyler son contrarias a la utilización de los objetivos expresivos, y también porque Tyler piensa que los objetivos de este estilo pueden proporcionar guías útiles y aceptables para la recopilación de información evaluativa.

PREGUNTA 5. Cuando los planes indican que el cuarenta por ciento del tiempo de clase debe ser utilizado en la discusión y sólo se utiliza de esta manera el veinticinco por ciento, usted debe, de acuerdo con el texto Cauntenance

a)

b) e) d)

provocar más debate, cambiar los planes, recopilar datos acerca de los juicios aparecidos en la discusión, comparar la discusión con los resultados.

Respuesta correcta. Debe usted haber seleccionado la «e». Stake subraya que la evaluación supone esencialmente una descripción completa de una situación que incluye tanto información sobre los juicios como descriptiva. Respuestas a)

b)

incorrectas

Es incorrecta porque Stake rechaza el concepto según el cual deben aceptarse los propósitos sin discusión. Es incorrecta porque ni Stake ni ningún otro autor evaluativo han emi-

-~-===~-) )

274

I

Evaluación

Stake:

sistemática

el método

evaluativo

y el cliente

I

J 275

")

tido la ridícula sugerencia de que los planes deban siempre adaptarse a 7. ¿Qué aspecto del texto Countenance ha intervenido cuando un evaluador valora hasta qué punto el programa del servicio ha sido la causa aparente de la mejora de la actitud observada en los estudiantes hacia los más desaventajados? PREGUNTA

10 observado. d)

No es la mejor respuesta, puesto que aunque Stake sugiere que las «contingencias empíricas» entre las transacciones y los resultados observados deben, a menudo, ser examinadas, los datos necesarios sobre los resultados tardan más tiempo en obtenerse que los datos sobre los juicios, accesibles de inmediato, y también porque, por lo general, cree que sus sugerencias sobre el análisis de la contingencia no están demasiado bien elaborados.

6. ¿Cuál de las siguientes preguntas ilustra mejor el análisis de la congruencia entre los antecedentes supuestos y los reales? PREGUNTA

a)

b) c)

d)

¿Qué porcentaje de estudiantes alcanza satisfactoriamente al menos el setenta y cinco por ciento de los objetivos del curso antes de empezar el curso y después de haberlo acabado? ¿Qué porcentaje de profesores se estima que realizarán el plan del proyecto? ¿Hasta qué punto son coherentes las razones de los estudiantes para entrar en el programa con las necesidades e intereses que el personal del programa esperaba de los estudiantes? ¿Hasta qué punto dedican los estudiantes al programa la cantidad de tiempo que se les pide?

Respuesta correcta. Debe usted haber seleccionado la «c». Se refiere a si los antecedentes observados (las razones de los estudiantes para entrar en el programa) son congruentes con los antecedentes supuestos (las expectativas de los profesores acerca de las necesidades e intereses de los estudiantes al entrar en el programa). Respuestas incorrectas a) b)

d)

Es incorrecta porque esta alternativa pide una comparaCIOn pre-test y post-test (una comparación entre los antecedentes y los resultados). Es incorrecta porque esta opción pide una comprobación de la congruencia entre las transacciones supuestas y las observadas (aunque los antecedentes pueden también formar parte del plan). Es incorrecta porque esta opción también pide una comprobación de la congruencia entre las transacciones supuestas y las reales.

)

a) b) c) d)

El La El El

análisis de la congruencia. investigación de la base lógica del programa. análisis de las normas absolutas. análisis de las contingencias empíricas.

, ~~spuesta correcta. Debe usted haber seleccionado la «d». Según Stake, el anallSls de las contingencias empíricas supone la identificación de correlaciones entre grupos de observaciones (entre transacciones y resultados observados o entre antecedent~s y transacciones observados) y la valoración de hasta qué punto las correlacIOnes pueden ser justificadas como causales. En esta pregunta, el eval~ador ha observado ciertas transacciones (las operaciones del programa).y CIertos resultados (valoraciones de las actitudes de los estudiantes) y ha mtentado determinar si las últimas han sido causadas por las primeras.

) ')

') ') ')

) ) ')

) ) ) ) )


)

a)

)

b)

c)

Es incor~e~ta porque el análisis de la congruencia supone comparar ciertas con~I~IOnes supuestas con una condición observada, y las dos series de condICIOnes de este ejemplo son observadas. Es incorrecta p~rque la investi?ación de la base lógica de un programa no cont~mpla nI !as congruencIas entre las condiciones supuestas y las reales, nI las. contIn~encias ,entre.l?,s antecedentes, las transacciones y los re~ultados, SInO que filosofIa, mISIon y/o principios básicos son los que gUIan el programa. Es incorrecta porque la referencia a las normas absolutas (convicciones pers~nales acerca de lo que es bueno y deseable en un programa) no está relaCIOnada con la búsqueda de correlaciones y relaciones causales.

) )

) ) ) ) ) )

8:

E~ una información de prensa, el doctor Howard Benjamm, secretarIO e¡ecutlv?de la National Schoolmasters Association, dijo: «Los rofesores no deben utIlIzar materiales didácticos que resulten ofensivos para os padres.» En el texto Countenance este comentario está tratado como . PREGUNT~

a) b)

un rumor, una norma,

I

)

) I )

') (

)

(

)

{)

(

(

276

I

e) d)

un dogma de fe, una base lógica.

Evaluación

Stake:

sistemática

el método

evaluativo

y el cliente

I

277

{ ( ( (

{ {

b)

Respuesta correcta. Debe usted haber seleccionado la «b». Este es un ejemplo de lo que Stake llama una norma absoluta (una convicción personal acerca de lo que es bueno y deseable en un programa).

d)

a)

( (

e)

( (

d)

(

Es incorrecta porque el rumor es una SupOSlClOn,un relato de segunda o tercera mano o simplemente un chisme, pero nunca una convicción acerca de lo que es bueno. Es incorrecto porque lo que cree una persona acerca de lo que es justo, sin tener en cuenta su posición social, no es, en modo alguno, algo parecido a un mandato divino. Es incorrecta porque esta afirmación se presenta como la creencia de una persona (de ahí que se trate de una norma absoluta), no como una afirmación procedente de los antecedentes filosóficos y el propósito general de un programa.

( ( (

PREGUNTA 9. ¿Cuál de las siguientes afirmaciones refleja mejor la postura de Stake respecto al papel del juicio en una evaluación?

( (

a)

(

b)

(

,

e)

(

f 4

, ,

d)

Un programa no estará satisfactoriamente evaluado hasta que haya sido totalmente descrito y juzgado. La principal prueba del profesionalismo de un evaluador es su capacidad y buena voluntad para presentar un juicio final acerca de un programa. Los evaluadores están especialmente cualificados para recopilar, analizar y comunicar información descriptiva, pero no demasiado para proporcionar información acerca de juicios respecto al mérito y valor de una amplia serie de programas relativos a la educación. Los miembros de la audiencia de una evaluación no están cualificados para juzgar el programa que se está investigando porque, invariablemente, sus juicios se decantan hacia sus intereses creados.

<

(

t

(

t (

e)


f {


Respuesta correcta. Debe usted haber seleccionado la «a». Stake adopta la posición de Scriven acerca de que una evaluación no tiene lugar hasta que se produce un juicio. Sin embargo, mientras Scriven dice que el evaluador debe presentar su propio juicio, Stake recomienda al evaluador que recopile, analice y presente los juicios de un amplio grupo de referencia interesado en el programa.

Es incorrecta porque Stake piensa que el evaluador, más que caracterizar sus propios juicios, debe recopilar, procesar y destacar los juicios de otras personas. Es incorrecta porque Stake afirma que los evaluadores deben tener cualificaciones especiales para recopilar y procesar tanto los juicios como la información descriptiva. Es incorrecta porque Stake destaca que la mejor fuente de conocimiento acerca de un programa es, a menudo, el grupo más implicado en él, y recomienda específicamente al evaluador que recoja y analice sus juicios.

PREGUNTA 10. Un profesor informa que todos los estudiantes han escrito unas redacciones excelentes sobre «La contaminación del aire». De acuerdo con el texto Countenanee estos juicios del profesor

a) b) e) d)

deben ser ignorados, deben ser sustituidos por tests regularizados, son datos valiosos, se denominan transacciones.

Respuesta correcta. Debe usted haber seleccionado la «e». Stake recomienda firmemente a los evaluadores que utilicen juicios recogidos de una amplia gama de personas que conozcan, de distintas maneras, el objeto que se está estudiando. A menudo, estos juicios reflejan intuiciones que no pueden obtenerse sólo con datos descriptivos. Respuestas incorrectas a)

b)

d)

Es incorrecta porque Stake recomienda a los evaluadores que recopilen y analicen juicios de una amplia gama de partes interesadas. Es incorrecta porque Stake recomienda firmemente la utilización de los datos descriptivos y procedentes de juicios, y porque critica duramente la excesiva confianza de los programas evaluativos en los tests regularizados. Es incorrecta porque las transacciones se refieren a las actividades que se desarrollan en un programa y porque este punto significa mucho más: el juicio-de un resultado de una actividad escrita.

PREGUNTA 11. ¿Cuál de las siguientes afirmaciones es más coherente con las presuposiciones que esboza Stake en torno a la evaluación res pon. dente?

)

) 278 a)

b) c) d)

I

) Evaluación

sistemática

Por lo general, las evaluaciones responden tes están destinadas a los profesores en general, puesto que son los únicos que pueden llevar a cabo los programas que adopten sus sistemas escolares. Por lo general, las evaluaciones responden tes se inician cuando los programas que deben ser estudiados están ya en uso. Las evaluaciones respondentes están concebidas para ser autoevaluaciones, y esto, por lo general, no es necesario para un «evaluador». La evaluación respondente es una denominación que sólo caracteriza las actividades evaluativas formales y externas.

Respuesta correcta. Debe usted haber seleccionado la «b». Stake dice, en efecto, que el punto de entrada del evaluador respondente ocurre, por lo general, cuando el programa ya ha empezado. Curiosamente, esta presuposición es coherente con la noción del texto Countenance según la cual el evaluador debe atender a las transacciones, adelantarse a los resultados y remontarse a los antecedentes.

8take:

c)

d)

Es incorrecta porque, por el contrario, Stake dice que la evaluación respondente sirve a clientes específicos, generalmente a la gente responsable de llevar a cabo el programa. Es incorrecta porque Stake centra su comentario de la evaluación respondente en las personas que han sido encargadas, formal o informalmente, de evaluar un programa. Es incorrecta porque, aunque el comentario de Stake sobre la evaluación respondente supone que la evaluación de un programa ha sido encargada, intenta principalmente caracterizar y proporcionar ciertas directrices para formalizar acontecimientos normales de una autoevaluación informal. Igualmente dice, en su texto Countenance, que la figura completa de la evaluación abarca tanto las actividades informales como las formales.

PREGUNTA12. a)

b) c)

d)

La evaluación responden te

sacrifica cierta precisión valorativa para intentar intensificar la utilidad de los resultados, rechaza la tecnología de los tests regularizados a causa de su limitado alcance, confía insistentemente en la utilización de tests publicados a causa de su validez establecida y de la necesidad de responder rápidamente a los nuevos requisitos informativos, utiliza principios de valoración para desarrollar los necesarios planes de

evaluativo

y el cliente

I

279

")

recopilación de datos, pero rechaza la utilización de los tests ya existentes, de las guías para entrevistas y de las normas de observación porque los instrumentos ya existentes no suelen reflejar los requisitos informativos especiales de los clientes específicos.

J ") ')

) Respuesta correcta. Debe usted haber seleccionado la «a». Stake identifica ese intercambio como una de las principales distinciones entre la evaluación preordenada y la evaluación respondente.

J


)

')

) b)

c)


el método

d)

Es incorrecta porque aunque Stake describe los tests regularizados como una actividad de alcance limitado, los incluye entre una amplia serie de otras técnicas, en el repertorio del evaluador responden te. Es incorrecta porque Stake aconseja a los evaluadores que utilicen múltiples técnicas de recopilación de datos y fuentes de información como medios de obtener una información válida; de ningún modo quiere decir con esto que la evaluación respondente sea fuertemente dependiente de la utilización de instrumentos publicados. Es incorrecta porque Stake afirma que el evaluador debe utilizar cualquier cosa que sea relevante.

')

) ) ) ) )

) )"

PREGUNTA13. ¿ Cuál de las siguientes afirmaciones no supone una base para distinguir la evaluación preordenada de la evaluación respondente?

) )

a)

b) c)

d)

La primera cree que las planificaciones son estáticas, mientras la segunda cree que son dinámicas. La primera es más subjetiva que la segunda. La primera pide que se informe al cliente a intervalos discretos, mientras que la segunda proporciona información más o menos continuamente. L~ primera se interesa sobre todo por las perspectivas de valor simples, mientras que la segunda supone perspectivas de valor pluralistas.

) ) )

) ) )

Respuesta correcta. Debe usted haber seleccionado la «b». Stake caracteriza la evaluación preordenada como algo limitado a la utilización de técnicas rigurosas a causa de su interés fundamental por la objetividad, mientras que los evaluadores respondentes utilizan algunos de los puntos de vista subjetivos de los participantes.

)

) )

) ) ) )

, (

f ( ( (

(

280 I

a) e)

( d)

Esta es una de las diferencias esenciales mencionada.s por Stake. Es ta es también verdadera, porque las evaluaciones preordenadas, por 10 general, proporcionan información sólo al final del estudio, mientras que los evaluadores responden tes están en continuo contacto con sus clientes y audiencias. Esta es otra de las distinciones esenciales mencionadas por Stake.

(

PREGUNTA 14. ¿Cuál de las siguientes afirmaciones no coincide con el cálculo de Stake acerca de cómo reparten su tiempo los evaluadores preordenados y los respondentes?

(

a)

(

b)

(

( (

e)

d)

( ( ( ( ( (

PREGUNTA 15. ¿Cuál de las siguientes afirmaciones no es coherente con el consejo que da Stake a los evaluadores sobre cómo decidir los propósitos a los que deben dedicarse, las cuestiones que deben resolver y los datos que 'deben obtener?

a)

b)

( (

Invierten el mismo porcentaje de tiempo identificando problemas y metas. El evaluador preordenado concentra sus esfuerzos en la observación del programa, la administración de tests, el aprendizaje de las necesidades de sus clientes y la preparación de informes informales. El evaluador responden te dedica la mayoría de su tiempo a observar el programa, recoger información subjetiva y elaborar informes. La diferencia principal es que el evaluador preordenado pasa mucho más tiempo preparando instrumentos que el evaluador respondente.

Respuesta correcta. Debe usted haber seleccionado la «b». Stake calcula que el evaluador preordenado puede dedicar, por 10 general, sólo el quince por ciento de su tiempo a todas estas tareas combinadas. La mayoría del tiempo de los evaluadores respondentes, por 10 general, debe dedicarse a actividades asociadas con la obtención, análisis y presentación de datos formales.

e) d)

Respuestas a)


( (

e)

( ( (

( (

(

4

d)

Esto coincide con el cálculo de Stake porque él estima que ambos pueden invertir el diez por ciento de su tiempo en la identificación de problemas y metas. Esto coincide con el punto de vista de Stake porque él estima que el evaluador respondente puede dedicar el sesenta y cinco por ciento de su tiempo a estas actividades. Esto está de acuerdo con el análisis de Stake porque éste calcula que el evaluador preordenado puede dedicar el treinta por ciento de su tiempo a preparar instrumentos, mientras que el evaluador respondente puede dedicar a esta actividad el quince por ciento.

El evaluador debe escoger las cuestiones y criterios de valor sólo después de haber averiguado por qué ha sido encargada la evaluación y de haber descubierto 10 que ocurre en el programa. El evaluador debe centrarse en cuestiones y criterios que le conduzcan a descubrir 10 mejor y 10 peor de las actividades del programa y en las cosas que más interesan a la gente implicada. El evaluador no debe limitar el alcance de su estudio, sino plantearse toda la gama de propuestas y cuestiones que interesan a la audiencia. El evaluador debe considerar que existe una variedad de propósitos que pueden satisfacerse en una evaluación, pero, en cualquier estudio concreto, debe limitar su atención a uno o algunos de los propósitos de interés para la audiencia.

Respuesta correcta. Debe usted haber seleccionado la «e». Stake observa que no todos los propósitos potencialmente relevantes de una evaluación pueden satisfacerse con una sola recopilación de datos, que sólo unas pocas de estas cuestiones potencialmente interesantes pueden obtener la atención principal de cualquier estudio y que el evaluador, por 10 tanto, debe ser selectivo al especificar propósitos y cuestiones.

(

(

I 281


( (



b)

d)

incorrectas

En esencia, éste es el plan que Stake facilita a los evaluadores respecto a cómo deben escoger los propósitos, las cuestiones y los criterios que deben utilizarse en un estudio concreto. Estos son los criterios ofrecidos por Stake para valorar las cuestiones y criterios alternativos que un evaluador puede escoger como directrices de un estudio concreto. Aunque Stake aconseja a los evaluadores que busquen y solucionen problemas continuamente durante el curso del estudio, también les recomienda que pongan límites realistas a los propósitos que debe satisfacer cualquier estudio concreto.

PREGUNTA 16. ¿Cuál de las siguientes afirmaciones no es coherente con la caracterización que hace el autor de las concepciones de Stake respecto a las responsabilidades sociales y éticas del evaluador?

) '

..

)

'

)

-1':' 282

I

Evaluación

Stake:

sistemática

a) Los evaluadores deben ser muy sensibles a las cuestiones de igualdad y b) e)

d)

justicia en la educación. Los evaluadores deben adoptar y seguir las normas formales de la práctica evaluativa más solvente. El evaluador debe atender y describir las múltiples perspectivas de valor de las personas y grupos que están implicados e interesados en el programa que se está estudiando. Los evaluadores deben ayudar a sus clientes a evitar una evaluación formal.

1

b)

e)

el método

evaluativo

y el cliente

I

283

generalmente admitido es la calidad. Cree que los principales objetivos de la educación son el servicio y la adquisición del respeto y la integridad personal. Es incorrecta porque Stake dice que esta postura incluye la dudosa presuposición de que un programa que sea juzgado el mejor resultará ser el mejor para todo el mundo. En oposición a esta postura, Stake recomienda un método p1uralista para la evaluación. Es incorrecta porque Stake dice que no siempre es mejor evaluar un programa basándose en su valor instrumental; quiere decir que en algunos casos puede ser más apropiado atender a su valor intrínseco.

Respuesta correcta. Debe usted haber seleccionado la. ;
a) Stake considera que ésta es una de las responsabilidades e)

d)

sociales del

evaluador. Los escritos de Stake reflejan intensamente una filosofía pluralista. Esta afirmación es coherente con la recomendación de Stake acerca de que las evaluaciones formales deben ser llevadas a cabo sólo cuando se puede justificar claramente su coste y las molestias que representan.

17. ¿Cuál de las siguientes afirmaciones es más coherente con la caracterización que hace el autor de la filosofía educativa de Stake? PREGUNTA

., ')

')

') ') ') ') ')

PREGUNTA


')

a)

b) e)

d)

El evaluador debe esforzarse para que sus mensajes resulten explícitos para sus distintas audiencias. La evaluación puede y debe ser un proceso muy sencillo, realizado paso a paso. El evaluador debe emplear métodos subjetivos para recopilar, analizar y presentar la información, y debe evitar la utilización de técnicas limitadas, artificiales y presuntamente objetivas, como los tests regularizados y las escalas de valor. Los propósitos de las audiencias deben tenerse muy en cuenta a la hora de decidir cuántas cosas y de qué forma hay que comunicar.

')

) )

) ) ) ) ) ) )

a) b) e) d)

El propósito de la educación, por lo general, es transmitir la cultura y ayudar a conservar la identidad nacion~l. . . ., Los intereses locales deben ser determmados y limltados por el mteres común. La educación debe ser siempre considerada como un medio para conseguir algún fin práctico. . Los .prob1emas de la enseñanza serán mejor resueltos por la gente dlrectamente implicada en ellos.

Respuesta correcta. Debe usted haber seleccionado la «d». Stake dice que estas personas ejercen los juicios más críticos, son las únicas dispuesta~ a solucionar los problemas de la enseñanza y, por 10 tanto, deben ser conslderadas por los evaluadores como sus clientes principales. Respuestas a) 1

i'

incorrectas

Es incorrecta porque Stake dice que el propósito

de la educación más

Respuesta correcta. Debe usted haber seleccionado la «d». Stake dice que los propósitos de las audiencias son «10 más importante» para las decisiones del evaluador.

) ) )


) a)

b)

e)

Es incorrecta porque, por el contrario, Stake dice que la explicitud no es necesaria para indicar el valor y que, en muchas de las evaluaciones preordenadas, aumenta el peligro de error. Es incorrecta porque Stake dice que la evaluación no es un proceso lineal y advierte a los lectores que no sigan esta evaluación reloj en el sentido de las agujas del reloj. Es incorrecta porque Stake recomienda la utilización de cualquier técnica que pueda ser relevante en una situación dada; también recuerda al evaluador que debe descubrir y seguir los que su audiencia considere modos legítimos de recopilación de datos.

)

) )

) .)

) )

) )

, (

( (( ( (

284

a)

( b)

(

( (

c)

{ (

d)

(

El evaluador debe recopilar y presentar múltiples opiniones acerca de lo que es un programa y de lo que está consiguiendo, para que la audiencia pueda comprobar si sus concepciones son falsas y enfrentarse a la realidad objetiva del programa. El mérito de un programa viene determinado por sus resultados (buenos y malos). Si existen, deben ser valorados. Pero el evaluador fracasará, seguramente, en el descubrimiento y valoración de los resultados si primero no ha obtenido una gran cantidad de información subjetiva. La evaluación supone la búsqueda de la verdad, y los evaluadores deben tomarse este aspecto de su trabajo mucho más en serio de lo que lo hacen. En general, los evaluadores deben pretender ayudar a sus audiencias a observar una amplia serie de preguntas y posibles respuestas relativas a un programa, y no ayudarles a desarrollar un juicio acerca del programa.

( ( (

( (

(

Respuesta correcta_ Debe usted haber seleccionado la «d». Stake dice que

b)

( (

, (

c)

Es incorrecta porque Stake dice que existen realidades múltiples, no una sola realidad objetiva. Es incorrecta porque recomienda a los evaluadores que no crean que sólo los resultados valorables hablan acerca del valor de un programa. Les aconseja que recopilen cualquier cosa que pueda ayudar a la gente a comprender el programa, incluyendo sus juicios subjetivos. Es incorrecta porque Stake dice que muchos evaluadores se toman su papel de «buscadores de la verdad» demasiado en serio. Les recomienda que busquen «verdades múltiples» acerca de un programa, ayudando así a cada lector a descubrir su propia comprensión del programa.

( ( (

\ \

, \

INTERPRETACIÓNDEL TEST DE CONOCIMIENTOS.Cuando haya realizado el test, cuente el número de respuestas correctas e incorrectas. Idealmente, debe usted haberlas acertado todas. Respecto a cada una de las que haya errado, le recomendamos que vuelva a leer la pregunta, y luego revise el texto para mejorar su comprensión de los correspondientes conceptos.

285

Este apartado contiene cuestiones prácticas destinadas a ayudarle a valorar si ha comprendido la estructura sustancial de la evaluación respondente y las etapas de la evaluación reloj. EJERCICIO 1. Defina y ejemplifique cada uno de los elementos principales de la estructura sustancial de la evaluación respondente.

La respuesta al e;ercicio 1 debe ser aproximadamente como sigue: Ejemplificaciones

Elementos 1. Organizadores previos: los problemas son los más útiles puesto que reflejan la complejidad, la urgencia y la valoración.

Conducir a los estudiantes hacia otras formas de in tegración_ Tratamiento de la evolución y creación de los libros de texto científicos en las escuelas.

2. Estructura de la figura.

Utilizarla como guía para recopilar datos ampliamente descriptivos y críticos acerca del programa de un distrito escolar para la integración de los estudiantes.

3. Observadores humanos.

Conseguir que un «investigador residente» realice el estudio de un caso concreto sobre la enseñanza de las ciencias en una escuela durante un período de seis meses.

4. Validación: asegurar mación obtenida es cantidad y refleja la múltiples fuentes de

Comprobar si se ha obtenido información acerca de los más importantes propósitos, cuestiones y problemas seleccionados para el estudio. Comprobar hasta qué punto la información obtenida cubre todos los aspectos de la estructura de la figura. Comprobar si cada cuestión se planteó mediante varios datos.


I


existen «múltiples realidades» y que el evaluador debe ayudar a sus audiencias a comprobar la complejidad de un programa y las múltiples interpretaciones de su valor.

( (



PREGUNTA19. ¿Cuál de las siguientes afirmaciones es más coherente con la caracterización que hace el autor de la orientación epistemológica de Stake?

( (

I

que la inforsuficiente en utilización de datos.

)

') ') 286

8take: el método evaluativo

Evaluación sistemática EJERCICIO

2. .Describa y ejemplifique cada una de las tareas de la evalua-

Tarea

dos más compartidos y característicos; sintetizar la información en una lista de problemas que pueden ser estudiados; definir cada problema con la mayor claridad posible; y dejar al cliente y a los representantes de otras audiencias que valoren la importancia de los problemas definidos, para luego interpretarlos.

ción reloj.

La respuesta al ejercicio 2 debe ser aproximadamente Tarea 1. Identificar el alcance del programa.

2. Panorama del programa.

3. Descubrir los propósitos e intereses.

4. Conceptualización de problemas y cuestiones.

Elaboración

como sigue: Ejemplificación

Determinar las limitaciones definiendo los límites geográficos, la población que debe ser estudiada, el tiempo disponible, el área de contenidos, las principales localizaciones, etcétera.

El evaluador y el cliente están de acuerdo en que la evaluación debe considerar el «Arts Impact Program» de la Cranbrook School, desde sus principios en 1966 hasta el momento actual.

Explorar el programa para desarrollar una idea general de sus principales características.

Examinar el presupuesto del.' programa; revisar los recortes de prensa; hablar algunos de los profesores," estudiantes, personal especia- . lizado, padres y administradores que han intervenido; observar las actividades del programa; y examinar algunos de los trabajos de los estudiantes.

Propósitos : distintas razones por las que se desea la evaluación; intereses: preocupaciones acerca oel programa.

Identificar las perspectivas más importantes; .examinar las preocupaciones y esperanzas expresadas por cada grupo; enumerar las dudas, esperanzas, miedos y desacuer-

Preguntar a diversas nas si piensan que puede perderse algo dando fin ahora a la y si así, identificar los potenciales de la del estudio; y, más aún, que emitan su juicio acerca de estos beneficios pueden pensar el probable coste. Pedir igualmente a estas personas que identifiquen quier interés especial que puedan tener acerca del pro- :'. grama. Escuchar. En la evaluación del presupuesto de una universidad,,, el evaluador identifica muo"~ chos puntos de vista impor~ tantes: la administración' central, los decanos, el sin-{

Elaboración

5. Identificación de los datos necesarios para la identificación de los problemas.

Los resultados más sencillos de los requisitos informativos asociados con la investigación de los problemas previamente identificados.

y el cliente

287

Ejem plificación dicato de profesores, el consejo de estudiantes, la junta de administradores, los catedráticos, el personal relacionado con los servicios de enseñanza, el departamen to de investigación educativa, el departamento de becas, el departamento de contabilidad, los estudiantes en general, la junta estatal de educación, la oficina del gobernador, la legislación del estado y los auditores federales. Se entrevista con representantes de cada grupo, toma nota de su valoración del presupuesto, consigue y estudia los documentos pertinentes, hace una lista de problemas y consulta con personas interesadas en cada problema para que lo ayuden a describirlo. Luego reúne un grupo asesor, representativo de los distintos puntos de vista, para que aborden los problemas y lo ayuden a decidir cuáles deben recibir más atención. Habiendo asignado un orden de prioridad a los problemas tal corno sigue: 1) eficiencia de la estructura actual del departamento; 2) obstáculos para reducir o eliminar las inversiones en programas improductivos; 3) fiabilidad y validez de las fórmulas utilizadas para pronosticar los ingresos y los gastos; 4) regularidad de los incrementos del precio de la matrícula, y 5) lo razonable del incremento de salarios proyectado, el evaluador enumera las preguntas, las fuentes de información y las técnicas de recopilación de datos que pueden resultar adecuadas

:) ) ') ') ') ') .) ) ) ) ) ,) ) .) ) .)

~.). ) ~

:J ,)

J J .J ',J

'J

.:J

~.) ) .) .)

( ( (

288

I

Evaluación sistemática Tarea

Stake: el método evaluativo Elaboración

( ( ( (

( { (

6. Seleccionar observadores, jueces e instrumentos, si los hay.

Basándose en los datos necesarios identificados, el evaluador debe desarrollar yI o seleccionar los instrumentos, los observadores y los jueces que sean necesarios.

El evaluador puede seleccio, nar especialistas que le ayu_ den a realizar los estudios de casos concretos, a crear v aplicar los instrumentos d~ investigación y a organizar audiciones.

7. Observar los antecedentes, las transacciones y los resultados propuestos.

Aquí el evaluador debe utilizar el rexto Countenance para sistematizar y probablemente ampliar sus actividades de recopilación de datos.

El evaluador puede analizar su plan de recopilación de datos comparándolo con los requisitos del texto Countenance tanto para identificar los huecos (p.ej., que no se haya previsto el estudio de la base lógica del programa) como para planificar los análisis de contingencias y congruencias.

( ( ( ( ~ (

Ejemplificación para la investigación de cada problema. Entonces se reúne con U? grupo asesor, repre_ sentatIvo de todas las a diencias, para examinar u.,. y qUlza meJorar este primer plan de recopilación de datos.

( ( ( ( (

(

8. Desarrollar los temas, preparar descripciones y estudios de casos concretos.

Puede desarrollar breves panoramas del programa, presentaciones del producto, videos, etcétera.

Habiendo estudiado el sistema utilizado por el distrito escolar para «seguir la pista de los estudiantes», el grupo evaluativo prepara un video destinado a investigar los resultados y el debate provocado.

9. Validación: confirmar los intentos de rechazo.

Realizar diversos tests sobre la calidad de la información obtenida, y dejar que distintas personas examinen y juzguen los procedimientos y los datos. Triangular. Dejar que las críticas de los colegas abran grietas en la interpretación.

Habiendo estudiado el «Programa Estival para el perfeccionamiento de los estudios» el evaluador encarga a las partes independientes que utilicen los resultados para 1) atacar el programa y 2) apoyarlo. Encarga a una tercera parte que «me. taevalúe» el estudio completo. Los informes correspondientes a estas tres acti-

(

e e

•

f

, (

~

,, ~

(

Tarea

Elaboración

y el cliente

289

Ejemplificación vidades pueden ayudar a las audiencias a interpretar los resultados de la evaluación.

10. Esquemas para uso de la audiencia.

Preparar comunicaciones especiales que saquen el máximo provecho de la información disponible, con el fin de responder directa y distintamente a las diferentes audiencias.

En un estudio de tres años del programa educativo de los profesores de una universidad, disrintos miembros del grupo evaluativo han sido encargados de reunirse periódicamente con el consejo de .la universidad, 1(1- jUnta de decanos, el comité de currículos y el departamento de educación de los profesores. Cada miembro del grupo evaluativo está encargado de convocar reuniones regulares de estos grupos para estar continuamente al corrien te de sus intereses y necesidades informativas y presentar los resultados de la evaluación que puedan resultar aprovechables y demostrar ser útiles.

11. Preparar, si lo piden, el informe formal.

Estos deben ser impresos, filmados en video, dramatizados o presentados oralmente.

Habiendo realizado un profundo estudio del «Programa sobre dificultades de aprendizaje» de un distrito cualquiera, el evaluador dramatiza los resultados presentanda y ayudando a los grupos de la Asociación de Padres y Profesores que estén interesados a actuar en un sociodrama basado en los resultados.

12. Hablar con los clientes, el personal del programa y las audiencias.

A lo largo de una evaluación, el evaluador debe mantener comunicación con una amplia gama de partes interesadas, con el fin de comprender y estimular sus in. tereses acerca de la evaluación, y desarrollar su plan como mejor convenga a la realización de la evaluación.

Al prinCIpIO de una evaluación sobre el programa de educación bilingüe de un distrito escolar, el evaluador organiza un grupo asesor, representativo de toda la gama de grupos interesados, y mantiene debates con este grupo más o menos una vez al mes.

~ ~ ~

290 I Evaluación sistemática

Preguntas sin respuesta En este apartado proporcionamos cuatro preguntas y ninguna respuesta. Las preguntas pueden ser utilizadas como temas para debates, como bases para trabajos individuales o como guías para profundizar en las obras de Stake. 1.

2.

3.

4.

Responda a la afirmación de GLASS (1980), según la cual la recomenda_ ción que hace Stake de un método respondente para la evaluación se opone a su recomendación de una postura pluralista a la hora de juzgar programas educativos. ¿Hasta qué punto es coherente la evaluación responden te con las recomendaciones incluidas en las Standards far Evaluations of Educational Pragrams, Projects, and Materials (1981)? . Comente la conveniencia de las siguientes denominaciones de Stake: «res. pondente», «reflejo de full cauntenance (figura completa) de la evaluación», «centrado en el cliente», «revelador» y ,«naturalista». Responda a la insistencia de Stake en que los conceptos y el plan contenidos en su texto Cauntenance no constituyen un modelo de o para evaluaciones.

Referencias bibliográficas CLARK,D. 1. Y GUBA,E, G. 1965. An examination of potentia1 change roles in education. Texto presentado en el Seminar on Innovation in P1anning Schoo1 Curricu1a, Airliehouse, Virginia, octubre. CRONBAC H, L. J. 1963. Course improvement through eva1uation, T eachers College Record, 64, págs. 672-683. CRONBACH,1. J. y otros. 1980. Toward a re/orm o/ program evaluation, San Francisco, Jossey-Bass. DENNY,T. 1978. Story telling and educationa1 understanding. Ka1amazoo: Centro de Evaluación, Universidad de Western Michigan, Occasional Paper n. 12, noviembre. GLASS,G. V. 1980. Eva1uation research, Annual Review o/ Psychology, 31, páginas 211-228. HAMILTON,D, y otros. 1977. Beyond the numbers game, Berkeley, McCutchan. Joint Committee on Standars for Educationa1 Evaluation, 1981. Standards for luations o/ educational programs, projects, and materials, Nueva York, Hill. MAcDoNALD,B. 1975. Eva1uation and the control of education. En D. (comp.), Evaluation: The state o/ the art, Londres, Schoo1s Co,:ncil. OWENS,T. 1973. Educationa1 eva1uatian by adversary proceedmg. En E. HOUSE (comp.), School evaluation: The politics and process, Berkeley, McCutchan.

Referencias bibliográficas I 291

~

PARLETT,M. Y HAMILTON,D. 1972. Evaluation as iilumination: A new approach to the study of innovatory programs. Edimburgo: Centro de investigación sobre Ciencias Educativas, Universidad de Edimburgo. Occasional Paper n. 9. PROVUS,M. 1971. Discrepancy evaluation, Berke1ey, McCutchan. RIPPEY, R. M. (comp.). 1973. Studies in transactional evaluation, Berkeley, McCutchan. SCRIVEN,M. 1967. The methodology of evaluation. En R. TYLERY otros, Perspectives o/ curriculum evaluation. (AERA Monograph Series on Curriculum Evaluation), Chicago, Rand McNally. -.1973. Goal-free evaluation. En E. HOUSE(comp.), School evaluation: The po. litics and process, Berkeley, McCutchan. -.1976. Evaluation bias and its control. Kalamazoo: Centro de Evaluación Universidad de Western Michigan, Occasional Paper n. 4. ' SMITH, 1. M. Y PAHLAND,P. A. 1974. Educationa1 technology and the rural highlands. En 1. M. SMITH, Four examples: Economic anthropological, narra. tive, and portrayal (AERA Monograph on Curriculum Eva1uation), Chicago, Rand McNaily. SMITH, E. R. Y TYLER,R. W. 1942. Appraising and recording student progress, Nueva York, Harpe! and Row. STAKE,R. E. 1967. The countenance of educational evaluation, Teachers College Record, 68, págs. 523-540. -.1975a. Evaluating the arts in education: A responsive approach, Columbus, Ohio, Merril. -. 1975b. Program evaluation: Particularly responsive evaluation. Ka1amazoo: Ceno tro de Evaluación, Universidad de Western Michigan, Occasional Paper n. 5, noviembre. -.1976. A theoretica1 statement of responsive eva1uation, Studies in Educational Evaluation, 2, págs. 19-22. -.1978. The case study method in social inquiry, Educational Researcher 7, páginas 5.8. -.1979. Shou1d educational evaluation be more objective or more subjective?,

)

Educational

Evaluation

and Policy Analysis.

STAKE,R. E.; EASLEY,J. A., Jr. (comp.), 1978. Case studies in science education, vol. 1, 2, Rep. NSF Proj. 5E-78-74, Urbana, I11.,CIRCE, Universidad de I11i. nois, Facultad de Educación. STAKE,R. E. Y GJERDE,C. 1971. An evaluatian of TCITY: The Twin City Institute for Talented Youth. Ka1amazoo: Centro de Evaluación, Universidad de Western Michigan, Paper n. 1, Evaluation Report Services. STUFFLEBEAM, D. 1. 1966. A depth study of the evaluation requirement. Theory into Practice, 5, págs, 121-133. STUFFLEBEAM, D. 1. Y otros. Educational evaluation and decision making Itaska m., Peacock. ' , TYLER,R. W. 1942. General statement on eva1uation, Journal o/ Educational Re. search, 35, págs, 492-501. WOLF,R. 1. 1973. The application of se1ect legal concepts to educationa1 evalua. tion, Tesis Doctoral de Filosofía, Universidad de I11inois,Champaign.

')

~ ) ')

~ ') ')

) ) )

) ) ) )

) ) ,)

) )

) ) )

) ) ) 1)

) )

) )

8

J \. j l.

1

I

;.

T. R. OWENS y R. 1. WOLF: UN METODO CONTRAPUESTO DE EVALUACION

La evaluación contrapuesta representa un gran paso hacia el final de una etapa que empezó con el método orientado hacia los objetivos de Tyler. Desarrollado a principios de los años setenta, el método contrapuesto intenta iluminar los aspectos más importantes del programa que se está evaluando. Estos aspectos explorados pueden ir más allá de los objetivos originalmente propuestos para el programa. Casi leg'ítimo en sus método y estructura, el modelo de contraposición sigue un proceso dialéctico. Dos grupos de evaluadores investigan los pros y los contras de un programa con el fin de clarificar honesta y abiertamente sus principales problemas. La intención final del método contrapuesto es proporcionar a quienes toman las decisiones evidencias sólidas para actuar en consecuencia. Lo más importante es perfeccionar la toma de decisiones en el campo de la educación. Por esta razón, el método contrapuesto, según uno de sus más tempranos representantes, T homas Owens, puede funcionar conjuntamente con los modelos propuestos por Scriven, Stufflebeam y Provus. Se ha dicho "que el modelo de contraposición es más competente que los modelos anteriores a la hora de satisfacer las necesidades informativas de quienes toman las decisiones. Aún estamos lejos de una aceptación universal de la evaluación contrapuesta. La literatura especializada incluye posturas tanto a favor como en contra del método.

El modelo de contraposición para la evaluación educacional fue desarrollado en los primeros años setenta. Según uno de sus más tempranos representantes, Thomas Owens, el método contrapuesto posee la metodología necesaria para proporcionar información a quienes toman las decisiones con el fin de que elaboren proyectos y juzguen los resultados previstos y los no previstos cuando ya hayan sido realizados.

294

1

Evaluación

'1

sistemática

Básicamente, el método supone un proceso dialéctico y legítimo. Intenta examinar abiertamente los problemas relativos a una proposición mediante la presentación de casos a favor y en contra de esa proposición. El propósito es clarificar. Con los procedimientos realizados y las muchas facetas relacionadas con el objeto aclaradas, quienes toman las decisiones ya disponen de una evidencia suficiente y sólida para tomar decisiones racionales. El modelo de contraposición ha tomado diversas formas. Una de las más notables es el modelo judicial desarrollado por Robert Wolf en 1973 y los años sucesivos. Este aporta a la evaluación educacional las técnicas de un tribunal. No se trata, sin embargo, de presentar una decisión del tipo culpable! inocente. La esencia del concepto de juicio es el establecimiento de un acuerdo en el contexto de un desacuerdo. De nuevo, lo importante es perfeccionar la toma de decisiones en el campo de la educación. Usted puede seguir y comprender el método de evaluación contrapuesta mediante el estudio de esta unidad. Como en las primeras unidades, los ejercicios aparecen al final para comprobar lo que ha aprendido. A continuación proporcionamos la lista de objetivos de esta unidad. Estúdielos, lea la unidad y luego realice el test de conocimientos, comparando sus respuestas con las que proporcionamos nosotros. Finalmente, realice los ejercicios prácticos, compare sus respuestas con los aspectos más destacados de las que le facilitamos nosotros y aborde el apartado de «Preguntas sin respuestas».

Objetivos Los objetivos del capítulo son los siguientes: 1.

Facilitar la comprensión a) b)

e) d) e)

2.

del modelo de contraposición

mostrando las deficiencias del modelo de tests psicológicos para las tomas de decisiones, examinando los procedimientos de contraposición en su contexto legítimo, considerando la aplicabilidad de los procedimientos de contraposición a la evaluación educacional, considerando la puesta en práctica del modelo sugerida por Owens, investigando las dimensiones de los procedimientos de contraposición sugeridos por Owens.

Dar un ejemplo de una forma de modelo de contraposición, el «modelo judicial» de Robert Wolf, a) b)

)

por ejemplo

I

')

') T. R. Owens

3.

y R. L. Wolf

1

295

Examinar la condición de la evaluación contrapuesta a) b)

comentando argumentos a su favor, comentando argumentos en su contra.

') ') ') ')

) Intención del modelo de contraposición En 1973, Owens afirmó que durante la década anterior la evaluación educacional había experimentado una expansión que la condujo más allá del juicio de los resultados finales. Cada vez se ponía más el énfasis en proporcionar información para la toma de decisiones. Sin embargo, gran parte de la metodología evaluativa no ha estado a la altura de la ampliación del concepto y la función administrativa. A pesar de que los autores más tempranos fueron muy críticos con la limitada función de la evaluación basada en tests psicológicos, siguieron preocupándose por el hecho de que un proyecto alcanzara o no los objetivos propuestos. SCRIVEN,en concreto, destacó (1967) la necesidad de examinar muy de cerca tanto las metas como las presuposiciones propuestas en las que se basaba un programa. Si las presuposiciones vinculaban el valor de un programa a cada estudiante o a la sociedad, no existía casi ningún método que pudiera obtener este tipo de información. Otra limitación del modelo de tests psicológicos que ya advirtió Owens consistía en que era más adecuado para la investigación que para la toma de decisiones prácticas. Aunque una evaluación comparativa puede demostrar que un programa es superior a otro, esta información no significa necesariamente que deba adoptarse el programa superior. Su utilidad práctica no ha sido aprobada. «Así pues, existe un hueco entre los resultados empíricos y las decisiones administrativas en la realización de ciertas prácticas.» Además, el modelo de tests psicológicos limita, por lo general, el número de variables examinadas. En concreto, las variables más fácilmente cuantificables y tangibles suelen ser examinadas, mientras que las más sutiles y menos tangibles, suelen ser rechazadas. Por ejemplo, los tests hechos a estudiantes para la realización de un nuevo currículo son sólo una parte del panorama general. T ambién deben ser tenidas en cuenta otras variables que influyen en el programa, como las relaciones personales (por ejemplo, estudiante-profesor, maestro-administración), las actitudes del estudiante y la aceptación de la comunidad. El modelo de la contraposición para la evaluación educacional se desarrolló para superar este tipo de problemas.

')

)

! ) ) ) ) ) ) ) )

) ) ) ) , ,

) ) ) ) )

I )

) ( )

)

explicando brevemente su base lógica, esbozando las cuatro etapas de su desarrollo.

)

') I

)

.j.

,

'.

( (

296

I

Evaluación

'

sistemática

T. R. Owens

( (

Los procedimientos

de contraposición

en su contexto

legal

( (

(

( ( (

En un contexto legal, los procedimientos de contraposición se desarrollan como una audiencia administrativa destinada a juzgar los méritos de un caso en el que están implicadas dos partes opuestas. OWENS(1973, págs. 296-297) ha identificado las siguientes características de los procedimientos de contraposición como las adecuadas para la toma de decisiones en educación: l.

( (

2.

( (

3.

( (

4.

(

( (

5. 6. 7.

(

( (

,

8.

Las reglas establecidas para manejar los procedimientos de contraposición son totalmente flexibles. Las complejas reglas de la evidencia son sustituidas por una evaluación libre de la evidencia basada únicamente en si la evidencia es considerada relevante por el director de la audiencia. Puede pedirse a ambas partes, antes del juicio, que informen al director de la audiencia sobre todos los hechos relevantes, de las pruebas y de los nombres de los testigos. Debe proporcionarse una copia de los cargos al director de la audiencia y al defensor, antes de que empiece el juicio, teniendo el defensor la opción de admitir por anticipado ciertos cargos y recusar otros. Los testigos declararán libremente y podrán ser interrogados. A menudo, los expertos son llamados a testificar, incluso antes del juicio. Las entrevistas previas al juicio entre el director de la audiencia y las dos partes suelen convertir el juicio más en una búsqueda de hechos relevantes que en una batalla de talentos. Además de las dos partes implicadas, puede permitirse la participación de otros grupos interesados.

(

( ( ( (

( ( ( (

( (

La aplicabilidad

en la evaluación

educacional

Los diversos autores están, por lo general, de acuerdo en que los procedimientos de contraposición para la toma de decisiones en educación no deben necesariamente sustituir a las planificaciones ya existentes para la recopilación y el análisis de datos. Los procedimientos proporcionan un método alternativo de presentar, interpretar, sintetizar e informar sobre evidencias. Se considera que los datos presentados son más equilibrados que los obtenidos únicamente mediante tests psicológicos. Trasladados a un medio educativo, muchos de los procedimientos esbozados para el contexto legal pueden suponer una consideración estructurada de los aspectos importantes del programa y de su evaluación. Las presuposiciones , las metas , los métodos de recopilación de datos y su análisis, y la preci-

y R. L. Wolf

I

297

sión y suficiencia de los informes evaluativos a~r:~ nuev~s posibilidades. Owens y Wolf afirman que el método de contrapOS1CIon conVlerte una evaluación en «intelectualmente honesta». ., El modelo de contraposición legal es también aplicable a la evalua.clOn educacional por otras razones. Permite que un amplio espec~ro de g~nt~ mteresada en el programa exprese su punto de vista, ya sea dlt:c.t~ o llldlrectamente (por medio de abogados de una parte o la otra). Los JUlClOSno. se ~asan en las metas iniciales del programa, sino más bien en .la combl~a:lOn entre éstas y los problemas más importantes planteados por qUIenes partlclpa~ en la audiencia. También ofrece un' método para facilitar una toma de de~lsiones justa y abierta. Y, lo que es más importante, pres.enta una concepclOn amplia y completa del programa, clarificando tanto su~ vlttude~ corr:o sus defectos. Las alternativas de la decisión y sus potenClales ramificaclOnes son aireadas públicamente.

Realizaciones

prácticas

Owens sugiere siete modos principales en los que puede llevarse a cabo el modelo de la contraposición para satisfacer los propósitos de una eval.uación educacional. Esbozaremos brevemente estas útiles y prácticas sugerenClas. Explorar los valores de un currículo nuevo o ya existente. A menudo, las evaluaciones comparativas fracasan al especificar e investigar la teoría, la base lógica y las presuposiciones de un currículo. Un debate abierto sobre la «importancia de un currículo concreto que. satisfaga .las n~cesida~e~ ~resentes y futuras de los niños, las necesidades soclales o la mtegndad dlsclplinar puede resultar un paso útil antes de decidir si es conveniente.o no desarrollar o llevar a cabo el currículo». Seleccionar nuevos libros de texto. Los libros de texto de un distrito escolar se escogen, demasiado a menudo, de una manera fortuita o precipitada. Una audiencia contrapuesta formada por profesores de un comité de selección puede informar y aclarar cosas a los profesores sobre el valor de los libros de texto, basándose en argumentos a favor y en contra. Estimar la congruencia entre una innovación y el sistema existente. Las innovaciones pueden introducirse sin comunicárselo al más amplio contexto escolar. En una audiencia contrapuesta la evidencia puede producirse mencionando el probable efecto nocivo que puede producir una innovación en el sistema como totalidad, revelando así las barreras potenciales que pueden frenar el éxito de un programa. Luego, se pueden tomar decisiones para frenar o superar las posibles dificultades.

)

-~

)

!

)

i,

298

T. R. Owens y R. L. Wolf


')

Dimensión 1: Marco

) ) Formal El que toma las decisiones como juez

de los procedimientos

Dimensión 3: Resultados

') ') ')

Varios jueces o un jurado

Dimension 2: Jueces

) La audiencia como juez

)

Ningún juez

) )

FIGURA

Dimensiones

) .

Resolver las disputas acerca de los contratos de trabajo. Continúan produciéndose disputas sobre la realización de los contratos de trabajo. Los procedimientos de contraposición pueden ayudar a resolver las disputas basándose en testimonios de expertos procedentes de una amplia gama de fuentes. Llegar a la decisión que debe ponerse en práctica. Quien toma las decisiones educativas puede servir como director de la audiencia, en cuyo caso su veredicto es la decisión. O puede pretender implicar a los jurados, como los representantes de los profesores y de los estudiantes, en la toma de decisiones. O considerar el veredicto del jurado como una parte de la información que debe ser utilizada en combinación con otras, como por ejemplo los argumentos expuestos en la audiencia o los datos recopilados mediante tests. Owens considera que los procedimientos de contraposición pueden ser especialmente relevantes para la aplicación de los métodos evaluativos desarrollados por Daniel Stufflebeam, Robert Stake (su modelo «de la figura», 1967) y Malco1m Provus.

299

.,

Revelar las distintas interpretaciones hechas por distintos representantes sobre los mismos datos. Owens afirma que un jurado puede comprender representantes de los estudiantes, profesores, administradores, padres y la comunidad. Diversos miembros del jurado pueden interpretar los mismos datos de diferente manera. Estas diferencias, comunicadas a quienes toman las decisiones, pueden mejorar mucho su comunicación con los grupos. Una toma de decisiones colectiva puede ser también un resultado. 1nformar a los profesores, directores y administradores. Como observadores o participantes, los educadores pueden adquirir nuevos conocimientos sobre el programa de la audiencia.

I

8-1.

Aplicaciones y dimensiones de los procedimientos contrapuestos

)

)

formal, cualquier aspecto de la dimensión de los jueces excepto «Muchos jueces o un jurado» y una decisión real como resultado.

) )

Una forma del método de la contraposición: el modelo judicial de Wolf

)

El modelo judicial fue desarrollado por Robert Wolf en 1973, y luego fue puesto a prueba evaluando un programa educativo de la Universidad de Indiana. Con el testimonio de distintas personas, pudo recopilarse rápidamente la información y obtenerse un balance equilibrado del programa destinado a la toma de decisiones.

)

)

) ) ) )

de contraposición La base lógica

La figura 8-1 expone las aplicaciones y dimensiones de los procedimientos de contraposición tal como sugiere Owens. Un examen del modelo indica claramente que puede ponerse en funcionamiento de un modo muy flexible. El método de la contraposición resulta particularmente útil cuando está en juego una decisión política que suponga grandes cantidades de recursos. En una evaluación de este tipo es posible que puedan entrar en funcionamiento los siguientes aspectos del cubo de Owens: el marco formal, el juez (o jueces) y el jurado, y la información que servirá de guía para la decisión. Si la evaluación consiste en descubrir cuál es el mejor libro de texto para un curso determinado, pueden utilizarse los siguientes aspectos del cubo: el marco in-

WOLF (1975) afirmó que «las evaluaciones educacionales se han convertido en un elemento cada vez más complejo para el incremento de la responsabilidad evaluativa». Esto quiere decir que los evaluadores deben justificar sus decisiones en todos los aspectos, deben comprender la complejidad de los programas de enseñanza y la importancia de la comunicación efectiva con el público acerca de estos problemas. Wolf mantiene que la evaluación convencional no satisface estas «necesidades recientemente reconocidas». La solución a estos problemas no está en la recopilación de grandes cantidades de datos técnicos, sino en la clarifica-

) ) ')

) (

)

) ) ') I

)

(

(

300

I

Evaluación

(

( (

( ( ( ( ( ( (

( (

ción de todos los aspectos de las alternativas del programa. Esto puede beneficiar tanto al educador como al consumidor. La evaluación judicial de Wolf está concebida para clarificar e informar. El modelo adapta y modifica conceptos tanto de los juicios con jurado como de las audiencias administrativas. La metodología legal ofrece un útil sistema de procedimientos destinados a producir deducciones alternativas a pa~tir de datos, antes de emitir los juicios. Los evaluadores pueden centrarse claramente en un grupo de problemas, contar con el testimonio de distintas personas, investigar diferentes aspectos de los problemas utilizando dos equipos evaluativos, permitir el desarrollo de un punto de vista equilibrado y estructurar las deliberaciones de quienes toman las decisiones. Además, el modelo (como cualquier método basado en la contraposición) investiga mu~has de las presuposiciones y bases lógicas de los programas, así como también los métodos mediante los cuales se recopilan y analizan los datos de la evaluación. En breve, la evaluación se convierte en algo «intelectualmente honesto y justo».

( (

Las cuatro etapas del modelo judicial

(

Antes de que se produzca cualquier evaluación contrapuesta, es posible que las actividades evaluativas ya hayan tenido lugar. Por ejemplo, puede realizarse una evaluación formativa continua para facilitar el desarrollo del programa. Cualquier informe acerca de los datos evaluativos que surja de esta actividad puede servir de ayuda para el proceso de la evaluación contrapuesta, que se producirá cuando resulte útil para una importante toma de decisión. Wolf ha definido cuatro etapas para la realización del modelo judicial. La etapa que propone los problemas. Inicialmente, se identifica una amplia gama de problemas relativos a la evaluación del programa, desde el punto de vista de todo el personal implicado que resulte posible. Estos problemas deben coincidir con los objetivos iniciales del programa. A través de entrevistas y otros medios, deben identificarse los problemas que se consideren más importantes. La etapa que selecciona los problemas. Durante esta etapa, se reduce el número de problemas hasta dejarlo en una cantidad apta para una audiencia. El personal del programa y otras personas relacionadas con él pueden ayudar a establecer un orden prioritario de problemas. Un grupo especial de investigaCión, formado por representantes de los grupos más importantes del programa, decide luego la importancia de cada problema, hace las modificaciones necesarias y lo pone todo por escrito. La etapa de preparación de los argumentos. Los dos equipos evaluativos preparan entonces los argumentos formales. Se desarrollan, a partir de cada problema, los aspectos específicos del enfrentamiento. Los argumentos desa-

( ( ( ( ( ( ( (

( ( (

,• ( (

( {

T. R. Owens

sistemática

y R. L. Wolf

I

301

rrollados proceden a menudo de los datos recopilados acerca de las virtudes y defectos del programa. Las afirmaciones que apoyan un aspecto u otro del problema pueden proceder de testigos implicádos en el programa o afectados por él. Además, los informes evaluativos más importantes (por ejemplo, acerca de las primeras evaluaciones formativas), los documentos y los informes formales son estudiados para su posible utilización en los argumentos finales. La etapa de la audiencia. Esta etapa tiene dos partes. En la sesión previa a la audiencia, ambos equipos examinan sus principales argumentos y, junto con el presidente de la audiencia, desarrollan las reglas y procedimientos de la audiencia. Cosas como el número de testigos que deben ser convocados, el alcance de los interrogatorios y los criterios para determinar la admisibilidad de la evidencia (por ejemplo, la relevancia) deben surgir de un acuerdo mutuo. Finalmente, se hace un borrador de las cuestiones más específicas que sirve como guia para las deliberaciones. La audiencia propiamente dicha, que puede ocurrir tras meses de preparación a través de las tres primeras etapas, puede constar de más de una sesión, dependiendo de la naturaleza de la evaluación. Tras la presentación de los argumentos y los interrogatorios, el jurado delibera. Si el propio jurado no es el que toma las decisiones, recomienda qué decisiones deben tomarse. Wolf ha afirmado que el modelo judicial «ofrece un foro para la comunicación y la difusión, tanto como para la evaluación». Ciertamente, el proceso puede clarificar las alternativas y las consecuencias de una decisión, que casi nunca pueden conocerse antes de la audiencia.

Los pros y los contras de la evaluación contrapuesta Probablemente es cierto tantos comentarios a favor Les proporcionamos ahora darios de ambos puntos de

que ningún otro modelo evaluativo ha provocado y en contra como el método de contraposición.

los comentarios vista.

más característicos

de los parti-

El argumento a favor En su articulo «An adversary Model for Educational Evaluation», Mari. KOURILSKY (1973) enumera algunas ventajas del modelo. Alcance de la información. «El que toma las decisiones suele recibir una amplia gama de información, que representa (por definición) a los dos lados.» La confrontación entre las dos posturas opuestas provoca una completa justificación de la posición adoptada. Calidad de la evidencia. La relación contrapuesta provoca recomendaciones para el desarrollo de una mejor calidad de las evidencias para las tomas

1yn

) ') 302


de decisiones. Los abogados saben muy bien que sus afirmaciones serán comprobadas y, por lo tanto, deben buscar buenas pruebas que las apoyen. Las afirmaciones de gran alcance del tipo «las investigaciones indican que ... » son muy poco corrientes en los procedimientos de contraposición. Disminuye la tendenciosidad inconsciente. El proceso disminuye la posibilidad de ideas preconcebidas tanto por parte del personal del programa como del evaluador, referentes a aspectos de la educación, que puedan influir y entrometerse en las conclusiones. Es posible que el evaluador y quien toma las decisiones no sepan que existen realmente métodos tendenciosos. Los informes evaluativos, de cualquier modo, pueden fácilmente contener puntos de vista inconscientemente tendenciosos del evaluador y de aquellos que participan en el programa que se está evaluando. La evaluación contrapuesta proporciona el incentivo de presentar el mejor proceso posible para ambas partes. Disminuye el síndrome del «Sí, señor». A menudo ocurre que el evaluador conoce la predilección de quien toma las decisiones por ciertos resultados posibles de una evaluación. Inadvertidamente, «es incapaz de resistirse a la tentación de satisfacerla», pero los procedimientos de contraposición ayudan a eludir este tipo de situaciones. . Se exponen las presupasiciones más ocultas. El método de contraposición ayuda a exponer, clarificar y finalmente cambiar las presuposiciones que subyacen en un desacuerdo. Cuando aparece una prueba empíricamente verificable, las premisas de valor relativas a la recopilación de datos son expuestas y discutidas. Cuando las presuposiciones y los criterios de valor (y los juicios) han sido claramente demostrados, pueden clarificarse sus incoherencias. Se establece así una sólida base para la futura toma de decisiones. Todos los aspectos tratados en esta sección subrayan que las ventajas del método de contraposición proceden de su inevitable franqueza en los procesos dialéctico y legal. Como consecuencia, pueden tomarse decisiones mejores y más racionales.

El argumento en contra En los últimos años, y desde distintas direcciones, se han venido expresando ciertas inquietudes acerca de algunos aspectos del método de contraposición. Una de ellas es la que han hecho pública W. James POPHAM y Dale CARLSON(1977) tras su participación en una evaluación contrapuesta en Hawai, en la primavera de 1976. Popham y Carlson enumeraron los defectos que, según ellos, presentan la mayoría de las evaluaciones contrapuestas; también ofrecieron, cuando pudieron, sugerencias para mejorar esas deficiencias. Diferencias entre las técnicas de los participantes. Es más fácil suponer que las dos caras de un problema van a ser satisfactoriamente presentadas

T. R. Owens Y R. L. Wolf

I

') 303

ante la consideración de quien(es) toma(n) las decisiones qu: v~rlo realmente Es también probable que las diferencias entre las tecmcas de dlos dos eump l'd 1 o. . valuadores (o equipos) sean muy acusadas. Como consecuenCla, pue e que ~a defensa convierta el lado malo del caso en el más atractivo. Cuando se toma una decisión incorrecta sobre esta base, decisió? ~ue puede. afectar a un gran número de niños, se está realizando algo «autentlcame.nt~ mtolerable:> .. Popham y Carlson recomiendan la utilización de dlstmtos procedImIentos para remediar esta deficiencia del modelo. Proponen un proceso en el .q~e los dos adversarios expongan las dos caras del problema. ~sí, se producuan dos grupos de argumentos positivos y dos grupos de negatIvos par~ .someter a la consideración de quien tome las decisiones. Así podrá ser mItIgado el efecto de la disparidad de técnica entre los participante~. . . ., Jueces falibles. La capacidad de los jueces e~ m~y vanable. DeclSlones JUdIciales imprudentes y mal concebidas pueden mflulr des~~nestamente en los resultados de una audiencia. Esto ocurre con mayor faCIlIdad en las nuevas áreas evaluativas, donde no existen reglas para su realización. Excesiva confianza en la bondad del madela. Dado que puede atribuirse una injustificada bondad a especialidades que no se comprenden. ~~l t?do, existe una cierta tendencia a suponer que el método de contrapOSlClOn sle~pre conduce a decisiones perfectas. El desconocimi~nto de la ley e.s la razon más frecuente para depositar una confianza exceSIva en la efi~aCla de este modelo. Aunque el modelo de contraposición pued~, en ocas~~nes, ser ~e mucha utilidad en el desarrollo de los planes evaluatlVos, tamblen pue~e Ignorar ciertas consideraciones políticas, lo cual puede dar al traste con CIertas decisiones que hubieran podido ser resultados del proceso. . . El único remedio ofrecido por Popham y Carlson «para mltlgar el entusiasmo de los nuevos conversos» es asegurarse de que la realidad del programa que se evalúa no va a verse oscurecida por fastidiosas utilizaci?nes de procedimientos legales (que a menundo no se comprenden del to~o bIen). Dificultades para construir la proposición de manera convemente para la resalución. Los problemas educativos no siempre pueden plantearse .~e manera que los resultados de la dialéctica partidario-a~v~rsario sean utIlIzables en las tomas de decisiones. Quienes toman las declSlones sacan a menudo conclusiones sobre la: base de una información compleja interrelacionada. Una estructura que produzca resultados sólo en términos de ganador I pe~~edor puede estar evitando la naturaleza compleja y sutil de las buenas declSlones acerca de los problemas planteados por programas educativos y sociales. Como solución, Popham y Carlson recomiendan aplicar la evaluación. contrapuesta sólo en aquellas situaciones educativas «en que las dos opClOnes decisorias se opongan directamente a otra». . . . Sin embargo, no puede asegurarse que quien toma las declSlones, dISP~niendo de una amplia gama de información como resultado de los procedImientos de contraposición, seleccione la información que considere más im-

¡ )

) ) ') ')

') ') ') ')

) ) )

) ) ) ) ) ) ) ) ) ) ) )

) ) }

) ) ) )

•• (

(

304

I

Evaluación

sistemática

T. R. Owens

y R. L. Wolf

I

305

( ( ( ( ( ¡( ( (

( ( ( (

portante para cada área de decisión. Puede surgir de cualquiera de las presen. taciones opuestas. Excesivo coste. Es probable que la evaluación contrapuesta cueste más que una evaluación convencional de un programa similar. La principal razón es que el coste de dos equipos y del personal de coordinación/arbitraje requeridos para una evaluación contrapuesta es mayor que el de otros métodos evaluativos, que sólo necesitan un personal especializado muy reducido. Si una evaluación contrapuesta debe ser llevada a cabo, debe invertirse una gran cantidad de tiempo en clarificar las normas de trabajo y los procedimientos operativos. Popham y Carlson aconsejan el empleo de este tipo de métodos sólo cuando pueden ser financiados. Aunque las ventajas del método de la contraposición, pueden ser considerables, está claro que debe considerarse cuidadosamente su utilidad potencial para la toma de decisiones antes de emplearlo. En términos generales, debe ser tenido muy en cuenta como posible método evaluativo cuando esté en juego una decisión política que exija grandes cantidades de recursos.

{ (


( ( ( { (

(

,e

Este test de conocimientos tiene dos partes: cinco preguntas que pueden responderse con un verdadero o un falso y dos preguntas con varias respuestas para elegir. En la primera parte, cuando haya decidido si una afirmación es verdadera o falsa, debe usted responder otra pregunta basada en esa decisión. Las respuestas correctas se facilitan después de cada pregunta. El apartado de preguntas con varias respuestas posibles debe también determinar si ha adquirido el suficiente conocimiento sobre los objetivos del modelo de contraposición. En. cada caso, seleccione la que usted considere la mejor respuesta. Luego, compárela con la explicación de las respuestas correctas e incorrectas que siguen a cada pregunta.

( (

( ( (

PREGUNTA1. El modelo de la contraposición supone una mejora en la toma de decisiones mediante la clarificación de los problemas inherentes a una proposición. Verdadero

.

Falso

.

( ~

( (

f

Si es verdad, identifique el método básico en el que se basa el modelo. Si es falso, ¿cuál es el verdadero propósito de la evaluación contrapuesta?

Respuesta correcta. La afirmación es verdadera. El modelo de la contraposición ha sido desarrollado pan clarificar las facetas más importantes de un programa (o un programa propuesto) con el fin de que qui~~es toma~ las decisiones tengan pruebas suficientes y sólidas para tomar deC1S~onesra~lOn~les. Supone un alejamiento de la función evaluativa basada en el test pSlCologico y un acercamiento al método dialéctico empleado por el modelo legal.

PREGUNTA2. Los procedimientos de contraposición destinados a la toma de decisiones sustituyen a las planmcaciones ya existentes para la recopilación y el análisis de datos. Verdadero

.

Falso

.

Si es verdad, dé su opinión acerca de la conveniencia de sustituir los diseños y métodos evaluativos ya existentes por los procedimientos de contraposición. Si es falso, diga cuál es la posición de las primeras planificaciones evaluativas respecto a los procedimientos de contraposición.

Respuesta correcta. La afirmación es falsa. Aunque los datos procedentes de un método de contraposición se consideran más equilibrados que los obtenidos únicamente mediante tests psicológicos, estos últimos son pruebas admisibles en una audiencia. Hasta qué punto deben ser utilizados estos resultados en las pruebas finales, debe decidirse en las sesiones previas a la audiencia.

PREGUNTA3. Owens insiste en que quien toma las decisiones no debe desempeñar las funciones de presidente de la audiencia, puesto que su veredicto puede convertirse en la decisión. Verdadero

.

Falso

.

Si es verdad, diga cuál considera usted que es el verdadero papel de quien toma las decisiones durante una audiencia. Si es falso, comente el papel de quien toma las decisiones con respecto al juicio de las pruebas, incluida la posibilidad de que implique a otros en la emisión de los juicios.

Respuesta correcta. La afirmación es falsa. El que toma las decisiones en educación puede desempeñar el papel de presidente de la audiencia, en cuyo caso su veredicto es la decisión. Owens afirma que jurados como los profesores o representantes de los estudiantes pueden también participar. Sin embargo, el veredicto del jurado puede ser sólo una forma de juicio que debe utilizarse

."..-.~.>- ••

)

r.

')

.....

i

') 306

1

Evaluación

T. R. Owens

sistemática

PREGUNTA4. El método de Wo1£ incluye procedimientos que presentan los pros y los contras de un programa.

I

.

Falso

cuasilegales

.

I

Si es verdad, mencione las «necesidades recientemente reconocidas» que, según Wo1£, debe satisfacer el modelo. Si es falso, diga cuál es el verdadero propósito del modelo judicial de Wo1£.

Respuesta correcta. La afirmación es verdadera. Wo1£ cree que la evaluación debe desempeñar un papel cada vez más importante en lo que a la responsabilidad se refiere. Los educadores y otros profesionales deben justificar sus decisiones. Y para hacerlo, deben conocer a fondo la complejidad de los programas de enseñanza: la evaluación resulta de mucha ayuda en este aspecto.

PREGUNTA5. Según Wo1£, durante una sesión previa a la audiencia, ambos equipos examinan sus principales argumentos y, conjuntamente con el director de la audiencia, desarrollan reglas y procedimientos para ella. Verdadero

.

Falso

.

Si es verdad, mencione alguna de las probables áreas de discusión en una sesión previa a la audiencia. Si es falso, diga qué procedimientos, si es que existe alguno, preceden a la audiencia real.

c)

d)

a la audiencia es posible que se llegue a un acuerdo en áreas como las siguientes: número de testigos que deben ser llamados, alcance de los interrogatorios, criterios para determinar la admisibilidad de pruebas y el esbozo de cuestiones específicas que sirvan de guía para las deliberaciones del jurado.

PREGUNTA6. Para mitigar las diferencias que pueden existir entre las técnicas de los participantes, Popham y Carlson recomiendan: Asegurarse de que los evaluadores seleccionados tienen idénticos antecedentes y experiencia evaluativa. Realizar un proceso en el que los dos adversarios presenten las dos caras del problema.

Aclarar a quienes toman las decisiones que el veredicto de una audiencia no es definitivo y que sólo presenta una parte de las pruebas (aunque una gran parte) acerca del objeto de la evaluación. Organizar más audiencias para que quede claro que las técnicas de los participantes no están bien equilibradas.

} ) ')

) ...,

generarse dos grupos de argumentos positivos y dos de negativos, con el fin de ponerlos a disposición de quien toma las decisiones.

} ")

Respuestas incorrectas a) c)

d)

Es incorrecta: una proposición así roza lo imposible. No es la mejor respuesta: aunque la afirmación puede ser correcta, no existe garantía de que una acción como ésta pueda necesariamente mitigar las diferencias entre las técnicas de los participantes. Es incorrecta: una acción como ésta sólo puede empeorar una situación ya de por sí desafortunada (a menos que se produzca la acción recomendada en «b»).

") ")

) ) ) )

) PREGUNTA7. de acuerdo? a) b)

Respuesta correcta. La afirmación es verdadera. Durante una sesión previa

b)

307

Respuesta correcta. Debe usted haber seleccionado la «b». Si es así, pueden

c)

a)

1

}

conjuntamente con otras informaciones cuando quien toma las decisiones llegue a una conclusión acerca del destino del programa.

Verdadero

y R. L. Wolf

d)

¿Con cuál de las siguientes afirmaciones no estaría W 01£

El modelo judicial modifica conceptos tanto de los juicios con jurado como de las audiencias administrativas. La metodología legal ofrece un útil sistema de procedimientos destinados a producir deducciones alternativas a partir de los datos y antes de que' se emitan los juicios. Los evaluadores no necesitan centrarse en un grupo de problemas; de esta manera, podrán recoger una información flexible y equilibrada que les ayude a aclarar la verdad acerca del programa. El modelo judicial investiga muchas de las presuposiciones y bases lógicas de los programas.

Respuesta correcta. Debe usted haber seleccionado la «c». La postura de Wo1£ consiste en que los evaluadores deben delinear un grupo de problemas; dos equipos evaluativos deben proporcionar un punto de vista equilibrado para desarrollar y estructurar las deliberaciones de quienes deciden. Respuestas incorrectas

)

) ) ) ) ) ) ) ) )

) )

) )

a)

Es incorrecta: es una afirmación exacta acerca de la naturaleza casi legal del modelo judicial.

) ) )

'\

(

(

f (

(

T. R. Owens

308

I

b)

Es incorrecta: esta descripción es un retrato correcto de la meto¿'J[ogía del modelo judicial. Es incorrecta: una de las virtudes del modelo judicial es la capaci¿ad de investigar las presuposiciones y bases lógicas de los programas que se están evaluando.

d)

(

Evaluación

sistemática

( (

(

b)

INTERPRETACIÓN DEL TEST DE CONOCIMIENTOS. Cuando haya realizado las dos secciones del test, le recomendamos que revise su trabajo y su comprensión de las respuestas correctas, así como las secciones de la unidad.

(

t


(

Este apartado contiene dos ejercicios prácticos que pueden determinar su grado de comprensión del método de contraposición. Ambos ejercicios requieren haber entendido bien las implicaciones de la aplicación del modelo a situaciones reales o hipotéticas. Después de cada ejercicio hay una lista de aspectos que deben estar incluidos en su respuesta. Examinarlos puede ayudarle a valorar su trabajo. Puede también releer las partes más importantes de la unidad, cuando termine cada ejercicio, para valorar mejor su respuesta.

( ( ( ( (

( ( ( ( ( (

EJERCICIO 1. Seleccione un programa, real o hipotético, para evaluarlo. Imagine que intenta organizar la evaluación utilizando el modelo judicial de W.olf. Si 10 desea, incorpore algunas ideas de Owens (por ejemplo, puede utillzar su cubo dimensional). Escriba un ensayo esbozando los procedimientos que pueden emplearse. Su respuesta debe incluir estos elementos principales: a)

«

b)

(

d)

e)

La La La La

etapa etapa etapa etapa

de de de de

búsqueda de los problemas. selección de los problemas. preparación de los argumentos. la audiencia.

( (

(

t t t t t

La respuesta al ejercicio 1 debe incluir los siguientes puntos: a)

La etapa de búsqueda de los problemas: 1. Identificación de una amplia gama de problemas relativos a la evaluación del programa. 2. Los resultados de cualquier proceso de evaluación formativa pueden utilizarse para ayudar a identificar los problemas. 3. ~e in.vita al personal que interviene en el programa a que ayude a ldentlficar problemas evaluativos.

y R. L. Wolf

I

309

4.

Los problemas pueden ser distintos de los objetivos originales del

5.

programa. Para identificar los problemas, pueden utilizarse entrevistas medios.

y otros

La etapa de la selección de los problemas: 1. Los problemas deben reducirse a unas dimensiones adecuadas para la audiencia (deben ser especificados). 2. Debe esbozarse el papel que deben desempeñar el personal del programa y los demás tipos de personal en el establecimiento del orden 3.

de prioridad. Un equipo de investigación especial (que debe ser descrito) comprueba la importancia de cada problema y 10 pone todo por escrito.

e)

La etapa de preparación de los argumentos: 1. Se seleccionan dos equipos de evaluadores, que preparan argumentos formales opuestos. 2. Se desarrollan argumentos específicos sobre cada uno de los problemas. .3. Se recopilan, a partir de distintas fuentes, argumentos y retos relativos a los programas. 4. Se utilizan datos de cualquier otra evaluación (o evaluaciones) de los problemas seleccionados.

d)

La etapa de la audiencia: 1. En una sesión previa a la audiencia, ambos equipos examinan los argumentos especiales. 2. Conjuntamente con el presidente de la audiencia, se determinan las reglas del debate. 3. Se esbozan cuestiones específicas que sirven de guía para las deliberaciones del jurado. 4. Se determinan los detalles de la composición del jurado, del grupo de quienes toman las decisiones y del número de sesiones que tendrá la audiencia. 5. Se realiza la audiencia y el jurado delibera. 6. Sobre las recomendaciones resultantes se toman las decisiones.

EJERCICIO 2. Comente en un ensayo los pros y los contras de la evaluación contrapuesta. Complete su respuesta con un breve párrafo que contenga opiniones equilibradas acerca de la utilidad del método de contraposición a la luz de sus comentarios sobre sus pros y sus contras.

) ) ) 310

I

Evaluación

La respuesta a)

b)

,. ,

.

sistemática

al ejerciclO 2 debe

Referencias

e) incluir

los siguientes

puntos:

Las ventajas de la evaluación contrapuesta. 1. El alcance de la información: ambas partes proporcionan una gran cantidad de información, mientras que su confrontación facilita la justificación de las posturas adoptadas. 2. Calidad de las pruebas: la constante posibilidad de recusación provoca que las pruebas se presenten con una precisa documentación y que las afirmaciones de largo alcance se hagan con mutha precaución. 3. Disminuyen las ideas preconcebidas tanto del personal del programa como del evaluador: el método de contraposición hace que las pruebas no sean tendenciosas. 4. Disminuye el síndrome del «SÍ, señor»: el método evita que el evaluador esté siempre de acuerdo con las inclinaciones de quien toma las decisiones. 5. Salen a la luz las predisposiciones más ocultas: el método ayuda a revelar, clarificar y finalmente cambiar las presuposiciones subyacencentes en los puntos de vista opuestos; salen a la luz las premisas de valor y se clarifican las incoherencias. 6. Es de una inevitable franqueza: como resultado, se toman mejores decisiones. Las desventajas de la evaluación contrapuesta. 1. Las diferencias entre las técnicas de los partIcIpantes: la defensa puede conseguir que el lado malo de un caso aparezca más atractivo. 2. Jueces falibles: la capacidad de los jueces es muy variable y las malas decisiones pueden influir en los resultados de una audiencia. 3. Excesiva confianza en la bondad del modelo: el desconocimiento de la ley puede provocar inmerecidos elogios de la eficacia del modelo. 4. Se presta muy poca importancia a los problemas políticos: los evaluadores pueden prescindir de las consideraciones políticas, pero éstas seguirán existiendo sea cual sea la decisión que se tome, lo cual puede desbaratar futuros planes. 5. Tiene dificultades para estructurar la proposición de modo conveniente para la resolución contrapuesta: los problemas no siempre son tratados de manera que sirvan de ayuda para una toma de decisión provisional, puesto que las decisiones se toman a menudo sobre la base de una información completa e interrelacionada. 6. Excesivo coste: casi sin excepciones, la evaluación contrapuesta cuesta más que una evaluación convencional de un programa similar.

bibliográficas

I

311

Un argumento equilibrado: 1. 2.

3. 4.

Pueden proponerse soluciones para muchos de los argumentos expuestos en contra del modelo. Cuando puede conseguirse financiación, la evaluación contrapuesta resulta recomendable, sobre todo si van a evaluarse programas muy amplios. Cualquier estudio que utilice el método de contraposición debe abordarse con muchas precauciones. La utilización de un método abierto y honesto, con la tendenciosidad reducida al mínimo, convierte al modelo en algo único entre todos los demás modelos evaluativos.

']

} ) ) ') ') ')

) ) )

Preguntas sin respuestas En este apartado se proporcionan tres preguntas pero ninguna respuesta. Las preguntas pueden ser utilizadas como temas para deb~te~ o com~ base para un trabajo personal. Quizá prefiera obtener un conOCImIento mas profundo del modelo de contraposición leyendo los artículos y libros recomendados en la bibliografía. De cualquier manera, debe responder a las preguntas basándose en el material contenido en esta unidad y en las precedentes. 1. 2. 3.

¿En qué se diferencia el modelo de contraposición de los primeros métodos evaluativos? ¿Hasta qué punto el modelo de contraposición puede funcionar en armonía con los métodos propuestos por Stufflebeam, Scriven y Stake? Describa tres o cuatro situaciones en las que el método de la contraposición puede ser empleado provechosamente. Basándose en el coste, decida si otro método evaluativo resultaría más útil en cada caso.

)

) ) ) ) ) )

) )

) ) ) )


)

AUERBAC H, c.; GARRISON,L. K.; HURST,W.; y MERMIN,S. 1961. The adversary system. En The legal pl'Ocess, San Francisco, Chandler. FRANKH. N. 1949. Courts on trial. Princeton, N.]., Princeton University Press. KOURI~SKY,M. 1973. An adversary model for educational evaluation, Evaluation Comment 4, 2, junio. LEVlNE,M. 1974. Scientific method and the adversary model, American Psyehologist (septiembre), págs. 666-677. OWENS,T. R. 1973. Educational evaluation by adversary proceedings. En HOUSE, E. R. (comp.), School evaluation: The politics and process, Berkeley, McCutchan. POPHAM, W. James y CARLSON, Dale. «Deep dark deficits of the Adversary Eva-

) ) )

) ) ) )

)

312

I


luation Model», Educational Researcher (junio 1977), American Educational Researeh Association, Washington, D.C. S~RlVEN: M. 1967. The methodology of evaluation. En R. E. STAKE (comp.), Perspectzves o/ curriculum evaluation, Chicago, Rand MeNally. . STAKE, R. E. 1967. The eountenance of educational evaluation, Teachers College Record 68 (abril), págs. 523-540. . STUFFLEBEAM,D.; FOLEY, W.; GEPHART, W.;GUBA, E.; HAMMOND, R.; MERRI. MAN,H.; Y PROVUS,M. 1971, Educational evaluation and decision making, Itásca, m., Peacock. WOLF, R. L. 1974. The citizen as jurist: A new mode of edueational evaluation' Citizen Action in Education (invierno), 4. ~ ~. 1975. Trial by jury. A new evaluation method, Phi Delta Kappan, 57 (noviembre), págs. 185-187.

9

LA EVALUACION ILUMINATIVA: EL METODO HOLISTICO

Para responder a la pregunta de si existen alternativas al modelo evaluativo de Tyler (basado en los objetivos), un grupo de catorce hombres celebró una conferencia en el Churchill College de Cambridge, en diciembre de 1972. La meta de la conferencia era investigar «modelos no tradicionales de evaluación de currículos» y establecer algunas directrices para futuros desarrollos de esta especialidad. Los participantes, que incluían a Robert Stake por los Es- tados Unidos y a David Hamilton, Malcolm Parlett y Barry MacDonald por Gran Bretaña, fueron escogidos por sus conocidas reservas acerca de las prácticas evaluativas establecidas o porque habían sugerido o experimentado nuevos métodos. El resultado de la conferencia fue un manifiesto de objetivos que recomendaba un replanteamiento total de las bases lógicas y las técnicas de los programas evaluativos existentes. Estos conceptos básicos condujeron al desarrollo de lo que se dio en llamar «evaluación iluminativa». De un modo característico, los métodos evaluativos convencionales han seguido las tradiciones experimentales o psicométricas dominantes en' la inves-. tigación educativa. Los evaluadores iluminativos creen que métodos como aquéllos son de un alcance limitado e inadecuado para dilucidar los complejos problemas con que se enfrentan los evaluadores. La evaluación iluminativa se presenta vinculada a un paradigma de investigación antropológica opuesto. Los intentos de valoración de los productos educativos dejan paso a un estudio intensivo del programa como totalidad: su base lógica, su evolución, sus operaciones, sus logros y sus dificultades. La crítica principal que se hace al modelo basado en objetivos es que valora sin explicar, mientras que la metodología iluminativa, contemplando el programa como un todo, utiliza más la descripción que los números.

)

} ') 314

1

Evaluación

Al final de la conferencia de Cambridge a la que nos hemos referido más arriba, los miembros decidieron hacer público el resumen de sus conclusiones. Los puntos de este resumen, aunque hoy en día tienen una resonancia histórica, han resistido y dirigido los senderos seguidos por los evaluadores que están a favor del método iluminativo. Ahora resumimos las principales características de los objetivos y procedimientos de la práctica educativa sobre los que se llegó a un acuerdo en la conferencia: 1.

La evaluación

sistemática

4.

b)

e)

2.

Los esfuerzos futuros para la evaluación de estas prácticas deben satisfacer los siguientes criterios: a) b)

e) d)

3.

Se ha prestado muy poca atención a las prácticas educativas, incluyendo las del aprendizaje. Se ha prestado demasiada atención a los cambios psicométricamente valorables en el comportamiento de los estudiantes. La existencia de un clima investigativo que recompensaba la exactitud de la valoración y la vaguedad de las teorías, mientras pasaba por alto, sin relacionarlos, los problemas escolares y las cuestiones investigativas, y toleraba una comunicación ineficiente entre los investigadores y los que no participaban en ella.

Responder a las necesidades y puntos de vista de las distintas audiencias. Clarificar los complejos procesos de la organización, la enseñanza y y el aprendizaje. Servir a las futuras decisiones públicas y profesionales. Estar expresados en un lenguaje accesible para sus audiencias.

e)

deben utilizar datos de observación cuidadosamente verificados; las evaluaciones deben ser diseñadas con la suficiente flexibilidad como para poder reaccionar ante acontecimientos inesperados; la escala de valores del evaluador, ya la destaque él mismo o venga reflejada en el diseño, debe hacerse evidente para los patrocinadores y las audiencias de la evaluación.

')

a) El a veces conflictivo papel del evaluador, como guía y maestro

')

e)

e)

d: quienes 'toman las decisiones, por una parte, y como especialista técnico y ayudante de las mismas personas, por otra. El grado en que el evaluador, sus patrocinadores y s~s ay~dan.t~s, deben especificar con anterioridad los límites de una lDvestlgaclOn. Las ventajas y desventajas de intervenir en las práctica~ e~~cativas con el propósito de recopilar datos o controlar ~a vanabihdad. de ciertas características, con el fin de aumentar el mve,l de generahzación de los resultados. La complejidad de las decisiones educativas, que, inevitablemente, tienen implicaciones políticas, sociales y económicas. . El grado en que el evaluador debe interpretar sus observaclOnes, en lugar de dejar que las interpreten las distintas audiencias.

Es interesante advertir que la conferencia adoptó una postura muy similar a la que promulgaba Cronbach, a saber, que los distintos diseños evaluativos sirven a propósitos distintos y que, incluso para un solo programa educativo pueden utilizarse muchas planificaciones distintas. D~be usted ser capaz de conocer profundamente el método iluminativo a través del estudio de esta unidad. Al final encontrará ejercicios para comprobar sus conocimientos. Ahora le proporcionaremos la lista de obj~ti~os de la unidad. Estúdielos, lea la unidad y luego realice el test de conOCimientos, comparando sus respuestas con las correctas. Finalmente, haga los ejercicios prácticos, comparando sus respuestas con los puntos principales que ~e proporcionamos, y responda, para terminar la unidad, a las preguntas SlD respuesta.

')

) ')

) )

')

) ) ) ) )

)

) ) )

) ) ) )

Objetivos

Por lo que, cada vez más, a) b)

315

."

d) a)

I

Los que diseñen los estudios evaluativos deben prestar mucha atención a lo siguiente:

b)

Los esfuerzos previos para la evaluación de los programas educativos no han servido adecuadamente, en términos generales, a las necesidades de quienes exigen pruebas de los efectos de estas prácticas. Las razones son las siguientes:

iluminativa

Los objetivos del capítulo son los siguientes:

) ) )

1.

2.

3.

Esbozar algunas dudas acerca de ciertos aspectos de la evaluación tradicional, poniendo el énfasis en los procesos o valoraciones del aprendizaje, el paradigma agrícola-botánico, el método holístico de MacDonald y el concepto de Stake de la evaluación como representación. Entender la evaluación iluminativa como un paradigma socio-antropológico, teniendo en cuenta el contexto de los programas educativos, el sistema de enseñanza y el medio del aprendizaje. Estudiar la organización y los métodos de la evaluación iluminativa por

) )

) )

) ) )

(

(

316

f ( (

(

4.

(

( ( (

5.

I

medio de la consideración de sus principales características, la observación, las entrevistas, los datos procedentes de tests y cuestionarios, y la información documental y los antecedentes. Considerar la elaboración de informes y la toma de decisiones: a quién va destinado el informe, comunicación del espíritu del programa y dilerencias entre los informes. Plantear ciertos problemas sobre la evaluación iluminativa mediante la consideración de las reservas de Stenhouse, las tendencias de los experimentadores y la relación de la evaluación iluminativa con los estudios a gran escala.

( (

( (,

( (

( ( (

( (

( (

( (

« (

l (

,

La evaluación iluminativa


La evaluación tradicional: semillas de duda La importancia del proceso de aprendizaje de la valoración Ya en 1969, Weiss y Rein, interesados por las relaciones del «juego de los números» con la evaluación, afirmaron que, según ellos, una metodología que pretendiera ser más efectiva, debía ser más descriptiva e inductiva. Describiendo la forma más abierta de la intervención experimental, la reacción de los individuos e instituciones sujetos a su impacto y las consecuencias (hasta el punto que les permitieran sus entrevistas y observaciones), se podía aprender mucho acerca de la totalidad del programa. Así, debía ponerse más énfasis en los procesos de aprendizaje que en la valoración por sí misma. Estas afirmaciones, repetidas desde entonces por muchos otros, indican que existía una preocupación por el hecho de que las evaluaciones convencionales basadas en los objetivos no se dedicaron a comprender el proceso educativo. Hablaban en términos de éxito o fracaso, mientras que un programa es más bien la mezcla de ambos, y una mezcla que cambia en cada caso. CRONBACH(1963) pensaba de un modo similar cuando escribió: Los viejos hábitos de pensamiento y las técnicas establecidas no son buenas directrices para la evaluación que requiere el perfeccionamiento de un curso. Tradicionalmente, la valoración educativa se ha preocupado sobre todo de producir calificaciones exactas y precisas para poder comparar a los individuos. La experimentación educativa se ha preocupado de comparar las calificaciones medias de los distintos cursos. Pero la evaluación de un curso exige una descripción de los resultados. Esta descripción debe hacerse con la escala más amplia posible, incluso a costa de la exactitud y precisión, más bien superficiales.

( (

317

El paradigma agrícola-botáníco :Parlett y Hamilton han comparado el método evaluativo de Tyler, bas.a~~ en los objetivos, con un paradigma agrícola-botánico. (T. S. Kuhn descnblO en 1970 un paradigma como «un superconcepto que incluye áreas de problemas, métodos de investigación y normas aceptables para su solución».) Los estudiantes -como si fueran cultivos -son sometidos a pre-tests (la planta joven que es pesada o valorada) y luego sometidos a distintas experiencias (condiciones de tratamiento). Como consecuencia, después de un cierto per~od? de tiempo, los resultados (el crecimiento o la cosecha) se valoran para m~car la relativa eficiencia de los métodos (fertilizantes) utilizados. Los estudios de este tipo están destinados a proporcionar datos de tipo numérico y objetivo que permitan la realización de análisis estadísticos. Variables aisladas como el coeficiente de inteligencia, la clase social, los resultados de los tests, las características personales y la valoración de su actitud, son codificadas y procesadas para indicar la eficiencia de los nuevos currículos, medios o métodos. Estos autores afirmaban, sin embargo, que este paradigma tenía muchos defectos: 1.

2.

3.

t

(

I

4.

Las situaciones educativas están caracterizadas por numerosos parámetros que no pueden ser estrictamente controlados. Si se intenta estimular las condiciones de trabajo por medio de la manipulación, se dará una situación que no sólo será éticamente equívoca, sino que también puede conducir a «grandes molestias administrativas y personales». Los diseños previos y posteriores a la evaluación demuestran que los programas renovadores experimentan pocos o ningún cambio durante el período de estudio. Una premisa raramente asumida en la práctica. De cualquier manera, es algo fundamental para el diseño, puesto que obliga a los investigadores a adaptarse a las circunstancias cambiantes que tan frecuentemente aparecen. Los métodos utilizados en las evaluaciones tradicionales imponen restricciones artificiales y arbitrarias al alcance del estudio. Parlett y Hamilton afirman, por ejemplo, que concentrarse en la búsqueda de información cuantitativa por medios objetivos puede conducir a descuidar otros datos, quizá más importantes para la innovación pero que son rechazados como «subjetivos», «anecdóticos» o «impresionistas». El evaluador, sin embargo, puede necesitar utilizar información de este tipo si quiere explicar satisfactoriamente sus resultados y darles la importancia que tienen en la totalidad del contexto. La investigación de este tipo más reciente, que emplea amplios muestreos y busca generalizaciones estadísticas, suele ser insensible a las «pertur-

)

¡ 318

5.

I

Evaluación

sistemática

baciones locales y a los efectos desacostumbrados». Como consecuencia rara vez se estudian con detalle los resultados atípicos. ' A menudo, este tipo de evaluación fracasa al intentar responder a las distintas preocupaciones y cuestiones de los participantes, patrocinadores y otras partes interesadas. Dado que los evaluadores clásicos creen en la «verdad objetiva» igualmente relevante para todas las partes, sus estudios raramente reflejan la diversidad de cuestiones planteadas por los distintos grupos interesados.

Como afirmaron Par1ett y Hamilton, la evaluación basada en los objetivos es víctima de su propia exigencia de ser exacta, controlada e inequívoca. En el caso concreto de las innovaciones, el programa es vulnerable a múltiples influencias externas, puesto que la definición del evaluador de la realidad empírica es muy limitada. Como consecuencia, el evalUádor puede muy bien desviar la atención de las cuestiones de la práctica educativa y trasladarla a aquellas que son más de la incumbencia de patrocinadores y otros con preocupaciones burocráticas.

MacDonald

y el método holístíco

Al facilitar un método holístico para la evaluación, MacDona1d ofreció una respuesta al paradigma agrícola-botánico. Su postura consistió en que la evaluación no debe empezar por la presuposición de que ciertos datos (como las calificaciones de los alumnos) deben constituir su área de preocupaciones, sino que el evaluador debe aceptar como potencialmente relevantes todos los datos relativos al programa y sus contextos. Afirma que la acción humana en las instituciones educativas difiere ampliamente a causa del número de variables que influyen en ella. Esto se opone a la presuposición adoptada por muchos, según la cual .ocurre realmente lo que se quiere que ocurra, y 10 que ocurre varía muy poco en cada caso. El método holístico también implica que la innovación de un programa no consiste en una serie de efectos discretos, sino en un modelo de actos y consecuencias orgánicamente relacionados. Así, un solo acto puede estar situado funcionalmente en la totalidad de un contexto. MacDona1d afirma que, según esta proposición, las intervenciones en los currículos tienen más efectos inesperados de los que normalmente se supone. Además, si un programa se desarrolla en distintos marcos, las diferencias históricas y evolutivas convierten a la innovación en una variable de gran importancia para la posterior toma de decisiones. Finalmente, el método holístico implica que las metas y los propósitos de quienes desarrollan el programa no deben ser necesariamente compartidas por sus usuarios. MacDonald también se interesa por las audiencias que reciben un informe

La evaluación

iluminativa

I

) 319

')

evaluativo y, particularmente, por aquellas que deben tomar decisiones a partir de él. Considera que el estilo evaluativo tradicional no puede facilitar el conocimiento de las consideraciones implicadas en una acción relacionada con los currículos. Se decanta más hacia el desarrollo de un modelo empírico que por el de un modelo normativo para las tomas de decisiones educativas y sus consecuencias. Esto, lógicamente, es una consecuencia del énfasis que pone MacDona1d en lo que puede ser descrito como un método antropológico para la iluminación de un programa educativo.

I ')

)

) ')

) ')

El concepto de 5take de la evaluación como representación

')

Existen claras semejanzas entre la postura de MacDona1d y la de Stake, particularmente en 10 que se refiere a su concepto de la evaluación como representación y su «evaluación respondente», respectivamente. De un modo similar, en su «figura de la evaluación educacional», Stake aspira a una evaluación «orientada hacia la compleja y dinámica naturaleza de la educación, que preste la debida atención a las diversas propuestas y juicios de todos los que intervienen en su práctica». Después de subrayar las deficiencias de una evaluación basada en los tests tradicionales, que insiste en la exactitud de las calificaciones de cada estudiante y en la previsión de la validez, sugiere que «1a atención prestada a las diferencias individuales entre los estudiantes debe dejar paso a una atención puesta en las contingencias entre los antecedentes, las actividades de clase y los resultados escolares». El concepto de Stake de la evaluación como representación anticipa la noción de iluminación de Parlett y Hamilton. Se trata, igualmente, de una reacción contra la tradición de intentar imponer un férreo control experimental sobre la situación innovadora. Describe la evaluación tradicional como «preordenada», puesto que confía en la preespecificación y destaca la fijación de las metas, la utilización de tests objetivos, normas asumidas por el personal del programa e informes investigativos. Al recomendar la evaluación respondente, Stake explica su postura:

')

La evaluación educativa es una «evaluación responden te» si se orienta más directamente a las actividades del programa que a sus propósitos, si satisface los requisitos informativos de la audiencia y si las distintas perspectivas de valor presentadas están destinadas a dar cuenta del éxito del programa.

)

) ) ) ) )

) ) )

) ) )

) )

) ) )

Stake pone el énfasis, pues, en la presentación de los resultados. Si la evaluación debe estar más dirigida a quienes toman las decisiones que a los investigadores, el evaluador debe intentar describir el progra~--d~,manera que se comunique con la audiencia de un modo más na~!i!t.y':"~a;"'dectivo que en el caso del informe investigativo. '_ . '

) )

) :.::

)

\f"

)

\

(

( ( (

( (

320

I

Evaluación

sistemática

La evaluación

La unidad sobre el trabajo de Robert Stake, desde luego, explica con mucho mayor detalle los métodos «de figura» y «respondente» de evaLación. Lo que se quiere destacar aquí, en el contexto de la evaluación ilumí:1ativa, es la advertencia de Stake acerca de que la información investigativa puede no ser la clase de información útil para quienes toman las decisiones.

(

f ( ( (

(

La evaluación iluminativa: un paradigma socio-antropológico Este apartado y el siguiente tratan extensamente de PARLETTy HAMILTON (1977). En estos dos apartados, los autores comentan un modelo alternativo a las. formas tradicionales de evaluación. Ellos lo han llamado «evaluación iluminativa», un término que surgió de una investigación en el Massachusetts Institute of Technology, en 1969,

(

,(

El contexto de los programas

educativos

Iluminativa

I

321

EL SISTEMADE ENSEÑANZA.Los programas e informes educativos, por lo general, contienen distintos planes y normas formalizadas relativos a acuerdos concretos sobre enseñanza. Cada uno de ellos puede estar concebido para constituir, o definir, un sistema de enseñanza y para incluir una serie de presuposiciones pedagógicas, un nuevo programa de estudios (muy probablemente) y detalles acerca de las técnicas y el material. Un catálogo es una especificación idealizada del esquema, una serie de elementos que forman un plan optimista y coherente. Parlett y Hamilton afirman que el evaluador tradicional se dedica a estudiar las innovaciones definidas. Después de haber examinado el anteproyecto o plan formalizado y haber deducido las metas del programa, los objetivos o los resultados deseados, el evaluador realiza los tests y los inventarios de actitudes que serán aplicados. Su meta es evaluar el sistema de enseñanza examinando si se han alcanzado los objetivos o se han cumplido los criterios de trabajo. Este método tecnológico, sin embargo, fracasa al intentar saber para qué sirven el programa o el informe:

(

(

La evaluación iluminativa tiene en cuenta el amplio contexto en el que funcionan los programas educativos; así, su principal preocupación es la descripción y la interpretación, más que la valoración y la predicción. Parlett y Hamilton afirman: «Es indiscutible que en el paradigma alternativo antropológico no pueden ser ignorados los efectos históricos, culturales y sociales.» Las metas de la evaluación iluminativa son las siguientes:

(

1.

(

( (

<. ( (

( (

{ ( (

, (

t t t (

2. 3.

Estudiar el programa innovador: cómo opera, cómo influye en las distintas situaciones escolares a las que se aplica, sus ventajas y desventajas, y cómo se ven afectadas las tareas intelectuales y las experiencias académicas de los estudiantes. Descubrir y documentar qué significa participar en el esquema, ya sea como profesor o como alumno. Discernir y comentar las características más significativas de la innovación, las concomitancias recurrentes y los procesos críticos.

De esta manera se intenta plantear y clarificar una compleja serie de cuestiones, ayudando al innovador y a otras partes interesadas a identificar aquellos procedimientos y aspectos del programa que pueden conseguir los resultados deseados. Como afirman Parlett y Hamilton, la adopción de una evaluación iluminativa requiere algo más que un intercambio de metodologías (con las tradiciona1es); implica también nuevas suposiciones, conceptos y terminología para comprender la evaluación iluminativa de dos aspectos: el «sistema de enseñanza» y el «medio de aprendizaje».

Ignora el hecho de que un sistema de enseñanza, cuando es adoptado, realiza modificaciones que raras veces son triviales. El sistema de enseñanza puede quedar como una idea compartida, un modelo abstracto, un slogan o un apunte, pero adopta una forma distinta en cada situación. Sus elementos constitutivos son subrayados o ignorados, ampliados o eliminados, puesto que los profesores, los administradores, los técnicos y los estudiantes interpretan y reinterpretan el sistema de enseñanza para su propia utilización. En la práctica, los objetivos se reordenan muy frecuentemente, se redefinen, se abandonan o se olvidan. La formulación «ideal» inicial ya no resulta la más adecuada, ni siquiera tiene ya demasiada importancia. Pocos se toman las descripciones del catálogo y las listas de objetivos en serio, salvo -al parecerel evaluador tradicional. El paso del comentario del sistema de enseñanza en su forma idealizada a la descripción de su realización práctica puede muy bien representar un paso hacia un nuevo reinado. Esto nos conduce al segundo concepto, el medio del aprendizaje. EL MEDIODEL APRENDIZAJE. El medio del aprendizaje es el «ambiente socio-psicológico y material en el que trabajan conjuntamente estudiantes y profesores». Representa una red de variables culturales, sociales, institucionales y psicológicas que interactúan de modos muy complicados para producir, en el interior de los grupos o de los cursos, un único modelo de circunstancias (por ejemplo, presiones, opiniones, conflictos) que cubre todas las actividades de enseñanza y aprendizaje que se dan allí. Según Parlett y Hamilton, la configuración del medio del aprendizaje, en

) ') ') 322

I


cualquier aula concreta, depende de la interacción de muchos factores distintos. Por ejemplo, existen numerosas limitaciones (legales, administrativas y financieras) para la organización de la enseñanza en las escuelas; existen siempre presuposiciones operativas (sobre los acuerdos acerca de los temas los métodos de enseñanza y la valoración de los estudiantes) propuestas po; el profesorado; están las características individuales de cada profesor (experiencia, actitud ante los estilos de enseñanza y aprendizaje y expectativas personales); y están los puntos de vista, necesidades y motivaciones de los estudiantes. Es importante que la diversidad y complejidad de los medios del aprendizaje sean contempladas como una base para un estudio serio de los programas educativos. Cualquier programa, y en particular una innovación, no puede verse como un sistema independiente y autosuficiente. La introducción de una innovación desencadena una serie de repercusiones a lo largo de todo el contexto del aprendizaje. Y muy probablemente, pueden surgir consecuencias inesperadas que afecten a la propia innovación, cambiando su forma y moderando su impacto. Parlett y Hamilton insisten en que intentar relacionar los cambios en el medio del aprendizaje y las experiencias intelectuales de los estudiantes es una de las preocupaciones básicas de la evaluación iluminativa. Como ellos mismos dicen, los estudiantes no deben enfrentarse a un conocimiento «desnudo; sino que éste les debe llegar vestido con textos, lecturas, grabaciones, etcétera». Por su parte, la estructura administrativa está incrustada en estructuras institucionales y de departamentos mucho más amplias, cada una con sus propios procedimientos y sus dependencias profesionales y sociales. Estos aspectos del aprendizaje, aunque aparentemente alejados de la asimilación del conocimiento en las aulas, no deben ser ignorados. Así, el concepto del medio del aprendizaje es necesario para analizar la interdependencia entre el aprendizaje y la enseñanza, puesto que relaciona la organización y las prácticas de la enseñanza con las respuestas de los estudiantes a corto y largo plazo. Además, existen fenómenos de significativa influencia educativa, como el interés del estudiante, la concentración y el aburrimiento, que debilitan la distinción psicológica tradicional entre 10 «cognitivo» y 10 «afectivo». Esto, por lo general, surge en respuesta a la totalidad del medio del aprendizaje, y no a uno solo de sus componentes. Los estudiantes responden tanto al currículo oculto como al visible: asimilan las costumbres, convenciones, cultura y modelos de la realidad de la situación del aprendizaje.


I

323

) )

Organización y métodos de la evaluación iluminativa

') )

Caracteristicas

principales

de la evaluación

iluminativa ')

La evolución iluminativa no es un método regularizado, sino una estrategia de investigación general. Pretende ser adaptable para descubrir las dimensiones, metas y técnicas de la evaluación, y ecléctica para proporcionar al evaluador una serie de tácticas investigativas. Las decisiones acerca de la estrategia que debe ser utilizada en cada caso concreto surgen del pr9blema que debe investigarse. Ningún método se utiliza exclusiva o aisladamente; se combinan distintas técnicas para arrojar un poco de luz sobre un problema común. Inicialmente, como afirman Parlett y Hamilton, la preocupación del evaluador es familiarizarse con la realidad cotidiana del marco en el que está investigando. Este propósito es similar al de los antropólogos sociales o los historiadores naturales. No intenta manipular, controlar o eliminar las variables situacionales, sino abarcar toda la complejidad de la escena:

')

) ')

')

) ) )

)

) Su tarea principal es desenmarañarla, aislar sus características más significativas, esbozar los cidos causa-efecto y comprender las relaciones entre las creencias y las prácticas y entre los modelos de organización y los -modelos de los individuos.

) ) )

Dado que las evaluaciones iluminativas subrayan el examen del programa como una parte integrante del medio del aprendizaje, se pone mucho el énfasis tanto en la observación en las aulas como en las entrevistas con los profesores y estudiantes participantes. Parlett y Hamilton afirman que existen tres etapas características de una evaluación iluminativa:

)

1.

)

2.

3.

La .fase de observación, en la cual se investiga toda la amplia gama de vana bIes que afectan al resultado del programa o la innovación. La etapa de investigación, en la cual el interés se desplaza desde el reconocimiento (de la fase de observación) hacia la selección y planteamiento de cuestiones de una manera coherente y ecuánime, con el fin de realizar una lista sistemática y selectiva de los aspectos más importantes del programa en su contexto. La etapa de la explicación, en la que los principios generales subyacentes a la organización del programa son expuestos a la luz del día y se delinean los modelos causa-efecto en sus operaciones.

Dentro de esta estructura de tres etapas, se recogen informaciones utilizando datos recopilados de cuatro áreas: la observación las entrevistas los cuestionarios y los tests, y las fuentes documentales y sob~e antecedentes.'

) ) )

) ) )

) ) )

) ) ) )

\

( (

( ( ( (

( ( ( ( ( (

( ( ( (

( ( (

( ( ( (

,

(

(

(

l (

( ( (

, (

324

I

Evaluación

La evaluación

sistemática

LA OBSERVACIÓN.La fase de la observación ocupa un lugar central en la evaluación iluminativa. El investigador recopila información continua acerca de las actividades, las transacciones y los comentarios informales. Los datos deben ser organizados allí donde surjan y luego añadirse comentarios interpretativos sobre «las características de la situación, tanto manifiestas como latentes». Además de documentar estas actividades, el evaluador puede también documentar otras muchas, incluyendo reuniones entre el personal, los estudiantes y los padres, las jornadas de la comunidad escolar, etcétera. Esta observación supone grabar discusiones con y entre los participantes para proporcionar información adicional que, de otro modo, debería obtenerse mediante más entrevistas formales. Las convenciones y metáforas del lenguaje que caracterizan las conversaciones de cada medio de aprendizaje pueden revelar presuposiciones tácitas, relaciones interpersonales, diferencias de rango y currículos secretos. Parlett y Hamilton también dicen que existe un lugar para la observación codificada, mediante la utilización de planes para controlar la asistencia, el uso del tiempo y de las facilidades disponibles, las interacciones interpersona1es, etcétera. El evaluador iluminativo debe ser precavido, de todas formas, al utilizar estas técnicas, puesto que no pueden descubrir las características intrínsecas del programa. LAS ENTREVISTAS.Descubrir los puntos de vista de los participantes es muy importante para la valoración de! impacto de un programa. En este proceso, los estudiantes y los profesores son interrogados acerca de su trabajo, comparándolo con su experiencia previa, y también acerca de la utilización y el valor del programa (o innovación). Disponen de una amplia gama de métodos para las entrevistas, pero deben escogerse los más apropiados para obtener el tipo de información o comentarios necesarios. Las entrevistas breves y estructuradas son convenientes para obtener información biográfica o demográfica, mientras que las formas más abiertas y discursivas suelen ser de mucha utilidad para temas menos sencillos. Si la insuficiencia de tiempo y dinero imposi?i1ita entrevistar a cada participante (y esto ocurre con frecuencia), puede. reahzarse una muestra de entrevistas escogidas al azar, teniendo un especial culdado de asegurarse de que los informantes o grupos particulares que mantengan una posición especial o cuyo punto de vista resulte notable estarán incluidos en la muestra ' Los DATOSDE CUESTIONARIOS Y TESTS. Aunque e! evaluador iluminativo se concentra en la observación y la entrevista, no deben olvidarse las técnicas de lápiz-y-pape! que demuestran ser útiles. Sus ventajas en los estudios a gran escala son especialmente evidentes, aunque también pueden utilizarse de manera provechosa en los estudios más reducidos. Cuando se utilicen cuestionarios investigativos en las últimas partes de un estudio para apoyar o cali-

Iluminativa

I

325

ficar algunos resultados tempranos, pueden incluirse preguntas abiertas, junto con preguntas cerradas, con el fin de obtener tanto datos cuantitativos como comentarios inesperados. Los cuestionarios sólo deben utilizarse después de haberlo pensado mucho. Parlett y Hamilton afirman que existen objeciones válidas para ciertos aspectos de los cuestionarios. Su principal preocupación, sin embargo, es que los cuestionarios no se utilicen de forma exclusiva. Par1ett y Hamilton afirman que además de realizar cuestionarios, los participantes pueden también preparar comentarios escritos acerca del programa, elaborar y utilizar listas de controlo recopilar diarios de trabajo por un período de tiempo determinado. Los evaluadores pueden también utilizar tests de actitud, personalidad y logros, aunque éstos no gocen de una condición privilegiada en e! estudio. Las calificaciones de los tests nunca deben ser utilizadas aisladamente. Para dar cuenta de los propósitos, no deben comparar las distintas escalas de los tests, sino utilizar esta comparación en una presentación de los resultados del estudio en su contexto total. INFORMACIÓNDOCUMENTAL Y SOBRELOS ANTECEDENTES.Los antecedentes históricos de un programa deben ser considerados, puesto que no están ahí por azar. Pueden utilizarse las fuentes principales, como los datos confidenciales archivados, junto con relatos autobiográficos y de testigos oculares del programa. Las grabaciones de reuniones y los ejemplos del trabajo de los ~studiantes pueden también resultar útiles, así como la información que puede proporcionar una perspectiva histórica acerca de cómo contemplaron la innovación distintos tipos de gente antes de que empezara la evaluación. Puede también indicar áreas para después investigar o subrayar temas en una discusión más profunda. Igualmente, puede sacar a la luz aspectos de la innovación que de otra manera hubieran quedado ocultos.

El informe y la toma de decisiones

¿Quién recibe un informe? Ya en 1971, MacDonald había desarrollado su método holístico para la evaluación, que estaba basado en la toma de decisiones. Todos los autores y practicantes del estilo iluminativo están de acuerdo en que el propósito principal de los estudios evaluativos es contribuir a la toma de decisiones. El informe del evaluador está dirigido a tres grupos, distintos pero relacionados entre sí, de personas que toman decisiones: los participantes del programa, los patrocinadores o administradores de! programa y los grupos externos interesados, así como investigadores y comités escolares.

) ')

326

I



del espirltu

del programa

Como se ha afirmado al principio, Stake subraya que la tarea del evaluador es comunicarse con una audiencia de una manera más natural y, además, más efectiva que en el informe investigativo tradicional. Esto quiere decir que un informe formal escrito no siempre es necesario y que, de hecho, siendo demasiado formal, puede traicionar sus propios propósitos. Una sobrecarga de datos es, por lo tanto, algo que debe ser evitado en un informe. En cambio, según Stake, «necesitamos describir la complejidad. Necesitamos transmitir la impresión holística, el modo, incluso el misterio, de la experiencia.» La lucha entre el deseo natural del evaluador de reflejar 10 que ve y, por contra, explicarlo o relatarlo es, a veces, muy duro. Por una parte, el evaluador puede querer capturar el aroma íntimo, la complejidad y la idiosincrasia del programa en la vida real, pero también inclinarse hacia una interpretación con el fin de generalizar o buscar modelos o incluso capturar la esencia de 10 que se está estudiando. Las diferencIas

') 327

')

Cada grupo acudirá al informe para que le ayude a tomar decisiones distintas. Por esta razón, el evaluador no puede, incluso aunque se 10 pidan, proporcionar un simple juicio del tipo funcional no funciona acerca del futuro del programa (o la innovación). Puede suceder que una decisión basada en el criterio evaluativo de un solo grupo sea discutida por otros grupos con distintas prioridades.

La comunicación

I

entre los Informes

Una de las principales virtudes de la evaluación iluminativa es su versatilidad. Las diferencias entre los informes es una inevitable y deseable consecuencia de este método. Las evaluaciones tradicionales están construidas sobre requisitos metodológicos, mientras que las evaluaciones iluminativas destacan métodos construidos sobre definiciones de problemas y contratos entre el evaluador y el patrocinador. Estos estudios, por 10 tanto, suelen estar dirigidos a grupos específicos para que puedan ser discutidas las cuestiones y problemas, incluso políticos, que afectan a estos grupos. En el caso de las audiencias múltiples, la tarea del evaluador puede estar dirigida a distintos grupos por medio de secciones específicas del informe. No importa qué forma adopte el informe, con tal de que sea legible, breve e interesante. La evaluación iluminativa, así, destaca más la recopilación de información que la toma de decisiones. La tarea del informe, para quienes toman las deci. siones, es proporcionar un amplio espectro de complejas realidades acerca del programa. De ahí deben surgir discusiones que conduzcan a desenmarañar las complejidades y aislar lo trivial de lo significativo.

) Problemas relacionados con la evaluación iluminativa

')

) Las reservas de Stenhouse Aunque simpatiza totalmente con la crítica del viejo estilo, el de la evaluación del producto, de la que surge el estilo iluminativo, Laurence Stenhouse expresa algunas reservas acerca de este método. Su preocupación es el problema de los criterios, puesto que cree que la postura general asumida por algunos evaluadores iluminativos puede bloquear el progreso de la innovación basada en la investigación. A Stenhouse le parece que los evaluadores iluminativos se preocupan del «valor» o el «mérito» de un currículo o una práctica educativa, pero que sus criterios no son claros y su preocupación por las audiencias y la presentación de los resultados no es más que un enmascaramiento del problema: Aspiran a «contarlo tal como es», y a menudo escriben como si fuera posible a condición de que puedan hacer alguna distorsión de acuerdo con sus propios valores. Pero esto no es contarlo tal como es. Es sólo una creación de significado a través de la utilización de criterios y estructuras conceptuales. La tarea de informar a quienes toman las decisiones en un lenguaje que puedan entender fácilmente puede conducir, con demasiada facilidad, a la importación casual de presuposiciones y criterios sin examinar. La respuesta de la audiencia puede ser seductora, especialmente si la audiencia es políticamente poderosa. Y es demasiado fácil para la evaluación que aspira a ser una novela degenerar en una novelucha. Stenhouse viene a sugerir que un elemento importante en una evaluación adecuada de un currículo es la crítica filosófica. El objeto de esta crítica debe ser revelar el significado del currículo, más que calcular su valor, aunque, naturalmente, la revelación del significado invita a la valoración. De ahí que su preocupación acerca de la evaluación iluminativa se centre en que presta demasiada. atención a las dimensiones políticas de un estudio y a la presentación de los resultados en una forma vívida y aceptable, pero a menudo parcial, 10 cual puede convertir la discusión de estos criterios en «parte de la privacidad de los evaluadores». Afirma que estos problemas son demasiado importantes para que sean contemplados como ~
)

) ") ')

) )

) ) ) )

) ) )

) ) ) ) (

) )

) ) ! )

) I )

) )

, )

:)

( (

328 I



(

( ( ( ( ( (

( ( ( ( ( ( (

La tendenciosidad

experimental

. Parlett. '! Hamilton plantean esta pregunta: ¿puede ser científica una ~ter?!etaclOn ~~r~onal? Ellos saben muy bien (como Stenhouse) que la recopI1~cl0n, el anahsIs y la presentación de los datos por un evaluador iluminativo parecen se~ discretos. Los autores argumentan, sin embargo, como hace St~k~, que mnguna forma de investigación es inmune al prejuicio, la tend~nC1~sl.d~dy :rror humano. Cualquier estudio investigativo, según ellos, reqUler~ JUlC10Stecmcos y, por lo tanto, es vulnerable; incluso en los estudios evalu.atIvo~ ~~e manejan automáticamente datos numéricos procesados, es necesano el JUlCIOen todas las etapas. , ~in em~argo, como admiten Parlett y Hamilton, la amplia utilización de t~:m~as a~ler:as, d~ progresiva concentración y datos cualitativos en la evaluac~on IlummatIva, Slgu~ permitiendo una gran parcialidad por parte del investigador: Enton:es sugIeren una serie de tácticas de precaución. Los asesores evaluativos es~an encargados de poner en duda las interpretaciones preliminares, y los ~Ien:bros del equipo investigativo pueden encargarse de desarrollar sus prop~as. mterpretaciones. Incluso con estas precauciones, persiste el elemento subJetiVO. Parlett y Hamilton afirman que esto es inevitable:

;1

( ( ( ( (

( ( (

, (

Cuando el inves.tigador abandona el paradigma agrícola-botánico, su papel debe. ser neces?namente redefinido. La utilización de las técnicas e intuiciones Interpretauvas es entonces más estimulada que desaprobada. De un modo similar, debe decirse que la presencia del evaluador, inevitablemente, causa su efecto en el desarrollo y evolución del programa. El eva1ua~or debe: por 10 tanto, intentar ser discreto, mantenerse en segundo plano y, SI es pOSIble, n? ser doctrinario. Esto conduce al importante hecho de que el ev~lu~dor .no solo debe tener capacidad intelectual, sino también dominar las tecmcas I?terpersonales. Un evaluador iluminativo busca la cooperación pero, ~o la pId.e. Dado que el evaluador iluminativo recibe datos más ricos y mas mformatIvos que el evaluador tradicional, debe estar alerta para asegurar que las normas profesionales se cumplen constantemente.

( {

t (

( ( ( f

Estudios a gran escala

.. !ambié~ pued~ resp~nderse S~CI?nespecIal hmltarse a las ment~ que la ampha. Basan

a la pregunta de si, teniendo en cuenta la podel mvestIgador, la evaluación iluminativa debe necesariamente innovaciones a pequeña escala. Parlett y Hamilton creen firmeevaluación iluminativa puede ser aplicada a una escala más su presuposición en una serie de puntos, el más importante

I

'329

de los cuales es que el medio del aprendizaje, a pesar de su diversidad, comparte muchas características. AsÍ, la enseñanza se ve a menudo limitada por convenciones similares y los profesores se encuentran con similares grupos de problemas; existe una amplia gama de fenómenos sociales y del comportamiento solapados que son inherentes a todos los programas de enseñanza, aprendizaje e innovación. La evaluación iluminativa puede contribuir a concretar y describir adecuadamente estos fenómenos mediante resúmenes extractados, terminología compartida y conceptos útiles.


Para ayudarle a determinar si ha alcanzado usted los objetivos de conocimiento de esta unidad, este apartado contiene seis preguntas con muchas posibles respuestas y explicaciones de las respuestas correctas e incorrectas. Debe usted seleccionar la letra que considere la mejor respuesta y luego compararla con las que le proporcionamos nosotros. Cuando haya contestado a las preguntas, podrá interpretar su trabajo siguiendo nuestras indicaciones.

PREGUNTA1. ¿Cuál de las siguientes afirmaciones describe mejor el método iluminativo de evaluación? a) b) e)

d)

Una investigación en la que los resultados de un programa se corresponden con las metas y objetivos expuestos. Un estudio centrado en proporcionar información para los principales tipos de decisiones educativas. El descubrimiento del alcance del éxito de un programa mediante la recopilación de todos los detalles admisibles relacionados con él y el debate sobre los méritos de esos detalles. Una investigación de un programa adaptable y ecléctica, en la que el investigador, habiéndose familiarizado con el marco, observa, investiga y luego intenta explicar.

Respuesta correcta. Debe usted haber respondido «d». Aunque no es una definición completa de la evaluación iluminativa, la afirmación contiene los cuatro elementos principales requeridos para una evaluación que utilice ese método, esto es, familiarizarse con el contexto, observar, investigar y explicar.

)

"';'.'. -,

')

i

330

I

Evaluación


b)

e)

Es incorrecta: esta afirmación se corresponde más con el método utilizado por la escuela evaluativa tyleriana, esto es, el «método de los objetivos». Es casi la antítesis de las metas de la evalución iluminativa. Es incorrecta: ésta es la definición de evaluación a la que se adhieren los partidarios de las evaluaciones basadas en las decisiones. Es parecida a la evaluación iluminativa en que la información debe ser presentada a quienes toman las decisiones, pero difiere de ella metodológicamente en muchas y significativas maneras (como indicará una lectura de la unidad dedicada a Stufflebeam). Es incorrecta: esta afirmación se aproxima al método utilizado en la evaluación contrapuesta, según el cual la metodología y el propósito de la investigación difieren marcadamente del método iluminativo.

PREGUNTA2. Dado que la evaluación iluminativa no es un paquete de normas metodológicas sino una estrategia de investigación general, es preciso que el evaluador a) b) e) d)

La evaluación

sistemática

sea flexible en su método, tanto para la planificación como para los procedimientos utilizados en el estudio, intente controlar las variables situacionales, tome decisiones tempranas sobre la naturaleza de las investigaciones que deben ser llevadas a cabo, sea cauto a la hora de formar (o conjeturar) modelos de causa-efecto para las operaciones del programa que se está estudiando.

Respuesta correcta. Debe usted haber seleccionado la «a». Esta afirmación está de acuerdo con el propósito declarado de que una evaluación iluminativa debe ser adaptable y ecléctica. La elección de las estrategias investigativas no debe hacerse a partir de la doctrina investigativa, sino de las decisiones acerca de las técnicas más apropiadas que hay que utilizar en cada caso concreto.

iluminativa

I

')

331

e)

Es incorrecta porque el evaluador iluminativo actúa más como un antropólogo, cuando se ha familiarizado con el marco que está estudiando; ni siquiera intenta manipular las variables. Es incorrecta: el evaluador iluminativo inspecciona el campo con la mente abierta en toda su amplitud antes de seleccionar los temas o aspectos de un programa para estudiarlos más detenida y documentadamente.

)

d) Es incorrecta: el evaluador iluminativo debe esforzarse en descubrir m:delos de causa-efecto en la operación de un programa Y; una v.ez hec o

')

)

esto, situar los resultados individuales en un contexto mas amplio y acla-

'\

ratorio.

')

acerca del papel y P REGUNTA3. <.'Cuál de las siguientes afirmaciones, '1 ., , aeta? la importancia de la observación en la evaluación 1 ummatlva, es mas ex

.')

, ')

e)

El investigador puede o no desarrollar una infor~ació~ continua acerca de todas las actividades, transacciones Y observaclOnes mformales. El valor de la observación consiste en proporcionar una base para organizar la recopilación de datos por otros medios. . . Las observaciones in situ no deben ser influidas por las opmlOnes de los

d)

participantes en el programa. . , '1 . La fase de la observación ocupa un lugar central en la evaluaclOn 1 uml-

a) b)

) ) )

) )

nativa.

)

Respuesta correcta. Debe usted haber seleccionado la «d». La ta~ea principal del evaluador es observar las comp1ejidad.es de la escena Y alslar sus características más significativas, incluyendo los Clclos de causa Y efecto.

) ) )

Respuestas incorrectas a) b)

e)

)

No es la mejor respuesta porque la afirmación no subraya la función central de la observación. No es la mejor respuesta, y sólo es parcialm.ente exacta por~ue, :n la.s evaluaciones iluminativas, los datos observaclOnales son de mteres pnmordial. 1 . , il . . Es incorrecta porque el «dossier» de datos de la eva_Ua~l?n ummatlva se realiza a partir de las discusiones con y entre los partlClpantes. -

) )

) ) I

)

) PREGUNTA4. En lo referente a la recopilación de datos (con técnicas de papel-y-lápiz), ¿cuál de las siguientes opiniones respaldan Parlett y Hamilton?

Respuestas incorrectas b)

,

a) Estas técnicas y su inclusión pueden resultar ventaj.osas. b) Estas técnicas deben ser utilizadas sólo en los estudlos a gran esc~la.. e)

d)

Estas técnicas no deben incluir cuestionarios porque existen objeCIOnes válidas a este método de recopilación de datos. Estas técnicas, como los cuestionarios y los tests, no deben ser empleadas, pero a cambio debe pedirse a los participantes que preparen comentarios escritos y diarios de trabajo.

) ) ~) -t ) I ./

) ) ,)

~)

~ (

. .~f-~ ¡


(

I

(

332

(

Respuesta correcta. Debe usted haber respondido «a». Aunque se ca centra en la observación, el evaluador iluminativo puede utilizar técnI'c ¿n l' . 1 . as e aplZ-y-pape ventajosamente, en particular porque sus resultados analizad pueden apoyar o calificar los resultados de las observaciones y las entrevist as. os

( ( (

c)

No es la mejor respuesta, puesto que esta afirmación puede también ser asumida por muchos evaluadores que utilicen modos de evaluación distintos al iluminativo. Padett y Hamilton, sin embargo; afirman que la evaluación evaluativa, en particular, necesita «normas y comportamientos profesionales».

Respuestas incorrectas PREGUNTA6.

b) Es, i~c~rrecta: aunque !as técnicas de lápiz-y-papel son probablemente

( (

c)

( (

d)

(

c)

el enfrentamiento' entre el deseo del evaluador de reflejar 10 que ve, por una parte, y de explicarlo, por otra, es a menudo muy real, todos los informes deben tener en cuenta la respuesta de la audiencia, que puede conducir a una revisión del informe, el informe final debe ser simple y fácilmente comprensible para las

. d)

audiencias. una diversidad entre los informes es una consecuencia inevitable y de-

a)

b)

seable.

(

PREGUNTA5. ¿Cuál de las siguientes es la principal reserva expresada por Stenhouse acerca de la evaluación iluminativa?

(

a)

( (

b)

( ( (

c)

d)

( ( ( (

, (

Las informaciones están abiertas a distintas interpretaciones (políticas) puesto que las conclusiones no están basadas en datos «férreos». ' Los ~esultados deben ser cuestionados, puesto que la planificación del e~tudlo no es una norma (como, por ejemplo, ocurre en el modelo tylenano). Las opiniones, presuposiciones y experiencia del evaluador pueden influir muy marcadamente en el informe y las subsiguientes decisiones. Est?s evaluadores aspiran a «contarlo tal como es», pero esto no es pOSIble.

Respuesta correcta. Debe usted haber seleccionado la «d». Stenhouse afirma: ~<~o se ~u~de contar tal como es. Esto sólo puede ocurrir mediante la creaCIOn de SIgnificado a trav~s ~e la utilización de criterios aceptados y estructuras conceptuales. Los criterios no examinados y las presuposiciones ca' sualment: adoptadas por el evaluador, conducen a dudas acerca de la validez del estudlO y sus resultados.»

(


(

a)

( (

«

Si es verdad que una de las virtudes de la evaluación ilu-

minativa es su versatilidad, de: ello se deduce que

mas utIles en los estudIOs a gran escala, pueden también ser utilizadas de una manera prove.hosa en los estudios más reducidos. Es incor~ect~; aunque teniendo en cuenta los defectos de este método de r:copl1acIOn de datos, el evaluador puede utilizar cuestionarios, pero no aIsladamente. Es i~co~recta: los comentarios escritos y cosas por el estilo, junto con las teclllcas de papel-y-lápiz, ayudan a completar el banco de información del evaluador iluminativo.

( (

333


( (

I

b)

Es incorrecta porque este punto no constituye una de las críticas de Stenhouse. Es incorrecta por las mismas razones de la respuesta «a».

Respuesta correcta. Debe usted haber seleccionado la «d». Esta afirmación es un importante ejemplo de la versatilidad de la evaluación iluminativa. Los informes, y los consiguientes resultados, están dirigidos a grupos específicos. Así, los diversos informes relativos a un estudio concreto contienen cuestiones, problemas y asuntos políticos importantes para los diversos grupos interesados. i

Respuestas

t

a)

b)

e)

incorrectas

Aunque es una afirmación exacta acerca de la evaluación iluminativa, no es la mejor respuesta, porque no explica la versatilidad del método, que es la marca de fábrica de este tipo de evaluación. No es la mejor respuesta: es dudoso que los evaluadores iluminativos estén dispuestos a cambiar uno de sus informes finales, incluso aunque unos pocos esperan una aceptación universal de sus resultados. Es incorrecta: aunque el informe (o informes) debe ser un escrito que resulte inteligible y atractivo para las audiencias, debe evitarse una simplificación exagerada. Como dice Stake: «La supersimplificación ofusca.»

INTERPRETACIÓN DEL TEST DE CONOCIMIENTOS.Cuando haya realizado el test de conocimientos, cuente el número de respuestas correctas e incorrectas. Le sugerimos que utilice este examen como guía para revisar y perfeccionar su dominio del material presentado en esta unidad.

,

)

¡f I Evaluación sistemática

334


3.

4.

5.

EJERCICIO l. Con referencia ífi lett y Hamilton MacDonald Stskespec ~basa autores como Cronbach, Par' y a e, escn a un ensa bo d 1 vas y d u d as acerca de los mét d d' . . yo es zan o as resera su reevaluación y al . ~ os tdra IClOnales evaluativos que condujeron consIgUIente esarrollo d 1 l' , 1 u respuesta debe incluir esto 1 . . e a eva uaClOn i uminativa. S s e ementos pnnclpales: a) b) e)

d)

6.

7.

La preocupación de Cronbach acerc dI' Parlett y Hamilton y 1 d' a e «Juego de los números». MacDonald 1 ' de par~ I~ma agrícola-botánico. El Y e meto o hohsttco. concepto de Stake de la evaluación como descripción. e)

La respuesta al ejercicio 1 debe incluir los srguzentes . . puntos: a)

-

La preocupación de Cronbach acerca del «juego de los números»: ~a descripción pretende capturar 1 ., .. . tltuciones sujetos a un . t a. ;-eacclOn de los IndIVIduos e insa In ervenClOn experiment 1 d que pueda de la totalidad d 1 a, y apren er lo 2 P . dIe programa . omen o e énfasis en los procesos d' " deben estar destinadas d el aprendIzaJe, las evaluaciones 3. Cronbach expresa su pa compre.~ er e proceso educativo. . reocupaclOn acerca de 1 d" 1 tanoa que se da en la el" a tra IClOna imporva uaClon a la valor ., d . producción de «calificaci aClOn e ucacIOnal y a la individuos». ones exactas y precisas para comparar a los l.

4.

Cronbach insiste en que la descri ción d b escala posible incluso . 11 p. e e hacerse a la más amplia ' SI e o ocasIOna la pérdid d en el f ondo superficial. a e una precisión

b) Parlett y Hamilt on y e1 paradIgma . agrícola-botánico: l. 2.

Parlett y H amI'1ton comparan los est d' . l' con un paradigma agrícol b ,. U lOS eva uatlvos tradicionales P a- otamco or esta razón, los estudios eval '. . . datos de tipo objetivo y n ,. uat1vos tradlclOnales proporcionan umenco para permitir análisis estadísticos.

335

Los autores afirman, sin embargo, que las situaciones educativas están caracterizadas por numerosos e importantes parámetros que no pueden ser controlados estrictamente. Otra crítica es que las planificaciones investigativas anteriores y posteriores asumen que los programas innovadores experimentan pocos o ningún cambio durante el período de estudio, aunque esta premisa

Ejercicios prácticos Esta sección contiene dos ejercicio ,. ha comprendido los dos .s ?racttcos que deben indicar si usted Tras cada ejercicio hay aSl~ectodspnnclpales de la evaluación iluminativa una Ista e puntos que t d d b h b . su respuesta. El examen d us e e e a er incluido en e estos puntos le ayudará a valorar su trabajo.

I

3.

4.

5.

') ) ') ')

programa educativo. Parlett y Hamilton también afirman que la evaluación tradicional ha sido víctima de sus propias exigencias de control y exactitud, puesto que los programas son vulnerables a un gran número de influencias

)

exteriores.

)

El método holístico ofrece una respuesta al paradigma agrícola-bo-

2.

1 1

raramente se confirma en la práctica. Además, las evaluaciones tradicionales imponen restricciones artificiales y arbitrarlas al alcance del estudio, puesto que las anécdotas subjetivas o los datos impresionistas no son tenidos en cuenta. La evaluación tradicional no puede responder a las distintas preocupaciones y cuestiones de los participantes y otros interesados en el

MacDonald y el método holístico: l.

)

tánico. Los evaluadores deben aceptar como potencialmente relevantes todos los datos concernientes al programa y su contexto. El método holístico es un modelo de actos y consecuencias orgánicamente relacionados, de manera que un simple acto puede ser situado funcionalmente en la totalidad de un concepto. MacDonald afirma que los programas pueden tener más efectos inesperados de lo que normalmente se supone, y que los programas desarrollados en distintos marcos pueden evolucionar de manera diferente. MacDonald se orienta más hacia el desarrollo de un modelo empírico que hacia el de un modelo normativo, en lo que se refiere a la toma de decisiones educativas y sus consecuencias.

') ')

")

) ) ) )

) ) ) ) ) ) )

) ) )

d) El concepto de Stake de la evolución como descripción: 1. En su semblanza de la evaluación educativa, Stake propone un estu-

) )

dio que describa la naturaleza compleja y dinámica de la educación, y preste mucha atención a los diversos propósitos y juicios de los 2.

practicantes. Criticando el excesivo énfasis que se le da a la valoración en la educación, Stake sugiere que se debe prestar más atención a las contin-

) )

) )

,

~~

..

f f f

336

gencias entre los antecedentes, las actividades de clase y los resultados escolares. 3. El concepto de Stake de la evaluación como descripción anticipa la noción de iluminación de Parlett y Hamilton; igualmente, destaca la influencia limitadora de la preespecificación y la concentración en unas pocas metas prefijadas del programa. 4. La evaluación responden te se orienta más directamente hacia las actividades del programa que a sus propósitos, y saca a la superficie perspectivas de valor que influyen en el programa. 5. El programa debe comunicar con la audiencia tan natural y eficazmente como sea posible. 6. La advertencia de Stake es que la información investigadora no puede ser el tipo de información útil para quienes toman las decisiones.

( ( ( (

( ( { (

( { (


EJERCICIO 2. Escriba un ensayo acerca de las principales características de la evaluación iluminativa y sus procedimientos (con excepción del informe). Su respuesta debe incluir estos elementos principales:

( a)

(

b)

(

e) d) e)

(

La evaluación iluminativa es una estrategia de investigación general. La fase de observación. La fase de las entrevistas. Los datos de cuestionarios y tests. La información documental y de antecedentes.

{ (

(

1.

2.

(

3. 4.

( ( ( (

, (

3. 4.

5.

e)

5.

La evaluación iluminativa pretende ser adaptable para satisfacer las dimensiones, objetivos y técnicas de la evaluación, y ecléctica para poner a disposición del evaluador diversas tácticas de investigación. La elección de la estrategia que deberá utilizarse surge del problema que debe investigarse. Ningún método deberá utilizarse exclusiva o aisladamente. El evaluador no intenta manipular, controlar o eliminar las variables situacionales, sino que abarca tal cual toda la complejidad de la escena.

337

La fase de observación ocupa un lugar central en la evaluación iluminativa. El investigador recopila continuamente informes de actividades, transacciones y comentarios informales. El evaluador también documenta una amplia variedad de otros acontecimientos, como las reuniones. . . Se graban las discusiones con y entre los participantes, y se Identifican las convenciones y metáforas del lenguaje. ., Parlett y Hamilton creen que hay también lugarpar~ la o~serVaCl~? codificada, que utiliza planes para el control de la aS.IstencIa,.l~ uuhzación del tiempo y las facilidades, etcétera. Esta mformaclOn, Sltl embargo, debe ser usada con precaución, puesto que no es probable que descubra las características subyacentes del programa.

La fase de las entrevistas: 1. 2.

La evaluación iluminativa es una estrategia de investigación general:

(

{

2.

4.

(

{

1.

3.

a)

I

b) La fase de observación:


( (

La evaluación Iluminativa

Descubrir los puntos de vista de los participantes resulta crucial para la valoración del impacto del programa. . Los que participan en el curso son interrogados acerca de su trabajO y también acerca de su punto de vista sobre la utilidad y el valor del programa. . El tipo de entrevista escogida debe ser la más apropIada para obtener el tipo de información o comentarios deseados. Las entrevistas estructuradas y breves son convenientes para obtener información biográfica o demográfica, mientras que las formas más abiertas y discursivas se utilizan para temas menos sencillos.

d) Los datos de cuestionarios y tests: 1. Aunque se concentre en la observación y las entrevistas, el evaluador

2.

3.

El evaluador se esfuerza por delinear ciclos de causa-efecto y relaciones entre las creencias y las prácticas. 4.

5.

iluminativo no debe rechazar las técnicas de papel-y-lápiz que demuestren ser útiles. Su ventaja para los estudios a gran escala es evidente (aunque también pueden ser utilizados en estudios reducidos). Los resultados de los cuestionarios pueden ser utilizados más tarde en un estudio para justificar o calificar los resultados provisionales más tempranos. Los cuestionarios sólo deben ser utilizados después de haberlo pensado mucho (y nunca en exclusiva). Además de contestar los cuestionarios, los participantes pueden tam-

.

)

") 338

I

6.

e)

Evaluación

Referencias

sistemática

2.

3.

bién preparar co~e~tarios escritos trabajo de. s.us actIvIdades durante ~uede~ .utI~Izarse tests. ~~ actitud, SIDpnvIleglar su condlClOn dentro ladamente).

acerca del programa o diarios de cierto período de tiempo. de personalidad y de logros (pero del estudio, y tampoco nunca ais-

Los antecedentes históricos de un programa deben ser registrados, pues no están ahí por azar. P.ueden utilizarse las fuentes principales, como los datos confidenCIales archivados, junto con los relatos autobiográficos y de testigos oculares acerca del programa. Las g.rabaciones de las reuniones y los ejemplares del trabajo de los estu?iant~s ?~eden también ser útiles para proporcionar una perspectIVa hIstonca.

Preguntas sin respuesta En esta sección proporcionamos tres preguntas y ninguna respuesta. Las preg~nta~ p~e.den ser utilizadas como temas para debates o como base para tr~baJos IndIVIduales. Antes de abordar estas preguntas, quizá desee estudiar ~as a fondo la evaluación iluminativa leyendo ciertos apartados del tercer lIbro. de la bibliografía, Beyond the Numbers Came, recopilado por David HamIlton. y otros.~in embargo, las preguntas deben responderse sobre la base del matenal contenIdo en esta y otras unidades. 1.

2.

«Los evalua~ores de la tendencia tyleriana, como Hammond y Michael y Metfe.ss~l, Informan de los resultados de los estudios evaluativos de un mod.~ dIstInt.o a los evaluadores del estilo iluminativo.» Discuta esta af1rmaClOn, p~Dl~~do un énfasis especial en la comparación de los métodos de comUDlcaClOn. ¿~uál~s son algunos de los problemas relacionados con la evaluación ilumInatIVa? ¿Existen métodos satisfactorios para solucionar estos problemas, o acaso la evaluación iluminativa está condenada al fracaso por su causa?

3. iroponga

I

339

") ")

La información documental y de antecedentes: 1.

bibliográficas

un, pro~~ama hipotético e innovador para evaluarlo. Compare b~ metodologIa ut~lIzada por un evaluador tradicional con la que probaemente emplean a un evaluador iluminativo. Diga por qué un método puede resultar más convincente que otro para la toma de decisiones.

") Referencias bibliográficas CRONBACH,1. J. 1963. Course improvement through evaluation. Teachers College Record, 64 (8), págs. 672-683. HAMILTON,D. F. Y DELAMONT,S. 1974. Classroom research: A cautionary tale, Research in Education, 11 (mayo), págs. 1-16. HAMILTON,D. y otros (comp.). 1977. Beyond the numbers game, Londres, MacMillan Education. HASTINGS, J. T. 1966. Curriculum evaluation: The why of the outcomes, Journal o/ Educational Measurement, 3 O), págs. 27-32. HOUSE,E. R. 1972. The conscience of educational evaluation, Teachers College Record, 72 (3), págs. 405-414. MAcDoNALD,B. 1971. The evaluation of the Humanities Curriculum Project: A holistic approach, Theory into Practice, 10 (3), págs. 163.167. -.1973. Humanities curriculum project. En Evaluation in currículum development: Twelve case studies (Schools Council Research Studies), Macmillan Education. PARLETT,M. R. 1972. Evaluating innovations in teaching. En H. J. BUTCHERy E. RUDD (comp.), Contemporary problems in research in higher education, Nueva York, McGraw-Hill. PARLETT,M. R. Y HAMILTON,D. 1977. Evaluation in illumination: A new approach to the study of innovative programmes». En D. HAMILTONy otros (comp.), Beyond the numbers game, Londres, MacMillan Education. SCRlVEN,M. 1967. The methodology of evaluation. En R. W. TYLER,R. M. GAGNE, Y M. SCRlVEN,Perspectives o/ curriculum evaluation (American Educational Research Association Monograph on Curriculum Evaluation n. 1), Chicago, Rand McNal1y. STAKE,R. E. 1974. Responsive evaluation. New Trends in Evaluation, 35 (enero), págs. 41-73 (Instituto de Educación, Universidad de Goteborg). STUFFLEBEAM, D. 1. Y GUBA,E. 1968. Evaluation: The process of stimulating, aiding and abetting insightful action. Conferencia para el Segundo Simposio Nacional de profesores de Investigación Educativa, celebrado el 21 de noviembre, en Boulder, Colorado, Centro de Educación, Facultad de Evaluación, Universidad del Estado de Ohio. STUFFLEBEAM, D. 1. y otros (Phi Delta Kappa National Study Committee on Evaluation). 1971. Educational evaluation and decision making, !tasca, m., Peacock. SUCHMAN,E. A. 1967. Evaluative research, Nueva York, Russel1 Sage Foundation. TAWNEY,David (comp.). 1976. Curriculum evaluation today, Londres, MacMillan Educatíon.

") ') ')

') ')

') ')

') ')

)

) ) )

) ) ) )

) ) ) ) )

) )

) )

)

) )

)

L

r:

e e

f;

(f

e (" ( ( ( ( ( (

( ( ( (

( ( ( (

, (

(

(.

1 1

r

¡

!l'

10

EL METODO EVALUATIVO DE SCRIVEN ORIENTADO HA.CIA EL CONSUMIDOR

.-r

l'

l'

¡: I 1<

I

r

1

! f

I

t

l.

!

El verdadero papel del evaluador, según Michael Seriven, es el de un «sustituto informado del consumidor». Provisto de técnicas para obtener una información pertinente y exacta, y con un punto de vista profundamente razonado acerca de la ética y el bien común, el evaluador debe ayudar a los profesionales a proporcionar productos y servicios de alta calidad y gran utilidad para los consumidores. y lo que es aún más importante, el evaluador debe ayudar a los consumidores a identificar y valarar los bienes y servicios alternativos. Scriven ha sido muy crítico con las ideologías evaluativas que se centran en alcanzar los objetivas de las participantes en lugar de satisfacer las necesidades de los consumidares. Par ello ha prapuesta ciertas canceptas Y métadas destinados a desplazar a la evaluación desde los objetivos hasta las necesidades. La evaluación sumativa puede servir para que los administradares decidan si el currículo completa, terminado, pulida por la utilización del praceso evaluativo en su primera forma (formativa), representa un avance lo suficientemente significativa sobre las alternativas disponibles, como para justificar los gastos de su adopción por parte de un sistema escolar.

(;. (

, (.

(t.

". (.

, (.

Michael Scriven es un filósofo científico que ha contribuido ampliamente al desarrollo de la profesión evaluativa. Ha criticado duramente tanto las clásicas como las más recientes conceptua1izaciones de la evaluación. Desarrolló su concepción de la evaluación sobre una postura filosófica básica y ha desarrollado conceptos y métodos para ayudar a articular y aplicar sus conceptos. También ha sido uno de los pioneros en el esfuerzo de profesionalizar el trabajo evaluativo. Nació y creció en Victoria (Australia). Se licenció en matemáticas aplicadas

)

'l ) 342

I


y lógica simbólica en la Universidad de Melbourne y comp>tó su doctorado en Filosofía de la Ciencia en la Universidad de Oxford. De,,;--;npeñó funciones profesionales en la Universidad de Minnesota desde 1952 a 1956, en el Swarthmore College de 1956 a 1960, en la Universidad de Indiana desde 1960 a 1965, en la Universidad de California en Berkeley de 1965 a 1975 y en la Universidad de San Francisco desde 1975 a 1982. En el momento de escribir estas páginas es profesor titular en la Universidad de Western Australia, en Perth. Hemos decidido designar el método del doctor Scriven como «evaluación orientada hacia el consumidor» con el fin de caracterizar su método filosófico básico. Ha definido la evaluación como la valoración sistemática del valor o el mérito de las cosas, y ha subrayado que los evaluadores deben ser capaces de llegar a juicios de valor justificables más que de medir cosas o determinar si las metas han sido alcanzadas. En lugar de aceptar las metas propuestas, un evaluador, según Scriven, debe juzgar si el hecho de alcanzar las metas puede contribuir al bienestar de los consumidores. Independientemente de las metas, el evaluador debe identificar los resultados reales y calcular su valor desde el punto de vista de las necesidades del consumidor. Para Scriven, la función profesional del evaluador es la de un «sustituto informado del consumidor», y la «piedra angular de la ética profesional en el trabajo evaluativo» es funcionar como una conciencia social informada. Su método evaluativo práctico, por lo general, consiste en identificar y ordenar los programas y productos opcionales disponibles para los consumidores, basándose en su coste relativo y en la consideración de las necesidades de los consumidores. A menudo ha declarado que la revista Consumer Reports es un ejemplo de lo que debe hacer la evaluación profesional. En esta unidad, resumimos y comentamos las contribuciones teóricas, metodológicas y profesionales del doctor Scriven. Su valoración crítica de los métodos alternativos también se define y comenta. Hablamos de su conceptualización formativa-sumativa y definimos sus principales conceptos de trabajo. Su ataque de 1983 a las ideologías evaluativas establecidas y algunas de sus sugerencias metodológicas también son comentados aquí. Concluimos el capítulo mencionando sus logros mediante la fundación de la Evaluation Network y de Evaluation News. Ahora reseñaremos los objetivos de la unidad. Por favor, revíselos, lea el texto correspondiente, y realice el test de conocimientos y los ejercicios prácticos que aparecen al final de la unidad. Valore sus respuestas comparándolas con las correctas y, si alguna de ellas es incorrecta, revise las secciones pertinentes de la unidad. Quizá desee investigar por su cuenta realizando las «Preguntas sin respuesta» (o discutiéndolas con sus estudiantes o colegas) y consultando las fuentes de información acerca del trabajo del doctor Scriven que proporcionamos al final de la unidad.

1

El método evaluativo de Scriven

\ 343

")

"'l Objetivos Esta unidad pretende ayudarle a alcanzar los siguientes objetivos: 1. 2.

3. 4.

5.

Identificar y explicar la definición de evaluación de Scriven: Identificar y valorar sus críticas sobre los conceptos evaluatIVOs de Tyler y Cronbach. ., Explicar su postura acerca del papel del juicio e~ la evaluaclOn., Explicar la función de la valoración de las ~~cesIdad:s e~ ,su metodo. Explicar sus diferenciaciones entre evaluaclOn y. ~stImacIon de~, logro de las metas, la meta y las funciones de la evaluaCIon, l~ ~valuaclOn for~,ativa y la sumativa, la evaluación intrínseca y la deCISIVa,.~a evaluaclOn basada en las metas y la evaluación sin metas, y la evaluaclon y la meta-

evaluación. . , 'd ifi 6. Comentar la lista de control de los indicadores de la evaluaclOn I ent cando la base lógica que le sirve de guía, enumerando y de~niendo ~us etapas, y explicando cómo se relaciona la concepción ~?rmatlva-sumatlva con la lista de control de los indicadores de la evaluaclOn. 7. Explicar sus valoraciones de las ideologías valorativas denominadas separatismo, positivismo, administración y relativismo. .,. , 8. Definir su papel y sus principales contribuciones en la profeslOnalIzaoon de la evaluación. Pueden alcanzarse estos objetivos con la simple lectura del material de esta unidad. Para enriquecer su comprensión de las ideas de Scriv:n, sin embargo, estudie sus escritos originales, especialmente los ~ue menclO~amos a~ final de esta unidad. Buena parte del material que publIcamos aqUl no esta disponible en la literatura publicada y refleja la relación laboral que el autor mantuvo con el doctor Scriven durante más de diez años.

) ) ") ")

") ") ") ")

) ) ) ) ')

) ) ) ) ) ) )

) La definición de evaluación A 10 largo de los años, el doctor Scriven ha ido des~rrollando su d~finición de evaluación, pero su mensaje básico sigue siendo el mIsmo. En un a~t~culo ya clásico (l967), definía la evaluación como una actividad metodologlca q~e «consiste simplemente en la recopilación y combinación de datos de tra~aJo mediante la definición de unas metas que proporcionen escalas comparatlvas o numéricas con el fin de justificar 1) los instrumentos de recopilación de datos, 2) las' valoraciones y 3) la selección de las metas». Al discutir la evolución de su definición de evaluación, le hemos oído decir a menudo que la evaluación, esencialmente, es la determinación sistemática y objetiva del valor o

) )

) ) ) ) )

)

)

, (

f

344

I

( (

( { ( ( ( (

el mérito de algún obj~to, y qu~ las evaluaciones se realizarán mejor contra .. ta~do a u~ evaluador mdependlente para que emita un juicio sobre algún objeto b~sando~e .en pruebas acumuladas procedentes de su comparación con otro,s objetos dIstIntos ~ la hora de satisfacer las necesidades del consumidor. Se?un est~ punto de vIsta, la evaluación es preferentemente comparativa: de ahí que a~enda ta.nto a los ~ostes comparativos como a los beneficios, se preocupe ~e como satIsfacer mejor las necesidades de los consumidores sea -en e! meJ~r. de los casos- un~ actividad profesional que incluye proc~dimientos sIste~atlcos, . d.e~a ser realIzada tan objetivamente como sea posible y deba culmmar en JUICIOSy recomendaciones.

( (

( ( (

( { ( ( ( ( (

( ( (

, (

(

( (

t ~

, t



Crítica de otras tendencias Teniendo en cuenta la definición precedente, Scriven ha criticado durament~ otros co~ceptos de evaluación y ha utilizado su análisis crítico para ampliar su propIa p.~stura. Ha afirmado que la tradición tyleriana -que considera que la evaluaclOn debe determinar si los objetivos han sido alcanzadoses fundamenta~mente imperfecta, porque esencialmente no tiene valor. Cree que las evaluaCIOnes basadas en este método son potencialmente inútiles, puesto qu: las metas pro~uestas pueden ser inmorales, poco realistas, no representatIvas de las necesIdades de los consumidores o demasiado limitadas como para prever efect~s sec~ndarios posiblemente cruciales. En lugar de utilizar las me~as para gUlar y Juzgar los efectos, Scriven afirma que los evaluadores deben J~zgar las metas y no dejarse limitar por ellas en su búsqueda de resultados. SI el p.rograma está guiado por metas meritorias, según él, los evaluadores deben Juz.gar las metas y no dejarse limitar por ellas en su búsqueda de resultados. SI el programa está guiado por metas meritorias según él los evalu~dores deben identificar todos los resultados de un progra~a, valora~ las necesldad.es de los consumidores y utilizar series de valoraciones para llegar a concl~slOnes a~~rca del mérito y el valor de los programas. Scn~~n, tambI~n. se enfrent~ al plan ofrecido por CRONBACH(1963). Cronbach C~I~ICO la practica predommante de la evaluación de programas utilizando tests tIpIficados pa~~ comparar el trabajo de los grupos de control y experimentales, y acon~eJo el uso de un método más orientado hacia el desarrollo. Cron~ach advertIa en contra de la utilización exclusiva de las planificaciones e~penmentales co~parativas y sugería que debían utilizarse distintas valoraClOnes para estudIar un programa concreto en profundidad mientras se iba desarrollando, .Y que. los resultados debían ser utilizados como guía para el ~es~r,rollo. Scnven dIce que este plan de Cronbach olvida la importante distmclOn en~~e la meta y las funciones de la evaluación, y, de hecho, identifica la e~~luaclOn ~on una sola de sus funciones, lo que Scriven denomina «evaluaclOn formatIva». Apoyándose en su crítica, SCRIVENamplió el concepto de

evaluación en otro de sus artículos clásicos, «The Methodology tion» (1967).

I

345

of Evalua-

Evaluación formativa y sumativa En este artículo, Scriven afirma que la principal responsabilidad del evaluador es emitir juicios bien informados. Insiste en que la meta de la evaluación es siempre la misma: juzgar el valor. Pero, continúa, las funciones de la evaluación son enormemente variadas. Pueden «formar parte de la actividad de la enseñanza, del proceso de elaboración de currículos, de algún experimento relacionado con el perfeccionamiento de la teoría del aprendizaje, de una investigación preliminar a la decisión acerca de la compra o rechazo de los materiales ... », etc. Dice que el fracaso de distinguir entre la meta de la evaluación (juzgar el valor de algo) y sus funciones (utilizaciones constructivas de los datos evaluativos) ha conducido a la adulteración de 10 que se ha dado en llamar evaluación, para que ya no vuelva a alcanzar la meta de calcular el valor. En otras palabras, dice que, demasido a menudo, los evaluadores, al intentar ayudar a los educadores a mejorar sus programas, se han convertido en cooperadores y han fracasado al juzgar los programas. Para Scriven, una valoración objetiva del valor es la condición sine qua non de la evaluación. Con la importancia suprema de la meta de la evaluación firmemente establecida, Scriven procede a analizar las funciones de la evaluación. Concluye que existen dos funciones principales: la formativa, que ayuda a desarrollar programas y otros objetos; y la sumativa, que calcula el valor del objeto una vez que ha sido desarrollado y puesto en el mercado. La evaluación formativa es una parte integrante del proceso de desarrollo. Proporciona información continua para ayudar a planificar y luego producir algún objeto. En la elaboración de currículos soluciona ciertos problemas acerca de la validez del contenido, el nivel del vocabulario, la utilidad, la propiedad de los medios, la durabilidad de los materiales, la eficiencia, la elección del personal y otras cuestiones. En general, la evaluación formativa se realiza para ayudar al personal a perfeccionar cualquier cosa que esté operando o desarrollando. En su función sumativa, la evaluación «puede servir para ayudar a los administradores a decidir si todo el currículo ya finalizado, pulido mediante la utilización del proceso evaluativo en su primera forma: (formativa), representa un avance sobre las otras alternativas disponibles lo suficientemente significativo como para justificar los gastos de su adopción por parte de un sistema escolar». La evaluación sumativa, por 10 general, debe ser realizada por un evaluador externo para que aumente la objetividad, y los resultados deben hacerse públicos. Este tipo de evaluación investiga todos los efectos de los objetos y los examina comparándolos con las necesidades de los consumidores.

) ") 346

I


Compara los costes y efectos del objeto con los de aquellos que Scriven ha llamado competidores críticos, especialmente las alternativas más económicas. En caso de que la audiencia esté predispuesta a juzgar sólo los resultados comparándolos con las metas propuestas, la evaluación sumativa proporciona juicios acerca de hasta qué punto las metas reflejan, de una manera válida, las necesidades valoradas. En conjunto, la evaluación sumativa sirve a los consumidores proporcionándoles valoraciones independientes que comparan los costes, los méritos y los valores de los distintos programas o productos.

1


I

') 347

') en el trabajo o el estado de salud. Scriven reconoce la impo~tancia de. la evaluación intrínseca, pero destaca que también deben determma.rse y Juzgarse los resultados, puesto que las relaciones causales entre las vanables del proceso y las de los resultados es rara, o ninguna, la v~z ~n que se conocen a ciencia cierta. Explica que ambos tipos pueden contnbult, ~anto a la e:,aluación formativa como a la sumativa. Es particularmente cnUco con las Juntas acreditadas, a causa de su preocupación por los criterios intrínsecos,. como el número de libros de una biblioteca, y su fracaso al valorar el trabajO de los graduados.

Evaluación intrínseca y evaluación final Scriven también distingue entre evaluación intrínseca y evaluación final. La evaluación intrínseca valora las cualidades de una mediación, sin tener en cuenta los efectos sobre los clientes, juzgando ciertas características como las metas, la estructura, la metodología, las cualificaciones y las actitudes del personal, las facilidades, la credibilidad pública y los informes previos. La evaluación final no se preocupa de la naturaleza del programa, de los libros de texto, de la teoría o de cualquier otro objeto, sino más bien de sus efectos sobre los clientes. Estos efectos pueden incluir escalas de tests, rendimiento

) ) ')

'> '> ')

Evaluación amateur contra evaluación profesional En las primeras etapas de la elaboración de un currículo, Scriven prefiere la «evaluación amateur» (autoevaluación) a la «evaluación profesional». Quienes han desarrollado un programa, cuando actúan como sus propios evaluadores, pueden ser un poco sistemáticos y subjetivos, pero también son solventes, tranquilizantes, dedicados a la consecución del éxito y tolerantes con los objetivos vagos y los procedimientos de desarrollo investigativo. Los evaluadores profesionales, si intervienen demasiado pronto, pueden «ahogar los fuegos creativos de un grupo productivo», retardar el proceso de desarrollo urgiendo a la clarificación de los objetivos o perder su punto de vista objetivo alineándolo demasiado con el esfuerzo productivo, entre otras cosas. Los evaluadores profesionales son necesarios, sin embargo, para llevar a cabo las evaluaciones formativa y sumativa durante las últimas etapas del desarrollo. Ambos tipos de evaluación requieren un alto nivel de habilidad técnica y una objetividad que raramente posee el personal que interviene en el desarrollo, pues no está especialmente preparado en la teoría y metodología evaluativas. Scriven recomienda que un evaluador profesional sea incluido en el personal que interviene en el desarrollo para llevar a cabo la evaluación formativa, y aconseja muy a menudo que los evaluadores profesionales externos sean los encargados de realizar y presentar las evaluaciones sumativas.

')

La evaluación sin metas Dando un paso más en su amplia preocupación por la evaluación .bas~~a en las metas, Scriven presenta una propuesta contraria bajo la denommaclOn de «evaluación sin metas». Según este método, el evaluador p~rman~ce a propósito ignorante de las metas fijadas para el programa. e .mvesuga t~os los efectos de un programa, independientemente de sus obJetlvos. No exlsten efectos secundarios que examinar, puesto que los datos acerca de todos l~s.efectos, cualquiera que sea el propósito del programa, son igual~ente adm1S1bles. Si un programa se realiza como se supone que debe reahzarse, la evaluación debe confirmar esto, pero el evaluador, a la vez, podrá descubrir los efectos inesperados que los evaluadores que se bas~n en las metas. pueden olvidar a causa de su preocupación por las metas prefijadas. En cualqUIer.caso, Scriven dice que la evaluación sin metas es reversible y complementana: se puede empezar sin metas, con el fin de investigar todos los efectos." y luego cambiar el método basado en las metas para asegurar que la evaluacl0n determinará si las metas han sido alcanzadas. O incluso pueden realizarse simultáneamente ambos tipos de evaluación por diferentes evaluadores. Las ventajas de la evaluación sin metas, según Scriven, consisten en que es me~os intrusiva que la evaluación basada en metas; más adaptable a los camblOs de metas repentinos; más solvente a la hora de encont.rar efecto~ .secund~ríos; menos propensa a la tendenciosidad social, percepttva o cogntttva; mas estimulante profesionalmente; y más equitativa a la hora de tener en cue?;a una amplia gama de valores. En general, nosotros creemos que la evaluaClon sin metas' es una técnica renovadora -no un modeloque puede ayudar a llevar a cabo el método evaluativo orientativo hacia el consumidor.

'> '> ) ) ) )

) ) )

) ) ) ) )

) ) )

) )

Valoración de las necesidades

) )

Una de las dificultades de utilizar la evaluación sin metas se refiere a cómo asignar un significado valorativo a los resultados. Si los objetivos se identi-

) )

)

, (

f (

( ( ( { ( ( ( ( { { { ( ( ( (, ( ( ( (

( (

348

I

hcan sin hacer caso de 10 que se está tratando de lograr, ¿cómo se puden separar las consecuencias deseadas de las indeseadas? La respuesta de SC[~ven es que deben compararse los resultados observados con las necesidades valoradas de los consumidores. Pero si una necesidad es una discrepancia entre algo real y algo ideal, y si un ideal es una meta, ¿no están las valoraciones de las necesidades basadas en metas, y, por 10 tanto, no están también las evaluaciones sin metas basadas en metas? Scriven dice que no. Para empezar las metas no deben coincidir necesariamente con cualquier grupo de ideales co~o los incluidos en una democracia. En cualquier caso, afirma que la concepción clásica de la necesidad, como discrepancia entre algo real y algo ideal, es errónea, puesto que los ideales a menudo son ilusorios. Dado que las necesidades de los consumidores son un concepto fundamental en este método, sus estudiantes y él conceptualizaron ampliamente e investigaron este concepto. Para Scriven, una necesidad es «cualquier cosa que sea esencial para un modo satisfactorio de existencia, cualquier cosa sin la cual este modo de existencia o nivel de trabajo no puede alcanzar un grupo satisfactorio». Los ejemplos que utiliza, por lo general, son la vitamina C y la alfabetización. Cuando no dispone de esto, una persona puede estar físicamente enferma o social e intelectualmente debilitada; de ahí que la persona 10 necesite. Para Scriven, la valoración de las necesidades es un proceso para descubrir hechos acerca de si no proporcionar o arrebatar ciertas cosas puede tener funestas consecuencias, todo ello basado en normas razonables sobre lo que es bueno y 10 que es malo. Dados los resultados de una valoración de necesidades, pueden juzgarse los resultados de un programa concreto como buenos, malos o indiferentes, dependiendo de si contribuyen o no a satisfacer las necesidades identificadas. Según nuestra experiencia, este argumento es, actualmente, más convincente en el terreno filosófico que en el práctico. Se necesita un alto grado de desarrollo en el nivel técnico antes de que la valoración de las necesidades pueda producir significados factibles y apropiados para juzgar los resultados.

(

(

La lista de control de indicadores de la evaluación

( (

( (

t

, l

f



La lista de control de indicadores sintetiza las primeras ideas de Scriven. Refleja su concepto de que la evaluación supone múltiples dimensiones, debe emplear múltiples perspectivas, introducir múltiples niveles de valoración y utilizar múltiples métodos. De ahí que se haya referido a veces a la lista de control de indicadores como el multimodelo de evaluación. Sus dieciocho puntos son los siguientes:

1.

I

349

Descripción. ¿Qué hay que evaluar? El evaluado, descrito tan objetivamente como sea posible. ¿Cuáles son sus componentes? ¿Cuáles son sus relaciones? 2. El cliente. ¿Quién ha encargado la evaluación? El cliente evaluativo, que puede o no ser el iniciador de la investigación evaluativa, puede o no ser el instigador del evaluando -por ejemplo, su fabricante, o la agencia subvencionadora, o su padrino legislativo-- y puede o no ser su inventor -por ejemplo, el planificador de un producto o programa. 3. Antecedentes y contexto de a) el evaluando y b) la evaluación. Incluye la identificación de los mantenedores (incluyendo los no-clientes enumerados en el punto 2, el patrocinador, los representantes de la comunidad, etc.); la presunta naturaleza del evaluando; las expectativas acerca de la evaluación; el tipo deseado de evaluación (formativa o sumativa; esquemas organizativos; esfuerzos prioritarios, etc.). 4. Recursos ({sistema de ayudas» o ({valoración de los efectivos») a) disponibles para la utilización del evaluando, b) disponibles para la utilización de los evaluadores. No se trata de lo que se utiliza, por ejemplo, en las compras o el mantenimiento, sino de 10 que puede utilizarse. Incluye el dinero, la habilidad, la experiencia previa, la tecnología y las consideraciones sobre la flexibilidad. Esto es lo que define el nivel de viabilidad. 5. Función. ¿Qué hace el evaluando? Distinguir entre 10 que se supone que hace -función o papel propuesta o declarada- y lo que de hecho hace (función real, tanto para el evaluador como para el consumidor); ambas cosas pueden incluirse en la descripción, pero, por 10 general, es mejor tratarlas aparte. ¿Existen dimensiones, aspectos o componentes obvios de estas funciones? 6. Sistema de distribución. ¿Cómo llega al mercado el evaluando? ¿Cómo se mantiene (en servicio)? ¿Cómo se perfecciona (se pone al día)? ¿Cómo son sus usuarios? ¿Cómo se lleva a cabo su realización, control y perfeccionamiento? ¿Quién hace todo esto? 7. El consumidor. ¿Quién utiliza o recibe (los efectos de) el evaluando? Distinguir las poblaciones o consumidores escogidos -mercado desead()---- de las poblaciones de consumidores directamente afectadas de una manera real o potencial -el verdadero mercad()---- o consumidores o receptores (o clientes del evaluando, a menudo llamados clientela); esto debe distinguirse de la 'población receptora total directa o indirectamente afectada, que constituyen los verdaderos consumidores. Advierte que el instigador y otras figuras de los puntos 2 y 3 también resultan afectados, por ejemplo, por tener un trabajo, pero eso no les convierte en consumidores en el sentido estricto. Sin embargo, debemos considerarlos a la hora de investigar los efectos totales y podemos describirlos como parte de los afectados, impactados o implicados.

)

) ') 350

8.

I

Evaluación

El método

sistemática

Las necesidades y valores de los afectados y potencialmente impactados. Esto incluye tanto los deseos como las necesidades, y también los valores como las normas sobre el mérito y los ideales juzgados o supuestos (véase punto 9); las metas definidas del programa, cuando se lleve a cabo una evaluación basada en metas; y las necesidades, y otras cosas, del instigador, el controlador, el inventor, ete., puesto que están indirectamente afectados. La importancia relativa de estas consideraciones, a menudo opuestas, depende de las consideraciones éticas y funcionales. 9. Normas. ¿Existen normas preexistentes y objetivamente valoradas, acerca del mérito o el valor, que deban aplicarse? ¿Procede alguna de ellas del cliente y el consumidor, de la función y de las necesidades/valores? (Esto incluye los ideales asignados; véanse los ideales del punto 8.) Si se tienen en cuenta las metas, y si pueden ser valoradas como apropiadas (por ejemplo, por una valoración de las necesidades), legales/éticas y todo lo demás, debe comprobarse si han aparecido en el número 8 para ser aceptadas, como una norma relevante, aquí en el punto 9. 10. El proceso. ¿Qué limitaciones/costes/beneficios se aplican a la operación normal del evaluando (no a sus efectos o resultados del punto 11)? En particular: legales / ético-morales / poli ticas / administrativas / estéticas /hedónicas/ científicas. Un proceso administrativo tiene limitaciones especialmente significativas en lo que se refiere al «grado de realización», esto es, hasta qué punto la operación real cumple las estipulaciones del programa o las suposiciones del patrocinador acerca de su operación. Un proceso científico debe utilizar indicadores de los resultados finales científicamente reconocidos; también material científicamente (o históricamente ... ) solvente de un libro de texto o curso. Puede constituir un problema ético la relativa importancia concedida a la satisfacción de las necesidades de la población escogida y las necesidades de carrera o condición de otra gente afectada, como por ejemplo el personal del programa. 11. Resultados. ¿Qué efectos ha producido el evaluando (deseados o indeseados)? Resulta útil una matriz de efectos: población afectada X tipo de efecto (cognitivo/afectivo / psicomotor / sanitario / social! ambiental) X por la puntuación de las Z de tiempo de reacción (inmediata/al final del tratamiento/más tarde) X duración X cada componente o dimensión (si se requiere la evaluación analítica). Para algunos propósitos, los deseados (por ejemplo, control del programa, responsabilidad legal), para otros, no debe hacerse distinción (la evaluación del producto orientada hacia el consumidor). 12. Posibilidad de generalización a otras personas/lugares/tiempos/versiones. <~Personas» significa tanto el personal como los receptores. Esto también puede denominarse posibilidad de distribución, posibilidad de venta/ exportación/ duración/ modificación.

13.

14.

15.

16.

17.

18.

evaluativo

de Scriven

I

351

Costes. En dólares-psicológico-de personal; inicial-repeticiones (incluyendo preparación, mantenimiento y perfeccionamiento); directo/indirectoinmediato/ retardado/ rebajado; si conviene, por componentes. Comparaciones con opciones alternativas, incluyendo las opciones reconocidas y las no reconocidas, las disponibles y las que se pueden crear. Los principales contendientes en este campo son los «competidores críticos» y se identifican en términos de coste más efectividad. Normalmente incluyen a aquellos que producen efectos similares o mejores por un precio menor, y mejores efectos por un coste extra razonable (recursos). Significado. Una síntesis de todo lo anterior. La validación del procedimiento sintético es, a menudo, una de las tareas evaluativas más dificultosas. Normalmente, no puede dejarse al cliente, que, por lo general, está mal equipado en experiencia y objetividad; y las fórmulas -por ejemplo, los cálculos de coste-beneficiorara vez resultan adecuadas. Lo más útil es una flexible suma ponderada. Recomendaciones. Esto puede o no ser requerido, y puede o no desprenderse de la evaluación; aunque sean requeridas, puede que no sea posible proporcionar ninguna puesto que los únicos tipos que pueden resultar apropiados no disponen de pruebas científicas específicas en el campo de la investigación. (Los recursos disponibles para la evaluación resultan cruciales aquí.) El informe. El vocabulario, la extensión, el diseño, el medio, la localizaCión y el personal para su presentación necesitan un cuidadoso exa. men, igual que la protección/ privacidad/ publicidad y la investigación previa o la circulación de los borradores finales o preliminares. La metaevaluación. La evaluación debe ser evaluada preferiblemente antes de a) su realización, b) la difusión final del informe. La evaluación externa es deseable, pero primero el evaluador principal debe aplicar la lista de control de indicadores a la propia evaluacil'Sn. Los resultados de la metaevaluación deben ser utilizados formativamente pero también pueden ser incorporados al informe o transmitidos (resumidamente) al cliente y otras audiencias adecuadas. (Las «audiencias» aparecen en el metapunto 7, puesto que son el «mercado» y los «consumidores» de la evaluación.)

) ') ') ')

1 ) ') ')

')

) ) ) )

) )

.) ) ) )

) ) ) )

) )

Estas etapas no están concebidas para ser aplicadas en una secuencia concreta, pero deben ser planteadas antes de que se lleve a cabo la lista de control de indicadores. Igualmente, un evaluador puede recorrer la lista de control muchas veces durante la evaluación de un programa. Los primeros recorridos constituyen la evaluación formativa; los últimos son lo que Scriven llama «evaluación sumativa». La base lógica de la lista de control de indicadores es que la evaluación es esencialmente un proceso de reducción de datos en el que se obtienen grandes

) )

) ) )

) )

1

\

f

f f (

(

352

I


I


I

I

353

cantidades de datos para luego valorarlos y sintetizarlos en un juicio de valor g:obaL Al describir este proceso de reducción de datos, Scriven sugiere que las primeras etapas ayuden a caracterizar un programa o producto, mientras que las últimas pueden ayudar a valorar su validez.

su análisis de las ideologías alternativas. Por lo tanto, vamos a intentar definir sus aspectos más sobresalientes con relación a las cuatro ideologías. Estas ideologías son la separatista, la positivista, la administrativa y la relativista.

la meta evaluación

La ideologia separatista

El punto final de la lista de control de indicadores pide la evaluación de la evaluación. Scriven introdujo este concepto en 1968, cuando publicó un artículo respondiendo a las preguntas de cómo se evaluaban los instrumentos de la evaluación. Dice que ésta es una de las muchas preocupaciones de la evaluación y destaca que los evaluadores tienen la obligación profesional de que las evaluaciones propuestas o finalizadas estén sujetas a una evaluación competente. Su base racional es que la «evaluación es un tema particularmente autorreferente puesto que se aplica a todos los esfuerzos humanos serios y, en consecuencia, a la propia evaluación». Advierte que la metaevaluación puede ser formativa, si ayuda al evaluador a planificar y realizar una evaluación solvente, o sumativa, si proporciona al cliente pruebas independientes acerca de la competencia técnica del evaluador principal y de la solvencia de sus informes. Las sugerencias metodológicas de Scriven para la realización de metaevaluaciones incluyen la utilización de su lista de control de indicadores de la evaluación, para valorar una evaluación como producto, de otras listas de control o de otras normas evaluativas profesionales.

Scriven contempla la ideología separatista como enraizada en la negacIon o el rechazo de la proposición que asegura que la evaluación es una actividad autorreferente. Esta ideología está perfectamente reflejada en las propuestas evaluativas que requieren la participación de evaluadores totalmente independientes de lo que se está evaluando. El establecimiento y mantenimiento de esta independencia del evaluador respecto al evaluando es, a menudo, esencial para asegurar que los informes evaluativos no van a ser tendenciosos. Además, los evaluadores que practican esta ideología, según Scriven, no reconocen casi nunca la necesidad de evaluar su propio trabajo. Muy posiblemente, muchos de ellos, en cualquier caso, contemplan esta metaevaluación como un asunto ajeno, puesto que los evaluadores, según su concepción separatista, no pueden ser objetivos al evaluar su propio trabajo. De ahí que Scriven exponga la paradoja de que un evaluador puede tener derecho a evaluar el trabajo de otros, pero no interesarse por evaluar sus propios servicios, e incluso resistirse a ello. En esta especie de parasitismo profesional, Scriven ve una imperfección humana básica: «la valorfobia, un intensísimo miedo a ser evaluado». Se manifiesta cuando los evaluadores, que están en estrecho contacto con las personas cuyo trabajo están evaluando, se convierten en cooperantes, pierden su perspectiva crítica y elogian 10 que quizá deberían criticar si se mantuvieran a mayor distancia del evaluando. La valorfobia puede también presentarse cuando los evaluadores se resisten, por 10 menos evitan, evaluar sus evaluaciones. y también cuando los evaluadores, al valorar los programas, tienen cuidado de no evaluar al personal del programa. En oposición. a esta postura separatista, Scriven afirma que los profesionales, incluyendo a los evaluadores profesionales, necesitan reconocer y tratar honradamente con la naturaleza autorreferente de la evaluación. La marca de fábrica de un profesional es someter su propio trabajo a evaluación. El hecho de que todas las evaluaciones sean propensas a la tendenciosidad no debe desalentar a nadie en la evaluación de su propio trabajo o de encargar a otro que haga el trabajo. En cambio, se debe responder realizando la evaluación 10 menos tendenciosamente posible y sometiéndola a un examen, mediante su comparación con normas reconocidas para una evaluación solvente. En las llamadas evaluaciones de un programa se debe examinar de un moclo..realista tanto el personal como otros aspectos del programa, puesto que, invariablemente, el éxito y el fracaso son inseparables del trabajo del personal y porque

( ( (

{ { (

( ( (

( ( ( (

( ( (

( (. (

l (

t

f. ( ( (

,• I

Ideologías

evaluativas

Como se ha visto en el material precedente, Scriven es uno de los críticos más reflexivos y expresivos de los conceptos evaluativos predominantes. En coherencia con esta postura crítica, ha destacado que la evaluación es un tema particularmente autorreferente, lo cual está de acuerdo con su recomendación de la metaevaluación. En un texto reciente, clasifica los conceptos evaluativos establecidos en cuatro grupos y critica cada uno de ellos extensamente, con la esperanza de convencer a los evaluadores de que reconozcan y renuncien a ci~r.tas tende~~i~s que, se?ún él, han debilitado el trabajo evaluativo. Luego utIlIza su anahsIs de las VIrtudes y defectos de cada método para perfeccionar la base lógica de su lista de control. Describe este modelo como algo que abarca las mejores características de las demás proposiciones serias acerca de cómo hacer una evaluación, evitando al mismo tiempo las imperfecciones que él identifica en las otras propuestas. Creemos que esto puede ayudarle a conocer más ~ f~ndo la filosofía evaluativa de Scriven, en general, y la lista de control de llldIcadores de la evaluación en particular, si examina con cuidado

°

)

l 354

I

1 El método evaluativo de Scriven


habrá pocas posibilidades de perfeccionamiento a través de la evaluación si no se proporciona una guía para el perfeccionamiento del personal.

La ideología positivista Scriven contempla una segunda ideología, la del positivismo lógico, como otra reacción exagerada ante la va10rfobia. En sus intentos de alejar la tendenciosidad de los trabajos científicos, Scriven piensa que los positivistas reaccionan exageradamente hasta el punto de intentar convertir la ciencia del siglo xx, en general, y la evaluación, en particular, en algo sin valores. Mientras los separatistas rechazan la naturaleza autorreferente de la ciencia o la evaluación, los positivistas rechazan la naturaleza evaluativa de la ciencia. Scriven aporta una serie de casos contradictorios. Por ejemplo, los psicólogos educativos que aseguran que no pueden hacerse juicios evaluativos con objetividad, producen, sin embargo, juicios evaluativos acerca del trabajo de los estudiantes. Desde luego, la respuesta de Scriven a las imperfecciones del positivismo consiste en conceder una importancia central a la práctica de asignar significados de valor a los resultados obtenidos en los estudios evaluativos.

La ideología administrativa Para Michael Scriven, la «evaluación bien administrada» va mucho más allá de la que simplemente se guía por un administrador competente. Puede, en cambio, esta última, suponer «una verdadera indulgencia hacia la valorfobia» tanto por parte de los administradores del programa como de los evaluadores. Los administradores del programa pueden imponer controles rígidos sobre la evaluación que han encargado para que así no hayan sorpresas. Pueden desear que sólo se evalúe su programa y no el personal que participa en él ni, especialmente, el administrador. Y pueden insistir en que la evaluación se limite a determinar si han sido alcanzadas las metas fijadas para el programa y a juzgar su trabajo basándose en los deseos de otro acerca del programa. Para el punto de vista del administrador, esta ideología administrativa incluye claramente una tendencia a producir informes favorables. Según Scriven, muchos evaluadores están dispuestos a cumplir los deseos del administrador acerca de unos informes favorables y predecibles a causa de una serie paralela de razones autosatisfactorias. Necesitan futuros contratos o conservar su posición evaluativa en la institución, y proporcionar un informe favorable, o al menos uno que no ponga nervioso al cliente o al patrocinador, es 10 mejor que pueden hacer para obtener más trabajo. A menudo están incluso dispuestos a evitar cualquier interés por la evaluación del personal porque esto ayuda

I

"'¡ 355 ')

a hacer que la evaluación sea más independiente de las distintas y, a menudo, opuestas posturas de \lúar que puedan mantener las diferente~ ~ersonas implicadas en el programa. y la petición del administrador de limitar la valoración a lo que se ha fijado es especialmente simpática, puesto que entonces los evaluadores no sólo evitarán valorar la aplicación de un programa y especialmente la actuación de los miembros del personal, sino también tratar con valores, ya que presumen que están incluidos en las metas del programa fijadas por el administrador. En la ideología administrativa podemos, entonces, ver la posibilidad de una confluencia de las ideologías separatistas, positivistas y administrativas, todo ello con efectos negativos. Evitando la evaluación del administrador y del personal (lo cual coincide con la ideología separatista), considerando la evaluación como un servicio técnico desprovisto de determinaciones de valor (método positivista) y ayudando a los administradores a conseguir el buen informe que necesitan sobre el logro de sus metas (ideología administrativa), el evaluador convierte, efectivamente, la evaluación en un perjuicio y no en una contribución a la sociedad. Con lo esbozado hasta ahora, el estudio, según Stake, excluye muchos de los aspectos vitales de una evaluación solvente. Puede desalentar, más que ayudar, a los clientes, a la hora de examinar críticamente sus metas y servicios. Concentrándose en las metas prefijadas, no puede asegurar que el servicio tenga valor para satisfacer las necesidades de los consumidores. Puede también ser miope y no tener en cuenta si el servicio, el programa o el producto son la «mejor compra», cuando podría servir para que los clientes identificaran y compararan mejor las alternativas. Y puede también evitar problemas relativos a la ética y a la prudente utilización de los escasos recursos. Para Scriven, un amplio éxito de la ideología administrativa y sus re1aciories con otras malas prácticas evaluativas supondría un engaño para la sociedad y para la profesión evaluativa. Utiliza su análisis crítico de esta postura como plataforma para recomendar una serie de reformas, incluidas en su lista de control de indicadores. Son las siguien tes: 1. 2.

3. 4. 5.

Realizar las valoraciones de las necesidades como base para juzgar si un programa ha producido resultados beneficiosos. Evaluar «sin metas» para no preocuparse de las metas prefijadas y de ese modo perder resultados importantes pero inesperados, buenos o malos. Comparar 10 que se está evaluando con otras alternativas viables. Examinar los servicios según su coste y efectividad. Combinar la evaluación del personal con ia del programa.

} ')

) ')

) ')

) )

)

) ) ) ) ) ) )

) ) ) ) ) )

)

J ) ) ') )

) ) I

)

\

(

f f (

356

I

La ideología relativista

( ( {

( ( ( ( (

( ( (

( ( ( ( ( ( ( (

El método evaluativo de Scrlven


Otra ideología que Scriven considera imperfecta y de influencia nociva para el trabajo evaluativo es la ideología relativista. Scriven la contempla como una reacción exagerada a los problemas relacionados con la ideología positivista. Mientras los positivistas, a menudo, han empleado la concepción de que existe una realidad objetiva que puede conocer cualquiera que pueda y quiera utilizar procedimientos valorativos no tendenciosos, los relativistas afirman que esto es totalmente simplista y sólo puede conducir a valoraciones limitadas que den una importancia exclusiva e inmerecida al punto de vista de algún grupo poderoso, con la errónea concepción de que su punto de vista y sus valoraciones son objetivos. En respuesta a los riesgos del positivismo, los relativistas afirman que todo es relativo, que no hay una verdad objetiva. Por lo tanto, abogan por perspectivas múltiples, criterios múltiples, valoraciones múltiples y respuestas múltiples. Scriven considera que buena parte de este movimiento evaluativo es una respuesta exagerada que a veces niega la posibilidad de las determinaciones objetivas del valor o incluso de descripciones objetivamente correctas de los programas. Aunque también rechaza la existencia de una sola descripción correcta, nos aconseja que no abandonemos la idea de que existe una realidad objetiva. Aunque puede haber una compleja realidad más allá de nuestra capacidad presente de comprender y describir a fondo, sólo nos engañaremos a nosotros mismos si creemos que no existe. Aconseja, en cambio, que relativicemos nuestras descripciones para las distintas audiencias. Pero nos advierte que no aceptemos todas las descripciones opuestas como correctas, como, según creemos, son propensos a hacer algunos de los relativistas más obtusos. En lugar de eso, estamos obligados, como evaluadores, a buscar lo «mejor», lo «perfecto», lo «ideal».

( { ( (

t t t t f

357

décadas y han influido sustancialmente en la práctica evaluativa. Los estudiantes que se tomen en serio la evaluación' deben estudi:u' sus escritos originales y estar al corriente de sus futuras contribuciones.

Test de conocimientos sobre la ~nldad 10

Ahora proporcionamos dieciséis preguntas con muchas posibles respuestas y cinco afirmaciones para cotejar. Cada una de ellas va seguida de una explicación de las respuestas alternativas correctas e incorrectas. Estas preguntas y explicaciones están concebidas para ayudarle a determinar si ha alcanzado los objetivos de conocimiento de esta unidad. En cada pregunta, seleccione la respuesta que considere la mejor. Cuando haya seleccionado una respuesta, evalúe su elección comparándola con 'las indicaciones y el material interpretativo que siguen a cada pregunta. Cuando haya contestado a todas las preguntas, deberá calificar e interpretar (y, si es necesario, perfeccionar) su trabajo. Luego deberá enfrentarse a unos cuantos ejercicios prácticos. La sección final de esta unidad propone «Preguntas sin respuesta» y recomienda lecturas complementarias.

PREGUNTA1. 11) b) e)

(

l

I

Según Scriven, la evaluación es

el proceso de determinar hasta qué punto han sido alcanzadas las metas; el proceso de delinear, obtener y proporcionar información útil para el cliente a la hora de juzgar ópciones de decisión; el proceso de determinar las discrepancias entre la realización del trabajo y las normas establecidas; el cálculo del valor.

La profesionalización de la evaluación

d)

En coherencia con su preocupación por evaluar las ideas y trabajos de sus colegas evaluadores, Scriven ha hecho un gran esfuerzo por profesionalizar la evaluación. Fue uno de los primeros que recomendó el desarrollo y utilización de las Standards for Evaluations of Edueational Programs (Joint Committee, 1981). Ayudó a establecer y desarrollar el Evaluation Network, una organización profesional para evaluadores de programas educativos, sanitarios, gubernamentales y sociales. Y convirtió la hoja informativa de esta organización en una muy respetable publicación, Evaluation News. Este ha sido un breve resumen de algunas de las contribuciones de Michael Scriven a la evaluación. Estas contribuciones se extienden a 10 largo de dos

Respuesta correcta. Debe usted haber seleccionado la «d». Según Scriven, la evaluación es el cálculo del valor. Es coherente con la definición formal de evaluación que él mismo presenta en «The Methodology of Evaluation». (<
------_>. ')

) 358

I



b)

e)

Es incorrecta porque Scriven cree que la evaluación guiada por una determinada serie de metas puede olvidarse de efectos importantes, y cree que las metas también deben ser evaluadas. Es incorrecta porque destaca que el evaluador debe proporcionar información para la toma de decisiones pero no tomar la decisión, mientras que Scriven cree que el evaluador debe juzgar las opciones del programa y así tomar decisiones acerca del programa que se está evaluando. Es incorrecta porque es una variante de «a». Scriven no puede aceptar como suficiente una definición de evaluación que determina sólo las discrepancias entre las normas dadas y la realización del trabajo. Insiste en que las normas deben ser valoradas y no deben ser la única base para la valoración del trabajo.



b) d)

b)

e)

d)

Cronbach recomienda a los evaluadores que utilicen múltiples valoraciones en cada estudio, mientras que Scriven advierte que una práctica de este tipo es inútil y recomienda, en cambio, la utilización de una simple valoradón sumativa. Cronbach destaca que la principal obligación de los evaluadores es plantear cuestiones fundamentales relativas a la decisión acerca de si un programa o producto es la «mejor compra» para los consumidores, mientras que Scriven insiste en que la función más importante del evaluador es ser «el artesano de quien ha desarrollado el programa». Scriven afirma que la preferencia de Cronbach por la evaluación formativa como opuesta a la evaluación sumativa es fundamentalmente errónea. Cronbach insiste en la necesidad de las evaluaciones comparativas, mientras que Scriven afirma que esta práctica puede conducir a resultados superficiales y no proporciona el nivel necesario de información que puede obtenerse del estudio profundo de un caso de un solo programa.

Respuesta correcta. Debe usted haber seleccionado la opción «e». Cronbach recomienda la evaluación formativa por encima de la evaluación sumativa, y Scriven dice que esta recomendación oscurece el hecho de que, esencial y fundamentalmente, cada evaluación debe producir una valoración sumativa del valor y el mérito de un objeto.

')

) ) ')

) PREGUNTA3. - ¿Con cuál de las siguientes afirmaciones estaría más de acuerdo Scriven? a)

e) d)

a)

Es incorrecta porque ambos autores aconsejan a los evaluadores la utilización de múltiples valoraciones. Es incorrecta porque lo opuesto está más cerca de la verdad. Es incorrecta porque lo opuesto está más cerca de la verdad.

")

)

b)

PREGUNTA2. A 10 largo de los años, Michae1 Scriven y Lee Cronbach han mantenido opiniones encontradas acerca de los evaluadores. ¿Cuál de las siguientes afirmaciones representa mejor su desacuerdo esencial?

I 359

Los evaluadores deben decidir si juzgar o no juzgar las prácticas evaluativas de acuerdo con la función que debe desempeñar un estudio evaluativo. Los evaluadores deben obviar la necesidad de un juicio subjetivo mediante el empleo de planificaciones con un alto grado de validez interna y externa y con reglas relativas a la decisión. Los evaluadores deben juzgar el valor de las prácticas educativas que evalúan. Los evaluadores deben describir totalmente las prácticas educativas, pero deben evitar emitir juicios sobre esas prácticas.

Respuesta correcta. Debe usted haber seleccionado la «e». Scriven afirma que los evaluadores deben formular y presentar juicios acerca de cualquier cosa que evalúen.

) )

)

) ) )

) ) ) )

) )


a) Es incorrecta porque Scriven ha afirmado que los evaluadores deben emib)

d)

tir juicios tanto en la evaluación formativa como en la sumativa. Es incorrecta porque Scriven ha advertido que el evaluador, por 10 general, debe operar en situaciones ambiguas e incontroladas. Dice que los evaluadores deben esperar y no alejarse de estos trabajos. De ahí que los evaluadores no puedan depender de reglas sobre las decisiones o de información terminal. Por lo tanto, deben generalmente llevar a cabo la mfs .profesional de l~s funciones evaluativas: formular juicios y hacerlos pubhco~ ,en presenCla de una información inadecuada e insuficiente. Scrivenha ofrecido el consuelo de que incluso aunque los juicios de los evaluadores sean a veces erróneos, serán a menudo más acertados que los de cualquier otro grupo. Es incorrecta porque Scriven ha advertido que los evaluadores que fracasan al emitir juicios fracasan también a la hora de cumplir todas sus responsabilidades como evaluadores.

) ) ) ) ) )

) ) ) ) ) ) )

( ('

360

I



I

361

(

( ( (

PREGUNTA 4. ¿Cuál de las siguientes afirmaciones no es coherente con la postura de Scriven relativa a la función de la valoración de las necesidades en la evaluación? .

a)

(

(

b)

( (

(

e)

(

( (

d)

{ (

( (

( ( (

Las metas proporcionan la mejor base para juzgar los resultados sólo si los resultados han sido desarrollados como respuestas a las necesidades valoradas. No es necesario considerar las necesidades de los consumidores como una base para la valoración de productos y servicios, puesto que, fundamentalmente, el juicio profesional del evaluador es el determinante del valor o el mérito de un objeto. Debidamente concebidas, las valoraciones de las necesidades determinan los huecos existentes entre los ideales y las realidades en la sociedad, y consecuentemente son indistinguibles de cualquier otro estudio evaluativo verdadero. Las valoraciones de las necesidades deben determinar qué cosas, si no se proporcionan o se olvidan, pueden demostrar ser perjudiciales, y proporcionar así un criterio para determinar si una contribución concreta es válida.

Respuesta correcta. Debe usted haber seleccionado la opción «d». Scriven, que recomienda una amplia búsqueda de resultados en una evaluación, afirma que los resultados identificados deben ser juzgados buenos o malos, dependiendo de hasta qué punto contribuyan, no a alcanzar las metas prefijadas o a rellenar los huecos entre las realidades y los ideales (que él a menudo considera «prometer la luna»), sino a eliminar o prevenir fuerzas que, de otro modo, pondrán al cliente en una situación insatisfactoria.

( ( (

a)

b)

( (

( (

I

b)

e) d)

c)

Es incorrecta porque Scriven dice que las metas pueden ser demasiado limitadas y reflejar sólo la selección de ciertas necesidades de quien ha desarrollado el programa y pueden también haber perdido actualidad, puesto que al. final de un proyecto las necesidades que formaban la base para elegir las metas del proyecto pueden haber cambiado sustancialmente. Es incorrecta porque aunque Scriven contempla al evaluador como el responsable de emitir los juicios y hacer recomendaciones, también destaca que estos juicios y recomendaciones deben derivarse de la comparación de los resultados con las necesidades valoradas. Es incorrecta porque Scriven anrma explícitamente que no es conveniente una concepción de las necesidades referida a los ideales, puesto que a menudo son tan poco realistas que no pueden ayudar a desarrollar recomendaciones prácticas.

La meta de la evaluación puede variar enormemente, puesto que cualquier estudio puede plantear una amplia gama de cuestiones; la función de la evaluación es siempre, sin embargo, la misma: facilitar la toma de decisiones. Insistiendo en el papel constructivo que puede desempeñar la evaluación en las actividades (roles) pacificadoras desatendemos el hecho de que su meta siempre incluye la estimación del valor. Las metas de cualquier evaluación deben ser moderadas según la relativa sensibilidad de las funciones que debe desempeñar el estudio. La meta de cualquier estudio evaluativo es sumativa, mientras que su función es, por lo general, formativa.

Respuesta correcta. Debe usted haber seleccionado la respuesta «b». Aunque la evaluación puede desempeñar muchas funciones (tanto constructivas como destructivas), su meta es siempre la misma: juzgar el valor. Este es el principal argumento de Scriven, y le permite insistir en que los evaluadores hacen juicios. Respuestas incorrectas a)

c)

(

,,

a)


{

,

PREGUNTA 5. ¿Cuál de las siguientes afirmaciones ejemplifica mejor la diferenciación de Scriven entre la función y la meta de la evaluación?

d)

Es errónea porque Scriven sólo ve una meta para la evaluación (el juicio del valor), pero muchas funciones (relaciones públicas, informes, directrices para el desarrollo, consejos para contratar un servicio, etc.). Es lo 'opuesto a la postura de Scriven. El cree que los evaluadores eluden su responsabilidad cuando no formulan y presentan juicios acerca de los programas que evalúan. Es errónea porque las evaluaciones formativa y sumativa son funciones que debe desempeñar la evaluación.

PREGUNTA 6. ¿Cuál de las siguientes informaciones utilización de la evaluación formativa?

a) b) e) d)

ejemplifica mejor la

Formular juicios acerca del valor global de un nuevo libro de texto. Asignar credibilidad o negársela a los resultados de un proyecto ya terminado. Valorar la realización de un plan de trabajo. Determinar los efectos finales de una inversión previa.

)

) 'l

362

El método evaiuativo de Scriven

I


Respuesta correcta. Debe usted haber seleccionado la opción «c». La evaluación formativa ayuda al personal del programa a llevar a cabo los esfuerzos del desarrollo. Respuestas incorrectas a)

b) d)

Es incorrecta porque el libro de texto ya ha sido publicado y la evaluación formativa debe llevarse a cabo durante su desarrollo. Es incorrecta por una razón similar. Es incorrecta porque el proceso de inversión ha sido ya completado.

PREGUNTA

a) b)

c) d)

la la el el

7.

La evaluación sumativa se describe mejor como

valoración de las primeras formas de un nuevo producto; valoración de un producto cuando ya está en el mercado; perfeccionamiento de un producto mientras aún es moldeable; relleno de los huecos entre la evaluación intrínseca y la evaluación

Respuesta correcta. La mejor respuesta es la «b». La evaluación sumativa supone juzgar un esfuerzo de desarrollo después de que el trabajo de desarrollo ya ha finalizado. Respuestas incorrectas

c) d)

Es incorrecta porque se trata de un ejemplo de evaluación formativa. Es incorrecta por la misma razón. Es incorrecta porque se refiere más a un problema evaluativo funcional que metodológico. El problema de conectar la evaluación intrínseca y la evaluación final reside en cómo relacionar causalmente las variables dependientes e independientes, y no en si la evaluación ayuda al desarrollo o juzga los productos terminados.

')

)

Respuesta correcta. Debe usted haber seleccionado la «b». Es la correcta porque la evaluación intrínseca es la evaluación de las cualidades inherentes al tratamiento y no de los resultados conseguidos por medio de la administración de este tratamiento.

')


I 1

a)

c)

d)

final.

a)

I 363

Es incorrecta porque el «cambio en la actitud del estudiante» es un efecto producido por un programa, y no una cualidad, como la «orientación investigativa», del programa que produce el cambio. Es incorrecta por una razón similar. El «grado e intensidad de la motivación del estudiante» es un efecto, no una característica, de un programa de enseñanza. Es incorrecta porque pone el énfasis en los efectos sobre los estudiantes.

)

)

) ) )

) )

9. Según Scriven, el método evaluativo finalista puro se caracteriza por su preocupación por PREGUNTA

a) b)

c) d)

los resultados del currículo pero no sus metas; las metas del currículo pero no sus resultados; tanto las metas como los resultados del currículo; ni las metas ni los resultados del currículo.

Respuesta correcta. Debe usted haber seleccionado la «a». Aunque determina si las metas han sido alcanzadas, su principal limitación, según Scriven, es que no juzga si han sido bien alcanzadas. Respuestas incorrectas b) c) d)

Es errónea pero sí los Es errónea Es errónea

en ambos aspectos. La evaluación final no valora las metas, resultados. porque la evaluación final no valora las metas. porque la evaluación final sí valora los resultados.

) ) ) )

) ) ) ) ) ) ) ) )

PREGUNTA 8. La evaluación intrínseca como una valoración de

a) b) c) d)

puede brevemente

ser definida

el cambio en las actitudes de los estudiantes; la planificación de un programa de enseñanza; el grado y la intensidad de la motivación del estudiante; los efectos de los instrumentos didácticos en los conocimientos estudiantes.

10. ¿Cuál de las siguientes afirmaciones distingue más correctamente entre la evaluación sin metas y la evaluación basada en las metas? PREGUNTA

a) La evaluación sin metas es una evaluación intrínseca, mientras que la evaluación basada en las metas es lo mismo que la evaluación final. de los

b) La evaluación sin metas es subjetiva, mientras que la evaluación basada en las metas es una evaluación basada en datos.

) )

) ) ) ) )

\

{

f

364

I

e)

La evaluación sir: metas valora todos los efectos independientes de las metas prefijadas, mientras que la evaluación basada en las metas investiga efectos pertenecientes a las metas prefijadas. La evaluación sin metas valora los resultados, los efectos secundarios, los costes, la viabilidad y otros atributos de un instrumento didáctico, independientemente de sus metas, mientras que la evaluación basada en las metas valora la moralidad, la claridad y la importancia de las metas.

El método evaluativo de Scrlven


I 365

{ (

f (

d)

( ( (

( ( (

Respuesta correcta. Debe usted haber seleccionado la «e». Según Scriven, la retórica de las metas no debe dictar y limitar la búsqueda de resultados.

a)

( ( b)

( (

Respuestas incorrectas b)

e)

Respuestas incorrecta:;

(

(

en las metas deben seguir desempeñando una función. Pero piensa que los resultados de las evaluaciones sin metas pueden añadir una información útil y única a la que ya producen las evaluaciones basadas en las metas.

d)

(

Es incorrecta porque la evaluación intrínseca y la evaluación final diferencian entre las variables relativas a las cualidades de un tratamiento y sus efectos; el conocimiento de los conceptos de ambas evaluaciones no ayuda a distinguir entre evaluación sin metas y evaluación basada en las metas. Es incorrecta porque tanto la evaluación sin metas como la evaluación basada en las metas están basadas en datos y suponen el desarrollo de conclusiones subjetivas. Es incorrecta porque tanto la evaluación sin metas como la evaluación basada en las metas valoran los resultados.

d)

PREGUNTA12. ¿Cuál de las siguientes afirmaciones explica mejor el significado de los efectos secundarios en el contexto de la evaluación sin metas? a)

( (

PREGUNTA11. ¿Cuál de las siguientes afirmaciones no es una parte de la base lógica de Scriven para la utilización de la evaluación sin metas?

b)

( (

a)

( ( (

b) e)

( ( (

d)

La evaluación basada en las metas es incapaz de producir resultados evaluativos sólidos y útiles, y debe ser reemplazada por una estrategia evaluativa más efectiva. Los evaluadores sin metas pueden descubrir resultados significativos que, por lo general, no descubren los evaluadores que se basan en las metas. Con tal de que los evaluadores determinen los resultados positivos y negativos de un proyecto, no es necesario que valoren particularmente si las metas prefijadas han sido alcanzadas. Al concentrarse en comprobar si los objetivos fijados han sido alcanzados, los evaluadores pueden ser insensibles a los efectos más significativos, que no estén relacionados con los objetivos fijados.

t ( ( (

Respuesta correcta. Debe usted haber seleccionado la «a». La base lógica de las evaluaciones sin metas no consiste en reemplazar a las evaluaciones basadas en las metas. Por el contrario, Scriven cree que las evaluaciones basadas

Una parte de la base lógica de Scriven para la evaluación sin metas es que ésta complementa los datos proporcionados por la evaluación basada en las metas. Otra parte de la base lógica para la evaluación sin metas es que no conocer las metas de un programa no es ningún impedimento con tal de que el evaluador investigue sistemáticamente todos los efectos importantes de un programa. Una parte más de la base lógica de la evaluación sin metas es que Scriven ha afirmado que conocer las metas de un programa puede ser un impedimento, puesto que este conocimiento provoca que el evaluador se concentre en los resultados relacionados con los objetivos, dejando de lado atto tipo de resultados.

e)

d)

En la evaluación sin metas, los efectos secundarios son la principal preocupación, porque la evaluación basada en las metas proporcionará un profundo análisis del efecto principal. Las evaluaciones sin metas no se preocupan por los efectos secundarios porque son cualidades intrínsecas del instrumento didáctico y no una preocupación propia de la evaluación destinada a identificar y valorar los resultados. En la evaluación sin metas, los efectos secundarios son los efectos producidos por la información evaluativa acerca del comportamiento de las audiencias para los resultados evaluativos. En la evaluación sin metas, no existen efectos secundarios porque todos los efectos, y no sólo los relacionados con las metas fijadas, son de primerÍsima importancia.

Respuesta correcta. Debe usted haber seleccionado la «d». No existe preocupación por valorar los efectos secundarios porque, desde el principio de la evaluación, todas las variables de los resultados, y no sólo las relacionadas con las metas fijadas, son igualmente importantes.

) ') '¡ 366

I



I

367

')


b) c)

Es incorrecta porque en la evaluación sin metas no hay distinción entre los efectos secundarios y los efectos principales. Es incorrecta porque contiene una definición incorrecta de los efectos secundarios. Es incorrecta porque también está basada en una definición impropia de los efectos secundarios.

PREGUNTA14. ¿Cuál de las siguientes afirmaciones es la mejor base lógica para la lista de control de indicadores de la evaluación?

a)

b) c)

d)

El principal trabajo de la evaluación debe ser conseguir una especie de inmunidad evaluativa, porque la amenaza o el hecho de evaluar un servicio influye inevitablemente en la conceptualización y distribución del servicio, y porque esta influencia puede conducir inevitablemente a unos resultados evaluativos tendenciosos. Dado que la evaluación se aplica a los procesos y productos de todo esfuerzo humano, debe aplicarse también a sí misma. La evaluación formal debe ser cuidadosamente planificada, y la metaevaluación es el término introducido por Scriven para referirse al trabajo que supone planificar las evaluaciones. La metaevaluación es un importante medio de incrementar las inversiones y fondos de la evaluación y así aumentar las oportunidades evaluativas de preparación laboral.

Respuesta correcta. Debe usted haber escogido la «b». Dado que la evaluación es una actividad concebida para ayudar a mejorar las condiciones humanas y dado que todas estas actividades, por definición, deben ser evaluadas, la propia evaluación también debe ser evaluada.

c)

d)

La evaluación es el proceso de formular y ejecutar una secuencia de experimentos críticos comparativos que conduzcan al conocimiento de ciertos fenómenos, como por ejemplo que los resultados de acciones específicas son predecibles. La evaluación es un proceso de reducción de datos que supone caracterizar un proyecto y sintetizar un juicio respecto al valor global del programa. La evaluación sirve de guía para un proyecto a través de cinco etapas de desarrollo, mediante la valoración y presentación de las discrepancias entre el trabajo y las normas en cada una de las etapas. La evaluación supone la comparación progresiva de los antecedentes prefijados y reales de un programa, las transacciones y los resultados.

Respuesta correcta. Debe usted haber seleccionado la «b». Scriven contempla la evaluación como un proceso sistemático que supone la caracterización y valoración de un proyecto. Esencialmente, los evaluadores recopilan y analizan amplias series de datos a través de una amplia gama de puntos, y luego sintetizan los datos para que pueda ser emitido un juicio global de valor.

c)

d)

Es incorrecta porque, por el contrario, las metaeva1uaciones, cuando están adecuadamente conceptualizadas y realizadas, deben, según Scriven, conducir a una evaluación mejor. Es incorrecta porque las metaeva1uaciones están concebidas para valorar todos los aspectos de la evaluación, no sólo los planes evaluativos. Es incorrecta porque, por el contrario, las metaevaluaciones están concebidas para, entre otras cosas, eliminar las prácticas evaluativas demasiado costosas.

) ') ') ')

)

) )

) ) )

) ) )

Respuestas incorrectas a) c)

d)

Es incorrecta porque se refiere a la base lógica para la experimentación programática y no para la lista de control de indicadores de la evaluación. Es incorrecta porque es más la base racional para el modelo evaluativo de Provus que para la lista de control de indicadores de la evaluación. Es incorrecta porque se refiere al método evaluativo de la figura de Stake y no proporciona una base lógica válida para la lista de control de indicadores de la evaluación.


') ')

a)

b) PREGUNTA13. ¿Cuál de las siguientes afirmaciones es más coherente con la base lógica de Scriven para la metaevaluación?

')

) ) )

) ) ) )

PREGUNTA15. ¿Cuál de las siguientes afirmaciones explica mejor la relación entre la concepción formativa-sumativa de Scriven y su lista de control de indicadores?

)

) )

a) b)

Los puntos de la lista de control de indicadores de la evolución son tanto formativos como sumativos. Los primeros siete puntos -las etapas caracterizadorasson formativos; los once últimos corresponden a la evaluación sumativa, puesto que se refieren a la validez.

) ) ) )

J,

, ( (

368

I

e) d)

La lista de control de indicadores es un modelo evaluativo sumativo. La lista de control de indicadores es un modelo evaluativo formativo, básicamente.

Evaluación sistemátIca


i

369

( ( ( (

( ( (

( ( (

Respuestas incorrectas b) e) y d}

Es incorrecta porque Scriven no identifica la caracterización y validación de las etapas con las evaluaciones formativa y sumativa. Son incorrectas porque la lista de control de indicadores de la evaluación es tanto formativa como sumativa.

( ( (

16. ¿Cuál de las siguientes afirmaciones explica mejor la relación entre la concepción de la evaluación sin metas de Scriven y su lista de control? PREGUNTA

a)

(

(

b)

(

e)

( (

d}

( ( (

, (

<-

e)

Respuesta correcta. Debe usted haber seleccionado la «a». El último ciclo de las 18 etapas corresponde a la evaluación sumativa, mientras que los ciclos anteriores constituyen la evaluación formativa.

{ (

Es incorrecta porque la lista de control de indicadores no es una explicación de la evaluación sin metas. Es incorrecta porque la lista de control de indicadores modela la evaluación y no el desarrollo, y porque la evaluación sin metas no es un modelo evaluativo sino una particular estrategia metodológica.

b)

La evaluación sin metas y la lista de control de indicadores de la evolución son dos estrategias evaluativas diferentes pero complementarias. La lista de control de indicadores de la evaluación explica las etapas que deben seguirse al realizar una evaluación sin metas. La lista de control de indicadores de la evaluación es un modelo del proceso de desarrollo, mientras que la evaluación sin metas es un modelo del proceso evaluativo. La evaluación sin metas es una estrategia metodológica apropiada para ser empleada en una amplia comprobación de las consecuencias del programa.

Respuesta correcta. Debe usted haber seleccionado la «d». Esta explicación de la relación entre la evaluación sin metas y la lista de control de indicadores es correcta porque la evaluación sin metas es una estrategia metodológica que comprueba todas las consecuencias del programa, y porque el punto 11 de la lista de control de indicadores pide una amplia comprobación de las consecuencias.

PREGUNTAS 17 A 21. Para cada afirmación de los números 17-21, seleccione, de la lista que le proporcionamos, la ideología apropiada. Base sus elec. ciones en su comprensión del análisis de Scriven. Realice sus elecciones escribiendo la letra correspondiente a la ideología seleccionada en el espacio que haya la izquierda de cada afirmación numerada.

A. B. C.

Ideología separatista. Ideología positivista. Ideología administrativa. Ideología relativista.

p.

--17. --18.

--19.

--20. --21.

Respuestas correctas, Debe usted haber respondido razones proporcionadas: A

17.

D

18.

C

19.

(

t t

,, (

Respuestas incorrectas a}

Es incorrecta porque la lista de control de indicadores es un método eva. luativo global que incluye estrategias como la evaluación sin metas.

Se opone a la proposición de que un profesor puede evaluar su propio trabajo provechosa y justificadamente. Se refiere erróneamente a la dificultad de describir algo total y exactamente como base para negar su existencia en alguna forma objetivamente identificable. Limita la evaluación a enfrentarse sólo a aquellas cuestiones sancionadas por las personas que tienen autoridad sobre el programa. Rechaza la naturaleza evaluativa de la ciencia. Se inclina a favor de los informes que demuestran que se han alcanzado las metas. como sigue, por las

La ideología separatista rechaza la naturaleza autorreferente de la evaluación y exige que el trabajo de los profesores sea evaluado por un agente externo. Según Scriven, los relativistas no sólo recomiendan la descripción múltiple de un objeto desde distintos puntos de vista (lo cual también recomienda Scriven), sino que se equivocan al pedir una conexión causal entre su afirmación de que no existe una realidad objetiva y la dificultad de eliminar la variabilidad en la descripción de una sola cosa. Esto pertenece claramente a la ideología administrativa, puesto

),

I El método evaluativo de Scriven


370

20.

C

21.

) 371

')

que dice que es el administrador de un programa quien debe decidir cómo hay que valorarlo: por lo general, sólo según las metas del administrador y no según las necesidades del consumidor, ni refiriéndose al estilo y forma de trabajar del adminisB

I

trador. Según Scriven, los positivistas lógicos se guían por una concepción sin valores de las ciencias sociales, en general, y de la evaluación, en particular. Esto, de nuevo, pertenece a la ideología administrativa, aunque concentrase en identificar y valorar sólo aquellos resultados pertenecientes a las metas del administrador es congruente con la postura positivista que los evaluadores deben evitar interponiendo valores de su elección en sus trabajos evaluativos.

Las respuestas al ejercicio 1 deben presentar y desarrollar los siguientes puntos:

')

a) El éxito de los trabajos de desarrollo depende de la información que prob) c)

d) e)

CALIFICACIÓNDEL TEST DE CONOCIMIENTOS. Ahora que ha completado el test de conocimientos sobre el trabajo de Scriven cuente el número de respuestas correctas. Si contabiliza 16 o más, ha demostrado usted un conocimiento básico de la filosofía y los conceptos evaluativos de Scriven. De este modo, está ya preparado para abordar los ejercicios prácticos del apartado siguiente. Si contabiliza de 11 a 15, demuestra conocer un poco las ideas de Scriven, pero probablemente le sería beneficioso revisar el material anterior. Si contabiliza menos de 11 y aún no comprende por qué, antes de pasar al siguiente apartado debe estudiar de nuevo todo el material didáctico de la unidad.

I "')

porcione continuamente la evaluación formativa. Las evaluaciones sumativas, al juzgar el éxito de los trabajos de desarrollo ya completados, reflejan si la evaluación formativa ha supuesto una guía para conducir los esfuerzos hacia una feliz conclusión. Generalmente, los evaluadores profesionales son necesarios para realizar evaluaciones formativas que sean efectivas. Sin embargo, los evaluadores profesionales, cuando intervienen demasiado pronto en los trabajos de desarrollo, pueden ahogar la creatividad y perder su objetividad. De ahí que los evaluadores profesionales sean necesarios para realizar las evaluaciones formativas, pero dado que puede hacer más mal que bien en las primeras etapas de los proyectos, es mejor hacer por uno mismo la evaluación formativa de estas primeras etapas y emplear un evaluador profesional para desempeñar este papel cuando el proyecto ya haya desarrollado un mínimo de estabilidad.

} ') ')

')

} )

) ) ) )

) EJERCICIO2. Suponga que planea evaluar el programa de un grupo de profesores utilizando la lista de control de indicadores. Resuma las etapas que debe seguir.

) ) )

Ejercicios prácticos Este apartado contiene dos ejercicios prácticos destinados a demostrar si ha comprendido las premisas y los conceptos básicos del método evaluativo formativo-sumativo de Scriven. Responda a las preguntas en hojas de papel separadas. Tras cada ejercicio hay una lista de puntos que debe usted haber incluido en su respuesta. Realice el primer ejercicio antes de empezar el segundo. Acuda, tan a menudo como sea necesario, a las lecturas recomendadas y a las claves contenidas en el test de conocimientos previo.

) )

a)

b)

c)

EJERCICIO 1. Explique lo que quiere decir Scriven en la siguiente cita: «La evaluación formativa es una parte necesaria de cualquier método racional para la producción de buenos resultados en la evaluación sumativa, pero la pregunta de si deben emplearse, y cómo, evaluadores profesionales depende mucho de si va a ser peor el remedio que la enfermedad.»

)

Las respuestas al ejercicio 2 deben incluir aproximadamente los siguientes puntos:

d) e)

f)

Caracterizar tan objetivamente como sea posible la naturaleza del programa que se va a evaluar. Clarificar las audiencias de los resultados evaluativos, incluyendo a quien haya encargado la evaluación y a otros grupos interesados, especialmente estudiantes, administradores y profesores. Examinar los antecedentes de la necesidad de la evaluación y clarificar las cuestiones que deben ser respondidas. Inventariar los recursos financieros y de otro tipo que están disponibles para apoyar el desarrollo, mantenimiento y evaluación del programa. Realizar un análisis funcional del equipo de profesores tal y como operan realmente, especialmente en lo que se refiere a lo que hacen realmente los profesores y los estudiantes mientras participan en el programa. Analizar lo que hace el distrito escolar para asegurar que el programa se lleva a cabo adecuadamente en lo que se refiere, por ejemplo, a la orien-

) ')

) )

) ) ) )

) ) I

)

1

, ( (

372

I



I

373

(

f f (

g) h)

( (

i)

( ( (

j)

( (

(

k) l)

( ( ( (

m) n)

o) p)

( ( (

q)

tación y preparación de los estudiantes, la puesta al día de los planes del programa y el control y perfeccionamiento de la realización. Examinar cuidadosamente lo que los estudiantes utilizan y aprovechan realmente de los aspectos del programa. Valorar las necesidades de los estudian tes y profesores que puedan ser satisfechas mediante un método de equipo didáctico. Identificar las normas que puede haber desarrollado la profesión educativa para valorar este tipo de programas; descubrir también otras normas de valoración mediante el análisis de las funciones y metas del programa; y, en general, determinar y valorar los criterios de mérito y los argumentos filosóficos correspondientes al programa en cuestión. Examinar el proceso de realización para saber qué limitaciones existen en la operación normal del programa y ayudar a discernir las partes del plan del programa que no son viables en las actuales circunstancias o posiblemen te factibles sólo allí. Comprobar ampliamente todos los efectos del programa. Examinar la posibilidad y conveniencia de exportar el método a otras situaciones escolares. Valorar los distintos costes financieros, psicológicos o de otro tipo, referentes al programa en cuestión. Identificar y valorar los competidores críticos del equipo de profesores. Validar y sintetizar toda la información obtenida. Extraer conclusiones y recomendaciones respecto a la utilización futura del programa en su marco y en otra parte. Realizar una evaluación del trabajo evaluativo y utilizar la primera evaluación tanto para perfeccionar como para informar a las audiencias acerca de sus virtudes y defectos.

( (


( (

, (

( (

,

(

( (

«

En el test de conocimientos, se le ha tratado casi como a un niño. En el test práctico ha debido realizar un trabajo mayor y le hemos ayudado menos en la valoración de sus respuestas. En esta sección deberá arreglárselas totalmente solo. Este apartado presenta muchas preguntas, pero ninguna respuesta. Las preguntas son importantes. A menudo son complicadas. Incluso si recurre a las autoridades en la materia, comprobará que algunas de estas preguntas son polémicas. De ahí que, a la manera de un verdadero evaluador estilo Scriven, debe usted formular sus propios juicios, esto es, desarrollar y estar preparado para justificar sus propias respuestas a las preguntas. Con este espíritu, le invitamos a considerar y responder las siguientes preguntas. Escriba sus respuestas por separado para poder disponer de ellas en sus discusiones con otros.

1. 2.

3.

4.

5.

6.

¿To¿.:l evaluación es comparativa? ¿Por qué o por qué no? . . La ,C\'a1uacián formativa y la evaluación sumativa, ¿son conceptos dlstintos conceptual y operativamente? ¿Por qué o por qué no? Justifique su respuesta con algunos ejemplos. . Si un evaluador juzga un programa en un momento determmado, ¿perderá su independencia y objetividad respecto a evaluaciones futuras del programa? ¿Por qué o por qué no? Si es así, ¿debe un evaluad~r dar por finalizada su relación con un programa cuando ya ha proporclOnado su juicio? Si no, ¿cómo puede el evaluador evitar convertirse en un cooperante del personal de un programa que se somete a sus juicios y recomendaciones iniciales? Dé:scriba un programa estival de preparación para profesores de segundo grado que trabajen en escuelas con un gran número de niños poco aventajados. Según la conceptualización de la evaluación de Scriven, explique cómo evaluaría usted el programa. Ahora, evalúe algún programa, proyecto o producto que le sea familiar, según el método evaluativo de Scriven. Describa lo que está evaluando. Resuma su planificación para evaluarlo. Luego presente sus resultados evaluativos. Como tarea final, evalúe esta unidad según el método evaluativo de Scriven.

Referencias bibliográficas CRONBAC H, 1. J. «Course improvement through evaluation». Teacher's College Record, 64, págs. 672-683. Joint Committee an Standards far Educatianal Evaluatian. 1981. Standars for evaluations of educational programs, projects, and materials, Nueva Yark, McGraw-Hill. SCRIVEN, Michael. 1967. The methodolagy af evaluatian. En Perspectives on CurríSeries on Curriculum

Evaluation,

n. 1).

Chicaga, Rand McNally. -.1974. Pras and cons abaut gaal-free evaluatian. Evaluation ginas 1-4.

Comment,

3, pá-

culum Evaluation

(AERA

Monograph

1975. Evaluation bias and íts control. Occasional Paper Series, n. 4, Western Michigan University, Evaluatiah Center. -.1983. Evaluatian idealagies. En MAnAuS, SCRlVEN,y STUFFLEBEAM, Evaluation models, Bastan, Kluwer-Nijhaff. -.

.),~

..) i) \) INDICE DE AUTORES

.,j ,) ') ') )

.) .) i)

J Adand, H., 75 Airasian, P., 39 Alkin, M. C., 73 Anderson, S., 25 Ball, S., 25 Bane, M. J., 75 Bigman, 114 Bloom, B. S., 71 Bock, R. O., 72 Brickell, H. M., 203 Brinkerhoff, R., 25, 41 Cahen, L., 239 CarIson, D., 303 Campbell, D. T., 72 Campbell, E. Q., 75 Clark, D. L., 248 Clark, K., 75 Cohen, D., 75 Coleman, J. S., 75 Cook, D. L., 40 Cronbach, L. J., 22, 37, 42,72,73,76, 190, 237, 250, 252, 316, 344 Denny, T., 260 Eisner, E. W., 39 Fleck, A. C., 112 Foley, W., 181

Forehand, G., 239 Gephardt, B., 181 Gintis, H., 75 Gjerde, c., 239 Glaser, R., 39 Glass, G. V., 72, 76 Gooler, D., 266 Guba, E. G., 40, 73, 74, 181, 248 Hamilton, D., 239, 252, 317, 319, 320, 321, 322, 323, 324, 328 Hammond, R. L., 39, 71, 76, 92, 181 Hastings, T., 236, 237 Herzog, E., 112, 118 Heynes, B., 75 Hobson, C. J., 75 James, G., 112 Jenks, c., 75 Johnson, R., 41 Joint CommÍttee, 41 Kaplan, A., 71 Kellaghan, T., 22, 39 Kemmis, S., 266 Klineberg, O., 112 Kuhn, T. S., 317 Linquist, E. F., 72

',) ,)

.J

J J' ) :) ,) ) )

J l.)

:]

J .) '.)

.] ,.)

) ') !)

()~

,le ~c

e

r f: (!

e e

(: (

e r

e

( ( (

( ( (

( (

(

<: c..

<: (.

"

~

.C

\.. ~

'-

(;.,

376

I

EvaluaCión sistemática

MacDonald, B., 74, 76, 252, 318, 319 McGraw, B., 266 McPartland, J., 75 Madaus, G., 39 Maquire, T. O., 72 Merriman, H., 181 Metfessel, N. S., 39, 71, 76, 92, 98, 99, 100, 101 Michael, W. B., 39, 71, 76, 92, 98, 99, 100, 101 Mikelson, S., 75 Mook, A. M., 75 Murphy, R., 25 Nader, R., 76 Owens, T., 75, 76, 252, 293, 294, 295, 296, 297, 298 Pahland, P. A., 252 Parlett, M., 252, 317, 319, 320, 321, 322, 323, 324, 328 Patton, M. Q., 190 Peck, H., 41 Popham, W. J., 39, 71, 303, 304 Provus, M., 39, 71, 92, 181, 247, 293, 298 Rein, 316 Reinhard, D. L., 73, 189, 199 Rice, J., 75 Rippey, R. M., 74, 252

Sanders, J., 202 Scriven, M., 21, 22, 25, 40, 75, 76, 95, 187, 208, 237, 242, 250, 252, 293, 341, 342, 343, 344 Smith, M., 75 Smith, 1. M., 252 Smith, N. L., 25, 266 Snow, R. E., 72 Stake, R. E., 22, 40, 42, 74, 76, 157, 161, 184, 187, 238, 239, 251, 252, 253, 298, 326, 328 Stanley, J. c., 92 Stenhouse, 327, 328 Stufflebeam, D. L., 40, 66, 70, 73, 76, 95, 161, 208, 252, 293, 298 Suchman, E. A., 70, 72, 76, 111, 112, 114, 153 Taylor, J. P., 73 Taylor, P., 266 Tyler, R. W., 33, 34, 35, 39, 71, 72, 76, 91, 98, 178, 237, 241, 344 Webster, W. J., 66, 70, 73 Weinfeld, F. D., 75 Weiss, c., 75, 76, 316 Wiley, D. E., 72 Wolf, B., 266 Wolf, R. L., 75, 76, 203, 239, 252, 297 York, R. L., 75

INDICE ANALITICO

A corto plazo, Evaluación, 118 Administración de la evaluación, 126 Administración y evaluación, 124, 139 Administrativa, Ideología, 354 Antecedentes, 241, 243 Antecedentes, Información sobre los, 243, 325 Argumentos, Preparación' de los, 300 Asistentes eV,aluativos,46 Audiencia, Identificación de la, 27, 153 Audiencias, 301 Autorreferente, Evaluación, 352, 353 Base lógica, Programa de la, 245 Calidad, Aseguración de la, 201 Científica contra evaluación naturalista, Evaluación, 143 CIPP, Modelo, 175, 177, 183 comparado con el modelo «countenance», 184 comparado con el método de Scriven, 187 Cliente de la evaluación, 43 Comunicación de los resultados, 157, 257, 260, 326 Comunicación en la evaluación, Papel de la, 157-158 Comunicaciones de los evaluadores, 157, 160, 257 Comunidad políticamente formada, 141 Conclusiones justificadas, 143

Congruencia, Análisis de la, 246 Contingencia, Análisis de la, 246 Contraposición, Técnica de, 239 Contratos evaluativos y acuerdos de servicio, 253 Control de datos sistemático, 156 Control de la tendenciosidad, 257, 328 Coordinador de la evaluación, 45 «Countenance», Modelo, 184 Criterio, Valoraciones del, 100 Criterios de éxito, 19, 21, 100, 118 Criterios de una buena evaluación, 27, 141 Criterios para juzgar la información y las comunicaciones, 27, 141 Cualificaciones de los evaluadores, 160, 248, 326, 327 Cuasievaluación, 65, 70, 159 Cuestiones, Selección de las, 154 Cuestiones, Identificación de las, 151 Cuestiones contra evaluación orientada hacia los valores, Evaluación orientada hacia, 160 Cuestiones evaluativas, 117, 118 Datos de cuestionarios y tests, 324 Decisión, Tipos de, 179 Deducción, 158 Definiciones de evaluación, 17, 19, 67, 92,112,113,179,185,186,252,319, 343 Delphi, Técnica, 196

J~ ')

) 378

I

Indice analítico


Desarrollo de la evaluación, 51 Descripción, 241 Diseñador de la evaluación, 44, 143 Diseño de la evaluación, 143, 144, 145, 204, 251, 256, 261 acuerdos, 127 Diseño de la evaluación e investigación evaluativa, 122, 127, 143, 144, 204, 348 Diseño, Flexibilidad del, 159 Dominios de la evaluación, 145, 146, 149 Efectos, 122 secundarios, 124, 153 inesperados, 124 Efectos, Valoración de los, 122 Eficiencia, 119 Entrada, Evaluación de, 180-181, 191, 197 Entrevistas, 324 Epistemología, 267 Especialistas en ayuda técnica, 46 Especialistas en comunicación evaluativa, 48 Especialistas en información evaluativa,

47 Esquema de recopilación de datos, 243 Estructuración de las decisiones, 180 Estudios basados en los objetivos, 91, 93,98 Estudios de casos contra estudios experimentales, 159 Estudios de orientación de la decisión, 72, 175,325 Estudios de relaciones públicas, 69 Estudios experimentales, 38, 159 Estudios experimentales contra estudios de casos, 159 Estudios orientados hacia el consumidor, 75, 341 Estudios políticos, 74 Evaluación, Aproximaciones metodológicas a la, 120 Evaluación, Aspectos conceptuales de la, 113 Evaluación, Conceptualización alternativa de la, 66, 142, 252

Evaluación, Etica de la, 268, 341-342 Evaluación, Historia de la, 32 Evaluación, Meta de la, 124, 125, 140, 316 Evaluación, Métodos sistemáticos de la, 199 Evaluación, Muestreo en la, 145-146 Evaluación, Multimodelo de, 348 Evaluación, Normas para la, 26, 27, 122, 141, 208, 268 Evaluación, Papeles de la, 43, 139, 187, 242, 267, 328, 345 contra meta de la evaluación, 345 Evaluación, Política de la, 139, 159 Evaluación, Problemas de la, 185 Evaluación, Profesionalización de la, 356 Evaluación, Propósitos de la, 113, 124, 137,140, 185-186, 187,253,267,293 Evaluación, Requisitos ESEA para la, 177 Evaluación, Responsabilidades sociales y éticas de la, 268, 342 Evaluación, Síntomas de una mala, 181 Evaluación, Tipos de, 66, 118 Evaluación, Utilizaciones de la, 23, 187, 242, 267, 327, 345 Evaluación, Validez de la, 144-145 Evaluación, Viabilidad de la, 21 Evaluación a corto plazo, 118 Evaluación amateur y evaluación profesional, 346 Evaluación autorreferente, 352, 353 Evaluación basada en las metas, 346-347 Evaluación centrada en el cliente, 74, 235 Evaluación científica contra evaluación naturalista, 143 Evaluación como comunicación, 140, 141, 257 Evaluación como representación, 319 Evaluación comparada con la investigación, La, 23, 113, 119, 185 Evaluación comparativa contra evaluación no comparativa, 22, 23, 250 Evaluación conductista contra evaluación humanista, 143 Evaluación contra investigación, 23, 113, 119, 185

Evaluación contrapuesta, 239, 293 pros y contras, 301 Evaluación de entrada, 180-181, 191, 197 Evaluación del contexto, 180, 190, 196 Evaluación del proceso, 125, 179-180, 191, 199 Evaluación del producto, 179-180, 191, 201 Evaluación experimental contra evaluación naturalista, 253 Evaluación final, 346 Evaluación formal contra evaluación informal, 24 Evaluación formativa, 187, 345 Evaluación holística, 318 Evaluación humanista contra evaluación conductista, 143 Evaluación iluminativa, 3D, 322 problemas, 327 Evaluación interna contra evaluación externa, 126 Evaluación intrínseca, 346 Evaluación naturalista contra evaluación científica, 143 Evaluación no comparativa contra evaluación comparativa, 22 Evaluación orientada hacia el consumidor, 75, 341 Evaluación orientada hacia el perfeccionamiento, 143, 175, 190 Evaluación orientada hacia las cuestiones contra evaluación orientada hacia los valores, 160 Evaluación políticamente controlada, 68 Evaluación preordenada, 239, 258 contra evaluación respondente, 253, 258 . Evaluación respondente, 74, 235, 253, 319 contra evaluación preordenada, 258 Evaluación sin metas, 347 Evaluación sistemática, 24 Evaluación sumativa, 187, 345 Evaluación ty1eriana, 91, 96 ventajas, 94 críticas, 96, 185, 317

251, 253,

I

379

Evaluación última, 118 Evaluación útil, 140 Evaluación verdadera, 65, 72 Evaluación y administración del programa, 124, 139 Evaluaciones de la planificación, 139, 151 Evaluador, Papel del, 51,117,139,157, 158-259 Evaluadores, Preparación de los, 49, 160, 250-251 Evaluadores, Técnicas de los, 160, 248, 327 Exactitud de la valoración, 123 Extensión contra fidelidad, 143 Extrapolación de los resultados, 141,158

') ') ')

')

) ')

)

) ') )

) Fase convergente de la planificación de una evaluación, 154 Fase divergente de la planificación de una evaluación, 152 Fiabilidad, Valoración de la, 123 Fidelidad contra extensión, 143 Filosofía de la educación, 266 Final, Evaluación, 346 Formativa, Evaluación, 187, 345 Fuentes de las cuestiones, 154 Funciones de la evaluación contra meta de la evaluación, 345

)

Grupos asesores, Técnica de los, 198

)

Holística, Evaluación, 318 Humanística contra evaluación conductista, Evaluación, 143

) )

) ) ) ) )

) ) )

Ideologías de la evaluación, 352 Iluminativa, Evaluación, 313 Impacto de la evaluación, 160 Incertidumbre, 156 Información, Influencia de la, 155 Informe, Técnicas del, 157-158 Interna contra evaluación externa, Evaluación, 126 Interpretación de los resultados, 147, 153, 158, 160, 189,257,347 Interpretación de los valores, 147, 153, 158, 160, 189, 257, 347

) ) I )

)

') )

) ')

,)

STUFFLEBEAM, Daniel y SHINKFIELD, Anthony. Evaluación sistemática.

Recommend Documents