TIPOS DE MODELOS DE EVALUACIÓN EDUCACIONAL: 4. Mode Modelo lo de Scri Scrive ven: n: sin sin obje objeti tivo vos s pref prefij ijad ados os,, orie orient ntad ado o a las las necesidades del consumidor. Este Este mode modelo lo,, tamb tambié ién n se deno denomi mina na “lib “libre re de meta metas” s” o “eva “evalu luac ació ión n por por inducción”; se ubica dentro de los modelos globales de evaluación. Sriven desarrolló este modelo en l año 1972. Segú Según n Srive Sriven, n, la disci discipl plin ina a de la evalu evaluac ació ión n se dedi dedica ca a la dete determi rmina naci ción ón sistemática del mérito, el valor o la significancia de un programa determinado. El modelo, para Scriven, Scriven, surge de una concepción filosófica básica, proponiendo conceptos y métodos para aplicarla, además de desarrollar una línea crítica respecto a otras concepciones de evaluación. Se le reconoce una significativa contribución a la profesionalización de la evaluación. El objetivo del modelo es la búsqueda de los resultados reales obtenidos por el programa, sin necesidad de determinar por anticipado los objetivos. El evaluador inicia el proceso examinando los resultados del programa y procura deduci deducirr los objetiv objetivos os preestab preestablec lecido idos, s, a partir partir de dichas dichas observa observacio ciones. nes. Lo anterior se realiza para evitar una búsqueda limitada de los cambios que pudo producir el programa, tales como los resultados no anticipados y los imprevistos. En este modelo, la metodología de evaluación hace uso de técnicas cualitativas de observa observació ción n y descrip descripció ción, n, sin que ellas ellas sean guiadas guiadas por objetiv objetivos os preestablecidos. Para ello se identifica y entrevista a los participantes del programa. La idea central es emparejar lo observado con lo planteado por el programa, sin predisponer la evaluación por adelantado. Para ello, el evaluador registra todo lo que realmente sucede en el programa (Scriven 1991). La “forma” más pura del modelo, Scriven lo describe de la siguiente forma: forma: “Mientras menos el evaluador oiga acerca de los objetivos del programa, menos desarrol desarrollará lará una visión visión estrech estrecha a (túnel (túnel visión) visión) y más atenció atención n prestará prestará a la búsqu squeda de los los efe efectos rea reales (mejor jor que comprob robar los efe efectos tos supuestos)”Scriven 1972. “En la forma más pura de este tipo de evaluación, el evaluador ignora la meta del programa: evalúa para descubrir qué efectos está teniendo el programa más bien bien que que para para const constat atar ar si está está obten obtenien iendo do los los efect efectos os que que busca buscaba ba.. Si el prog progra rama ma está está alca alcanz nzan ando do sus sus obje objeti tivo vos, s, ello ello deb debería ería apar aparec ecer er en la constat constataci ación ón de sus efectos( efectos(…) …) Este es el único único método método que asegura asegura igual consideración a todos los efectos del programa, sean estos o no buscados, y sean o no favorables a las metas del programa”. Scriven 1991. Para Scriven existen dos funciones de la evaluación: - la formativa, que ayuda a desarrollar el programa, siendo más bien procesual. - La sumativa, que calcula el valor del objetivo, una vez que ha sido desarrollado, siendo final.
No obstante, lo anterior, el método permite iniciar el proceso sin metas, para luego cambiar el método, partiendo por la consideración de los objetivos, para determinar si han sido alcanzados, es decir admite la flexibilidad. Para el desarrollo del modelo, Scriven propone la utilización de: Lista de control de indicadores de variables . Por los indicadores quedan reflejadas las múltiples dimensiones y perspectivas que debe usarse en la evaluación:
1. Descripción. Consiste en caracterizar lo más completo posible la naturaleza del programa que se va a evaluar, sus componentes y la relación entre ellos. 2. El cliente ( y audiencias) Clarificar las audiencias a las que se le van a presentar los resultados de la evaluación, incluyendo a quien haya encargado la evaluación (cliente) y a otros grupos interesados.
3. Antecedentes y contexto
Examinar los antecedentes de lo evaluado y de la evaluación. Incluye la identificación de los agentes, beneficiarios y víctimas; las expectativas respecto de la evaluación y el tipo de evaluación deseada.
4. Recursos
Inventariar los recursos financieros y de otro tipo que están disponibles para apoyar el desarrollo y mantenimiento del programa; para definir la viabilidad. Incluye el dinero, las experiencias, las especialidades, la tecnología.
5. Funciones
Realizar un análisis de las funciones de los agentes y beneficiarios, las que deben cumplir y las que cumplen realmente.
6. Sistema de distribución
Establecer cómo llega el beneficio a los beneficiarios, de qué forma y a través de quién. 7. Beneficiarios (consumidores) Examinar cuidadosamente quienes reciben los beneficios, distinguiendo entre beneficiarios propuestos por el programa y los que realmente los reciben. 8.
Las necesidades y valores de los afectados y potencialmente impactados.
Valorar las necesidades de los beneficiarios. Para Scriven, la valoración de las necesidades es el proceso que permite descubrir hechos que indican que la ausencia o falta de acceso a un determinado “satisfactor” estará asociado a consecuencias negativas, todo ello basado en normas razonables sobre lo que es bueno y lo que es malo. A partir de los resultados de una valoración de necesidades, se pueden juzgar los efectos de un programa específico con buenos, malos o indiferentes, dependiendo si contribuyen o no a satisfacer las necesidades identificadas. 9. Normas (para evaluar) Identificar las normas de calidad preestablecidas por el programa y descubrir también otras normas de valoración mediante el análisis de las funciones y metas del programa; y, en general, determinar y valorar los criterios de mérito y los argumentos filosóficos correspondientes al programa en cuestión.
10.
El proceso
Examinar le proceso de realizar para saber qué fortalezas y limitaciones existen en la< operación normal del programa.
11.
Resultados
Comprobar ampliamente todos los efectos del programa, los deseados y no deseados.
12.
Posibilidad de generalización
Examinar la posibilidad y conveniencia de exportar el programa a otras personas, lugares y tiempos.
13.
Costos
Valorar los distintos costos financieros, sicológicos o de otro tipo respecto del programa. 14. Comparaciones con opciones alternativas. Opciones existentes o susceptibles de construir.
15.
Síntesis
Validar y sintetizar toda la información obtenida dándole significación y diferentes ponderaciones a la misma.
16.
Recomendaciones.
Extraer conclusiones y recomendaciones respecto a la utilización futura del programa en su contexto y en otros. 17. Elaboración de informes. Preparar informes para la difusión de la evaluación a las distintas audiencias, cuidando el vocabulario, su extensión y el formato de su elaboración.
18.
Metaevaluación.
Realizar una evaluación del trabajo evaluativo y utilizar la evaluación tanto para perfeccionarla como para informar a las audiencias acerca de sus virtudes y defectos. Básicamente, Scriven plantea que esta es una de las tantas preocupaciones de la evaluación y que los evaluadores tienen la obligación profesional que las evaluaciones propuestas o finalizadas estén sujetas también a una evaluación competente. Por eso, ojala dicha metaevaluación sea realizada por un externo a la evaluación misma. El autor introduce un nuevo concepto en materia de la evaluación, que es la metaevaluación (1968) señala que ésta puede cumplir funciones formativas, cuando proporciona información al evaluador que le permite planificar y ejecutar correctamente el diseño de la evaluación, y puede cumplir una función sumativa si le entrega al cliente pruebas independientes acerca de la competencia técnica del evaluador y de la solvencia de sus informes.
Pasos metodológicos para aplicación de éste modelo (Briones 1985) Los pasos del 1 al 6 están referidos al programa, y del 7 al 9 a su validez. 1. Caracterización de la naturaleza del programa que va a ser evaluado. 2. Finalidades de la evaluación. 3. Indicadores de las relaciones que puedan darse entre las variables dependientes e independientes del programa. 4. Verificación amplia de todos los resultados del programa. 5. Determinación de los criterios de valor o éxito y presupuestos filosóficos del programa 6. Estimación de los diversos tipos de costos (referido a costo-beneficio, sin considerar dinero).
7. Identificación de acciones alternativas a los programas (validez interna). 8. Identificación de los elementos del programa y sus posibles impactos en el programa 9. Conclusión sobre el valor del programa.
Ventajas del modelo, según Scriven 1. menos intrusita que la evaluación basada en el establecimiento de objetivos. 2. más adaptable a los cambios repentinos de objetivos. 3. más solvente para encontrar efectos secundarios. 4. menos propensa a la tendenciosidad social o perceptiva. 5. más estimulante en términos profesionales. 6. más equitativa en la medida que considera una amplia gama de valores Desventajas o dificultades del modelo. Según Briones (1985) no obstante destaca la conveniencia de identificar y describir los efectos no anticipados del programa, el propósito básico de la mayoría de la evaluaciones es conocer si se han logrado o no los objetivos perseguidos, y en el caso de ser logrados, cuáles son sus niveles de logro, para conocer el nivel de eficiencia del programa. “El gran énfasis en lo anticipado puede tener las mismas consecuencias que el modelo trata de evitar, pero en la dirección contraria. No encontrar los cambios producidos realmente apreciados desde los objetivos explícitamente formulados”.
-
Según Stake (1975)
- indica que la propuesta podría llamarse evaluación “a la deriva”, pues una evaluación seria no puede ignorar los objetivos preestablecidos al trabajar con quienes financian la evaluación o con los equipos responsables del programa. - Otra crítica está asociada con la factibilidad de cumplir con las exigencias del modelo sin objetivos prefijados: “…yo responsabilizo a Scriven por esperar de nosotros los evaluadores que seamos sensitivos, racionales y que estemos alertas de tal modo como su diseño de evaluación lo requiere. Yo a veces pienso que Mike Scriven diseña modelos de evaluación que solamente Mike Scriven es capaz de llevarlo a cabo” ( 1975) Otros autores: - La imparcialidad también puede ser un problema, si el evaluador no puede describir y defender los criterios que son utilizados para hacer las evaluaciones. - El modelo es difícilmente generalizable a otras situaciones, aunque se han hecho las tentativas de proporcionar control de calidad”,
