08 IFD Proyectos Unidad 4

08 - Planificación, seguimiento y evaluación de proyectos

UNIDAD 4

Evaluación y Seguimiento Profesor/Autor Daniel Prieto Castillo

Versión Versión 2.0 / Enero de 2012

08-4

Instituto de Formación Docente de Virtual Educa 08 - Planificación, seguimiento y evaluación de proyectos

Daniel Prieto Castillo Unidad 4 - 2

Contenidos

1. La cultura de la evaluación................................................................................3 2. Los parámetros de evaluación .........................................................................4 3. Lo que proponemos en un proyecto ................................................................5 4. Los puntos de mayor concreción .....................................................................5 5. Los tiempos de la evaluación ...........................................................................6 6. ¿Quién evalúa? .................................................................................................6 7. En clave de aprendizaje....................................................................................7 8. Sobre los indicadores.......................................................................................7 9. El constante seguimiento .................................................................................8 10 ¿Para qué el seguimiento? .............................................................................9 11. Una memoria viva ......................................................................................... 10 12. Algunas alternativas prácticas...................................................................... 10 13. El futuro otra vez ...........................................................................................11


Sobre la Evaluación y el Seguimiento

1. La cultura de la evaluación No ha terminado de instalarse en muchas de nuestras universidades la cul tura de la evaluación. En primer lugar, porque ha transcurrido poco tiempo desde que comenzó a generalizarse el llamado a esa práctica, a comienzos de los 90ª. Y en segundo, porque las instituciones se habían pasado muchas décadas sin revisarse como totalidad desde ese punto de vista. Doy un ejemplo personal: como secretario académico de la Universidad Nacional de Cuyo tuve a mi cargo la coordinación de la primera evaluación de esa casa de estudios, en 1995; fue la tercera que pasó por ese proceso en toda la historia del país. Pues bien, la fundación de la UNCuyo se produjo en 1949, lo que equi vale a reconocer que durante 46 años no se vivió una experiencia semejante. Sería injusto afirmar que a lo largo de tanto tiempo hubo cero evaluación, pero no podemos dejar de reconocer que en situaciones semejantes es muy difícil construir una cultura de la evaluación, sobre todo porque se tendía a evaluar sólo a las y los estudiantes, y no a los docentes y mucho menos a una carrera, a una facultad o a una universidad completa. A casi veinte años de aquel comienzo, aún cuando todavía no se ha generalizado esa forma de mirarse a uno mismo como educador, o de mirar el propio espacio donde se trabaja, conocemos ya lo suficiente como para anticipar en el marco de una propuesta educativa cómo será la evaluación de la misma a la hora en que se la esté implementando. Es más: hay organismos que no aceptan la presentación de un proyecto si no incluye con claridad sus mecanismos de evaluación. En esta última Unidad trabajaremos ese tema y otro que figura también en el nombre del curso, seguimiento. Revisaremos lo que cada uno significa y nos detendremos en modos de llevarlos a cabo.




2. Los parámetros de evaluación La palabra es por demás clara: para-metro, lo que significa ¿desde dónde medimos? Lo crucial aquí es el ¿desde dónde? La discusión en torno a este punto fue muy rica a comienzos de los 90ª. Frente a aquellos que proponían paráme tros generales para decir si una universidad es de calidad o no, había quienes protestaban señalando: “No puede usted aplicarle a una institución de una ciudad pequeña perdida en el sur los parámetros de calidad de Harvard, porque la despedaza”. A lo que los otros replicaban “Entonces, si vamos a tomar en cuenta contexto, recursos, historia, limitaciones espaciales, terminaremos jus tificando malas carreras, malos procesos educativos.” La solución a dilemas semejantes la dio en mi país, la Argentina, la Comisión Nacional de Evaluación y Acreditación Universitaria, CONEAU: para evaluar instituciones primero que ellas hagan una autoevaluación, sobre la base de la cual expresarán sus posibilidades y limitaciones y propondrán un plan de desarrollo; a partir de lo que cada una dice que es y de lo que quiere hacer, se realizará la evaluación externa para ver la coherencia entre todo ello y la realidad misma de la casa de estudios. Sin embargo, en la evaluación de carreras de postgrado es más compleja la cuestión, porque hay parámetros de calidad hacia los que se debería tender. Tuve oportunidad de integrar una comisión que la CONEAU convocó para la elaboración de un documento de parámetros de educación a distancia para evaluar carreras de postgrado con dicha modalidad. Se trata del texto denominado Informe sobre educación a distancia, que acompaña a este documento base de la Unidad como lectura complementaria. Produjimos con un “Informe sobre grupo de colegas un material de referencia para la CONEAU, escrito en su educación a distancia”, Comisión totalidad para proponer parámetros de evaluación, con una estructura Asesora de la CONEAU, vertebrada a través de dos expresiones “es imprescindible” y “es desea- Buenos Aires, 2004. ble” . Veamos un ejemplo, referido al modelo educativo de referencia: 1. La propuesta de postgrado a distancia deberá estar enmarcada en un modelo educativo explícito, que vertebre como eje fundamental todo el postgrado dando coherencia a cada uno de los aspectos o componentes del mismo. 2. Es imprescindible que en la propuesta se expresen con claridad los aspectos centrales del modelo educativo explicitando qué, cómo, dónde, por qué medios, cuándo y cuánto enseñar y evaluar. 3. Es deseable la existencia de un fuerte compromiso de todos los actores que integran el postgrado con dicho modelo educativo. 4. Es deseable que los equipos encargados del diseño, gestión y evaluación del postgrado cuenten con capacitación específica en Educación a Distancia. 5. Es imprescindible que dicho modelo incluya una justificación de la tecnología adoptada en coherencia con las líneas teóricas de base. 6. Es deseable que el modelo propuesto esté orientado hacia formas de aprendizaje cooperativo.



Se trata de seis parámetros para evaluar un proyecto de educación a dis tancia, entre muchos otros que podrán conocer cuando revisen en detalle el documento.

3. Lo que proponemos en un proyecto Dos formas de abordar un proyecto, entonces: 

por lo que explícitamente dice de sí mismo;

por parámetros de la calidad que debería tener. En la primera caben todos los proyectos que venimos trabajando. Cuando ustedes expresan qué se proponen con lo pedagógico, cuando hablan de aprendizaje cooperativo, cuando mencionan a autores como Piaget y Vigotsky, cuando anticipan un espacio virtual interactivo…, están diciendo lo que harán y a la vez contra qué evaluarán sus propios procesos o cómo los evaluarán en el caso de una evaluación externa. Cuando sacamos a escena una de esas propuestas, corresponde asumir todas sus consecuencias para la práctica y para la evaluación de la misma. Por eso hemos insistido tanto a lo largo del curso en anticipar lo que sucederá con nuestras opciones por determinado tema, determina da manera de concebir el aprendizaje, las tecnologías, el trabajo de los docen tes, la participación de las y los alumnos, los materiales… Cada punto que sale a la luz en el proyecto tiene alguna consecuencia futura, a la hora de la implementación, y cabe dentro de una posible evaluación. Y en ese marco de lo que cada quien propone, entran en juego paráme tros de calidad de la institución, de la carrera, de la disciplina en la cual se trabaja. La evaluación de un proyecto en marcha se mueve en esas dos vertien tes y quienes asumen la responsabilidad por el logro del mismo tienen que asumirlas con toda claridad. Porque si algo ha aportado (bueno, entre sus muchos aportes) la educación a distancia en ampliar la comprensión de los procesos educativos, ha sido en proyectar el alcance de la evaluación a dimensiones que han superado los viejos límites del aula para abarcar los grandes momen tos de recursos tecnológicos, humanos y tecnológicos, en sentido amplio. 

4. Los puntos de mayor concreción En la Unidad 3, en el marco de la planificación centrada en lo operativo, pedimos en primer lugar un trabajo de anticipación de resultados a partir de PNUD. Manual de los objetivos general y específicos. Este paso es fundamental para orientar la seguimiento y evaluación de evaluación. resultados, Nueva York, 2002. Veamos una caracterización: “ Resultados: término amplio utilizado para referirse a las consecuencias de un programa, de un proyecto y/o de una actividad.” Traigo esa cita porque incluye un término exacto para pintar lo que significan los resultados: consecuencias. Un proyecto educativo, todo proyecto educativo es un ejercicio de responsabilidad con respecto a las consecuencias que tendrá, por lo que se logrará o se dejará de lograr .



En otras palabras: todo lo que aspira un proyecto educativo en relación con aprendizajes, actores involucrados, materiales de estudio, usos de tecnologías, profundización en contenidos…, se expresa en dos planos: los objeti vos general y específicos y los resultados que de ellos se derivan. Cuando nos evaluamos, cuando nos evalúan en el ámbito de responsabilidad de un pro yecto, el punto de referencia está dado por objetivos y resultados, en los cuales confluyen todos los elementos que ponemos en juego.

5. Los tiempos de la evaluación Necesitamos dialogar en torno a los tiempos de la evaluación. Aún cuando se hacen referencias a ésta como algo permanente, nos apartamos explícitamente de esa mirada para señalar que dicha práctica corresponde a determinados momentos de un proyecto. Lo permanente, como veremos más adelante, es el seguimiento. En el manual citado, el PNUD reconoce, entre otras alternativas, tres períodos de evaluación: inicial, de desarrollo y final. El primero corresponde al momento previo al lanzamiento de un proyecto: ¿está todo planificado, organizado, preparado para empezar? El segundo es caracterizado así: “Tipo de evaluación que se realiza durante la implementación de un proyecto o programa. Su objetivo principal es evaluar el progreso logrado, a fin de obtener conclusiones preliminares para gestionar el programa o proyecto y formular recomendaciones para el resto del período de ejecución. Se ocupa de cuestiones operacionales, relacio- nadas con la pertinencia y el desempeño y extrae lecciones aprendidas iniciales.” La evaluación final se orienta a medir los efectos, demostrar la eficacia y pertinencia de las intervenciones y estrategias, indicar las señales iniciales de impacto y recomendar qué intervenciones deben promoverse o abandonarse. Pues bien, como señalamos anteriormente, corresponde anticipar en el diseño de un proyecto qué se hará para evaluarlo, lo que nos abre a otro tema central.

6. ¿Quién evalúa? Los tres períodos mencionados pueden estar a cargo del propio equipo del proyecto, en el marco de lo que se denomina la autoevaluación. A la vez, en el de desarrollo y en el final, intervienen también las y los destinatarios del proyecto. La autoevaluación no se improvisa, es preciso planificarla y realizarla sobre la base de objetivos claros e indicadores acordados. Necesita tiempo de in vestigación sobre lo que va sucediendo, de análisis y reflexión para dar lugar a recomendaciones y a decisiones para impulsar más los logros y para solucionar los problemas. Por eso no se puede vivir en estado de evaluación permanente, hace falta acotar esa tarea a tiempos en los que se trabaja intensamente en la misma. La evaluación realizada por los destinatarios del proyecto también se acota a determinados tiempos y se aplica a todos los frentes de la propuesta. No se trata sólo de evaluar el desempeño de un tutor, sino también de hacerlo con respecto a la administración, a las tecnologías, a los materiales de estudio, a las

PNUD, op. cit., p. 99



formas aprendizaje, a los contenidos, a la evaluación aplicada en el curso o en la carrera. Todo ello puede ser recogido por cuestionarios, pero también a través de talleres de reflexión, intercambios entre docentes y estudiantes, en tre otras alternativas. Cuando se propone la evaluación como algo permanente, se corre el riesgo de que su eficacia para profundizar en lo que va sucediendo se diluya. Me ha tocado participar en equipos sujetos a una reunión quincenal para evaluar la marcha del trabajo, con encuentros de varias horas en los cuales se trabajaba una excesiva cantidad de puntos, sin profundizar en ellos. Lo que se traía a la mesa eran notas sueltas, no el resultado de un trabajo sistemático de pensarse en la acción, de análisis de la marcha del proceso y de concreción de los resultados esperados.

7. En clave de aprendizaje Si insistimos en la necesidad de tiempos determinados para evaluar lo más a fondo posible, es porque esta práctica se centra (sobre todo en proyectos educativos) en el aprendizaje. Tanto en la evaluación como, veremos enseguida, en el seguimiento, la clave es qué aprendemos de los procesos vividos y qué aprendemos entre todos de tales análisis. Por eso en una práctica de este tipo es necesario el involucramiento de la totalidad de personas comprometidas con un proyecto. Evaluamos para hacer control de gestión, pero ésta se basa en una corresponsabilidad, en una participación del equipo completo, en una aspiración de lograr lo mejor a través de la concreción de los resultados. Evaluación para aprender, corregir, enriquecer procesos, y no para castigar o para culpabilizar. El manual de PNUD habla de “lecciones aprendidas”, en el sentido de un “aprendizaje basado en la experiencia y aplicable a una situación general más que a una circunstancia específica.” Se visualiza así un proyecto como una totalidad de la que surge información aplicable no sólo a la revisión del mismo, sino también a otros procesos similares

8. Sobre los indicadores Hicimos referencia al “contra qué evaluar”, es decir, a los parámetros. Esto nos lleva al concepto de indicador: “Señal que revela progresos (o su falta) hacia los objetivos; medio para medir lo que realmente sucede y compararlo con lo que se ha Manual PNUD, citado, p. planificado en cuanto a cantidad, calidad y oportunidad. Es una variable 101. cuantitativa o cualitativa que provee una base simple y confiable para valorar los logros, el cambio o el desempeño” En el documento elaborado para la CONEAU sobre educación a distancia para evaluación de carreras de postgrado en esa modalidad, el juego entre “es deseable” y “es imprescindible” marca el grado de importancia de los indicadores, tomando en cuenta los grandes temas propuestos en ese texto: 

modelo pedagógico general;



prácticas de aprendizaje y tecnologías;



material didáctico;





tutoría;

administración Otra forma de distribuir los indicadores es la que propone García Aretio5: contexto socioinstitucional, metas y objetivos, instalaciones y recursos, los alumnos, los docentes, y el programa de formación; los procesos: metodología, trabajos de los alumnos, atención tutorial; materiales didácticos, evaluación de los estudiantes, relaciones externas. A modo de ejemplo, veamos lo que el autor plantea para atención tutorial: 

 



 





Normativa expresa sobre el número de horas de las tutorías. Normas sobre las funciones de los profesores en la atención tutorial. Nivel de cumplimiento formal del profesorado de las funciones de atención tutorial. Publicidad del horario de tutorias /guardias.

García Aretio, L. “ Indicadores para la evaluación de la Enseñanza a Distancia” . UNED España.Revista RIED (1998), Junio, Vol Nº 1

Eficacia y utilidad de las tutorías y dificultades para llevarlas a cabo. Tipos de acción docente-tutorial (presencial, postal, telefónica, telemática). Metodología empleada en las sesiones presenciales.

9. El constante seguimiento La palabra “seguimiento” tiene raíz latina y significa acompañar, ya sea a una persona, un proceso o una causa, todo ello durante determinado trayec to. El seguimiento va al compás de los procesos, mientras ellos se desarrollan. En el campo del diseño e implementación de proyectos, estamos de acuerdo con la caracterización que del término hace el PNUD: “Función permanente que apunta primordialmente a proveer a los gerentes y a los principales interesados información periódica y señales PNUD. Manual citado, p. oportunas de progreso (o de falta de progreso) en el logro de los re- 104. sultados buscados. El seguimiento compara el desempeño o situación real con lo que fue planificado o previsto de acuerdo con normas preestablecidas. En general, implica recolectar y analizar datos sobre procesos de implementación, estrategias y resultados y recomendar medidas correctivas.” Lo de “función permanente” diferencia este procedimiento de las evaluaciones, tal como las caracterizamos anteriormente. Una función permanente en todos los frentes de trabajo de un proyecto. Veamos a modo de ejemplo esto en referencia a los materiales didácticos: seguimiento desde la idea peda gógica base y el diseño a la producción, para mantener la coherencia que se busca con respecto a las líneas generales de la propuesta educativa; seguimiento de la forma en que se hace llegar los productos a las y los estudiantes, el uso que éstos le dan, las consecuencias que tienen para su aprendizaje, el apoyo ofrecido por los tutores, las producciones que se derivan de las prácticas de aprendizaje sugeridas en tales productos… O en el caso de la tutoría: seguimiento de la formación de los tutores, del tiempo de dedicación al proyecto, de sus formas de relación e interacción



con las y los estudiantes, de su apropiación de los contenidos, de las explicaciones que brindan, de la manera de evaluar…

10 ¿Para qué el seguimiento? Corresponde diferenciar un seguimiento para control de un seguimiento para aprendizaje y gestión del conocimiento. El primero tiene muchos siglos y está concentrado en una persona o un grupo que asumen el poder de vigilar lo que los demás hacen, para lo cual diseñan mecanismos de control que pueden llegar a un grado de detalle terrible. Se trata del modelo panóptico, propuesto por Jeremías Bentham en el siglo XVIII y retomado por Foucault para analizar distintas formas de vigilancia institucional. Lejos estamos, en un proyecto educativo que habla de aprendizaje colaborativo, de creatividad y de recursos como la web 2.0 y la plataforma Moodle, de aceptar un seguimiento de ese tipo, dirigido a cerrar lo más posible los espacios de libertad y de capacidad de construir futuro. Un seguimiento coherente con todo esto, se inscribe de lleno en la consideración de un proyecto, y de una organización, como un espacio de aprendizaje y de gestión del conocimiento. En pocas palabras: el sentido de un proyecto educativo no es sólo que vengan a él los estudiantes a aprender, sino que todos aprendamos en ese contexto de trabajo. Retomo para precisar esto parte de un material que escribí hace unos años:

“El sentido de nuestra profesión es muy simple, al menos en la for- mulación del mismo: estamos en la universidad para que quienes vie- nen a nosotros como estudiantes, aprendan. La base de nuestra Ca- rrera se expresa así: estamos aquí para promover y acompañar aprendizajes. Es esto lo que nos hace educadoras y educadores. Pero sucede que esa tarea no es nada simple. Sin duda se estre- chan la promoción y el acompañamiento si nos quedamos con la vieja forma de enseñar, basada en aquello de “dictar una clase”. Y también si no sabemos qué hacen nuestros alumnos con lo que les pedimos que estudien luego de que salen del aula. Y también si por toda práctica de aprendizaje les pedimos que lean y resuelvan de cuando en cuando una prueba para llegar al examen final. Y también si no disponemos de un abanico amplio de concepciones y métodos de evaluación… Para salir de ese proceso de estrechamiento de nuestra tarea, es preciso un gran esfuerzo…, de aprendizaje. No sólo de cuestiones pedagógicas en general, sino de cada nuevo grupo que recibimos, de lo que viene ocurriendo con las tecnologías digitales en relación con sus posibilidades educativas, de lo que aportan otros colegas durante el mismo cuatrimestre en que coordinamos nuestra asignatura, de las novedades en nuestra disciplina, de lo que toma cuerpo en el contexto local, nacional e internacional. De manera más sencilla podemos decirlo así: es muy difícil ense- ñar sin aprender. Y desde nuestra terminología: es muy difícil promover y acompañar aprendizajes sin aprender.” Llevemos todo esto al terreno de este curso: estamos diseñando no sólo un proyecto para abrir oportunidades a distintos grupos de estudiantes. Lo que estamos diseñando es un espacio de aprendizaje de todos quienes nos

Prieto Castillo, Daniel. “Notas en torno a la libertad de aprender”, palabras en la inauguración de la décimo tercera promoción de la Carrera de Postgrado de Especialización en Docencia Universitaria, Mendoza, 9 de mayo de 2008.


involucremos en él, y la forma de vivir ese aprendizaje y de producir información y conocimientos a partir de él, pasa por una pr‡ctica cotidiana de seguimiento, de acompañamiento de todo lo que se genere en el proceso.

11. Una memoria viva Reconocemos una hermosa relación entre la palabra “seguimiento” y la palabra “crónica”. Esta última tiene su raíz en “cronos”, que significa tiempo. Se trata de una producción escrita al mismo tiempo que suceden los acontecimientos. El cronista es un testigo de su época que va creando mientras la época transcurre. El seguimiento tiene un poco ese sentido de registrar lo vivido en los diferentes frentes de trabajo de un proyecto. Y no sólo eso, también de procesar, de interpretar, de comunicar información a los distintos actores involucrados y de crear y gestionar conocimientos a partir de ella. Así se van cimentando un proyecto y una memoria educativos. Durante años he escuchado en nuestra región (y he visto las consecuencias de ello en la práctica) la queja por la pérdida de la riqueza de preciosas experiencias de educación no formal y formal, porque no hubo tiempo de regis trarlas, de crear una memoria. Cuando eso ocurre, no es sólo la memoria lo que se pierde, es la posibilidad de aprender dentro de las experiencias y de hacer pedagogía con esos aprendizajes más allá de ellas. Necesitamos anticipar las formas de seguimiento de nuestros proyectos, de construcción en ellos de espacios de interaprendizaje, de recuperación y generación de información y de creación y gestión de conocimientos, de tejido de la memoria de todo el proceso.

12. Algunas alternativas prácticas Hacia 1978, en la sede de Azcapotzalco de la Universidad Autónoma Me tropolitana, México, los profesores recibimos un texto impreso con hojas llenas de valiosas especificaciones para hacer un seguimiento personalizado de cada estudiante de nuestros cursos. El instrumento se llamaba bitácora y representaba un rico recurso para hacer este registro cotidiano al que vengo haciendo alusión. Durante tres años lo utilicé con mucho provecho para mis estudiantes y para mí, hasta que la institución dejó de entregarlos. Lo cierto es que ese seguimiento tenía mucho sentido, pero no alcanzaba a aportar a un círculo más allá del aula, no hacíamos reuniones con colegas para contarnos la información y las experiencias que habíamos registrado, no alimentábamos desde todo esto la orientación de la carrera, la revisión del currículum, las formas de coordinar los aprendizajes y de evaluar. En un sistema a distancia, en el cual es preciso moverse en equipo e interactuar de modo continuo con otros colegas, esa bitácora hubiera cobrado un sentido muy valioso. Pues bien, la continuidad del término es preciosa. En la Unidad 2 del curso Herramientas tecnológicas, escribe Vera Rexach con respecto a blogs: Encontré esta definición que me gusta mucho: Un weblog o bitáco- ra es la forma más fácil de crear o actualizar una página web. La bitáco- ra así recreada puede quedarse en el plano de un trabajo personal o bien abrirse, mediante un wiki e incluso avanzar en la gestión de un



blog grupal realizando las prácticas pertinentes para integrar en él recursos y herramientas colaborativas apropiadas. A escala de un proyecto de educación a distancia en totalidad, a los fines de impulsar el seguimiento, las herramientas tecnológicas tienen un valor enorme, siempre que las aprovechemos no sólo para acompañar a las y los estudiantes, sino también para reunir información y gestionar conocimientos generados por todos los frentes de trabajo en que se mueve esa experiencia. Por supuesto que el camino no se queda en el uso de tecnologías. Hace falta crear un esquema de registro de la información, organizar encuentros presenciales con agendas muy precisas con respecto a lo que se busca en ellos, moverse entre los subsistemas del proyecto para conocer y aprender de lo que hacen los colegas, compartir no sólo lo hecho y vivido, sino también lec turas, investigaciones que se realicen incluso por fuera del proyecto. ¿Un ideal? Sí, por supuesto. Convertir cada proyecto en un seminario permanente en el que todos aprenden de todos, con una organización interna, con líneas de reflexión acordadas y previstas para un período (un año, por ejemplo), con responsables de escribir la memoria de los encuentros, con in vitaciones a colegas de la institución para comunicarles los avances y para pedir apoyo a fin de reflexionar sobre problemas.

13. El futuro otra vez Hemos insistido a lo largo de este documento en la necesidad de anticipar en la presentación de un proyecto cómo será su evaluación. Esto es muy importante, lo que corresponde es plantear la evaluación general del proyec to y no como serán evaluados los estudiantes de determinada asignatura. También planteamos la cuestión hará del seguimiento. Retomamos esto en las clases 9 y 10. Digamos ahora que tal anticipación significa también un compromiso, una responsabilidad asumida desde la planificación para avanzar de la mejor manera hacia el cumplimiento de los resultados esperados. En realidad todo proyecto educativo es un compromiso con las y los estudiantes, con la propia institución, con la sociedad en la cual nos movemos. Se trata de reconocer nuestra responsabilidad, nuestra corresponsabilidad como integrantes de un grupo, en una tarea central para cualquier espacio humano: la promoción y el acompañamiento del aprendizaje.


08 IFD Proyectos Unidad 4

Recommend Documents