BOBADILLA DÍAZ, Percy y otros. Sistema de monitoreo y evaluación de proyectos. En: Diseño y Evaluación de proyectos de desarrollo. Lima: Pact Perú, RA editores, 1998. P . 133-154
1. ENFOQUE Y FORMULACIÓN DEL MONITOREO Y EVALUACIÓN DE PROYECTOS En los dos módulos anteriores presentamos la metodología del marco lógico para la formulación de propuestas de desarrollo y la planificación operativa. Al tratar el tema del marco lógico se puso énfasis en el diseño e identificación de indicadores como instrumentos para medir el avance y logro de objetivos y metas. La planificación operativa, por su parte, se centra básicamente en las actividades y tareas que permitirán alcanzar las metas propuestas. Por eso este capítulo desarrollará dos herramientas fundamentales y de suma importancia en la gestión organizacional: el monitoreo y la evaluación de proyectos, ambas esenciales para conocer, medir y evaluar el progreso obtenido a nivel de actividades, metas y objetivos. A continuación presentamos un gráfico que ilustra las competencias del monitoreo y la evaluación de acuerdo a la columna j erarquía de objetivos del marco lógico.
Nivel de logro
Jerarquía de objetivos FIN (Objetivo de desarrollo)
Herramientas de trabajo EVALUACIÓN
Impacto social por efecto de la intervención de diversos pr proyectos oyectos de desarrollo ............................................................................................................. IMPACTO
PROPÓSITO (Objeto general)
EVALUACIÓN
EFECTOS
RESULTADO (Objetivo especifico)
se evalúa el impacto y efecto producido por las acciones teniendo en cuenta las metas del proyecto
.....................................................................................................
PRODUCTOS
ACCION (Actividades principales)
MONITOREO Seguimiento de los productos conseguidos con las actividades de acuerdo al plan operativo y al presupuesto
Para monitorear y evaluar proyecto pro yectoss es indispen indi spensab sable le que q ue desde d esde un inic i nicio io los lo s término tér minoss de la hipótesis de acción que los sustenta hayan sido definidos de manera clara y precisa pre cisa.. Es E s deci d ecir: r: ▪ ▪ ▪ ▪ ▪ ▪ ▪
¿cuáles eran el o los problemas problemas que se pretendía enfrentar con el proyecto? ¿qué objetivos se esperaba alcanzar? ¿qué resultados específicos se esperaba obtener? ¿cuáles eran los supuestos claves que tomamos en consideración? ¿qué actividades se diseñó para lograr los objetivos? ¿en qué tiempo se esperaba lograrlos? ¿qué recursos se asignaron para ello?
Además de respuestas claras y precisas a estas preguntas, para monitorear y evaluar proyecto pro yectoss deb debemo emoss tener tene r posibil pos ibilidad idades es de hacer hace r un seguimie segu imiento nto de todo lo que va sucediendo a lo largo del desarrollo de los mismos. Para ello es necesario que los objetivos hayan dejado de ser aspiraciones o deseos para convertirse en cambios posible pos ibless de observar obse rvar El diseño del marco lógico constituye un esfuerzo de precisión de las hipótesis que forman parte de la propuesta del proyecto y, en esa medida, es el punto de partida de la evaluación de sus objetivos y resultados. El insumo fundamental para realizar el monitoreo es la planificación operativa. Por esa razón el plan operativo debe ser preciso y claro, además de estar ordenado cronológicamente para facilitar el seguimiento de la ejecución de las actividades y el cumplimiento de las metas identificadas. Tanto el monitoreo cuanto la evaluación constituyen actividades que producen información para retroalimentar los diferentes niveles del proyecto, permitiendo a sus gestores tomar decisiones y hacer correcciones que ayuden al cumplimiento de las metas y al logro de los objetivos (Propósito y Resultados). Si bien el monitoreo y la evaluación están estrechamente relacionados y muchas veces usan la misma información, es importante no confundirlos. El siguiente cuadro muestra las principales diferencias entre monitoreo y evaluación. TOPICO MONITOREO EVALUACIÓN Objetivos que persiguen
Aspectos que consideran
Frecuencia sugerida
Dar información sobre el Determinar los logros del cumplimiento de la proyecto y compararlos con planificación operativa a fin los que éste se había de hacer correcciones. propuesto. Cumplimiento de Cumplimiento de toda la actividades y tareas; logro de jerarquía de objetivos en las metas que éstas se términos de pertinencia, propusieron. Uso de eficacia, eficiencia, impacto recursos. y sostenibilidad. Mensual. Trimestral, semestral, anual, final.
Fuentes
Responsables
Informes producidos por el Informes de monitoreo, equipo del proyecto. seguimiento de los indicadores, información externa Equipo del proyecto. Equipo del proyecto y/o especialistas externos, a veces, destinatarios.
2. EL MONITORES DE ACTIVIDADES Definición, características y formulación La tarea de organizar el monitoreo de un programa o proyecto debe realizarse durante su diseño y no cuando éste sea aprobado. En la planificación del monitoreo se definirá quiénes serán los responsables de su realización y se asignará los tiempos y fondos necesarios para llevarlo a cabo. De otro lado, organizar el monitoreo junto con el diseño del proyecto permite que quienes van a responsabilizarse de su ejecución entiendan las funciones, sentido y utilidad que éste tiene, y se comprometan a llevarlo a cabo con rigor y seriedad.
Definición y características del monitoreo El monitoreo es una función que busca conocer cómo se están realizando las actividades y tareas definidas en la planificación operativa, y si éstas están cumpliendo con las metas diseñadas en los plazos previstos y con los recursos asignados. Este trabajo es también conocido con el nombre de seguimiento de la ejecución de actividades, debido a su exigencia de brindar información permanente y continua sobre los avances del proyecto. E1 monitoreo tiene como objetivo producir información que posibilite tomar medidas correctivas para mejorar la eficacia y eficiencia del Plan Operativo, redefiniéndolo si fuera necesario. Las discrepancias manifestadas entre la ejecución real y la programada permitirán modificar aquellas actividades que no estén contribuyendo al logro de las metas esperadas, ajustar los plazos y perfeccionar el manejo de los recursos. E1 monitoreo es una función interna ejecutada normalmente por el equipo o las instancias que la institución designe. Cada responsable de una actividad lo es también de producir la información para el monitoreo. A la vez, los momentos de revisión de la marcha del proyecto se constituyen en oportunidades privilegiadas para reunir al equipo y debatir sobre lo que está sucediendo, mejorando así su integración, su comunicación interna y con la institución, y el conocimiento del equipo sobre el proyecto. Evidentemente, todo ello redunda en una mejor calidad del trabajo y, por lo tanto, en las posibilidades de éxito del proyecto. En la medida que el monitoreo revisa el cumplimiento de la planificación operativa y sirve para tomar decisiones dirigidas a corregir posibles errores o insuficiencias, debe realizarse trimestralmente. Los aspectos o dimensiones que se considera en el monitoreo son:
▪
Las actividades y tareas, para determinar si se están alcanzando las metas programadas en el Plan Operativo (en la cantidad y calidad previstas) y si se está cumpliendo con los plazos. ▪ Los recursos, para determinar si se están suministrando y usando en las cantidades y momentos previstos en el Plan Operativo. Diseño del monitoreo de actividades de un proyecto tal como hemos indicado, el monitoreo (como la evaluación) debe estar incorporado en la planificación operativa del proyecto, de manera de definir sus responsables y asignarle tiempos y presupuesto. Se ha mencionado también que el monitoreo hace un seguimiento de las actividades del proyecto (la última fila de la matriz del marco lógico), y más específicamente del cumplimiento de lo establecido en el Plan Operativo. En consecuencia, el diseño del monitoreo se basa en la planificación operativa y requiere organizar el recojo de información que permitirá tomar decisiones rápidamente y hacer las correcciones que garanticen el desarrollo del proyecto de acuerdo a lo planificado. Para ello, se debe señalar con mucha precisión: ▪ ▪ ▪ ▪ ▪ ▪
La información que es necesario recoger. Los instrumentos que se usará para ello. Las fuentes donde se encuentra esa información. La frecuencia con la que se recogerá la información. Los responsables de hacerlo. El destino que se le dará.
E1 responsable del monitoreo podría organizar esto en un cuadro (ver cuadro para organizar el monitoreo del proyecto). Las cuatro primeras columnas del cuadro (códigos, actividades y tareas, metas y recursos asignados) se copian de la planificación operativa y se constituyen en el referente para contrastar lo programado con lo realmente sucedido. E1 monitoreo en particular establece una vinculación importante entre el nivel programático y el manejo financiero del proyecto. En las siguientes columnas se colocan: ▪ ▪ ▪ ▪ ▪ ▪ ▪
Los Indicadores, que señalan la información que nos permitirá conocer el progreso o avance de las metas. Las fuentes de información, espacio y/o persona donde se obtendrá la información necesaria para saber si la meta se ha cumplido y cuáles han sido los recursos realmente invertidos en cada actividad y tarea. Los instrumentos necesarios para la recopilación de la información. La frecuencia con que se recogerá la información. Los responsables de llevar a cabo cada actividad o tarea. La fecha en que se presentará el informe. La persona a quien se debe dirigir el informe.
: a r a g e r t n E n ó i e a c a h t m r c o e n f e F s i n e r p s e l b a s n o p s e R a i c n e u c e r F s o t n e m u r t s n I e n d ó i c s e a t m n e r o u f F i n s e r o d a c i d n I
o e r o t i n o m l e a r a p a d i r e u q e r n ó i c a m r o f n I
s s o o s r d a u n c g e i R s a s a t e M s e s d a a d r i e a v t i t c y A o g i d ó C
s a d a d a l s o a v r i t t a s a r n e p m o u n l a o l C P
: a r a g e r t n E
a l e d n a i ó r o c t u c t e t r i s i n D i
n ó i e a c a m h t r 6 c o 9 e n f F e s n / 2 i e 1 r / p 5 1
z e r é P a t i n a u J
z e r é P a t i n a u J
z e r é P a t i n a u J
a l e d n a i ó r o c t u c t e t r i s i n D i
6 9 / 2 1 / 7 1
6 9 / 2 1 / 2 0
6 9 / 2 1 / 5
6 9 / 2 1 / 0 1
O s e T l z z z z z C b e e e e e r r E a p p p s é é ó ó ó P P Y n L L L a a O o t t p i i o o o r r r R s n n e d d d a P R a e e e u u J P P P J L E a D i a a a a a c l l l l l O n a d a a a a t t t t t z z z z z a E e e d e e e e u e l e l e l e l e l i v v v v v R c p v p a p a p a p a a a a a i e e e e r a O e t r r r r n m n m n m n m n m o c o o o F U a a a a T c a U c t U c t U c t U o c t I N s O t o , M n e s d e o o e s o o l L e e r r r s o d e m a l e i e i e i t r t E u t r a e t e e e t t a a o r r r r s u c c c r t n o o o i R t s e m o i n n n r c n p a p a p p a A s m n o i e e e e o n e i n n n f f r i r i r i r Z I R t m . o m . f . f . f I N s o t s e A e e e e e l a n o r a d d d d d l e ó n t i G d e r r o e s s s r e e * R s i e d n e t e m c t o t t t t n . : n r n a s : o n t a c e a i O t o n : ; o n o s a i a o a f s a s o b s ó s m M c i s n i d b b s s o o o n l i i o s e r c : c s : n s A e o a r a r o : d s o s o : c a r r s r a r r r r u a R u f m e u u p o t a d u t a t a t a l u p o t u p o t r u t t i u t n f c c o s c A F i c c m g m g m g e o e e e i v c e e e a o a n a o a s a o a a r P n M p R F c p M I i R F c p M a R f c p M v e O a s R e e e s e s D r o d t a d s o n A d e d a d o l i r U a r a o p a c i i e e c C i c n u r m r i e d t o d m t u u j r o a n I n a a n r . p l . m p
s s o o s r d a u n c g e i R s a
0 0 0 5 0 5 5 4 1 : $ : o o r n : i l a p t e t o o r x T P E s e t n e a d e p n d s i a i c ó t i s t e r c e c l a M a u i p d r 0 o t e o 2 r a y 1 p o . . m p a
y s e s O d a a e L d i P v r a t i M t c E J A E o g i d ó C
0 0 0 8 0 8 1 1 : o $ : : o r n i l a p t e t o o r x T P E
0 0 0 0 5 5 3 2 : $ : o o r n : i l a p t e t o o r x T P E
0 0 0 0 5 1 5 : $ : o o r n : i l a p t e t o o r x T P E
s e r a l a p t a m s a r e a í a j h p e c u e i f s g 0 . . . 0 1 2 3 2
s y e l n a o n c ó i c o i a a l c d t s i a t a v d a n t a n i i r a e t m n 0 v i 0 n l o 2 e a c
s e t n a s p t e i c n i t e r a n p a 0 m 2 r e 1 p
a d a u l a . v e ) a e m d a r o n f r n o i J (
n ó i e c a d i z l a i d b a i n r s o n e J s
e d n ó s i e c l a a r i a r e p t e r a P m
y n a ó i i r c o t a z a i c n a o v g r n O o c
n ó i c u c e j E
n ó i c a u l a v E
1
1 . 1
2 . 1
3 . 1
4 . 1
s o t n e m u r t s n i e d a n m u l o c a l r i n i f e d o i r a s e c e n s e o n o s a c e t s e n e
*
Reporte de monitoreo El monitoreo produce en forma permanente información muy valiosa, la que deberá ser acopiada y procesada de manera que sea útil para la toma de decisiones y para hacer las correcciones necesarias en la ejecución del proyecto. La información recogida por los responsables de hacer el seguimiento de cada tarea o actividad debe ser organizada por el jefe del proyecto, quien la presentará al equipo para su análisis y procesamiento. Estos espacios de reflexión se constituyen en momentos muy valiosos para reforzar el espíritu de equipo, permitiendo que cada integrante asuma con seriedad sus responsabilidades. y que conjuntamente revisen la marcha del proyecto. A la vez, posibilitan el p laneamiento y coordinación colectiva de las actividades del próximo período, incluyendo la ejecución presupuestal y el flujo de fondos. Luego de realizar el análisis d e la información, el responsable del monitoreo emitirá reportes y formulará recomendaciones dirigidas al equipo ejecutor, a la dirección de la institución y, de ser necesario, a la Agencia de Cooperación que financia el proyecto. La frecuencia de estos reportes debería ser por lo menos trimestral. Los reportes del monitoreo incluirán los siguientes contenidos: ▪ ▪ ▪ ▪ ▪ ▪
Una comparación entré las actividades planificadas y las realmente ejecutadas en el período, considerando por lo menos el cumplimiento de los plazos, el abastecimiento y uso de los recursos y el logro de las metas. Los principales logros o aspectos positivos que se constatan en el período. Las dificultades y situaciones imprevistas suscitadas durante el período y cómo se enfrentaron y/o afectaron la ejecución del proyecto. Sugerencias y recomendaciones en lo que se refiere a cambios en la planificación y/o en el manejo de los recursos. La planificación del siguiente período, que servirá de referente para el monitoreo correspondiente. Un acápite de observaciones, en el cual se haga una breve comparación con los reportes anteriores, señalando las situaciones recurrentes (positivas o negativas) y otros aspectos que se considere necesario mencionar.
A continuación presentamos un ejemplo de esquema de contenidos de un Reporte de monitoreo.
REPORTE DE MONITOREO Área: Actividad:
(Número o Código) (Número o Código)
Calendario Fecha de inicio estimada: Duración estimada:
Nombre: Nombre: dd/mm/aa dd/mm/aa
Responsable:
Nombre completo del jefe o encargado.
RESULTADOS (Objetivos ubicados a nivel de Resultados en la columna de Jerarquía de objetivos según el marco lógico y que tienen relación con las actividades y tareas monitoreadas). METAS ANUALES (Indicar las Metas correspondientes al Resultado señalado según el marco lógico). Descripción de las actividades y tareas (Indicar las actividades y tareas correspondientes planificadas para el período en medición). Actividades y tareas ejecutadas en el período (Indicar todas las actividades y sus respectivas tareas ejecutadas en el período relacionándolas con las metas, plazos y recursos destinados para cada una de ellas). Avance o cumplimiento de Metas en relación al Plan Anual (Señalar en términos cuantitativos el logro o avance de las metas correspondientes de acuerdo al Plan Anual). Observaciones / Dificultades encontradas (Señalar las dificultades encontradas o situaciones imprevistas indicando de que manera afectaron las actividades planificadas del período y qué cambios podrían originar en el siguiente). Actividades y tareas planificadas para el siguiente período (Indicar las actividades correspondientes al siguiente período teniendo en consideración el Plan Operativo. En caso de posibles modificaciones, fundamentarlas).
3. LA EVALUACIÓN DE PROYECTOS Definición, tipos y criterios para su implementación y diseño Definición La evaluación es el proceso que busca determinar los efectos y el impacto del proyecto (esperados e inesperados) en relación a las metas definidas a nivel de Propósito y Resultados, tomando en consideración los Supuestos señalados en el marco lógico.
Al igual que en el caso del monitoreo, la evaluación debe ser considerada y prevista desde el momento del diseño del proyecto e incorporada a la planificación operativa, definiendo su frecuencia, duración, responsables y recursos. La evaluación puede ser realizada por el equipo ejecutor del proyecto y/o por agentes externos (en este caso general mente a solicitud del ente financiero y cuando su ejecución ha terminado). Además de contribuir de manera fundamental a la dinámica interna y apoyar la conformación del equipo, la reflexión sobre lo que está sucediendo en el proyecto en relación a las metas que éste se había planteado se constituye en una oportunidad valiosa para afinar el rumbo y mejorar las posibilidades de éxito del trabajo. Se recomienda que el equipo realice una evaluación de la marcha del proyecto por lo menos una vez al año, a manera de preparación para la elaboración del Plan Operativo del período siguiente. Si bien el monitoreo es uno de los principales insumos para la evaluación, el carácter y alcance de esta última son distintos, ya que el eje de su interés es el cumplimiento de los resultados y propósito del proyecto. Puede suceder que un proyecto cumpla adecuadamente con las actividades previstas en su Plan Operativo, pero ello no garantiza que se alcancen sus objetivos (por ejemplo, la construcción de letrinas no asegura que mejore la salubridad, como la construcción de escuelas no mejora necesariamente la calidad de la educación). La evaluación es la actividad que permite verificar las hipótesis que sustentaron el marco lógico. Por un lado, analiza si las actividades desarrolladas realmente permitieron obtener los resultados, y si éstos realmente permitieron alcanzar el propósito. Del mismo modo, busca determinar si el proyecto realmente contribuyó a resolver el o los problemas detectados. La consideración de la manera en que los supuestos afectaron al proyecto es fundamental en una evaluación, en la medida que éstos constituyen uno de los elementos de la hipótesis del proyecto. Aunque la hipótesis sólo podrá comprobarse de manera definitiva una vez culminado el proyecto, es conveniente y necesario realizar evaluaciones durante el curso de su ejecución para así tomar decisiones hacia el futuro y mejorar las posibilidades de éxito. E1 tipo de decisiones que la evaluación contribuye a tomar se refieren, por ejemplo, a: ▪ ▪ ▪ ▪ ▪
Si se continúa o detiene un proyecto. Reestructurar el proyecto y los términos de referencia del personal. Mejorar sus prácticas y procedimientos. Agregar o descartar determinadas estrategias y técnicas. Organizar y desarrollar proyectos similares.
Las fuentes en que se basa un proceso de evaluación son los informes de monitoreo, el seguimiento de los indicadores definidos para los niveles de propósito y resultado, e información externa.
Tipos de evaluación Existen distintos tipos de evaluación, dependiendo del momento en que ésta tenga lugar:
Evaluación ex-ante: se realiza previamente a la aprobación del proyecto y tiene por objetivo hacer una estimación de: ▪ ▪
▪
Su pertinencia, es decir, la importancia del problema a enfrentar en relación a las necesidades de la población. Su viabilidad, es decir, la legitimidad y aceptación de la propuesta por parte de la población beneficiaria y el entorno institucional y político; incluye consideraciones sobre su factibilidad económica y social (las posibilidades de llevarla a cabo). Su eficacia potencial, es decir, las posibilidades que tiene de alcanzar sus objetivos.
Evaluación de proceso o continua: se realiza durante la ejecución del proyecto y su objetivo es medir el avance en el logro de los resultados y estimar el grado en que se espera alcanzar el propósito. Evaluación de fin de proyecto o expost: tiene lugar una vez que el proyecto ha concluido y su finalidad es producir una imagen definitiva sobre el grado de logro de los objetivos del proyecto, tanto a nivel de resultados como del propósito. Por lo general, incluye una apreciación sobre los efectos positivos y negativos del p royecto y sobre aquellos inesperados. Evaluación de impacto: se realiza un tiempo después de que el proyecto ha concluido. Se especializa en descubrir los cambios permanentes producidos en la población destinataria y en el ambiente. Igualmente, busca determinar si se ha contribuido a mejorar la calidad de vida de la población en los aspectos o dimensiones que el proyecto abordó. Cada uno de estos tipos de evaluación pone el énfasis en dimensiones distintas pero, en términos generales, el referente principal de cualquier evaluación es el logro de toda la jerarquía de objetivos del proyecto: ▪
Contrasta lo que se había previsto. alcanzar con lo que realmente se logró y reflexiona sobre las causas por las que ello sucedió. ▪ Extrae lecciones importantes para la toma de decisiones durante el desarrollo del proyecto y para nuevas intervenciones cuando éste haya terminado. La evaluación busca dar explicaciones a lo que descubre, para lo cual es fundamental que lo relacione con su contexto, con las características de la población objetivo, de la institución y el equipo, etcétera.
Criterios de evaluación Los criterios a partir de los cuales la evaluación puede conocer y medir los efectos e impactos del proyecto son los siguientes:
Pertinencia, es decir, la adecuación de los objetivos definidos por el proyecto con los problemas identificados y los intereses manifiestos de la población con la que éste se desarrolla. Las preguntas para verificar la pertinencia de u n proyecto son: 1 ¿En qué medida el proyecto está contribuyendo a resolver los problemas identificados en la zona de intervención? 2. ¿Cuál es el grado de satisfacción de la población – objetivo con el proyecto y sus resultados?
Eficacia, es decir, el grado o nivel en que se cumplen los objetivos (resultados y propósitos) del proyecto. Se debe analizar si es posible atribuir esto a las actividades desarrolladas por el proyecto o a factores externos, dándole especial atención a los su puestos. Las preguntas para verificar la eficacia de un proyecto son: 1 Se están alcanzando los resultados previstos? 2 ¿Hasta qué punto se está avanzando hacia el logro del propósito del proyecto? 3 ¿Es posible atribuir el logro de los resultados y propósito a la intervención del proyecto o a otros factores?
Eficiencia, es decir, la manera en que se han usado y organizado los recursos (humanos y materiales) en la ejecución del proyecto (esta dimensión se relaciona estrechamente con los análisis costo – beneficio). Las preguntas para verificar la eficiencia de un proyecto son: 1 ¿Los insumos (recursos humanos, materiales y financieros) fueron provistos de la manera más adecuada? 2 ¿Cuánto costó lograr los resultados y propósito del proyecto? (análisis de costo – beneficio) 3 El uso de los recursos, ¿fue el más adecuado?
Sostenibilidad, es decir, la medida en la que la población logra mantener vigentes los cambios logrados por el proyecto una vez que éste ha terminado (criterio normalmente considerado sólo en las evaluaciones de impacto). Las preguntas para verificar la sostenibilidad de un proyecto son: 1 ¿La población sigue usando y/o manteniendo la infraestructura o sistemas introducidos por el proyecto después de su culminación? 2 ¿Está la población en condiciones de financiar sus costos?
3 ¿La población cuenta con las capacidades, conocimientos y habilidades para mantener los cambios introducidos por el proyecto? 4 ¿Son compatibles los nuevos sistemas o infraestructura con el equilibrio ecológico y ambiental de la zona?
Pasos previos para realizar una evaluación a. Organización de la recopilación de información Es muy importante organizar y planificar el recojo de la información que permitirá evaluar el proyecto. E1 esfuerzo de definición de los indicadores puede ser inútil si no se asignan responsabilidades y fondos para mantener actualizada la información. Una vez definidos los indicadores en la matriz del marco lógico, deberá organizarse esta información en un cuadro como el que estamos proponiendo (ver Cuadro para organizar la recopilación de información para la evaluación del proyecto) en el que se especifican: ▪ ▪ ▪
▪
▪
El Fin del proyecto, de manera de no perder de vista el sentido último hacia el que éste apunta. La Jerarquía de objetivos (Propósito y Resultados), los Supuestos, las Metas, los Indicadores y las Fuentes de información; estas cuatro primeras columnas se copian de la matriz del marco lógico. La técnica o los instrumentos a utilizar para procesar la información, es decir cómo se relacionarán los datos acopiados de acuerdo a cada indicador. Los indicadores pueden organizarse de acuerdo a la necesidad de un instrumento o técnica específica. Para la implementación del sistema de monitoreo es necesario definir determinadas técnicas que facilitarán el recojo de información. Por ejemplo, encuestas (de opinión, sociales, económicas, entrevistas, grupos focales, etcétera). Para el caso de los instrumentos, los indicadores serán el referente más importante para elaborar las preguntas pertinentes que permitirán construir el formato en el cual se señalará la información requerida para evaluar y medir los avances del proyecto. La Frecuencia con que se recogerá la información, que depende de las características de cada indicador y de su ubicación en la jerarquía de objetivos. No tiene sentido hacer un seguimiento mensual del logro del propósito del proyecto, ya que los cambios a ese nivel no son visibles en períodos muy cortos. De otro lado, puede haber variaciones estaciónales, o épocas en las cuales algunos indicadores deberán medirse con mayor frecuencia (por ejemplo, casos de diarrea en verano o volúmenes de producción sólo después de la cosecha). El Responsable de recoger la información correspondiente a cada indicador y las Fechas en que deberá informar.
O T C E Y O R P L E D N Ó I C A U L A V E A L A R A P N Ó I C A M R O F N I E D N Ó I C A . . L . I . . P . . . O . . . C . . . E . . . R . . . A . . . L . . . . R . . . A . . . Z . I . . . N . . . A . . . G . . . R . . . O . . . . A . . . R . . . A . . P . . . . O . . . R . . . D . . . A . . . U . . C . . . . . . . . . . : n i F
n ó i e a c a h t m r c o e n f e F s i n e r p
n ó i e a c a h t m r c o e n f e F s i n e r p
e l b a s n o p s e R
a i c n e u c e r F s / t o s n a c e i m n u c r é t T s n i e n d ó i c s e t a m n e r o u f F i n s e r o d a c i d n I
s a t e M
e d s a o í v u i t q e r j a b r e o J
: o t i s ó p o r P
: 1 º N o d a t l u s e R
: 2 º N o d a t l u s e R
: 3 º s o N t o s e d a u t p l u u S s e R
e y d o t n s o e e o r n o ó g i a n e ñ c e e a a u d d d c e 5 5 a j 1 1 c e e ) l o t b a s e s c e n y l o o r a á z p i p s r n a o e r l e M G ( d
O T C E Y O e l R b a P s n L o E p s D e N R Ó I a C i c A s n i U e e L u s s c a e A e s d r V e a F E C m A L l e s i o t A / s d c o n i e t R t n a s d f n s a ó í A i e a i s n c d i P n i c a A m a t a S s n l u o n c t N l s i t r e ó é N e i p o T s u I Ó c o s c I C i n c r i o M n t C t t e a r E a e u A i - d d - n r a M S e O R o r n d e ó o L O n d . p s ) P F a s i c e s s r o N m t e a o o M o d u n m p d d E I h i r a a n t J E o e i u ú a o s l c u o f q p E D t F n t o e g i d u s a c l e n i s n e e N i D a e ( i r Ó I m C a e s s s s s e A n r o o o s o a o s L ñ ñ i i o ñ i s I e d d i n n d n o P d a r a c t e e e m i O l u d n i r d d d t u n e C n I n s c f % e % a % n E f a - d - v - e R i n a s A n l a 3 s t L ó e e u i e e s d d n l R c a p e e o i A l % r t d b m d o 0 n a Z o s r e I o c s a 8 e p t n o o l j N l e s a e e m e i a t a A e M s n m n n e d d n o ó G d m u e i a ó ñ c i e R a a c h a r m c v f a s i r O d 3 l i r e u b t o f s v s n o u ñ n u A e E p a n s y e d R A d r a s P d o o s a d o n v l i n i l u a O a t r e l e a a R c j r s m m u o e n h a b D l j o a e A r i d ó l i o e n e t s c m U a o r d e l a d n : l C j a e o o í t s o n i b o o o m C i e u i s q c p ñ a t a t ó i a M r a a d p : i n l 3 r r n n e o r o e e e a i s J F P c d d a S
a n l u r e e y n u e t t t b i o s n o a r a c p n ó s c e i a d l e a m e l e d t z l r e b ) u o n p a s d o c f t i ó ó n a n i f e c i i L o r c e i d á r y a a p l t o l n s s e e u r r d n p e a d A ( l r n a s s o ó r 2 e s 6 o p i a e s e a a ñ l c p r , e d r a a a c d a l o o e z e m a a n ñ s c p 3 l s e o u e a 3 o s l e v s m 1 a s , e d a c n a s a y e r o o e s e d r e s n a , a ñ ñ o d c p a m l o s e M l U a o d n a ) u s e o a g m a d o l d d y l e s a t a n r e n s s s a r e o i r i m c o u o r g s a s p i t o e n s s s s h d n l l i n c e n p e o e o l e o ( e , e i c d e i d d s a , d d e u i i d a s e n o m a a s b a d l s s d ó i o d l i m o a c a n ñ e l m o e r m b a i c a t s ñ u r i a u l e a a i a T l n 3 s t S p m p f o i z s n a e a t r o i g t r o l o r t n a e d o n e d i a e e l i S a c s i l d e m o a o a m i n d a n i o d t l a n n : s t a i t i d n a s a o n m l r u e e l s u o m m s e b u a a s u o a l l P s A H C F a h r a o p e a j i e d o n e s a t d n r a m o 3 n t ó l s l i s l e e c i o i e r o a s l s e t r a o d a C n n m o a u l i y ñ i s a b E . i r f a l t e i s o n t e . s s n o o i r n n s r p d n o g m e l e o e s a e e s a m l n f d o m ñ a d i P l a I a S a ó z n a i n r f a e e 3 y a r d d e u t n i b d o s i e u a r r l r c o e t a n o n n n n e e e n d d u o e , n d c l g a i n m l c ó a i c ó a i s i n d n c n i c i e o n f t o u e i ó n i i r l n d t c a c o o s i i u e a o s t s l l i s y m n o c s % b s o e i 0 e o ñ o e r r c d D 3 d p a p p o d v a i s s d s n a e i t s s o e r a l e t e s t o c a a r d c l t i e n x c l e e i o e e e y e e a r d m o o m d : l t u d u r a u i p 1 o n q s l f e s a r º d e , o n e l s i r e n r n o l t : o e o p e N u ó ó b n n s d l s s n i n i i o i e o e e e c e s o c i t d r t n e n i c t a o r m a s g ó m r n t t i s t p a e n l i m e a u t s n c i r u u s a d n s o m a o s s s m p r r s o n i E f e a e ñ u o o u u i n r R H d n ñ a S L e s c d d i p 7 l y e e d e o t d s d n o o ó o o t r i ñ g c c a a e e a u y e n e c d d e a j e o r 7 d c e p
e a l d l e e d o r d e o n o n ó i t e ñ c a e e a c u d d c y e o 5 a j r 1 c e p e ) o l t b c a s e s e y l n o á o a z p r i p r l a n o s e e r d M G (
: e u q e s r a r u g e s a , r i c e d s e , d a d i l a c e d l o r t n o c o v i t s u a h x e y o v e u n n u a . s e o s r v i e t e e t j m b o s o s n o e l b o e d d n , a o r s r g d o l a o n á u u t c t r s l e e o p e n s e o y i s s e s r l e r e o b b d a a a s i c i v a , r d s n e a i p e l e b l d i s b o n a t s n e s u , n e j s p n l e s i o c b d a n l e i f i n s r a o e z s i c , l o n s a o l g c e r i e o f í d c e o d e n s p s u é e a u n d p s s a c e o D ▪ ▪
s o a c i o r p a s n e c ó e i c a n s m r e n o i o f n i c a c e i d f i d s e o t m n e s u l a f . , o s s t e c o l i o e r d y a s n o r e é i p c e c l a n h e n , e i s s s o e e d r r o n o d á l d a a c l i c r i d o d n r n i a s i e ( s d o s l a r a a v m j e a o l b m b a ó o r c r t p a r e y a r e c h l v o n e o o u v c q e a r a a r b e p b d l u a e c s t s e o n d s e a m a e s c d n , o u y f a u h c n c r ó a n i e m , c a ) n s r e l e m o a f é t t n s e n e i a l o m t r a c d a e c i y n u d o r f n i p s : e l o e r o i v d o a t e d i c j n b a d n o u c i u e s e d u a n q i o c c e l n n a e l b i p s s o u a p , m u s y l e c e u b m i a u q s f a n E o r a c p
n o e i p , t o l l p e m n e ú j e g r e o s , P s . a o s d c a a i c s n o r e t r o e f i n d e a ; r e o x n a e s m n e d ú g e e s s r s a e z t i n n a a p g r i c o i t y r a e p s r e s o g l o c a e r i r á u r e g n b t e i s d i n d ó e i t c a n a t m r r o o p f n m i i a l y , o u t m c e á y r e o r s p , a o r d e a n c é e g d e a d z e a l v a i r t u c t a e n p s a r e l e p d l a o a d i n g e l e i d i v n e i r p e p d e , u o q d o a t l c o e r t y o o e r p D n u
de organización de la que provienen, o especificando los grupos meta, etcétera. Es conveniente además que al definir el cuadro de indicadores se considere la inclusión de los supuestos, a cuya evolución se debe estar muy atentos para asegurarse de que se van desarrollando tal como lo previmos al diseñar el proyecto, y tomar medidas correctivas en caso de que ello no sea así.
b. La línea de base La primera medición de todos los indicadores debe realizarse cuando se inicia el proyecto; de lo contrario, no se contará con datos sobre el punto de partida y será imposible identificar los cambios ocurridos, lo cual hace inviable una evaluación del proyecto. A esta primera medición se le llama línea de base e indica el valor que tienen los indicadores al momento de iniciar las actividades del proyecto. Es posible que parte importante de la información necesaria para conocer la línea de base se encuentre disponible por haber sido recopilada al hacer el diagnóstico en el que se sustenta el proyecto. Sólo si faltara información se justifica su búsqueda directa. De otro lado, se debe aprovechar al máximo la información secundaria, siempre que sea confiable. Producir directamente información tiene un costo bastante elevado, y es importante economizar los recursos destinados a este fin, siempre y cuando, naturalmente, ello no atente contra la calidad de la información requerida.
c. Organización del registro de la información Después de haber definido los indicadores y organizado la recolección de la información, resulta muy conveniente que el equipo del proyecto la registre en forma permanente y que esté disponible para su uso en los momentos de evaluación, pero también para que todos perciban el avance del proyecto en relación a los objetivos que se había propuesto alcanzar. Se trata de contar con un banco de datos que organice tanto la información del monitoreo como aquella producida por la medición periódica de los indicadores y del seguimiento de los supuestos. A1 respecto sugerimos un cuadro (ver página siguiente) en el cual se podría vaciar de manera permanente la información, facilitando así su posterior procesamiento. El banco de datos del proyecto podría organizarse de diversas maneras, utilizando desde un programa de computación especialmente diseñado para ese efecto hasta un fichero manual Lo importante es que la información sea de fácil acceso y que esté ordenada de manera tal que su uso y manejo esté al alcance del equipo y de quienes toman decisiones en la institución. Una manera sencilla de ordenar la información consiste en vaciarla en formatos tipo hoja de cálculo, que a la vez que facilitan su organización permiten un manejo rápido y eficaz de los datos (sumas, promedios, porcentajes, etcétera). Es importante definir previamente las categorías y agrupaciones de información útiles para cada proyecto particular, aunque por lo general conviene distinguirla según los tipos de intervención (por ejemplo, actividades de capacitación, de asistencia técnica, de crédito, entre otras) y según la población destinataria (por ejemplo, comunidades, regiones, personas).
s e s e m 4 2 s o l A
N Ó I C A M R O F N I E D O R T S I G E R L E D N Ó I C A Z I N A G R O A L A R A P O R D A U C
s e s e m 8 1 s o l A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : o t c e y o r P l e d e r b m o N
s e s e m 2 1 s o l A
s e s e m 6 s o l A
e s a b e d s a e n í L
s e r o d a c i d n I
s s o t o d s a o t e t l i u s u p ó s u p e r s o r s s p l o l o l e e e D D D
. n ó i c o m o r p e d s o p i u q e s o l n a z i l a e r e t n e m n ú m o c s á m e u q a l s e s e o u q t , c e o y s e o r c p o r e p d e n d n ó i c ó i a c u a l u a l a v e v a e a l e l d a o s o ñ m e s e r i d i r e l e f e r a r s a o p n s e e t i n p o á i c c a a t e t n s e e i r n O E
z e v a d a c , a v i t a r e p o n ó i c a c i f i n a l p a l n e s o t s i v e r p n á t s e n ó i c a u l a v e e d s o t n e m o m s o l e u q y a i r a s e c e n n ó i c a m r o f n i a l : n á r o e c b e a t d n e e s u c l a e s r a z a i y l e a r u e q a s d o n m o p i s m e r u r s a o i c S e u q
? n ó i c a u l a ? v n e ó i a c l a o l u d a a n v g ó e r i a c a c t a s n u e e l r a n a v a e h s u a o a l n e a a v d t i e s s s o : e e v c i s e o t r r e a n i j t o v r b n e u o g n s s e a a e o r s l a p e r a d v i c s é n i i e u l f n q e p é a i m D i u r a o Q P t ¿ ¿ s . a E ▪ ▪
b. Definir el enfoque de la evaluación Precisar qué aspectos del proyecto interesa evaluar. Por ejemplo: su grado de avance en relación al logro de las metas correspondientes a los resultados y/o propósito, el impacto del proyecto en la comunidad destinataria, el proyecto en su conjunto o alguna de sus líneas o áreas, los aspectos técnico – productivos o los educativos, entre otros.
c. Ordenar la información que se necesita para realizar la evaluación Si hemos mantenido actualizado el seguimiento de los indicadores del proyecto y se ha realizado un monitoreo constante, buena parte de los datos ya habrán sido recopilados. Sólo en casos excepcionales la evaluación requerirá ir en busca de información nueva. Conviene, sin embargo, a partir de los objetivos y enfoque de cada evaluación en particular, seleccionar y extraer del banco de datos o sistema de información del proyecto la información precisa que se requiere.
d. Definir el plan de implementación de la evaluación Esto incluye decidir quiénes formarán parte del equipo responsable de realizar la evaluación, definir las actividades que se desarrollarán y un cronograma detallado de ejecución, estimar los costos que demandará, así como el presupuesto correspondiente. Estas decisiones deben guardar coherencia con lo establecido en la planificación operativa. Además, el plan de implementación deberá prever cómo y quiénes analizarán la información, así como el tipo de informe que se espera producir y los responsables de redactarlo. Este informe puede asumir diversos esquemas y su grado de profundidad y desarrollo dependerá del tipo de evaluación que se está realizando. En las páginas siguientes presentamos, a manera de ejemplo, dos modelos posibles de esquema de informe de evaluación. Es necesario, igualmente, que en el plan de implementación se considere el procesamiento posterior que se dará a la evaluación. Independientemente de quién la solicite, toda evaluación es de gran utilidad para el equipo ejecutor de un proyecto, en la medida que le permite reflexionar sobre la manera en que éste se ha desarrollado. Por lo demás, toda evaluación señala limitaciones o errores que requieren la urgente toma de medidas correctivas.
ESQUEMA DE INFORME DE EVALUACIÓN I. Antecedentes a ) Nombre de la ONG. b ) Nombre del proyecto. c) Fecha de firma del convenio y duración total del proyecto. d ) Monto presupuestado por fuentes: cooperación, propia, otras. e ) Aspectos relevantes de la marcha del proyectó previos a la evaluación.
II. Descripción del proceso de evaluación a) Participantes. b ) Zonas de trabajo. c) Instrumentos de análisis. d) Documentación usada como insumo. e) Metodología empleada. III. Hallazgos a ) Nivel de cumplimiento de actividades (incluyendo recursos gastados). b) Avance en el logro de los resultados, propósito y fin (si se trata de una evaluación intermedia). c ) Cumplimiento de los resultados y propósito y avance hacia el logro del fin (si se trata de una evaluación final). d ) Deficiencias y limitaciones. e ) Resultados no previstos. f) Gestión del proyecto.
IV Conclusiones a ) Sobre el equipo responsable del proyecto. b ) Sobre la relación entre actividades y resultados (en una evaluación intermedia). c ) Sobre la relación entre actividades – resultados – propósito y fin (en una evaluación final). d ) Sobre la gestión del proyecto. e ) Perspectivas futuras del proyecto (en una evaluación intermedia). f) Perspectivas para la sostenibilidad y/o replicabilidad del proyecto (en una evaluación final).
