Manual Evaluacion Proyectos

Manual de seguimiento y evaluación 1a edición Octubre de 2002

© Federación Internacional de Sociedades de la Cruz Roja y de la Media Luna Roja Está autorizado citar, copiar, traducir a otros idiomas o adaptar a las necesidades locales cualquier parte de esta publicación sin necesidad de solicitar previamente la aprobación de la Federación Internacional de Sociedades de la Cruz Roja y de la Media Luna Roja, siempre que se indique la fuente de manera expresa e inequívoca.

2004 Federación Internacional de Sociedades de la Cruz Roja y de la Media Luna Roja Apartado Postal 372 CH-1211 Ginebra 19 Suiza Teléfono: +41 22 730 42 22 Fax: +41 22 733 03 95 Telex: 412 133 FRC CH Correo electrónico: [email protected] Sitio Web: www.ifrc.org

Prólogo Deseo que todas las partes interesadas dentro de la Federación reciban con entusiasmo esta primera edición del Manual de seguimiento y evaluación. El panorama siempre cambiante del desarrollo, además de los desafíos cada vez mayores en las áreas de rendición de cuentas, rendimiento, normas de calidad y aprendizaje, convierten a ésta en una publicación oportuna para la División de Seguimiento y Evaluación. El Manual de seguimiento y evaluación es una caja de herramientas… una colección de herramientas, cada una de las cuales está diseñada para apoyar la función de seguimiento y evaluación. Como responsabilidad de los órganos de gestión, la actividad de seguimiento proporciona los componentes básicos para los procesos de toma de decisiones, planificación estratégica y movilización de recursos. Es una actividad clave de medición en nuestro esfuerzo por lograr la eficacia de la organización. Si no podemos medir… no podremos gestionar. Aunque el Manual esté concebido principalmente para las partes interesadas que trabajan sobre el terreno, constituye, sin embargo, un útil e interesante recurso para todas aquellas personas del ámbito de la práctica que comparten el objetivo común de servir eficazmente a las personas más vulnerables de nuestro mundo. El Manual de seguimiento y evaluación constituye una iniciativa en evolución, y esta primera edición merece ser valorada críticamente. Las diferentes herramientas tratadas se exponen de forma interesante, sencilla y entretenida. La terminología armonizada facilita utilizar el Manual junto con el Manual del proceso de planificación del proyecto y la Iniciativa "Mejor diseño de programas" (MDP). La segunda edición del Manual estará disponible en árabe, español y francés. Teniendo en cuenta su calidad de instrumento de aprendizaje organizacional, permanecemos a la espera de recibir sus comentarios constructivos, a fin de convertir la segunda edición en una ayuda incluso más pertinente y eficaz para el logro de las metas y objetivos de la Federación.

Ibrahim Osman División de Seguimiento y Evaluación Octubre de 2002

Índice de contenidos Introducción Módulo 1 – Resumen 1.1 1.2 1.3 1.3.1 1.3.2 1.3.3 1.3.4 1.3.5 1.4 1.4.1 1.4.2 1.4.3 1.4.3.1 1.4.3.2

Objetivo del Manual ¿Cuál es el contenido del Manual? ¿Qué principios y definiciones deben tenerse presentes? Gestión basada en resultados Vinculación del seguimiento y evaluación a una matriz de planificación ¿Qué es el seguimiento? ¿Qué es la evaluación? Seguimiento y evaluación durante la ejecución de una operación ¿Qué es el marco para el seguimiento y evaluación? El propósito de un nuevo marco para el seguimiento y evaluación Principios del seguimiento y evaluación orientados a la obtención de resultados en la Federación Enfoque de la Federación relativo al seguimiento y evaluación El enfoque del seguimiento orientado a la obtención de resultados El enfoque de la evaluación orientada a la obtención de resultados Enseñanzas extraídas del módulo 1

1-1 1-1 1-4 1-4 1-5 1-6 1-7 1-8 1-9 1-9 1-9 1-9 1-10 1-10 1-12

Módulo 2 – Seguimiento y evaluación 2.1 2.2 2.2.1 2.2.2 2.2.3 2.2.3.1 2.3 2.3.1 2.3.2 2.3.2.1 2.4 2.4.1 2.4.2 2.4.2.1 2.4.2.2 2.4.2.3 2.4.2.4 2.4.2.5 2.4.3 2.4.4 2.5 2.5.1 2.5.2 2.6 2.6.1 2.6.2 2.6.3 2.6.4

Cómo diseñar un sistema de seguimiento y evaluación Comprobación del diseño de la operación ¿Con qué claridad están formulados los objetivos? ¿Se han tenido en cuenta factores externos? ¿Medirán los indicadores eficazmente los progresos? Indicadores de seguimiento a través del contacto con beneficiarios Estimación de la capacidad de seguimiento y evaluación Cómo determinar la capacidad de seguimiento y evaluación Estimación de necesidades de capacitación Etapas de un análisis de las necesidades de capacitación y del diseño y realización de actividades de capacitación Planificación de la recopilación y análisis de datos ¿Por qué son necesarios los datos de referencia? ¿Qué datos de seguimiento se necesitan y de dónde se obtendrán? ¿Qué datos son necesarios para realizar el seguimiento? Seguimiento de insumos Visitas al terreno – una valiosa fuente de información complementaria Seguimiento de la participación Seguimiento y evaluación del compromiso de la Federación y de las Sociedades Nacionales con las mujeres ¿Quién recopila y analiza los datos sobre el terreno? Sistemas informatizados de seguimiento Preparación del plan y presupuesto de seguimiento y evaluación Plan de seguimiento y evaluación Presupuesto de seguimiento y evaluación Planificación de la notificación e información de retorno Orientación para la elaboración de informes de seguimiento y evaluación ¿Cómo utilizarían los directores de proyectos o programas los diferentes informes? Seguimiento del sistema de notificación de los asociados Información de retorno Enseñanzas extraídas del módulo 2

2-1 2-2 2-3 2-3 2-3 2-4 2-6 2-6 2-6 2-6 2-8 2-8 2-9 2-9 2-9 2-9 2-10 2-10 2-10 2-12 2-13 2-13 2-14 2-15 2-15 2-15 2-16 2-16 2-17

Módulo 3 – Seguimiento de programas de las Sociedades Nacionales y notificación al respecto 3.1 3.2 3.2.1 3.2.2 3.3 3.3.1 3.3.2 3.4 3.4.1 3.4.2 3.4.2.1 3.4.2.2 3.4.2.3 3.5 3.5.1 3.5.2 3.6 3.6.1 3.6.2 3.6.3

Cómo diseñar un sistema de seguimiento y evaluación para programas de las Sociedades Nacionales Comprobación del diseño de programas y actividades de las Sociedades Nacionales En el nivel de Sociedad Nacional En el nivel de actividad Estimación de la capacidad de seguimiento y evaluación para estrategias de cooperación y actividades Cómo determinar la capacidad de seguimiento y evaluación para estrategias de cooperación y actividades Estimación de necesidades de capacitación para estrategias de cooperación y actividades Planificación de la recopilación y análisis de datos para estrategias de cooperación y actividades ¿Qué datos de referencia son necesarios? ¿Qué datos de seguimiento se necesitan y de dónde se obtendrán? Visitas al terreno – una valiosa fuente de información complementaria Seguimiento a través del contacto con beneficiarios – determinación del acceso al producto resultante de las actividades, la utilización del mismo y la satisfacción al respecto por parte de los beneficiarios ¿Quién recopila y analiza los datos sobre el terreno? Preparación del plan y presupuesto de seguimiento y evaluación El plan de seguimiento y evaluación El presupuesto de seguimiento y evaluación Planificación de la notificación e información de retorno Informes escritos ¿Cómo utilizarían los directores de proyectos o programas los diferentes informes? La información de retorno en las estrategias de cooperación y actividades Enseñanzas extraídas del módulo 3

3-1 3-2 3-2 3-2 3-4 3-4 3-4 3-5 3-5 3-6 3-6 3-6 3-6 3-7 3-7 3-9 3-10 3-10 3.10 3-10 3.11

Módulo 4 – Seguimiento y notificación 4.1 4.2 4.3 4.3.1 4.3.2 4.4 4.4.1 4.4.2 4.5 4.5.1 4.5.2 4.5.2.1 4.5.2.2 4.5.2.3 4.5.3 4.6 4.6.1 4.7 4.7.1

Particularidades del seguimiento y evaluación Cómo diseñar un sistema de seguimiento y evaluación (recordatorio) Comprobación del diseño de la operación Consideraciones para el seguimiento y evaluación en las diferentes fases del ciclo del proyecto Revisión o preparación de una matriz de planificación Estimación de la capacidad de seguimiento y evaluación Definición de funciones y responsabilidades en el seguimiento Estimación de la capacidad de seguimiento Planificación de la recopilación y análisis de datos Datos de referencia ¿Qué datos de seguimiento se necesitan y de dónde se obtendrán? ¿Cuál es el mínimo de información de seguimiento que debemos recopilar en el caso de emergencias repentinas? Visitas al terreno – una valiosa fuente de información complementaria Seguimiento a través del contacto con beneficiarios – determinación del acceso al producto resultante de las actividades, la utilización del mismo y la satisfacción al respecto por parte de los beneficiarios ¿Quién recopila y analiza los datos sobre el terreno? Preparación del plan y presupuesto de seguimiento y evaluación El plan de seguimiento y evaluación Planificación de la notificación e información de retorno Informes escritos

4-1 4-2 4-3 4-3 4-4 4-5 4-5 4-6 4-7 4-7 4-7 4-7 4-8 4-8 4-9 4-10 4-10 4-11 4-11

4.7.1.1 4.7.2 4.7.3

Informes de situación e informes de situación de los suministros pendientes de entrega a los almacenes ¿Cómo utilizarían los jefes de operaciones los informes? Información de retorno para las operaciones Enseñanzas extraídas del módulo 4

4-11 4-11 4-11 4-12

Módulo 5 – Evaluación 5.1 5.1.1 5.1.2 5.1.3 5.1.4 5.2 5.3 5.4. 5.4.1 5.4.2 5.4.3 5.5 5.6 5.7 5.8 5.9 5.9.1

Introducción ¿Para qué? ¿Para quién? ¿Qué es un jefe de evaluación? ¿Por qué se evalúa? Un marco para la evaluación Tipos de evaluación Normas y principios de la evaluación Normas generales Principios claves para evaluar operaciones Criterios de evaluación ¿Existe una base para determinar los criterios? Plantear preguntas sobre el contexto de la evaluación Plantear preguntas sobre la planificación de ayuda humanitaria Planificar una autoevaluación La autoevaluación de la Sociedad Nacional forma parte del proceso de seguimiento Objetivos de la autoevaluación y marco operativo Enseñanzas extraídas del módulo 5

5-1 5-1 5-1 5-1 5-1 5-2 5-3 5-4 5-4 5-4 5-6 5-8 5-10 5-11 5-15 5-16 5-16 5-21

Módulo 6 – Etapas en la planificación y gestión de una evaluación 6.1 6.1.1 6.1.2 6.1.3 6.1.4 6.2 6.2.1 6.3 6.4 6.5 6.6 6.6.1 6.6.2 6.7 6.7.1 6.7.2 6.8 6.8.1 6.9 6.10 6.10.1 6.10.2 6.10.3

Etapa 1 – Aclaración/acuerdo sobre la necesidad de realizar una evaluación Propósito de la evaluación Consultas Cuestiones a evaluar Fuentes de financiación Etapa 2 – Planificación de la evaluación Planificación de la evaluación Etapa 3 – Preparación de los términos de referencia de la evaluación Etapa 4 – Selección del equipo de evaluación Etapa 5 – Estudio teórico (previo a la misión) Etapa 6 – Ejecución de la misión de evaluación Previamente a la llegada del equipo de evaluación al país Durante la misión de evaluación Etapa 7 – Preparación del informe de evaluación Procedimiento Orientación para el jefe de evaluación Etapa 8 – Difusión del informe ¿Qué ocurre con las recomendaciones? Etapa 9 – Utilización de los resultados y aprendizaje a partir de la evaluación Mejora de la eficacia del proceso de evaluación Aclarar los objetivos Mejorar la disponibilidad y exactitud de la información de seguimiento Lograr que las evaluaciones sean útiles Enseñanzas extraídas del módulo 6

6-3 6-3 6-3 6-3 6-4 6-5 6.5 6-6 6-15 6-16 6-16 6-17 6-17 6-23 6-23 6-24 6-25 6-25 6-26 6-28 6-28 6-28 6-29 6-28

Módulo 7 – Estudios de referencia 7.1 7.2 7.3 7.3.1 7.3.2 7.3.3 7.3.4 7.3.5 7.3.6 7.3.7 7.3.8 7.3.9 7.3.10 7.3.11 7.3.12 7.4 7.4.1 7.4.2 7.4.3 7.4.4 7.5

¿Qué es un estudio de referencia? Estudios de referencia para diferentes tipos de situaciones Planificación y gestión de un estudio de referencia ¿Es necesario realizar una encuesta de referencia? ¿Quién realizará el estudio de referencia? Determinar los objetivos del estudio Determinar la pertinencia Determinar las preguntas y temas que deberá abordar el estudio Seleccionar las unidades de estudio Decidir la utilización de un grupo de comparación Controlar la posible influencia de un año o intervalo de tiempo de características especiales Determinar qué datos secundarios se utilizarán Elegir técnicas de recopilación de datos primarios Seleccionar la muestra o los lugares que se visitarán Preparar el plan de trabajo y presupuesto Cómo analizar los datos y cómo elaborar informes a partir de los mismos La presentación es esencial Tener en cuenta la relación con el seguimiento Utilización de los resultados Preparación del informe Próximas etapas – estudios complementarios para el seguimiento y evaluación Enseñanzas extraídas del módulo 7

7-1 7-3 7-5 7-5 7-6 7-6 7-7 7-7 7-7 7-8 7-9 7-9 7-9 7-10 7-11 7-13 7-13 7-13 7-13 7-13 7-16 7-17

Módulo 8 – Herramientas para la recopilación de datos 8.1 8.1.1 8.1.2 8.1.3 8.1.4 8.2 8.2.1 8.2.2 8.2.3 8.2.4 8.2.5 8.2.5.1 8.2.5.2 8.2.6 8.2.6.1 8.2.6.2 8.2.6.3 8.2.6.4 8.2.6.5 8.2.6.6 8.2.6.7 8.3 8.4

Conceptos y definiciones Datos, información y calidad Exactitud, precisión y sesgo Métodos cuantitativos y cualitativos Ignorancia óptima Herramientas para la recopilación de datos ¿Qué es el diagnóstico rápido? ¿Qué es el diagnóstico participativo? El inventario comunitario – una herramienta práctica y rentable para la recopilación de datos ¿Qué es un estudio por muestreo? El seguimiento a través del contacto con beneficiarios – seguimiento de la probabilidad de alcanzar los objetivos Técnicas para el seguimiento de indicadores de BCM en el nivel 1 Técnicas para el seguimiento de indicadores de BCM en el nivel 2 Visitas al terreno ¿Quién deberá formar parte del equipo que realiza las visitas al terreno? Selección de lugares - ¿adónde ir? ¿Con quién reunirse? ¿Cómo realizar la labor sobre el terreno? ¿Por qué constituye una práctica recomendable utilizar listas de verificación de entrevistas? Análisis de datos recopilados utilizando listas de verificación Presentación de informes – cómo documentar y utilizar los resultados Utilización de datos secundarios Vínculos con material adicional de orientación técnica Enseñanzas extraídas del módulo 8

Módulo 9 – Glosario de seguimiento y evaluación Anexo 1 Ejemplo de términos de referencia para la realización de una evaluación

8-1 8-1 8-2 8-3 8-4 8-5 8-5 8-6 8-8 8-10 8-12 8-13 8-14 8-15 8-15 8-15 8-15 8-15 8-16 8-16 8-17 8-18 8.19 8.20

Introducción

Octubre de 2002

Introducción La División de Seguimiento y Evaluación se complace en presentar este Manual como parte de su esfuerzo por lograr una mejora de las actividades de seguimiento y evaluación llevadas a cabo por las partes interesadas. Aunque el Manual esté concebido para ser utilizado por todas ellas, tiene especialmente presente la función de seguimiento y evaluación desde la perspectiva de las Sociedades Nacionales. El Manual presenta útiles herramientas de seguimiento y evaluación, acompañadas por material teórico. Previsiblemente, el Manual se complementará con una serie de sesiones de capacitación e información autónomas o incorporadas en programas existentes, como el Programa de Formación de Dirigentes de Sociedades Nacionales o el proceso de planificación de proyectos (PPP). El Manual puede utilizarse junto con otros documentos pertinentes, tales como la Iniciativa “Mejor Diseño de Programas” (MDP), el Manual del proceso de planificación del proyecto y el Operational framework for evaluation (marco operativo para la evaluación), y es un documento que irá perfeccionándose y evolucionando a medida que lo vayamos utilizando en nuestro esfuerzo conjunto por lograr un aprendizaje organizacional. Desde hace tiempo, las partes interesadas han estado solicitando aclarar y desmitificar la función de seguimiento y evaluación para convertirla en una herramienta de actuación que contribuya a consolidar la MDP y el PPP. El presente Manual sistematiza una búsqueda más rigurosa de mejores métodos para determinar si las organizaciones “hacen las cosas bien” y si “hacen las cosas adecuadas”. El Manual de seguimiento y evaluación está estructurado en módulos, lo que facilita su lectura y permite hacer un recorrido lógico a través del seguimiento y la evaluación. Abordando diferentes cuestiones claves al final de cada uno de los módulos, proporciona al lector la oportunidad de reflexionar y repasar sus conocimientos. La Federación ha establecido ya la MDP. Muchos de los países que viven situaciones de postconflicto continúan padeciendo tensiones mucho tiempo después del restablecimiento general de la paz y los elevados niveles de violencia social siguen constituyendo un factor de alteración para las bases de subsistencia. La programación explícita permite a las Sociedades Nacionales fortalecer las relaciones dentro de y entre comunidades divididas. La MDP hace hincapié en la importancia de analizar el contexto de las situaciones, describir las actividades de los programas, determinar el impacto y buscar nuevas posibilidades dentro de un sólido marco analítico. Iniciativas de este tipo se han puesto a prueba en varios países, incluidos Colombia y Nigeria. En este primer país, los resultados pusieron de manifiesto la necesidad de intensificar la coordinación entre diferentes departamentos de la Sociedad Nacional de la Cruz Roja Colombiana, especialmente en la planificación de programas para personas desplazadas en el propio país. En Nigeria, el análisis según la MDP sirve de ayuda al personal de la Cruz Roja de Nigeria para determinar formas de mejorar la puesta en práctica de programas de agua y saneamiento. El presente Manual de seguimiento y evaluación servirá de apoyo a la MDP mediante la clara presentación de preguntas que deben plantearse en torno al diseño de programas. Del mismo modo, el Manual de seguimiento y evaluación está vinculado también al Manual del proceso de planificación del proyecto, una nueva herramienta de gestión práctica con la que se pretende ayudar a mejorar la planificación y elaboración de informes por parte de las Sociedades Nacionales y la Federación para alcanzar una calidad aceptada en el nivel internacional. El Manual del proceso de planificación del proyecto, al igual que el de seguimiento y evaluación, posibilita al usuario desarrollar con rapidez y facilidad herramientas compatibles con los requisitos de los principales donantes, para la identificación, estimación, ejecución y evaluación de proyectos. El Manual del proceso de planificación del proyecto se ajusta a las necesidades de la Cruz Roja y de la Media Luna Roja y, al igual que el presente Manual, es aplicable tanto a operaciones de socorro como de desarrollo. i

Introducción

Octubre de 2002

Como resultado de esta iniciativa en torno al seguimiento y evaluación se prevé que: • • • • • •

los jefes de programas/proyectos poseerán los conocimientos necesarios y dispondrán de las herramientas adecuadas para aplicar el enfoque de seguimiento y evaluación; mejorará la calidad de las propuestas y ejecución de programas/proyectos, y de la elaboración de los informes correspondientes; se establecerán normas de planificación y una terminología común; la capacitación en materia de planificación se ajustará a las necesidades y requerimientos de la Federación, las Sociedades Nacionales y los donantes; el sistema de planificación de la Federación adquirirá mayor coherencia con el de sus diferentes asociados y donantes; y en el largo plazo y tras un cierto período de capacitación en materia de seguimiento y evaluación y de puesta en práctica de actividades de seguimiento y evaluación, las Sociedades Nacionales mejorarán la generación de ingresos y la obtención de fondos, la calidad de sus programas/proyectos y la elaboración de informes.

Cada vez más, las Sociedades Nacionales hacen hincapié en la evaluación de la vulnerabilidad y de la capacidad (EVC). Se trata de un nuevo método dinámico de análisis promovido por la Federación y complementario al enfoque orientado a las necesidades. La EVC puede utilizarse como herramienta de diagnóstico para evaluar la capacidad institucional y como herramienta para evaluar la eficacia e impacto de programas actuales. Para verificar que en las fases de preparación para emergencias, intervención y rehabilitación se hayan cubierto las necesidades básicas de las personas afectadas por un episodio de crisis, es importante la evaluación tradicional orientada a las necesidades. La Cruz Roja Nepalesa ha realizado dos EVC piloto utilizando técnicas de diagnóstico rural participativo. Estas evaluaciones mostraron la existencia de una relación entre la vulnerabilidad, por un lado, y la migración estacional, la carencia de tierra y el grado de alfabetización, por otro lado, y permitieron clasificar las áreas según el riesgo al que están expuestas. Como respuesta al análisis realizado en la EVC, el seguimiento y evaluación pueden posibilitar la supervisión de los progresos. El presente Manual de seguimiento y evaluación, junto con otras herramientas del marco de programación y planificación de la Federación – MDP, PPP y EVC –, constituye una caja de herramientas esencial para las Sociedades Nacionales, que aborda sus propias necesidades de información para la gestión así como las de los donantes y partes interesadas. Todas las herramientas de esta caja sirven para diferentes tareas, pero todas ellas deben ser utilizadas con creatividad. "Se establecerá un sistema de evaluación en toda la Federación que incluirá la autoevaluación y el examen por homólogos para medir el progreso en todas las áreas esenciales e incorporar las enseñanzas en el desarrollo de programas futuros." Estrategia 2010

ii

Módulo 1: Resumen

1.

RESUMEN

1.1

Objetivo del Manual

Octubre de 2002

El objetivo del Manual es suministrar a la Federación, a las Sociedades Nacionales de la Cruz Roja y de la Media Luna Roja y a los asociados ejecutores la información necesaria para diseñar, gestionar y promover un sistema de seguimiento y evaluación orientado a la obtención de resultados para operaciones de emergencia y desarrollo.

1.2

¿Cuál es el contenido del Manual?

El manual ofrece un recorrido estructurado a través del diseño del seguimiento y la evaluación en el contexto de la Federación y las Sociedades Nacionales. Módulos

Contenido de los módulos

1. Resumen Este módulo presenta los conocimientos básicos que deben poseerse en torno a los conceptos utilizados en el seguimiento y evaluación orientados a la obtención de resultados en el contexto de la Federación y las Sociedades Nacionales.

2. Seguimiento y evaluación Este módulo sirve de orientación genérica en cuanto al diseño de un sistema de seguimiento y evaluación. En módulos posteriores se suministran detalles adicionales específicos para los diferentes tipos de operaciones de la Federación y de las Sociedades Nacionales.

3. Seguimiento de programas de las Sociedades Nacionales y notificación al respecto Basándose en la orientación genérica ofrecida en el módulo 2, este módulo informa en torno al seguimiento y notificación relativos específicamente a programas ejecutados en el nivel nacional.

• • • •

Objetivo del Manual ¿Cuál es el contenido del Manual? ¿Qué principios y definiciones deben tenerse presentes? ¿Qué es el marco para el seguimiento y evaluación?

• • •

Cómo diseñar un sistema de seguimiento y evaluación Comprobación del diseño de la operación Estimación de la capacidad de seguimiento y evaluación Planificación de la recopilación y análisis de datos Preparación del plan y presupuesto de seguimiento y evaluación Planificación de la notificación e información de retorno

• • •

• • • • • •

Cómo diseñar un sistema de seguimiento y evaluación para programas de las Sociedades Nacionales Comprobación del diseño de programas y actividades de las Sociedades Nacionales Estimación de la capacidad de seguimiento y evaluación para estrategias de cooperación y actividades Planificación de la recopilación y análisis de datos para estrategias de cooperación y actividades Preparación del plan y presupuesto de seguimiento y evaluación Planificación de la notificación e información de retorno

1-1

Módulo 1: Resumen

4. Seguimiento y notificación Basándose en la orientación genérica ofrecida en el módulo 2, este módulo orienta en torno al seguimiento.

Octubre de 2002

• • • • • • •

5. Evaluación Este modulo orienta de forma genérica en torno al diseño y realización de una evaluación. Además, sirve de orientación específica en relación a la autoevaluación y a la evaluación de estrategias de cooperación.

• • • • • • • • •

6. Etapas en la planificación y gestión de una evaluación El módulo detalla cómo abordar con seguridad la realización de una evaluación.

• • • • • • • • • •

7. Estudios de referencia Basándose en la orientación genérica ofrecida en el módulo 2, este módulo orienta en torno al diseño y elaboración de un estudio de referencia para una operación o programa. Se proporcionan vínculos pertinentes con el módulo 8, en el cual se ofrecen detalles adicionales sobre métodos específicos de recopilación de datos.

• • • • •

Particularidades del seguimiento y evaluación Cómo diseñar un sistema de seguimiento y evaluación (recordatorio) Comprobación del diseño de la operación Estimación de la capacidad de seguimiento y evaluación Planificación de la recopilación y análisis de datos Preparación del plan y presupuesto de seguimiento y evaluación Planificación de la notificación e información de retorno Introducción Un marco para la evaluación Tipos de evaluación Normas y principios de la evaluación ¿Existe una base para determinar los criterios? Plantear preguntas sobre el contexto de la evaluación Plantear preguntas sobre la planificación de ayuda humanitaria Planificar una autoevaluación La autoevaluación de la Sociedad Nacional forma parte del proceso de seguimiento Etapa 1 – Aclaración/acuerdo sobre la necesidad de realizar una evaluación Etapa 2 – Planificación de la evaluación Etapa 3 – Preparación de los términos de referencia de la evaluación Etapa 4 – Selección del equipo de evaluación Etapa 5 – Estudio teórico (previo a la misión) Etapa 6 – Ejecución de la misión de evaluación Etapa 7 – Preparación del informe de evaluación Etapa 8 – Difusión del informe Etapa 9 – Utilización de los resultados y aprendizaje a partir de la evaluación Mejora de la eficacia del proceso de evaluación ¿Qué es un estudio de referencia? Estudios de referencia para diferentes tipos de situaciones Planificación y gestión de un estudio de referencia Cómo analizar los datos y cómo elaborar informes a partir de los mismos Próximas etapas – estudios complementarios para el seguimiento y evaluación

1-2

Módulo 1: Resumen

8. Herramientas para la recopilación de datos Este módulo ofrece detalles sobre herramientas pertinentes de recopilación de datos que pueden ser utilizadas para el seguimiento y evaluación.

Octubre de 2002

• • • •

Conceptos y definiciones Herramientas para la recopilación de datos Utilización de datos secundarios Vínculos con material adicional de orientación técnica

9. Glosario de seguimiento y evaluación El glosario proporciona definiciones y explicaciones para los conceptos utilizados actualmente en el contexto del seguimiento y la evaluación en la Federación y las Sociedades Nacionales.

1-3

Módulo 1: Resumen

1.3

Octubre de 2002

¿Qué principios y definiciones deben tenerse presentes?

1.3.1 Gestión basada en resultados La Federación y las Sociedades Nacionales están comprometidas a aplicar una gestión basada en resultados. Este tipo de gestión pretende mejorar su propia eficacia y la rendición de cuentas: • definiendo resultados previstos que se ajusten a la realidad, • haciendo un seguimiento de los progresos alcanzados hacia el logro de los resultados previstos, • tomando las decisiones de gestión según los resultados que se obtienen, y • notificando sobre el rendimiento. Un aspecto central de la gestión orientada a la obtención de resultados es la “cadena de resultados”, definida como orden causal de una operación necesario para alcanzar los objetivos deseados. La cadena de resultados empieza por los insumos, pasa por actividades y producto, y culmina en consecuencias e impacto (meta). La cadena de resultados proporciona el marco para identificar los indicadores para el seguimiento y la evaluación. La figura 1.1 muestra la terminología y definiciones empleadas en relación con la cadena de resultados. Figura 1.1: Cadena de resultados

“Resultados”

Impacto (meta)

Consecuencias

Producto Actividades

Insumos

Resultados positivos y negativos, intencionados o no, en el largo plazo, producidos directa o indirectamente por una operación de la Federación o de Sociedades Nacionales. Resultados en el medio plazo derivados del producto de una operación. Productos, bienes de capital y servicios resultantes de una operación de la Federación y/o de Sociedades Nacionales. Acciones emprendidas o labor realizada a través de las cuales se movilizan los insumos para producir un producto específico. Recursos financieros, humanos y materiales necesarios para ejecutar la operación.

¿Qué significa gestión orientada a la obtención de resultados para la Federación y las Sociedades Nacionales? Es una gestión que: • amplía el alcance del seguimiento y evaluación a lo largo de la cadena de resultados; • garantiza que las consecuencias y el impacto (meta) se incluyan en los planes para medir los progresos y el rendimiento; • implica un alejamiento de los insumos y actividades; • traslada el interés hacia la medición de los cambios en el comportamiento y bases de subsistencia de los beneficiarios.

1-4

Módulo 1: Resumen

Octubre de 2002

1.3.2 Vinculación del seguimiento y evaluación a una matriz de planificación El principal resultado de un enfoque lógico de diseño de un proyecto es la matriz de planificación o marco lógico (véase figura 1.2). La Federación y las Sociedades Nacionales comparten un enfoque relativo a la planificación en matriz resumido en el “Manual del proceso de planificación del proyecto”. Figura 1.2: Relación de la matriz de planificación con la cadena de resultados

“Resultados”

Matriz de planificación

Cadena de resultados

Meta

Resultado, en el nivel más elevado, al cual pretende contribuir una operación de la Federación o de Sociedades Nacionales.

Propósito

Situación mejorada a la que pretende contribuir significativamente una operación, suponiendo que se concluya con éxito y en el tiempo previsto.

Consecuencias Actividades Insumos (recursos)

Productos, bienes de capital y servicios resultantes de una operación. Acciones emprendidas o labor realizada a través de las cuales se movilizan los insumos para producir un producto específico.

Recursos financieros, humanos y materiales necesarios para ejecutar la operación.

La matriz de planificación es una tabla resumen, de no más de 2-3 páginas, y normalmente acompaña al documento de diseño de la operación (véase figura 1.3).

1-5

Módulo 1: Resumen

Octubre de 2002

Figura 1.3: Matriz de planificación Lo que conseguirá la operación; lo que pretende lograr

Jerarquía de la matriz de planificación

Cómo se medirá el rendimiento

Indicadores de rendimiento

Meta Objetivo, en el nivel más elevado, al cual pretenden contribuir esta y otras operaciones.

(Impacto) Indicadores (creciente normalización) para medir el rendimiento del programa.

Propósito Consecuencia de una operación. Cambios en el comportamiento de los beneficiarios, en sistemas o en el rendimiento institucional resultantes de la combinación de la estrategia aplicada para la obtención del producto y las hipótesis claves.

(Consecuencias) Medidas que describen el logro del propósito. Valor, beneficio y rendimiento de la inversión.

Producto Lo que realmente se produce. Lo que puede considerarse responsable de haber producido la operación.

Actividades Principales grupos de actividades que deben llevarse a cabo a fin de conseguir el producto.

Indicadores de producto que miden los bienes y servicios que finalmente resultan de la operación.

Insumos/recursos Presupuesto por actividades. Recursos económicos, materiales y humanos necesarios para producir el producto.

Factores no sujetos al control de los responsables de gestión del proyecto que podrían afectar al rendimiento del mismo

Medios de verificación

Sistema de evaluación del programa.

Personas, eventos, procesos y fuentes de datos para organizar el sistema de evaluación de la operación.

Personas, eventos, procesos y fuentes de datos – sistema de supervisión y seguimiento para validar el diseño de la operación.

Personas, eventos, procesos y fuentes de datos – sistema de seguimiento para validar los progresos en la ejecución.

Hipótesis y riesgos (Meta a meta superior) Riesgos relativos al impacto estratégico.

(Propósito a meta) Riesgos relativos al impacto en el nivel de programa.

(Producto a propósito) Riesgos relativos a la eficacia del diseño.

(Actividades a producto) Riesgos relativos a la ejecución y la eficiencia.

1.3.3 ¿Qué es el seguimiento? El seguimiento es la tarea diaria de gestión de recopilar y analizar información que revela cómo evoluciona una operación y los aspectos, si acaso los hay, que deben corregirse. El seguimiento es una actividad continua que hace uso de la recopilación sistemática de datos sobre indicadores especificados a fin de informar a los responsables de gestión y a las principales partes interesadas de una operación en curso de la Federación y/o de las Sociedades Nacionales sobre los progresos registrados y los resultados obtenidos en relación con la utilización de los fondos asignados. La notificación es parte integrante del seguimiento. La información obtenida en el seguimiento: • se compila en informes ordinarios y especiales; • se comparte con asociados ejecutores, donantes y beneficiarios; • se utiliza para sacar conclusiones en las evaluaciones. La figura 1.4 refleja las preguntas claves de cada etapa de la matriz de planificación a las que deberá prestarse especial atención en la realización del seguimiento. Los responsables de gestión deberán recibir periódicamente información actualizada relativa a la respuesta a estas preguntas para poder responder oportuna y constructivamente a fin de poder encarrilar la operación hacia el logro de sus objetivos.

1-6

Módulo 1: Resumen

Octubre de 2002

Figura 1.4: Preguntas para el seguimiento y matriz de planificación

Matriz de planificación Meta Propósito Producto Actividades

Insumos

Preguntas para el seguimiento La medida de los cambios en el nivel de meta requiere un plazo de tiempo más largo, por lo que en lugar de abordarse durante el seguimiento, se realiza durante la evaluación. ¿Se están alcanzando las consecuencias previstas? Indicadores de seguimiento a través del contacto con beneficiarios –¿Conduce el producto al logro del propósito? ¿Conducen las actividades al producto previsto? ¿Se están realizando las actividades según el calendario y presupuesto planificados? ¿Están disponibles los recursos económicos, humanos y materiales en el momento, cantidad y calidad apropiados?

¿Qué está provocando retrasos o resultados imprevistos? ¿Está sucediendo algo que debería empujar a los responsables de gestión a modificar el plan de ejecución de la operación?

* Los indicadores de seguimiento a través del contacto con beneficiarios (BCM de sus siglas en inglés) miden los cambios en el comportamiento de los beneficiarios como resultado del producto de la operación y constituyen un medio importante para dirigir los progresos hacia las mejoras que se desean alcanzar en las condiciones de vida o bases de subsistencia.

1.3.4 ¿Qué es la evaluación? La evaluación es la valoración sistemática y objetiva de una operación en curso o concluida, de un programa o de una política, así como de su diseño, ejecución (o aplicación) y resultados. Se trata de determinar la pertinencia y logro de los objetivos, así como la eficiencia, eficacia, impacto (meta) y sostenibilidad. La evaluación deberá suministrar información fidedigna y útil que permita incorporar enseñanzas en el proceso de toma de decisiones relativas a la gestión. En la figura 1.5 se exponen las preguntas básicas a las que deberá dar respuesta la evaluación.

1-7

Módulo 1: Resumen

Octubre de 2002

Figura 1.5: Preguntas para la evaluación y matriz de planificación

Matriz de planificación Meta Propósito Producto Actividades

Insumos

Preguntas para la evaluación Impacto Sostenibilidad • ¿Qué cambios ha ocasionado la • ¿Es probable que los beneficios se operación? mantengan durante un largo período de tiempo una vez • ¿Se han producido cambios imprevistos o no intencionados? concluida la asistencia? Eficacia Pertinencia • ¿Se han alcanzado los objetivos • ¿Han sido coherentes los objetivos de la operación? de la operación con las necesidades de los beneficiarios y • ¿Ha conducido el producto a las políticas de la Cruz Roja y de las consecuencias previstas? la Media Luna Roja? Eficiencia • ¿Han estado las reservas de productos disponibles en el momento, cantidad y calidad apropiados? • ¿Se han realizado las actividades según el calendario y presupuesto planificados? • ¿Ha sido rentable la obtención de los productos?

1.3.5 Seguimiento y evaluación durante la ejecución de una operación El seguimiento se realiza durante toda la operación. Antes de comenzar la operación, habitualmente se elabora una estudio de referencia. La evaluación puede llevarse a cabo, por diferentes motivos, en diferentes momentos de una operación.

Flujo de beneficios

Figura 1.6: Seguimiento y evaluación durante la ejecución de una operación

Evaluación Evaluación intermedia de la evolución Estudio de referencia

Evaluación final

Evaluación ex post

Seguimiento permanente y exámenes periódicos de la gestión Tiempo Duración de la operación

1-8

Módulo 1: Resumen

1.4

Octubre de 2002

¿Qué es el marco para el seguimiento y evaluación?

Como expresión de la orientación hacia la obtención de resultados característica de la Federación se ha establecido un nuevo marco para el seguimiento y evaluación orientados a la obtención de resultados, que ha sido aprobado por los órganos superiores de gestión. El marco esboza el propósito y la definición habitual de los dos conceptos, los principios y funciones del seguimiento y evaluación orientados a la obtención de resultados, así como el enfoque general de la Federación en torno al seguimiento y a la evaluación. En el Operational framework for evaluation (marco operativo para la evaluación) de la Federación pueden consultarse detalles acerca de este enfoque.

1.4.1 El propósito de un nuevo marco para el seguimiento y evaluación El marco se centra principalmente en fortalecer la función de seguimiento y evaluación dentro de la Federación, a fin de asegurar: • mayor responsabilidad en la utilización de recursos, • mayor concentración en la obtención de resultados, • una base más sólida para la toma de decisiones, y • la promoción del aprendizaje e intercambio de conocimientos en el ámbito institucional.

1.4.2 Principios del seguimiento y evaluación orientados a la obtención de resultados en la Federación El marco de la Federación para el seguimiento y evaluación se basa en cuatro principios rectores generales: I.

Todas las operaciones de la Federación y de Sociedades Nacionales deberán ser sometidas periódica y sistemáticamente a seguimiento y evaluación (incluyendo procesos, rendimiento y contexto), a no ser que la situación sea tal que ponga en peligro la seguridad del personal de la Federación y de las Sociedades Nacionales y/o de los copartícipes.

II.

El seguimiento y la evaluación deben estar incorporados en el diseño de todas las operaciones de emergencia y desarrollo.

III.

Los sistemas de seguimiento y evaluación deben ser sensibles y apropiados en relación con las características de la situación y la operación que se somete a seguimiento o evaluación. En la medida de lo posible, estos sistemas deberán combinarse con los sistemas correspondientes de los asociados ejecutores.

IV.

Los sistemas de seguimiento y evaluación deben hacerse eco de las necesidades de información y enfoques establecidos por políticas (Principios Fundamentales del Movimiento Internacional de la Cruz Roja y de la Media Luna Roja) y estrategias (p. ej. Estrategia 2010) claves de la Federación así como de los requisitos relativos a la notificación. Estos sistemas deberán, además, suministrar datos claves e información sobre los resultados, tanto para los sistemas de la Federación y las Sociedades Nacionales como para los sistemas locales de información para la gestión orientada a la obtención de resultados.

1-9

Módulo 1: Resumen

Octubre de 2002

1.4.3 Enfoque de la Federación relativo al seguimiento y evaluación 1.4.3.1 El enfoque del seguimiento orientado a la obtención de resultados

La herramienta básica para establecer un sistema sólido de seguimiento es el enfoque del modelo lógico. Entre los componentes esenciales de este sistema deben incluirse: • Objetivos de la operación claramente definidos, expresados en una matriz de planificación en la que se determine la población beneficiaria y se persigan los objetivos conforme a un conjunto de normas establecidas. • Para cada objetivo e hipótesis, un mínimo de indicadores de resultados, tanto cuantitativos como cualitativos, cuya obtención y análisis sean factibles. • Una estimación de la capacidad de seguimiento y, cuando la capacidad requiera ser fortalecida, una estimación de las necesidades de capacitación. • Un plan de recopilación y análisis de datos, incluidos datos de referencia y datos actuales. El plan debe considerar una combinación de técnicas tales como el análisis de informes, visitas al terreno, y estudios especiales y por muestreo. • Un plan y presupuesto de seguimiento y evaluación que resuman las necesidades de información, la recopilación y análisis de datos y la utilización de la información (elaboración de informes y presentación de la información). El plan debe identificar a los responsables, y se señalará y actualizará periódicamente el plazo en el cual deban realizarse las tareas claves. El presupuesto debe incluir fondos para personal, asesores, viajes, reuniones y talleres pertinentes, recopilación de datos de referencia, gestión de datos, informes y estudios especiales y, en el caso de estar previstas actividades de capacitación, fondos para el fortalecimiento de la capacidad en este ámbito. • Un sistema de notificación e información de retorno que permita a los órganos de gestión tomar decisiones oportunamente de acuerdo con los hallazgos del seguimiento; determinar quién es responsable de asegurar intervenciones justiciables. • Una reunión anual de revisión en la que participen las partes interesadas claves y que permitirá estimar anualmente de forma participativa el rendimiento y resultados obtenidos hasta la fecha así como planificar las actividades de seguimiento y evaluación del siguiente año. 1.4.3.2 El enfoque de la evaluación orientada a la obtención de resultados

En relación con las evaluaciones, es esencial disponer de un sistema sólido de seguimiento, a fin de suministrar información fidedigna sobre los resultados. La información suministrada por los estudios de referencia, informes de situación y reuniones de revisión permite a la Federación y las Sociedades Nacionales centrar sus evaluaciones en la obtención de resultados y en la confirmación de los ya existentes, aparte de en la rendición de cuentas a la Junta de Gobierno, al Secretario General y a los donantes. Las evaluaciones realizadas por evaluadores independientes sólo se llevan a cabo cuando existe una necesidad especial de gestión o cuando esa evaluación puede brindar información para las necesidades de la organización en el largo plazo relativas a estrategias y políticas. La evaluación desempeña también una función importante en una organización en proceso de aprendizaje. A fin de hacer más hincapié en una reflexión general y en el aprendizaje a partir de buenas y malas experiencias, se estimula, como mecanismo de aprendizaje habitual en todas las operaciones, la realización de autoevaluaciones efectuadas conjuntamente por Sociedades Nacionales y asociados ejecutores.

1-10

Módulo 1: Resumen

Octubre de 2002

Por ejemplo, durante la ejecución de una operación (o de una de sus fases) deberá realizarse al menos uno de los tres siguientes ejercicios de evaluación: • Autoevaluación – realizada por el jefe de operaciones. • Evaluación no obligatoria – realizada por asesores independientes y dirigida por la Sociedad Nacional. • Evaluación independiente obligatoria – realizada por asesores independientes y dirigida por la División de Seguimiento y Evaluación. Se realizará: en toda operación cuyo presupuesto acumulativo de todas las fases alcance o exceda los 5 millones de francos suizos; en el caso de operaciones especiales, evaluaciones sectoriales o temáticas, según lo solicite la Junta de Gobierno.

1-11

Módulo 1: Resumen

Octubre de 2002

ENSEÑANZAS EXTRAÍDAS DEL MÓDULO 1 RESUMEN • • • • •

•

LA FEDERACIÓN ABOGA POR UN ENFOQUE ORIENTADO A LA OBTENCIÓN DE RESULTADOS. EN ESE SENTIDO, HACE HINCAPIÉ EN UNA PLANIFICACIÓN ORIENTADA A LA OBTENCIÓN DE RESULTADOS. UN ENFOQUE APROPIADO PARA LA PLANIFICACIÓN ORIENTADA A LA OBTENCIÓN DE RESULTADOS ES EL MODELO LÓGICO. EL MODELO LÓGICO IMPLICA LA UTILIZACIÓN DE MATRICES DE PLANIFICACIÓN, EN LAS QUE SE DETALLAN INDICADORES DE RENDIMIENTO, MEDIOS DE VERIFICACIÓN E HIPÓTESIS. LAS PREGUNTAS A LAS QUE DEBE DAR RESPUESTA EL SEGUIMIENTO SE DEDUCEN DE LA MATRIZ DE PLANIFICACIÓN. EL SEGUIMIENTO SUPONE QUE SE HAYAN ESTABLECIDO LOS OBJETIVOS EN MATRICES DE PLANIFICACIÓN. LOS OBJETIVOS INCLUYEN ESPECIFICACIONES ACERCA DE LOS BENEFICIARIOS CONFORME A LAS NORMAS DE OBTENCIÓN. LAS PREGUNTAS A LAS QUE DEBE DAR RESPUESTA LA EVALUACIÓN SE DEDUCEN DE LA MATRIZ DE PLANIFICACIÓN. PARA REALIZAR LA EVALUACIÓN ES NECESARIA LA INFORMACIÓN OBTENIDA EN EL SEGUIMIENTO.

1-12

Módulo 2: Seguimiento y evaluación

2.

Seguimiento y evaluación

2.1

Cómo diseñar un sistema de seguimiento y evaluación

Octubre de 2002

Para introducirse en el tema del seguimiento y evaluación y su vinculación con la matriz de planificación, consulte el punto 1.3 ¿Qué principios y definiciones deben tenerse presentes? (módulo 1). En la tabla 2.1 se resumen las etapas del diseño de un sistema de seguimiento y evaluación. Estas etapas y los aspectos reflejados en la lista de tareas acompañante se presentan con más detalle en los siguientes apartados. Tabla 2.1: Etapas del diseño de un sistema de seguimiento y evaluación Etapa

Lista de tareas

Compruebe el diseño de la operación

Revise y corrija (y prepare si es necesario) la matriz de planificación. Asegúrese de que los objetivos reflejados en la meta (impacto), propósito (consecuencias), producto e hipótesis están definidos con claridad y son mensurables. Asegúrese de que los indicadores están concretados adecuadamente en sus aspectos cuantitativo, cualitativo y temporal. Identifique los recursos humanos y económicos disponibles. Valore los requisitos de capacitación para todo el personal de seguimiento, tanto de la Federación y las Sociedades Nacionales como de organismos copartícipes. Especifique los requisitos de capacitación. Compruebe la fiabilidad y exactitud de las fuentes de información existentes a fin de determinar qué datos están ya disponibles. Decida qué información adicional deberá recopilarse para servir de referencia, para el seguimiento y para la evaluación. Establezca un plazo de tiempo y un calendario para la recopilación y procesamiento de datos y acuerde las responsabilidades. Resuma las necesidades de información acordadas, la recopilación de datos y la utilización de la información (elaboración de informes y presentación de la información) en un plan de seguimiento y evaluación. Resuma los requisitos para fortalecer la capacidad y brindar apoyo. Calcule el costo de todas las actividades de seguimiento y evaluación e identifique fuentes de financiación. Diseñe el sistema de notificación y especifique el formato de los informes. Diseñe un sistema de información de retorno y toma de decisiones para los responsables de gestión.

Valore la capacidad de seguimiento y evaluación Planifique la recopilación y análisis de datos Prepare el plan y presupuesto de seguimiento y evaluación Planifique la notificación y la información de retorno

2-1


2.2

Octubre de 2002

Comprobación del diseño de la operación

El punto de partida del diseño de un sistema de seguimiento y evaluación es examinar la matriz de planificación y sus elementos complementarios – el calendario de ejecución y el presupuesto (véase punto 1.3.2 Vinculación del seguimiento y evaluación a una matriz de planificación (módulo 1)), así como las directrices del documento del proyecto o del plan operativo relativas al seguimiento y evaluación. Es esencial que exista un vínculo claro entre la matriz de planificación y el plan de seguimiento y evaluación, y que el flujo de información atienda las necesidades de los responsables de gestión en los diferentes niveles de la jerarquía de gestión. La figura 2.1 resume los vínculos necesarios. Figura 2.1: Componentes del plan de seguimiento y evaluación y su vinculación con la matriz de planificación Herramientas de planificación de proyectos

Matriz de planificación Jerarquía de resultados



Insumos

Costos

Hipótesis y riesgos

Meta Propósito Producto Actividades

Calendario de ejecución Actividades E

F

M

A M

J J A S

O N D

Actividad 1 Actividad 2 Actividad 3 Etc.

Presupuesto Artículo Alimentos Artículos no alimenticios Etc.

Cantidad

Costo

Componentes del plan de seguimiento y evaluación Estudio de referencia y evaluaciones • Medidas para la recopilación de datos de referencia y estudio complementario de los indicadores de consecuencias • Planes para la autoevaluación o cualquier evaluación regular que deba ser realizada por asesores externos Seguimiento • Planes para la recopilación y análisis de datos sobre: - el logro de objetivos en los niveles de producto y propósito - la realización de actividades y conformidad con obligaciones contractuales - los gastos en comparación con el presupuesto - los iesgos e hipótesis Notificación • Presentación y formato acordados para los informes (según niveles de gestión) • Sistema acordado para información de retorno y revisión de la gestión Fortalecimiento de la capacidad y apoyo • Especificación de los requisitos de capacitación y apoyo para la Federación y los asociados ejecutores • Planes para comprobar la calidad y exactitud de los resultados del seguimiento y la evaluación Plan de trabajo y presupuesto de seguimiento y evaluación • Actividades de seguimiento y evaluación incluidas en la matriz de planificación y en el calendario de ejecución • Costos del seguimiento y de la evaluación incluidos en el presupuesto

El Manual del proceso de planificación del proyecto de la Federación sirve de orientación para el desarrollo y aplicación de un enfoque basado en el modelo lógico. Cuando ya existe una matriz de planificación, es importante comprobar su lógica y viabilidad, a fin de garantizar que realmente representa un plan viable y mensurable para lograr el propósito y meta de la operación.

2-2


Octubre de 2002

2.2.1 ¿Con qué claridad están formulados los objetivos? Los objetivos deberán valorarse en cuanto a su conformidad con las normas de actuación de la Federación y de las Sociedades Nacionales.

2.2.2 ¿Se han tenido en cuenta factores externos? La ejecución exitosa de la operación depende también de factores no sujetos al control de los responsables de gestión: las hipótesis y riesgos especificados en la matriz de planificación de la operación. Estos factores también deberán someterse a seguimiento, a fin de que los responsables de gestión puedan reaccionar a los cambios producidos en el entorno de actuación de la operación. Para poder realizar un seguimiento de las hipótesis y riesgos, éstos deberán estar incorporados en el plan de seguimiento y evaluación y especificarse mediante indicadores. Es importante volver a estudiar las hipótesis y riesgos durante la operación, para garantizar que siguen siendo pertinentes.

2.2.3 ¿Medirán los indicadores eficazmente los progresos? Un indicador es un factor cuantitativo o cualitativo que constituye un medio sencillo y seguro para medir los logros o reflejar los cambios vinculados a un proyecto/programa. Cuando sea posible y pertinente, los indicadores deberán tener en cuenta la recopilación de datos desglosados (según sexo, edad y otras variables pertinentes). Para cada indicador seleccionado se deberá especificar una fuente de información y detallar cuándo y cómo se recopilará la información necesaria y quién efectuará esta labor. Tabla 2.2: Reglas de mejores prácticas para indicadores y medios de verificación Indicadores Los indicadores deberán ser “inteligentes” (específicos, mensurables, exactos, ajustados a la realidad y oportunos). Los indicadores deberán poderse verificar objetivamente, lo cual significa que diferentes personas que utilicen el mismo indicador obtendrán las mismas mediciones. Los indicadores de consecuencias (nivel de propósito) reflejan la población beneficiaria y el tipo de beneficios. Los indicadores de consecuencias incluyen el grado en que se logra que el grupo beneficiario acceda a la ayuda prestada y la utilice, y el grado en que este grupo queda satisfecho. Medios de verificación Los indicadores pueden medirse, con un costo razonable, con medios existentes o con procedimientos que deberán desarrollarse en el marco del proyecto. Las responsabilidades están claramente atribuidas. Los indicadores de producto se obtienen a partir de la información obtenida en la gestión y de análisis internos. Los siguientes son puntos débiles frecuentes de la selección de indicadores: Se seleccionan demasiados indicadores: Los responsables de gestión tienden a solicitar demasiada información, pues suponen que cuanto más sepan, tanto mejor estarán preparados. No obstante, el resultado es, con frecuencia, una sobrecarga de información. En su lugar, los requisitos de información deben estar en relación directa con las funciones de la toma de decisiones y con los niveles de gestión (el personal de gestión que trabaja sobre el terreno necesitará información más detallada, mientras que el de niveles superiores hará uso de datos aglutinados y resumidos). En la selección de indicadores se deberá reflejar este aspecto especificando un mínimo de 2-3


Octubre de 2002

información. Se deberá evitar el error de incluir demasiados indicadores, pues ello incrementaría el trabajo y los costos de recopilación, registro y análisis de datos. No seleccione indicadores excesivamente complejos: A la hora de recopilar datos, algunos indicadores presentan mayores problemas que otros en cuanto a los conocimientos o recursos necesarios. P. ej., puede resultar complejo y caro obtener datos de los ingresos de los hogares. Los indicadores sustitutivos que deben considerarse en este caso son los patrones de gastos o las características de los hogares, tales como los materiales de construcción utilizados. Los indicadores cualitativos (p. ej. clasificación según la riqueza) también pueden transmitir, de forma resumida, información compleja. No se centre excesivamente en indicadores relativos a progresos materiales: La información sobre reservas y distribución de alimentos es de vital importancia en una operación de la Federación y/o de Sociedades Nacionales, pero no suministra suficientes datos acerca del rendimiento de la operación. Es necesaria también información sobre las consecuencias. Adicionalmente, el seguimiento a través del contacto con beneficiarios proporciona un medio para explorar la probabilidad de alcanzar las consecuencias y el impacto. 2.2.3.1 Indicadores de seguimiento a través del contacto con beneficiarios El seguimiento a través del contacto con beneficiarios (BCM de sus siglas en inglés) se define como examen sistemático efectuado a fin de realizar un seguimiento de cómo perciben los beneficiarios una determinada operación de la Federación y/o de las Sociedades Nacionales. Mediante el seguimiento a través del contacto con beneficiarios se pretende obtener información sobre la reacción de los beneficiarios al producto de una operación e indicar a los responsables de gestión los progresos realizados hacia el logro del propósito de una operación. Debe destacarse que la reacción de los beneficiarios, aunque positiva, es únicamente un indicador sustitutivo de la situación mejorada que se pretende provocar con la operación. Los indicadores de seguimiento a través del contacto con beneficiarios: Constituyen un medio eficaz para ratificar si la estrategia aplicada para la obtención del producto funciona. Incluyen información sobre el acceso al producto de la operación, la utilización del mismo y la satisfacción al respecto de los beneficiarios. Buscan la opinión directamente de las mujeres, hombres y niños. En el Proceso de Planificación del Proyecto (PPP) se alude a ellos como indicadores principales. Figura 2.2: El seguimiento a través del contacto con beneficiarios y la matriz de planificación Jerarquía de resultados



Hipótesis y riesgos

Meta Propósito

Beneficios derivados hacia los beneficiarios Indicadores de seguimiento a través del contacto con beneficiarios Transición de la prestación de servicios Acceso al producto resultante de la operación, utilización del mismo y satisfacción al respecto de hombres, mujeres y niños. a beneficios

Producto Actividades

2-4


Octubre de 2002

Los indicadores de seguimiento a través del contacto con beneficiarios deberán incluirse en la matriz de planificación en el nivel de propósito. La tabla 2.3 presenta algunos ejemplos de indicadores para diferentes tipos de operaciones: Tabla 2.3: Ejemplos de indicadores utilizados en el seguimiento a través del contacto con beneficiarios (BCM) para diferentes tipos de operaciones Desarrollo

Operación de desarrollo

Operación de emergencia

Propósito – actividad de comidas escolares: Mejorar el acceso de niños a la educación básica. Indicadores de consecuencias: Aumento de la tasa de niñas y niños procedentes de hogares con bajos ingresos que llegan a niveles de educación superiores. Indicadores de BCM: Acceso - % de padres y madres sensibles al valor que entraña que las niñas participen en la educación superior. Utilización - % de hogares con bajos ingresos con niñas y niños matriculados en las escuelas participantes. Satisfacción – Percepción de madres y padres en cuanto a los beneficios derivados de las comidas escolares para las niñas y niños.

Propósito – Alimentación complementaria: Reducir el riesgo de mortalidad y morbididad para menores de 5 años. Indicadores de consecuencias: Número de menores de 5 años que sufren desnutrición. Tasa de mortalidad de menores de 5 años.

Propósito - Distribución general de alimentos: Salvar vidas mediante la provisión de alimentos adecuados. Indicadores de consecuencias: Tasa bruta de mortalidad. Tasa de mortalidad de menores de 5 años.

Indicadores de BCM: Acceso - % de hogares beneficiarios que conocen el programa de alimentación complementaria. Utilización - % de hogares beneficiarios que participan en el programa de alimentación complementaria. Satisfacción – Percepción de las madres en cuanto a la calidad y pertinencia de la alimentación complementaria.

Indicadores de BCM: Acceso - % de familias registradas para recibir alimentos. Utilización – Número de hombres, mujeres y niños registrados que consumen la ración objetivo. Satisfacción – Opinión de hombres, mujeres y niños acerca de la composición y calidad de las raciones.

2-5


2.3

Octubre de 2002

Estimación de la capacidad de seguimiento y evaluación

2.3.1 Cómo determinar la capacidad de seguimiento y evaluación Deberán plantearse las siguientes preguntas: 1.

¿Existe una unidad u organización concreta responsable de realizar el seguimiento y la evaluación? En caso afirmativo, ¿cuántos empleados hay y cuáles son sus responsabilidades actuales en relación con la recopilación, procesamiento y análisis de datos y preparación de informes? En caso negativo, ¿a quién se le asignará la responsabilidad de dirigir y realizar las funciones de seguimiento? ¿Qué conocimientos y experiencia posee el personal existente o propuesto? 2.

¿De qué recursos dispone la unidad de seguimiento y evaluación o la unidad responsable? Considere artículos como vehículos y computadoras (soporte físico y programas) así como la financiación periódica de las operaciones.

3.

¿Existen procedimientos establecidos para llevar a cabo el seguimiento y la evaluación?, incluidos: especificación de los objetivos en los documentos de los planes, estudios regulares y especiales, y notificación y difusión de hallazgos.

2.3.2 Estimación de necesidades de capacitación ¿Cómo puede analizar usted las necesidades de capacitación antes o después de preparar el plan y presupuesto de seguimiento y evaluación? El comportamiento y rendimiento del personal vienen determinados por: i) ii) iii)

sus conocimientos y aptitudes su estimulación para cumplir su responsabilidad el entorno organizacional en el que actúa.

Las necesidades de capacitación deberán determinarse en tres niveles diferentes: Organizacional: determinar los puntos débiles generales de la organización en la realización del seguimiento – ¿dónde es más necesaria la capacitación? Profesional: determinar los conocimientos necesarios para realizar actividades de seguimiento y evaluación - ¿qué conocimientos son necesarios para realizar el trabajo? Individual: determinar los conocimientos de las personas en los ámbitos y tareas que se han determinado en comparación con los requisitos que les plantea su trabajo – ¿quién requiere capacitación y en qué? 2.3.2.1 Etapas de un análisis de las necesidades de capacitación y del diseño y realización de actividades de capacitación 1. 2. 3.

Aclarar las tareas de seguimiento que se van a emprender y acordar cómo se asignan las responsabilidades. Discutir posibles puntos débiles o vacíos en los recursos materiales, económicos y humanos disponibles para realizar el seguimiento, e identificar qué puntos débiles de la organización podrían abordarse a través de la capacitación. Preparar o analizar descripciones de los puestos pertinentes, especificando las tareas de seguimiento que deberá realizar cada una de las personas así como los conocimientos y aptitudes que se requieren. 2-6


4.

5.

Octubre de 2002

Utilizar cuestionarios o realizar entrevistas para identificar los conocimientos y aptitudes del personal relativos al seguimiento en relación con los requisitos establecidos en la descripción de su puesto, y para identificar las restricciones organizacionales que podrían afectar a su capacidad para cumplir su cometido. Junto con los responsables de gestión y los empleados, discutir y acordar las prioridades de capacitación y las formas de superar las restricciones organizacionales.

Una vez que se hayan identificado y acordado las necesidades de capacitación, podrá iniciarse el proceso de diseño, realización y seguimiento de la capacitación. 6. Establecer los objetivos de la capacitación y diseñar el plan de estudios: Especificar qué deben ser capaces de realizar los alumnos y en qué nivel una vez concluida la capacitación. Identificar el contenido de materias necesario para alcanzar esos objetivos. Decidir con qué sistema de capacitación se alcanzarán mejor los objetivos. 7. Llevar a cabo y evaluar la capacitación: Ejecutar la capacitación. Determinar si mediante la capacitación se han alcanzado los objetivos que se habían fijado. Discutir si los objetivos son adecuados. Decidir si la capacitación ha justificado su costo. 8. Someter la capacitación a un seguimiento: Determinar si el personal al que se ha impartido la formación aplica los conocimientos adquiridos. Determinar si con ello se han generado las consecuencias deseadas (es decir, información de seguimiento oportuna y de buena calidad). Determinar necesidades de capacitación adicionales.

2-7


2.4

Octubre de 2002

Planificación de la recopilación y análisis de datos

Según las necesidades que se tengan respecto a los datos, la recopilación de los mismos puede ser de dos tipos: datos de referencia, para obtener información sobre los beneficiarios y las condiciones generales locales antes de iniciarse las principales actividades de la operación, datos actuales, para hacer un seguimiento de los progresos hechos durante la ejecución de la operación. Los dos grupos de datos se utilizan posteriormente para el seguimiento y evaluación. Para actualizar la información de referencia y para entender los motivos por los cuales han ocurrido determinados cambios, pueden realizarse estudios de casos concretos y estudios por muestreo.

2.4.1 ¿Por qué son necesarios los datos de referencia? En el seguimiento y en la evaluación se hace uso, en gran medida, de los mismos indicadores y conjuntos de datos. Cuando no se dispone de los datos de referencia y seguimiento pertinentes, la evaluación se ve dificultada. Para la evaluación es necesaria una información más sustancial acerca de cómo ha cambiado la operación la vida de las personas, por lo que durante el diseño del sistema deberán abordarse explícitamente consideraciones relativas a la evaluación. Los principales mecanismos al respecto son: Planes para la recopilación de datos de referencia: ¿Cuál era la situación antes de iniciarse la operación? En el caso de que en el estudio de referencia se incluyan grupos de comparación, ¿cuáles son las cualidades respectivas de la situación afectada por la operación y de la situación fuera del ámbito de influencia de la misma? Planes para un estudio complementario: ¿A qué ha contribuido la operación: i) desde su comienzo? ii) en comparación con grupos a los que no afecta la operación? Las técnicas utilizadas para recopilar datos de referencia no difieren de aquellas empleadas en otros ejercicios tales como revisiones, estimaciones y evaluaciones. La diferencia estriba en el propósito del ejercicio. Los estudios de referencia proporcionan la información necesaria para completar la planificación de la operación a través de la evaluación comparativa de indicadores y el análisis de las condiciones generales. Estos estudios son, además, la base para realizar un seguimiento y una evaluación bien fundados, pues suministran una breve descripción de las condiciones existentes antes del inicio de la operación. En particular, los datos de referencia facilitan la medición posterior de las consecuencias e impacto de una operación a través de la realización de un estudio complementario. A continuación se exponen algunos aspectos claves que deberán tenerse en cuenta a la hora de planificar la recopilación de información de referencia: La recopilación de datos de referencia deberá planificarse de forma que se realice antes del inicio de una operación o de la siguiente fase. Los estudios de referencia y complementarios deberán incluirse como componentes claves en el plan de seguimiento y evaluación y, por lo tanto, se deberá preparar su presupuesto y se deberán proveer fondos para los mismos de forma apropiada. Los resultados del estudio de referencia deberán analizarse y presentarse de forma sucinta y clara y, lo más importante, de forma que puedan ser entendidos por el personal de los programas, directores del proyecto, delegados encargados de la notificación y evaluadores. Si desea obtener más información sobre la planificación y realización de un estudio de referencia, consulte el módulo 7. Estudios de referencia. 2-8


Octubre de 2002

2.4.2 ¿Qué datos de seguimiento se necesitan y de dónde se obtendrán? 2.4.2.1 ¿Qué datos son necesarios para realizar el seguimiento? Las necesidades de datos actuales para realizar el seguimiento pueden resumirse, en la estructura de la matriz de planificación, como sigue: Tabla 2.4: Preguntas para el seguimiento y matriz de planificación Nivel de la matriz de planificación Consecuencias

Producto

Actividades

Insumos

Preguntas para el seguimiento

¿Cuáles son el acceso a los bienes entregados y servicios prestados, la utilización de los mismos y la satisfacción al respecto de los beneficiarios (hombres, mujeres y niños)? ¿Se benefician las mujeres y otros grupos vulnerables en la medida prevista? ¿Está la operación bien encaminada para lograr su propósito? ¿Cuáles son los logros materiales de la operación? ¿Recibe el grupo beneficiario artículos en las cantidades y calidad planificadas? ¿Se crean/mantienen los activos tal como se planificó? ¿Se ponen a disposición otros servicios de acuerdo con lo planificado? ¿Se distribuyen los artículos en el momento y cantidades planificados? ¿Se realizan otras actividades según lo previsto? ¿Quién participa en la operación? ¿Dónde se encuentran actualmente las reservas y los suministros pendientes de ser entregados a los almacenes? ¿Cuáles son las pérdidas actuales? ¿Están contribuyendo los gobiernos, asociados y beneficiarios de acuerdo con lo planificado? ¿Cuáles son las estructuras de gestión en funcionamiento y cómo funcionan de bien?

Hipótesis ¿Existen factores externos que afecten significativamente a los progresos de la operación? Los efectos, ¿son positivos o negativos?

2.4.2.2 Seguimiento de insumos Los sistemas de información tradicionales frecuentemente están pensados para satisfacer los requisitos administrativos de rendir cuentas adecuadamente de los fondos y recursos invertidos y de que se ha cumplido el trabajo de acuerdo con los planes. Pero es posible que el punto débil más frecuente en el seguimiento de los insumos materiales y económicos sea que no se pueda seguir la pista a las desviaciones del plan hasta los centros de responsabilidad o que no estén claras las razones para esas desviaciones. Cuando, p. ej., los datos sobre la actividad sanitaria de un distrito indican que se ha interrumpido la distribución de suministros, es importante que esta información esté acompañada por la identificación de dónde y por qué ha surgido el problema. 2.4.2.3 Visitas al terreno – una valiosa fuente de información complementaria Las visitas al terreno constituyen una herramienta esencial de seguimiento para el personal de la Federación y de las Sociedades Nacionales y permiten establecer con los beneficiarios el estrecho contacto requerido.

2-9


Octubre de 2002

Las visitas al terreno pueden tener diferentes propósitos, todos ellos interrelacionados: Estimar los progresos hechos hacia el logro de los objetivos de la operación Determinar la percepción de los beneficiarios y su reacción en relación con las actividades Determinar el sentido de la responsabilidad hacia los activos creados y la utilización de los mismos, e identificar cualquier efecto negativo Determinar la cantidad y calidad del trabajo realizado y la pertinencia de otras actividades Comprobar materialmente las reservas y distribución de productos básicos y el trabajo al respecto Ayudar a los responsables de gestión a identificar problemas y a tomar decisiones para superarlos Establecer relaciones fructíferas con gobiernos y asociados ejecutores Velar por que los hombres y mujeres beneficiarios participen plenamente en la ejecución y seguimiento de la operación 2.4.2.4 Seguimiento de la participación El seguimiento de la participación es una tarea fundamental del seguimiento en su conjunto. Implica hacer un seguimiento de: ¿Quién participa? - en la ejecución de las actividades, en la planificación y organización, y ¿quién comparte los beneficios? ¿Cómo cooperan aquellos que participan? ¿Participan los diferentes grupos interesados (hombres, mujeres, niños y grupos socioeconómicos) en la toma de decisiones? ¿Se comparten equitativamente los costos y responsabilidades derivados del trabajo? ¿Son eficaces las medidas organizacionales? ¿Existen relaciones entre las partes interesadas? ¿Son relaciones eficaces? ¿Qué factores apoyarán u obstaculizarán el proceso de participación? – sexo, edad, educación, condición social, movilidad, autoridad, etc. Como mínimo, la Federación, las Sociedades Nacionales y sus asociados deben someter a seguimiento y evaluación el grado y forma de participación de mujeres, hombres y otros grupos interesados en la operación correspondiente. 2.4.2.5 Seguimiento y evaluación del compromiso de la Federación y de las Sociedades Nacionales con las mujeres Como parte de su actitud de sensibilización en torno al género, la Federación y las Sociedades Nacionales deben generar y difundir, para la planificación y evaluación, datos e información desglosados por sexo.

En toda la información de seguimiento y en todos los informes de la Federación y de las Sociedades Nacionales se especificarán: Porcentajes de hombres y mujeres que comparten los recursos recibidos a partir de la distribución de ayuda

Hombres y mujeres que comparten los beneficios según categorías de actividades Porcentaje de puestos ocupados por mujeres en la planificación y gestión de las operaciones 2.4.3 ¿Quién recopila y analiza los datos sobre el terreno? Es esencial evitar la duplicación del seguimiento, identificar los vacíos de información y utilizar con eficiencia los recursos destinados al seguimiento. El plan de seguimiento y evaluación ayudará a 2-10


Octubre de 2002

aclarar quién recopilará qué datos y por qué. Además, suministrará la base para acordar las responsabilidades en cuanto a la ampliación de la actividad de seguimiento. Cuando la Federación y las Sociedades Nacionales son responsables directas del seguimiento, las tareas pertinentes son realizadas normalmente por el director de proyecto. Normalmente se solicita a éste o a los delegados encargados de la notificación que recopilen y analicen los datos de seguimiento y preparen los informes que describen la situación sobre el terreno. En la contratación y despliegue de directores de proyecto y delegados encargados de la notificación: Componga equipos mixtos (extranjeros y personas del país correspondiente) a fin de aprovechar diferentes puntos de vista Desarrolle una táctica de equipo, con reuniones frecuentes de los equipos, a fin de promover la integración y el intercambio de ideas Busque la igualdad entre hombres y mujeres, pues las directoras de proyectos o delegadas responsables de la notificación normalmente son esenciales para garantizar el acceso a las mujeres de las comunidades beneficiarias y para poder determinar qué les ocurre a las mujeres en los hogares Tabla 2.5: Cualidades y conocimientos que deben poseer las personas que realizan el seguimiento de proyectos Estas personas deben: tener conocimientos acerca del mandato y las metas de la Federación y las Sociedades Nacionales en las operaciones; poseer una buena capacidad analítica y para elaborar informes; poseer conocimientos sobre técnicas de recopilación de datos cualitativos y cuantitativos; poseer conocimientos sobre seguimiento de insumos y del producto, supervisión de existencias y métodos de distribución de ayuda, preferiblemente adquiridos en experiencias anteriores en operaciones similares; ser honestos, muy observadores, perceptivos, inquisitivos, insistentes y diplomáticos; ser oyentes comprensibles, que además tengan la capacidad de influir sobre otras personas y convencerlas mediante argumentos; ser activos y estar dispuestos a viajar y pasar la mayor parte del tiempo sobre el terreno; ser capaces de examinar los problemas sobre el terreno con los empleados; ser “jugadores de equipo”; ser capaces de determinar aquello que es importante y de centrarse en ello.

Personal del país: Presenta ventajas en cuanto al idioma, comprensión cultural y, normalmente, libertad para viajar, aspectos particularmente importantes para hacer un seguimiento de la distribución, de quién utiliza finalmente aquello que se ha distribuido y de la evolución de la situación general. Puede estar sujeto a diversas presiones y, en general, las personas del país no se deberán destinar para trabajar en su localidad de origen o en grupos étnicos relacionados. Personal del extranjero, incluidos voluntarios: Pueden contribuir con experiencia más amplia y con experiencia pertinente adquirida en el extranjero, particularmente en relación con cuestiones de logística y gestión general. Pueden abordar cuestiones que, por motivos culturales, resulten problemáticas para el personal nacional. Poseen conocimientos y pueden capacitar a otras personas en relación a la teoría y práctica de las metodologías de estimación y seguimiento. 2-11


Octubre de 2002

No hablar el idioma del país y desconocer la cultura del mismo puede constituir un obstáculo y puede conducir a una dependencia excesiva de los informes y al fracaso en la apreciación de lo que realmente ocurre dentro de las comunidades afectadas. En algunas situaciones de conflicto o disturbios civiles, su libertad para viajar puede verse restringida: pueden requerir permisos y/o acompañantes para viajar a determinadas áreas.

2.4.4 Sistemas informatizados de seguimiento Los sistemas informatizados de seguimiento ofrecen las siguientes posibilidades: Almacenamiento eficiente de datos Flexibilidad y velocidad en el análisis Realización de comparaciones cruzadas Realización de análisis de tendencias Preparación de gráficos sencillos Antes de tomar la decisión acerca del programa informático que va a utilizar, deberá examinar las siguientes cuestiones: ¿Son eficientes los sistemas manuales existentes? En caso afirmativo, la informatización puede no ser una necesidad inmediata. ¿Se recopilará un gran número de datos durante un período de tiempo importante y se analizarán esos datos cuantitativamente? En caso afirmativo, es probable que la informatización ofrezca un aumento considerable de la eficiencia. ¿Cuál es el mejor programa o software a utilizar? Dependerá de los conocimientos del personal, de los equipos y fondos disponibles, del tipo de datos requeridos y del tipo de análisis planificado. Existen sistemas informatizados relativamente sencillos que utilizan Microsoft Excel o Microsoft Access. Puede accederse a información sobre la existencia, ventajas e inconvenientes de este tipo de sistemas. Cuando los conocimientos son limitados, Microsoft Excel puede representar la mejor opción. Excel ofrece la función de elaboración de tablas manejadas por menú para la introducción de datos, que pueden utilizarse para elaborar bases de datos, y la función de la tabla dinámica (pivot-table) posibilita la rápida generación de tabulaciones cruzadas sencillas. Microsoft Access constituye una herramienta más avanzada para la elaboración de bases de datos, pero es más compleja y para que el personal pertinente se familiarice completamente con sus funciones puede ser necesario invertir en capacitación. Sea cual sea el sistema elegido, deberán tomarse en consideración los siguientes aspectos: Se deberán preparar planes detallados de informatización como parte del diseño del sistema de seguimiento y evaluación, para garantizar que se prevén los recursos materiales y económicos necesarios. Deberá existir la posibilidad de realizar copias de seguridad del sistema para disponer de ellas en el caso de que fallara la computadora. Se deberá disponer de personal capacitado para manejar y mantener el sistema y para realizar los análisis necesarios.

2-12


2.5

Octubre de 2002

Preparación del plan y presupuesto de seguimiento y evaluación

2.5.1 Plan de seguimiento y evaluación A continuación se expone la matriz para elaborar el plan de seguimiento y evaluación. Figura 2.4: Plan de seguimiento y evaluación Elemento de la matriz de planificación

Indicadores (incluidos objetivos)

Medios de verificación Fuentes de datos

Frecuencia y costos de recopilación

Responsabilidad de recopilación

Utilización de la información Método de recopilación

Informes

Presentación

Meta Hipótesis Propósito Hipótesis Producto Hipótesis Actividades Hipótesis Insumos

En la matriz deberá introducirse la siguiente información: Elemento de la matriz de planificación: Meta, propósito, producto, actividades, insumos e hipótesis. Indicadores: indicadores de meta, propósitos y producto. Se deberán introducir los indicadores contenidos en la matriz de planificación de la operación y añadirse los objetivos. En el caso de los insumos, se introducirán las cantidades materiales y los costos económicos del proyecto para las principales categorías de costos. P. ej.: - para los artículos se introducirán las cantidades proyectadas y el costo de cada artículo - para los recursos humanos se introducirán los costos previstos de personal y el tiempo previsto en que se requerirá ese personal - etc. Fuentes de datos: Fuentes de datos primarios o secundarios que suministran información sobre cada uno de los indicadores, p. ej. estadísticas o documentos ya existentes, cuentas del proyecto, estudios sobre nutrición, etc. Frecuencia y costos de recopilación: Frecuencia con que se recopilan datos primarios o se analizan datos secundarios (p. ej. trimestralmente, anualmente, al final de una fase, etc.), y presupuesto correspondiente. Responsabilidad de recopilación: Organización o unidad responsable de recopilar y/o analizar los datos. Método de recopilación: Cómo se recopilan los datos (p. ej. reuniones del grupo temático). Informes: En qué informe(s) se incluirá la información. Presentación: En qué foros o reuniones se presentarán y discutirán la información o informes.

2-13


Octubre de 2002

2.5.2 Presupuesto de seguimiento y evaluación Se deberán calcular los costos de la recopilación, procesamiento y análisis de los datos y de la notificación al respecto, así como del fortalecimiento de la capacidad y del apoyo al terreno, teniendo en cuenta el tiempo y los recursos necesarios. Los costos correrán a cargo de la Federación o de las Sociedades Nacionales y deberán incluirse en el presupuesto de la operación. El seguimiento es una actividad básica de gestión, por lo que debería considerarse utilizar, en su ejecución, una parte del tiempo del personal de gestión así como parte del material de oficina, instalaciones, vehículos, viajes, etc. Se trata de artículos presupuestados habitualmente en la Federación Internacional y en las Sociedades Nacionales, gobiernos y asociados ejecutores, y normalmente no se presupuestan por separado.

2-14


2.6

Octubre de 2002

Planificación de la notificación e información de retorno

2.6.1 Orientación para la elaboración de informes de seguimiento y evaluación 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11.

Sea escueto en la medida de lo posible, en concordancia con la cantidad de información que deba presentarse. Céntrese en los resultados obtenidos, tal como se definen en la matriz de planificación o en los objetivos, y establezca una relación con la utilización de los recursos asignados a su producción. Tenga claro quiénes son sus lectores y vele por que la información sea coherente y provechosa para ellos. Redacte utilizando un lenguaje sencillo que pueda ser entendido por los lectores destinatarios. Vele por la entrega oportuna de los informes de situación. Aunque estén incompletos en su contenido sobre determinados aspectos o componentes, es mejor distribuir los resultados claves de otras áreas que esperar a completar la información. Incluya al principio un breve resumen (1 página). Sea coherente en cuanto a la terminología y definiciones empleadas y en la descripción de asociados, actividades y lugares. Presente los datos complejos con ayuda de estadísticas, tablas resúmenes, mapas, fotografías y gráficos. Destaque únicamente los puntos o palabras claves más significativos (mediante negritas, cursivas u otras posibilidades). Indique las fuentes y autoridades de las que haya obtenido información. En los informes de más de 5 páginas, incluya un índice de contenidos.

2.6.2 ¿Cómo utilizarían los directores de proyectos o programas los diferentes informes? Al ofrecer una breve descripción de la situación antes de iniciarse la operación, o al menos en las primeras etapas de la misma, el informe de referencia proporciona la información necesaria para evaluar de forma comparativa los indicadores relativos al propósito y meta de la operación. El estudio complementario ofrece, posteriormente, una imagen de cómo ha cambiado la situación. El estudio de referencia también suministra información útil para la planificación. Cuando este estudio se realiza antes de comenzar a ejecutar la operación, la información de referencia puede ser de ayuda para afinar el diseño de la misma. Cuando el estudio se lleva a cabo durante las primeras etapas de ejecución, puede proporcionar información provechosa para validar el diseño o determinar modificaciones necesarias. Los informes de situación oportunos avisarán sobre si la operación está o no correctamente orientada hacia la obtención del producto y consecuencias y, así, posibilitarán a los responsables de gestión centrar sus esfuerzos en superar los obstáculos más importantes. Los informes de situación trimestrales y semestrales deberán: orientarse hacia la obtención de resultados (ofrecer información actualizada sobre el producto logrado e incluir información obtenida en el seguimiento a través del contacto con beneficiarios); centrarse en la acción; posibilitar a los responsables de gestión examinar aquello que se ha realizado durante el período que abarca el informe, en comparación con los planes; posibilitar a los responsables de gestión decidir qué debe hacerse en el siguiente período.

2-15


Octubre de 2002

Los informes de autoevaluación deberán: orientarse hacia la obtención de resultados (proporcionar una estimación del producto y consecuencias realmente obtenidos); posibilitar la preparación de nuevas operaciones o de operaciones de seguimiento en las que se consideren las experiencias adquiridas en la operación actual; proporcionar un informe analítico de cierre para aquellas operaciones que se están concluyendo. Las evaluaciones más detalladas brindarán apoyo al proceso de aprendizaje institucional y, así, servirán de orientación a los responsables de gestión en la formulación de políticas en el nivel estratégico. A partir de esas políticas y enseñanzas obtenidas dentro de la Federación surgirá una orientación práctica que servirá de ayuda a los responsables de gestión en la preparación de mejores operaciones.

2.6.3 Seguimiento del sistema de notificación de los asociados La notificación sobre las operaciones deberá someterse a seguimiento en cuanto a: Oportunidad: Entrega de los informes en el tiempo especificado y acordado. El seguimiento al respecto puede realizarse simplemente registrando la recepción de los informes en un diagrama de flujo. Información suministrada: Información suministrada en comparación con la que se requiere de acuerdo con la forma del informe. Coherencia: Los informes consecutivos deben facilitar el establecimiento de comparaciones del rendimiento en el transcurso del tiempo. El seguimiento en este punto puede realizarse comprobando el contenido del informe con las etapas e indicadores especificados en el plan de seguimiento. Contenido: Grado en el que el informe ofrece un análisis de aquello que ha ocurrido o si simplemente presenta datos “huecos”. Fiabilidad y precisión: Grado en el que el informe presenta los hechos de forma imparcial.

2.6.4 Información de retorno ¿Cómo podemos velar por que la información pertinente obtenida en el seguimiento y evaluación impulse el diálogo y la toma de decisiones en los diferentes grupos interesados? En primer lugar, agradezca haber recibido el informe de situación y coméntelo en cuanto a sus conclusiones, recomendaciones y oportunidad. Adicionalmente, el plan de seguimiento y evaluación deberá programar otras oportunidades más formales para recibir opiniones, tales como: Reuniones trimestrales de examen de progresos: Examen de los progresos hechos en el producto (planificados frente a reales), examen de los hallazgos del seguimiento a través del contacto con beneficiarios y de los primeros indicios acerca de las consecuencias y acciones derivadas de las propuestas de mejora. Taller de información de retorno sobre la evaluación: Realizado al final de la etapa de actuación sobre el terreno, cuando se presentan y discuten los primeros hallazgos de la evaluación a fin de poder incorporar en el informe final la opinión de las partes interesadas.

2-16


Octubre de 2002

ENSEÑANZAS EXTRAÍDAS DEL MÓDULO 2 DISEÑO DEL SEGUIMIENTO Y EVALUACIÓN • • • • •

COMPRUEBE EL DISEÑO DEL PROGRAMA REVISANDO LA MATRIZ DE PLANIFICACIÓN ESTIME LA CAPACIDAD DE SEGUIMIENTO Y EVALUACIÓN PLANIFIQUE LA RECOPILACIÓN DE DATOS PREPARE LOS PLANES Y PRESUPUESTOS DE SEGUIMIENTO Y EVALUACIÓN EXPONGA EN TÉRMINOS GENERALES LAS ESTRUCTURAS DE NOTIFICACIÓN Y LAS RESPONSABILIDADES DE ACCIÓN

2-17

Módulo 3: Seguimiento de programas de las Sociedades Nacionales y notificación al respecto

Octubre de 2002

3.

Seguimiento de programas de las Sociedades Nacionales y notificación al respecto

3.1

Cómo diseñar un sistema de seguimiento y evaluación para programas de las Sociedades Nacionales

La orientación ofrecida en este módulo deberá considerarse previa revisión del punto 1.3 ¿Qué principios y definiciones deben tenerse presentes? (módulo 1) y el punto 2.1 Cómo diseñar un sistema de seguimiento y evaluación (módulo 2). En la tabla 3.1 se resumen las etapas del diseño de un sistema de seguimiento y evaluación. Cada una de ellas así como la lista de tareas acompañante se detallan en el módulo 2. El módulo 3 ofrece detalles adicionales en torno a estrategias de cooperación y actividades de desarrollo. Tabla 3.1: Etapas del diseño de un sistema de seguimiento y evaluación Etapa


Valore la capacidad de seguimiento y evaluación Planifique la recopilación y análisis de datos

Prepare el plan y presupuesto de seguimiento y evaluación

Planifique la notificación y la información de retorno

Lista de tareas Revise y corrija (y prepare si es necesario) la matriz de planificación. Asegúrese de que los objetivos reflejados en la meta (impacto), propósito (consecuencias), producto e hipótesis están definidos con claridad y son mensurables. Asegúrese de que los indicadores están concretados adecuadamente en sus aspectos cuantitativo, cualitativo y temporal. Identifique los recursos humanos y económicos disponibles. Valore los requisitos de capacitación para todo el personal de seguimiento, tanto de las Sociedades Nacionales como de organismos copartícipes. Especifique los requisitos de capacitación. Compruebe la fiabilidad y exactitud de las fuentes de información existentes a fin de determinar qué datos están ya disponibles. Decida qué información adicional deberá recopilarse para servir de referencia, para el seguimiento y para la evaluación. Establezca un plazo de tiempo y un calendario para la recopilación y procesamiento de datos y acuerde las responsabilidades. Resuma las necesidades de información acordadas, la recopilación de datos y la utilización de la información (elaboración de informes y presentación de la información) en un plan de seguimiento y evaluación. Resuma los requisitos para fortalecer la capacidad y brindar apoyo. Calcule el costo de todas las actividades de seguimiento y evaluación e identifique fuentes de financiación.

Diseñe el sistema de presentación de informes y especifique el formato de los mismos.Acuerde las medidas que se adoptarán para los controles y supervisión, por parte de la Sociedad Nacional, del sistema de notificación de los asociados. Diseñe un sistema de información de retorno y toma de decisiones para los responsables de gestión.

3-1


3.2

Octubre de 2002

Comprobación del diseño de programas y actividades de las Sociedades Nacionales

El diseño de programas y actividades de las Sociedades Nacionales deberá reflejarse en matrices de planificación. El Manual del proceso de planificación del proyecto de la Federación sirve de orientación para elaborar una matriz de planificación. En cuanto a cómo comprobar la misma, diríjase al punto 2.2 Comprobación del diseño de la operación (módulo 2).

3.2.1 En el nivel de Sociedad Nacional Una estrategia de cooperación (CAS de sus siglas en inglés (Co-operation Agreement Strategy)) contará normalmente con una matriz de planificación general que otorgue coherencia al conjunto de actividades planificadas y que muestre la relación de las mismas con un conjunto de metas y propósitos comunes. A continuación se expone un ejemplo de matriz de planificación de una estrategia de cooperación hasta el nivel inferior de propósito de las actividades. Figura 3.1: Ejemplo de matriz resumida de planificación para la CAS de Ghana (2001-2005) Jerarquía de resultados Meta en el nivel nacional: El objetivo central de la estrategia DSPR (Development Strategy for Poverty Reduction) del gobierno es reducir sustancialmente el nivel de pobreza absoluta en Ghana a través de medidas que incrementen la capacidad y oportunidades de todos los ghaneses, especialmente de los pobres. Meta del programa nacional: Fortalecer la capacidad de los hogares que sufren inseguridad alimentaria en la región de sabana, especialmente de las mujeres, para que puedan satisfacer de forma sostenible sus propias necesidades de alimentos y nutritivas y soportar contratiempos económicos externos y desastres naturales, a la vez que abordar desequilibrios de género y regionales, así como el problema del VIH/SIDA.

Indicadores de rendimiento Reducción de la incidencia de pobreza absoluta del 27 % en 1999 a menos del 20 % en 2004.

Hipótesis y riesgos La situación general económica permitirá al gobierno incrementar las inversiones dirigidas a reducir la pobreza en la región norteña de sabana.

Indicadores de impacto: Contribución a reducir los niveles de pobreza en las regiones norteñas del 70 % en 1999 a la media nacional actual del 40 % hasta 2010. Inseguridad alimentaria crónica reducida en los grupos vulnerables de la región norteña de sabana, especialmente durante la estación seca.

El gobierno de Ghana creará y mantendrá un marco institucional para la gestión y supervisión del programa nacional que facilite la integración del programa y el establecimiento de vínculos eficaces entre las actividades del mismo así como con otras actividades de desarrollo relacionadas.

Propósito del programa nacional: (= metas en el nivel de actividades) 1. Progresos hacia el cumplimiento del derecho a la seguridad personal, entre otras cosas, mediante prácticas de salud y nutrición mejoradas y una mayor capacidad de las comunidades para rehabilitar/crear y mantener activos que proporcionen bases de subsistencia seguras y sostenibles.

Indicadores de consecuencias para el programa nacional: Mayor porcentaje de niños de peso normal. Menor porcentaje de neonatos de bajo peso.

2. Progresos hacia el cumplimiento del derecho al conocimiento mediante mayor número de inscripciones y asistencia de niñas y mediante una mayor capacidad de aprendizaje. Propósito de cada actividad del programa nacional: 1.1 Mejorar la seguridad alimentaria de los hogares y, por lo tanto, el estado nutricional de los grupos vulnerables (menores de 5 años, mujeres embarazadas, y madres lactantes y niños desnutridos) mediante alimentación complementaria. 1.2 Contribuir a la rehabilitación de niños gravemente desnutridos incrementando su tasa de recuperación. 1.3 Mejorar los conocimientos de los trabajadores de salud, voluntarios y beneficiarios a través de la capacitación en materia de salud, nutrición y género. 2.1 Aumento de la inscripción de niñas en la enseñanza primaria y secundaria, aumento de la asistencia a la escuela y disminución del número de abandonos anuales por parte de niñas.

Número creciente de hogares que participan con éxito en actividades de conservación del suelo y del agua y de gestión y conservación de los bosques. Mayor número de niñas inscritas y que finalizan con éxito la enseñanza primaria y secundaria.

Indicadores de consecuencias de las actividades: Tasa de bajo peso en niños reducida a valores inferiores al 40 % en 2005; tasa de bajo peso en neonatos reducida a menos del 13 % en 2005.

Reducción del número de madres que repiten las clases de educación sanitaria y nutricional Prevalencia de desnutrición reducida en las comunidades beneficiarias.

Aumento de la inscripción de niñas en un 15 % anual y reducción de la tasa de abandonos en un 12 % anual en los niveles de enseñanza primaria y secundaria.

El suministro de artículos no alimenticios de diferentes fuentes es una condición necesaria para alcanzar el éxito. La falta de apoyo por parte de los asociados en este campo podría tener efectos sobre la ejecución del programa nacional. Hipótesis y riesgos Capacidad económica y técnica adecuada en el nivel de distrito. Riesgo: Elevada renovación de personal en los servicios gubernamentales, lo que puede suponer la pérdida de conocimientos al marcharse el personal capacitado.

Capacidad del gobierno para cumplir las condiciones, como proporcionar insumos adicionales (aulas, material didáctico y maestros) para hacer frente al incremento previsto de las inscripciones en la escuelas objetivo. Hipótesis y riesgos Sistema eficiente y eficaz de seguimiento y notificación en los centros de salud y nutrición. Disponibilidad de recursos complementarios para salud y nutrición. Observación, en los hogares, de las lecciones aprendidas en la capacitación relativa a la educación sanitaria y nutricional.

Capacidad del gobierno y de los donantes de proporcionar insumos complementarios (aulas, material didáctico, maestros, etc.) a las escuelas objetivo.

La Federación y la Delegación en el país de la Sociedad Nacional deben realizar un seguimiento del rendimiento de la estrategia de cooperación en su conjunto: • •

aglutinando y resumiendo información sobre actividades individuales, reasignando sus recursos humanos, materiales y económicos para brindar apoyo a esas actividades de la forma más eficaz.

3.2.2 En el nivel de actividad La Federación y las Sociedades Nacionales deben realizar un seguimiento del rendimiento de cada una de las actividades: •

realizando visitas al terreno (especialmente para efectuar un seguimiento de los cambios en las bases de subsistencia de los beneficiarios),

3-2


• • • • •

Octubre de 2002

asistiendo en estudios especiales (según lo acordado durante el diseño de la operación y según se solicite), efectuando un seguimiento de los suministros pendientes de ser entregados a los almacenes y otros recursos (insumos), realizando un seguimiento de aquellos que realizan el seguimiento – asegurar que el gobierno u ONG realizan eficazmente el seguimiento, valorando los vacíos de conocimientos y las necesidades de capacitación en relación con la capacidad de seguimiento del gobierno y las ONG, llevando a cabo la capacitación según las necesidades.

Existen cuatro tipos de actividades de desarrollo a las que brindan apoyo la Federación y las Sociedades Nacionales, expuestas en términos generales en el documento de política elaborado por la antigua división de intercambio de conocimientos. Este documento presenta los objetivos más comunes para cada tipo de actividad y sugiere indicadores para los niveles de producto y consecuencias (o propósito) de la matriz de planificación, concretamente: • • • •

Promoción de los Principios Fundamentales y los valores humanitarios Preparación para casos de desastre Intervención en casos de desastre Salud y servicios a la comunidad

El material presentado a continuación, disponible en la Federación y en las Sociedades Nacionales, orienta sobre la información particular necesaria para realizar diferentes tipos de actividades de desarrollo: • • • • • • •

De los Principios a la Acción Iniciativa "Mejor diseño de programas" Módulos de Capacitación en Preparación para Desastres Proyecto Esfera Public Health Guide for Emergencies Política de VIH/SIDA Política de Agua y Saneamiento

3-3


3.3

Octubre de 2002

Estimación de la capacidad de seguimiento y evaluación para estrategias de cooperación y actividades

A fin de estimar la capacidad consulte el punto 2.3 Estimación de la capacidad de seguimiento y evaluación (módulo 2). Ofrece orientación en torno a 2.3.1 Cómo determinar la capacidad de seguimiento y evaluación y a 2.3.2 Estimación de necesidades de capacitación.

3.3.1 Cómo determinar la capacidad de seguimiento y evaluación para estrategias de cooperación y actividades En el caso de las estrategias de cooperación y actividades, la Federación y las Sociedades Nacionales determinan la capacidad de seguimiento del gobierno y de otros asociados y aseguran que el sistema de seguimiento esté concebido de acuerdo con la capacidad y los recursos disponibles. Esta estimación y otras estimaciones posteriores se realizan: • • •

en las etapas del diseño durante la elaboración de planes operacionales y otros acuerdos en intervalos regulares (normalmente anualmente) durante la ejecución

Durante las fases de planificación y ejecución, la Federación y las Sociedades Nacionales determinan y revisan regularmente la capacidad de su propio personal, y el tiempo y recursos económicos disponibles para funciones de seguimiento y evaluación.

3.3.2 Estimación de necesidades de capacitación para estrategias de cooperación y actividades Para aumentar la capacidad del personal gubernamental y de los asociados ejecutores en cuanto a la realización de las diferentes funciones de seguimiento y evaluación previstas, puede ser necesario impartirle formación en el puesto de trabajo o que participe en una formación profesional. El personal de la Federación y de las Sociedades Nacionales también puede necesitar mejorar sus conocimientos en torno al seguimiento y evaluación. Para orientarse de forma general sobre cómo analizar las necesidades de capacitación y las etapas para llevar a cabo esa capacitación, consulte el punto 2.3.2 Estimación de necesidades de capacitación (módulo 2).

3-4


3.4

Octubre de 2002

Planificación de la recopilación y análisis de datos para estrategias de cooperación y actividades

Para proceder a la planificación y desarrollo de sistemas de recopilación y análisis de datos diríjase al punto 2.4 Planificación de la recopilación y análisis de datos (módulo 2), en el que se asesora respecto a: • Punto 2.4.1 ¿Por qué son necesarios los datos de referencia? • Punto 2.4.2 ¿Qué datos de seguimiento se necesitan y de dónde se obtendrán? • Punto 2.4.2.3 Visitas al terreno – una valiosa fuente de información complementaria • Punto 2.4.2.4. Seguimiento de la participación

3.4.1 ¿Qué datos de referencia son necesarios? En el punto 2.4.1 ¿Por qué son necesarios los datos de referencia? (módulo 2) se ofrece una introducción general relativa a la recopilación de datos de referencia. Si desea orientarse con más detalle diríjase a los módulos 7. Estudios de referencia y 8. Herramientas para la recopilación de datos. Los datos de referencia son siempre necesarios para las actividades de desarrollo. En algunas situaciones de emergencia, las intervenciones se llevarán a cabo sin disponer de datos de referencia. Pero sin ellos es imposible juzgar si se están alcanzando o se han alcanzado los objetivos de una actividad. Existen dos niveles en los cuales se necesitan datos de referencia. •

En el nivel de país: Los datos son necesarios para identificar tendencias a lo largo del tiempo a fin de determinar si el programa, en su conjunto, ha mejorado la situación en que viven hombres, mujeres y niños vulnerables. Estos datos sirven de referencia para establecer los objetivos de la estrategia de cooperación (y, con ello, el nivel de meta de cada actividad) y deberán estar disponibles del proceso de estimación y selección de beneficiarios.

•

Para la comprobación del proyecto se requieren los siguientes datos de referencia: los indicadores especificados en el nivel de propósito de la matriz de planificación de la actividad, datos de seguimiento de la fase actual, datos disponibles de evaluaciones de fases anteriores, otras fuentes secundarias, incluidos datos disponibles del proceso de estimación y selección de beneficiarios.

Cuando existan vacíos importantes de datos relativos a los indicadores claves a los que la actividad pretende afectar, habrá que recopilar datos de referencia primarios o seleccionar otro indicador. La elección de la técnica de recopilación de datos de referencia dependerá de: • • • •

cuánto tiempo pueden asignar la Federación y las Sociedades Nacionales a la recopilación de datos, la disponibilidad de personal especializado en el diseño de estudios en la Federación y las Sociedades Nacionales, la disponibilidad y conocimientos del personal activo sobre el terreno y de los entrevistadores, los recursos económicos disponibles para la recopilación de datos.

Para orientarse en relación con la preparación de presupuestos para estudios de referencia y complementarios diríjase al punto 7.3.12 Preparación del plan de trabajo y presupuesto (módulo 7).

3-5


Octubre de 2002

3.4.2 ¿Qué datos de seguimiento se necesitan y de dónde se obtendrán? Los principales mecanismos para realizar un seguimiento de operaciones en las estrategias de cooperación son los siguientes: • • • •

•

•

Autoevaluación de la Sociedad Nacional Calendarios de ejecución de actividades y planes de seguimiento: proporcionan a la Sociedad Nacional la base y las etapas frente a las cuales se medirán los progresos. Informes periódicos: preparados por la Sociedad Nacional, incluyendo la información cuantitativa y cualitativa necesaria sobre insumos, actividades y producto. Visitas al terreno: las realiza personal de la sede central de la Sociedad Nacional en colaboración con gobiernos y asociados ejecutores. Suministran a la Sociedad Nacional sistemáticamente información cuantitativa y cualitativa para complementar y verificar la información proporcionada por los informes periódicos. Informe de proyecto: preparado para cada una de las operaciones, suministra información acerca de: la ejecución de la actividad, con información de carácter expositivo sobre actividades, producto y consecuencias; un análisis de diversas cuestiones y problemas; y acciones recomendadas para abordar las cuestiones indicadas. Reuniones de revisión, reuniones de partes interesadas: reuniones especiales u ordinarias en las que las partes interesadas presentan y discuten cuestiones identificadas mediante otros mecanismos de seguimiento. Brindan a la Sociedad Nacional la oportunidad para acordar las acciones que deberán llevarse a cabo a fin de respaldar la ejecución de las actividades.

Para obtener información sobre cuestiones generales del seguimiento en todos los niveles de la matriz de planificación diríjase al punto 2.4.2 ¿Qué datos de seguimiento se necesitan y de dónde se obtendrán? (módulo 2) 3.4.2.1 Visitas al terreno – una valiosa fuente de información complementaria Si desea obtener información sobre cómo realizar visitas al terreno con fines de seguimiento, diríjase al punto 8.2.6 Visitas al terreno (módulo 8). 3.4.2.2 Seguimiento a través del contacto con beneficiarios – determinación del acceso al producto resultante de las actividades, la utilización del mismo y la satisfacción al respecto por parte de los beneficiarios Si desea introducirse en el tema del seguimiento a través del contacto con beneficiarios, consulte el punto 2.2.3.1 Indicadores de seguimiento a través del contacto con beneficiarios (módulo 2). La búsqueda de las opiniones directamente de hombres, mujeres y niños que supuestamente se benefician de las actividades realizadas por la Federación y las Sociedades Nacionales: • •

constituye un medio eficaz para ratificar si la estrategia aplicada para la obtención de productos funciona, y suministra información sobre la probabilidad de que se alcance el propósito.

Además, el seguimiento a través del contacto con beneficiarios puede indicar, en fases tempranas, problemas en el diseño de las actividades, que podrían abordarse asignando de nuevo los recursos humanos, materiales y económicos de la Federación y de las Sociedades Nacionales para apoyar una

3-6


Octubre de 2002

actividad a través de otra, a fin de ampliar la probabilidad de lograr los objetivos, en su conjunto, de una estrategia de cooperación. 3.4.2.3 ¿Quién recopila y analiza los datos sobre el terreno? •

Diríjase al punto 2.4.3 ¿Quién recopila y analiza los datos sobre el terreno? (módulo 2).

3.5


3.5.1 El plan de seguimiento y evaluación La figura 3.2 ofrece un ejemplo de una plan de seguimiento y evaluación para una actividad de desarrollo.

3-7


Octubre de 2002

Figura 3.2: Ejemplo de plan de seguimiento y evaluación para una estrategia de cooperación (nivel de meta) Logro de la meta de las actividades Requisitos de información

Indicadores Fuentes de datos

Meta – Capacitar a los hogares cuya seguridad alimentaria depende de recursos naturales degradados para que logren cambiar a bases de subsistencia más sostenibles

Incidencia y nivel inferiores de inseguridad alimentaria en los hogares de distritos con recursos naturales degradados

Informe de referencia

Medios de verificación Frecuencia de Responsabilidad recopilación de recopilación Antes y después de conclusión

Responsable del proyecto

Método de recopilació n Visita al terreno

Utilización de la información Informes Presentación Proyecto

Taller de evaluación

Logro del propósito de las actividades Requisitos de información


Propósito – Incrementar los ingresos y la seguridad alimentaria de la población beneficiaria

Hipótesis – La usurpación por parte de los hogares no participantes puede controlarse

Cambios en los ingresos de hogares o miembros de hogares Cantidad de productos forestales cosechados por hogar Indicadores principales: Número de hogares que obtienen ingresos o alimentos de zonas protegidas Impresión de los beneficiarios (hombres y mujeres) acerca de costos y beneficios del proyecto Número de usurpaciones y magnitud de daños

Estudio de referencia y complementario en poblaciones participantes y de control Visitas periódicas al terreno Pequeño reconocimiento a mitad de proyecto Reconocimient o de la zona protegida

Medios de verificación Frecuencia Responsabilida de d de recopilación recopilación Antes de y al Sociedad finalizar Nacional

Método de recopilación

Utilización de la información Informes Presentación

Estudio por muestreo

Informe de referencia al final del proyecto

En talleres al comienzo y final del proyecto

Cada semestre A mitad de proyecto

Sociedad Nacional

Visitas al terreno y reconocimiento por muestreo

Informe sobre revisión de la gestión a mitad de proyecto

Taller sobre revisión de la gestión a mitad de proyecto

Anual

Asociado ejecutor

Observación visual durante visitas al terreno

Informe anual

Reunión anual de revisión

Productos resultantes de las actividades Requisitos de información


Producto 1 – Mayor superficie forestal protegida y productiva

Superficie mejorada o protegida

Hipótesis – Los precios de frutas en los mercados permanecen estables

Precios de frutas en mercados locales

Producto 2 – La población beneficiaria está alimentada

Número de personas que han recibido alimentos suministrados por la Federación (datos desglosados por sexo y grupos de edad)

Hipótesis – etc. Producto 3 – Grupos comunitarios constituidos y activos en la gestión de superficies forestales

Estacional

Comités comunitarios de distribución de alimentos

Hojas de distribución de alimentos

Mensual

etc. Número de grupos comunitarios constituidos y activos

etc. Documentos de los comités comunitarios

etc. Trimestral

Representación y participación de hombres y mujeres en los comités (datos desglosados por sexo)

Documentos de los comités comunitarios

Trimestral

Comités comunitarios de distribución de alimentos, asociado ejecutor etc. Trabajadores de desarrollo comunitario del asociado ejecutor Asociado ejecutor

Estudio de los comités comunitarios Planes entregados Verificación sobre el terreno

Cada semestre

Asociado ejecutor

Trimestral

Asociado ejecutor

etc.

etc.

etc.

Número de planes preparados y aprobados

Hipótesis – etc.

Reconocimient o de la zona protegida y reconocimiento de supervivencia de árboles plantados Estudio de mercado

Medios de verificación Frecuencia Responsabilida de d de recopilación recopilación Anual Asociado ejecutor

etc.

Método de recopilación

Utilización de la información Informes Presentación

Examen visual durante visitas al terreno. Reconocimient o de supervivencia de árboles plantados. Registro de precios observados en una selección de mercados Compilación a partir de las hojas de distribución de alimentos

Informe anual al final del proyecto

etc. Compilación a partir de los documentos de los comités comunitarios Compilación a partir de los documentos de los comités comunitarios Discusiones del grupo temático

etc. Trimestral

Recuento de planes entregados y visitas de verificación al terreno etc.

En reunión anual de revisión y en taller al final de proyecto

Informe anual

Informe mensual

En reuniones trimestrales de revisión de progresos

En reuniones trimestrales de revisión de progresos

Trimestral

Trimestral Trimestral

etc.

3-8


Octubre de 2002

3.5.2 El presupuesto de seguimiento y evaluación Para elaborar el presupuesto de seguimiento y evaluación diríjase al punto 2.5.2 Presupuesto de seguimiento y evaluación (módulo 2). Si desea orientarse acerca de posibles artículos a incluir en un presupuesto para una estudio de referencia consulte el módulo 7. Estudios de referencia.

3-9


3.6

Octubre de 2002


3.6.1 Informes escritos El sistema básico de informes relativos a programas de las Sociedades Nacionales está constituido por: •

•

•

3.6.2

Informes periódicos de la situación sobre el terreno: La mayoría de las actividades se ejecutan como proyectos. En beneficio de la gestión interna de esas actividades, se elaboran informes periódicos de seguimiento (normalmente mensuales y trimestrales). La forma y el contenido de estos informes varían de acuerdo con el tipo de actividad, la disponibilidad de datos y la capacidad de la organización ejecutora para recopilar y procesar los mismos. Si desea orientarse sobre el diseño de los informes consulte el punto 2.6.1 Orientación para la elaboración de informes de seguimiento y evaluación (módulo 2). Informe trimestral de proyecto: El informe trimestral de proyecto se prepara cada tres meses por personal del propio proyecto y se entrega a la Delegación en el país, para la cual representa una herramienta esencial de gestión. Estos informes deberán incluir información sobre el producto del proyecto, según lo acordado en el plan de seguimiento y evaluación. Informe anual: El informe anual lo prepara anualmente, para cada actividad, el especialista responsable de la Federación o de la Sociedad Nacional. Cada una de las actividades se resumirá en una estrategia de cooperación que la Sociedad Nacional enviará a la Federación.

¿Cómo utilizarían los directores de proyectos o programas los diferentes informes?

Para orientarse de forma general acerca de cómo utilizar los informes de situación, de autoevaluación y de evaluación detallada diríjase al punto 2.6.2 ¿Cómo utilizarían los directores de programas o proyectos los diferentes informes? (módulo 2). Los siguientes constituyen algunos ejemplos de cómo utilizar informes ordinarios de estrategias de cooperación y actividades: •

•

Informe trimestral de proyecto, informe de ejecución del proyecto, informes de visitas al terreno: Son herramientas esenciales para los responsables de gestión para medir los progresos frente a los planes en el período que abarca el informe. Para posibilitar a los responsables de gestión centrarse en resolver los problemas y defectos más importantes es fundamental entregar los informes oportunamente. Las Sociedades Nacionales utilizan estos informes para preparar los informes anuales y realizar los necesarios análisis de los progresos. Informe de la Delegación en el país sobre la ejecución de la estrategia de cooperación: Este informe posibilita juzgar los progresos de cada actividad y del programa de la Sociedad Nacional en el logro de los objetivos planificados. El personal de la Delegación en el país identifica los problemas graves e indica quién deberá responsabilizarse de realizar las medidas correctoras. Aunque este informe es un documento interno de la Federación y de las Sociedades Nacionales, normalmente deberá discutirse un borrador del mismo en una reunión de revisión con los asociados ejecutores. En estas reuniones se deberá llegar a un acuerdo sobre qué acciones pasadas han sido concluidas y qué acciones futuras son necesarias.

3.6.3 La información de retorno en las estrategias de cooperación y actividades Véase el punto 2.6.4 Información de retorno (módulo 2).

3-10


Octubre de 2002

ENSEÑANZAS EXTRAÍDAS DEL MÓDULO 3 SEGUIMIENTO DE PROGRAMAS DE LAS SOCIEDADES NACIONALES • • • • •

PRESENTE LOS PROGRAMAS DE LA SOCIEDAD NACIONAL EN MATRICES DE PLANIFICACIÓN EXPONGA EN TÉRMINOS GENERALES LOS INDICADORES DE RENDIMIENTO EXPONGA EN TÉRMINOS GENERALES LOS INDICADORES DE IMPACTO EXPONGA EN TÉRMINOS GENERALES LOS INDICADORES DE ACTIVIDADES DETALLE LAS HIPÓTESIS

3-11

Módulo 4: Seguimiento y notificación

4.

Octubre de 2002

Seguimiento y notificación

El módulo 2. Seguimiento y evaluación ofrece orientación general sobre el diseño de un sistema de seguimiento y evaluación para todo tipo de operaciones.

4.1

Particularidades del seguimiento y evaluación

En operaciones de emergencia y de desarrollo, los factores externos (contexto) con frecuencia son inestables y pueden cambiar en poco tiempo. En el caso de crisis repentinas:

• • • •

Las actividades deberán planificarse e iniciarse rápidamente, sin conocerse detalladamente la situación. Se deberá iniciar con rapidez un conjunto mínimo de actividades de seguimiento, que progresivamente se irá ampliando según lo vayan permitiendo las circunstancias y los recursos disponibles. A fin de disponer, lo antes posible, de información fidedigna sobre quién recibe los alimentos y cuántos se reciben, es esencial establecer un sistema de seguimiento de la distribución de alimentos. Especialmente en zonas de conflicto, la Federación y las Sociedades Nacionales dependen en gran medida de los asociados locales debido a la insuficiente o ausente capacidad gubernamental.

En la mayoría de las emergencias de evolución lenta (p. ej. sequías) se pueden planificar con antelación actividades de seguimiento apropiadas. En la mayoría de las operaciones de desarrollo, las actividades de seguimiento se apoyan en las actividades realizadas durante la fase de emergencia de la operación.

4-1


4.2

Octubre de 2002

Cómo diseñar un sistema de seguimiento y evaluación (recordatorio)

En la tabla 4.1 se resumen las etapas del diseño de un sistema de seguimiento y evaluación (véase también punto 2.1 del módulo 2). Las etapas y la lista de tareas acompañante se presentan más detalladamente en los apartados siguientes. Tabla 4.1: Etapas del diseño de un sistema de seguimiento y evaluación Etapa

Lista de tareas


Revise y corrija (y prepare si es necesario) la matriz de planificación. Asegúrese de que los objetivos reflejados en la meta (impacto), propósito (consecuencias), producto e hipótesis están definidos con claridad y son mensurables. Asegúrese de que los indicadores están concretados adecuadamente en sus aspectos cuantitativo, cualitativo y temporal. Identifique los recursos humanos y económicos disponibles. Valore los requisitos de capacitación para todo el personal de seguimiento, tanto de la Federación y las Sociedades Nacionales como de organismos copartícipes. Especifique los requisitos de capacitación. Compruebe la fiabilidad y exactitud de las fuentes de información existentes a fin de determinar qué datos están ya disponibles. Decida qué información adicional deberá recopilarse para servir de referencia, para el seguimiento y para la evaluación. Establezca un plazo de tiempo y un calendario para la recopilación y procesamiento de datos y acuerde las responsabilidades. Resuma las necesidades de información acordadas, la recopilación de datos y la utilización de la información (elaboración de informes y presentación de la información) en un plan de seguimiento y evaluación. Resuma los requisitos para fortalecer la capacidad y brindar apoyo. Calcule el costo de todas las actividades de seguimiento y evaluación e identifique fuentes de financiación. Diseñe el sistema de notificación y especifique el formato de los informes. Acuerde las medidas que se adoptarán para los controles y supervisión, por parte de la Delegación Nacional, del sistema de notificación de los asociados. Diseñe un sistema de información de retorno y toma de decisiones para los responsables de gestión.

Valore la capacidad de seguimiento y evaluación Planifique la recopilación y análisis de datos Prepare el plan y presupuesto de seguimiento y evaluación Planifique la notificación y la información de retorno

4-2


4.3

Octubre de 2002

Comprobación del diseño de la operación

Para instruirse acerca de cómo abordar el seguimiento y la evaluación en los documentos de diseño, consulte los siguientes apartados.

4.3.1 Consideraciones para el seguimiento y evaluación en las diferentes fases del ciclo del proyecto Tabla 4.2: Consideraciones para el seguimiento y evaluación en las diferentes fases del ciclo del proyecto en operaciones de emergencia y de desarrollo Fase del ciclo del proyecto

Consideraciones para el seguimiento y evaluación

Estimación inicial (emergencia repentina) (sólo operaciones de emergencia)

¿De qué sistemas y capacidad se dispone para mantener la recopilación de datos básicos? ¿Qué recursos (Federación, Sociedades Nacionales, asociados) son necesarios para garantizar una calidad mínima en la recopilación de datos, notificación y seguimiento desde el comienzo de la emergencia? ¿De qué sistemas y capacidad se dispone para: recopilar información sobre la situación general (contexto) de forma permanente; realizar un seguimiento del beneficio real en los hogares; y analizar y decidir las acciones? ¿Con qué intensidad debe realizarse el seguimiento en relación con la duración y complejidad previstas para la operación? ¿Qué recursos (Federación, Sociedades Nacionales y asociados) son necesarios para garantizar que se realicen el seguimiento y, posteriormente, el análisis y notificación? Definición de un plan inicial de seguimiento y evaluación: indicadores provisionales; responsabilidades; procedimientos; calendario para la ejecución progresiva del plan; recursos necesarios y presupuesto de seguimiento y evaluación. Incluir en los planes de emergencia las consideraciones para el seguimiento y evaluación para superar posibles cambios de la situación. Especificación del plan de seguimiento y evaluación y del presupuesto requerido de la Federación y de las Sociedades Nacionales Ampliación del sistema de seguimiento y evaluación: Compilación de datos de referencia Diseño de herramientas de recopilación de datos Capacitación de personal para la operación en materia de notificación y utilización de información de seguimiento para la toma de decisiones Selección y capacitación de responsables de proyecto (contratados por la Federación y las Sociedades Nacionales) Compilación y análisis de informes y respuesta a los mismos de forma permanente para insumos, actividades, producto y consecuencias Planificación y realización de visitas al terreno; gestión de los responsables de proyecto; intensificación del trabajo en equipo Seguimiento del rendimiento de los asociados Organización de reuniones de revisión periódicas Incorporación de los hallazgos del seguimiento y de la autoevaluación en curso en el proceso de toma de decisiones de los responsables de gestión de la operación Estimación del rendimiento de la operación hasta la fecha Estimación del rendimiento e idoneidad del sistema de seguimiento hasta la fecha Revisión de la situación actual y de tendencias; requisitos para la asistencia en curso; estrategia de salida Determinación de la eficacia e impacto de la operación

Estimación detallada (emergencias repentinas y de evolución lenta)

Preparación de un plan operacional (sólo operaciones de emergencia)

Preparación del documento de operación Ejecución

Revisión/nueva estimación

Evaluación periódica

4-3


Octubre de 2002

4.3.2 Revisión o preparación de una matriz de planificación En el Manual del proceso de planificación del proyecto de la Federación puede consultarse cómo elaborar una matriz de planificación. Para informarse acerca de cómo verificar la matriz de planificación, véase el punto 2.2 Comprobación del diseño de la operación (módulo 2). En todas las operaciones de desarrollo y en emergencias de evolución lenta:

• •

implique a las partes interesadas en la elaboración de una matriz de planificación de acuerdo con la orientación obtenida en el Manual del proceso de planificación del proyecto de la Federación o si se ha preparado ya una matriz de planificación, compruebe que los objetivos e hipótesis estén clara y adecuadamente especificados y que también se haya identificado un pequeño número de indicadores pertinentes y viables.

En el caso de emergencias repentinas:

• • • • • • •

la asistencia a la población necesitada probablemente se iniciará mientras se esté realizando la estimación, los objetivos de la operación y los planes de ejecución (incluidos aquellos para la selección de beneficiarios y de distribución) se van fijando día a día, los objetivos e hipótesis deberán representarse, lo antes posible, en forma de matriz de planificación, incluso aunque sigan existiendo vacíos y no se indiquen con precisión los objetivos e indicadores, un grupo de 5-10 Sociedades Nacionales puede elaborar en medio día una matriz de planificación a grandes rasgos y lista para ser utilizada, la matriz de planificación suministra un marco convenido para progresar, aunque requerirá ser actualizada periódicamente, la información sobre las hipótesis, recopilada como parte de la estimación inicial, establecerá una imagen más detallada de la situación y posibilitará a los responsables de gestión revisar y actualizar sus planes de forma correspondiente, una vez realizada una estimación detallada, se puede preparar un análisis más profundo de la matriz de planificación y diseñar el sistema de seguimiento y evaluación según los resultados de ese análisis.

4-4


4.4

Octubre de 2002

Estimación de la capacidad de seguimiento y evaluación

Para consultar cómo estimar la capacidad véase el punto 2.3 Estimación de la capacidad de seguimiento y evaluación (módulo 2). Sirve de orientación acerca de 2.3.1 Cómo determinar la capacidad de seguimiento y evaluación y de 2.3.2 Estimación de necesidades de capacitación.

4.4.1 Definición de funciones y responsabilidades en el seguimiento Antes de estimar la capacidad para realizar el seguimiento y evaluación de una operación, es importante analizar las funciones y responsabilidades al respecto de la Federación, las Sociedades Nacionales y los asociados ejecutores. Las funciones variarán según las condiciones generales y la disponibilidad de asociados. Tabla 4.3: Funciones en el seguimiento de operaciones Situación

Emergencias repentinas, emergencias de evolución lenta y operaciones de desarrollo

En algunas situaciones de conflicto – emergencias complejas

En operaciones en favor de refugiados

Función de la Federación y de las Sociedades Nacionales Recibir y analizar informes de los asociados y realizar visitas al terreno periódicas u ocasionales. Ayudar a identificar y, en la medida de lo posible, a resolver cualquier problema.

Función del gobierno o de ONG asociadas

Organizar distribuciones, normalmente con y a través de comités locales u organizaciones comunitarias. El personal del terreno prepara los informes de distribución y los “jefes de los equipos de seguimiento” escudriñan los informes y realizan visitas de supervisión al terreno. El seguimiento lo planifican y realizan conjuntamente la Federación, Sociedades Nacionales y ACNUR.

En algunos casos extremos, la función del gobierno y de las ONG asociadas es mínima.

Organizar y notificar sobre distribuciones y otras actividades. Establecer sistemas de información para suministrar datos socioeconómicos y nutricionales.

Organizar y notificar sobre distribuciones y otras actividades.

Función de principales asociados de las Naciones Unidas El UNICEF, la Federación y las Sociedades Nacionales colaborarán en el establecimiento de mecanismos rutinarios de seguimiento y en la realización periódica de estimaciones. La coordinación humanitaria normalmente corre a cargo del PNUD o la OCHA.

El ACNUR gestiona la operación completa en favor de los refugiados y realiza un seguimiento de gran parte de los servicios, desde la protección a la salud, educación y saneamiento.

La Federación y las Sociedades Nacionales han firmado, con los principales asociados de las Naciones Unidas, memorandos mundiales de acuerdo para operaciones de emergencia y desarrollo, que sirven de orientación para las responsabilidades de seguimiento y evaluación de cada una de las partes.

4-5


Octubre de 2002

4.4.2 Estimación de la capacidad de seguimiento Si desea orientarse de forma general sobre la estimación de la capacidad, consulte el punto 2.3.1 Cómo determinar la capacidad de seguimiento y evaluación (módulo 2). En una situación de emergencia deben abordarse, además, las siguientes cuestiones:

• • • • •

¿Cómo ha afectado la propia crisis a la capacidad previa de seguimiento y evaluación? ¿Cómo podrían verse indirectamente afectados la capacidad y el rendimiento por las nuevas exigencias que se le plantean a la organización en su conjunto? ¿Que posibilidades existen de que ONG locales realicen determinadas funciones de seguimiento y evaluación y qué capacidad poseen las ONG disponibles? ¿Qué factores del entorno dificultarán la recopilación de información y la presentación periódica de informes? ¿Qué puede hacerse para superar estas dificultades y quién se hará cargo de esta cuestión? ¿Qué apoyo se necesitaría para posibilitar la realización de las actividades de seguimiento y evaluación? - ¿De qué medios de transporte se dispone? ¿Cuáles más serán necesarios? ¿Qué capacitación habrá que organizar? ¿Qué material de oficina habrá que suministrar?

4-6


4.5

Octubre de 2002

Planificación de la recopilación y análisis de datos

Para proceder a la planificación y desarrollo de sistemas de recopilación y análisis de datos consulte el punto 2.4 Planificación de la recopilación y análisis de datos (módulo 2), que sirve de orientación en torno a:

• • • •

2.4.1 ¿Por qué son necesarios los datos de referencia? 2.4.2 ¿Qué datos de seguimiento se necesitan y de dónde se obtendrán? 2.4.2.3 Visitas al terreno – una valiosa fuente de información complementaria 2.4.2.4 Seguimiento de la participación

El presente módulo sirve de orientación adicional en torno a estos aspectos en el caso de operaciones de emergencia y de desarrollo.

4.5.1 Datos de referencia Si desea orientarse detalladamente sobre la planificación y realización de un estudio de referencia, consulte el módulo 7. Estudios de referencia. Los siguientes son indicadores de referencia que con frecuencia se consideran fundamentales para medir los progresos en operaciones de socorro que reciben el apoyo de varias organizaciones:

• •

Tasas de desnutrición moderada y grave (en niños de 6-59 meses de edad) Tasas de mortalidad (para todos los grupos de edad y particularmente para niños)

4.5.2 ¿Qué datos de seguimiento se necesitan y de dónde se obtendrán? En el punto 2.4.2 ¿Qué datos de seguimiento se necesitan y de dónde se obtendrán? (módulo 2) se presenta de forma general cómo recopilar datos de seguimiento. 4.5.2.1 ¿Cuál es el mínimo de información de seguimiento que debemos recopilar en el caso de emergencias repentinas? En una situación de emergencia, las decisiones se toman con una información confusa, contradictoria o simplemente ausente. Establecer prioridades en la importancia de decisiones claves puede suministrar una primera base para establecer las prioridades en cuanto a la información necesaria. La información de seguimiento mínima necesaria en emergencias repentinas incluye:

• • • •

recepción y suministro de productos y artículos no alimenticios proporcionados por la Federación y las Sociedades Nacionales, número (desglose según sexo y edad) de personas que reciben asistencia de la Federación y de las Sociedades Nacionales, manejo y distribución de productos proporcionados por la Federación y las Sociedades Nacionales, disponibilidad de ayuda alimentaria y necesidades pendientes.

El seguimiento posterior a la distribución se iniciará algunos días después de comenzar la operación.

4-7


Octubre de 2002

4.5.2.2 Visitas al terreno – una valiosa fuente de información complementaria Para orientarse de forma general diríjase al punto 2.4.2.3 Visitas al terreno (módulo 2). En zonas afectadas por conflictos, la estimación y el seguimiento se realizan, a veces, simultáneamente. En situaciones de crisis agudas resultantes de conflictos armados, a veces es necesario planificar operaciones de ayuda alimentaria careciendo de conocimientos profundos sobre el déficit de alimentos de determinados grupos de la sociedad. En estos casos, la intervención de urgencia se dirige a un área geográfica en la que se supone un elevado número de personas en situación de riesgo. Siempre que empleados de la Federación, Sociedades Nacionales u otras organizaciones logren realizar breves visitas a la zona, deberán intentar determinar:

• •

cómo se están utilizando los alimentos proporcionados (seguimiento), la situación de seguridad alimentaria en los hogares y cómo podría estar cambiando (estimación).

¿Cómo se realizan simultáneamente el seguimiento y la estimación? Dos semanas después de haber distribuido los alimentos o tras una serie de distribuciones de alimentos en un área determinada, recopile información sobre:

• • •

acceso a alimentos y control de los mismos en el ámbito doméstico, cambios en el consumo de alimentos y sus consecuencias, efectos específicos de la inseguridad sobre la seguridad alimentaria de las personas.

4.5.2.3 Seguimiento a través del contacto con beneficiarios – determinación del acceso al producto resultante de las actividades, la utilización del mismo y la satisfacción al respecto por parte de los beneficiarios Para introducirse en el tema del seguimiento a través del contacto con beneficiarios, diríjase al punto 2.2.3.1 Indicadores de seguimiento a través del contacto con beneficiarios (módulo 2). Utilice técnicas de apreciación rápida, especialmente discusiones en grupos temáticos con separación de hombres y mujeres y entrevistas a informantes claves, para verificar la verosimilitud de los hallazgos. Las visitas al terreno para recopilar información de seguimiento a través del contacto con beneficiarios representan una buena oportunidad para actualizar los datos que se utilizarán para las estimaciones. En la tabla 4.4 se propone una lista de verificación para ese tipo de seguimiento rápido de las necesidades alimentarias, que de forma ideal debería realizarse dos semanas después de la distribución de alimentos (o tras una serie de distribuciones de alimentos en un área determinada, siempre con los mismos beneficiarios).

4-8


Octubre de 2002

Tabla 4.4: Lista de verificación propuesta para una apreciación rápida (seguimiento y estimación) Acceso de hombres y mujeres a alimentos Control de alimentos y excedentes en los hogares

Cambios en el consumo de alimentos en los miembros de los hogares Situación de seguridad

¿Qué acceso tienen las personas a sus propias huertas y a los mercados? ¿Han sido destruidos o saqueados los cultivos y las reservas de alimentos? ¿Qué personas de los hogares no reciben suficientes alimentos? ¿Existen oportunidades de trabajo eventual? ¿Qué salarios se pagan? ¿Ha aumentado la violencia doméstica como consecuencia de la falta de alimentos y de las estrategias adoptadas para hacerle frente? ¿Quién decide qué parte de los alimentos/ganado se venderá y qué parte se retendrá para consumo propio? ¿Cuáles son las restricciones a las que se enfrentan las mujeres para decidir acerca de la utilización de los alimentos en el hogar? ¿En qué medida se han producido cambios en el acceso a agua potable y leña? ¿Qué hogares hacen frente a las mayores dificultades para acceder a alimentos? (¿Son especialmente vulnerables los hogares encabezados por mujeres?) ¿En qué hogares hay adultos que sufren de desnutrición? ¿Se han producido cambios en el peso de neonatos? ¿En qué hogares se encuentran los bebés de menor peso? ¿Cómo ha cambiado la movilidad geográfica? ¿Cuáles han sido los efectos, particularmente entre las mujeres? ¿Cómo acceden las personas a alimentos y a artículos no alimenticios básicos, agua y leña? ¿Qué tipo de actividades no pueden realizarse a causa de la inseguridad? ¿Qué medidas puede adoptar la comunidad para incrementar la sensación de seguridad?

4.5.3 ¿Quién recopila y analiza los datos sobre el terreno? Véase el punto 2.4 Planificación de la recopilación y análisis de datos (módulo 2).

4-9


4.6

Octubre de 2002


Véase el punto 2.5 Preparación del presupuesto y plan de seguimiento y evaluación (módulo 2).

4.6.1 El plan de seguimiento y evaluación Para obtener información general sobre la forma de la matriz de planificación y sobre los puntos que deben incluirse en la misma diríjase al punto 2.5.1 Plan de seguimiento y evaluación (módulo 2).

4-10


4.7

Octubre de 2002


Véase el punto 2.6 Planificación de la notificación e información de retorno (módulo 2).

4.7.1 Informes escritos A las Sociedades Nacionales se les solicita preparar cuatro tipos de informes sobre operaciones: 1. Informes de situación 2. Informes de situación de los suministros pendientes de entrega a los almacenes 3. Informes de proyecto 4. Informes anuales 4.7.1.1 Informes de situación e informes de situación de los suministros pendientes de entrega a los almacenes Los informes de situación constituyen el medio principal para enviar información a la sede central acerca de los progresos alcanzados en las operaciones sobre el terreno, describiendo todo tipo de problemas, restricciones o necesidades pendientes. Se numeran por año y consecutivamente (p. ej. 2002/1, 2002/2, 2002/3). La frecuencia de presentación de los informes de situación depende de la magnitud y gravedad de la emergencia. Deberán enviarse cada pocos días en las primeras fases de una emergencia, y posteriormente suelen elaborarse mensualmente. Los informes de situación proporcionan a la Federación y a la Sociedad Nacional correspondiente información actualizada y resumida concerniente a:

• • •

los progresos de la operación, cualquier cambio que acontezca durante el período del cual se informa, todo tipo de problemas, restricciones o necesidades pendientes particulares.

Los informes de situación de los suministros pendientes de entrega a los almacenes suelen presentarse mensualmente.

4.7.2 ¿Cómo utilizarían los jefes de operaciones los informes? El punto 2.6.2 ¿Cómo utilizarían los directores de proyectos o programas los diferentes informes? (módulo 2) sirve de orientación general acerca de cómo establecer un vínculo entre los informes y la toma de decisiones de los responsables de gestión. En emergencias de evolución rápida (y en algunas operaciones de desarrollo) es fundamental que todas las partes interesadas realicen frecuentemente revisiones sistemáticas. Normalmente deberían realizarse al menos cada 3 meses (tal vez cada 6 meses), dependiendo de la cantidad y alcance de los cambios que se vayan produciendo. Estas revisiones deberán organizarse en cada uno de los diferentes ámbitos de operación así como, poco tiempo después, en el nivel nacional. Las revisiones deberán estar centradas en:

• • •

lo que se está consiguiendo con la operación, las causas de cualquier problema o de un rendimiento inferior al previsto, cómo evoluciona la situación en su conjunto.

4.7.3 Información de retorno para las operaciones Véase el punto 2.6.4 Información de retorno (módulo 2). 4-11


Octubre de 2002

ENSEÑANZAS EXTRAÍDAS DEL MÓDULO 4 CICLO DEL PROYECTO • • • • •

RELACIONE EL SEGUIMIENTO Y LA EVALUACIÓN CON EL CICLO DEL PROYECTO VUELVA A EXAMINAR LA ESTIMACIÓN INICIAL REVISE LA ESTIMACIÓN DETALLADA EXAMINE EL PLAN OPERACIONAL DOCUMENTE LA EJECUCIÓN FRENTE A LAS ESTIMACIONES Y EL PLAN

4-12

Módulo 5: Evaluación

5.

Evaluación

5.1

Introducción

Octubre de 2002

5.1.1 ¿Para qué? El presente módulo sirve de orientación para planificar, organizar, gestionar y utilizar evaluaciones de la cartera de actividades de emergencia y desarrollo de la Federación y de las Sociedades Nacionales.

5.1.2 ¿Para quién? La orientación se dirige a los jefes de evaluación de las Sociedades Nacionales y oficinas regionales, así como a los de la sede central.

5.1.3 ¿Qué es un jefe de evaluación? Normalmente, las evaluaciones las dirige el Departamento de Seguimiento y Evaluación de la Secretaría de la Federación en Ginebra. No obstante, las evaluaciones y otras funciones analíticas pueden realizarlas la Delegación en el país o la Sociedad Nacional correspondiente. Puede ocurrir que miembros del personal de la División de Seguimiento y Evaluación de la sede central se integren en el equipo de evaluación como miembros regulares, que alguno de ellos actúe de jefe del equipo o que asesoren y participen en el diseño y ejecución de la evaluación. A lo largo del módulo se ofrece una orientación más detallada en cuanto al papel que desempeña el jefe de evaluación.

5.1.4 ¿Por qué se evalúa? La evaluación es, ante todo, una importante herramienta de gestión que permite a la Federación y a las Sociedades Nacionales examinar su rendimiento, tomar decisiones, aprender de la experiencia y rendir cuentas de sus acciones, mejorando así su capacidad para obtener los resultados deseados. Además, la evaluación es una herramienta para rendir cuentas que constituye, para los órganos de gestión, la Junta de Gobierno y los donantes, la base para analizar el rendimiento y para tomar las decisiones necesarias para mejorar la eficacia y eficiencia de políticas y operaciones. Las evaluaciones también sirven de apoyo para la rendición de cuentas y el aprendizaje en el nivel de país, pues proporcionan a las partes interesadas la información necesaria para estimar el rendimiento de las Sociedades Nacionales y para aprender sobre modos de mejorar el rendimiento de los programas y operaciones de la Federación y de las Sociedades Nacionales y de llegar a acuerdos al respecto. Para introducirse en el tema de la evaluación, incluidas definiciones y funciones, consulte el punto 1.3.4 ¿Qué es la evaluación? y el punto 1.4 ¿Qué es el marco para el seguimiento y evaluación?.

5-1


5.2

Octubre de 2002

Un marco para la evaluación

La evaluación orientada a la rendición de cuentas examina el rendimiento alcanzado en el pasado, con el objetivo de determinar el grado de éxito o fracaso, mientras que la evaluación orientada al aprendizaje busca mejorar el rendimiento futuro determinando las razones del éxito o fracaso. Generalmente, las evaluaciones realizadas por la Federación y las Sociedades Nacionales contienen los dos elementos, concediéndose más peso a uno u otro de ellos dependiendo del propósito principal y del momento en que se realice la evaluación. En los dos casos, la evaluación se ocupa de comparar aquello que se ha logrado frente a lo que se planificó y, por lo tanto, de determinar el grado en que se han alcanzado los objetivos o resultados previstos de una operación. La matriz de planificación, junto con un calendario, proporciona la estructura para la notificación en torno a la evaluación. La matriz de planificación desempeña una importante función en el diseño y ejecución de la operación y, posteriormente, en su evaluación. Suministra un marco fundamental para reflexionar acerca de cuestiones relativas a la evaluación. Tanto es así que, en el caso de no existir una matriz de planificación, se recomienda al equipo de evaluación que elabore una retrospectivamente para analizar la lógica del documento de diseño de la operación y comprobar si contiene toda la información necesaria. Véase figura 1.6.

5-2


5.3

Octubre de 2002

Tipos de evaluación

Las evaluaciones realizadas por la Federación y las Sociedades Nacionales se diferencian según se expone a continuación: • • •

La autoevaluación (denominada a veces revisión intermedia de la gestión) la realiza en su totalidad personal que participa en la operación (típicamente personal de la Sociedad Nacional), normalmente sin ayuda de asesores externos. La evaluación no obligatoria la llevan a cabo asesores externos independientes y puede dirigirla la División de Seguimiento y Evaluación o la Sociedad Nacional/oficina regional. La evaluación obligatoria es la que se exige de acuerdo con la Política de Evaluación de la Federación. Normalmente la dirige la División de Seguimiento y Evaluación.

Los informes de todas las evaluaciones obligatorias se presentan al Secretario General y a la Junta de Gobierno. Tanto las evaluaciones obligatorias como las que no lo son pueden realizarse en el punto medio de la ejecución de una operación (evaluaciones intermedias), al final de la misma (evaluaciones finales) o varios años tras concluir la operación (evaluaciones ex post). Cada vez es más frecuente la utilización del término “evaluación en tiempo real” en el contexto de las operaciones de desarrollo. Este término hace referencia al hecho de que la política, programa u operación se evalúan en el momento de comenzar el programa y, por lo tanto, los resultados de la evaluación se tendrán en cuenta en el periodo restante de ejecución.

5-3


5.4

Octubre de 2002

Normas y principios de la evaluación

5.4.1 Normas generales Las evaluaciones deben atenerse a las siguientes normas: •

•

•

•

Las evaluaciones deben ser útiles y deben utilizarse: La evaluación debe satisfacer las necesidades de información de los supuestos usuarios, lo que significa que se deberán determinar y abordar las necesidades de todas las partes interesadas. Los informes deberán describir claramente la operación que se evalúa, incluido su contexto, y el propósito, procedimientos y hallazgos de la evaluación. Los hallazgos e informes deberán difundirse oportunamente y la Sociedad Nacional, o la División de Seguimiento y Evaluación en el caso de tratarse de evaluaciones temáticas, deberá velar por la puesta en práctica de las recomendaciones de la evaluación a través de un plan de seguimiento de las recomendaciones. Las evaluaciones deben ser exactas: La evaluación debe revelar y transmitir información adecuada desde el punto de vista técnico sobre la operación, a fin de que se pueda determinar el valor o calidad de ésta. El informe de evaluación debe basarse en datos y mostrar con claridad cómo aplicó los métodos el equipo de evaluación y cómo se obtuvieron los hallazgos. En las evaluaciones se debe procurar reflejar la reacción de los beneficiarios: En la planificación de la evaluación deben preverse las debidas consultas con grupos beneficiarios representativos, prestándose atención a incluir el punto de vista de hombres, mujeres, niños y otros grupos vulnerables pertinentes en relación con la operación. En la medida de lo posible, los equipos de evaluación deberán aplicar métodos de diagnóstico rural rápido. Las evaluaciones, excepto las autoevaluaciones, deben ser independientes e imparciales: Los evaluadores no deberán haber participado en ninguna etapa previa de la operación a evaluar. La evaluación deberá ser completa y justa en el examen de los puntos fuertes y puntos débiles de la operación, así como en la notificación sobre los mismos. En caso de existir diferentes puntos de vista, deberán reflejarse en el informe.

5.4.2 Principios claves para evaluar operaciones En la evaluación de operaciones de emergencia o de desarrollo se sigue, en muchos aspectos, el proceso de otras evaluaciones más habituales: elaboración de los términos de referencia, selección del equipo de evaluación, selección de métodos, realización del estudio sobre el terreno, elaboración de conclusiones y recomendaciones, y difusión de los hallazgos de la evaluación. Sin embargo, las características de las emergencias (actores múltiples, inestabilidad de la situación sobre el terreno, problemas de acceso, etc.) obligan, con frecuencia, a realizar la evaluación con un enfoque muy distinto. De acuerdo con los consejos del Comité de Ayuda al Desarrollo (CAD) de la Organización para la Cooperación y Desarrollo Económicos (OCDE) (Guidance for Evaluating Humanitarian Assistance in Complex Emergencies), se deberán añadir los siguientes principios claves para operaciones de emergencia y de desarrollo a aquellos presentados en el punto 4.1: 1.

En la realización de evaluaciones y en su planificación deben tomarse en consideración las especiales condiciones socioculturales y medioambientales reinantes en escenarios de emergencias y posteriores a las mismas, p. ej.: • Acceso restringido: Es posible que los evaluadores se enfrenten a importantes restricciones en el acceso a personas y lugares (a causa de controles de carretera, ataques a convoyes de ayuda, infraestructura dañada, etc.). En la evaluación deberán considerarse estas restricciones. • Abusos de los derechos humanos: La población a la que se presta asistencia (particularmente mujeres y niños) puede estar sometida a una serie de abusos. La 5-4


•

•

Octubre de 2002

evaluación deberá tener en cuenta la situación de seguridad y las necesidades de protección de la población afectada, es decir, si durante la operación se han observado suficientemente estas cuestiones. Trauma psicosocial: Las poblaciones afectadas pueden haber sufrido graves traumas, mucho más intensos de lo que podría percibir un observador externo. Los evaluadores deben intentar identificarse con sus experiencias, independientemente del grupo al que pertenezcan (gobierno, rebeldes, civiles, hombres, mujeres, etc.) y el tema en cuestión debe tratarse con sensibilidad. En estos casos, en el equipo de evaluación deben incluirse evaluadores experimentados en dialogar con personas que sufren traumas psicosociales. Objetividad: Los conflictos y tensiones pueden provocar tal intensidad de sentimientos y polarización de puntos de vista entre los diferentes grupos afectados, que la búsqueda de la “verdad” jamás resulte exitosa. La veracidad de la información nunca podrá garantizarse, por lo que la triangulación se convierte en un principio esencial de la recopilación y análisis de datos.

2.

En las evaluaciones debe prestarse especial atención a reconstruir el orden en que se hayan sucedido los acontecimientos y procesos • Información relativa al proceso: Con frecuencia, los evaluadores carecen de información clave sobre diversos asuntos esenciales para realizar su labor. Aunque éste es un problema que se presenta en todas las evaluaciones, puede resultar particularmente grave en el caso de emergencias complejas – frecuentemente, los datos de seguimiento y de referencia no existen o son incompletos debido a problemas surgidos durante su recopilación o dificultades en el registro de decisiones y mantenimiento de sistemas de clasificación; y cuando se dispone de datos, éstos pueden no ser coherentes o complementarios en relación con los sistemas de diferentes organismos. • Información relativa al contexto: La falta de información sobre el orden en que se suceden los acontecimientos y sobre los objetivos cambiantes de la asistencia humanitaria obligan con frecuencia a los evaluadores a reconstruir “historias” o “imágenes” del contexto o de los acontecimientos a partir de las cuales se juzgará si la ayuda prestada es apropiada y eficaz.

3.

Las evaluaciones deben estar más centradas en técnicas de evaluación de políticas • Causa y efecto: La táctica seguida habitualmente en la evaluación, de separar causa y efecto, frecuentemente no es posible aplicarla en sistemas complejos en los que intervienen numerosos factores interdependientes. El enfoque consiste más bien en utilizar métodos cualitativos y deductivos para relatar acontecimientos y procesos específicos, a fin de entender qué y por qué ocurrió. • El imperativo político: En la respuesta humanitaria en casos de emergencia frecuentemente participan varios actores y existe un elevado grado de interdependencia, por lo que normalmente no resulta apropiado evaluar la respuesta individual de un organismo. Por lo que a la matriz de planificación se refiere, en estos casos son demasiados los factores y acciones acompañantes los que se incluyen en la columna de las hipótesis. La experiencia enseña, por lo tanto, que es necesario centrarse más intensamente en evaluaciones llevadas a cabo en colaboración y que abarquen todo el sistema, a fin de posibilitar la evaluación conjunta de las operaciones relacionadas entre sí.

5-5


Octubre de 2002

5.4.3 Criterios de evaluación Los criterios de evaluación generalmente aplicados por la Federación y las Sociedades Nacionales son los siguientes: • Pertinencia - Grado de coherencia de los objetivos de una operación de la Federación y/o de las Sociedades Nacionales en relación con las necesidades de los beneficiarios y países, las prioridades de las organizaciones, y las políticas de los asociados y donantes. • Preparación y diseño – Evaluación del proceso mediante el cual se identificó y formuló la operación, y de la lógica e integridad del diseño resultante para la operación. • Idoneidad – Evaluación de la idoneidad y utilización oportuna de los insumos en relación con la realización de las actividades. • Eficiencia – Medida de la rentabilidad con la que los insumos (fondos, personal especializado, tiempo, etc.) se convierten en el producto de la operación. Eficacia - Grado en el que se han alcanzado o se esperan alcanzar los objetivos de una • operación, tomando en consideración la importancia relativa de los mismos. • Consecuencias - Resultados en el medio plazo derivados del producto de una operación. Entendidas también como efectos en el nivel de propósito atribuibles a una operación. • Impacto - Resultados positivos y negativos, intencionados o no, en el largo plazo, producidos directa o indirectamente por una operación de la Federación y/o de las Sociedades Nacionales. Entendido también como efectos en el nivel de meta atribuibles a una operación. • Sostenibilidad - Continuación de los beneficios de una operación de la Federación y/o de las Sociedades Nacionales una vez concluida la asistencia principal. • Conexión (únicamente en el caso de operaciones de emergencia y de desarrollo) – Asegurar que en el desempeño de las actividades realizadas en una emergencia de corto plazo se consideren los problemas conexos y que repercuten en un plazo de tiempo más largo. • Cobertura y selección de beneficiarios – Concierne a la idoneidad de los objetivos fijados en la selección de beneficiarios en el nivel de operación en relación con la situación local, la conformidad de esos objetivos con los objetivos de selección de beneficiarios de la Federación y de las Sociedad Nacionales en el nivel de política, y el grado en que se ha alcanzado la cobertura planificada. • Asociaciones y coordinación – Idoneidad de las asociaciones establecidas con gobiernos, ONG y organismos, y eficacia con la que se han dirigido esas asociaciones para lograr alcanzar los objetivos. Para aclaraciones sobre la relación de estos criterios con la matriz de planificación, véase la tabla 5.1 expuesta a continuación.

5-6


Octubre de 2002

Tabla 5.1: La matriz de planificación y los criterios de evaluación Nivel de la matriz de planificación META

PROPÓSITO

PRODUCTO

ACTIVIDADES

INSUMOS

Información necesaria

Criterios de evaluación

Aportación de la operación a los objetivos más amplios y en el largo plazo. ¿Qué cambios se han producido en el largo plazo en la vida de los beneficiarios? ¿Pueden atribuirse estos cambios a la operación o programa? ¿Se han alcanzado los objetivos de los indicadores de impacto? ¿Es probable que se alcancen? Logro real de los objetivos de propósito/consecuencias en comparación con el plan. ¿Se alcanzaron los objetivos? ¿Quién se benefició y en qué consistió el beneficio? En caso de no haberse alcanzado los objetivos, ¿se debió a un rendimiento deficiente, a indicadores insuficientemente especificados o a problemas en el diseño de la operación? ¿Cómo perciben los beneficiarios la operación? ¿Cómo sienten que ha cambiado su vida? ¿Se han alcanzado los objetivos de los indicadores de consecuencias? ¿Es probable que se alcancen? Cumplimiento de las hipótesis. ¿Cómo afectaron los factores no sujetos al control de los responsables de gestión al logro del propósito? ¿Se consideraron estos factores adecuadamente en el diseño de la operación? ¿Se ha realizado un seguimiento de las hipótesis? En caso afirmativo, ¿ha resultado del mismo un cambio en la estrategia en los casos en que estuviera indicado?

IMPACTO – Progresos con miras a alcanzar la meta. “Lograr un cambio en el largo plazo”.

Logro real de los objetivos de producto en comparación con el plan. ¿Quién recibió ayuda alimentaria y a quién se le prestaron otros servicios? ¿Se alcanzaron los objetivos? ¿Podría haberse mejorado el rendimiento mediante un enfoque diferente? ¿Se han alcanzado los objetivos de los indicadores de producto? ¿Es probable que se alcancen? Cumplimiento de las hipótesis. ¿Cómo afectaron los factores no sujetos al control de los responsables de gestión al logro del producto? ¿Se consideraron estos factores adecuadamente en el diseño de la operación? Fechas reales de inicio y conclusión en comparación con el plan. Criterios y procesos de selección de beneficiarios. ¿Prestaron eficazmente ayuda alimentaria la Federación, las Sociedades Nacionales y sus asociados? ¿Fueron adecuados los preparativos organizacionales? ¿Se produjo algún tipo de retraso o se ganó tiempo? ¿Qué efecto tuvieron las desviaciones del plan sobre la operación? Cumplimiento de las hipótesis. ¿Cómo afectaron los factores no sujetos al control de los responsables de gestión a la realización de las actividades? ¿Se consideraron estos factores adecuadamente en el diseño de la operación? Cantidades de insumos y costos reales en comparación con el presupuesto. ¿Se proporcionaron y utilizaron los recursos de acuerdo con el plan? ¿Se suministraron los insumos con el menor costo posible y con el nivel de calidad y en la cantidad deseados? En caso negativo, ¿cómo afectó este hecho a la operación?

PERTINENCIA – Abordar los verdaderos problemas con el enfoque adecuado y teniendo en cuenta las responsabilidades incluidas en el mandato fundamental de la Federación y las Sociedades Nacionales así como las políticas del país correspondiente. “Abordar las verdaderas necesidades de los beneficiarios”. CONSECUENCIAS – Grado en que el producto ha resultado en el logro del propósito o de propósitos parciales. EFICACIA – Grado en que una operación ha alcanzado su propósito. COBERUTRA Y SELECCIÓN DE BENEFICIARIOS - ¿Se han alcanzado los objetivos? ¿Se han beneficiado las personas adecuadas en el momento adecuado? “Abordar las necesidades previstas”. SOSTENIBILIDAD – Perspectivas de autosuficiencia y utilización permanente de los servicios tras concluir la operación o programa. “Continuación sin ayuda externa”. CONEXIÓN – Si la operación, en su respuesta a necesidades agudas e inmediatas, toma en consideración necesidades y problemas en el más largo plazo. EFICACIA Y EFICIENCIA - Comprobar la calidad, cantidad y oportunidad del producto y la rentabilidad con la que se ha producido. “Hacer las cosas adecuadas y hacerlas bien”. SOSTENIBILIDAD – Perspectivas de prestación permanente de los servicios una vez concluida la operación o programa. “Continuación sin ayuda externa”.

EFICIENCIA – Logro de una relación óptima entre costos, calidad y tiempo. “Hacer las cosas bien y gastar menos”. ASOCIACIONES Y COORDINACIÓN – Adoptar un enfoque común para resolver problemas y obtener resultados. “Trabajar juntos adecuadamente”. SOSTENIBILIDAD – Perspectivas de continuación de las actividades una vez concluida la operación o programa. “Continuación sin ayuda externa”.

IDONEIDAD – Disponer de insumos adecuados y oportunos para realizar las actividades. “Asegurar el apoyo y estar preparados”.

5-7


5.5

Octubre de 2002

¿Existe una base para determinar los criterios?

Los criterios aplicados en la evaluación orientada a la rendición de cuentas, a saber pertinencia, impacto, eficiencia, eficacia y sostenibilidad, requieren determinar aspectos diferentes. En el caso de la pertinencia, se mide la idoneidad de las actividades en relación con políticas, necesidades y prioridades. Como consecuencia, las preguntas que se plantean para determinar los criterios se enfocan desde la perspectiva de la sociedad – no desde la de la ejecución o del grupo beneficiario. El principal problema metodológico consiste en cómo abordar la falta de consenso social en torno a las crisis humanitarias. Y el punto de referencia lo constituye la misión del donante y del asociado ejecutor. La tabla 5.2 expone, en términos generales, qué medir desde qué perspectiva, los problemas metodológicos, puntos de referencia así como preguntas claves. Ofrece una ayuda para abordar los criterios de evaluación. Tómese nota, en particular, de que para responder a las preguntas claves debe juzgarse, y que para juzgar es necesario disponer de datos. Para obtener datos deben realizarse mediciones, y éstas requieren adoptar una perspectiva. La realización de mediciones plantea también problemas metodológicos. Más importante aún, para establecer un juicio es necesario un punto de referencia común a todas las partes.

5-8

Qué medir

¿Cuáles son los efectos positivos y negativos? ¿Superan los efectos positivos a los negativos? ¿Hasta qué punto se ha prestado la ayuda, en sus diferentes componentes, de acuerdo con lo acordado? ¿Podría haberse prestado la ayuda más económicamente, con mayor rapidez y con mejor calidad? ¿Hasta qué punto se han alcanzado los objetivos acordados? ¿Son suficientes las actividades para poder alcanzar los objetivos acordados? ¿Hasta qué punto justifican los efectos positivos las inversiones? ¿Están dispuestas las partes implicadas a observar el diseño y la estrategia de salida y son capaces de hacerlo?

Falta de información sobre partes afectadas Relación causa-efecto Qué normas utilizar como referencia

Estado, antes de la intervención, de las partes afectadas Intervenciones similares Normas de mejores prácticas Objetivos acordados Objetivos poco claros, múltiples, distorsionantes y cambiantes Situación planificada Respuestas hipotéticas para el futuro

¿Existe armonía entre los objetivos y las necesidades y prioridades? ¿Deberían continuarse o concluirse las actividades?

Preguntas claves

Misión del donante y Falta de consenso en del asociado ejecutor torno a necesidades y prioridades

Desde la perspectiva Punto de referencia Problema de quién metodológico

El grupo beneficiario Medir la eficacia Logro de los objetivos (coherencia) (coordinación) Probabilidad de que Sociedad Nacional Medir la se mantengan los sostenibilidad beneficios (conexión)

(oportunidad)

Medir la pertinencia

Octubre de 2002

Tabla 5.2: Criterios de evaluación

Idoneidad en Sociedad Nacional relación con políticas, necesidades y (cobertura) prioridades Sociedad Nacional Medir el impacto Efectos intencionados y no intencionados, positivos y negativos La prestación de Los ejecutores Medir la ayuda eficiencia


5-9


5.6

Octubre de 2002

Plantear preguntas sobre el contexto de la evaluación

Es importante comprender la situación general en la cual se presta la ayuda. Para ello, lo mejor es plantear una serie de preguntas: 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12.

¿Corren peligro vidas o bases de subsistencia? ¿Con qué velocidad están cambiando las circunstancias? ¿Están establecidas las estructuras de gobierno? ¿Cuál es la estructura demográfica de la población beneficiaria (incluir datos de edades, sexo, grupos étnicos)? ¿Existen lagunas significativas en los conocimientos estadísticos sobre la población beneficiaria? ¿Se ha realizado algún tipo de esfuerzo para buscar y determinar soluciones en el nivel local? ¿Cuál es la situación de seguridad en la zona? ¿Cuál es la probabilidad de que las personas vuelvan a vivir en sus sistemas de subsistencia tradicionales? ¿Qué otros organismos actúan en la zona? ¿Cuál es la actitud de los beneficiarios frente a la asistencia externa? ¿De acuerdo con qué normas se prestará ayuda? ¿Qué ocurriría si no se prestara ayuda?

5-10


5.7

Octubre de 2002

Plantear preguntas sobre la planificación de ayuda humanitaria

El examen de la situación general proporciona, generalmente, una estimación inicial. En la ayuda humanitaria, no obstante, con frecuencia, la estimación acaba convirtiéndose en un marco de planificación. Aunque a veces se defienda que es posible actuar inmediatamente después de realizar la estimación y sin marco de planificación, resulta difícil realizar una seguimiento de la ayuda humanitaria y, por lo tanto, evaluarla sin marco de planificación. En este sentido, es útil plantear una serie de preguntas a partir de las cuales se obtenga información acerca de cómo planificar este tipo de ayuda: 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14.

¿Existe un análisis adecuado sobre la situación de crisis y se ha determinado claramente la población beneficiaria? ¿Se han recopilado y analizado sistemáticamente datos? En caso negativo, ¿cómo debe hacerse frente a las necesidades de datos? ¿Se han tenido en cuenta experiencias similares de otras intervenciones de ayuda humanitaria? ¿Se han definido con claridad las diferentes funciones, incluida la de coordinación? ¿Cuáles son las razones para la participación de cada uno de los organismos? ¿Cómo se irán retirando estos organismos? ¿Cómo se prevé que cambiará la situación como consecuencia de la intervención? ¿Cómo se han determinado las prioridades en torno a las necesidades? ¿Se adaptan las hipótesis a la realidad? ¿Se han definido los objetivos con suficiente claridad como para que pueda realizarse un seguimiento del logro de los mismos en comparación con determinados criterios? ¿Cuáles son los insumos y actividades principales necesarios para alcanzar esos objetivos? La ayuda humanitaria, ¿se opone a la iniciativa local e incrementa la dependencia? ¿Es completa y coherente la planificación? ¿Incluye el plan un calendario? ¿Posee el personal del organismo correspondiente experiencia para ejecutar actividades y realizar el seguimiento de las mismas?

En la elaboración de las preguntas para la evaluación de programas y proyectos humanitarios, utilizando los criterios de evaluación, pueden tomarse como punto de referencia los consejos del Comité de Ayuda al Desarrollo (CAD) de la Organización para la Cooperación y Desarrollo Económicos (OCDE) (Guidance for Evaluating Humanitarian Assistance in Complex Emergencies). En el documento correspondiente se plantean preguntas en torno a los criterios claves de evaluación: Pertinencia La pertinencia es el grado de coherencia de la actividad de ayuda con las prioridades y políticas del grupo beneficiario, el organismo ejecutor y los donantes. En la evaluación de la pertinencia de un programa o proyecto es útil plantear las siguientes preguntas: 1. 2. 3. 4. 5. 6.

¿En qué medida son pertinentes los objetivos del programa? Las actividades y producto del programa, ¿son coherentes con la meta y el logro de los objetivos? Las actividades y producto del programa, ¿son coherentes con el impacto y efectos previstos? ¿Son las actividades intervenciones apropiadas? ¿Abarcan las actividades adecuadamente a la población afectada? ¿Debería haberse interrumpido antes el programa o debería haberse ampliado?

5-11


Octubre de 2002

Eficacia La eficacia mide el grado en que se alcanzan los objetivos de un programa de ayuda. Además, mide el grado en que las actividades alcanzan su propósito o si es previsible que esto ocurra de acuerdo con el producto. En la evaluación de la eficacia de un programa o proyecto es útil plantear las siguientes preguntas: 1. 2. 3. 4.

¿Hasta qué punto se han alcanzado los objetivos? ¿Cuáles han sido los principales aspectos que han influido en que se alcanzaran o no los objetivos? ¿Se han fijado metas comunes entre los diferentes organismos ejecutores (coherencia)? ¿Ha habido indicios de que la coordinación influyera en el logro de los objetivos?

Eficiencia La eficiencia es un término de carácter económico y refleja los costos (recursos materiales y humanos) producidos para obtener los resultados deseados. En otras palabras, ¿se invirtió óptimamente el dinero? La eficiencia mide el producto obtenido (aspectos cualitativos y cuantitativos) en relación con los insumos. A fin de comprobar si se ha utilizado el proceso más eficiente, generalmente es necesario establecer una comparación con otros enfoques aplicados para conseguir el mismo producto. En la evaluación de la eficiencia de un programa o proyecto es útil plantear las siguientes preguntas: 1. 2. 3. 4. 5. 6. 7.

¿Se realizaron las actividades con el menor costo posible? ¿Se alcanzaron los objetivos oportunamente? ¿Se ejecutó el programa o proyecto de la forma más eficiente posible en comparación con otras posibilidades? ¿Incrementó la intervención de emergencia los costos unitarios? ¿Se adquirieron los insumos materiales en el nivel local? ¿Se solicitaron ofertas locales? ¿Cuál fue la proporción de costos para personal extranjero y local respectivamente?

Impacto El impacto indica los efectos negativos y positivos de un proyecto sobre su entorno en cuanto a aspectos técnicos, económicos, socioculturales, institucionales y medioambientales. En la evaluación se deberán considerar: 1. 2. 3.

Efectos directos – Costos y beneficios inmediatos de la contribución a un proyecto y de los resultados del mismo, sin tener en cuenta sus efectos económicos. Efectos indirectos – Costos y beneficios desatados por la contribución de un proyecto y los resultados del mismo. Efecto multiplicador – Efecto indirecto especial consistente en el incremento del aprovechamiento de la capacidad de la economía como consecuencia del aumento de la demanda generado por los programas de ayuda.

En la evaluación del impacto de un programa o proyecto es útil plantear las siguientes preguntas: 1. 2. 3. 4.

¿Qué ha ocurrido como resultado del programa o proyecto? ¿Qué ha aportado realmente la actividad a los beneficiarios? ¿Cuántas personas se han visto afectadas? ¿Qué habría ocurrido si el programa o proyecto no se hubiese ejecutado?

5-12


Octubre de 2002

Sostenibilidad Grado en que se seguirán manteniendo los objetivos de una actividad de ayuda una vez concluida la misma; grado en que los grupos beneficiarios de la ayuda quieren y pueden hacerse cargo de mantener los objetivos del proyecto. La sostenibilidad se refiere a la medida de la probabilidad de que una actividad o impacto se mantengan una vez que los donantes supriman la financiación. Un programa o proyecto debe ser sostenible desde los puntos de vista medioambiental, social y económico. Teniendo en cuenta que la mitad de las actividades de ayuda humanitaria se consideran actividades de rehabilitación, es importante considerar la cuestión de la sostenibilidad. En la evaluación de la sostenibilidad de un programa o proyecto es útil plantear las siguientes preguntas: 1. 2. 3.

¿En qué medida continuó desarrollándose el programa o proyecto una vez concluida la financiación por parte de los donantes? ¿Cuáles fueron los principales factores que influyeron en que se alcanzara o no la sostenibilidad del programa o proyecto? ¿Se consideraron, en el tema de la sostenibilidad, claramente cuestiones de sostenibilidad medioambiental, económica y social?

Cuando el programa de ayuda humanitaria esté centrado en el socorro de emergencia, en las preguntas se tomará en consideración el aspecto de la conexión. En este caso, las preguntas son las siguientes: 1. 2. 3. 4.

¿Qué relación existió entre las actividades de socorro y las de rehabilitación y desarrollo? ¿Cuál fue la estrategia de salida planificada? En el caso de no existir estrategia de salida, ¿cómo se concluyó la intervención? ¿Se modificaron significativamente las actividades a medida que se reducía la gravedad del desastre?

Preguntas, todas ellas, cuya respuesta resulta difícil. (Fuente: OCDE (1991 y 1986)). Medir el impacto es una tarea muy difícil, especialmente en la ayuda humanitaria, en donde las evaluaciones con frecuencia se realizan una vez concluida la intervención. En este sentido, resulta difícil juzgar si se han alcanzado los objetivos generales, especialmente cuando se carece de planes, resultados de seguimiento y normas determinadas. Más concretamente, muchas veces es difícil atribuir los cambios en las condiciones de subsistencia de la población beneficiaria a la aportación de actividades específicas. También es importante plantearse, especialmente en el caso de emergencias complejas, si las actividades del proyecto han ayudado a estabilizar el conflicto o si, por el contrario, lo han agravado. En el caso de los organismos de ayuda humanitaria que operan tradicionalmente en el ámbito de los derechos humanos, deberá evaluarse también el impacto de su estrategia de sensibilización. Las preguntas en torno a la eficiencia se centran en el despliegue de recursos económicos y humanos en relación con el producto. Las primeras preguntas se refieren a datos sobre costos y, en la medida de lo posible, a datos comparativos de costos de diferentes organismos que actúan en la misma intervención o en intervenciones similares en contextos diferentes. ¿Se dispuso de unas directrices de gestión para ejecutar las actividades? ¿Hasta qué punto facilitaron esas directrices alcanzar los objetivos? ¿Podrían haberse obtenido los mismos resultados a un costo inferior? ¿Podría haberse satisfecho a más beneficiarios? ¿Cómo funcionó la logística, especialmente en cuanto a la oportunidad? Y debido a su relación con la eficiencia y eficacia, es esencial plantear la pregunta de si se consideró un espacio para desarrollar y realizar un seguimiento de actividades humanitarias.

5-13


Octubre de 2002

En el tratamiento de la pertinencia surgen preguntas relativas a la cobertura. ¿Cuál fue la población beneficiaria? ¿Cómo alcanzaron las actividades del proyecto a esa población? ¿Se excluyó a alguien de los servicios? En la cuestión de la eficacia, las principales preguntas que se plantean son: ¿Se logró el propósito del proyecto? ¿Fueron ejecutadas las actividades según el plan inicial? Además se plantea la cuestión relativa a la coherencia entre las fuentes de financiación y entre los organismos que actúan sobre el terreno. ¿Intervinieron con una base común? O, por el contrario, ¿intervinieron de forma autónoma? En las evaluaciones de intervenciones de socorro, las preguntas relativas a la sostenibilidad se centran más intensamente en la conexión. ¿Cómo estaba diseñada la retirada progresiva de la estrategia de socorro? ¿Se intentaron traspasar recursos a la capacidad local durante la retirada progresiva? ¿Cómo fortaleció la intervención de socorro los mecanismos locales para abordar problemas? Cabe mencionar, sin embargo, que gran parte de la ayuda humanitaria realmente la constituyen actividades de rehabilitación, más que de socorro, por lo que deberán utilizarse los criterios de evaluación de la sostenibilidad de la OCDE. No obstante, resulta extremadamente difícil evaluar estrategias de salida cuando se carece de un plan y de un sistema de seguimiento que determine el final de la intervención en el marco de un programa. Este aspecto destaca, nuevamente, la importancia que tiene la elaboración de unas bases adecuadas de planificación y seguimiento para la ayuda humanitaria. En el tratamiento de los criterios de evaluación surgirá una serie de preguntas sobre el diseño de la intervención humanitaria. ¿Se definieron con claridad los objetivos? ¿Se tomaron en consideración factores externos (incluida una especificación de riesgos e hipótesis)? ¿Se determinaron indicadores para medir los progresos, particularmente indicadores “inteligentes” (específicos, mensurables, exactos, ajustados a la realidad y oportunos)?

5-14


5.8

Octubre de 2002

Planificar una autoevaluación

La autoevaluación es una evaluación realizada por los propios responsables de ejecución del proyecto, con o sin ayuda externa. La autoevaluación debería convertirse en parte integrante de las operaciones de las Sociedades Nacionales y solicitarse antes de la preparación de una nueva fase o como autoevaluación de cierre al final de una operación.

5-15


5.9

Octubre de 2002

La autoevaluación de la Sociedad Nacional forma parte del proceso de seguimiento

El marco que se expone a continuación para la distribución y seguimiento del documento Autoevaluación del funcionamiento de la Sociedad Nacional se basa en las opiniones recibidas en torno al proceso de autoevaluación llevado a cabo en los años 2000 y 2001 y en las enseñanzas extraídas del mismo.

5.9.1 Objetivos de la autoevaluación y marco operativo Contexto La Estrategia 2010 solicita que se establezcan mecanismos para permitir a los órganos de gobierno de la Federación Internacional examinar activamente la condición de sus miembros, prestando al mismo tiempo un adecuado apoyo a las Sociedades Nacionales con miras al logro de las Características de una Sociedad Nacional que funciona bien. Para favorecer esta prioridad, en noviembre de 2000 la Junta de Gobierno aprobó el documento Autoevaluación de las Sociedades Nacionales (a partir de 2001 Autoevaluación del funcionamiento de la Sociedad Nacional) como un instrumento institucional y un proceso destinado a supervisar el rendimiento y la integridad de las Sociedades Nacionales. Se encomendó a la Secretaría que desarrollara dicho instrumento y lo suministrara a todos los miembros de la Federación de manera escalonada durante un período de 3 años. En su reunión de noviembre de 2001, la Junta de Gobierno exhortó, además, a las Sociedades Nacionales a que completaran el proceso de autoevaluación con la preparación de un plan de acción. La Junta de Gobierno solicitó al Secretario General de la Federación que preste apoyo constante a fin de ayudar a las Sociedades Nacionales a llevar a la práctica esos planes y que la informe sobre el progreso de cada una de las Sociedades Nacionales en este ámbito.

Objetivos Los objetivos del programa de autoevaluación son: Ayudar a las Sociedades Nacionales individualmente a determinar sus puntos fuertes y deficiencias, demostrando su compromiso por el cambio y estableciendo prioridades de acuerdo con la Estrategia 2010 a fin de cumplir mejor su misión de mejorar la vida de las personas vulnerables. Apoyar a la Junta de Gobierno de la Federación en la formulación de políticas y estrategias facilitando los medios para examinar anualmente el rendimiento de los miembros en relación con las Características de una Sociedad Nacional que funciona bien. Contribuir al aprendizaje organizacional intercambiando datos de referencia de las Sociedades Nacionales y ejemplos de prácticas recomendadas. Permitir a las Sociedades Nacionales miembros comparar el estado de su Sociedad con respecto a las tendencias mundiales del Movimiento, sean éstas temáticas o geográficas. Movilizar el apoyo de la Federación y externo hacia las Sociedades Nacionales intercambiando los resultados de la autoevaluación.

Instrumento El instrumento esencial de la autoevaluación de las Sociedades Nacionales es un cuestionario elaborado, y actualizado según procede, 1 por el Departamento de Seguimiento y Evaluación en 1

La última revision del cuestionario tuvo lugar en abril de 2002 sobre la base de las lecciones aprendidas y los comentarios obtenidos de las autoevaluaciones correspondientes a la fase de 2001.

5-16


Octubre de 2002

consulta con los departamentos de la Secretaría y las Delegaciones Regionales. Este cuestionario (Autoevaluación del funcionamiento de la Sociedad Nacional) contiene los indicadores clave para medir los progresos encaminados a lograr las características de una Sociedad Nacional que funciona bien en el marco de la Estrategia 2010. Se ha efectuado un amplio proceso de consulta con el fin de garantizar su pertinencia y utilidad en todas las Sociedades Nacionales miembros de la Federación. Además del cuestionario esencial arriba mencionado, una Delegación Regional o un Departamento de la Secretaría, en consulta con el Departamento de Seguimiento y Evaluación, puede proponer, elaborar y distribuir otros módulos de cuestionario con indicadores específicos de región/sector.

Marco operativo El marco operativo descrito a continuación, destinado a la distribución y al seguimiento del cuestionario Autoevaluación del funcionamiento de la Sociedad Nacional, se funda en la experiencia adquirida en las fases piloto y en curso de autoevaluación, así como en los comentarios formulados en relación con la misma.2 Incorpora cambios operacionales para llevar a la práctica las decisiones de la Junta de Gobierno. I.

2

Distribución del cuestionario A.

La distribución del cuestionario a las 178 Sociedades Nacionales se realiza de forma escalonada durante un plazo de 3 años (2001-2003). Además de las 15 Sociedades Nacionales que se ofrecieron voluntariamente para participar en la fase piloto del proceso de autoevaluación, se seleccionaron 40 Sociedades Nacionales (8 de cada región del mundo) para el primer ciclo del programa de autoevaluación en 2001. En 2002 se incluyeron en el proceso 60 Sociedades Nacionales más, y todas las Sociedades Nacionales restantes serán invitadas a participar en la fase de 2003.

B.

Una vez finalizado el ciclo de tres años, el ejercicio de autoevaluación se repetirá a intervalos oportunos a fin de captar las tendencias en el tiempo.

C.

La lista de Sociedades Nacionales a las que deberá distribuirse el cuestionario cada año la elaboran los departamentos regionales de acuerdo con las recomendaciones obtenidas del terreno. En el proceso de selección se considerarán especialmente las comparaciones con ejemplos de estrategias de cooperación de la “nueva generación”.

D.

El cuestionario se remite a las Sociedades Nacionales seleccionadas en el primer trimestre del año, junto con una carta del director de la División de Seguimiento y Evaluación y, según proceda, se envía una copia al departamento regional y Delegación Regional correspondientes, así como a la Delegación/oficina en el país.

E.

A fin de garantizar la exactitud y pertinencia de las respuestas, deberán mantenerse consultas, en la Sociedad Nacional, entre los dirigentes y el personal/voluntarios sobre los diversos ámbitos abordados en el cuestionario. Rogamos consúltese el Marco Operativo para la Autoevaluación de las Sociedades Nacionales (Recapitulación de las actividades de la Sociedad Nacional).

F.

La Delegación Regional (con la ayuda de la Delegación/oficina en el país cuando sea necesario) es responsable de supervisar adecuadamente, con las Sociedades

En septiembre de 2001 se distribuyó un borrador anterior del marco operativo a todos los Departamentos de la Secretaría y a todos los jefes de Delegaciones Regionales y de Delegaciones de países a fin de recibir sus opiniones. Éstas han sido examinadas y en la presente versión se han incorporado, en la medida de los posible, las sugerencias recibidas. El presente marco se irá actualizando para reflejar las lecciones aprendidas y experiencias adquiridas sobre el terreno.

5-17


Octubre de 2002

Nacionales, la cumplimentación del cuestionario y de remitirlo (junto con todo tipo de material adicional a entregar) al Departamento de Seguimiento y Evaluación. La Delegación Regional deberá retener una copia del cuestionario cumplimentado y del material adicional para su consulta y para el seguimiento de cada una de las autoevaluaciones realizadas en la región correspondiente. II.

Análisis de datos e informe sobre las tendencias A.

El Departamento de Seguimiento y Evaluación analiza todas las respuestas recibidas dentro del plazo fijado y prepara un análisis de las tendencias sobre las Sociedades Nacionales para incluirlo en el informe anual que ha de presentar a la Junta de Gobierno y en el informe bianual dirigido a la Asamblea General de la Federación.3 Este informe permite elaborar un perfil de las Sociedades Nacionales en ámbitos esenciales, como la función de gobierno, las bases jurídicas y de recursos, la elaboración de programas y los mecanismos para el propio seguimiento.

B.

En las secciones del cuestionario en que las respuestas son incompletas o imprecisas, se solicitará a la Delegación Regional/en el país que coopere con el Departamento de Seguimiento y Evaluación para esclarecerlas de forma adecuada para posibilitar el análisis de las tendencias.

C.

El informe sobre las tendencias se basará en ejemplos disponibles de Sociedades Nacionales que participen en la autoevaluación y, con el tiempo, abarcará a todas las Sociedades Nacionales. Las tendencias en el tiempo se registrarán después de que el proceso se haya repetido a intervalos adecuados para las Sociedades Nacionales.

D.

El Departamento de Evaluación desarrollará su base informatizada de datos relativa a las respuestas del cuestionario para proporcionar acceso a los departamentos de la Secretaría con el fin de favorecer el intercambio de datos de referencia e información cualitativa procedente de la autoevaluación.4

III. Seguimiento regional de la autoevaluación A.

La Delegación Regional/en el país responsable de la Sociedad Nacional en cuestión realiza un seguimiento individual de la autoevaluación correspondiente. En el caso de ser la Delegación en el país la que dirija el seguimiento, este hecho deberá acordarse claramente entre la Delegación en el país y la Delegación Regional y notificarse al Departamento de Seguimiento y Evaluación. A la Delegación Regional le incumbe garantizar que la Delegación en el país realice puntualmente el seguimiento de la autoevaluación.

B.

En consulta con la Delegación Regional/en el país, departamento regional y otros departamentos pertinentes de la Secretaría, como el Departamento de Desarrollo Organizacional, el de Apoyo a los Órganos de Gobierno y Asuntos Jurídicos y el de Coordinación, el Departamento de Seguimiento y Evaluación prepara un documento sobre los resultados preliminares de la autoevaluación, que favorecerá el proceso de planificación en las Sociedades Nacionales y la Federación así como a todas las estrategias de cooperación relacionadas con la Sociedad Nacional. Teniendo en cuenta la importancia de que la Sociedad Nacional se identifique con este informe, el

3

El informe más reciente es el Informe sobre la Autoevaluación de las Sociedades Nacionales 2002. Pueden pedirse ejemplares al Departamento de Seguimiento y Evaluación.

4

En abril de 2002, se puso a prueba una base de datos con funciones de búsqueda y acceso; no se dispone aún de la función de búsqueda solamente.

5-18


Octubre de 2002

documento deberá basarse en las respuestas dadas por la Sociedad Nacional en el cuestionario, el material presentado y en otras aclaraciones y comentarios. C.

El informe de autoevaluación deberá contener, básicamente:

a) Resultados preliminares de la autoevaluación, preparados por el Departamento de Seguimiento y Evaluación, que se compartirán con la Sociedad Nacional vía Delegación Regional/en el país o departamento regional para comentarlos más detalladamente. Aunque los resultados preliminares deberán basarse en las respuestas dadas por la Sociedad Nacional al cuestionario, la Delegación y el departamento regional pueden aprovechar sus conocimientos del contexto de la Sociedad Nacional y del contexto regional para decidir a qué cuestiones de las tratadas en la autoevaluación debe prestarse especial atención. Además de destacar los principales resultados de la autoevaluación, el documento deberá determinar qué otras verificaciones/aclaraciones respecto a la Sociedad Nacional son necesarias sobre cuestiones específicas, así como sugerir ámbitos de acción potenciales o prioritarios para la Sociedad Nacional. Los resultados preliminares deberán prepararse en el idioma oficial de la Federación utilizado por la Sociedad Nacional. b) Comentarios y plan de acción, por escrito, de la Sociedad Nacional que contengan aclaraciones/confirmaciones relativas a los resultados preliminares y que destaquen las acciones decididas o emprendidas entretanto por la Sociedad Nacional para abordar los resultados claves; los comentarios deberán identificar además ámbitos potenciales para el apoyo de la Federación o externo. Un plan de acción, como instrumento para el seguimiento de los resultados de la autoevaluación, deberá incluir los objetivos y plazos especificados, así como personas/departamentos de la Sociedad Nacional responsables al respecto. La Delegación Regional deberá determinar a un coordinador para cada seguimiento.

IV.

D.

Se hace hincapié en que toda referencia a cuestiones de integridad en los resultados preliminares y en el informe final deberá limitarse estrictamente a la información que de sí misma presenta la Sociedad Nacional en el cuestionario. Las delegaciones conscientes de cuestiones importantes de integridad no reflejadas en el cuestionario, deberán informar a la Secretaría al respecto a través del Responsable de Área o jefe del departamento regional para que puedan determinarse las acciones de seguimiento apropiadas.5

E.

Una vez finalizado el plan, deberá ser aprobado por la Sociedad Nacional y enviado al departamento regional y al Departamento de Seguimiento y Evaluación. La Sociedad Nacional deberá presentar dentro de un plazo razonable un informe sobre los progresos hechos en la aplicación del plan de acción. El Secretario General se encargará de someter este informe a la Junta de Gobierno en su reunión siguiente, junto con un informe sobre los progresos hechos por la Federación en su tarea de respaldar la autoevaluación de las Sociedades Nacionales y las necesidades determinadas en concordancia con la Estrategia 2010.

Apoyo de la Federación y externo a las Sociedades Nacionales A.

5

Se requiere un apoyo sistemático de la Secretaría, las Sociedades Nacionales hermanas y los asociados externos para asistir a las Sociedades Nacionales en la tarea de abordar las áreas/acciones prioritarias en materia de fortalecimiento de la capacidad en los casos determinados en sus informes de autoevaluación. Para la Secretaría, ello forma parte de su compromiso más amplio de ayudar a las Sociedades Nacionales a lograr, a largo plazo, las características de una Sociedad Nacional que

Véase el documento de la Federación Dealing with National Society Integrity Issues, elaborado por la División de Seguimiento y Evluación (2001). Para obtener copias del mismo, póngase en contacto con Joyce Duffuor en [email protected]

5-19


Octubre de 2002

funciona bien, al mismo tiempo que intenta reformular las normas mínimas en consulta con las Sociedades. B.

A tal finalidad, se harán circular entre los departamentos de la Secretaría copias de los informes de autoevaluación de cada una de las Sociedades Nacionales, como una de las contribuciones a los actuales procesos de apoyo al fortalecimiento de la capacidad de las Sociedades Nacionales. Ello incluye un análisis de los procesos de desarrollo organizacional y de revisión de los estatutos de las Sociedades Nacionales, así como una contribución a los procesos de cooperación y coordinación. Tal como se expone en el Marco de Referencia para el Fortalecimiento de la Capacidad de las Sociedades Nacionales,6 el proceso de autoevaluación proporciona información complementaria útil para el desarrollo organizacional de la Sociedad Nacional y, en algunos casos, contribuye a activar un proceso de desarrollo organizacional de mayor alcance.

C.

Las Sociedades Nacionales, por su parte, deberán integrar en su planificación estratégica las áreas/acciones prioritarias determinadas en el plan de acción establecido tras la autoevaluación. Cuando se ha emprendido o previsto la formulación/actualización de un plan estratégico/de desarrollo de una Sociedad Nacional, las áreas/acciones prioritarias establecidas por la Sociedad Nacional en su autoevaluación deberán incluirse en el plan nuevo/revisado con la asistencia de la Delegación Regional/en el país. Un plan estratégico/de desarrollo de la Sociedad Nacional actualizado y pertinente es uno de los requisitos previos para iniciar el proceso de estrategias de cooperación (CAS) con las Sociedades Nacionales en la actual ronda de las estrategias de cooperación de la “nueva generación”.7 De este modo, el proceso de autoevaluación sustenta el proceso CAS.

D.

En su planificación de actividades con las Sociedades Nacionales, los departamentos regionales y las Delegaciones Regionales/en el país, por su parte, deberán tener en cuenta las áreas prioritarias identificadas en consonancia con la Estrategia 2010 en los informes de autoevaluación. Las prioridades acordadas se incorporarán en el proceso de llamamiento anual de la Federación a nivel regional y nacional.

E.

La responsabilidad de llevar a la práctica el plan de acción elaborado tras la autoevaluación corresponde, en último término, a la Sociedad Nacional, con acceso reservado para los departamentos de la Secretaría y delegaciones. Si bien deberá alentarse a las Sociedades Nacionales a intercambiar sus planes de acción con las Sociedades hermanas/participantes, el CICR y asociados externos a la Cruz Roja para movilizar apoyo técnico y financiero, es necesario obtener el consentimiento expreso de la Sociedad Nacional para difundir los planes fuera de la Secretaría.8

6

Pueden solicitarse ejemplares al Departamento de Desarrollo Organizacional.

7

Para más información sobre el proceso CAS, consulte el sitio Web de las estrategias de cooperación: http://quickplace.ifrc.org/cas.

8

Los asociados externos interesados en examinar el informe se deberán poner en contacto directamente con la Sociedad Nacional.

5-20


Octubre de 2002

ENSEÑANZAS EXTRAÍDAS DEL MÓDULO 5 CARACTERÍSTICAS DE LA EVALUACIÓN • • • • •

LAS EVALUACIONES DEBEN SER ÚTILES Y DEBEN UTILIZARSE LAS EVALUACIONES DEBEN SER JUSTAS, IMPARCIALES E INDEPENDIENTES LAS EVALACUIONES DEBEN SER EXACTAS LAS EVALUACIONES DEBEN INCLUIR EL PUNTO DE VISTA DE LOS BENEFICIARIOS LOS CRITERIOS DE EVALUACIÓN SON CONSTANTES, AUNQUE EL ENFOQUE DE LA EVALUACIÓN PUEDE CAMBIAR

5-21

Módulo 6: Etapas en la planificación y gestión de una evaluación

6.

Octubre de 2002

Etapas en la planificación y gestión de una evaluación

Las evaluaciones en las que participan asesores externos pueden estar gestionadas por las Sociedades Nacionales o la División de Seguimiento y Evaluación. Las normas de actuación reflejadas en el marco para el seguimiento y evaluación proporcionan más información acerca de quién gestiona qué tipo de evaluación. Tanto cuando es la Sociedad Nacional la encargada de hacerlo, como cuando lo es la División de Seguimiento y Evaluación, el ciclo de la evaluación, expuesto en la siguiente tabla, es muy similar. Dependiendo de quién se encuentre en el “asiento del conductor”, puede variar quién asume la responsabilidad en relación con las diferentes tareas.

Tabla 6.1: El ciclo de la evaluación: Nueve etapas en la planificación y gestión de una evaluación

Etapas y subetapas de la evaluación

Quién es responsable Evaluaciones gestionadas por la Sociedad Nacional

Aclarar/acordar la necesidad de realizar una evaluación Determinar el propósito de la evaluación: ¿Por qué es necesaria? Consultar con las partes pertinentes de la Federación y de las Sociedades Nacionales (p. ej. División de Seguimiento y Evaluación, oficinas regionales) y con las partes interesadas que corresponda. Determinar las cuestiones que van a evaluarse y, si se requiriera, preparar un borrador (sólo División de Seguimiento y Evaluación). Determinar fuentes de financiación y solicitar las aprobaciones necesarias. Planificación de la evaluación Elaborar un calendario para el proceso de evaluación en su conjunto. Preparación de los términos de referencia Revisar las fuentes de información (p. ej. archivos y documentos de proyectos, Sistema de Memoria de Evaluación). Consultar a las partes interesadas pertinentes y determinar alcance, cuestiones claves y plazos. Preparar los términos de referencia y enviarlos a las principales partes interesadas a fin de conocer su opinión al respecto. Elaborar el calendario para la evaluación (en caso de no haberlo hecho anteriormente). Selección del equipo de evaluación Estudiar posibles candidatos y elaborar una lista de los mismos. Seleccionar los miembros del equipo de evaluación. Organizar contrato(s) para los miembros del equipo de evaluación. Estudio teórico (previo a la misión) Enviar al equipo de evaluación material pertinente de referencia. Revisión, por parte del equipo de evaluación, de los documentos de referencia. Envío de comentarios acerca de los términos de referencia y elaboración de un borrador del método de evaluación por parte del jefe del equipo de evaluación. Ejecución de la misión de evaluación Previamente a la llegada del equipo de evaluación al país: Organizar reuniones y taller de información de retorno. Organizar, provisionalmente, visitas al terreno y consultas con los beneficiarios. Informar a las partes interesadas acerca de detalles pertinentes relativos a la próxima evaluación. Preparar archivos y documentación para el equipo de evaluación. Asegurar disponibilidad del informe actualizado de autoevaluación.

Sociedad Nacional

Sociedad Nacional Sociedad Nacional

Evaluaciones gestionadas por la División de Seguimiento y Evaluación Responsable de evaluación

Responsable de evaluación Responsable de evaluación

Sociedad Nacional

Responsable de evaluación

Sociedad Nacional y equipo de evaluación

Responsable de evaluación y equipo de evaluación

Sociedad Nacional

Sociedad Nacional

6-1


Etapas y subetapas de la evaluación

Octubre de 2002

Quién es responsable Evaluaciones gestionadas por la Sociedad Nacional

Durante la misión de evaluación: Comenzar con la celebración de un taller de medio día de duración en el que participen la Sociedad Nacional y otras partes interesadas y cuyo fin sea aclarar y, si así se requiriera, modificar los términos de referencia, discutir la metodología, y examinar y acordar/modificar el itinerario. Asignar las responsabilidades en el equipo de evaluación. Recopilar y analizar información. Consultar a las partes interesadas. Taller(es) de información de retorno. Preparar y presentar un informe de misión. Preparación del informe de evaluación Elaborar hallazgos, conclusiones, recomendaciones y enseñanzas extraídas. Preparar el informe de evaluación (incluido resumen). Preparar el informe resumido de evaluación (máximo de 5.000 palabras). Revisión del informe de evaluación Revisar el borrador de informe de evaluación y hacer comentarios al respecto para el equipo de evaluación. Revisar y comentar el borrador de informe resumido. Aprobar borradores definitivos y remunerar al equipo.

Jefe del equipo de evaluación y equipo de evaluación

Evaluaciones gestionadas por la División de Seguimiento y Evaluación Jefe del equipo de evaluación y equipo de evaluación



Sociedad Nacional con insumos del gobierno y de asociados internacionales

Difusión de la evaluación Difundir el informe completo o resumido a las partes interesadas. Poner en práctica las recomendaciones de la evaluación y/o realizar un seguimiento de las mismas. Difundir enseñanzas importantes (p. ej. preparar una página Web con enseñanzas o transmitir las mismas en ejercicios y en debates pertinentes sobre política dentro de la organización).

Sociedad Nacional

Responsable de evaluación con insumos de la Sociedad Nacional, oficina regional y las unidades técnicas pertinentes de la sede central. Responsable de evaluación

6-2


6.1

Octubre de 2002

Etapa 1 – Aclaración/acuerdo sobre la necesidad de realizar una evaluación

6.1.1 Propósito de la evaluación Normalmente, las evaluaciones deberán haberse programado y presupuestado durante el diseño del proyecto y deberán estar reflejadas en el plan de trabajo para el seguimiento y evaluación. No obstante, es importante volver a examinar la lógica subyacente a la evaluación, a fin de aclarar por qué se realiza, las cuestiones que se abordarán y si el costo estará justificado. También puede ocurrir que los órganos de gestión programen una evaluación con carácter especial o a solicitud de la Junta de Gobierno cuando existan motivos para pensar que resultaría útil y serviría para rendir cuentas.

6.1.2 Consultas Es esencial consultar al principio a las partes interesadas y discutir la función que desempeñarán en la evaluación. Su participación puede adquirir diferentes formas: comentario de los términos de referencia, participación como miembros de una misión, participación en la recopilación y análisis de datos, o revisión y comentario del informe de evaluación. Las partes interesadas relacionadas con la Federación y las Sociedades Nacionales pueden proceder de uno de los grupos expuestos a continuación: • Personal a tiempo completo o contratado temporalmente de la Federación y las Sociedades Nacionales. • Asociados del ámbito del desarrollo en el nivel nacional, tales como ministerios, organismos de las Naciones Unidas, donantes multilaterales y bilaterales, y otras ONG presentes en el país. • Asociados institucionales implicados en actividades de la Federación y de las Sociedades Nacionales. • Participantes y beneficiarios de actividades de la Federación y de Sociedades Nacionales. En algunas evaluaciones puede resultar útil establecer un pequeño grupo de trabajo de partes interesadas claves de las reflejadas anteriormente. La función del grupo de trabajo consistiría en asistir en la preparación de los términos de referencia y en brindar apoyo a la misión de evaluación. La experiencia ha enseñado que un enfoque de este tipo favorece enormemente que las partes interesadas se identifiquen con los hallazgos de la evaluación, incrementándose así la probabilidad de que se actúe de acuerdo con las recomendaciones.

6.1.3 Cuestiones a evaluar Se deberá revisar la documentación disponible (documentos relacionados con el diseño, informes de seguimiento, archivos de correspondencia, etc.), tanto como investigación de referencia para la preparación de los términos de referencia como para determinar qué documentos deberán proporcionarse al equipo de evaluación para la realización del estudio teórico. Este es el punto en el cual usted descubrirá si su sistema de archivos es eficaz – es vital disponer de pruebas documentales claras a fin de poder realizar un seguimiento de los acontecimientos que hayan tenido lugar durante el diseño y ejecución de la operación. Puede resultar útil preparar un borrador como base de discusión tanto dentro de la Federación y las Sociedades Nacionales como con las partes interesadas, para facilitar la toma de la decisión de seguir o no adelante. Los aspectos que podrían incluirse en el borrador son: • ¿Por qué es necesaria la evaluación (p. ej., ¿es obligatoria?) y quién la solicita (la Sociedad Nacional o la División de Seguimiento y Evaluación)? • ¿Quiénes son las partes interesadas (p. ej. organismo asociado, gobierno, donantes)?

6-3


• • • •

Octubre de 2002

Plazos propuestos para la evaluación. Alcance de la evaluación y cuestiones claves a examinar. Estrategia de evaluación y métodos que se van a aplicar. ¿Quién realizará la evaluación?

La preparación de un borrador es una tarea habitual en las evaluaciones llevadas a cabo por la División de Seguimiento y Evaluación. El borrador difiere de los términos de referencia que se elaborarán finalmente en que su principal propósito es establecer, en las primeras fases, la lógica subyacente a la planificación y realización de la evaluación. También puede servir como documento de negociación inicial entre la División de Seguimiento y Evaluación y las Sociedades Nacionales, exponiendo expectativas y requisitos.

6.1.4 Fuentes de financiación Otro aspecto importante consiste en aclarar de qué fondos se dispone para llevar a cabo la evaluación, si son necesarios fondos adicionales y de dónde podrían obtenerse. Esto destaca la necesidad de, en el caso ideal, programar a tiempo la evaluación y asignar, en el documento de aprobación de la operación, un destino fijo a los fondos en la evaluación.

6-4


6.2

Octubre de 2002

Etapa 2 – Planificación de la evaluación

6.2.1 Planificación de la evaluación Una vez tomada la decisión de que se realizará la evaluación, es importante que el jefe de evaluación prepare un calendario para su ejecución. Es frecuente que se subestime el tiempo necesario para preparar y llevar a cabo una evaluación. Deberá disponerse de tiempo suficiente para prepararla y para asegurar la disponibilidad de asesores apropiados. En este punto deberán elaborarse un calendario de evaluación y una lista de verificación para la planificación provisionales, que se modificarán y actualizarán a lo largo del ejercicio de evaluación. Tabla 6.2: Calendario de evaluación y lista de verificación Tarea de evaluación

¿Cuándo? (introducir fechas reales)

¿Durante cuánto tiempo?

¿Quién?

Términos de referencia elaborados

Lo antes posible pero durante los 3 meses anteriores a la misión Véase más arriba

1 semana

Jefe de evaluación

2 semanas

Equipo seleccionado

Véase más arriba

Hasta 4 semanas

Partes interesadas claves (p. ej. órganos de gestión de las Sociedades Nacionales, gobierno, asociados) Jefe de evaluación

Equipo contratado

Lo antes posible pero durante las 3 semanas anteriores a la misión Si no se ha realizado durante la elaboración de los términos de referencia, se realiza en este momento Aproximadamente 1 mes antes de la misión Al menos 2 semanas antes de la sesión de información Tras acordar el método con el jefe del equipo de evaluación Organización con 10 días de antelación. De forma ideal jueves/viernes antes del inicio de la misión en el país. Según lo acordado

2-3 semanas

Responsable de Recursos Humanos

1 semana

Jefe de evaluación y Sociedad Nacional

3-5 días

Equipo de evaluación

no interesa

Jefe del equipo de evaluación Sociedad Nacional

Términos de referencia revisados y consultas a las partes interesadas finalizadas

Material de referencia recopilado y enviado a la División de Seguimiento y Evaluación o al equipo de evaluación Estudio teórico elaborado Método de evaluación esbozado Borrador de itinerario propuesto y acordado Sesión de información en sede central/oficina regional organizada y celebrada Misión en el país

1 semana (depende de logística) 1-2 días

Según términos de referencia ½ día

Informe de misión presentado

Preparación 2 semanas antes de su celebración (primer día de trabajo) Preparación de 2-3 semanas antes de su celebración (finales de la última semana) Último día

Borrador de informe recibido (incluido resumen)

3 semanas tras partida del equipo de evaluación

10 días para el jefe del equipo, 5 días por miembro de equipo 2 semanas

Sesión inicial de información preparada y organizada Taller de información de retorno preparado y organizado

Borrador de informe revisado y comentado Comentarios incorporados e informe concluido Matriz de recomendaciones preparada y negociada Informe difundido

Tras aprobación del borrador de informe

Jefe de evaluación de la División de Seguimiento y Evaluación Equipo de evaluación, Sociedad Nacional Equipo de evaluación, Sociedad Nacional

½–1 día

Equipo de evaluación y otros

Depende de si una o varias reuniones

Equipo de evaluación, Sociedad Nacional, gobierno Jefe del equipo de evaluación y el propio equipo

depende

¿Realizado ?

Jefe de evaluación y partes interesadas claves pertinentes Jefe del equipo Jefe de evaluación junto con unidades implicadas Jefe de evaluación

6-5


6.3

Octubre de 2002

Etapa 3 – Preparación de los términos de referencia de la evaluación

Los términos de referencia reflejan el plan de trabajo para llevar a cabo una evaluación o el alcance de la misma. Disponer de buenos términos de referencia es esencial para que el proceso de evaluación sea exitoso y se oriente a la consecución de resultados. De forma ideal, los términos de referencia no sólo sirven para orientar con claridad al equipo de evaluación, sino que también destacan las expectativas de diferentes partes interesadas en cuanto a los resultados que se espera obtener de la evaluación. Los siguientes son importantes principios a tomar en consideración en relación con los términos de referencia:

•

Los términos de referencia son negociables – Una vez que se reúne el equipo de evaluación (generalmente durante la sesión inicial de información), los términos de referencia deben discutirse detalladamente a fin de asegurar que los responsables de gestión de la evaluación y el equipo de evaluación entiendan de una misma manera el propósito de la evaluación así como la forma de ejecutarla y los resultados que se prevén obtener. En este punto deben discutirse todas las cuestiones a evaluar que el equipo considere no poder abarcar, y deberá tomarse una decisión al respecto. Tras esta discusión, los términos de referencia podrán modificarse y serán aprobados como términos de referencia definitivos. La cuestión de que los términos de referencia sean negociables adquiere particular importancia en el caso de operaciones de emergencia y en algunas de desarrollo. La experiencia enseña que algunas de las cuestiones que surgen con posterioridad no son aparentes al principio del proceso. Por lo tanto, podría resultar práctico considerar la realización de algún tipo de estudio preliminar – para que el organismo ejecutor lleve a cabo su propia autoevaluación rápida, o para que el jefe de evaluación y el jefe del equipo de evaluación colaboren con la Sociedad Nacional en la determinación de cuestiones claves o en la incorporación de tiempo y recursos para posibilitar que el equipo de evaluación realice una visita preliminar para obtener datos básicos y determinar cuestiones claves. Los hallazgos obtenidos en el estudio preliminar servirían entonces de información en la etapa de la evaluación en la que se realiza el estudio teórico y posibilitarían modificar los términos de referencia de forma correspondiente antes de comenzar la fase principal de estudio sobre el terreno.

• Los términos de referencia deben discutirse con todas las partes interesadas – Durante la elaboración de los términos de referencia y la determinación de las cuestiones claves deberán considerarse los puntos de vista y expectativas de las partes interesadas claves. El borrador de términos de referencia deberá intercambiarse y discutirse con los asociados ejecutores y donantes. De forma ideal, también deberá consultarse a representantes de los beneficiarios en cuanto a las cuestiones claves a evaluar. Las consultas podrían organizarlas la Federación y las Sociedades Nacionales. Como en todas las evaluaciones, se deberá informar con antelación a los informantes claves acerca de la llegada inminente del equipo de evaluación, los objetivos y alcance de la evaluación, y las probables necesidades de información. Se deberá avisar con antelación suficiente para que los organismos ejecutores puedan compilar archivos y documentación pertinentes antes de la llegada del equipo de evaluación. Los términos de referencia de una evaluación deben incluir los elementos reflejados en la tabla 6.3. En el anexo 1 se incluye un ejemplo de términos de referencia. Pueden solicitarse otros ejemplos de términos de referencia a la División de Seguimiento y Evaluación.

6-6


Octubre de 2002

Tabla 6.3: Estructura general de los términos de referencia para una evaluación Estructura Antecedentes del proyecto

Estado del proyecto Propósito y alcance de la evaluación Cuestiones claves Método Composición del equipo Calendario y logística Informe de evaluación

Contenido Antecedentes de la evaluación, explicando su origen y propósito en términos generales. Descripción bien fundada de los antecedentes del proyecto, operación o tema a evaluar. Estado actual de la ejecución. Declaración clara sobre los objetivos y alcance de la evaluación. Cuestiones claves que abarcará la evaluación. Método(s) de evaluación a utilizar. Identificación de informes existentes e información sobre el rendimiento. Características y composición de expertos necesarios. Borrador del itinerario y requisitos de logística Orientación relativa al informe previsto.

Revisión de todas las fuentes de información disponibles Antes de esbozar los términos de referencia, se considera buena práctica revisar toda la documentación disponible: documentos del proyecto, informes de situación, informes de evaluación. La Active Learning Network for Accountability and Performance (ALNAP) proporciona información para realizar metaevaluaciones, y la mayoría de los donantes presenta sus evaluaciones en Internet. Esto le posibilitará examinar informes de evaluaciones previas llevadas a cabo en el país, así como buscar experiencias y cuestiones claves de evaluación pertinentes de evaluaciones similares realizadas en otros lugares. Consultar a las partes interesadas Para planificar una evaluación se requiere poseer facilidad para negociar, tanto como buenos conocimientos acerca de cómo diseñar la misma. En las primeras fases de la planificación de una evaluación, el jefe de evaluación debe determinar las partes interesadas claves para la evaluación y cuáles de ellas deberán consultarse para fijar los objetivos de la evaluación. En las consultas a las partes interesadas podrían incluirse, p. ej., los responsables de formulación de políticas del gobierno, personal de los asociados, principales asociados ejecutores, empleados en el nivel de distrito, donantes, organismos de las Naciones Unidas, representantes de beneficiarios, etc. Las partes interesadas deben estar convencidas de la utilidad de la evaluación y de la lógica subyacente a la misma. Consultándoles en relación con los objetivos y las cuestiones claves de la evaluación, es posible lograr que se identifiquen con el proceso de evaluación, requisito fundamental para que posteriormente acepten los hallazgos y recomendaciones derivados de la misma. Determinación de los objetivos y alcance de la evaluación Dadas la complejidad e interconexión inherentes a las intervenciones humanitarias, existe el peligro de que en el establecimiento de los objetivos de una evaluación (especialmente en el caso de las evaluaciones llevadas a cabo en colaboración) se elabore una “lista de compra” de los mismos, sin considerar ningún tipo de prioridad. Para evitarlo, es importante facilitar el tiempo necesario para que los diferentes actores implicados debatan y negocien los objetivos de la evaluación. La posibilidad de negociar los términos de referencia durante las primeras etapas de la evaluación debería favorecer adicionalmente la determinación de los objetivos. Los términos de referencia deberán brindar orientación para centrar la evaluación y para establecer prioridades en los diferentes ámbitos y/o períodos de examen. P. ej., en la evaluación de una

6-7


Octubre de 2002

operación de desarrollo puede resultar conveniente especificar que la evaluación deberá centrarse inicialmente en la estrategia de recuperación, determinando cómo fue formulada esta estrategia, cómo ha ido evolucionando durante la vida de la operación y su pertinencia en relación con la situación actual. En el proceso de decidir el alcance de la evaluación de una operación de emergencia, el jefe de evaluación se ve enfrentado a diferentes posibilidades: • ¿Deberá centrarse la evaluación únicamente en la intervención de urgencia o deberá considerar también las actividades realizadas o que deberían haberse realizado antes de presentarse la emergencia (p. ej. planificación previa al desastre)? • En el caso de una emergencia prolongada, ¿deberá considerar la evaluación toda la duración de la emergencia o únicamente los períodos más recientes o graves de la misma? Preparación de las cuestiones claves El elemento más importante de los términos de referencia, y tal vez el más problemático de elaborar, es el capítulo en el que se presentan las cuestiones claves a examinar. En esencia, es un ejercicio de formulación de preguntas de evaluación frente a los criterios de evaluación aplicados. Tabla 6.4: Ejemplo de cuestiones a evaluar y preguntas al respecto • • • • •

• • • • •

• • • • • • •

• •

• •

Estrategia ¿Fue la estrategia adoptada la más pertinente y apropiada para hacer frente a las necesidades identificadas? ¿Se reflejaron adecuadamente las cuestiones de género en la estrategia? ¿Se consideraron otros posibles enfoques para alcanzar los objetivos? ¿Fue la estrategia coherente con las responsabilidades incluidas en el mandato fundamental de la Federación y las Sociedades Nacionales y con las políticas de las mismas? ¿Qué relación existió entre la ayuda de emergencia y otro tipo de asistencia prestada? ¿Estuvo bien preparada la estrategia y orientó adecuadamente a los responsables de ejecución? (Para el caso de operaciones de desarrollo) ¿Estimó la estrategia con exactitud las oportunidades para introducir actividades de recuperación? ¿Se diseñó una estrategia de salida? ¿Se incluyeron otros organismos en el análisis del problema y en el diseño de los planes de intervención? ¿Fueron incluidos adecuadamente los beneficiarios (hombres y mujeres) en el proceso de preparación? ¿Se determinaron adecuadamente desde el principio las restricciones para la ejecución? ¿Se ha revisado o modificado periódicamente la estrategia durante la vida de la operación a fin de mantener su pertinencia frente a las circunstancias cambiantes? Diseño ¿Fue lógico y coherente el diseño de la operación? ¿Proporcionó una buena orientación para la ejecución y sirvió de base fundada para la revisión y evaluación? ¿Se establecieron los objetivos en los niveles correctos (es decir, conforme con las definiciones de la matriz de planificación) y vínculos fundados “medios-fines” entre insumos, actividades, producto, propósito(s) y meta? ¿Fue factible desde el punto de vista técnico el diseño de la operación? ¿Se reflejaron adecuadamente los asuntos de género? ¿Estuvieron fundadas las hipótesis en el momento de su especificación y se elaboraron planes de emergencia relativos a los riesgos conocidos? ¿Qué factores externos no se consideraron durante el diseño? ¿Ha cambiado el contexto de la operación desde su inicio? En caso afirmativo, ¿se ha adaptado la operación eficazmente? Logro de objetivos ¿Son apropiados los objetivos? ¿Se ajustan a la realidad? ¿En qué grado se ha alcanzado el producto planificado en cuanto a cantidad, calidad, equidad y oportunidad? Para el caso de operaciones de emergencia y de desarrollo: ¿Han recibido los beneficiarios seleccionados las raciones planificadas? ¿Se han seleccionado los beneficiarios correctos? ¿Utilizaron los beneficiarios la ayuda de la forma prevista?

6-8


Octubre de 2002

•

Para operaciones de recuperación y actividades de desarrollo: ¿Mantuvieron o mejoraron los beneficiarios sus bases de subsistencia? ¿Qué activos se han creado/mantenido, y a quién han beneficiado y en qué manera? • ¿Cuáles fueron las actividades de recuperación más exitosas? ¿Y las menos exitosas? ¿Con qué eficacia se llevó a cabo la transición de las actividades de socorro a las de recuperación? ¿En qué grado ha contribuido la ayuda a promover el reasentamiento y la autosuficiencia alimentaria (donde proceda)? • ¿Ha alcanzado el producto a los más pobres? ¿A las mujeres? ¿A grupos vulnerables? ¿En qué grado? • ¿Qué proporción de mujeres y grupos vulnerables se ha beneficiado directamente del producto? • ¿Se utilizaron los recursos con eficacia y eficiencia? ¿Justifican los resultados los costos? • ¿Qué hechos demuestran que se han alcanzado el/los propósito(s) y meta indicados de la operación? • ¿Hasta qué punto han cumplido la Federación y las Sociedades Nacionales las responsabilidades incluidas en su mandato principal? • En el caso de tratarse de una evaluación intermedia – ¿qué medidas adicionales podrían ser necesarias para incrementar las posibilidades de alcanzar el propósito? Factores a considerar en la eficacia y eficiencia de operaciones de emergencia y de desarrollo • Registro/verificación • ¿Se recopilaron datos fiables y desglosados relativos a las poblaciones/grupos beneficiarios? ¿Se mantuvieron en buen estado los datos? • Estimaciones • ¿Cómo se estimó la situación inicial? ¿Cómo se estimaron la inseguridad alimentaria, vulnerabilidad y estado nutricional? ¿Se analizaron de forma adecuada las funciones desempeñadas por hombres y mujeres? ¿Se han realizado nuevas estimaciones periódicas? ¿Se han estimado las necesidades de las comunidades anfitrionas? • Distribución definitiva • ¿Fue eficiente y equitativo el sistema de distribución? ¿Fue transparente? ¿Se dispuso de un procedimiento para presentar reclamaciones? ¿Se abordaron bien los fallos en el sistema de distribución? • ¿Jugaron un papel director las mujeres en los comités locales de toma de decisiones relativas a la gestión de alimentos? En caso afirmativo, ¿hasta qué punto ha provocado este hecho un cambio en cuanto a la aceptación de mujeres en funciones directoras de toma de decisiones? Selección de beneficiarios • ¿Cómo se determinaron los grupos/ámbitos de beneficiarios? • ¿Se consideraron las necesidades especiales de determinados grupos/ámbitos? • ¿Se abordaron las necesidades de la comunidad anfitriona? • ¿Fueron adecuados los objetivos seleccionados? • ¿Se tomaron medidas para revisar y actualizar la estrategia de selección? • ¿Participaron hombres y mujeres beneficiarios en la negociación relativa a la condición de beneficiario? • ¿Cuál fue la proporción de hombres y mujeres beneficiarios participantes en “comida por trabajo”? Idoneidad de las raciones • ¿Fueron adecuadas y aceptables (cuantitativa y cualitativamente) la ración y cesta alimentarias? ¿Fueron afines a las bases de subsistencia y a las estrategias de hombres y mujeres para abordar problemas? • ¿Estuvieron ajustados a la realidad los objetivos nutricionales? ¿En qué grado se alcanzaron? • ¿Qué efecto/consecuencia en cuanto a la nutrición ha tenido la ayuda prestada por la Federación y las Sociedades Nacionales a los beneficiarios? • ¿Se han producido reducciones en la ración o interrupciones en la ayuda alimentaria? En caso afirmativo, ¿a razón de qué? • ¿Fue la ayuda alimentaria aceptable y apropiada desde el punto de vista cultural? Factores a considerar en la eficacia y eficiencia de TODAS las operaciones Ejecución • ¿Se produjeron retrasos significativos en la aprobación? ¿Cuáles fueron las causas? • ¿Estuvieron adaptados a la realidad el calendario de ejecución y las medidas de gestión (deberán incluir gestión financiera y sistemas de elaboración de presupuestos)? • ¿Se siguieron los planes? En caso negativo, ¿por qué no? • ¿Se cambiaron los objetivos durante la ejecución? ¿Por qué? ¿A razón de qué análisis o qué acontecimientos? • ¿Se produjeron retrasos en la ejecución? ¿Cómo se trataron los mismos? ¿Qué efecto tuvieron esos retrasos? • ¿Se gestionaron bien los riesgos y problemas?

6-9


Octubre de 2002

Seguimiento y notificación • ¿Se recopilaron datos de referencia y se determinaron indicadores apropiados al principio para medir los progresos y resultados? • ¿Funcionaron los sistemas de seguimiento – incluido el grado en que se incorporaron consideraciones de género en las medidas de seguimiento? ¿Se recopilaron datos desglosados por sexo de acuerdo con la política de la Federación y de las Sociedades Nacionales? • ¿Qué tipo de notificación se utilizará para la operación y con qué frecuencia se notificará, incluidos los diagnósticos participativos periódicos? ¿Se entregaron puntualmente los informes? ¿Estaban completos? ¿Qué problemas surgieron al respecto? ¿Se analiza y utiliza la información para tomar decisiones concernientes a la gestión de la operación? • (Para operaciones de desarrollo) ¿Se han establecido criterios para señalar cuándo pasar de las actividades de socorro a actividades de recuperación y de las actividades de recuperación a las de desarrollo? En caso afirmativo, ¿se están aplicando esos criterios eficazmente? Coordinación, asociaciones y participación de beneficiarios • ¿Fueron compatibles los objetivos y actividades con las políticas y programas del gobierno o gobiernos pertinentes? ¿Son solidarios los asociados de la Federación y las Sociedades Nacionales? • ¿Qué mecanismos se prepararon para coordinar las actividades con gobiernos, donantes, organismos de las Naciones Unidas, ONG, etc. y cómo fueron de eficaces? ¿Se distribuyeron exitosamente entre los asociados las responsabilidades en los diferentes sectores? • ¿Cumplieron los asociados ejecutores sus obligaciones contractuales? ¿Cómo se determinó su capacidad? ¿Qué capacitación de los asociados ha tenido lugar? ¿Ha existido una tendencia de acercamiento a utilizar asociados ejecutores locales o más bien de alejamiento al respecto? ¿Qué capacidad se ha dejado atrás? • ¿En qué forma han participado los beneficiarios en el diseño, ejecución y seguimiento de la operación? ¿Fue adecuada la organización al respecto? ¿Qué efecto tuvo la (no) participación de los beneficiarios? • ¿Promovió de alguna forma la autosuficiencia de hombres y mujeres? Relación con otros programas • ¿Son compatibles los objetivos y actividades de la operación/programa con los de otras operaciones ejecutadas actualmente por la Sociedad Nacional? ¿Son complementarios? Gestión, recursos humanos y capacitación • ¿Desempeñaron las Sociedades Nacionales y las unidades especializadas eficaz y eficientemente sus funciones? • ¿Poseía el personal la experiencia y conocimientos necesarios para llevar a cabo las actividades previstas? • ¿Existen deficiencias de personal o conocimientos? ¿Qué medidas se han tomado al respecto? • ¿Se han seguido procedimientos financieros y administrativos correctos? • ¿Existe un equilibrio entre el número de hombres y mujeres que forman parte del personal de la operación (tanto en la Federación como en las Sociedades Nacionales)? ¿Se ha impartido formación al personal acerca de cuestiones de género? ¿Aplica el personal en su trabajo los conocimientos adquiridos? Suministros pendientes de ser entregados a los almacenes, control de artículos de primera necesidad, logística • ¿Se han gestionado eficientemente los suministros pendientes de ser entregados a los almacenes? • Suministro y distribución de artículos de primera necesidad - ¿Qué dificultades y pérdidas se sufrieron? ¿Cómo se abordaron? • ¿Fue adecuada la planificación relativa a la logística, transporte, almacenamiento, empleo de personal y auditoría? ¿Cuáles fueron los principales problemas para el funcionamiento sin contratiempos de la operación/programa? • Para operaciones: ¿Cuál ha sido la importancia general de la “economía de guerra” y la contribución relativa a la misma por desviación de asistencia humanitaria o por el establecimiento de impuestos sobre la misma? ¿Qué medidas han tomado la Federación, las Sociedades Nacionales y los asociados para evitar o minimizar estos actos a través de la selección de canales de distribución particulares, de distribuciones supervisadas y del seguimiento de la utilización final de los recursos? Seguridad • ¿Se han adoptado y observado medidas suficientes y apropiadas a fin de minimizar el riesgo al que se enfrenta el personal de la Federación, las Sociedades Nacionales y los asociados ejecutores implicados en la ejecución de la operación o programa? • ¿Se han adoptado medidas, en caso necesario, para proteger a los hombres, mujeres y niños afectados que participan en la operación? • ¿Existen problemas significativos de seguridad para el funcionamiento sin contratiempos de la operación/programa? ¿Se consideró asunto altamente prioritario la seguridad de los beneficiarios?

6-10


Octubre de 2002

Presupuesto y recursos • Costos de la operación - ¿Cuáles fueron los gastos reales frente a los planificados para la operación en su conjunto y para los principales apartados de costos? • ¿Fue apropiado el presupuesto en relación con los objetivos/actividades? ¿Qué factores afectaron a las diferentes partidas del presupuesto? • Transporte interno, almacenaje y manejo - ¿Cómo se financiaron? ¿Fueron adecuadas las tasas calculadas? ¿Qué revisiones hubo que realizar? • ¿En qué grado se han satisfecho los requisitos de recursos para la operación? ¿Cómo ha gestionado la Sociedad Nacional los déficit? ¿Con qué previsión y periodicidad se han suministrado los recursos a la operación/programa? • Monetización - ¿Estuvo justificada? ¿Fueron justos los precios? • (Para operaciones de desarrollo) ¿Ha resultado la transformación en compromisos financieros a más largo plazo (más de un año) hacia la operación? • ¿Con qué éxito ha dispuesto la operación/programa de insumos no alimenticios? ¿Cuáles han sido, en caso de existir, las restricciones? Normas y calidad • ¿Qué sistemas se establecieron para garantizar la calidad del programa, incluido el establecimiento de normas técnicas apropiadas? • ¿Se han considerado las normas internacionales y el código de conducta pertinentes? Consecuencias/impacto y sostenibilidad/conexión • ¿Qué cambios ha provocado la operación en la vida de los beneficiarios (mejora de bases de subsistencia, etc.)? ¿Quién se benefició exactamente? ¿Qué habría ocurrido si no se hubiese prestado asistencia? • ¿Cómo valoran los beneficiarios y otras partes interesadas la operación? • ¿Qué impacto tuvo la operación en la seguridad alimentaria y la autosuficiencia de los hogares? • (Operaciones de emergencia y de socorro) ¿Cuál fue el impacto en las comunidades anfitrionas? • ¿Qué consecuencias inesperadas (positivas y negativas) se han producido? • ¿Se han abordado adecuadamente los problemas medioambientales en el marco de la operación/programa? • ¿Qué impacto, intencionado o no, ha tenido la operación sobre el medio ambiente? • ¿Qué impacto han tenido los campamentos sobre el medio ambiente (cuando corresponda)? ¿Qué efecto han tenido las raciones y los requisitos para cocinar? • ¿Qué medidas se adoptaron para reducir el impacto negativo sobre el medio ambiente y restaurar el hábitat natural? • ¿Qué duración se prevé para los beneficios? ¿Cuáles son las perspectivas de sostenibilidad para las actividades y producto? ¿Qué factores es probable que socaven la sostenibilidad de los beneficios? ¿Es probable que los beneficios sostenibles superen los costos? • ¿Qué costos deberán asumir el gobierno, asociados ejecutores, beneficiarios y otras partes interesadas a fin de que se mantengan los beneficios? • ¿Se ha aprovechado la ayuda alimentaria como impulso para obtener recursos nacionales e internacionales complementarios y para atraer la atención sobre la necesidad de mejorar la condición de la mujer? Compromiso hacia las mujeres • ¿En qué grado se satisfizo la política de género de la Federación y de las Sociedades Nacionales en cuanto a: i) acceso de las mujeres a la ayuda, ii) acceso de las mujeres a las estructuras de poder y a la toma de decisiones, iii) acceso de las mujeres a recursos, empleo, mercados y comercio? • ¿Qué cambios deberán efectuarse en una etapa futura para asegurar mayor compatibilidad con estos compromisos? • ¿Qué tipo de capacitación en materia de género se ha realizado? ¿Para quién? ¿Cuáles han sido los cambios, si es que se han producido, resultantes de la capacitación? • ¿Qué esfuerzos adecuados se han realizado para incorporar las consideraciones de género y sensibilizar al respecto?

¿Cuáles son los métodos habituales a utilizar en la evaluación? Los términos de referencia deberán incluir un breve esbozo del método propuesto para realizar la evaluación. El jefe del equipo y el propio equipo lo deberán perfeccionar, desarrollar y discutir antes del inicio de la misión.

6-11


Octubre de 2002

Esencialmente son cinco los modos de obtener información para realizar la evaluación: 1. recopilando, tabulando y revisando datos ya disponibles; 2. preguntando a personas a través de entrevistas; grupos temáticos; 3. facilitando una reflexión crítica acerca del rendimiento y los resultados por parte de los ejecutores y beneficiarios; 4. llevando a cabo estudios por muestreo; 5. observando personas y aspectos a través de visitas al terreno. En la tabla 6.5 se detallan los métodos, incluidos comentarios sobre la aplicabilidad de cada uno de ellos. Los métodos pueden aplicarse de forma puramente inquisitiva (es decir, no participativa), de forma participativa, o como combinación de las dos. Los métodos seleccionados deberán ajustarse siempre a los objetivos y centro de atención de la evaluación, derivarse de las preguntas planteadas y corresponderse con el propósito y utilización de los datos. El enfoque convencional de evaluación aplicado en la Federación y en las Sociedades Nacionales ha subestimado la necesidad de incorporar las opiniones de las partes interesadas en los hallazgos de la evaluación y, en particular, las percepciones de los beneficiarios. Las entrevistas a una muestra de beneficiarios o de la población afectada pueden constituir una de las más ricas fuentes de información para la evaluación y es absolutamente obligatorio realizarlas. Además, pueden obtenerse información y puntos de vista útiles a partir de los denominados grupos de comparación, es decir, hombres y mujeres que no han participado en la operación de la Federación y/o de las Sociedades Nacionales pero que se enfrentan a problemas similares en entornos también similares. Aunque el proceso de evaluación seguirá siendo inquisitivo por naturaleza, especialmente cuando se pretenda atender consideraciones de rendición de cuentas, se deberán conceder a los beneficiarios y partes interesadas más oportunidades de contribuir al proceso y de transmitir sus opiniones. Es particularmente importante organizar un debate con los beneficiarios acerca de cómo perciben la operación y de cómo ha afectado la misma a su vida, y velar por que participen en la discusión y validación de hallazgos. Se puede, así, “comprobar la realidad”, orientar la evaluación hacia los cambios reales (planificados o no) que han resultado de la operación, y posibilitar a los beneficiarios y otras partes interesadas entender mejor la función y propósito de la evaluación. En situaciones de conflictos recientes o en curso, el equipo debe velar por garantizar el tratamiento confidencial de la información obtenida de las personas entrevistadas.

6-12


Octubre de 2002

Tabla 6.5: Métodos de recopilación de datos para la evaluación 1. Revisión de documentación

2. Consultas

3. Facilitación

4. Técnicas basadas en estudios por muestreo

5. Observación

Revisión de archivos: Punto de partida esencial para todas las evaluaciones. Implica el examen de informes, archivos y otros documentos del proyecto disponibles. Actividad positiva para familiarizarse con el tema, para desarrollar una perspectiva histórica y para elaborar la lista preliminar de preguntas para la evaluación. Búsqueda de bibliografía: Forma económica y eficiente de obtener información. Resulta difícil determinar la validez y veracidad de datos secundarios. Tabulación de datos: Registro de datos cuantificables o clasificables mediante instrumentos analíticos. Análisis de los indicadores de rendimiento sometidos a seguimiento por los responsables de gestión de la operación. Método preciso, fiable y que con frecuencia requiere pocos recursos. Únicamente se registran hechos, no explicaciones. Entrevistas a informantes claves: Método flexible, detallado. Fácil de aplicar. Riesgo de presentación/interpretación sesgada por parte del informante/entrevistador. Calendario: Útil herramienta para las reuniones iniciales con los informantes claves y grupos temáticos. Se elabora un calendario con los acontecimientos importantes, a fin de ayudar a reconstruir los acontecimientos reales y para examinar las percepciones de diferentes partes interesadas en cuanto a la secuencia e importancia de los acontecimientos. Entrevistas a grupos temáticos: Para el análisis de problemas específicos y complejos, a fin de determinar actitudes y prioridades en grupos más pequeños. Método bueno en cuanto a los costos y eficiente. Estimula la generación de nuevas ideas. Riesgo de dominio por parte de algunas personas y de sesgo por parte del moderador. Entrevistas en grupo: Bajo costo, eficiente. Contacto directo con los afectados. Susceptible de ser manipulado y menos adecuado para cuestiones delicadas. Otras técnicas de diagnóstico rural rápido/participativo: Las técnicas visuales tales como la representación gráfica de datos, clasificación y puntuación, y otras técnicas verbales tales como el recorrido de transectos proporcionan un medio para realizar un análisis local e implicar directamente a beneficiarios y partes interesadas en el proceso de evaluación. Autoevaluación relativa al rendimiento y resultados obtenidos: El evaluador se convierte en facilitador, facilitando la autoevaluación crítica de ejecutores y beneficiarios. Menos inquisitivo con las partes interesadas que potencialmente se convertirán en propietarios del proceso de evaluación. Estudio regular por muestreo: Entrevistas orales o cuestionarios escritos en una muestra representativa de entrevistados o encuestados. La recopilación de los datos requiere un gran esfuerzo, pero con frecuencia se obtiene información fiable. Estudio informal por muestreo: Implica estudios cuantitativos en pequeñas muestras. Bueno y rápido. Riesgo de error/sesgo en la selección de la muestra. Menos apropiado para generalizar. Estudios de casos concretos: Examen en profundidad de uno o unos pocos casos determinados. Apropiado para entender procesos y para formular hipótesis que se comprobarán posteriormente. Observación directa: Incluye inspecciones, visitas al terreno y observaciones para entender procesos, infraestructura/servicios y su utilización. Depende de los conocimientos e interpretación del observador. Observación: Observaciones detalladas durante un largo período de tiempo, participativas o no. Método bueno para entender procesos, pero de potencial limitado para generalizar.

La consecuencia inmediata, para la Federación y las Sociedades Nacionales, del cambio hacia un enfoque en el que se integren más intensamente los beneficiarios y partes interesadas es la necesidad de planificar la participación de los mismos. Como mínimo, ello requiere: • planificar suficiente tiempo y recursos para el proceso de evaluación; • garantizar que el equipo de evaluación posea los conocimientos y experiencia necesarios; • facilitar la participación significativa de partes interesadas y beneficiarios a través de entrevistas individuales y en grupo y mediante la utilización de técnicas de diagnóstico rural rápido/participativo;

6-13


•

Octubre de 2002

facilitar una reflexión crítica acerca del rendimiento y los resultados por parte de los ejecutores y beneficiarios (el evaluador se convierte en facilitador).

Si desea obtener más información relativa a métodos de recopilación de datos, consulte el módulo 8 Herramientas para la recopilación de datos. Distribución del borrador de términos de referencia y discusión acerca del mismo Llegados a este punto, se deberán haber elaborado todos los elementos de los términos de referencia, por lo que podrá prepararse un borrador de los mismos (véase tabla 6.3). El borrador de términos de referencia deberá enviarse a las partes interesadas contactadas previamente, a fin de asegurar un entendimiento común y acuerdo al respecto. Elaboración de un calendario para la evaluación Normalmente, el calendario se elabora antes de preparar los términos de referencia y necesita ser detallado una vez que se llegue a un acuerdo acerca de los mismos.

6-14


6.4

Octubre de 2002

Etapa 4 – Selección del equipo de evaluación

Se deben seleccionar y contratar los miembros del equipo y se les deben entregar los términos de referencia. Cuando se utilicen asesores externos, es aconsejable iniciar el proceso de contratación con suficiente antelación a la misión de evaluación, a fin de asegurar la disponibilidad de los miembros del equipo. Además, habrá que tener presente el tiempo requerido para la contratación. Si las fechas para la evaluación están ya fijadas, la búsqueda de asesores puede realizarse incluso mientras se estén negociando y preparando los términos de referencia, para asegurar la disponibilidad de los asesores deseados. Los miembros del equipo de evaluación deberán satisfacer, en general, los siguientes requerimientos. Tabla 6.6: Criterios para la selección del equipo de evaluación Para los miembros del equipo

Para el jefe del equipo (además de los criterios anteriores) Otros criterios

Competencia profesional y sólida experiencia técnica en áreas tales como seguridad alimentaria, nutrición, género, alimentación escolar, operaciones de emergencia, comida por trabajo, etc. La especialización del personal seleccionado depende de las cuestiones claves que se abordarán en la evaluación. Conocimientos acerca de la Federación, las Sociedades Nacionales y sus operaciones (al menos uno de los miembros del equipo, preferiblemente el jefe de la misión, deberá poseer experiencia con la Federación o Sociedades Nacionales). Experiencia previa de evaluación; familiaridad con los métodos habituales de evaluación. Imparcialidad (es decir, no formar parte de ninguno de los organismos ejecutores, no haber participado como asesor en ninguna de las etapas del proyecto, no participar en el país en ninguna otra actividad oficial (relacionada o no)). Preferiblemente experiencia previa en el país correspondiente. Conocimientos de idiomas (inglés, francés, español). ¿Ha demostrado poseer capacidad para dirigir un equipo? ¿Se puede confirmar que posea una excelente capacidad de comunicación escrita en inglés, francés o español? ¿Trayectoria probada como evaluador y jefe de equipo? ¿Se presenta adecuadamente a sí mismo? ¿Resulta convincente? Combinar expertos internacionales y nacionales. Tener en cuenta cuestiones de género (considerar adecuadamente mujeres asesoras cualificadas). Establecer el equilibrio adecuado (hombres y mujeres, nacionalidad, capacidad).

Participación de donantes A veces, un donante u organismo asociado puede solicitar que uno de sus propios empleados participe en la misión de evaluación. Esto será aceptable siempre y cuando la persona propuesta se ajuste a los criterios expuestos en la tabla 6.6 y actúe como miembro pleno del equipo bajo la dirección del jefe del equipo. La Federación y las Sociedades Nacionales deberán reservarse el derecho de rechazar candidatos cuando éstos no cumplan los criterios de selección. En los casos en que sea necesario un equipo numeroso (p. ej. para realizar evaluaciones en colaboración o que abarquen todo un sistema), el jefe del equipo deberá poseer una sólida capacidad para gestionarlo. Consideraciones especiales para la evaluación de la asistencia humanitaria En la evaluación de operaciones de emergencia y de desarrollo se deberá invertir un tiempo considerable en entrevistar a beneficiarios, particularmente a mujeres y niños. En estos casos, es probable que los beneficiarios hayan sufrido serios traumas psicosociales. Por ello, el equipo de evaluación deberá estar equilibrado en cuanto a su composición de hombres y mujeres y contener suficientes expertos que puedan llevar a cabo estas entrevistas.

6-15


6.5

Octubre de 2002

Etapa 5 – Estudio teórico (previo a la misión)

Normalmente, los equipos de evaluación disponen de 3-5 días para elaborar el estudio teórico, dependiendo de la naturaleza, magnitud y alcance de la operación que se evalúa. En el caso ideal, el estudio deberá realizarse antes de las sesiones de información y tomar como base el material disponible de la Federación y de las Sociedades Nacionales o que se haya enviado al equipo. Dado el hecho de que en la mayoría de los casos los miembros del equipo de evaluación no se reúnen antes de llegar al país, le corresponderá al jefe del equipo desarrollar adicionalmente el método esbozado en los términos de referencia y presentar un breve documento del método de evaluación y cuestiones a evaluar al jefe de evaluación antes de iniciar la misión. Este documento de los métodos de evaluación deberá incluir los siguientes puntos: • método(s) propuesto(s) para la evaluación; • distribución de responsabilidades propuesta (por miembros del equipo, deberá concluirse durante la sesión de información); • informantes claves propuestos (organismos y asociados claves que se visitarán (en este punto deberá contribuir también la Delegación en el país)); • calendario indicativo que, por supuesto, deberá perfeccionarse después de la llegada al país; • criterios para la selección representativa de áreas a visitar (de acuerdo con los mismos, la Sociedad Nacional propondría áreas y tipos de proyecto a visitar). Los términos de referencia pueden modificarse en este momento o, como muy tarde, durante los primeros días en las reuniones de información en las que participa el equipo completo. Es fundamental que tanto el jefe del equipo como el de evaluación lleguen a un acuerdo respecto al alcance, objetivos y resultados principales de la evaluación. Una vez que el jefe de evaluación haya aprobado el método propuesto, deberá revisarse y adaptarse el itinerario a seguir para la evaluación. Por ejemplo, si el método prevé que un miembro del equipo invierta todo su tiempo en realizar ejercicios de diagnóstico rural rápido en varias comunidades de la muestra, independientemente del resto del equipo, esto deberá reflejarse en los términos de referencia y se deberán organizar los preparativos correspondientes (o, como alternativa, velar por que exista la suficiente flexibilidad para adaptar el itinerario una vez haya llegado el equipo). Cuando el diseño del proyecto no se base en una matriz de planificación, puede ser aconsejable solicitar al jefe del equipo que prepare una matriz de planificación adaptada antes de emprender la misión. La matriz constituye un punto de partida para el debate y una ayuda para el equipo de evaluación en el establecimiento de las hipótesis subyacentes.

6-16


Octubre de 2002

Etapa 6 – Ejecución de la misión de evaluación 6.6.1 Previamente a la llegada del equipo de evaluación al país Para que la evaluación resulte exitosa y útil es fundamental una buena preparación de la misma. Entre las tareas fundamentales que deberán realizar la Sociedad Nacional y/o la División de Seguimiento y Evaluación antes de emprender la misión de evaluación se incluyen: • Recopilar documentos de referencia pertinentes y ponerlos a disposición del equipo de evaluación (informes de situación de la operación, políticas gubernamentales pertinentes, informes de evaluación, informes realizados por otros donantes, información sobre la seguridad alimentaria, procedimiento de llamamientos unificados (CAP de sus siglas en inglés), etc.) – otra posibilidad sería proporcionar parte de este material al equipo de evaluación antes de la misión para elaborar el estudio preparatorio. • Organizar provisionalmente el itinerario – velar por que el equipo disponga de suficiente tiempo para conversar con los beneficiarios; velar por que el equipo visite una muestra representativa de lugares en los que se lleva a cabo la operación y que se reúna con la variedad adecuada de informantes claves. Los preparativos deberán adecuarse a la disponibilidad de las partes interesadas y, en el caso de los beneficiarios, puede ser necesario planificar las entrevistas para las noches o hacerlas coincidir con eventos comunitarios o del grupo, a fin de minimizar las alteraciones. Por último, pero no menos importante, deberá facilitarse al equipo tiempo suficiente para llevar a cabo discusiones internas y desempeñar su trabajo (p. ej. revisión conjunta de los términos de referencia y de la distribución del trabajo, discusión de hallazgos claves, conclusiones y recomendaciones, preparación del taller de información de retorno, etc.). • Asesorar a las partes interesadas locales claves en relación con la misión. Cuando se organiza el itinerario, las partes interesadas claves a las que se va a entrevistar deberán estar bien informadas sobre el propósito y el programa de trabajo de la evaluación y recibir una copia o resumen de los términos de referencia. • Velar por que las cuestiones de logística (transporte, preparativos para las reuniones, etc.) estén preparadas antes de la llegada del equipo. • Asegurar que el personal de la Sociedad Nacional disponga de suficiente tiempo para participar en la sesión de información de medio día de duración (tipo taller) y que pueda dedicar tiempo al equipo de evaluación. • Organizar con suficiente antelación el final de la evaluación, velando, en la medida de lo posible, por que se prepare un taller de información de retorno y por que participe en él una variedad adecuada de partes interesadas, y velar por que se celebre la sesión oficial de información de retorno con el gobierno.

6.6.2 Durante la misión de evaluación Para el equipo de evaluación, la evaluación se divide típicamente en tres fases: • La fase del estudio teórico, durante la cual se detallan, discutiendo al respecto con el jefe de evaluación, las cuestiones claves que posteriormente se examinarán. Es en este punto cuando se “negocian” los términos de referencia y se modifican para dar lugar a su versión definitiva. En el caso de misiones dirigidas por la División de Seguimiento y Evaluación, esta fase puede incluir también la sesión inicial de información en la sede central y/o en la oficina regional. • La misión sobre el terreno, durante la cual se visitan los lugares en los que se ejecuta la operación, se realizan las entrevistas y se recopilan y analizan los datos. Habitualmente, antes de abandonar país, el equipo de evaluación prepara un informe de misión y se lo presenta a la Sociedad Nacional. • Síntesis y elaboración del informe, fase durante la cual se reflejan por escrito los hallazgos, conclusiones y recomendaciones de la evaluación. En todas las evaluaciones dirigidas por la División de Seguimiento y Evaluación es habitual que el equipo de evaluación prepare un

6-17


Octubre de 2002

informe resumido de evaluación, con el objetivo de presentar los hallazgos de la evaluación a la Junta de Gobierno. La función del jefe de evaluación Normalmente, el jefe de evaluación no participa como miembro del equipo en la misión, pero gestiona el proceso de evaluación en su conjunto, desde la elaboración de los términos de referencia hasta la difusión del informe final. El jefe de evaluación debe poseer un alto grado de flexibilidad, establecer buenas líneas de comunicación con el equipo y dedicar suficiente tiempo al proceso. Además de preparar los términos de referencia, la principal función del jefe de evaluación durante la misión de evaluación consiste en: • facilitar el trabajo del equipo, • asegurar que se invierte el tiempo adecuado con personal clave, • actuar como enlace entre el equipo y los diferentes organismos implicados, • preparar y facilitar los permisos y logística necesarios para llevar a cabo la labor sobre el terreno, • asesorar al equipo en torno a cuestiones actuales de política de la Federación y las Sociedades Nacionales, • suministrar información adicional y aclaraciones sin pretender manipular la opinión del equipo, • cuando corresponda, determinar informantes claves adicionales, • cuando corresponda, negociar y acordar modificaciones de los términos de referencia y del itinerario, • reunirse periódicamente con el equipo para asegurar que el trabajo esté correctamente orientado, • determinar el rendimiento del equipo y del jefe del equipo y, cuando corresponda, tomar medidas al respecto, • facilitar la discusión en torno a los hallazgos en un grupo potencialmente numeroso de partes interesadas. Las evaluaciones brindan una excelente oportunidad de aprendizaje durante todo el proceso, y el jefe de evaluación y el personal de las Sociedades Nacionales deberán contactar periódicamente con el equipo. Fase I: Estudio teórico y sesión de información El estudio/examen teórico ha sido descrito anteriormente (Etapa 5 – Estudio preparatorio (previo a la misión)). Teniendo en cuenta que habitualmente los miembros del equipo de evaluación coinciden por vez primera en la sesión de información en el país en que se pretende realizar la evaluación, deberá preverse suficiente tiempo para que el equipo se reúna, revise los términos de referencia y acuerde las tareas que realizará cada uno de sus miembros. Éste es el papel del jefe del equipo, que debe velar además por cubrir todos los aspectos de los términos de referencia según la experiencia y conocimientos de cada uno de los miembros del equipo. El jefe de evaluación (la División de Seguimiento y Evaluación o la Sociedad Nacional) deberá comprobar que esto se ha realizado y que los miembros del equipo entienden con exactitud lo que se espera de ellos. Se recomienda iniciar la misión con un taller de información de medio día de duración en el que participen personal de la Sociedad Nacional y el equipo de evaluación. Durante el taller, el equipo

6-18


Octubre de 2002

puede aclarar el propósito, alcance y cuestiones claves de la evaluación y quiénes son los informantes claves para cada una de las cuestiones, además de comprobar la matriz de planificación adaptada. También deberán abordarse en este lugar el propósito y planificación del taller de información de retorno (véase fase II). Fase II: Después de la sesión de información – la misión sobre el terreno Esta fase incluye el período comprendido entre el final de la sesión inicial de información de la Sociedad Nacional hasta que el equipo abandona el país. Habitualmente, el equipo pasa los primeros días en la capital entrevistando a partes interesadas claves. En caso necesario, algunas de estas reuniones podrán programarse para la última semana de la misión. Durante la misión sobre el terreno, el jefe del equipo es responsable de la gestión diaria de la evaluación, mientras que la Sociedad Nacional brinda el apoyo necesario para garantizar que el equipo pueda recorrer el itinerario previsto. Consideraciones relativas a la recopilación de datos

•

Documentos oficiales

Los documentos oficiales son, probablemente, la primera fuente de datos que consulta el equipo de evaluación, y los deberá compilar el organismo ejecutor antes de la llegada del equipo al país. Los informes de situación y otros informes pertinentes sobre la marcha de las actividades posibilitan al equipo formarse una imagen de los acontecimientos según fueron produciéndose. Los documentos relativos al diseño, memorandos/cartas de entendimiento, plan de la operación y otros documentos de este tipo proporcionan el marco para analizar los objetivos, mandatos y cumplimiento de responsabilidades. Las actas de las reuniones suministran información acerca de las decisiones tomadas y de cuándo y a razón de qué fueron tomadas.

•

Entrevistas

Generalmente, las entrevistas constituyen la principal fuente de información sobre qué y por qué ocurrió. Los evaluadores deberán conversar con la mayor variedad posible de partes interesadas, a fin de componer una imagen completa y equilibrada de la operación. En la realización de las entrevistas a miembros del personal de los organismos, merece recordar que éstos, en particular aquellas personas que trabajan en operaciones de emergencia, con frecuencia se implican y comprometen personalmente en gran medida en su trabajo y que probablemente hayan dado lo mejor de sí mismos en circunstancias difíciles. Por ello, las entrevistas, más que con un enfoque de juicio, deberán realizarse con la intención de intercambiar las enseñanzas extraídas y entender por qué han podido ocurrir errores. En la evaluación de situaciones de conflicto o posteriores al mismo, los evaluadores deberán ser lo más sensibles posible a las experiencias que puedan haber vivido los entrevistados. Las entrevistas a beneficiarios constituyen un elemento esencial de toda evaluación. Tanto como representar una rica fuente de información, estas entrevistas pueden conceder una voz a quienes puedan haber perdido sus vías de comunicación habituales.

•

Técnicas rápidas y participativas

Aunque puede darse el caso de no disponer de tiempo suficiente para llevar a cabo un ejercicio extenso de diagnóstico rural participativo, siempre deberá intentarse de algún modo utilizar técnicas

6-19


Octubre de 2002

participativas y rápidas. Para verificar los hallazgos, es especialmente importante la triangulación. La inclusión intencionada de personas que no se han beneficiado de la asistencia disponible puede ser un medio útil para evaluar los procesos de selección de objetivos y beneficiarios. No obstante, no deberían subestimarse las dificultades que se presentan en el uso de técnicas participativas en situaciones de conflicto o posteriores al mismo: • Cuando conversan con los evaluadores, los beneficiarios pueden estarse exponiendo a riesgos, y puede ocurrir que los organismos sean percibidos como parciales. • Es probable que las comunidades y grupos se hayan fragmentado, lo que dificultaría encontrar participantes “representativos” o puntos de entrada para un proceso participativo. • El trauma que pueden haber sufrido los beneficiarios puede ser tal que resulte inaceptable pedirles que vuelvan a narrar sus experiencias. • Es poco probable que las comunidades y grupos entiendan el proceso de evaluación. Existe el peligro de que la evaluación participativa despierte esperanzas que posteriormente no puedan cumplirse. Visitas al terreno durante la misión de evaluación Dependiendo del tamaño del equipo de evaluación, el tiempo disponible y la extensión del proyecto, el equipo puede realizar las visitas al terreno unido o fragmentado. Es aconsejable que participen la Sociedad Nacional y el gobierno en calidad de observadores, pues las visitas al terreno constituyen una buenísima oportunidad para adquirir conocimientos. No obstante, deberá procurarse no presentarse en el terreno, y en particular en las comunidades, con equipos excesivamente grandes. Cuando el equipo y observadores superen las cinco personas, deberá considerarse la fragmentación durante las visitas a las comunidades. Otra posibilidad sería que el jefe del equipo sugiriera dividir el grupo entero en varios equipos que aplicarían, cada uno de ellos, el mismo método en diferentes comunidades. Por la noche se celebrarían reuniones para comparar los hallazgos. El equipo deberá reunirse con una muestra adecuada y representativa de beneficiarios y partes interesadas. Evítese el error de querer visitar un número excesivo de lugares a costa de que el equipo no disponga de suficiente tiempo en cada uno de ellos para realizar las entrevistas y aplicar los diferentes métodos de evaluación. A la vuelta de las visitas al terreno – la última semana Tras regresar del terreno, el equipo deberá disponer, al menos, de una semana más en el país. Durante este tiempo, el equipo podrá desear entrevistar a informantes claves adicionales, revisar y analizar más datos, y reunirse como equipo a fin de discutir los hallazgos y consecuencias de la visita al terreno y comenzar o continuar con la elaboración del informe. El taller de información de retorno El taller de información de retorno es un acontecimiento esencial del proceso de evaluación. La Sociedad Nacional es responsable de organizar las cuestiones de logística, mientras que el jefe del equipo lo es de diseñar el taller y preparar el material necesario de presentación. Cuando se dispone de fondos, el taller puede celebrarse en otro lugar que no sea la sede de la Sociedad Nacional y se pueden utilizar los servicios de un facilitador externo capacitado. El informe de misión Antes de abandonar el país, el equipo deberá elaborar un informe de misión. Este debe incluir los principales hallazgos, conclusiones y recomendaciones derivados de la misión y puede estructurarse según el esbozo del informe resumido.

6-20


Octubre de 2002

Generalmente, el jefe del equipo esboza el informe de misión con la participación de miembros del equipo. Posteriormente se entrega a la Delegación en el país para obtener sus comentarios al respecto. Dependiendo del programa y asesoramiento de la Sociedad Nacional, el informe de misión puede discutirse también con asociados de las Naciones Unidas, la comunidad de donantes, ONG y otras partes interesadas, a fin de aprovechar los comentarios que puedan aportar. El informe de misión se entrega al gobierno y se discute posteriormente con el mismo en una reunión. Cuando en el taller de información de retorno participan responsables superiores de toma de decisiones, esta fase puede suprimirse de común acuerdo entre las partes. Disponiendo de tiempo, el equipo puede desear presentar los principales resultados en papelógrafo o PowerPoint. Una vez presentado al gobierno, el informe de misión normalmente ya no se corrige, a no ser que contenga errores fácticos. Tabla 6.7: El taller de información de retorno • • • •

•

•

•

•

•

•

Propósito y ventajas de un taller de información de retorno Se comunican los primeros hallazgos de la evaluación a las partes interesadas y se intenta obtener su opinión respecto al proceso de evaluación y los hallazgos registrados hasta ese momento. Foro de reflexión que puede servir de aprendizaje y en el que puede realizarse una revisión crítica de los componentes claves de la operación o programa que se evalúa. No deberá considerase como formalidad por la cual pasar con la mayor rapidez posible, sino como oportunidad esencial para adquirir nuevas percepciones. Se deberá alentar a las partes interesadas a participar activamente en el taller, sabiendo que todavía pueden influir en los hallazgos de la evaluación. Puede posibilitar al equipo elaborar las recomendaciones e identificar las enseñanzas junto con las partes interesadas. ¿Quién deberá participar? Personal implicado y beneficiarios. Según proceda, podrán invitarse donantes seleccionados y representantes de organismos de las Naciones Unidas. En el caso ideal deberán estar presentes los responsables de la toma de decisiones para el proyecto, pero no siempre es factible cuando éstos son empleados superiores. En tal caso, los responsables de la toma de decisiones recibirían la información correspondiente durante la presentación del informe de misión y por parte de sus empleados técnicos que hayan participado en el taller de información de retorno. Cómo planificar y preparar el taller La fecha y lugar de celebración del taller deberán fijarse con suficiente antelación para posibilitar la participación del mayor número posible de partes interesadas. Se deberá invitar a representantes de beneficiarios, y se les deberá alentar a que consulten, antes y después del taller, a las personas a las que representan. En cuanto se disponga del programa, lista de participantes, términos de referencia y otros detalles pertinentes, deberán distribuirse o comunicarse a todos aquellos invitados a participar. Es aconsejable utilizar técnicas de visualización, tales como tarjetas de visualización de la planificación del proyecto (VIPP de sus siglas en inglés (Visualisation in Participatory Planning)), y técnicas de moderación, tales como ejercicios en grupo y grupos Buzz. Para ello será necesario que el lugar de celebración sea lo suficientemente amplio y contenga suficiente superficie de pared para realizar ejercicios en grupos fragmentados y para exponer en las paredes las presentaciones de los grupos, pudiendo verlas todos los participantes. (Como norma general, para 15 participantes se requerirá un local de al menos 80 m2). La disposición de los asientos influirá enormemente en la evolución del taller. Deberá evitarse la forma habitual de sentarse en mesas, con tarjeta de identificación, micrófono, etc., pues es probable que perjudique la interacción entre participantes e incluso intimide a algunos de ellos, poco acostumbrados a este tipo de reuniones. Con ayudas visuales como transparencias, papelógrafos previamente estructurados y hojas de trabajo, se logrará centrar la atención en las presentaciones de los grupos y discusiones con los participantes. Deberá velarse por que todos estos materiales estén redactados con claridad y sean legibles para todos los participantes que se encuentren en el local. Cuando se prevea un número elevado de participantes, puede resultar conveniente contratar a un facilitador experimentado que dirija las discusiones y maximice la participación. Cuando se prevea que el taller vaya a durar más de medio día, será necesario ofrecer bebidas y una comida.

6-21


Octubre de 2002

Fase III: Síntesis y elaboración del informe Hasta cierto punto, las fases segunda y tercera se superponen, pues muchos equipos inician la síntesis y la elaboración del informe mientras se encuentran todavía en el país. Como cuestión de principio, el informe de misión deberá contener los principales hallazgos claves, conclusiones y recomendaciones. Cuando se disponga de fondos suficientes, es recomendable extender la presencia del jefe del equipo en el país para que pueda finalizar la mayor parte del informe mientras permanezca en el mismo. De esta manera se podrán obtener opiniones y realizar consultas adicionales y se garantizará la entrega puntual del informe de evaluación. Si desea obtener información adicional acerca de la preparación del informe, consulte el punto 6.7 Etapa 7 – Preparación del informe de evaluación.

6-22


6.7

Octubre de 2002

Etapa 7 – Preparación del informe de evaluación

6.7.1 Procedimiento Habitualmente, el jefe del equipo es responsable de cotejar las aportaciones de los miembros del equipo y, a partir de ellas, elaborar el informe final. Este deberá entregarse, en general, en un plazo de tres semanas tras concluir la misión. El borrador de informe lo revisan y comentan las unidades y oficinas implicadas de la Federación y las Sociedades Nacionales, y el jefe del equipo realiza las modificaciones necesarias en respuesta a los comentarios recibidos. A fin de preservar la independencia, será el jefe del equipo quien decida cuáles son, definitivamente, las conclusiones y recomendaciones finales. No obstante, cuando exista una discrepancia importante por parte de alguna de las partes interesadas claves, deberá reflejarse en el informe. Dada la complejidad de las operaciones de ayuda humanitaria y teniendo en cuenta que la documentación y datos disponibles frecuentemente son inadecuados, es esencial, por razones de credibilidad y competencia, que el borrador de informe se intercambie entre el mayor número posible de partes y que se facilite suficiente tiempo para preparar, recibir y considerar los comentarios. Los informes resumidos de evaluación son un requisito para todas las evaluaciones. El procedimiento a seguir en su elaboración es el siguiente: • Para evaluaciones gestionadas por la División de Seguimiento y Evaluación – Se presentan al Secretario General de la Federación todos los resultados de la evaluación gestionada por la División de Seguimiento y Evaluación en un informe resumido que no debe exceder las 5.000 palabras, en el que se destacan los hallazgos y conclusiones de la evaluación y las recomendaciones formuladas por el equipo de evaluación. El resumen de la evaluación corre a cargo del jefe del equipo, que utiliza el esquema habitual. • Para evaluaciones gestionadas por la Delegación en el país – Como cuestión de principio, antes de elaborar el informe de cualquier evaluación deberá realizarse un resumen de la evaluación. En él deberán incluirse los principales hallazgos, recomendaciones y enseñanzas derivados de la misión, y podrá adoptar la forma de los resúmenes elaborados por la División de Seguimiento y Evaluación. Los resúmenes de evaluaciones gestionadas por Sociedades Nacionales deberán entregarse a la División de Seguimiento y Evaluación para su posible inclusión en el Informe Anual. La revisión y aprobación internas de los resúmenes de evaluaciones siguen el siguiente proceso normalizado: Tabla 6.8: Etapas de la revisión y aprobación de informes de evaluación entregados a la Junta de Gobierno 1. El equipo de evaluación, considerando debidamente los comentarios del informe de misión, esboza los informes completo y resumido y los distribuye, vía jefe de evaluación de la División de Seguimiento y Evaluación, a los responsables de la operación o programa para obtener sus comentarios. 2. Se deja a criterio de la Sociedad Nacional decidir si enviar al gobierno los borradores de los informes completo y resumido para obtener sus comentarios. 3. El jefe del equipo (o el jefe de evaluación) incorpora los comentarios recibidos en los informes completo y resumido, según proceda. 4. El director de la División de Seguimiento y Evaluación aprueba el borrador del informe resumido para su distribución al personal ejecutivo a fin de obtener sus comentarios. 5. El jefe de evaluación incorpora las observaciones del personal ejecutivo según proceda y vela por que la versión modificada no contradiga al informe completo. 6. El director de la División de Seguimiento y Evaluación aprueba el informe resumido definitivo para su entrega a la Junta de Gobierno, que lo tramitará. 7. El informe resumido revisado y traducido se envía a la Sociedad Nacional que, a su vez, lo envía al gobierno, en ambos casos para servir de información, como medida de seguimiento y para notificar mediante la matriz de medidas de gestión (seguimiento de recomendaciones), según proceda.

6-23


Octubre de 2002

6.7.2 Orientación para el jefe de evaluación La etapa de preparación del informe de evaluación es crucial, pues en ella se presenta el producto final de la evaluación. En este caso, el jefe de evaluación desempeña una función de control de calidad. Una vez que el jefe del equipo entrega el informe, el jefe de evaluación deberá revisar críticamente su contenido, conformidad con los términos de referencia, pertinencia y exactitud. En este momento, el jefe de evaluación puede intervenir también para “negociar” o “mediar” entre el equipo de evaluación y las partes interesadas claves, especialmente cuando el informe de evaluación provoque reacciones emocionales o negativas. Sobre la base de la revisión realizada por el jefe de evaluación así como de los comentarios recibidos, el jefe del equipo de evaluación deberá reconsiderar y revisar el informe y reestructurar puntos o elementos claves. Como cuestión de principio, deberán corregirse los errores fácticos. Las cuestiones fundamentales quedan a criterio del jefe del equipo, pero no deberán contradecir la política actual de la Federación y las Sociedades Nacionales. Si se diera una contradicción en este sentido, deberá declararse claramente junto con el motivo por el cual el equipo no defiende la política. Qué hacer cuando el informe no es satisfactorio Cuando el segundo borrador no refleje los comentarios recibidos, el jefe de evaluación deberá decidir si el informe puede ser aprobado tal como está o si debe revisarse nuevamente antes de su aprobación. Se deben garantizar las opiniones independientes del equipo de evaluación – si existen discrepancias, deberán mencionarse en el informe de evaluación y posiblemente tenerse en cuenta en la respuesta de los responsables de gestión de la Delegación en el país. Si el informe sigue sin satisfacer, entonces el jefe de evaluación podrá retener parte de la remuneración. (Las modalidades de pago deberán estar claramente detalladas en los términos de referencia y/o en el contrato). Edición del informe Es aconsejable que un redactor profesional revise el informe de evaluación antes de difundir el informe. Este requisito puede incluirse también en el contrato y remuneración del jefe del equipo, que deberá considerarse responsable de suministrar un informe, en sus versiones completa y resumida, que cumpla las normas profesionales.

6-24


6.8

Octubre de 2002

Etapa 8 – Difusión del informe

Tan pronto estén elaborados los informes completo y resumido de evaluación, deberán distribuirse a todas las partes interesadas. En el nivel nacional, la Sociedad Nacional decidirá quién deberá recibir el informe completo y quién el resumido. En el nivel de sede central, la División de Seguimiento y Evaluación presenta al Secretario General todos los resúmenes producidos en la división. A petición de las Sociedades Nacionales, los informes resumidos podrán incluirse en la página Web de la Federación. Las Sociedades Nacionales también pueden considerar la difusión de los hallazgos de la evaluación como herramienta de sensibilización. Puede hacerse a través de comunicados y entrevistas de prensa o en programas de radio y televisión.

6.8.1 ¿Qué ocurre con las recomendaciones? Para que las evaluaciones sirvan a su propósito, deberá decidirse qué recomendaciones deberán seguirse, quién las pondrá en práctica y cuándo se actuará. En el pasado, las evaluaciones han recibido críticas desfavorables, por no tener consecuencias en la práctica y por simplemente dárseles carpetazo. Para incrementar la utilidad de las evaluaciones, la División de Seguimiento y Evaluación ha desarrollado un Sistema de Seguimiento de Recomendaciones. Se trata de un mecanismo que permite a las partes interesadas de la evaluación efectuar un seguimiento de la puesta en práctica de las recomendaciones de la evaluación y que suministra a los responsables de gestión la oportunidad de reflexionar de forma crítica en relación con las recomendaciones hechas. Aunque es una herramienta desarrollada para el Secretario General, se insta a las Sociedades Nacionales a utilizar la matriz característica de este sistema en la realización de sus propias evaluaciones. Todos los informes de evaluación elaborados en la División de Seguimiento y Evaluación contienen en el anexo una matriz normalizada que solicita la siguiente información: • recomendaciones orientadas a la acción expresadas concisamente y agrupadas por tema de interés, • determinación de quién es responsable de adoptar medidas, • respuesta inmediata de los responsables de gestión a las recomendaciones, • medidas adoptadas finalmente por los responsables de gestión (para presentación a la Junta de Gobierno). El Sistema de Seguimiento de Recomendaciones requiere una respuesta oficial de los responsables de gestión a las recomendaciones de la evaluación, organizada en dos fases: 1. Durante la preparación del informe resumido de evaluación el jefe del equipo incluirá las recomendaciones, y la matriz será enviada a las oficinas nacionales y otras unidades implicadas pertinentes para que completen las columnas “Respuesta inmediata de los responsables de gestión” (“Immediate Management Response”) y “Medidas adoptadas por” (“Action by”). En este punto, la única columna en blanco será la de “Revisión de las medidas adoptadas” (“Review of Action Taken”). 2. Seis semanas antes de la presentación a la Junta de Gobierno, el responsable de evaluación se pondrá en contacto con la Sociedad Nacional para rellenar la última columna. La matriz completa se proporcionará entonces a los miembros de la Junta de Gobierno como “documento informativo” independiente del informe resumido de evaluación.

6-25


6.9

Octubre de 2002

Etapa 9 – Utilización de los resultados y aprendizaje a partir de la evaluación

El valor fundamental de una evaluación estriba en su utilización y aplicación inmediatas y, en su caso, en su influencia sobre futuros programas y políticas en el nivel local y en la organización que la haya efectuado. ¿Para qué pueden utilizarse los resultados de una evaluación? • Mejora de la gestión • Modificación de la estrategia actual de la operación, incluido el producto que se pretende obtener • Mejora del seguimiento • Mejora/modificación/creación de asociaciones, aportaciones de los asociados • Ayuda en la toma de decisiones (si obrar o no) • Información para la formulación de políticas • Proporcionar orientación/asesoramiento/enseñanzas para (volver a) diseñar una fase • Proporcionar información para la sensibilización y obtención de fondos • Actualizar información acerca de la situación en que se encuentran las bases de subsistencia de los beneficiarios de la Federación y de las Sociedades Nacionales • Proporcionar una estimación independiente de los resultados obtenidos Es importante difundir al máximo los resultados de la evaluación entre todas las partes interesadas. Más allá de distribuir el informe o un resumen del mismo, resulta extremadamente eficaz mantener discusiones en grupo y celebrar seminarios o incluso retiros para discutir los hallazgos y consecuencias de una evaluación. Ello puede representar, además, una oportunidad para discutir el diseño de la siguiente fase. El aprendizaje a partir de la evaluación mejorará si el personal de la Sociedad Nacional está plenamente preparado para realizar la evaluación y participa en la misma. Para poder aprovechar los resultados, los responsables de gestionar la evaluación deben desempeñar un papel activo en la negociación de objetivos y cuestiones claves de la evaluación así como del método aplicado en la misión. El aprendizaje óptimo tendrá lugar cuando la Sociedad Nacional conceda al equipo de evaluación todo el tiempo y libertad de acción necesarios, a la vez que debe protegerse la opinión independiente del evaluador. Para prevenir sorpresas futuras, pueden celebrarse breves y frecuentes sesiones de información de retorno durante toda la misión. El taller de información de retorno al final de la misión constituye un foro para discutir con franqueza y de forma crítica las cuestiones identificadas y para reflexionar conjuntamente sobre las recomendaciones y actividades futuras. Aunque generalmente pueda aprenderse a partir de los hallazgos, conclusiones y recomendaciones de la evaluación, puede resultar de ayuda ir un paso más allá y determinar las enseñanzas que puedan extraerse. En su forma más sencilla, las enseñanzas nos permiten evitar volver a inventar la rueda o cometer, una y otra vez, los mismos errores. Las enseñanzas se diferencian de los hallazgos y recomendaciones en que son aplicables a situaciones genéricas, más que a circunstancias específicas. Es importante destacar en el ejemplo mencionado anteriormente, que en el nivel de proyecto el resultado más útil de la evaluación lo constituirán las recomendaciones hechas. La enseñanza o “lección” que puede extraerse del hallazgo o recomendación adquirirá una utilidad máxima si se aplica en situaciones futuras y se intercambia con los demás (es decir, informar a los responsables de la formulación de políticas, diseño de proyectos en otros lugares, etc.). Por ello, se insta a los evaluadores y a las partes interesadas de la evaluación a identificar las enseñanzas y recomendaciones que podrían tener una aplicación más general en la organización y a determinar quiénes, finalmente, deberán aprovechar el aprendizaje (p. ej. unidades técnicas o de logística pertinentes en la sede central). Los que finalmente aprovecharán las enseñanzas pueden encontrarse también en el nivel nacional – en particular cuando las enseñanzas identificadas puedan influir sobre la formulación de políticas nacionales o la labor de otros donantes y organismos.

6-26


Octubre de 2002

Tabla 6.9: ¿Qué es una enseñanza? Resultado para el aprendizaje Hallazgo

Definición

Aplicación

Ejemplo

Afirmación basada en hechos

Específica de una situación.

Conclusión

Síntesis de hallazgos

Recomendación

Afirmación normativa

ENSEÑANZA

Generalización instructiva basada en una experiencia de la cual se ha aprendido

Derivada de una situación específica, pero puede ser aplicable también a un tipo de situaciones. Pensada para una situación específica, pero puede ser aplicable también a un tipo de situaciones. Genérica, no específica de una situación determinada.

No se impartió formación en materia de género. Únicamente el 10 % ha alcanzado a mujeres beneficiarias. Los asuntos de género no se han tomado en consideración durante la ejecución de la operación. Deberá impartirse formación en materia de género a todo el personal de la Federación, Sociedades Nacionales y asociados. Mientras que el personal no esté sensibilizado y capacitado en materia de género, una operación no abordará adecuadamente las cuestiones de género y el acceso justo y en condición de igualdad de hombres y mujeres a los recursos de la Federación y de las Sociedades Nacionales.

6-27


Octubre de 2002

6.10 Mejora de la eficacia del proceso de evaluación Un problema común a todas las evaluaciones es que la eficacia del proceso se ve seriamente limitada por tres aspectos: 1. Falta de objetivos claramente definidos y/o de una estrategia para la operación en su conjunto y sus diferentes componentes sectoriales y de proyectos. 2. Escasa disponibilidad y posibilidad de comparación de los datos de seguimiento necesarios para determinar el rendimiento y resultados de los proyectos y, por lo tanto, del programa en su conjunto. 3. Las partes interesadas claves no consideran las evaluaciones como ejercicio útil, por lo que no las aprovechan como auténticas oportunidades para el aprendizaje y cambio. La consideración de estas cuestiones durante las fases de diseño y ejecución puede incrementar significativamente la probabilidad de realizar evaluaciones eficaces.

6.10.1 Aclarar los objetivos Cuando el propósito y/o meta de la operación no están enunciados con claridad, la evaluación resulta más difícil - ¿frente a qué se deberán medir los resultados? Este problema puede surgir en operaciones individuales incluidas en el sistema de respuesta humanitaria, o bien puede existir en todo el sistema. El hecho de que en situaciones de emergencia los objetivos, aunque definidos, probablemente deban modificarse a medida que vaya evolucionando la situación, exacerba aún más las dificultades. La Good Practice Review sugiere aplicar las siguientes herramientas como ayuda para definir con mayor claridad los objetivos: • Marcos estratégicos – Establecen objetivos generales para las intervenciones de la comunidad internacional, que deberán observarse en todas las situaciones de emergencia (p. ej. marcos estratégicos de organismos de las Naciones Unidas para determinados países, llamamientos de la Oficina de Coordinación de Asuntos Humanitarios de las Naciones Unidas (OCHA)). • Estrategias nacionales y de intervención – Establecen objetivos para cuando aparece o comienza una emergencia determinada. • Análisis mediante matriz de planificación – Establece una jerarquía de objetivos para una operación determinada.

6.10.2 Mejorar la disponibilidad y exactitud de la información de seguimiento Gran parte de la carencia de información esencial se debe a la naturaleza de las circunstancias en que ocurre la emergencia. No obstante, pueden adoptarse medidas para incrementar la utilidad del seguimiento en beneficio de la evaluación. Una característica especial de las emergencias es la mayor necesidad de que los responsables de gestión evalúen una y otra vez la situación (p. ej. actualizando los datos de evaluación) a fin de determinar si la operación es apropiada en general, además de la función más habitual de seguimiento de proporcionar información para la toma rutinaria de decisiones relativas a la gestión (p. ej. seguimiento de los suministros pendientes de ser entregados a los almacenes). Las cuestiones que deberán considerarse concretamente para mejorar la disponibilidad de información de seguimiento son: • acordar con tiempo los indicadores claves que deberán someter a seguimiento todos los organismos; • reunir lo antes posible información de referencia; • establecer sistemas de seguimiento y de recopilación de datos que faciliten establecer comparaciones entre organismos y programas;

6-28


•

Octubre de 2002

establecer una gestión eficaz de sistemas de archivo y de información, de forma que pueda disponerse fácilmente de los principales informes y documentos de decisiones.

6.10.3 Lograr que las evaluaciones sean útiles Para lograr que las evaluaciones sean útiles, pertinentes y oportunas son necesarios varios elementos: • planificación adecuada y oportunidad de la evaluación; • lograr pertinencia de la evaluación en relación con las necesidades de los responsables de gestión y usuarios; • velar por que las partes interesadas claves participen en la evaluación y se identifiquen con la misma; • procedimientos de seguimiento establecidos para el uso de la evaluación; • promover el aspecto de aprendizaje de la evaluación; • presentar los resultados de la evaluación de forma sucinta: p. ej. resúmenes informativos, resumen de una página, presentaciones en PowerPoint, boletines, etc.; • compartir la evaluación con todos los asociados pertinentes y el público.

6-29


Octubre de 2002

ENSEÑANZAS EXTRAÍDAS DEL MÓDULO 6 GESTIÓN DE LA EVALUACIÓN • • • • • • • • • •

ACORDAR EL PROPÓSITO DE LA EVALUACIÓN PLANIFICAR EL CALENDARIO PARA LA EVALUACIÓN PREPARAR LOS TÉRMINOS DE REFERENCIA SELECCIONAR EL EQUIPO DE EVALUACIÓN ELABORAR EL ESTUDIO TEÓRICO PREVIO A LA MISIÓN EJECUTAR LA MISIÓN DE EVALUACIÓN ELABORAR EL BORRADOR DE HALLAZGOS PREPARAR EL INFORME DE EVALUACIÓN REVISAR EL INFORME DE EVALUACIÓN DIFUNDIR LOS RESULTADOS

6-30

Módulo 7: Estudios de referencia

Octubre de 2002

7.

Estudios de referencia

7.1

¿Qué es un estudio de referencia?

El estudio de referencia consiste en el análisis y descripción de la situación reinante antes del comienzo de una operación o programa, frente a la cual pueden medirse los cambios o establecerse comparaciones. El estudio de referencia proporciona un punto de referencia (breve descripción de la situación actual) para los objetivos de la operación y se centra fundamentalmente en las variables sobre las cuales se pretende influir con la operación – seguridad alimentaria, estado nutricional, propiedad de bienes, acceso a escuelas, etc. -, resumidas por los indicadores incluidos en la matriz de planificación. El estudio de referencia constituye la base para el seguimiento y la evaluación, realizándose en una etapa posterior un estudio complementario (habitualmente a mitad o final de la operación) para facilitar la medición de las consecuencias e impacto de una operación. Así, el estudio de referencia es una herramienta esencial en la gestión basada en resultados: sin datos de referencia es difícil, si no imposible, determinar el cambio provocado realmente por la operación. Figura 7.1: Los estudios de referencia y complementario en el ciclo del proyecto

Planificación

Ejecución

Evaluación

Estudio de referencia

Seguimiento

Estudio complementario

¿Cuál es la situación antes de comenzar la operación/programa?

¿Vamos bien encaminados hacia el logro de los objetivos que nos hemos fijado?

¿Qué se ha logrado?

Son varios los principios que deben considerarse en relación con los estudios de referencia: • •

•

En todo tipo de operación son siempre necesarios los datos de referencia. Sin ellos y sin algún tipo de estudio complementario, no es posible determinar con seguridad los resultados. Las fuentes de datos secundarios deberán ser siempre el primer punto de referencia en la recopilación de datos de referencia. Cuando sea posible, los datos de referencia deberán recopilarse de fuentes existentes – la elaboración de estudios de referencia puede resultar costosa y requerir mucho tiempo, y existen numerosos ejemplos de estudios que proporcionan información con retraso, incompleta o poco fidedigna. Los planes para la recopilación de datos de referencia deberán prever la realización de un estudio complementario, en el cual se utilizarán los mismos métodos y se estudiarán la misma muestra o lugares, a fin de generar datos comparables.

En el caso ideal, los datos de referencia se recopilarán antes de empezar a ejecutar el proyecto. Siendo éste el caso, los datos de referencia podrán servir de ayuda en el proceso de planificación, permitiendo a los planificadores afinar el diseño de la operación. Que los datos de referencia se recopilen después de iniciarse la ejecución de la operación (caso frecuente en las operaciones de emergencia), puede no resultar problemático, siempre y cuando los datos reflejen la situación existente antes de comenzar las principales actividades de la operación. Son tres los problemas frecuentes en la realización de estudios de referencia: •

Se intentan recopilar demasiados datos, lo que dificulta su análisis (consecuencias para la rentabilidad y para la oportunidad de la notificación) y el pleno aprovechamiento del análisis resultante. Por lo tanto, resulta esencial ser riguroso en la determinación de los datos de referencia necesarios. 7-1


•

•

Octubre de 2002

Con frecuencia, los estudios de referencia se realizan después del comienzo de la operación. Aunque este hecho no debe por qué preocupar si no se han emprendido todavía actividades, es preferible asegurar que se haya organizado con antelación el estudio y que posiblemente incluso se haya incluido como una etapa del proceso de aprobación. Los estudios de referencia se llevan a cabo sin disponer del plan o presupuesto para el estudio complementario que necesariamente deberá realizarse. Aunque los datos de referencia son útiles para la planificación, también desempeñan una función fundamental en la evaluación, para la cual es necesario disponer de algún tipo de estudio complementario, a fin de comparar las situaciones antes y después de la operación. Para que los datos sean comparables, debe existir coherencia en los métodos y herramientas utilizados. Por lo tanto, es importante reflejar con claridad en el estudio de referencia cómo se han recopilado y analizado los datos. Es muy probable que, en los dos o tres años desde que se elaboró el estudio de referencia, el personal haya cambiado, y el nuevo personal necesitará buen material de referencia a fin de poder reconstruir un conjunto de datos comparables.

7-2


7.2

Octubre de 2002

Estudios de referencia para diferentes tipos de situaciones

Un aspecto fundamental que deben tener en cuenta la Federación y las Sociedades Nacionales a la hora de diseñar un estudio de referencia es la naturaleza de la operación para la cual se requiere el estudio. En la tabla 7.1 se reflejan las características de la recopilación de datos de referencia y las consecuencias para la misma según se trate de actividades de desarrollo o de operaciones de emergencia y de desarrollo. Tabla 7.1: Características de la recopilación de datos de referencia y consecuencias para la misma según diferentes tipos de operación Tipo de operación Características:

Actividades de desarrollo

Operaciones de emergencia y de desarrollo

•

•

•

Consecuencias para el estudio de referencia:

ο

Las operaciones de desarrollo tienen una perspectiva de planificación, y el proceso del ciclo del proyecto crea espacio potencial para elaborar estudios de referencia y complementarios. Colaborar con asociados activos en el ámbito del desarrollo puede traducirse en un interés más amplio por disponer de datos de referencia y en apoyo (recursos) para la recopilación de datos. Se dispone de más tiempo para recopilar datos de buena calidad y mejorar la capacidad del personal.

•

ο

El ritmo de trabajo supone que la evaluación preliminar, el análisis de referencia y el inicio de la operación suceden todos al mismo tiempo. Es probable que los datos de la evaluación preliminar constituyan un componente importante de la referencia. Es probable que la recopilación de datos favorezca métodos rápidos que puedan producir resultados rápidos, aunque menos precisos.

Cuando la operación es la continuación de una anterior, es probable que se disponga ya de una cantidad significativa de datos – del seguimiento y de la evaluación preliminar, de una evaluación final o de un estudio complementario realizado con una referencia anterior. En estas circunstancias, los datos disponibles deberán examinar cuidadosamente a fin de determinar cuáles podrían utilizarse para establecer la nueva referencia. En la verificación de la exactitud y fiabilidad de datos secundarios son aplicables los principios habituales (véase punto 8.3 Utilización de datos secundarios (módulo 8). Con la introducción de programas nacionales y documentos de estrategia para reducir la pobreza (PRSP por sus siglas en inglés), muchos países han iniciado procesos de análisis y cuantificación del grado de pobreza utilizando criterios extraídos de metas y objetivos del ámbito del desarrollo internacional (véanse los objetivos de desarrollo de la Organización para la Cooperación y Desarrollo Económicos (OCDE) para 2015). En muchos países, el Programa de las Naciones Unidas para el Desarrollo (PNUD) desempeña una función directora en el proceso de seguimiento de la pobreza y existen programas estructurados para llevar a cabo estudios nacionales diseñados a fin de realizar un seguimiento de la pobreza y bienestar. En estos países, es posible que los indicadores de pobreza, junto con indicadores de seguridad alimentaria, puedan sustituir parte o toda la información de referencia requerida. El principal problema consistiría en comprobar la existencia de datos para el área específica del proyecto o para el grupo beneficiario en cuestión. Los factores discutidos se exponen de forma resumida en la tabla 7.2.

7-3


Octubre de 2002

Tabla 7.2: Factores y consecuencias para los estudios de referencia Factor Operación de desarrollo Operaciones de emergencia, socorro y recuperación Operación de continuación de una anterior Desarrollo comunitario Países con documento de estrategia para reducir la pobreza

Consecuencias para el estudio de referencia Programación en el proceso del ciclo del proyecto Recurrir a datos de la evaluación preliminar, utilización de técnicas rápidas, mejora mediante seguimiento Utilización de resultados de la evaluación o del seguimiento para ayudar a establecer la referencia Planificación de referencias cambiantes en los planes comunitarios Utilización de datos secundarios sobre pobreza y bienestar

7-4


7.3

Octubre de 2002

Planificación y gestión de un estudio de referencia

A continuación se exponen las etapas básicas de la planificación y gestión de un estudio de referencia, detalladas en los siguientes apartados. 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12.

Decidir si es necesaria una encuesta de referencia Decidir quién realizará el estudio de referencia Determinar los objetivos del estudio Determinar la pertinencia Determinar las preguntas y temas que deberá abordar el estudio Seleccionar las unidades de estudio (p. ej. hogares, escuelas, comunidades, etc.) Decidir la utilización de un grupo de comparación Controlar la posible influencia de un año o intervalo de tiempo de características especiales Determinar qué datos secundarios se utilizarán Elegir técnicas de recopilación de datos primarios Seleccionar la muestra o los lugares que se visitarán Preparar el plan de trabajo y presupuesto

7.3.1 ¿Es necesario realizar una encuesta de referencia? Siempre se requieren datos de referencia, pero no siempre es necesario realizar una encuesta de referencia. Es posible que los datos de referencia necesarios hayan sido recopilados en un análisis y cartografía de la vulnerabilidad, como parte de la misión de apreciación, durante la evaluación preliminar para una operación de emergencia o durante la evaluación de una fase previa. La principal pregunta a la que debe darse respuesta es, por lo tanto, la siguiente: ¿Existen suficientes datos secundarios para describir la situación existente antes de o al iniciarse la ejecución de la operación, de acuerdo con los indicadores establecidos en relación con la meta y objetivos de la operación? En caso de que la respuesta sea afirmativa, será mejor aprovechar los datos existentes que encargar la realización de una encuesta de referencia. El motivo para ello es que la recopilación de datos primarios es una actividad compleja que requiere un nivel elevado de conocimientos y de recursos de gestión. Siempre que sea posible, es preferible utilizar datos secundarios recopilados por el gobierno, algún asociado ejecutor u otro organismo, mientras éstos sean pertinentes para la operación propuesta y abarquen el grupo beneficiario específico. Especialmente en el caso de tratarse de la continuación de una operación ya en marcha, es posible que ya exista una cantidad considerable de datos relativos a los grupos beneficiarios. Utilizando diferentes documentos sobre los beneficiarios, informes realizados con anterioridad y estadísticas generales del gobierno y de fuentes no gubernamentales, puede componerse, con mínimo costo, una imagen exacta y actualizada de la población en situación de riesgo. Durante los últimos meses de una fase anterior, las evaluaciones o el seguimiento rutinario pueden definir con detalle la situación más reciente en la que se encuentra la población y, con ello, establecer las bases para la nueva fase de la operación. En el caso de que la respuesta sea negativa, deberá considerarse la realización de una encuesta de referencia. Véase punto 8.2.4 ¿Qué es una encuesta de referencia? (módulo 8).

7-5


Octubre de 2002

Figura 7.2: Relación entre costos y complejidad de la recopilación y análisis de datos

Costo

Fuentes primarias

Entrevistas a beneficiarios

Fuentes secundarias

Documentos oficiales

Informes de gestión

Estudios por muestreo

Estadísticas ordinarias Estadísticas adaptadas* ordinarias

Complejidad * Las estadísticas ordinarias adaptadas se refieren a las estadísticas obtenidas a partir de actividades rutinarias de recopilación de datos, analizadas de nuevo posteriormente a fin de constituir la referencia de la operación.

7.3.2 ¿Quién realizará el estudio de referencia? Para realizar un estudio de referencia es necesario poseer un nivel elevado de conocimientos acerca de técnicas de recopilación de datos (p. ej. en muestreos y encuestas, o en técnicas rápidas y participativas), gestión sobre el terreno, análisis y elaboración de informes. Una fase importante al principio del diseño es considerar de qué recursos y capacidad se dispone, tanto dentro de la organización (Federación y Sociedades Nacionales, gobierno o asociados ejecutores) como fuera de ella (p. ej. a través de empresas de asesoría, departamentos universitarios u otras organizaciones independientes). La disponibilidad de los expertos necesarios, su costo y los recursos disponibles constituirán factores de peso en la toma de decisiones relativas a la duración y complejidad del estudio. Tómese el tiempo necesario para examinar qué posibilidades existen: • • • • •

¿Con qué capacidad se cuenta entre el personal de la Federación y las Sociedades Nacionales para diseñar y dirigir el estudio? ¿De dónde procederán los expertos necesarios (gobierno, asociados ejecutores o asesores externos)? ¿Será necesario impartir formación adicional? ¿Dispone de fondos la Delegación en el país? ¿Existen otras fuentes de financiación? ¿Realiza la oficina nacional de estadística del país correspondiente o alguna universidad estudios por encargo? ¿Qué empresas privadas u ONG podrían proporcionar personal especializado pertinente y que pudiera diseñar y dirigir el estudio?

7.3.3 Determinar los objetivos del estudio Escriba una afirmación clara sobre el objetivo del estudio de referencia. Acuerde esta afirmación con los asociados y con aquellos que realizan el estudio. Ejemplos • •

Recopilar información sobre la cantidad y distribución de hogares que sufren inseguridad alimentaria en la región que se ha de atender. Determinar las tasas de inscripción y de asistencia y los logros en el aprendizaje de los niños en edad de visitar la escuela primaria en la región beneficiaria.

7-6


Octubre de 2002

7.3.4 Determinar la pertinencia ¿Deben referirse los datos a un período de tiempo específico anterior a la operación o no tiene demasiada importancia el período de tiempo al cual se refieren? Ejemplo •

La operación promueve la diversificación de las bases de subsistencia en el área del programa. Se dispone de datos procedentes de una encuesta por hogares realizada 5 años antes de comenzar la operación. Estos datos se consideran pertinentes, pues durante los últimos años se han realizado pocas actividades de desarrollo en la zona.

7.3.5 Determinar las preguntas y temas que deberá abordar el estudio Elabore una lista de temas y preguntas concretas para los cuales sea necesario disponer de datos. Es esencial que el alcance del estudio esté directamente relacionado con las necesidades de datos de referencia – las principales fuentes para los mismos son el documento de aprobación y la matriz de planificación. Con demasiada frecuencia, las necesidades de datos van aumentando a medida que se va avanzando en el diseño del estudio – todas las necesidades de datos deben estar justificadas en relación con los objetivos e indicadores de la operación y con los aspectos claves del contexto de la misma. Determine quiénes son los beneficiarios: ¿Son escolares, madres lactantes, familias agrarias o grupos específicos como miembros femeninos de una cooperativa de producción? Ejemplos •

• •

En una operación de alimentación escolar se requiere información acerca de la proporción de los niños (desglose por sexo) registrados en escuelas que han asistido a las clases más del x % de los días y que han pasado sus exámenes de graduación. Otra información es la relativa a la cantidad de medios básicos en cada escuela: mesas, sillas, libros de texto, libros de escritura y maestros. El objetivo de la operación es incrementar la proporción de niñas en las escuelas, por lo que otro aspecto de la información son los porcentajes de mujeres y hombres adultos que apoyan la educación de niñas. En una operación de “alimentos por bienes” se requiere información sobre el área de secano que debe ser rehabilitada, el área de regadío afectada por salinización y el número de hogares cuyos cultivos, todos o parte de ellos, se encuentran en áreas degradadas. En una operación dirigida a promover bases de subsistencia sostenibles, se requiere información acerca del número de meses en que los hogares (desglose por características socioeconómicas: grupo étnico, mujeres cabeza de hogar, miembros familiares con discapacidad) pueden autoabastecerse a partir de sus propios recursos. También se requiere información acerca del acceso a otras fuentes de empleo y actividades de generación de ingresos externas a la propia explotación agraria, así como acerca de la participación en las mismas.

7.3.6 Seleccionar las unidades de estudio Es necesario determinar las personas u organizaciones sobre las cuales se requiere información. En la recopilación de datos primarios o secundarios se las conoce como “unidades de estudio”.

7-7


Octubre de 2002

Ejemplos • • •

Las unidades de estudio para la operación de educación son las niñas, niños y sus padres; y en cuanto a los bienes de la escuela lo son la escuela o posiblemente el aula. Para la operación de creación de bienes, las unidades de estudio son las tierras de secano, las de regadío y las familias agrarias. En el caso de la operación de promoción de bases de subsistencia sostenibles, las unidades de estudio son los hogares y los miembros de los mismos (probablemente miembros adultos).

7.3.7 Decidir la utilización de un grupo de comparación El estudio de referencia analiza y describe una situación antes del inicio de la operación, con miras a la realización de un estudio complementario que permitirá establecer comparaciones entre el antes y después de la ejecución de la operación. No obstante, pueden surgir dificultades en la atribución de los cambios ocurridos como efecto de la operación. Es posible que los cambios se hubiesen producido de todas formas – debido a la política del gobierno, la divulgación de determinadas tecnologías en la región u otras posibles razones. La utilización de grupos de comparación – unidades de estudio situadas fuera del alcance de la operación – proporciona una base para establecer una comparación entre con y sin operación, así como entre antes y después. Tal como ilustra la figura 7.3, los cambios que ocurren entre a→b se comparan con aquellos ocurridos entre c→d, atribuyéndose la diferencia a la operación. Figura 7.3: Utilización de grupos de comparación

antes con grupo experimental

sin

grupo de comparación

después

a

proceso de cambio “con operación”

b

c

proceso de cambio “sin operación”

d

Son dos las cuestiones claves que deben considerarse al tomar la decisión de si incluir o no un grupo de comparación en la muestra: • •

¿Pueden encontrarse unidades de estudio cuyas características se ajusten suficientemente a las de la población beneficiaria (grupo experimental)? ¿Se dispone de suficientes recursos para ampliar el tamaño de la muestra incluyendo un grupo de comparación?

Para que la comparación entre la población beneficiaria y el grupo de comparación sea válida, las dos partes deberán asimilarse suficientemente en sus características claves “influyentes” (proceso conocido como “concordancia”). En caso contrario, cualquier cambio observado entre los dos grupos en la situación de “después” podría ser, simplemente, el resultado de diferencias existentes previamente. En la práctica, es imposible una concordancia perfecta, y deberá juzgarse qué características constituyen una concordancia adecuada. Un ejemplo sencillo de un compromiso en ese sentido en el caso de un estudio de referencia relativo a la alimentación escolar sería seleccionar escuelas en zonas de agroeconomía similar. 7-8


Octubre de 2002

La utilización de un grupo de comparación requiere asignar a este grupo una parte de los recursos disponibles para realizar el estudio. Para obtener resultados significativos desde el punto de vista estadístico, el grupo de comparación deberá ser de un tamaño comparable al de la población beneficiaria. Probablemente esto signifique que el estudio resultará considerablemente más costoso. La utilización de un grupo de comparación (si se incluye en un estudio bien diseñado), siempre proporcionará una mejor base para la atribución de los cambios, por lo que deberán sopesarse los costos adicionales frente a los beneficios derivados de una mejor capacidad para atribuir los cambios a la operación.

7.3.8 Controlar la posible influencia de un año o intervalo de tiempo de características especiales ¿Hasta qué punto pueden depender los datos de referencia de las características especiales de un año o intervalo de tiempo determinados? P. ej., en los datos relativos a cómo abordar situaciones difíciles en condiciones de vulnerabilidad, puede ser necesario considerar si los años anteriores a la operación fueron años “de crisis” o normales. Ejemplos •

• •

Proyecto de alimentación escolar en zonas rurales: Es probable que las tasas de inscripción dependan de los ciclos de actividad agraria que, a su vez, dependen de las condiciones meteorológicas. Por lo tanto, la tasa de inscripción deberá determinarse tanto durante los últimos años como en un año de crisis. Proyecto de creación de bienes: Serán apropiados los datos de cualquiera de los últimos años, pues el cambio que se desea generar es un simple incremento en la propiedad de bienes. En la estimación de alimentos, la estacionalidad puede producir una distorsión.

7.3.9 Determinar qué datos secundarios se utilizarán Una vez determinados la pertinencia de los datos, los temas, unidades de estudio y la posible influencia de un año o período de tiempo de características especiales, se puede plantear la pregunta de si los datos secundarios disponibles constituyen una referencia adecuada. Ejemplos • •

•

Los datos sobre asistencia y rendimiento escolares están disponibles en documentos del Ministerio de Educación. No existen datos sobre la opinión de los padres respecto a la educación de las niñas. En un estudio realizado hace 5 años por el Ministerio de Conservación del Suelo, se representaron en un mapa y se clasificaron las tierras afectadas por distintas formas de degradación. Aunque los datos son antiguos, están disponibles para el área de la operación, en la que durante los últimos años no se ha producido ningún tipo de desarrollo rural. Hace tres años se recopiló, en una encuesta nacional por hogares, información referente a la seguridad alimentaria, pero los cálculos están disponibles únicamente para el nivel regional. No se dispone de datos sobre posibilidades de generación de ingresos.

Si desea orientarse con mayor detalle acerca de la utilización de datos secundarios, consulte el punto 8.3 Utilización de datos secundarios (módulo 8).

7-9


Octubre de 2002

7.3.10 Elegir técnicas de recopilación de datos primarios Una vez tomada la decisión de que se requieren datos primarios, deberán elegirse las técnicas para recopilar esos datos. Siempre existe una relación entre los costos, la velocidad de recopilación y la velocidad de análisis, según la técnica seleccionada, pero todas ellas requieren un elevado nivel de conocimientos. No existen ni aproximaciones ni posibilidades fáciles para obtener datos de buena calidad. Tal como se muestra en la figura 7.2, se sabe que el estudio por muestreo es la técnica más cara. Algunos aspectos concretos a considerar antes de seleccionar este método son: •

•

La existencia de un marco de muestreo (listado de todas las unidades de estudio a partir de las cuales se extraerá la muestra, tales como hogares, escuelas, localidades). Cuando no exista éste marco o sea discutible (p. ej. el listado de hogares procedente de un censo puede haber quedado obsoleto), será necesario invertir significativamente en la elaboración de uno nuevo. El tiempo, recursos y conocimientos necesarios para la introducción y procesamiento de datos y su análisis estadístico.

Orientación en torno a técnicas de recopilación de datos Son pocos los estudios en los que se aplica una sola técnica: los estudios participativos con frecuencia incluyen cuestionarios para encuestados individuales; a las reuniones en grupo muchas veces les siguen entrevistas individuales; las superficies de tierra pueden medirse con exactitud, mientras que la producción se calculará a partir de los datos obtenidos de los agricultores. De lo que se trata es de elegir la herramienta adecuada para la labor que se desee realizar. Por ejemplo: • •

•

Cuando se necesitan datos muy precisos obtenidos a partir de mediciones, tales como el aporte energético para conocer el déficit nutricional, deberán utilizarse entrevistas individuales y preguntas exactas o una técnica de medición específica. Cuando lo que se necesita es información sobre la opinión o percepción de las personas, y cuando son suficientes datos generales como p. ej. que el 25 % de los hogares se autoabastecen con alimentos durante 3 meses o menos, serán aceptables los datos procedentes de reuniones de un grupo temático y debates abiertos. Como pauta general para la mayoría de los estudios de referencia, cabe afirmar que las técnicas participativas bien estructuradas y para las cuales esté documentada meticulosamente la recopilación de datos, serán suficientes para la mayoría de las operaciones de la Federación y de las Sociedades Nacionales. Es éste el caso, especialmente, en situaciones en las que además se dispone de datos secundarios sobre pobreza y bienestar.

En el punto 8.2 Herramientas para la recopilación de datos (módulo 8) se ofrecen más detalles sobre métodos para la recopilación de datos primarios.

7.3.11 Seleccionar la muestra o los lugares que se visitarán En el caso de que sea necesario recopilar datos de referencia primarios, estudie el tamaño que deberá tener la muestra. Orientación •

La estimación del tamaño de la muestra es una tarea que requiere un elevado nivel de conocimientos, por lo que para cualquier encuesta regular en la que se utilicen cuestionarios o estudio a gran escala por muestreo deberá solicitarse asesoramiento profesional.

7-10


•

• •

•

•

•

•

Octubre de 2002

Se pueden aplicar varias normas generales. A fin de disponer de suficientes datos sobre las unidades de estudio para poder informar acerca de los resultados de un lugar o servicio específicos, deberá entrevistarse a un mínimo de 30 unidades. P. ej., 30 niños en una escuela o 30 madres que asisten a una clínica de seguimiento postparto. Para establecer comparaciones entre lugares o servicios, tales como entorno rural/entorno urbano, o entre una escuela y otra, será mejor disponer de una muestra más amplia, concretamente entre 60 y 100 unidades. Para unidades de estudio como comunidades, en las que las comparaciones deberán establecerse entre distritos y tipos de operación (p. ej. desarrollo del riego o de carreteras de acceso), deberán seleccionarse no menos de 5 comunidades para cada categoría (5 en el distrito 1, riego; 5 en el distrito 1, carreteras de acceso; 5 en el distrito 2, riego; 5 en el distrito 2, carreteras de acceso; etc.). A fin de evitar un posible sesgo resultante de la selección, es frecuente realizar un muestreo informal. P. ej., en una visita a un poblado, realice las encuestas en las viviendas 5ª, 10ª, 15ª, etc. avanzando en dirección norte a partir del centro del poblado o a partir de donde haya aparcado el vehículo. En reuniones, plantee preguntas a miembros del grupo seleccionándolos por cuadrantes. En un mercado, elija la muestra de comerciantes recorriendo transectos a través del mercado y parando cada x comerciantes. Normalmente se utiliza un intervalo de confianza del 95 %, para asegurar que el error de muestreo sea aceptable. Sin embargo, los errores ajenos al muestreo (p. ej. errores en la medición) con frecuencia constituyen un factor más importante en la determinación de la exactitud y precisión generales de los datos. Un intervalo de confianza amplio implica un tamaño de muestra relativamente grande, con todos los costos que ello conlleva. Por ello, puede constituir una alternativa práctica reducir el intervalo de confianza requerido (p. ej. al 80 %), lo que resulta en un tamaño más pequeño de la muestra, e invertir después parte de los fondos que se han ahorrado así en una formación más rigurosa del personal que trabajará sobre el terreno, a fin de reducir el riesgo de cometer errores ajenos al muestreo. La inclusión de grupos de comparación en la muestra es una forma de inferir causalidad. Los grupos de comparación son unidades de estudio no implicadas en la operación y no afectadas por la misma, que permiten establecer una comparación frente a los beneficiarios, es decir entre con y sin operación. El problema consiste en determinar unidades de estudio que presenten las mismas características a las de las unidades afectadas por la operación, a fin de que la comparación sea pertinente. En el diagnóstico rural participativo/rápido es crítica la selección de los lugares, pues es muy probable que a causa del tiempo y trabajo que deben invertirse en cada una de las visitas únicamente puedan visitarse pocos lugares. El número de lugares que pueden estudiarse dependerá de la disponibilidad del personal especializado del equipo y del tiempo que pueda invertir sobre el terreno. En cualquier caso, el principio de “ignorancia óptima” (“optimal ignorance”) sugiere que no es el número de lugares visitados lo que importa, sino su grado de representatividad. Para orientarse detalladamente acerca de la selección de lugares para el diagnóstico rural participativo/rápido, consulte el RRA Manual (Manual de diagnóstico rural rápido) de los Catholic Relief Services.

7.3.12 Preparar el plan de trabajo y presupuesto Una vez decididos los detalles del estudio de referencia, deberán resumirse en un plan de trabajo para el estudio y presupuestarse.

7-11


Octubre de 2002

Tabla 7.3: Ejemplo del contenido de un plan de trabajo para un estudio de referencia Resumen (incluir calendario/diagrama de Gantt) Antecedentes y propósito del estudio Resumen de objetivos, indicadores y beneficiarios de la operación Objetivos del estudio Preguntas y temas a estudiar Examen de fuentes de datos disponibles Recopilación de datos Unidades de estudio Utilización de datos secundarios Técnicas de recopilación de datos Selección de muestra/lugares Diseño Diseño del cuestionario o de la lista de verificación Plan para las pruebas Trabajo sobre el terreno El equipo de trabajo sobre el terreno Formación necesaria Calendario para el trabajo sobre el terreno Plan para la supervisión Plan para verificar y archivar los datos Procesamiento y análisis de datos Plan para el procesamiento y análisis de datos Tablas de datos propuestas Formación necesaria Notificación e información de retorno Forma propuesta para el informe del estudio Plan para la presentación de hallazgos Anexos: Presupuesto Documento del diseño de la operación

Aunque no es posible orientar con exactitud acerca de los costos de la recopilación de datos primarios de referencia, en un presupuesto para la recopilación de datos de referencia posiblemente deban incorporarse las siguientes partidas:

7-12


Octubre de 2002

Tabla 7.4: Posibles partidas a incluir en el presupuesto para una estudio de referencia Título del presupuesto Personal

Formación

Transporte Equipos

Papelería

Publicidad

Imprevistos

Lista de posibles partidas del presupuesto Sueldos y dietas de personal Para asesores contratados Para personal destacado en el terreno implicado en la recopilación de datos Para supervisores que trabajan sobre el terreno Para personal de introducción y procesamiento de datos Para conductores Alquiler del local donde se impartirá la formación y alojamiento Transporte al terreno para realizar ejercicios de formación práctica Alquiler de equipos didácticos Alimentos y bebidas Material didáctico y artículos de papelería Gastos de operación de vehículos Cualquier asignación para el mantenimiento de motocicletas y bicicletas adquiridas específicamente para la realización del estudio Equipos de medición (p. ej. balanzas, cintas métricas, etc.) Material para personal destacado en el terreno (p. ej. carpetas sujetapapeles, calculadoras, etc.) Material informático (p. ej. computadoras, programas, productos consumibles) Transporte (p. ej. bicicletas o motocicletas) Folios para cuestionarios o listas de verificación (incluidos folios de reserva) Manuales (p. ej. para la recopilación de datos, introducción de datos, etc.) Informes pro forma para el seguimiento de la recopilación de datos Bolígrafos, lápices, sacapuntas, borradores, reglas, etc. Producción de informes Afiches Folletos Alquiler de locales para reuniones Publicidad por radio Difusión de los resultados del estudio (p. ej. mediante un taller) Considerar problemas inesperados y retrasos en el trabajo sobre el terreno

7-13


7.4

Octubre de 2002

Cómo analizar los datos y cómo elaborar informes a partir de los mismos

Sea cual sea el método aplicado, los resultados de la recopilación y análisis de los datos de referencia deberán presentarse en un informe interesante y bien estructurado. El exceso de detalles puede confundir y desviar la atención de los principales hallazgos. Cuando el informe está mal redactado o estructurado, es probable que el valor de los datos pase desapercibido a los responsables de gestión de la operación y a las personas encargadas de llevar a cabo posteriormente el seguimiento y evaluación de la misma.

7.4.1 La presentación es esencial El informe de referencia deberá proporcionar, en primer lugar, un breve resumen de los hallazgos, que será distribuido a todas las partes involucradas. El resumen deberá constar de una o dos páginas de puntos destacados, explicados con estadísticas claves que describan el estado de los principales indicadores. Se deberá preparar un informe principal más detallado que incluya un índice de contenidos bien estructurado para orientar al lector y figuras y tablas en número moderado para mejorar la comprensión. Los datos fundamentales deberán presentarse en tablas resúmenes en la parte principal del informe. Los datos más detallados se incluirán en anexos o se pondrán a disposición previa petición a aquellas personas que los necesiten, siempre y cuando se respete la confidencialidad de los mismos. Deberá prestarse atención a indicar posibles errores u omisiones en los resultados de referencia y el nivel de significancia de los hallazgos de cualquier estudio regular realizado. Las aportaciones de todas las personas participantes en el estudio de referencia deberán agradecerse debidamente.

7.4.2 Tener en cuenta la relación con el seguimiento Deberán hacerse recomendaciones para el plan de seguimiento durante la operación y respecto a qué medidas es aconsejable adoptar para la recopilación de datos según la experiencia adquirida con el enfoque aplicado en la realización del estudio de referencia. De acuerdo con esta experiencia, ¿qué puede y qué no puede medirse con el menor costo posible? ¿Cuáles son las recomendaciones en cuanto a los indicadores de cambio más sensibles para el tipo de operación elegido?

7.4.3 Utilización de los resultados Incluso cuando la obtención de datos no se haya realizado de forma marcadamente participativa, sí podrán hacerse así la discusión y la utilización de los hallazgos. Así, a través de talleres, reuniones sobre el terreno y medios de comunicación locales se pueden validar y puntualizar los resultados de referencia y asegurar una mayor pertinencia. Resumiendo, el estudio de referencia deberá utilizarse como herramienta de planificación y los resultados deberán considerarse en la revisión de la matriz de planificación y utilizarse para diseñar planes de trabajo corregidos para el primer año de la operación.

7.4.4 Preparación del informe La función principal del informe del estudio de referencia es presentar datos que se utilizarán, en el futuro, para establecer comparaciones. El informe puede ser menos analítico que en los casos de estudios de planificación o diagnóstico, aunque siempre será necesario realizar un cierto análisis. En muchos casos, la elaboración del informe del estudio de referencia se encargará a una tercera parte. En la preparación de los informes deberán considerarse los siguientes aspectos: •

Los resultados para todas las variables especificadas en el estudio deberán presentarse para cada uno de los ámbitos administrativos o de otro tipo de la operación y de acuerdo con las unidades de estudio que se hayan determinado. 7-14


•

•

Octubre de 2002

Todos los datos deberán presentarse en tablas básicas que contengan un cálculo adecuado de la tendencia central (media o mediana en el caso de números cardinales, modo en el caso de datos ordinales o nominales), junto con una presentación adecuada de la distribución (distribución de la frecuencia para datos ordinales o nominales, desviación estándar para la media aritmética, amplitud intercuartil para las medianas). Deberá solicitarse a la organización que lleva a cabo el estudio y la recopilación de datos que especifique tablas de datos antes de iniciar el trabajo. Cuanto más detallados sean los datos, tanto más probable es que el estudio alcance sus objetivos.

El informe deberá estar estructurado de forma que se adapte a las circunstancias específicas de la operación. Aún así, la tabla 7.5 sirve de orientación general al respecto. Tabla 7.5: Ejemplo del contenido de un informe de un estudio de referencia Resumen (incluir tabla de valores de referencia de los indicadores clave) Diseño del estudio Antecedentes y propósito del estudio Objetivos Alcance de las preguntas y temas Unidades de estudio Utilización de datos secundarios Elección de la técnica Hallazgos Población (cálculos de la población de interés en las áreas beneficiarias) Beneficiarios seleccionados (cálculos de grupos beneficiarios pertinentes) Indicadores clave de rendimiento pertinentes para la operación (estructuración de acuerdo con la estructura de la matriz de planificación: participación de grupos beneficiarios en las actividades; datos relativos al producto; datos relativos a las consecuencias) Comparaciones con datos de otras fuentes o de años anteriores Comparaciones con datos del grupo de comparación (en el caso de estar incluido en la muestra) Repercusión sobre el seguimiento y evaluación Cuestiones relativas a la metodología de recopilación de datos Anexos de datos Tablas de datos resumidos según unidades de estudio geográficas u otras unidades de estudio pertinentes

7-15


7.5

Octubre de 2002

Próximas etapas – estudios complementarios para el seguimiento y evaluación

El propósito de la recopilación de información de referencia es sentar las bases para el seguimiento y evaluación posteriores. Por ello, en el informe de referencia deberán determinarse métodos y estrategias adecuados para la realización del seguimiento y evaluación. Un ejemplo sencillo, que sirve para ilustrar esta relación, es el del estado nutricional. La determinación de las necesidades de alimentos en una situación de emergencia puede incluir estudios nutricionales que proporcionen una referencia sobre el estado nutricional de la población. Es importante que durante el diseño del estudio nutricional de referencia se considere qué técnicas antropométricas podrían utilizarse que, a su vez, fueran técnicas prácticas para ser incluidas en el sistema de seguimiento de la operación. La utilización de una misma técnica (p. ej., medición de la circunferencia del antebrazo en menores de 5 años) en el estudio nutricional de referencia y en el sistema de seguimiento, permite orientar los progresos durante la operación más eficazmente hacia el logro de los objetivos. Deberá pensarse también sobre la necesidad de realizar o no un estudio complementario y sobre cuándo sería el momento adecuado para realizarlo. Cuando esté prevista una fase posterior de la operación, puede ser necesario elaborar un estudio complementario mientras se esté ejecutando la operación – p. ej. como preparación para la planificación o misión de apreciación para la siguiente fase. En el caso de operaciones que se estén concluyendo, el estudio complementario deberá realizarse inmediatamente antes o después de su conclusión, a fin de poder determinar todo su impacto. Los datos obtenidos en el estudio complementario se comparan entonces directamente con los datos de referencia, a fin de determinar las diferencias - ¿cuál era la situación anteriormente? ¿cuál es la situación en la actualidad? Los datos necesarios para establecer la comparación entre “antes” y “después” (o “con” y “sin” en el caso de utilizar un grupo de comparación) pueden proceder del sistema de seguimiento. En este caso, los costos del estudio complementario serán considerablemente inferiores a los del estudio de referencia inicial. No obstante, en caso de no ser así, el estudio complementario supondrá unos costos similares, en términos reales, al estudio de referencia. En el caso de operaciones de emergencia y de desarrollo, al obtenerse los datos de referencia generalmente a partir de evaluaciones preliminares, los datos de seguimiento podrán obtenerse a partir de estimaciones posteriores. Al final de la operación puede seguir existiendo la necesidad de llevar a cabo una estimación final como parte de la evaluación, a fin de determinar si se han alcanzado los objetivos.

7-16


Octubre de 2002

ENSEÑANZAS EXTRAÍDAS DEL MÓDULO 7 DISEÑO DEL ESTUDIO • • • • • •

ANTECEDENTES DEL ESTUDIO RECOPILACIÓN DE DATOS DISEÑO DE LA INVESTIGACIÓN TRABAJO SOBRE EL TERRENO PROCESAMIENTO DE DATOS NOTIFICACIÓN E INFORMACIÓN DE RETORNO

7-17

Módulo 8: Herramientas para la recopilación de datos

8.

Octubre de 2002

Herramientas para la recopilación de datos

En este módulo se presentan algunos conceptos básicos y definiciones relativos a la recopilación y análisis de datos y se ofrece un resumen de las herramientas y métodos disponibles en este ámbito. Se proporcionan, además, vínculos para material de referencia clave disponible tanto dentro de la Federación y las Sociedades Nacionales como fuera de ellas, en el que puede encontrarse el “cómo...” detallado para cada una de las herramientas indicadas.

8.1

Conceptos y definiciones

8.1.1 Datos, información y calidad “Datos” es un término asignado a hechos o cifras sin procesar que, por sí solos, tienen poco valor. Pueden ser todo, desde una cifra o número a un nombre o acontecimiento. Estamos tan acostumbrados a asociar los datos con hechos, que con frecuencia nos resulta difícil comprender los datos en su forma más simple. Puede que esto resulte más claro al considerar el siguiente ejemplo: Podemos disponer de dos componentes de datos: Nairobi (un nombre) y 652467 (una cifra). Cada uno de los dos constituye meramente un dato y significa poco para nosotros. Sin embargo, juntos, Nairobi 652467, ya resultan más útiles, pues relacionan entre sí dos asuntos, y con un poco de imaginación podemos deducir que se trata de un número de teléfono en Kenia. Aún resultaría más útil si dispusiéramos, además, de datos relativos a las señas y a quién reside allí. Sin estos datos, la información es de muy poco valor – la información está constituida por datos cuya utilidad viene determinada por su pertinencia y significado, resultantes de su procesamiento.

datos

procesamiento

información

El objetivo de la información es aumentar los conocimientos del usuario y reducir sus dudas, lo cual sólo puede alcanzarse cuando la información es de calidad. La palabra “calidad” hace referencia, en este lugar, a las características que deberá exhibir la información a fin de resultar útil para tomar decisiones racional y eficazmente. • • •

Concisión – La información deberá estar refinada y resumida de tal manera que ofrezca al usuario precisamente lo que necesite, ni más ni menos. Toda información superflua significa almacenaje, procesamiento y asimilación adicionales y, con ello, decisiones de peor calidad. Integridad – En la medida de lo posible, toda la información deberá presentarse en un sólo documento, a fin de prevenir la pérdida de tiempo y la interpretación errónea de datos interrelacionados. Exactitud/seriedad – La información suministrada deberá ser suficientemente exacta para el propósito al que se destina. Elevar el nivel de exactitud incrementa los costos, mientras que no siempre aumenta el valor de la información. P. ej., saber que el tamaño medio de las familias es de 4,7 personas no resulta más útil que saber que el valor se encuentra entre 4 y 5. 8-1


•

•

•

•

Octubre de 2002

Oportunidad – La información puede ser muy exacta, pero si se suministra con retraso carecerá de valor. Cuando no pueda alcanzarse la exactitud deseada en el tiempo disponible, deberá establecerse un compromiso entre la velocidad de suministro y la exactitud de la información. Buena presentación – El usuario debe poder asimilar la información con rapidez. Con frecuencia, una presentación deficiente puede ocultar el mensaje que pretende transmitir la información. La utilización de figuras, gráficos y otros diagramas contribuye a facilitar la asimilación de la información, pero deberá tenerse cuidado de asegurar que cada uno de ellos transmita el mensaje deseado. Pertinencia – Solamente tiene valor la información que es importante para las decisiones que deben tomarse. Cuando no existe una relación entre la información suministrada y los requisitos por parte de la toma de decisiones (p. ej. proporcionando información inadecuada, demasiada información o información con un nivel de detalle inapropiado), se socavará el valor de la información. Rentabilidad – Como recurso en el proceso de toma de decisiones, la información posee un costo y un valor. Costos en cuanto a los recursos invertidos en recopilar y procesar los datos, y valor en cuanto a los beneficios más amplios derivados de una decisión correcta tomada de acuerdo con los hallazgos.

8.1.2 Exactitud, precisión y sesgo Imagine a un responsable de realizar un seguimiento de ayuda alimentaria que desee determinar el precio del maíz en los mercados locales. Esta persona registra el precio de una cantidad de maíz pesada en una muestra de comerciantes de una muestra de mercados locales. Si la oscilación de los precios registrados es amplia, el precio medio calculado probablemente no sea preciso. Si las balanzas utilizadas para pesar no están correctamente calibradas, el cálculo no será exacto. Los datos inexactos conducen a un sesgo en los resultados, situación que puede verse adicionalmente exacerbada si la muestra de mercados seleccionados no era representativa – p. ej. únicamente mercados de poblaciones más grandes, en los que los precios pueden ser más elevados que en los mercados de áreas más remotas. •

•

•

La precisión se refiere al grado de confianza con el cual el cálculo obtenido en el estudio representa el valor real de la población. En las estadísticas se utiliza para referirse a la proximidad de un cálculo obtenido a partir de la muestra a la media de la distribución de la muestra. La exactitud se refiere al grado con el cual el cálculo obtenido en el estudio se ajusta a la situación real de la población en su conjunto. En las estadísticas se utiliza para referirse a la proximidad con la que el cálculo obtenido a partir de la muestra se ajusta al valor real de la población. El sesgo significa que la situación se representa desde una determinada perspectiva. En las estadísticas se utiliza para referirse a la diferencia entre la media de la distribución de la muestra de un estimador y el valor verdadero de la población.

Por muy científicos que sean los métodos utilizados, ninguna investigación carece completamente de sesgo. El proceso de diseño y realización de un ejercicio de recopilación de datos y el análisis de los mismos se verán influenciados por la experiencia, percepciones e hipótesis del investigador, así como por las herramientas aplicadas y estrategias seguidas para la selección de la muestra y la recopilación de datos. El sesgo puede producirse en una o varias de las tres etapas de diseño, recopilación de datos y análisis de los mismos: •

Sesgo producido en la etapa de diseño – Independientemente de la herramienta utilizada para recopilar los datos (encuesta regular, investigación rápida o participativa), es posible que 8-2


• •

Octubre de 2002

la muestra seleccionada no represente a la población que pretende presentar. P. ej., el punto de vista de los hombres puede ser distinto al de las mujeres; las poblaciones situadas cerca de carreteras pueden poseer problemas diferentes a los de poblaciones más remotas; etc. Sesgo producido en las mediciones – Las preguntas pueden plantearse de forma capciosa; la medición directa puede realizarse de forma incorrecta; la actitud del entrevistador puede influir en la forma de plantear las preguntas y de registrar las respuestas. Sesgo producido en el análisis – Puede ocurrir que los datos no estén desglosados debidamente; formas diferentes de analizar los datos pueden generar resultados diferentes.

En la elección de los métodos de recopilación de datos con frecuencia deberá llegarse a un compromiso entre exactitud y precisión. Sin embargo, en todo momento y para todos los métodos es imprescindible evitar o tratar de solucionar el sesgo. Si desea obtener una explicación más detallada acerca del sesgo en el contexto del diagnóstico rápido o participativo, consulte Methodological Principles (RRA Manual (Manual de diagnóstico rural rápido) de los Catholic Relief Services, Volume I, Part II).

8.1.3 Métodos cuantitativos y cualitativos Los datos cuantitativos se presentan en forma de cifras (259 niñas se graduaron del nivel 8°) y los métodos cuantitativos ayudan a responder a preguntas tales como quién, cuánto, cuántos. Para suministrar cálculos precisos de las variables estudiadas (frecuencias, medias, intervalos, etc.), pueden realizarse análisis estadísticos. Los datos cualitativos se presentan en forma de palabras (la chica/entrevistada afirmó que la ración que recibía era monótona, pero que era más de lo que hubiera recibido en caso de permanecer en su casa) y los métodos cualitativos ayudan a dar respuesta a preguntas como cómo y por qué. Se trata más bien de explicar significados, procesos, motivos y comentarios. Puede resultar confuso, pero los métodos cualitativos pueden generar datos cuantitativos. P. ej., durante una entrevista en grupo realizada para determinar el papel desempeñado por las mujeres en los comités de distribución de alimentos en el marco de un programa de alimentación escolar, la mayoría de las mujeres defendió el punto de vista de que las decisiones eran coherentes con su propia percepción en cuanto a las prioridades de la distribución de alimentos (información cualitativa). Cuando se les pidió que valoraran el grado de su influencia frente a una escala definida, el 67 % de las mujeres valoró su influencia como “eficaz” (información cuantitativa). Las técnicas cuantitativas resultan útiles en las siguientes situaciones: • • • • •

cuando se requieren datos exactos y precisos; cuando se vayan a utilizar cálculos para generalizar acerca del comportamiento de la población en su conjunto (p. ej. mediante la utilización de intervalos de confianza); para comprobar si entre las variables existe una relación que pueda demostrarse en un análisis estadístico; para producir datos que demuestren que existe un problema concreto o para justificar una determinada estrategia; para determinar las características de una población (p. ej. durante una encuesta de referencia).

Si desea consultar material útil con explicaciones sobre técnicas cuantitativas, consulte las referencias de métodos para la realización de estudios regulares por muestreo.

8-3


Octubre de 2002

Las técnicas cualitativas son útiles cuando: • • • • •

se desea adquirir un conocimiento profundo sobre un tema concreto; se necesita disponer de información acerca de lo que piensan las personas en relación con una situación determinada y conocer sus prioridades; se desea entender por qué las personas se comportan de cierta manera; es necesario confirmar o explicar hallazgos cuantitativos obtenidos de un estudio previo o a partir de datos secundarios; hay escasez de recursos y tiempo.

Si desea consultar material útil con explicaciones sobre técnicas cualitativas, consulte las referencias de métodos rápidos y participativos. Aunque pueda parecer que los métodos cuantitativos y los cualitativos se sitúan, respectivamente, en los dos extremos de la gama de métodos de recopilación de datos, pueden, de hecho, ser complementarios. P. ej., los métodos cualitativos pueden utilizarse para examinar determinadas cuestiones durante las primeras etapas de un estudio más largo, permitiendo a los investigadores entender mejor las preguntas que deben plantearse como parte de un estudio cuantitativo. A la inversa, los métodos cuantitativos pueden destacar determinadas cuestiones que, posteriormente, podrán estudiarse con más detalle aplicando métodos cualitativos. Para consultar ejemplos sobre cómo combinar indicadores cuantitativos y cualitativos, véase el capítulo “III. Data issues” en el International Federation and National Societies Indicator Menu.

8.1.4 Ignorancia óptima La expresión “ignorancia óptima” (“optimal ignorance”) ha surgido a partir del desarrollo de técnicas rápidas y participativas y se refiere al compromiso que se establece entre, por una parte, el deseo de disponer de información exacta y precisa y, por otra parte, la oportunidad de la información y los costos de la recopilación de datos. Está respaldada por los siguientes principios: • • •

•

Hablar con las personas adecuadas – La buena información no viene determinada por el número de personas con las que se conversa, sino por la diversidad de informantes y su capacidad para describir una situación. Coherencia y entendimiento – La confianza en los datos no surge a partir de la cantidad de datos recopilados, sino por la coherencia de la información suministrada por los informantes y por el entendimiento que ésta proporciona al investigador. ¿Exactitud o precisión? - No es necesario ser precisos al 100 %. Conocer que el tamaño medio de las familias es de 5,4 miembros probablemente no resulte de mayor utilidad que saber que la media se encuentra entre 5 y 6 miembros, e incluso es probable que para obtener la cifra más precisa haya que invertir considerablemente más tiempo y recursos. Evitar el exceso de información – No es necesario saberlo todo, incluso aunque sea interesante. En cualquier caso, es imposible saberlo todo acerca de las personas y sus comunidades. Debemos ser capaces de entender su complejidad, más que de documentar sus características.

8-4


8.2

Octubre de 2002

Herramientas para la recopilación de datos

Si desea obtener información específica relativa a herramientas adecuadas para recopilar datos en situaciones de emergencia, consulte el capítulo 2 del International Federation and National Societies Emergency Field Operations Pocketbook (Cuaderno de la Federación y las Sociedades Nacionales para operaciones de emergencia sobre el terreno) (próxima publicación).

8.2.1 ¿Qué es el diagnóstico rápido? Los métodos de diagnóstico rápido son medios rápidos y de bajo costo para recopilar sistemáticamente datos en apoyo de las necesidades de información del personal de gestión. Estos métodos se sitúan en el punto medio entre los métodos nada formales, como las visitas al terreno, y los métodos altamente formales, tales como los estudios por muestreo, y generan datos cualitativos. El diagnóstico rápido comparte numerosas características con el diagnóstico participativo (triangulación, equipos multidisciplinarios, etc.) y se fundamenta en el reconocimiento de que los conocimientos que poseen las personas que viven en el área del estudio constituyen una aportación vital para el proceso de toma de decisiones de gestión. En los dos enfoques es importante la función facilitadora del equipo de diagnóstico. El equipo, más que relatar debe escuchar, más que dictar términos y condiciones debe crear situaciones a partir de las cuales pueda aprenderse, y más que controlar debe facilitar. Tabla 8.1: Puntos fuertes y limitaciones del diagnóstico rápido frente a métodos regulares Puntos fuertes

Limitaciones

Bajo costo – Normalmente se utiliza una muestra más pequeña y el enfoque es más concentrado que en el caso de los estudios por muestreo, por lo que el diagnóstico rápido puede llevarse a cabo por un costo muy inferior al de los métodos regulares. Rápida producción de datos – Con los métodos de diagnóstico rápido pueden, en días o semanas, recopilarse y analizarse datos y elaborarse informes pertinentes para los responsables de la toma de decisiones. Esto no es posible con los estudios por muestreo. Para los responsables de la toma de decisiones, quienes muy pocas veces pueden permitirse retrasar la toma de decisiones a la espera de información, son ventajosos los métodos de diagnóstico rápido. Análisis en profundidad – Son buenos métodos en cuanto a que proporcionan un entendimiento profundo de sistemas o procesos socioeconómicos complejos. Los métodos regulares, centrados en proporcionar información cuantificable, no sitúan adecuadamente los fenómenos sociales y económicos en su contexto. Flexibilidad – Los métodos de diagnóstico rápido permiten a los evaluadores examinar nuevas ideas y cuestiones pertinentes que pueden no haberse previsto en la planificación del estudio. En los estudios por muestreo, una vez diseñado el cuestionario y emprendido el estudio, no son posibles estos cambios. Exactitud – Los pequeños estudio por muestreo, como herramienta de diagnóstico rápido, pueden suministrar información exacta a partir de pequeñas muestras, pero es posible que esté sesgada, de ahí la necesidad de aplicar la triangulación (véase “Precisión” en la columna de al lado).

Fiabilidad y validez – Es posible que la información generada carezca de fiabilidad y validez debido a las técnicas de muestreo informales, al sesgo resultante de la actuación de los evaluadores o entrevistadores, y por dificultades en el registro, codificación y análisis de datos cualitativos. Para reducir el sesgo resultante de la recopilación de datos, pueden aplicarse técnicas tales como la triangulación. Precisión – La mayoría de los métodos de diagnóstico rápido generan información cualitativa. Incluso cuando se producen datos cuantitativos (p. ej. en un pequeño estudio por muestreo), no es posible generalizarlos con precisión, pues los datos normalmente se basan en muestras no representativas. Así, el diagnóstico rápido puede mostrar que muchas mujeres no van a una clínica, pero no proporcionará un cálculo acerca del porcentaje de mujeres que no lo hacen. Credibilidad – La mayoría de los responsables de la toma de decisiones quedan más convencidos con cifras precisas que con afirmaciones descriptivas cualitativas. Por ejemplo, el resultado de una encuesta, de que el 83 % de las mujeres de cierta comunidad estaban satisfechas con los servicios prestados por una clínica, probablemente tendrá más peso que la conclusión, basada en entrevistas a informantes claves, de que la mayoría de las mujeres parecían estar satisfechas.

8-5


Octubre de 2002

Entre los métodos utilizados con mayor frecuencia se incluyen: •

• • • •

•

Entrevistas a informantes claves: Implica entrevistas a 15-35 personas seleccionadas por sus conocimientos y para reflejar diferentes puntos de vista. Las entrevistas son cualitativas, detalladas y semiestructuradas. Se utilizan guías de entrevista con una lista de temas, pero las preguntas se formulan durante la entrevista aplicando técnicas ingeniosas de sondeo. Grupos temáticos: Varios grupos homogéneos, de 8 a 12 participantes cada uno de ellos, que discuten temas y experiencias. Un moderador presenta el tema, estimula y enfoca la discusión, y evita que unos pocos la dominen. Entrevistas a la comunidad: Se realizan en reuniones públicas abiertas a todos los miembros de la comunidad. Los participantes interaccionan con el entrevistador, que preside la reunión y plantea preguntas según una guía de entrevista cuidadosamente preparada. Observación directa: Equipos de observadores documentan lo que observan y escuchan en el lugar de una operación, utilizando para ello un formulario detallado de observación. Se puede observar el entorno físico o actividades, procesos y discusiones en curso. Pequeños estudios por muestreo: Incluyen entrevistas a 25-50 personas, normalmente seleccionadas utilizando técnicas de muestreo no probabilístico. Se utilizan cuestionarios estructurados que se centran en un número limitado de preguntas cerradas. Generan datos cuantitativos que frecuentemente pueden recopilarse y analizarse con rapidez. Herramientas de visualización: Incluyen la elaboración de mapas, diagramas, calendarios, programas y otras técnicas no verbales de documentación de datos. Se incita a los participantes a elaborar respuestas visuales a preguntas planteadas por los entrevistadores, p. ej. la elaboración de un mapa del área en el que residen. Son especialmente útiles para conocer los puntos de vista de los habitantes del lugar en relación con ciertos temas y para obtener respuestas de personas o grupos que normalmente evitarían participar en una discusión más formal.

8.2.2 ¿Qué es el diagnóstico participativo? En la Federación y las Sociedades Nacionales, la participación se define como enfoque centrado en las personas, con el que se tiene la mayor probabilidad de obtener buenos resultados, pues posee el potencial para fortalecer la voz de las personas más vulnerables. La participación incluye a mujeres y hombres, y les permite influir en su seguridad alimentaria a través de procesos de desarrollo de su autonomía. Estos procesos incrementan los conocimientos y aptitudes y, con ello, promueven la autosuficiencia. Como mínimo, ello implica realizar consultas, intercambiar conocimientos y adoptar medidas equitativas para compartir los beneficios. La participación implica un cambio en la actitud adoptada por la Federación, las Sociedades Nacionales y sus asociados ejecutores hacia una nueva situación en la que se comparta el control con los beneficiarios (“traspasar la batuta”, como declaró Robert Chambers) y un reconocimiento explícito de la importancia asociada a la descripción de los procesos seguidos para planificar y ejecutar operaciones. Las herramientas participativas son los medios a través de los cuales puede llevarse a la práctica este enfoque. El “diagnóstico participativo” es el término utilizado para describir un proceso y un conjunto de técnicas de recopilación y análisis de datos cualitativos. Mientras que un diagnóstico rápido es un estudio discreto, el diagnóstico participativo es un proceso extenso que puede durar meses o años, según vayan desarrollando las comunidades su propia capacidad necesaria para abordar cuestiones, analizar posibilidades y llevar a cabo actividades. Frecuentemente, no se hace hincapié tanto en la información como en el proceso y en la búsqueda de formas de implicar a la comunidad en la planificación y en la toma de decisiones. La principal característica de las herramientas participativas es su atención especial a la toma de decisiones participativa, permitiendo así a los beneficiarios y partes interesadas analizar su propia 8-6


Octubre de 2002

situación y no que sean personas externas las que la analicen. Ello no implica la exclusión o marginación de personas externas. Más bien se reconoce que éstas deben adquirir los conocimientos sobre determinadas situaciones a partir de las “personas internas”, y que éstas son capaces de analizar sus propios problemas. Las herramientas y el enfoque se inspiran en técnicas desarrolladas en ámbitos tales como la antropología aplicada y suministran un medio para analizar las complejas relaciones y actividades interrelacionadas presentes en grupos y comunidades. En los siguientes puntos se resumen algunas características fundamentales de las herramientas participativas, muchas de ellas comunes a las de las técnicas rápidas: •

•

• • •

•

•

Triangulación – Hace referencia al proceso de verificación de la información. Para la triangulación se utilizan equipos multidisciplinarios compuestos por miembros con diferentes conocimientos, experiencia y puntos de vista; se aplican diferentes herramientas y técnicas para recopilar y analizar los datos; y se consultan diferentes fuentes de información en relación con un mismo problema. De este modo, pueden determinarse la fiabilidad y sesgo de los resultados y, cuando sea necesario, podrá actuarse al respecto. Enfoque multidisciplinario – Personas con conocimientos, experiencias y opiniones diferentes buscarán y encontrarán aspectos diferentes, y el equipo en su conjunto obtendrá nuevos y más detallados puntos de vista. Siempre deberán incluirse en el equipo mujeres, así como miembros de la comunidad o grupo en cuestión. Técnicas mixtas – La utilización de varias técnicas proporciona más detalle a la información recopilada. Normalmente, el equipo intentará utilizar una mezcla de técnicas de entrevista y discusión, elaboración de diagramas y mapas, y observación directa. Comunidad – La mayoría de las actividades se llevan a cabo conjuntamente con miembros de la comunidad o del grupo, o las realizan por sí solos la comunidad o el grupo. Ignorancia óptima – Se adopta un enfoque rápido, aunque menos preciso, encontrándose un equilibrio entre el grado de precisión que se pretende alcanzar y el tiempo y recursos disponibles. Deberán evitarse detalles o exactitud innecesarios, pues se incrementaría la carga de la recopilación y análisis de datos y se pondría en peligro la oportunidad e idoneidad de los hallazgos. Si desea obtener información adicional al respecto, consulte el punto 8.1.2 Exactitud, precisión y sesgo. Flexibilidad y análisis sobre el terreno – Los planes y métodos son semiestructurados y se discuten y modifican a medida que va avanzando la labor sobre el terreno. El equipo revisa y analiza constantemente los hallazgos para decidir cómo continuar. A medida que van aumentando los conocimientos, se van situando más claramente en el centro de atención nuevas cuestiones y hallazgos imprevistos, y se pueden revisar los planes y métodos. Compensar el sesgo – El equipo deberá intentar permanentemente determinar posibles fuentes de error o sesgo y ver cómo influyen sobre los hallazgos. Los puntos de vista deberán obtenerse de una muestra representativa de la comunidad o grupo, incluyendo a mujeres, niños y otros grupos vulnerables. Para ello puede ser necesario impartir formación especializada en conocimientos relativos a la sensibilización en materia de género, comunicación con niños, etc.

La facilitación es fundamental para lograr buenos resultados en el diagnóstico participativo, y las funciones desempeñadas por los miembros del equipo son cruciales. Por una parte son importantes para activar el interés de la comunidad al principio del ejercicio y para mantener su entusiasmo durante el mismo. Pero el equipo representa también el principal peligro para alcanzar el éxito, concretamente a través de la posible introducción de sesgo profesional o por un entusiasmo exagerado que puede abatir la iniciativa propia de los miembros comunitarios.

8-7


Octubre de 2002

8.2.3. El inventario comunitario – una herramienta práctica y rentable para la recopilación de datos El “inventario comunitario” constituye una herramienta útil en los casos en que escasean los recursos y el tiempo para recopilar datos y cuando la operación se centra en comunidades. Se trata de un método práctico y rentable que pueden aplicarlo empleados gubernamentales y organismos ejecutores tales como ONG. Con este método se documentan los siguientes tipos de datos: • •

•

Lugar, población, activos naturales y bienes creados por el hombre, y acceso a instalaciones y servicios. Determinación de la existencia de grupos específicos dentro de la comunidad, tales como personas mayores, familias con huérfanos a causa del SIDA, personas de determinados grupos étnicos o castas, personas con bajo nivel de bienestar, y tamaño y características de estos grupos. Opiniones de grupos de la comunidad respecto a problemas y sus posibles soluciones.

El inventario comunitario puede realizarse mediante una investigación participativa, y muchos países cuentan con personal de departamentos gubernamentales, ONG, personal universitario y asesores experimentados en este tipo de trabajo.El inventario deberá elaborarlo un equipo de dos o tres entrevistadores, que necesitará entre dos y tres días por comunidad. En la tabla 8.3 se resumen las técnicas específicas para cada tipo de datos. Los resultados que se obtienen en un inventario de este tipo pueden aprovecharse de diferentes maneras: • • • •

como referencia específica para comunidades o pueblos que participan en la operación; como fuente de información para planificar la operación de la Federación y las Sociedades Nacionales y determinar hogares o grupos beneficiarios; como parte de un proceso para establecer un plan de organización y desarrollo comunitarios; para establecer comparaciones durante las visitas al terreno y otras formas de contacto con beneficiarios.

8-8


Octubre de 2002

Tabla 8.3: Datos y fuentes de datos (los métodos recomendados están sombreados) Datos

Población

Activos naturales (tierras forestales, tierras de regadío, árboles forrajeros, pastos comunales, árboles para leña, corrimientos de tierra, erosión del suelo, fuentes de agua, etc.)

Bienes creados por el hombre (clínicas, escuelas, centros comunitarios, molino de cereales, puentes, mercados, etc.) Acceso a servicios básicos (disponibilidad de saneamiento y electricidad, abastecimiento por red de agua, etc.) Acceso a servicios básicos (dispensario, policía, ayuntamiento, trabajadores de divulgación y veterinarios, herrería, correos, caja de ahorros/crédito) Colaboración actual o reciente con organismos de desarrollo

Opinión de los beneficiarios relativa a problemas y sus soluciones

Identificación de grupos sociales en la comunidad

Ingresos de hogares

Fuentes de datos clasificadas según grado de exactitud Alto – Medición Bajo – Cálculo mediante mediante Documentos guardados por el Censo comunitario comité comunitario o consejo local, actualizados a partir del recuento más reciente

Observaciones Para la mayoría de los propósitos, resulta adecuado disponer de datos de la población en intervalos amplios de edades (p. ej. 20-45 años) para la planificación y seguimiento de la operación; es deseable disponer de datos desglosados por sexo. Las unidades locales pueden ser fidedignas, pero debe examinarse su conversión a unidades del sistema internacional.

Cálculo de tamaños y mapa del lugar en unidades de medición locales, procedentes de una reunión en grupo, comprobados recorriendo transectos a través de la comunidad y frente a documentos del consejo o gubernamentales. Lista elaborada en discusión con el comité o dirigentes locales, verificación visual

Estudio con cinta métrica y brújula relativo a superficie de las tierras, recuento de árboles, etc.

No disponible normalmente

Datos sencillos para entender la situación general y de bienestar de la comunidad.

Lista elaborada en discusión con el comité o dirigentes locales, verificación visual



Lista elaborada en discusión con el comité o dirigentes locales, verificación visual



Preguntar acerca de actividades recientes en reunión con comité o dirigentes locales. Verificación visual con varios grupos sociales. Respuesta de reunión en grupo de la comunidad, verificada en reuniones de seguimiento con miembros de diferentes grupos sociales. Elaboración de mapas sociales del lugar con miembros comunitarios.

Contactar a responsables locales de organismos que trabajan en la zona para investigar las actividades. Encuesta por hogares

Encuesta por hogares mediante visita única, con investigación acerca de niveles generales de gastos e ingresos.

Encuesta por hogares mediante visitas múltiples acerca de ingresos y gastos.

Buena práctica para establecer contacto con otros organismos, a fin de asegurar que no exista incompatibilidad con la labor a la que brindan apoyo la Federación y las Sociedades Nacionales. Siempre existe el peligro de que las opiniones recogidas de los grupos estén influenciadas por una minoría. Esto puede evitarse mediante triangulación y verificación. Las dos técnicas requieren una gran inversión de tiempo; los mapas sociales se ajustan bien a un transecto de la localidad y surgen naturalmente de las reuniones en grupo. Es muy difícil obtener datos fidedignos sobre ingresos. Normalmente es mejor aferrarse a cálculos generales de mejoras o empeoramiento, más que a valores cuantificados.

Censo comunitario completo

8-9


Octubre de 2002

8.2.4 ¿Qué es un estudio por muestreo? En un estudio por muestreo se estudia, en lugar de toda la población, parte de la misma. Se trata de un método cuantitativo para suministrar respuestas precisas y basadas en un análisis estadístico a preguntas cuidadosamente determinadas sobre temas estudiados detalladamente con antelación. Las muestras más fiables se extraen aleatoriamente, utilizando técnicas científicas, pues la teoría estadística permite predecir la precisión de los resultados, y los hallazgos pueden generalizarse para la población a partir de la cual se seleccionó la muestra. Entre los requisitos para llevar a cabo un estudio regular por muestreo, se incluyen: • • • • •

conocimientos y experiencia en el diseño de estudios por muestreo, muestreo y estadística; personal para la recopilación de datos (personal destacado en el terreno o entrevistadores) que sepa leer y escribir, que posea conocimientos básicos de aritmética y que sea capaz de establecer una relación con los entrevistados durante las entrevistas; experiencia con las condiciones reinantes sobre el terreno a fin de asegurar que los métodos de muestreo sean prácticos; preparación, planificación y ejecución adecuadas, lo que incluye realizar un estudio piloto para poner a prueba el cuestionario; capacitación y supervisión adecuadas del personal que trabaja sobre el terreno.

En los estudios por muestreo, en general, se utilizarán técnicas de medición (p. ej. medida del peso por altura de los niños para determinar su estado nutricional), técnicas de entrevista (p. ej. preguntar al entrevistado cuántas comidas ha ingerido durante la última semana y de qué alimentos se trató), o una combinación de ambas. Los hallazgos se basarán en los resultados cuantitativos, pero para entender más profundamente determinadas cuestiones puede hacerse uso de métodos cualitativos. Los estudios por muestreo pueden ser acontecimientos únicos (p. ej. para diagnosticar las causas de un problema concreto), parte de un programa o de una serie de estudios, o realizarse para establecer una comparación con otros estudios (p. ej. antes y después del análisis realizado para la evaluación frente a una referencia). En la tabla 8.4 se presentan los puntos fuertes y débiles de los estudios regulares por muestreo.

8-10


Octubre de 2002

Tabla 8.4: Puntos fuertes y débiles de los estudios por muestreo Puntos fuertes Los estudios por muestreo suministran respuestas precisas y basadas en un análisis estadístico a preguntas cuidadosamente determinadas. La exactitud de los resultados puede verificarse comprobando los métodos utilizados y los cálculos estadísticos realizados. La utilización de una muestra aleatoria significa que se establecerá contacto con personas u hogares de diferentes lugares. Los métodos de análisis son claros y pueden ser relativamente rápidos, especialmente cuando el estudio se lleva a cabo sobre el terreno y con la ayuda de computadoras portátiles. Los hallazgos pueden apoyar un argumento o hipótesis demostrando la magnitud y gravedad de un problema. Los estudios por muestreo permiten establecer comparaciones entre diferentes grupos de un mismo estudio o con los de otros estudios en los que se hayan aplicado métodos similares (p. ej. un estudio de referencia y otro complementario).

Puntos débiles Se requiere una cantidad considerable de recursos (personal, vehículos, combustible, computadoras, etc.), lo que significa que realizar estudios por muestreo resulta caro. Para llevar a cabo un estudio por muestreo pueden ser necesarias varias semanas o incluso meses. La recopilación de datos puede resultar molesta e inconveniente para las personas entrevistadas. Uno de los problemas que pueden surgir es la falta de cooperación, que puede provocar la obtención de resultados no fidedignos. Con frecuencia, los estudios por muestreo se planifican y los datos se analizan lejos del lugar del estudio, y con poca o ninguna participación de los habitantes del lugar. El trabajo con cuestionarios estructurados impide llevar a cabo discusiones relajadas. Los estudios por muestreo están enfocados a variables predeterminadas y frecuentemente sólo permiten una variedad limitada de respuestas. Cuando el diseño es deficiente, es posible que en el estudio se ignoren importantes vías de investigación o respuestas inesperadas que podrían resultar cruciales para los hallazgos del estudio. El análisis de grandes cantidades de datos numéricos requiere mucho tiempo y personal especializado. Existe el peligro de que gran parte de los datos recopilados no se analicen o utilicen eficazmente. Cuando se usan de forma incorrecta las herramientas de recopilación y análisis de datos, es posible que los resultados no sean válidos. Los estudios por muestreo están diseñados para probar o negar aquello que piensan los diseñadores, por lo que es importante examinar críticamente los métodos aplicados y las conclusiones sacadas.

Fuente: ”Toolkits: A Practical Guide to Assessment, Monitoring, Review and Evaluation”, Save the Children Fund, 1995

En el diseño de los estudios por muestreo resultan fundamentales el marco de muestreo y el tamaño de la muestra. El marco de muestreo es la población o universo de las unidades de muestreo (hogares, escuelas, explotaciones agrarias, menores de cinco años en un campamento de refugiados, etc.) a partir de la cual se seleccionará la muestra. Los marcos de muestreo pueden elaborarse a partir de fuentes existentes (p. ej. un mapa de reconocimiento aéreo) o especialmente para el estudio (p. ej. preparando una lista de todos los hogares del área de estudio). Sin embargo, la elaboración de un marco de muestreo puede resultar una tarea cara y en la que haya que invertir mucho tiempo, pudiendo ser necesario, p. ej., visitar cada uno de los hogares de un distrito determinado. Mediante técnicas como el muestreo múltiple o por grupos puede paliarse este inconveniente. Estas técnicas son también aplicables cuando no se dispone de una lista completa de unidades de muestreo. El punto 7.3 Planificación y gestión de un estudio de referencia (módulo 7) sirve de orientación general en cuanto al tamaño de muestra. Es importante recordar que lo que determina la precisión de los cálculos obtenidos en un estudio por muestreo es el tamaño de la muestra en términos absolutos, y no la proporción de la muestra (p. ej. el 10 % de todos los hogares).

8-11


Octubre de 2002

8.2.5 El seguimiento a través del contacto con beneficiarios – seguimiento de la probabilidad de alcanzar los objetivos El seguimiento a través del contacto con beneficiarios (BCM de sus siglas en inglés) considera el acceso a los bienes y servicios resultantes de la operación, la utilización de los mismos y la satisfacción al respecto por parte de los beneficiarios. La matriz de planificación incluye implícitamente la hipótesis de que si se produce el producto y las hipótesis son verdaderas, entonces se alcanzará el propósito. Los indicadores de BCM suministran información acerca de la probabilidad de que la producción del producto conduzca al logro del propósito, de acuerdo con el siguiente razonamiento: • • •

Si el grupo beneficiario no disfruta de acceso al producto de la operación, no obtendrá ningún beneficio. Si el grupo beneficiario disfruta de acceso al producto de la operación, pero decide no utilizarlo, no obtendrá ningún beneficio. Si el grupo beneficiario utiliza el producto de la operación, pero no queda satisfecho con los servicios o medios ofrecidos, es poco probable que los utilice durante largo tiempo y, por lo tanto, obtendrá beneficios limitados.

En el BCM es necesario realizar una investigación sistemática de la respuesta de los beneficiarios al producto y actividades de la operación. Deberán examinarse las siguientes preguntas, teniendo en cuenta los diferentes grupos participantes (hombres, mujeres, niños y otros grupos vulnerables): • • • • •

¿Está alcanzando la operación a los grupos beneficiarios seleccionados? ¿Quién disfruta de acceso, quién no, quién participa y quién no? ¿Es útil para los beneficiarios el producto de la operación (alimentos, bienes, conocimientos disponibles a través de capacitación, etc.)? ¿Desempeña la ayuda alimentaria la función prevista? ¿Cómo influye la ayuda alimentaria en el comportamiento de los beneficiarios participantes? ¿Se enfrentan los grupos de beneficiarios a problemas específicos? ¿En qué perciben que está mejorando su vida como resultado de la operación?

Después se realiza un seguimiento de acuerdo con la respuesta de los beneficiarios. Si la operación evoluciona según el plan, los responsables de gestión pueden continuar con su ejecución. Si se identifican problemas, puede ser necesario realizar una investigación más detallada para determinar las medidas de gestión que deberán adoptarse. En las operaciones en las que intervienen la Federación y Sociedades Nacionales, el BCM puede llevarse a cabo en dos niveles: •

•

Nivel 1 – Durante cualquier visita regular al terreno el personal debe reunirse con beneficiarios y analizar su respuesta a la operación. Estas entrevistas formarán parte del seguimiento y notificación regulares sobre el terreno. El seguimiento en este nivel deberá realizarse en prácticamente todas las operaciones. Nivel 2 – En operaciones en las que se haya determinado la necesidad de llevar a cabo una investigación más detallada y en las que los recursos y la capacidad de gestión existan en el país, el contrato de la operación o memorando de entendimiento para la operación podrán estipular la realización de estudios específicos. El seguimiento en el nivel 2 normalmente se llevará a cabo con la ayuda de expertos locales que posean los conocimientos adecuados y colaborando estrechamente con el gobierno, la Federación y las Sociedades Nacionales. Al contrario que en el nivel 1, el seguimiento en este nivel estará restringido a determinadas operaciones.

8-12


Octubre de 2002

8.2.5.1 Técnicas para el seguimiento de indicadores de BCM en el nivel 1 Entrevistas individuales - Las entrevistas cualitativas difieren de las entrevistas estructuradas tradicionales en las que se utilizan cuestionarios regulares, en que no se limitan a un conjunto de preguntas predeterminadas que se preguntarán consecutivamente. En su lugar, el entrevistador utiliza una lista de verificación de temas para ir orientando la entrevista, y sigue las vías que se vayan abriendo a lo largo de la misma. Las primeras preguntas normalmente incluyen discusiones informales sobre la operación. Una vez que el entrevistador haya determinado las cuestiones que deberán ser atendidas a fondo, la entrevista informal será suplantada por una entrevista guiada o por una entrevista semiestructurada con preguntas preparadas antes de la entrevista y reflejadas en una lista de verificación. En la mayoría de los casos, la lista de verificación no deberá contener más de 20 preguntas, y la entrevista no deberá durar más de media hora. •

•

•

•

•

Entrevistas informales – Su objetivo es obtener información a través de conversaciones entre entrevistadores y entrevistados. En ellas se examinan, de forma general, puntos de vista, experiencias y valores del entrevistado y se concede al entrevistador libertad para seguir temas según vayan surgiendo. Como consecuencia de la naturaleza informal de la entrevista, durante la misma se toman pocas notas. Entrevistas guiadas - En ellas se utiliza una guía de entrevista para dirigir al entrevistador a través de los principales temas que deberán abordarse. A partir de la misma, el entrevistador elabora las preguntas y su forma para ajustarse a un entrevistado concreto. No existe límite de tiempo para responder a cada uno de los temas o subtemas y se permite seguir temas de particular interés. Entrevistas semiestructuradas de final abierto – Cuestionarios abiertos con una lista de las preguntas que deben plantearse. Sin embargo, difieren de las entrevistas estructuradas tradicionales en que plantean preguntas abiertas que permiten extenderse en los puntos tratados, en que el orden en que se plantean las preguntas es flexible y tiene en cuenta el juicio del entrevistador, y en que dejan espacio para plantear preguntas adicionales. Entrevistas en grupo - Las entrevistas individuales no siempre constituyen la mejor estrategia en el caso de las operaciones de la Federación y las Sociedades Nacionales. Requieren mucho tiempo, deben realizarse muchas de ellas para obtener una imagen representativa de la operación en su conjunto, y en el caso de determinados temas es posible que los entrevistados sean reacios a decir la verdad si tienen miedo a que su punto de vista sea inoportuno. Con las entrevistas en grupo pueden resolverse algunos de estos problemas. Pueden realizarse a toda una comunidad o a un conjunto determinado de personas, tales como una cuadrilla, un grupo de maestros o un grupo de profesionales de la salud. El foro abierto animará a algunas personas a ser más francas y honestas de lo que lo serían en privado, especialmente cuando se vean respaldadas por sus compañeros. Entrevistas a la comunidad – Pueden incluir a todos los miembros de una comunidad o pueblo. Cuando están planificadas cuidadosamente, las entrevistas a la comunidad poseen un gran potencial para suministrar nuevas percepciones acerca de cómo ven los miembros de la comunidad las actividades de la operación y cómo consideran que ésta está afectando a sus vidas. En la planificación y realización de las entrevistas a la comunidad deberán tenerse en cuenta los siguientes aspectos: Deberá ser una práctica habitual utilizar guías estructuradas de entrevista. Deberán entrevistarse unas pocas comunidades seleccionadas y representativas. Las entrevistas deberán estar programadas para ser llevadas a cabo cuando la mayoría de las personas de la comunidad puedan estar presentes; frecuentemente el momento más conveniente es la tarde/noche. Es preferible un equipo de entrevistadores a un sólo entrevistador, pues dirigir una reunión con muchas personas y tomar notas detalladas es demasiado complicado para una sola persona. Es necesario planificar, particularmente para conceder a los entrevistados una oportunidad justa para hablar y no permitir a los entrevistadores que tomen el mando. 8-13


Octubre de 2002

-

•

Es esencial que de las personas presentes participe una representación equilibrada. Deberá evitarse el dominio por parte de personas destacadas. Mediante estas entrevistas pueden obtenerse datos sin desglosar y relativos a la comunidad. Sin embargo, deberá extremarse la precaución en el intento de cuantificar los datos. Reuniones posteriores a la entrevista pueden servir de foro de debate de ideas para aquellos que se hayan sentido inhibidos en el grupo numeroso. Entrevistas a grupos temáticos – Se trata de una técnica más rigurosa que las entrevistas a la comunidad, y como tal requiere realizar una planificación más exhaustiva (p. ej. selección cuidadosa de los participantes de acuerdo con determinados criterios, incluso mayor atención a la elaboración de las guías de temas, análisis de resultados más sistemático) y disponer de conocimientos especializados. El principio básico de esta técnica es utilizar la destreza de un moderador “neutral” para estimular el intercambio de ideas en un pequeño grupo (idealmente 6-10 personas) de participantes seleccionados. De esta forma, la información se obtiene siguiendo atentamente la interacción entre los participantes. El papel que desempeña el moderador es dirigir la discusión de manera que se aborden los temas previstos. No deberá participar en el debate en sí ni “corregir” ideas erróneas expresadas y, en esencia, deberá comportarse como observador neutral. Evidentemente, la obtención de buenos resultados mediante esta técnica depende en gran medida de la destreza del moderador. Los miembros del grupo deberán proceder de un estrato social y económico similar, a fin de facilitar la discusión y eliminar obstáculos sociales. No obstante, puede resultar difícil satisfacer estos criterios. La selección de los participantes puede realizarse a partir de una lista elaborada por varios informantes claves. Deberá hacerse un esfuerzo por incluir a participantes diversos.

8.2.5.2 Técnicas para el seguimiento de indicadores de BCM en el nivel 2 Pequeñas encuestas - El objetivo es seleccionar aleatoriamente beneficiarios y utilizar un cuestionario breve y sencillo para documentar su punto de vista acerca de las actividades de la operación. En el caso de que la información se recopile de uno o pocos lugares, es posible tomar una muestra aleatoria simple. Esta técnica está descrita en la mayoría de los libros básicos sobre estadística y puede ser utilizada por el personal en la mayoría de las operaciones. La elección del tamaño de la muestra no siempre resulta sencilla y, a no ser que el personal haya recibido formación en materia de estadística, deberá solicitarse ayuda profesional. Como orientación para el trabajo, valga decir que de cada lugar o grupo para el cual se desee calcular una respuesta independiente deberá seleccionarse una muestra de sesenta personas. A los participantes seleccionados se les plantean entonces algunas preguntas sencillas. Por ejemplo: • • • • •

¿Existe una guardería en el pueblo? [conocimiento del servicio] ¿Tiene usted hijos? [admisibilidad del usuario] ¿Ha aprovechado la guardería? [utilización del servicio] En caso negativo, ¿por qué no? [comentario relativo a la no utilización] ¿Se ajusta la guardería a lo que usted desea para sus hijos? [pertinencia, comentarios]

Estas preguntas pueden reflejarse en una tabla, de forma que puedan documentarse en una hoja las respuestas de 10 o 20 personas. El estudio puede llevarse a cabo con mucha rapidez, por un solo entrevistador o por dos personas que trabajen en pareja. Los resultados son sencillos: porcentajes de personas que responden ”sí” o “no” y algunos comentarios breves. Los resultados suministran información acerca de la operación en cuanto a lo bien que conoce la gente el servicio de guardería y a la proporción de personas cuyos hijos lo han aprovechado. Mediante otras preguntas podría conocerse si se ha utilizado el servicio una vez o periódicamente. Si los resultados muestran un elevado grado de conocimiento y de utilización, podrán interpretarse como que el servicio es exitoso. Si los resultados muestran lo contrario, puede ser necesario realizar 8-14


Octubre de 2002

un estudio más detallado para examinar los motivos por los cuales la guardería no tiene éxito. Este tipo de estudio es muy sencillo y en el análisis no deberá intentarse ir más allá de obtener un simple resultado en porcentajes.

8.2.6 Visitas al terreno En este apartado se explican los aspectos fundamentales que deben considerarse en la planificación de las visitas al terreno. Como introducción en el tema de las visitas al terreno, véase el punto 2.4.2.3 Visitas al terreno – una valiosa fuente de información complementaria (módulo 2). 8.2.6.1 ¿Quién deberá formar parte del equipo que realiza las visitas al terreno? Asegúrese de que participe personal pertinente gubernamental y ejecutor así como de la Federación y las Sociedades Nacionales. Es importante lograr un equilibrio entre hombres y mujeres. 8.2.6.2 Selección de lugares - ¿adónde ir? Teniendo en cuenta que los recursos destinados a las visitas al terreno con frecuencia son limitados, la Federación, las Sociedades Nacionales y sus asociados deberán diseñar una doble estrategia para las visitas al terreno. La selección de los lugares que se visitarán depende del número de empleados, recursos para viajar y tiempo disponibles. 1.

2.

Muestreo dirigido: Se seleccionará un número reducido de lugares para cada operación, que se visitarán de forma sistemática, periódica y repetida. El objetivo es familiarizarse lo suficiente con los lugares y las personas como para poder ver y reconocer los progresos y cambios resultantes de la operación. Deberá tomarse en consideración también la necesidad de visitar almacenes y lugares de distribución. Seleccione intencionadamente casos de los que pueda obtenerse mucha información. El tipo concreto y el número de casos seleccionados dependen del propósito y de los recursos disponibles. Muestreo aleatorio: Para validar los hallazgos regulares de visitas al terreno y para proporcionar una base para confirmar tendencias observadas y para posibilitar la obtención de una imagen más amplia de los progresos alcanzados en la operación, deberán visitarse adicionalmente lugares seleccionados de forma aleatoria. Así se añade credibilidad y se reduce el sesgo, aunque no es posible realizar una generalización total.

8.2.6.3 ¿Con quién reunirse? • • • • • • •

Hombres y mujeres beneficiarios solos o en grupo Representantes comunitarios, dirigentes locales, dirigentes tradicionales Empleados gubernamentales locales y de distrito Personal técnico, jefes en el lugar que se visita Representantes de donantes y ONG que actúan en el área de la operación Representantes del sector privado (p. ej. vendedores de mercado, camioneros) Personal de la Federación y de Sociedades Nacionales que trabaja en primera línea

8.2.6.4 ¿Cómo realizar la labor sobre el terreno? • • •

Determine claramente la función de observador. Tome notas descriptivas. Permanezca abierto – reúna diferentes puntos de vista. Sea oportunista en el seguimiento de nuevas pistas y en el muestreo dirigido.

8-15


• • • • • • • •

Octubre de 2002

Verifique y aplique la triangulación en la recopilación de diferentes tipos de datos: observación, entrevistas, documentos, artefactos, grabaciones y fotografías. Utilice diversos métodos y combínelos. Utilice citas: Describa a las personas con sus propias palabras. Seleccione con sabiduría a los informantes claves y trátelos cuidadosamente. Establezca confianza y una buena relación desde el principio. Céntrese en elaborar una síntesis útil cuando la labor sobre el terreno esté tocando a su fin. En todas las fases de la labor sobre el terreno, sea disciplinado y concienzudo a la hora de tomar notas detalladas. Dé su opinión como parte del proceso de verificación de la labor sobre el terreno. Observe su efecto. Distinga entre descripción, por un lado, e interpretación y opinión, por otro lado.

8.2.6.5 ¿Por qué constituye una práctica recomendable utilizar listas de verificación de entrevistas? • • • • •

Ayudan a asegurar que durante las visitas de seguimiento al terreno se aborden las cuestiones claves. Ayudan a asegurar la coherencia de los informes y posibilitan compararlos. La disciplina ligada a las listas de verificación contribuye a institucionalizar un sistema de seguimiento que ayude a nuevos empleados a familiarizarse con las operaciones y, así, a ser eficaces con mayor rapidez. Un sistema oficial de recopilación de datos y presentación de informes constituye un componente importante de la memoria institucional. Los sistemas ad hoc suelen estar muy personalizados y suelen fracasar cuando se marchan los responsables. Las listas de verificación tratadas hasta el final suministran datos sin procesar, que deberán ser analizados posteriormente.

8.2.6.6 Análisis de datos recopilados utilizando listas de verificación Los datos obtenidos mediante la utilización de listas de verificación deberán ser analizados: •

En el caso de datos para un solo lugar (p. ej. una escuela en el caso de una actividad de alimentación escolar) para realizar un seguimiento de la evolución del rendimiento durante varias visitas, para discutir con personal local y superior las medidas que deben adoptarse.

•

En el caso de datos para todos los lugares conjuntamente (p. ej. todas las escuelas en el caso de una actividad de alimentación escolar) para obtener un análisis comparativo del rendimiento en los diferentes lugares abarcados por la operación, para orientar a los asociados gubernamentales y ejecutores en el establecimiento de las prioridades, a fin de mejorar la ejecución de la operación, a través de un resumen de hallazgos, para comparar resultados y juzgar si se están logrando mejoras, para determinar el éxito general de la operación.

En el análisis de la información obtenida mediante el uso de listas de verificación probablemente surgirán preguntas que habrá que investigar con más detalle. Cuando la investigación esté finalizada, puede ser que usted considere que añadir una o dos preguntas más a la primera lista de verificación mejoraría la eficiencia del seguimiento regular de la operación. A medida que la operación vaya avanzando, usted deberá ser capaz de elaborar una serie de listas de verificación que le ayudarán a llevar a cabo la labor de seguimiento. Inevitablemente, éstas listas se irán modificando a medida que 8-16


Octubre de 2002

usted vaya adquiriendo experiencia relativa a la operación. No piense que el primer intento de elaboración de una lista de verificación resultará en una lista perfecta. Esté preparado para, aprovechando su experiencia sobre el terreno, ir modificando las listas de verificación a lo largo del tiempo. 8.2.6.7

Presentación de informes – cómo documentar y utilizar los resultados

Tras la visita al terreno, el personal de la Federación y de las Sociedades Nacionales deberá reflejar los hallazgos en un informe de visita al terreno. Aunque se diseñen para cada operación en particular, todos los informes de visitas al terreno elaborados por la Federación y las Sociedades Nacionales deberán compartir algunas características relativas a su composición. Toda visita al terreno deberá resultar en un informe breve y preciso en el que se incluirá, como mínimo, la siguiente información: Tabla 8.5: Modelo para un informe de visita al terreno Objetivos de la visita al terreno (relacionados con los indicadores reflejados en el plan de seguimiento y evaluación) Personas y grupos contactados y lugares visitados Métodos aplicados para recopilar y analizar los datos Hallazgos Conclusiones (incluye análisis) Recomendaciones relativas a la actuación de personal de la Federación y las Sociedades Nacionales, asociados internacionales y gobierno; nombres de personas responsables de poner en práctica las recomendaciones y plazos al respecto

En el informe deberán establecerse comparaciones entre los hallazgos más recientes y los de visitas anteriores. Para ello deberá existir un cierto grado de coherencia entre los diferentes informes.

8-17


8.3

Octubre de 2002

Utilización de datos secundarios

Antes de utilizar datos secundarios deberá determinarse si son fidedignos. Esto puede realizarse de diferentes maneras. Si los datos han sido recopilados por un organismo profesional, como p. ej. una oficina nacional de estadística (o equivalente), o en cooperación con un donante u otro organismo internacional, es razonable asumir que los datos poseen una calidad aceptable. Cuando la fuente no esté claramente acreditada, busque la siguiente información en el informe del estudio: • • •

Una discusión sobre cómo se aseguró la recopilación de datos de calidad, incluidos los procedimientos de supervisión de la labor sobre el terreno, de validación de los datos y de comprobación de errores. Un examen de los métodos de recopilación utilizados y de las consecuencias en cuanto a sesgo y errores ajenos al muestreo, con una discusión en torno a los efectos sobre los resultados. Una descripción de herramientas de validación sobre el terreno, tales como la triangulación.

Intente conseguir una copia del cuestionario. ¿Está bien estructurado? ¿Es fácil de leer? ¿Es un documento que mueva a realizar una buena actuación? ¿Se dispuso de un manual de estudio o de un manual de campo? ¿Están claramente definidas las variables claves tales como las unidades de estudio? ¿Y el significado de “hogar”? Examine el informe del estudio. ¿En qué grado se establecen comparaciones con otros estudios? ¿Coinciden, en general, los hallazgos? En el caso de existir divergencias, ¿se discuten y explican adecuadamente?

8-18


8.4

Octubre de 2002

Vínculos con material adicional de orientación técnica

Tema

Vínculos con material de orientación técnica

Observaciones

Estudios regulares por muestreo

Social Survey Methods: A field guide for development workers, Oxfam, Development Guidelines No.6

Orientación general en torno al diseño de estudios, composición de equipos de actuación sobre el terreno, diseño de cuestionarios, muestreo, análisis de datos y presentación de hallazgos.

Puede encargarse en: www.Oxfam.org.uk Código: 151262 Precio: £9.95 Sampling Guide, producido por Food and Nutrition Technical Assistance Project (FANTA) (1999) Disponible en Internet en www.fantaproject.org/downloads/pdfs/sampli ng.pdf

Diagnóstico rápido

RRA Manual (Catholic Relief Services)

Rapid Appraisal Methods, editado por Krishna Kumar, 1993 (World Bank Regional and Sectoral Studies)

Referencias generales

Rapid Appraisal Methods Precio: $ 22.00 ISBN 0-8213-2523-X SKU: 12523 Toolkits: A Practical Guide to Assessment, Monitoring, Review and Evaluation, Save the Children Fund, 1995

Esta guía describe cómo elegir muestras de comunidades, hogares o personas para estudios por muestreo, de forma que puedan extraerse conclusiones válidas acerca de la eficacia de los programas. En la guía se hace hincapié en el uso de métodos de muestreo probabilístico, considerados esenciales para asegurar la objetividad en la evaluación de programas. Orientación detallada en relación con todas las etapas del diseño y realización de estudios rápidos y participativos; descripciones de herramientas y explicaciones acerca de cómo utilizarlas; estudios de casos; y referencias de material de información útil. Este libro ofrece un resumen del origen, teoría y práctica del diagnóstico rural rápido, explica las principales herramientas utilizadas y presenta varios ejemplos en los que se ilustra cómo se ha aplicado el diagnóstico rural rápido en diferentes escenarios. Este libro sirve de orientación fundamental para personal activo sobre el terreno en cuanto a los principios y práctica de estudios preliminares, seguimiento, revisión y evaluación. Incluye información general acerca de diferentes herramientas, incluidos el diagnóstico rural participativo, los estudios por muestreo y la matriz de planificación.

8-19


Octubre de 2002

ENSEÑANZAS EXTRAÍDAS DEL MÓDULO 8 RECOPILACIÓN DE DATOS • • • • • • •

CONCISOS COMPLETOS FIABLES OPORTUNOS PERTINENTES RECOPILACIÓN RENTABLE BUENA PRESENTACIÓN

8-20

Módulo 9: Glosario de seguimiento y evaluación

Octubre de 2002

Federación Internacional de Sociedades de la Cruz Roja y de la Media Luna Roja División de Seguimiento y Evaluación

Glosario de seguimiento y evaluación

Octubre de 2002

9-1


Octubre de 2002

Conceptos en orden alfabético Análisis Apreciación Asociados Atribución Auditoría Autoevaluación Beneficiarios Cadena de resultados Conclusión Conexión Consecuencias Datos cualitativos Datos cuantitativos Datos desglosados Efecto Eficacia Eficiencia Enseñanzas Estudio de referencia Estudio por muestreo Evaluación Evaluación conjunta Evaluación de cartera Evaluación de proceso Evaluación ex post Evaluación externa Evaluación formativa Evaluación independiente Evaluación intermedia Evaluación interna Evaluación participativa Evaluación recapitulativa Evaluación sectorial Evaluación temática Fiabilidad Garantía de la calidad Gestión basada en resultados Grupo beneficiario Grupo de comparación Grupo temático

Hallazgo Herramientas analíticas Hipótesis Impacto Indicador Indicador de rendimiento Indicador sustitutivo Información de retorno Inseguridad alimentaria Insumos Matriz de planificación Meta Metaevaluación Objetivo Objetivo en el largo plazo Objetivo en el medio plazo Obligación de rendir cuentas Partes interesadas Pertinencia Producto Propósito Punto de referencia Recomendaciones Rendimiento Resultados Revisión Seguimiento Seguimiento a través del contacto con beneficiarios Seguimiento de la cesta alimentaria Seguimiento posterior a la distribución Seguridad alimentaria Sostenibilidad Términos de referencia Triangulación Validez Vulnerabilidad

9-2


Octubre de 2002

Glosario de seguimiento y evaluación Análisis: Examen de una situación, de sus elementos y de la relación entre

ellos.

Apreciación: Determinación general de la pertinencia, factibilidad y

sostenibilidad potencial de una operación de la Federación y/o de las Sociedades Nacionales previa a la aprobación de la ejecución de la misma.

Asociados: Personas y organizaciones que colaboran para alcanzar unos objetivos acordados conjuntamente.

Nota: El concepto de asociación implica metas compartidas, responsabilidad

común en relación con las consecuencias, clara rendición de cuentas y obligaciones recíprocas. Los asociados pueden ser gobiernos, la sociedad civil, organizaciones no gubernamentales, universidades, asociaciones profesionales y empresariales, organizaciones multilaterales, empresas privadas, etc.

Atribución: Establecimiento de un vínculo causal entre cambios observados (o que previsiblemente se observarán) y una operación específica.

Nota: La atribución se refiere a aquello a lo cual se deberán atribuir los cambios observados o los resultados obtenidos. Representa el grado en que los efectos observados pueden imputarse a una operación específica o a la actuación de uno o más asociados, teniendo en cuenta otras intervenciones, factores distorsionantes (previstos e imprevistos) o contratiempos externos.

Auditoría: Examen objetivo y sistemático de actividades, sistemas,

procedimientos, transacciones y controles de una organización, llevado a cabo conforme a normas comunes de auditoría generalmente aceptadas.

Nota: La auditoría suministra a los responsables de gestión de una organización

opiniones y recomendaciones relativas a: la gestión eficaz de la organización y la utilización económica (rentabilidad) de los recursos; la solidez, idoneidad y aplicación de los sistemas financieros y operacionales, procedimientos y controles internos; la conformidad de las transacciones financieras y de otros procedimientos con normas y reglamentos establecidos y con las instrucciones recibidas; la regularidad de los recibos, custodia, gastos, contabilidad y presentación de informes en relación con los recursos de la organización; y la conformidad de los gastos con el propósito para el cual fueron autorizados los fondos. 9-1


Octubre de 2002

Autoevaluación: Evaluación planificada y gestionada por aquellos a quienes se ha confiado el diseño y ejecución de una operación de la Federación y/o de las Sociedades Nacionales.

Nota: En la Federación y en las Sociedades Nacionales, se trata de un ejercicio

interno de aprendizaje reflexivo realizado por personal de delegaciones nacionales y partes interesadas, y posiblemente facilitado por un asesor.

Beneficiarios: Los beneficiarios de la Federación y de las Sociedades

Nacionales son las personas destinatarias que reciben alimentos de la Federación y de las Sociedades Nacionales.

Cadena de resultados: Orden causal de una operación necesario para

alcanzar los objetivos deseados. La cadena de resultados empieza por los insumos, pasa por actividades y producto y culmina en consecuencias e impacto.

Conclusión: La conclusión se extrae de datos recopilados y análisis realizados,

a través de una cadena de argumentos transparente. Las conclusiones señalan los factores a los cuales se deben el éxito o fracaso de una operación, prestando especial atención a los resultados intencionados o no intencionados y aludiendo, de forma más general, a cualquier otro punto fuerte o punto débil.

Conexión: Asegurar que en el desempeño de las actividades realizadas en una

emergencia de corto plazo se consideran los problemas conexos y con efectos en el más largo plazo.

Consecuencias: Resultados en el medio plazo derivados del producto de una

operación. En la jerarquía de la matriz de planificación se corresponden con el nivel de propósito.

Datos cualitativos: Observaciones categóricas, no numéricas y que con frecuencia entrañan actitudes, percepciones e intenciones.

Nota: Cuando sea conveniente y posible, los datos deberán desglosarse según sexo, edad y otras variables pertinentes.

9-2


Octubre de 2002

Datos cuantitativos: Observaciones numéricas. Nota: Cuando sea conveniente y posible, los datos deberán desglosarse según sexo, edad y otras variables pertinentes.

Datos desglosados: Información desglosada según sexo, edad y otras

variables pertinentes a fin de revelar las diferencias existentes en las necesidades, prioridades, actividades e intereses de distintos grupos, en su acceso a recursos, servicios y actividades, y en su control sobre éstos últimos. Los datos desglosados son esenciales para el seguimiento de las intervenciones y del producto de las mismas, pues permiten determinar quién participa en las operaciones de la Federación y de las Sociedades Nacionales y quién se beneficia de ellas.

Efecto: Cambio, intencionado o no, debido directa o indirectamente a una operación de la Federación y/o de las Sociedades Nacionales. Los cambios (resultados) pueden producirse en los niveles de producto, consecuencias e impacto.

Eficacia: Grado en el que se han alcanzado o se esperan alcanzar los objetivos de una operación, tomando en consideración la importancia relativa de los mismos.

Eficiencia: Medida de la rentabilidad con la cual los insumos se convierten en el producto de la operación.

Enseñanzas: Conclusiones de validez general y basadas en experiencias de evaluación o revisión de operaciones o políticas de la Federación y de las Sociedades Nacionales, que se extrapolan de circunstancias específicas a situaciones más generales. Con frecuencia, las enseñanzas destacan los puntos fuertes y puntos débiles de la preparación, diseño y ejecución que afectan al rendimiento, consecuencias e impacto.

Estudio de referencia: Análisis y descripción de la situación reinante antes del comienzo de una operación de la Federación y/o de las Sociedades Nacionales, frente a la cual pueden medirse los cambios o establecerse comparaciones.

Nota: Los datos recopilados deberán desglosarse según sexo, edad y otras variables pertinentes. Véase “datos desglosados”.

9-3


Octubre de 2002

Estudio por muestreo: Método de recopilación de datos que implica una

actividad planificada para recopilar los datos necesarios a partir de una muestra de la población pertinente. La población pertinente está constituida por personas afectadas por la operación de la Federación y/o de las Sociedades Nacionales (o, en el caso de tratase de un grupo de control o de comparación, por personas con características similares).

Evaluación: Valoración sistemática y objetiva de una operación o programa en curso o concluidos, o de una política, así como de su diseño, ejecución (o aplicación) y resultados. Se trata de determinar la pertinencia y logro de los objetivos, así como la eficiencia, eficacia, impacto y sostenibilidad.

Nota: La evaluación deberá suministrar información fidedigna y útil que permita

incorporar enseñanzas en el proceso de toma de decisiones relativas a la gestión.

Evaluación conjunta: Evaluación en la que participan diferentes asociados y/o organizaciones donantes.

Nota: Existen diferentes niveles de evaluación conjunta, según el grado en que

los distintos asociados cooperan en el proceso de evaluación, unen sus recursos de evaluación y colaboran en la elaboración de los informes de evaluación. Las evaluaciones conjuntas pueden contribuir a superar problemas de atribución en la determinación de la eficacia de programas y estrategias, la complementariedad de las actividades que reciben apoyo de diferentes asociados, la calidad de la coordinación de la ayuda, etc.

Evaluación de cartera: Evaluación de un conjunto de operaciones de la Federación y de las Sociedades Nacionales relacionadas entre sí.

Nota: En la Federación y en las Sociedades Nacionales, una cartera incluye todas las operaciones de un país o región determinados.

Evaluación de proceso: Evaluación de la dinámica interna de las organizaciones ejecutoras, sus instrumentos de política, mecanismos de prestación de servicios, prácticas de gestión y de los vínculos existentes entre todos estos aspectos.

9-4


Octubre de 2002

Evaluación ex post: Evaluación de una operación después de su conclusión. Nota: Puede realizarse inmediatamente después de concluir la operación o

tiempo después. La intención es entender los factores responsables del éxito o fracaso, evaluar la sostenibilidad de los resultados y del impacto y sacar conclusiones de las que pueda extraerse información para otras operaciones de la Federación y de las Sociedades Nacionales.

Evaluación externa: Evaluación de una operación realizada por entidades y/o personas ajenas a la Federación, las Sociedades Nacionales y sus asociados ejecutores.

Evaluación formativa: Evaluación cuyo fin es mejorar el rendimiento de la

operación y que la mayoría de las veces se realiza durante la ejecución de la misma.

Evaluación independiente: Evaluación realizada por entidades o personas no sujetas al control de los responsables del diseño y ejecución de una operación de la Federación y/o de las Sociedades Nacionales.

Evaluación intermedia: Evaluación realizada hacia la mitad del período de

ejecución de una operación de la Federación y/o de las Sociedades Nacionales.

Evaluación interna: Evaluación de una operación realizada por una unidad y/o

personas que informan al respecto a los órganos de gestión de la Federación y las Sociedades Nacionales.

Evaluación participativa: Evaluación en la cual las partes interesadas claves

(incluidos los beneficiarios) colaboran en el diseño, realización e interpretación de la misma.

Evaluación recapitulativa: Evaluación realizada al final de una operación (o

de una fase de la misma) de la Federación y/o de las Sociedades Nacionales a fin de determinar el grado en el que se han obtenido los resultados planificados. A través de la evaluación recapitulativa se pretende proporcionar información sobre el valor de la operación.

Evaluación sectorial: Evaluación de un conjunto de proyectos de uno o varios países, todos ellos pertenecientes a un sector específico (salud, educación, agricultura, transporte, etc.).

9-5


Octubre de 2002

Evaluación temática: Evaluación de una selección de operaciones que abordan una prioridad específica de la Federación y de las Sociedades Nacionales que afecta a países, regiones y sectores.

Fiabilidad: Coherencia y seriedad de datos en cuanto a la calidad de los

instrumentos, procedimientos y análisis empleados para recopilar e interpretar esos datos.

Garantía de la calidad: La garantía de la calidad abarca cualquier actividad concerniente a la determinación y mejora del valor de una operación o su conformidad con normas establecidas.

Nota: Entre las actividades destinadas a garantizar la calidad se cuentan la

apreciación, la gestión basada en resultados, las revisiones realizadas durante la fase de ejecución, evaluaciones, etc. La garantía de la calidad puede referirse también a la evaluación de la calidad de una cartera y de su eficacia.

Gestión basada en resultados: Estrategia de gestión centrada en el rendimiento y en la consecución del producto, consecuencias e impacto.

Grupo beneficiario: Personas u organizaciones específicas en cuyo beneficio se ejecuta la operación de la Federación y/o de las Sociedades Nacionales.

Nota: Las personas beneficiarias deberán identificarse según sexo, edad y otras

características pertinentes.

Grupo de comparación: Grupo de personas no expuestas a una operación de la Federación y/o de las Sociedades Nacionales, pero que comparten características similares a las del grupo beneficiario.

Grupo temático: Grupo pequeño, homogéneo, constituido a fin de discutir

sobre preguntas de respuesta abierta relativas a un tema concreto. A fin de que se vaya desdoblando un debate entre las personas seleccionadas para responder a las preguntas, más que entre éstas y el evaluador/investigadores, se promueve la conversación entre las primeras.

Hallazgo: Acumulación de datos procedentes de una valoración, revisión o evaluación que permite realizar una afirmación basada en hechos.

9-6


Octubre de 2002

Herramientas analíticas: Métodos aplicados para procesar y analizar información.

Hipótesis: Supuestos relativos a factores o riesgos que, en gran parte, se sitúan fuera del control de los responsables de la operación de la Federación y/o de las Sociedades Nacionales y que podrían afectar a los progresos o éxito de la misma.

Impacto: Resultados positivos y negativos, intencionados o no, en el largo plazo, producidos directa o indirectamente por una operación de la Federación y/o de las Sociedades Nacionales. En la jerarquía de la matriz de planificación se corresponde con el nivel de meta.

Nota: Véanse definiciones de meta, resultados y cadena de resultados.

Indicador: Factor o variable cuantitativos o cualitativos que constituyen un

medio sencillo y seguro para medir los logros o reflejar los cambios vinculados a una operación de la Federación y/o de las Sociedades Nacionales.

Nota: Cuando sea posible y pertinente, los indicadores deberán tener en cuenta la recopilación de datos desglosados (según sexo, edad y otras variables pertinentes).

Indicador de rendimiento: Véase “indicador”. Indicador sustitutivo: Indicador que sustituye a otro difícil de medir directamente.

Información de retorno: Transmisión de información generada en el

proceso de seguimiento y evaluación a las partes para las cuales es pertinente y útil para facilitarles el aprendizaje. Puede incluir la recopilación y difusión de hallazgos, conclusiones, recomendaciones y enseñanzas extraídas de la experiencia.

Inseguridad alimentaria: Cuando las personas carecen de acceso a una

cantidad suficiente de alimentos seguros y nutritivos que permitan un crecimiento y desarrollo normales y llevar una vida activa y sana. La inseguridad alimentaria puede estar causada por falta de disponibilidad de alimentos, insuficiente poder adquisitivo, distribución inapropiada de los alimentos o su uso inadecuado en los hogares. 9-7


Octubre de 2002

Insumos: Recursos financieros, humanos y materiales necesarios para ejecutar la operación de la Federación y/o de las Sociedades Nacionales.

Matriz de planificación: Herramienta de gestión utilizada para diseñar

proyectos y programas. Implica la determinación de insumos, producto, propósito (consecuencias) y meta (impacto) y de su relación causal, de indicadores de rendimiento relacionados y de las hipótesis o riesgos que podrían influir sobre el éxito o fracaso. De este modo, la matriz de planificación facilita la planificación, ejecución, seguimiento y evaluación de operaciones de la Federación y/o de las Sociedades Nacionales.

Meta: Resultado, en el nivel más elevado, al cual pretende contribuir una

operación de la Federación y/o de las Sociedades Nacionales. Se mide mediante los indicadores de impacto.

Metaevaluación: Evaluación diseñada para reunir los hallazgos de una serie de evaluaciones. El término puede referirse también a la evaluación de otra evaluación, realizada a fin de juzgar la calidad de ésta y/o valorar el rendimiento de los evaluadores.

Objetivo: Propósito y meta de una operación de la Federación y/o de las Sociedades Nacionales, que representan el estado que se pretende alcanzar mediante la ejecución de la operación.

Objetivo en el largo plazo: Véase “meta”. Objetivo en el medio plazo: Véase “propósito”. Obligación de rendir cuentas: Obligación de demostrar que se ha realizado la labor conforme a las normas y reglamentos acordados, o de informar con imparcialidad y exactitud sobre los resultados de la actuación en comparación con las funciones y/o planes encomendados. Ello puede exigir una demostración meticulosa, que incluso pueda defenderse judicialmente, de que la labor realizada es coherente con los términos contractuales.

Nota: La obligación de rendir cuentas en el marco del desarrollo puede referirse

a la obligación de los asociados de actuar de acuerdo con responsabilidades, funciones y expectativas de rendimiento claramente definidas, frecuentemente en relación con la utilización prudente de recursos. Para los evaluadores supone

9-8


Octubre de 2002

la responsabilidad de presentar informes de seguimiento y evaluaciones del rendimiento exactos, imparciales y fidedignos.

Partes interesadas: Organismos, organizaciones, grupos y personas interesados directa o indirectamente en la operación o en su evaluación.

Pertinencia: Grado de coherencia de los objetivos de una operación de la

Federación y/o de las Sociedades Nacionales en relación con las necesidades de los beneficiarios y países, las prioridades de las organizaciones, y las políticas de los asociados y donantes.

Nota: Retrospectivamente, la pregunta de la pertinencia se convierte, con frecuencia, en una pregunta relativa a si los objetivos o el diseño de una operación continúan siendo apropiados en las nuevas circunstancias.

Producto: Productos, bienes de capital y servicios resultantes de una

operación de la Federación y/o de las Sociedades Nacionales. Incluye los cambios resultantes de la operación pertinentes para llegar a las consecuencias. En la jerarquía de la matriz de planificación se corresponde con el nivel de producto.

Propósito: Situación mejorada a la que pretende contribuir

significativamente una operación de la Federación y/o de las Sociedades Nacionales, suponiendo que se concluya con éxito y en el tiempo previsto. Se mide mediante los indicadores de consecuencias.

Punto de referencia: Base de referencia o norma frente a la cual pueden medirse el rendimiento o los logros obtenidos.

Recomendaciones: Propuestas formuladas con el objetivo de mejorar la eficacia, calidad, pertinencia o eficiencia de una operación de la Federación y/o de las Sociedades Nacionales, de diseñar nuevamente los objetivos, y/o de reasignar los recursos. Las recomendaciones deberán vincularse a conclusiones.

Rendimiento: Grado en que una operación se ejecuta o una organización (Federación, Sociedades Nacionales o asociados) actúa de acuerdo con criterios/normas/directrices específicos, o grado en el que la operación u organización obtienen resultados de acuerdo con metas o planes fijados.

9-9


Octubre de 2002

Resultados: Producto, consecuencias y/o impacto (intencionados o no,

positivos y negativos) de una operación de la Federación y/o de las Sociedades Nacionales.

Revisión: Valoración periódica o con carácter especial del rendimiento de una

operación. En las operaciones de la Federación y de las Sociedades Nacionales es el Departamento de Gestión de Operaciones correspondiente el que inicia y gestiona las revisiones.

Nota: Una revisión es más extensa que un seguimiento, pero menos que una

evaluación. La evaluación es más completa y hace más hincapié en los resultados, pertinencia y sostenibilidad.

Seguimiento: Actividad continua que hace uso de la recopilación sistemática

de datos sobre indicadores especificados a fin de informar a los responsables de gestión y a las principales partes interesadas de una operación en curso de la Federación y/o de las Sociedades Nacionales sobre los progresos registrados y los resultados obtenidos en relación con la utilización de los fondos asignados y la ayuda alimentaria.

Seguimiento a través del contacto con beneficiarios: Examen

sistemático efectuado a fin de realizar un seguimiento de cómo perciben los beneficiarios una determinada operación de la Federación y/o de las Sociedades Nacionales.

Nota: Se deberá establecer contacto con un grupo representativo de

beneficiarios (identificados según sexo, edad u otras características pertinentes).

Seguimiento de la cesta alimentaria: Selección aleatoria de un número de familias en un lugar de distribución. Se pesan las raciones que reciben y los resultados obtenidos se comparan con la ración planificada y el tamaño de familia que figura en el documento de beneficiario (p. ej. la cartilla de racionamiento).

Seguimiento posterior a la distribución: Recopilación de información en hogares sobre la cantidad de alimentos recibidos, la utilización de la ayuda alimentaria y su aceptación y calidad.

Seguridad alimentaria: Cuando todas las personas, en todo momento,

disfrutan de acceso, en sus aspectos físico, social y económico, a suficientes 9-10


Octubre de 2002

alimentos seguros y nutritivos que cubran sus necesidades y preferencias alimenticias para llevar una vida activa y sana.

Nota: La definición anterior incluye las tres siguientes dimensiones claves de la

seguridad alimentaria: suficiente disponibilidad de alimentos; acceso adecuado a alimentos; y utilización apropiada de alimentos.

Sostenibilidad: Continuación de los beneficios de una operación de la

Federación y/o de las Sociedades Nacionales una vez concluida la asistencia principal.

Términos de referencia: Propósito y alcance de la valoración, revisión o evaluación, métodos a utilizar, normas frente a las cuales se valorará el rendimiento o según las cuales se realizarán los análisis, recursos y tiempo asignados, y requisitos relativos a la presentación de informes, todo ello expresado generalmente en un documento escrito.

Triangulación: Utilización de tres o más teorías, fuentes o tipos de

información, o tipos de análisis para examinar, verificar y corroborar una evaluación.

Nota: Mediante la combinación de diversas fuentes de información, métodos,

análisis o teorías, los evaluadores esperan evitar el sesgo que se produce en los estudios basados en un único informante, método, observador o teoría.

Validez: Grado en que las estrategias o instrumentos de recopilación de datos

miden aquello que pretenden medir.

Vulnerabilidad: Presencia de factores que sitúan a las personas en una

situación de riesgo de inseguridad alimentaria o desnutrición, incluidos aquellos factores que afectan a su capacidad para abordar la situación correspondiente.

Nota: Esta es la definición utilizada por la Federación y las Sociedades

Nacionales en el campo de la seguridad alimentaria. La vulnerabilidad resulta de la exposición a factores de riesgo y de los procesos socioeconómicos subyacentes que reducen la capacidad de la población para hacer frente a esos riesgos.

9-11

Anexo 1 Federación Internacional de Sociedades de la Cruz Roja y de la Media Luna Roja División de Seguimiento y Evaluación

Evaluación del apoyo brindado por el Movimiento Internacional de la Cruz Roja y de la Media Luna Roja al Programa de Asistencia Humanitaria y Rehabilitación de Chernobil (CHARP) Términos de referencia para la evaluación

Borrador

2 de febrero de 2002

2

1. Antecedentes En 1990, la Federación respondió a una solicitud de ayuda de las tres Sociedades Nacionales afectadas, poniendo en marcha el Programa de Asistencia Humanitaria y Rehabilitación de Chernobil (CHARP de sus siglas en inglés). Desde ese momento se ha intervenido a través de las Sociedades Nacionales operantes de Belarús, la Federación de Rusia y Ucrania, estando centradas las actividades en el nivel comunitario en toda la región afectada por el accidente nuclear de Chernobil. La respuesta de la comunidad internacional al desafío planteado en Chernobil ha sido única y revolucionaria. El programa es el primero de su género y en el transcurso de su ejecución ha generado una cantidad significativa de información. El programa se lleva ejecutando desde hace 11 años, y en este largo período de tiempo ésta evaluación es la cuarta de sus características. Más de 15 años después del desastre siguen aflorando sus efectos. Durante estos años, el desmembramiento del antiguo sistema soviético ha provocado un cambio en las condiciones generales socioeconómicas. Este desmembramiento ha tenido un efecto dramático en la región en cuanto al acceso a asistencia sanitaria, a la calidad de la misma y a la prestación de este servicio, agravado todo ello por otros problemas derivados del desastre. Aunque desde que ocurriera el desastre la lluvia radioactiva ha disminuido, se siguen manifestando los efectos de la exposición a radiación y continúa la exposición a determinados isótopos radioactivos. Instituciones internacionales han fijado unos criterios relativos a la exposición considerada aceptable para las personas residentes en las áreas afectadas. Estos criterios influyen significativamente en las características demográficas locales y, como consecuencia, en la ejecución del CHARP. La coherencia y complementariedad con otros programas las aporta el Grupo de Trabajo entre Organismos de las Naciones Unidas, del cual es miembro activo y en el cual participa el CHARP.

2.

Razones para llevar a cabo una evaluación

El programa ha sido objeto, previamente, de tres evaluaciones provisionales a partir de las cuales se formularon recomendaciones. La larga duración del programa ha generado cierto interés en ejecutar una evaluación más amplia que permita determinar la pertinencia, eficacia, eficiencia, sostenibilidad e impacto de la intervención hasta la fecha, a la vez que evaluar si sería adecuado diseñar una estrategia de salida.

3.

Alcance y enfoque de la evaluación

3.1

Pertinencia Determinar el grado de pertinencia permanente de la iniciativa para la Federación, incluidas las Sociedades Nacionales. Determinar la función de la Federación en el proceso. Examinar la pertinencia permanente de la intervención en cuanto a que el diseño actual refleje problemas determinados por todas las partes interesadas, p. ej. laboratorios móviles de diagnóstico, provisión de medicamentos y vitaminas, apoyo psicosocial, capacitación, etc.

3 Determinar si la intervención es compatible con las políticas, directrices y normas de la Federación y si refleja las mismas (género, VIH/SIDA, desarrollo organizacional y fortalecimiento de la capacidad). Determinar cualquier resultado imprevisto de la intervención. Cuando así se requiera, sugerir otras posibilidades, ajustes o actividades apropiadas para mejorar la pertinencia de la intervención. 3.2

Eficacia Determinar el grado en que se han alcanzado los objetivos de la intervención. Determinar la magnitud del impacto de la intervención sobre la demanda de asistencia sanitaria por parte de los beneficiarios, y sobre la prestación y calidad de este servicio. Determinar el impacto sobre las Sociedades Nacionales en cuanto a la capacitación y fortalecimiento de su capacidad. Determinar la conexión de la intervención con los sistemas de salud de las comunidades anfitrionas, el grado de identificación de las comunidades con la intervención y su integración en la misma. Determinar todo tipo de restricciones que pudieran impedir alcanzar los objetivos en el medio y largo plazos, concretamente en relación con la disponibilidad de información de referencia e indicadores exactos. Determinar el nivel de coherencia, complementariedad y cooperación entre todas las partes interesadas implicadas en la intervención (incluidas Sociedades Nacionales participantes, sistema de las Naciones Unidas, sistemas gubernamentales y otros). Examinar la eficacia de los planes de trabajo y los vínculos con la Sociedad Nacional y las Sociedades Nacionales participantes. Cuando corresponda, formular recomendaciones para incrementar la eficacia de la intervención.

3.3

Eficiencia Examinar la ejecución y gestión de la intervención y determinar el grado de eficiencia. Examinar la rentabilidad del enfoque. Determinar si los insumos, presupuestos y costos de la intervención han sido adecuados y razonables en relación con los logros de la intervención. Determinar si son apropiados los sistemas de elaboración de informes financieros y de conciliación de cuentas. Determinar la calidad técnica de la intervención, incluidos los planes de contratación y otros mecanismos de apoyo.

3.4

Sostenibilidad Determinar si la intervención muestra viabilidad financiera y si es sostenible en sus aspectos institucional y social, particularmente en cuanto a los gastos corrientes y la capacidad necesaria. Determinar los factores que podrían influir sobre la sostenibilidad en el corto, medio y largo plazos. Determinar si es apropiado, en esta fase, disponer de una estrategia de salida, conferir una nueva orientación a la intervención o planificar futuras intervenciones.

4

4.

Metodología, equipo de evaluación y calendario

4.1

Metodología Examen crítico de documentos de la Federación y de las Sociedades Nacionales, incluidos informes de evaluaciones previas. Evaluación del grado en que se han aceptado y ejecutado las recomendaciones de ejercicios previos y determinación de restricciones imprevistas en cuanto a la puesta en práctica de las mismas. Entrevistas y/u otros métodos a un grupo muestra de beneficiarios del programa actuales y del pasado seleccionados según criterios acordados. Entrevistas y talleres con personal regional y de la sede de las Sociedades Nacionales, así como con el equipo de la Delegación de la Federación responsable del programa. Visitas al terreno en las regiones (oblasts) del programa. Entrevistas con otras partes interesadas claves: Organización Mundial de la Salud, Ministerio de Salud, ONG, representantes de las Naciones Unidas, Sociedades Nacionales participantes.

4.2

Equipo de evaluación

El equipo estará compuesto por un máximo de x miembros. Se incluirán: un miembro nominado por cada Sociedad Nacional en calidad de representante; un representante del Departamento de Salud y Asistencia en la Comunidad de la Secretaría de la Federación; el jefe del equipo, quien gestionará el proceso y elaborará el informe. Se buscarán asesores para desempeñar el/los cargo(s) de jefe del equipo y especialista en x. El jefe del equipo elaborará el informe y estará especializado en iniciativas de desarrollo, preferiblemente del sector de la salud, y concretamente dentro del contexto de Europa oriental. Será deseable que posea conocimientos detallados acerca de los tratamientos médicos indicados tras exposiciones a radiación. La identificación y selección del asesor o asesores la realizarán conjuntamente el Departamento de Seguimiento y Evaluación y el Departamento de Salud y Asistencia en la Comunidad, consultando para ello a las Sociedades Nacionales. La selección se basará en el grado en que los candidatos se ajusten a las condiciones expresadas en los términos de referencia, su disponibilidad y los costos. 4.3

Calendario

El ejercicio se realizará en abril de 2002. La identificación y selección de asesores tendrán lugar a finales de febrero. Aunque el calendario intentará, en la medida de lo posible, facilitar la logística, satisfacer las necesidades administrativas y promover la participación de las Sociedades Nacionales, de la Secretaría de la Federación, de las Sociedades Nacionales participantes y de otras partes interesadas, se regirá por el proceso de toma de decisiones relativo a futuras actividades del programa.

5

5. Notificación e información de retorno Se solicitará al asesor o a los asesores que elaboren un borrador de informe en un plazo de dos semanas después de volver del país. Antes de abandonar el país, el equipo preparará un informe de misión para discutirlo en sesiones de información que se celebrarán en cada una de las regiones. El informe final se presentará en formato electrónico e incluirá un resumen independiente. El informe será breve y conciso y en él se abordarán las necesidades de todas las partes interesadas. La notificación final a la Secretaría de la Federación puede incluir también una presentación de hallazgos y conclusiones en Ginebra. ------------------------------------------------------Brian Wall Departamento de Seguimiento y Evaluación 2 de febrero de 2002

Los Principios Fundamentales del Movimiento Internacional de la Cruz Roja y de la Media Luna Roja Humanidad El Movimiento Internacional de la Cruz Roja y de la Media Luna Roja, al que ha dado nacimiento la preocupación de prestar auxilio, sin discriminación, a todos los heridos en los campos de batalla, se esfuerza, bajo su aspecto internacional y nacional, en prevenir y aliviar el sufrimiento de los hombres en todas las circunstancias. Tiende a proteger la vida y la salud, así como a hacer respetar a la persona humana. Favorece la comprensión mutua, la amistad, la cooperación y una paz duradera entre todos los pueblos. Imparcialidad No hace ninguna distinción de nacionalidad, raza, religión, condición social ni credo político. Se dedica únicamente a socorrer a los individuos en proporción con los sufrimientos, remediando sus necesidades y dando prioridad a las más urgentes. Neutralidad Con el fin de conservar la confianza de todos, el Movimiento se abstiene de tomar parte en las hostilidades y, en todo tiempo, en las controversias de orden político, racial, religioso e ideológico. Independencia El Movimiento es independiente. Auxiliares de los poderes públicos en sus actividades humanitarias y sometidas a las leyes que rigen los países respectivos, las Sociedades Nacionales deben, sin embargo, conservar una autonomía que les permita actuar siempre de acuerdo con los principios del Movimiento. Voluntariado Es un movimiento de socorro voluntario y de carácter desinteresado. Unidad En cada país sólo puede existir una Sociedad de la Cruz Roja o de la Media Luna Roja, que debe ser accesible a todos y extender su acción humanitaria a la totalidad del territorio. Universalidad El Movimiento Internacional de la Cruz Roja y de la Media Luna Roja, en cuyo seno todas las Sociedades tienen los mismos derechos y el deber de ayudarse mutuamente, es universal.

La Federación Internacional de Sociedades de la Cruz Roja y de la Media Luna Roja promueve las actividades humanitarias de las Sociedades Nacionales en favor de las personas vulnerables.

40800

La Federación, las Sociedades Nacionales y el Comité Internacional de la Cruz Roja constituyen, juntos, el Movimiento Internacional de la Cruz Roja y de la Media Luna Roja.

02/2004 S 200

Mediante la coordinación del socorro internacional en casos de desastre y el fomento de la asistencia para el desarrollo, se propone prevenir y aliviar el sufrimiento humano.

Manual Evaluacion Proyectos

Recommend Documents