monitoreo y evaluación de proyectos

1

Capítulo 1. Gestión por resultados Iniciamos el estudio de los sistemas de monitoreo y evaluación por la reseña del enfoque de gestión o gerencia por resultados, dado el hecho que es en el marco de la aplicación de este enfoque que se efectúan las acciones de monitoreo y evaluación. El enfoque de gerencia por resultados es el enfoque predominante en la dirección de entidades públicas, que tiene conceptos centrales a los de cadena de resultados, indicadores de desempeño y gestión de riesgos. La gerencia por resultados, por otra parte, está íntimamente vinculado al del marco lógico, razón por la cual ambos temas son tratados en forma interrelacionada.

1.1

Marco lógico y gestión por resultados

El marco lógico es la base conceptual del sistema de gestión por resultados. Este es un conjunto de procedimientos para la gestión en tiempo real de los resultados de una intervención pública o de una intervención en el desarrollo en general. La gestión por resultados es un enfoque de gerencia basado en la noción de que el empeño en alcanzar los resultados debe guiar la asignación de recursos, la realización de las actividades y la gestión en su conjunto de una organización. El sistema de gestión por resultados es un conjunto de procedimientos relativos a la administración de una entidad pública durante todas las fases del ciclo de gestión: planificación, organización, dirección y evaluación. El sistema permite configurar la gestión de modo que ella se oriente al logro de tres niveles de resultados1:

¿Cómo es el marco lógico? El marco lógico es un método que sirve para organizar y visualizar la interacción de los distintos elementos de un proyecto. Bajo este enfoque, los recursos humanos y materiales, expresados ambos en términos físicos o monetarios- constituyen los insumos básicos para la realización de las actividades, las cuales permiten, a su vez, obtener ciertos productos. Estos tres elementos constituyen en rigor el proyecto y están bajo control y responsabilidad de la entidad ejecutora. Los productos obtenidos (también llamados componentes del proyecto) tienen un efecto predecible, bajo ciertas condiciones de entorno, sobre los beneficiarios directos, lo cual es descrito en el propósito y, más ampliamente, en el fin del proyecto2. En principio, el marco lógico se presenta como una matriz cuatro por cuatro; es decir, una tabla de cuatro columnas y cuatro filas. Las columnas suministran la siguiente información:    

La cadena de resultados y procesos, en la primera columna. Los indicadores o expresión cuantitativa de los resultados y procesos, en la segunda columna. Los medios de verificación de los indicadores, en la tercera columna. Los supuestos o factores externos que plantean riesgos al proyecto, en la cuarta y última columna.

Las filas de la matriz presentan información acerca de los resultados, indicadores, medios de verificación y supuestos en cuatro momentos diferentes de la vida prevista del proyecto: 1

El sistema de gestión por resultados es el enfoque principal de gestión de las intervenciones para el desarrollo promovida por el Comité de Asistencia al Desarrollo de la Organización de Cooperación y Desarrollo Económico (OCDE).

2

Existen diferentes manuales y textos sobre marco lógico. Se recomiendan los manuales de la Agencia Noruega de Desarrollo, Enfoque del marco lógico; y BID, Evaluación: Una herramienta de gestión para mejorar el desempeño de los proyectos. 2

   

La primera fila contiene el fin u objetivo estratégico al cual el proyecto contribuirá de manera significativa, luego de que haya estado en funcionamiento por un período razonable. La segunda contiene el propósito u objetivo específico de desarrollo, logrado cuando la ejecución del proyecto haya concluido. La tercera contiene los productos o componentes generados y entregados a la población beneficiaria en el transcurso de la ejecución del proyecto. La última fila contiene las actividades requeridas para generar los productos o resultados.

El marco lógico logra, sin mayor necesidad de sofisticados métodos matemáticos, introducir rigor científico en el diseño, ejecución y evaluación de las políticas de Estado, siendo ésta la razón por la que el país incorporó el enfoque del marco lógico en la metodología del Sistema Nacional de Inversión Pública (SNIP) y la razón por la cual muchas entidades públicas lo vienen utilizando en los distintos procesos de planificación, ejecución y evaluación de sus operaciones en general3. Gráfico 2.1 Marco lógico: presentación estilizada

Cadena de resultados

Indicadores de desempeño

Medios de verificación

Factores externos

Fin (resultado intermedio y final)

Indicadores de impacto

Fuentes secundarias

Supuestos para la sostenibilidad

Propósito (resultado inmediato)

Indicadores de efecto

Fuentes secundarias

Supuestos para logro del fin

Componentes (productos)

Indicadores de producto

Fuentes secundarias y primarias

Supuestos para logro del propósito

Subcomponentes/ Actividades

Indicadores de proceso

Fuentes primarias

Supuestos para logro de componentes

Costos

Condiciones previas

Evolución histórica del marco lógico El éxito obtenido a partir de 1969 por USAID4 en cuanto al mejoramiento de su cartera de proyectos mediante el uso del marco lógico, motivó que otras agencias de financiamiento del desarrollo también adoptaran esta 3

El marco lógico (Iogical framework, en inglés) fue concebido en 1969 por Practical Concepts Inc. (PCI), una empresa consultora norteamericana, para la Agencia de Desarrollo Internacional de los Estados Unidos. Fue puesto en práctica desde 1970 por AID en la gestión de proyectos de cooperación internacional en diversos países del mundo. 4

USAID, Agencia de los Estados Unidos para el Desarrollo, organismos de cooperación internacional del gobierno norteamericano. 3

metodología. Tal fue el caso de la Agencia Alemana de Cooperación Técnica, que en los años setenta, puso a prueba el enfoque del marco lógico en una determinada cartera de proyectos. En 1981, sobre la base del éxito alcanzado durante sus primeras experiencias y bajo la dirección de Moses Thompsom, líder de la consultora Team Technologies, GTZ llevó a cabo una fase piloto, desarrollando el método ZOPP, que en español significa planificación de proyectos orientada a objetivos, utilizando como base la matriz del marco lógico. Formalmente, el ZOPP fue introducido primero de manera provisional en 1983, mediante una directiva administrativa, y en 1987 como norma obligatoria y parte integral del ciclo del proyecto, conforme a lo establecido en capítulo 4211 del Manual de Organización. Hasta fines de 1988 todos los directivos de GTZ, colaboradores involucrados en la ejecución de proyectos y contratistas habían recibido entrenamiento en el método ZOPP y la forma de aplicarlo. El dominio del ZOPP pasó a ser una condición indispensable para cualquier promoción jerárquica o carrera en la empresa. Hasta hoy se elige ofreciendo un amplio programa de entrenamiento en ZOPP; a todos los niveles, en Alemania y en el exterior5. El ZOPP incorporó nuevos elementos, como los análisis de participantes, análisis de problemas, análisis de objetivos y análisis de alternativas. El trabajo realizado bajo la dinámica de talleres con participación de equipos multidisciplinarios donde tomaban parte GTZ, las organizaciones contrapartes y los grupos beneficiarios, fue incorporado en lo que constituyó una metodología participativa de diseño de proyectos. Luego de la adopción del marco lógico, en su versión mejorada llamada ZOPP, por parte de GTZ, este enfoque se difundió en forma amplia por todo el mundo, siendo adoptado prácticamente por la mayoría de agencias del sistema de las Naciones Unidas (OIT, PNUD, OPS, OMS, FAO, etc.) y la Unión Europea. Sin embargo, hacia la segunda mitad de los años 90, aún existían importantes instituciones internacionales, como el Banco Interamericano de Desarrollo, que no se adherían al enfoque del marco lógico. El año 1996, ante una evaluación institucional a raíz de una necesaria reposición de su capital social, esta institución debió admitir la necesidad de incorporar el enfoque del marco lógico dentro de los instrumentos de gestión del ciclo de proyectos. Desde entonces, todos los proyectos financiados por el BID son formulados y evaluados en base a la metodología que, veinte y siete años atrás, en 1969, concibiera un genial Leon Rossenberg. Desde agosto de 1977, también el Banco Mundial, el más grande financiador de proyectos sociales del mundo, incorporó el enfoque del marco lógico en los procesos de preparación, monitoreo y evaluación de los proyectos, a cuyo efecto contó también con la asistencia técnica de la consultora de Moses Thompsom.

¿Qué es el ZOPP? En los años setenta, la Agencia Alemana de Cooperación Técnica (GTZ) puso a prueba en algunos proyectos el enfoque de marco lógico que años atrás había sido adoptado por la USAID. En 1981, tras la ejecución de las primeras experiencias positivas, la GTZ llevó a cabo una fase piloto y tomando como base al enfoque del marco lógico desarrolló el método ZOPP, que en español significa planificación de proyectos orientada a objetivos. El ZOPP incluía algunos elementos nuevos, como el análisis de participantes, análisis de problemas, análisis de objetivos y el análisis de alternativas. El trabajo en equipos multidisciplinarios mediante talleres en los que formaban parte la GTZ, las organizaciones contrapartes y los grupos beneficiarios también fueron 5

Gestión del Ciclo del Proyecto (PCM) y Planificación de Proyectos Orientada a Objetivos (ZOPP). Desutche Gesellschaft fur Technische Zusammenarbeit (GTZ). 4

incorporados en lo que constituyó una metodología participativa de diseño de proyectos. Cientos de moderadores fueron entrenados en Alemania o en los propios países receptores. Los talleres ZOPP utilizaban técnicas de visualización en las distintas etapas de trabajo mediante tarjetas de colores y paneles. Cabe destacar, además, que en la metodología ZOPP se prevé la elaboración de cinco versiones del marco lógico a lo largo del ciclo del proyecto: 

ZOPP 1 o PRE-ZOPP, cuyo objetivo es realizar el análisis de problemas y de objetivos tan completo como sea necesario; pero no demasiado detallado. ZOPP 2 o ZOPP de Examen, en el cual se revisa el ZOPP 1, analizando los vacíos y señalando en dónde es necesario contar con mayor información. ZOPP 3 o ZOPP de la Contraparte, que responde a temas pendientes, evalúa la relevancia de los problemas y objetivos, haciendo un análisis intenso de los participantes en el proyecto. ZOPP 4 o ZOPP de Arranque, en el cual se revisa el análisis de participantes y se prepara el proyecto en forma detallada. ZOPP 5 o ZOOP de Replanteo, cuya función es revisar el ZOPP 4, y se adapta la estrategia del proyecto de acuerdo a los nuevos problemas encontrados y/o modificaciones planteadas.

   

Gran parte de la metodología ZOPP hoy se encuentra plenamente incorporada en el cuerpo central del enfoque del marco lógico. De hecho el análisis de problemas, objetivos y alternativas mediante sucesivas “lluvia de ideas” es parte conformante del enfoque del marco lógico, tal cual es utilizado por las principales agencias de promoción del desarrollo.

1.2

Enfoque del marco lógico

Al estudiar el marco lógico, debe establecerse claramente la diferencia entre el marco lógico como matriz (una tabla de cuatro columnas y cuatro filas) y el marco lógico como enfoque para la gestión del ciclo de proyectos, en particular para el diseño de un proyecto, proceso que abarca fases diversas de análisis, tales como la identificación de problemas, análisis de involucrados, análisis de problemas, análisis de alternativas y, finalmente, la propia matriz del marco lógico6.

Enfoque del marco lógico. Como enfoque, el concepto de marco lógico está íntimamente vinculado al ciclo de proyecto, razón por la cual se habla, con absoluta propiedad, del enfoque del marco lógico en la gestión del ciclo del proyecto.

El enfoque del marco lógico debe considerarse como una importante herramienta gerencial de las entidades públicas, ya sean éstas de ejecución o de financiación de proyectos. En palabras de sus autores, Leon Rossenberg y Lawrence Posner, el marco lógico no es difícil de usar, no requiere el uso de matemáticas ni de un software especializado. Tampoco ofrece respuestas a las cuestiones críticas del desarrollo, pero organiza la información de tal manera que puedan formularse las preguntas apropiadas. Su uso no se restringe sólo a proyectos. Puede ser aplicado a una variedad de situaciones: diseño de planes estratégicos y programas de desarrollo, diseño de estructuras organizacionales, articulación de los distintos niveles de planificación dentro 6

La visión del marco lógico como un proceso es conocida, también, como planificación de proyectos basada en objetivos (ZOPP). Véase al respecto los documentos publicados por la GTZ, especialmente Gestión del Ciclo del Proyecto y Planificación de Proyectos Orientada a Objetivos, 1990. 5

de una institución o articulación de la actuación de las distintas entidades de un sector de la administración pública.

Principio fundamental del marco lógico El principio subyacente al enfoque del marco lógico es la relación de causa a efecto, base de la lógica tal y como ella existe desde que Aristóteles estableciera sus cimientos filosóficos y científicos 7 . Cuantos más estrechos sean los vínculos de causa a efecto entre los objetivos y los demás componentes, mejor será el diseño del proyecto. Por ello, cada proyecto que se desarrolla empleando el enfoque del marco lógico debe hacer explícita la relación de causa a efecto comprendida en él. Así tenemos que: 



Las relaciones de causa y efecto entre los distintos niveles de objetivos (relaciones entre actividades-resultados, resultados-propósito, y propósito-fin) describen las condiciones necesarias para que un proyecto sea exitoso. Las relaciones de causa y efecto entre los objetivos y los supuestos aclaran la probabilidad de que el proyecto tenga éxito, bajo un contexto social y general dados.

En el contexto del enfoque del marco lógico, para la obtención de un determinado objetivo existen dos tipos de condiciones:  

Las condiciones necesarias, que se establecen a lo largo de la columna de objetivos. Las condiciones suficientes, que se establecen en la columna de supuestos.

Hipótesis sobre el desarrollo Las relaciones de causa a efecto entre las proposiciones contenidas en el marco lógico configuran hipótesis que el proyecto, al ejecutarse deberá confirmar o recusar. Las hipótesis contenidas en el marco lógico, llamadas usualmente hipótesis sobre el desarrollo, pueden ser más o menos generales o precisas, y operan dos o más variables, pero en cualquier caso son sólo proposiciones sujetas a comprobación empírica, a través precisamente de la ejecución real del proyecto cuyo marco lógico se está elaborando. En ocasiones, sin embargo, las hipótesis han sido suficientemente comprobadas en proyectos anteriores. En este caso se habla de proyectos replicativos, por oposición a los proyectos en los que las hipótesis están por comprobarse y el nivel de incertidumbre es aún grande, siendo éstos conocidos como proyectos innovativos. Así, por ejemplo, para el mejoramiento del ingreso de los agricultores se requiere, por un lado, un incremento de la productividad agropecuaria (condición necesaria) y, por otro, la evolución favorable del mercado de consumo de productos agropecuarios (condición suficiente). La primera condición, en el marco lógico, aparecerá en la columna de objetivos; en tanto que la segunda será parte de la columna de supuestos. Lo esencial del enfoque creado por Practical Concepts es el énfasis en la consistencia entre los distintos elementos de un proyecto. El marco lógico permite una visión rápida de las principales hipótesis de cambio que sustentan un proyecto expresadas en las relaciones de causalidad que existen entre los distintos casilleros de la matriz. Los supuestos de más alto nivel correspondientes al Fin, establecen o plantean hipótesis acerca de las condiciones externas requeridas para la sostenibilidad de los impactos del proyecto, esto es, la posibilidad de que los beneficios generados por el proyecto permanezcan en el tiempo, incluso después de que el proyecto haya concluido.

7

Véase al respecto, el documento de PCI, Sistema de Manejo de Proyectos. Reproducido por el Ministerio de Agricultura, Lima, 1986. 6

1.3

Lógica vertical

El marco lógico permite examinar los vínculos causales entre los distintos niveles de la cadena de resultados del proyecto. Esta es su lógica vertical. Si el proyecto está bien diseñado, debe obtenerse como válido que:     

Las Actividades especificadas para cada Componente son las necesarias para producir el Componente; Todos y cada uno de los Componentes son necesarios para lograr el Propósito del proyecto; Se cuenta con todos los Componentes necesarios para lograr el Propósito del proyecto; Si se logra el Propósito, el proyecto contribuirá al logro del Fin; El Fin es una respuesta a un problema importante en el ámbito del proyecto.

Un buen proyecto exige que la lógica vertical sea perfecta. Se llega a la perfección cuando las condiciones establecidas en cada nivel son aquellas estrictamente necesarias para alcanzar el nivel siguiente. Así, las actividades deben ser aquellas que son necesarias para alcanzar los Productos; los Productos deben ser los necesarios para alcanzar el Propósito del proyecto; el Propósito se encuadra dentro del Fin. La lógica vertical, sin embargo, no implica necesariamente que un sólo proyecto contenga todos los componentes necesarios para generar determinados propósitos. Eventualmente la obtención de un objetivo requiere de muchos componentes, los cuales no pueden ser incluidos totalmente en un solo proyecto, debido a que rebasarían el mandato legal de la institución ejecutora. En tal caso, los componentes no incluidos en el proyecto, se asumirían como supuestos, en el entendido de que fueran incorporados en los proyectos de otras entidades. Así por ejemplo, en un proyecto destinado al incremento de la producción agrícola (Propósito), una entidad podría considerar como componentes los de capacitación, asistencia técnica y micro crédito. Sin embargo, tal vez, no pueda incluir el componente relacionado al mejoramiento de las vías de comunicación. Éste, por lo tanto, sería incorporado en la columna de supuestos, asumiendo que serán considerados en un proyecto del Sector Transportes. Gráfico 2.2 Lógica vertical

7

Fin

Propósito

1.4

Componente 1

Componente 2

Componente 3

Actividad 1.1 Actividad 1.2 Actividad 1.3

Actividad 2.1 Actividad 2.2 Actividad 2.3

Actividad 3.1 Actividad 3.2 Actividad 3.3

Actividad 1.N

Actividad 2.N

Actividad 3.N

Lógica horizontal

El marco lógico, por otra parte, permite establecer las relaciones causales entre los objetivos del proyecto y los factores del entorno siendo éstos, por definición, de carácter no controlable, de modo que se garantice una adecuada evaluación de la viabilidad del proyecto. Ésta es su lógica horizontal. Mientras la lógica vertical garantiza la coherencia interna del proyecto, la lógica horizontal asegura su viabilidad en el contexto global del ámbito pertinente del proyecto. La conjunción de la lógica vertical y horizontal configura, si nos atenemos a su carácter lógico-formal, un silogismo típicamente aristotélico:   

Proposición p: condición necesaria (objetivo). Proposición q: condición suficiente (supuesto). Proposición r: conclusión (objetivo del siguiente nivel jerárquico).

Los supuestos son proposiciones en las que se establecen los factores externos que deben existir para lograr el próximo nivel de la jerarquía de objetivos. Cuanto menor sea la incertidumbre de que ciertos supuestos sean válidos, mayor será la probabilidad de éxito. Sin embargo, dado que sólo después de ejecutado el proyecto quedarán despejadas todas las dudas respecto a la validez del mecanismo de solución al problema social implícito en el proyecto, a dicho silogismo se le llama con propiedad argumento o hipótesis de desarrollo. Adicionalmente, por debajo de las actividades, suelen considerarse a las condiciones previas (previas al desembolso de fondos por parte de la entidad financiadora del proyecto), que junto con los insumos deben permitir la realización de las actividades del proyecto. Gráfico 2.3 Lógica horizontal

8

Fin

Supuestos

Propósito

Supuestos

Resultados

Supuestos

Actividades

Supuestos

La lógica es, como se sabe, la disciplina que enseña a evaluar argumentos. En lógica un argumento es un conjunto de proposiciones, una de las cuales (la conclusión) se deriva de otra u otras (las premisas). Las premisas proporcionan evidencias, en tanto que la conclusión es la proposición que surge de estas evidencias.

Argumento válido: ejemplo. En el campo de los proyectos productivos, particularmente en el sector agrícola, se sabe que el incremento de los ingresos depende en gran medida del incremento de la productividad: a mayor productividad, mayores ingresos, siempre y cuando los precios se mantengan estables.

1.5

Sistema de gestión por resultados

El marco lógico es la base conceptual del sistema de gestión por resultados. Este es un conjunto de procedimientos para la gestión en tiempo real de los resultados de una intervención pública o de una intervención en el desarrollo en general. La gestión por resultados es un enfoque de gerencia basado en la noción de que el empeño en alcanzar los resultados debe guiar la asignación de recursos, la realización de las actividades y la gestión en su conjunto de una organización. El sistema de gestión por resultados es un conjunto de procedimientos relativos a la administración de una entidad pública durante todas las fases del ciclo de gestión: planificación, organización, dirección y evaluación. El sistema permite configurar la gestión de modo que ella se oriente al logro de tres niveles de resultados8:  Primero: Procesos o resultados de primer nivel. 8

El sistema de gestión por resultados es el enfoque principal de gestión de las intervenciones para el desarrollo promovida por el Comité de Asistencia al Desarrollo de la Organización de Cooperación y Desarrollo Económico (OCDE). 9

 Segundo: Productos o resultados de segundo nivel.  Tercero: Efectos e impactos, o resultados de tercer nivel. La gestión por resultados es un sistema en el que los procesos –por definición, de carácter internogeneran determinados productos. Estos, a su vez, contribuyen al logro de determinados cambios en el bienestar de la población o resultados propiamente dichos. Mientras que los procesos caen dentro del ámbito interno de una entidad ejecutora, los efectos e impactos se ubican claramente en su ámbito externo. Por su parte, los productos constituyen el punto de encuentro entre las acciones del ámbito interno y el medio externo. Desde esta perspectiva, el desempeño de una institución puede ser evaluado, en principio, por la cantidad y calidad de los productos entregados a la sociedad, específicamente a la correspondiente población objetivo. Puede ocurrir, sin embargo, que los productos no generen los resultados esperados en las condiciones de vida de la población objetivo. Esta posibilidad es, precisamente, lo que hace indispensable incluir en el análisis no solo a los procesos y productos, sino sobre todo a los resultados. ¿Qué se entiende por resultados? Los resultados son los cambios, previstos o imprevistos, positivos o negativos, deseados o indeseados, de una intervención pública. Pueden referirse a los productos o resultados inmediatos o finales. Los resultados deben ser mensurables, a través de indicadores cuantitativos o cualitativos, obtenidos mediante el uso de fuentes primarias o secundarias.

10

Gráfico 2.4 Cadena de resultados y gestión basada en resultados

Procesos

Productos

Resultados

Actividades

Inmediatos o Específicos

Recursos

Final

Primer nivel: procesos La conducción de una intervención pública implica, ante todo, la administración de los procesos de producción; es decir, la realización de las actividades que permiten transformar los insumos en productos. En el contexto del enfoque del marco lógico, un proceso se refleja en la “L” conformada por los casilleros de costos (insumos) – actividades - productos (componentes). Los procesos se encuentran gráficamente ubicados en la esquina inferior izquierda del marco lógico, la cual en virtud de este hecho refleja en forma concentrada la función gerencial del proyecto.

Un proceso implica el uso de los recursos de una organización para obtener un determinado valor 9 . Ningún producto puede fabricarse y ningún servicio puede suministrarse sin un proceso, y ningún proceso debe existir si no aporta a la generación de un producto o servicio. En general, los principios de la gestión de procesos son básicamente los siguientes:

1. Los procesos sostienen todas las actividades de trabajo y se presentan en todas las organizaciones y en todas las funciones de una organización. 2. Los procesos se encuentran anidados dentro de otros procesos a lo largo de la cadena de valor de una organización. La cadena de valor, conocida también como cadena de suministro, es un 9

Al respecto, véase: Richard Chang, Mejora Continua de Procesos. Ediciones Granica, Buenos Aires, 2011.

11

conjunto de eslabones, conectados unos con otros, que se establecen entre proveedores de materiales y servicios, y abarca los procesos de transformación mediante los cuales las ideas y las materias primas se convierten en bienes y servicios entregables a los beneficiarios de un proyecto o de una entidad.

Una tarea esencial consiste en coordinar los enlaces entre los procesos. Ya sea que los procesos sean internos o externos, la gerencia debe prestar especial atención a las interfaces entre ellos. La necesidad de lidiar con esas interfaces pone de manifiesto la necesidad de contar con una coordinación interfuncional. La administración de procesos es la selección de los insumos, los flujos de trabajo y los métodos que transforman los insumos en productos. Por lo general, la selección de insumos empieza con la decisión de qué procesos se habrán de realizar internamente y cuáles serán contratados a proveedores externos.

Segundo nivel: productos El segundo nivel del sistema está constituido por los productos de un proyecto. En el contexto del enfoque de gestión por resultados, los productos son los bienes y servicios que un proyecto u otro tipo de intervención pública prevé producir a fin de lograr un determinado resultado en el seno de la población beneficiaria. Los productos son las entregas de un proyecto, respecto de los cuales se debe observar las siguientes consideraciones: 



 

Usualmente, el número de productos es de 3 a 5 por proyecto. Un número mayor hace que el proyecto se vuelva muy complejo, en cuyo caso sería mejor desagregar la intervención en varios proyectos que conformen un sólo programa. Los bienes y servicios que sean indispensables, pero que por alguna razón justificada no puedan ser incluidos como productos o componentes de un proyecto, deberán ser incorporados en la columna de supuestos. Los productos comprenden las acciones o procesos que están bajo control del equipo ejecutor del proyecto. Son los factores estrictamente controlables del proyecto. Los productos comprenden la estrategia básica de un proyecto: constituyen el paquete mínimo necesario que, al ocurrir conjuntamente con determinados factores externos, expresados estos en los supuestos del proyecto, será suficiente para lograr el resultado deseado.

En virtud de una costumbre bastante arraigada entre planificadores y gestores públicos, en la gestión de los productos, más que en cualquier otro nivel del marco lógico, deben utilizarse frases que expresen las acciones como si ya hubieran sido realizadas o como productos terminados. Ejemplos de productos Resultado

Productos

“Mejoramiento de la producción y productividad agrícola” 1. 2. 3. 4. 5.

Las técnicas de cultivo han mejorado. Existe disponibilidad de crédito agrícola. La infraestructura de riego ha sido rehabilitada. Los agricultores han sido capacitados. Existe una mayor disponibilidad de insumos agrícolas.

12

Tercer nivel: resultados Los resultados propiamente dichos corresponden al impacto esperado de un proyecto10. Los proyectos deben garantizar la entrega de los bienes y servicios que conducirán a la mejora de las condiciones de vida y al cambio del propio comportamiento de la población beneficiaria. Por lo general, es más difícil evaluar estos resultados que evaluar los procesos o los productos, ya que requieren un sistema de medición e información más complejo. Con frecuencia, este nivel de resultados precisa que la información cuantitativa se complemente con evaluaciones cualitativas, lo cual muchas veces es difícil de lograr. Por otro lado, los resultados suelen ser menos numerosos, pero son decisivos para evaluar y controlar la calidad de los servicios, elemento clave del sistema de gestión por resultados.

Los resultados pueden ser de dos tipos básicos: resultados inmediatos y finales. Los resultados inmediatos se refieren a los efectos directos de un proyecto. Corresponden a “qué pasa después” a las familias, personas, grupos, comunidades o instituciones, luego de la ejecución de las actividades del proyecto y la entrega de los productos. Medir los efectos significa analizar los cambios en el comportamiento de las familias y las personas, así como los cambios en el desempeño de grupos e instituciones. Estos cambios son muy específicos de cada contexto y dependen de las características y los objetivos del proyecto. Se puede recurrir a diversos métodos para medir estos cambios: estudios, encuestas basadas en cuestionarios, debates temáticos en grupo, etc.

Por su parte, el resultado final corresponde al nivel superior de una intervención, guarda estrecha relación con los objetivos de mayor jerarquía de un proyecto y se refieren a los impactos esperados en el mediano y largo plazo. Por ejemplo, según el FIDA11, en los proyectos de mejoramiento de la productividad de los cultivos, el resultado final podría relacionarse al aumento de los activos disponibles y una mejor nutrición de las familias campesinas.

Cadena de resultados En el contexto de la gestión de proyectos de desarrollo, el concepto de cadena de resultados es un elemento fundamental de la gestión basada en resultados. La cadena de resultados muestra la relación causal entre insumos, procesos, productos y resultados a lo largo del tiempo. La razón en que se sustenta la gestión basada en resultados es que la estrategia de gestión se centra en primera instancia en los resultados, tanto mediatos como inmediatos; en segunda instancia en los productos previstos; y, finalmente, se determinan los recursos o insumos y los procesos o actividades necesarios para generar los productos y alcanzar los resultados previstos2. Se debe utilizar la información sobre la ejecución del proyecto en relación a los productos, los efectos e impactos previstos, a fin de proponer ajustes y mejoras de los insumos y las actividades.

10

En determinados organismos, como el FIDA, los resultados son conocidos como resultados de tercer nivel. 11 FIDA, Fondo Internacional de Desarrollo Agrícola, organismo multilateral de financiación de proyectos agropecuarios en los países en desarrollo. 13

Gráfico 2.5 Cadena de resultados

Visión convergente implícita en el sistema de gestión por resultados. Actividades Productos Resultados inmediatos Resultados intermedios Resultado final

Recursos

Como se muestra en el gráfico 2.2, la jerarquía de los resultados está alineada con la cadena de resultados del proyecto, lo cual facilita el trabajo ulterior de diseño del sistema de monitoreo y evaluación de un proyecto y su contribución a la gestión por resultados de la organización correspondiente.

Terminología de la cadena de resultados

Insumos. Recursos financieros, humanos y materiales necesarios para realizar las actividades y conseguir los productos previstos de un proyecto. Puede ser expresado únicamente como metas financieras o costos. Procesos (actividades). Medidas adoptadas o tareas realizadas respecto de un proyecto para conseguir un producto específico empleando los recursos asignados. Productos. Bienes públicos tangibles o intangibles que se producen gracias a la 14

ejecución de las actividades. Resultados inmediatos o específicos. Efectos directos o cambios generados por los productos entregados por el proyecto a la población beneficiaria. Resultados intermedios. Efectos de mayor nivel generados por los productos, por lo general vinculados a las prioridades sectoriales correspondientes. Resultados finales. Impactos, en términos de efectos positivos y negativos a largo plazo, producidos por un proyecto en el bienestar de la población.

15

Gráfico 3.9. Marco lógico, visión global A. Síntesis de factores internos. Principios: coherencia, convergencia y atribuibilidad.

A1. Objetivo estratégico institucional al que contribuye el proyecto. Principio: pertinencia.

B. Números absolutos o relativos, sobre variables cuantitativas o cualitativas. Principio: evaluabilidad.

Cadena de resultados

Indicadores de desempeño

C. Fuentes de información primarias o secundarias para verificar el logro de las metas. Principio: evaluabilidad.

Medios de verificación

Factores externos

D1. Agenda de reformas estructurales del país. C1. Fuentes estadísticas secundarias nacionales e internacionales.

B1. Indicadores para medir la contribución a los objetivos estratégicos

Resultado final

Indicadores de Impacto

Fuentes secundarias

Supuestos para la sostenibilidad

A2. Representa la solución del problema social. Principio: pertinencia.

Resultado especifico

Indicadores de efecto

Fuentes secundarias

Supuestos para logro del fin

Productos

Indicadores de producto

Fuentes secundarias y primarias

Supuestos para logro del propósito

Fuentes primarias

Supuestos para logro de componentes

B2. Incluye número de beneficiarios y otros indicadores relacionados a la solución del problema social A3. Bienes públicos entregados a la población beneficiaria.

Actividades

Indicadores de proceso

B3. Indicadores generalmente expresados en cifras absolutas. Costos

Condiciones previas

A4. Uso de bienes privados para la generación de bienes públicos.

B4. Metas físicas del proyecto. Son indicadores de proceso.

Costos necesarios para la ejecución de actividades. Principio: presupuesto por resultados.

D. Supuestos sobre la evolución de los factores externos relevantes. Principios: viabilidad y atribuibilidad

Condiciones de efectividad. Principios: viabilidad y sostenibilidad.

D2. Factores relacionados al análisis PESTE

C2. Fuentes estadísticas nacionales, generalmente externas.

D3.. Factores relacionados a otras intervenciones del Estado. C3. Fuentes de información que emanan de la ejecución del plan operativo. D4. Contexto de la población beneficiaria y otros actores.

C4. Fuentes primarias, básicamente internas.

16

Capítulo 2. Sistema de Monitoreo y Evaluación

2.1

Concepto general de evaluación

Evaluar es comparar los resultados planeados con los resultados efectivamente logrados. La evaluación de procesos se centra en el seguimiento de las actividades y de la ejecución presupuestal, a través de los indicadores y metas correspondientes a las actividades. La evaluación de resultados se interesa, principalmente, por el control de avance en el logro de los productos y el propósito, y tiene por objeto evaluar la estrategia del proyecto. Finalmente, la evaluación de impacto está destinada a revelar la magnitud de los efectos del proyecto sobre el desarrollo, haciendo uso de métodos cuantitativos y cualitativos, asumiendo el reto de clarificar la atribuibilidad de los cambios en el bienestar de la población. En general, la evaluación es la disciplina que se ocupa de la comparación de los resultados de un proyecto con las metas que se propuso alcanzar y que, por ende, mide hasta que punto un proyecto alcanza ciertos objetivos. En esta definición hay dos tipos de riesgos:  En primer lugar, podría existir una sobreestimación de las metas, en cuyo caso, independientemente de la calidad del diseño y de la implementación, se considerarían como deficientes aquellos proyectos que no alcancen dichas metas, aún cuando desde una perspectiva realista, pudieran haber sido considerados exitosos.  También existe el riesgo contrario: la subestimación de las metas. En este caso, proyectos mal concebidos y ejecutados, podrían tener una evaluación aparentemente positiva, debido a que sus formuladores, cautos en el momento de plantearse las metas, situaron éstas en un nivel ostensiblemente bajo. Cabe destacar el hecho que las evaluaciones son útiles siempre que los resultados que generen aporten valor agregado para las entidades ejecutoras, en términos de lecciones aprendidas que puedan ser incorporadas en el diseño de futuras intervenciones.

2.2

Marco lógico y evaluación

Tomando como punto de partida el marco lógico de un proyecto, el propósito y demás elementos de un proyecto pueden ser visualizados y conceptualizados en forma interrelacionada. Así tenemos que:  Los resultados se encuentran localizados en las filas del propósito y fin del marco lógico;  Los resultados también se encuentran, en parte, localizados en la fila correspondiente a los componentes del marco lógico. Se refieren a los productos entregados por el proyecto a la población beneficiaria.  Finalmente, los procesos están localizados en las actividades del marco lógico, pues, se refieren al uso de insumos para la realización de actividades generadoras de los productos.

17

Gráfico 4.1 Marco lógico y evaluación Objetivos

Indicadores

Fin

Indicadores de impacto

Propósito

Indicadores de efecto

Productos

Indicadores de producto

Actividades

Costos (Insumos)

Resultados

Procesos

Medios de Verificación

Supuestos

Las actividades, sin embargo, están asociadas a los componentes y pueden conformar el referente para la evaluación en la etapa de ejecución de un proyecto.

2.3

Evaluación ex -post

Después de culminada la ejecución del proyecto, debe realizarse el análisis de los resultados del proyecto. En esta etapa se puede determinar la coherencia, pertinencia, eficacia, eficiencia, impacto y sostenibilidad del proyecto. En todos los casos, se espera que la evaluación proporcione a la institución ejecutora y al conjunto de involucrados del proyecto información confiable que permita extraer lecciones sobre determinados aspectos clave de la promoción del desarrollo y que, por lo tanto, permitan elevar la calidad de las intervenciones en el futuro. En el contexto del enfoque del marco lógico y como ya ha sido señalado se pueden establecer hasta tres tipos de evaluación: evaluación de procesos (monitoreo), evaluación de resultados (o simplemente evaluación) y evaluación de impacto. Cabe destacar que estos tres tipos de evaluación tienen su razón de ser en el hecho que, por lo general, cuando se evalúa un proyecto se busca responder a tres preguntas fundamentales:

1. ¿Cómo está funcionando el proyecto? 2. ¿Se logró o no el cambio deseado? 3. ¿Si se logró el cambio, en qué medida este se puede atribuir al proyecto? Evaluación de procesos. La evaluación de procesos o monitoreo nos permite conocer a fondo la dinámica de implementación del proyecto, incluyendo:   

La cantidad de actividades realizadas; La calidad realizada de las actividades; El costo de las actividades realizadas.

Este tipo de evaluación está destinada a responder preguntas como las siguientes: 18

  

¿Cuánto hemos hecho? ¿Qué tan bien lo hemos hecho? ¿Cómo podríamos mejorar?

La evaluación de procesos se enfoca íntegramente en la implementación de las actividades del proyecto. Este tipo de evaluación no investiga cuán eficaces fueron estas actividades en producir resultados. Por lo tanto la gran utilidad de este tipo de evaluación es identificar – mientras el proyecto está es plena marcha - los aspectos exitosos para replicarlos y los aspectos deficientes para mejorarlos. Efectuado oportunamente, la evaluación de procesos, permite realizar modificaciones en la ejecución de actividades con base en los hallazgos, incrementando así la probabilidad de que el proyecto logre sus objetivos. Evaluación de resultados. La evaluación de resultados busca determinar el grado de logro del resultado deseado en la población objetivo. Al evaluar los resultados de un proyecto, a fin de determinar si el diseño y la gerencia del mismo fueron adecuados, se pone énfasis en cinco aspectos importantes:     

Pertinencia. Grado en el cual el objetivo del proyecto es consistente con las prioridades de desarrollo de la población objetivo y las políticas de la entidad ejecutora y el organismo donante o financiador. Eficacia. Grado en el cual se logran los objetivos específicos y el propósito del proyecto. Eficiencia. Análisis de los resultados con relación al costo; es decir un análisis de la transformación de los insumos en producto mediante la realización de determinadas actividades. Impacto. Valoración socioeconómica global, incluyendo los efectos positivos y negativos, tanto aquellos que son deseados y estaban previstos, como los no previstos y no deseados. Sostenibilidad. Apreciación de la capacidad para mantener los impactos positivos del proyecto por un largo periodo de tiempo. Análisis sobre si el efecto global en términos, por ejemplo, de empleo e ingresos es positivo también en el largo plazo.

Estos aspectos están estrechamente relacionados al enfoque del marco lógico. Así, la pertinencia alude a la relación del propósito con las prioridades de desarrollo; la eficacia a la relación entre los productos y el propósito; la eficiencia es una comparación de los insumos con los productos; el impacto establece relaciones entre las variables controlables por el proyecto y el fin; y, por último, la sostenibilidad analiza la interacción entre el fin y los supuestos al mismo nivel. Evaluación de impacto. Las evaluaciones de impacto permiten determinar con mayor certeza la relación causa-efecto de un proyecto dado y sus resultados en la población beneficiaria. Por lo general, la metodología de evaluación consiste en la construcción de un escenario contrafactual, a través del cual se compara la situación con proyecto versus la situación sin proyecto y, de este modo, se estima tanto la magnitud de los cambios como la proporción de dichos cambios atribuible al proyecto. El escenario contrafactual se puede construir usando diversas metodologías que se clasifican en dos categorías generales: diseños experimentales y no experimentales. También se pueden usar métodos cualitativos y participativos para evaluar el impacto. Estas técnicas con frecuencia proporcionan información decisiva sobre las perspectivas de los beneficiarios, el valor que los proyectos tienen para ellos, los procesos que pueden haber afectado los resultados y una interpretación más profunda de los resultados observados en el análisis cuantitativo.

2.4

Evaluación de resultados

En un sistema integral de gestión, las acciones de evaluación deben permitir –como ya se ha señalado- realizar un análisis de, por lo menos, tres aspectos fundamentales: eficacia, eficiencia y sostenibilidad. Asimismo, debieran ser evaluados los aspectos relacionados a la pertinencia e impacto, aunque esto último requiere un tratamiento metodológico más complejo. 19

Análisis de coherencia El análisis de coherencia consiste en determinar en qué grado el proyecto no contradice a otras intervenciones de desarrollo con objetivos similares. En este aspecto se distinguen tres niveles:   

Intervenciones ejecutadas por la institución ejecutora. Intervenciones financiadas por la entidad financiadora. Intervenciones de los programas de otras instituciones ejecutoras.

Asimismo, el análisis de coherencia comprenderá el establecimiento de un matching entre la estructura del proyecto y el plan estratégico institucional.

Análisis de coherencia • • •

Comparación entre el proyecto y PEI de la institución. Comparación entre el proyecto y las prioridades de apoyo de la cooperación. Comparación entre el proyecto y otras intervenciones de la entidad ejecutora.

Análisis de eficiencia Por eficiencia se entiende el grado en el que las actividades y resultados del proyecto se han logrado en relación a las metas programadas. Asimismo, el análisis de eficiencia comprende la evaluación del grado de ejecución del presupuesto asignado al proyecto. En otras palabras, el análisis de eficiencia consiste en determinar el grado en el que los diversos insumos se convierten en productos de manera económica. De allí que una forma universal de operativizar el análisis de eficiencia sea a través del cálculo de la ratio costo-efectividad. La eficiencia es la medida de la “productividad” del proceso de implementación, esto es, en qué grado los productos logrados derivan de un uso eficiente de los recursos financieros, humanos y materiales. En principio, implica comparar insumos contra productos. La mayor dificultad para medir la eficiencia radica en determinar el estándar de comparación o línea de corte. Esto dependerá del tipo de proyecto, de las circunstancias locales y de otros factores. El estándar difícilmente está predeterminado, por lo tanto en la práctica depende del equipo de evaluación especificar contra qué estándar se va a medir. Por ejemplo: contra proyectos comparables, sobre la base de la experiencia con otros proyectos y sobre la base de criterios específicos de razonabilidad. La evaluación de la eficiencia queda implícita durante la planificación del proyecto, cuando se decide sobre los presupuestos e insumos. Asimismo representa una parte considerable de las posteriores actividades de monitoreo y evaluación. A lo largo de un proyecto sólo se puede hacer evaluaciones parciales de la eficiencia. Una valoración completa y global solamente es posible cuando el proyecto ha sido concluido. Para ello, se recopila información necesaria para medir la eficiencia durante la preparación de la evaluación. El análisis de eficiencia implicará realizar las acciones siguientes:

20

Análisis de eficiencia

• • •

Verificación del cumplimiento de las metas físicas programadas. Verificación del cumplimiento de las metas financieras programadas. Verificación del análisis costo efectividad a nivel parcial, específicamente, en cada una de las principales actividades comprendidas en los resultados del proyecto.

Análisis de eficacia La eficacia de un proyecto es una medición del grado de avance sobre el logro del propósito del proyecto, o bien de la probabilidad de que se logre al término del periodo previsto de ejecución. La eficacia implica el grado en que se logra el propósito o se espera alcanzarlo. Establecer la eficacia es parte del monitoreo, de manera que podemos suponer que la información necesaria será provista por la gerencia del proyecto en el momento en que se realiza la evaluación. La determinación de la eficacia presupone que el propósito del proyecto ha sido definido operacionalmente y de manera no ambigua, de forma tal que sea posible una verificación razonablemente valida. Sin embargo, con frecuencia no se da esto: los objetivos pueden estar formulados de manera poco clara y ser demasiado generales. En tales casos se debe resaltar esa debilidad y el equipo de evaluación tiene que operacionalizar los objetivos sobre la base de la documentación existente del proyecto, de manera de determinar qué se ha logrado realmente. Usualmente, un proyecto de desarrollo es sólo uno de los muchos factores que pueden contribuir al logro de los objetivos de desarrollo de un país. Por lo tanto, el equipo de evaluación fijará su atención sobre las causas de la eficacia (o de la falta de ésta), especialmente en qué grado se han alcanzado los productos esperados, y si estos son suficientes o si se deben hacer cambios en el diseño del proyecto para asegurar la eficacia en un tiempo determinado. Sin embargo, es igualmente importante determinar minuciosamente los factores externos (supuestos) que también influyen sobre las probabilidades de éxito del proyecto. El análisis de eficacia implicará realizar las acciones siguientes:

Análisis de eficacia   

Comparación de las metas programadas a nivel de propósito y fin. Comparación de las metas a nivel de cada uno de los resultados con las metas realmente obtenidas. Verificación de la calidad de los procesos culminados.

Análisis de impacto El impacto del proyecto son las consecuencias para la sociedad, tanto las previstas como las no esperadas, sean éstas positivas y negativas. Aquí se debe tomar como punto de partida el fin y el propósito del proyecto, pero va mucho más allá de simplemente establecer si se han cumplido. Este tipo de evaluación con frecuencia requiere de investigaciones que abarcan un mayor campo de estudio. La eficacia es un criterio de evaluación estrecho, ya que el propósito del proyecto indica 21

solamente los efectos positivos esperados por las partes involucradas. A diferencia de esto, el concepto de impacto es mucho más amplio porque incluye las consecuencias positivas y negativas, tanto las previstas como las no esperadas. Una determinación amplia de los impactos de un proyecto es central en la evaluación. Con frecuencia se trata de la parte más difícil y exigente del trabajo de evaluación. En la determinación de impactos el punto de partida debe ser el propósito del proyecto en la forma en que ha sido definido, así como el grado de eficacia alcanzado, y luego se debe analizar que otros efectos (positivos o negativos, previstos o no esperados) se han producido como resultado de la ejecución del proyecto. El impacto total es el resultado de condiciones causales complejas que pueden ser difíciles de analizar. Puede ser especialmente problemático probar que los cambios observables son producidos por un determinado proyecto o acción de desarrollo. A fin de comprender las conexiones causales, el evaluador puede necesitar emplear métodos orientados al proceso, como la observación de los participantes. En distintos momentos pueden aparecer diferentes impactos. En el trabajo de evaluación se debe poner atención tanto a los impactos de corto plazo como a los de largo plazo. Las evaluaciones de proyectos en implementación igual pueden producir conclusiones valiosas aplicables en el futuro a proyectos de desarrollo similares. El análisis de impacto implicará realizar las acciones siguientes:

Análisis de impacto  

Determinación de los efectos del proyecto sobre las poblaciones más pobres del país. Determinación de los efectos del proyecto sobre las poblaciones de mayor vulnerabilidad actual.

Análisis de sostenibilidad La sostenibilidad es una estimación global sobre el grado en que los cambios positivos producidos por el proyecto continuarán aún después que éste haya concluido y que en particular el apoyo de la cooperación haya concluido. Según la OCDE12, la sostenibilidad es la “prueba final” del éxito de un proyecto de desarrollo. Así, la determinación de la sostenibilidad de un proyecto de desarrollo implica mucho más que la respuesta a la pregunta sobre el logro de los objetivos fijados: indica la probabilidad que los impactos positivos continúen una vez que hayan concluido las actividades del proyecto. En el contexto de los proyectos de desarrollo, la sostenibilidad se define como la capacidad para generar beneficios duraderos, que permanezcan vigentes incluso después de que el proyecto haya concluido13. Los puntos clave a destacar en la definición de sostenibilidad son los siguientes: La atención se centra en mantener el flujo de beneficios en lugar del mantenimiento del proyecto mismo. Los proyectos, por definición, no son sostenibles, ya que son acciones de carácter temporal, con fechas de inicio y término predeterminadas en los correspondientes estudios de pre inversión y convenio de donación. El concepto de beneficios sostenibles, por lo tanto, no necesariamente significa la continuidad de las actividades del proyecto, más allá de un periodo razonable de tiempo.





12

Organización para la Cooperación y Desarrollo Económico. Veáse, Quality Assurance Group PIA/OPRE, Promoting Practical Sustainability. Australian Agency for International Development (AusAID), Canberra, September 2000. 13

22

El análisis de sostenibilidad es, pues, un proceso encaminado a maximizar y dar continuidad al flujo de beneficios para la población. Debe ser un proceso permanente y debe ser actualizado según las cambiantes circunstancias del entorno. Cabe destacar, sin embargo, que no existe una única manera de lograr la sostenibilidad, sino que cada proyecto debe definir su propia estrategia de sostenibilidad, según las circunstancias específicas internas y externas. El análisis de sostenibilidad de un proyecto consiste, pues, en determinar si más allá del logro de sus objetivos, es posible que los impactos positivos continúen después que el proyecto haya concluido. El análisis de sostenibilidad implicará realizar las acciones siguientes: Análisis de sostenibilidad   

Verificación de la capacidad sostenible del proyecto para dar continuidad a la atención a los usuarios. Verificación de las capacidades sociales e institucionales para la realización de los derechos ciudadanos. Verificación de capacidades nacionales, especialmente fiscales, para cubrir los costos operativos del proyecto.

En general, se debe recopilar información cualitativa y cuantitativa sobre la ejecución del proyecto. A partir de esto se realizan diversos análisis, con la finalidad de transformar la masa de datos obtenida en información real para la toma de decisiones.

Análisis de pertinencia Por pertinencia se entiende la apreciación global sobre si el proyecto se condice con los objetivos de desarrollo del país, así como las necesidades y prioridades locales. En otras palabras, se refiere a clarificar si el proyecto debe ser continuado, reformulado o finalizado. Así, la pertinencia es un tema relevante dentro de la evaluación y debe estar presente desde las etapas iníciales de planificación y a lo largo de todo el ciclo del proyecto. El análisis de pertinencia es una cuestión de dirección del proyecto en relación con su propósito. Por otro lado, implica observar los cambios sociales e institucionales que puedan haber ocurrido durante la ejecución del proyecto y evaluar hasta qué punto esto puede alterar la lógica del proyecto. Cabe indicar que determinados cambios en las condiciones externas podría disminuir el grado de prioridad del proyecto o erosionar su fundamento lógico. Por ello, el análisis de pertinencia implica decisiones del más alto nivel sobre la conclusión o continuación del proyecto y, en este último caso, sobre posibles cambios en la estrategia y metodologías de ejecución del proyecto. El análisis de pertinencia implicará realizar las acciones siguientes: Análisis de pertinencia   

2.5

Análisis de la vigencia de la prioridad del objetivo de desarrollo del proyecto. Análisis de la vigencia o de la necesidad de cambio en la estrategia de intervención del proyecto. Análisis de la vigencia de la modalidad de ejecución del proyecto.

Marco lógico y evaluación de impacto 23

La estimación de beneficios del proyecto, a través de la metodología de evaluación de impacto social, tiene por finalidad medir el grado del cambio económico que se puede atribuir a una intervención, eliminando el sesgo de factores ajenos al proyecto que podrían haber influido en los resultados obtenidos. Los beneficios obtenidos por el proyecto son de carácter incremental y atribuible sólo a la intervención. Los beneficios del proyecto permiten determinar con mayor certeza la relación causa-efecto entre un proyecto dado y sus efectos directos sobre la población beneficiaria. En esencia, la evaluación de impacto social es un método para evaluar la contribución de un proyecto al bienestar de la población. El objetivo de esta metodología es, en consecuencia, determinar cuál es la mejora alcanzada por los individuos participantes o beneficiarios de un proyecto en términos de ciertas variables clave, tales como ingreso, empleo, equidad y acceso a servicios básicos, entre otros. Básicamente, se busca responder a la pregunta: ¿qué ganan los participantes de un proyecto en comparación a no haber participado en el mismo? Nótese que está pregunta es distinta a la pregunta: ¿cuál es la situación de un individuo después del proyecto en comparación a su situación antes del mismo? Ello es así, porque entre los beneficiarios de un proyecto pueden existir cambios en ciertas variables relevantes, debido a factores no necesariamente atribuibles al contenido de la intervención.14 De manera ideal, el cambio en las variables atribuibles al proyecto se podría determinar de manera exacta si fuera posible observar a un individuo después de haber participado en el proyecto y al mismo individuo en el estado contrafactual, es decir, sin haber participado en él. Conceptualmente, estos dos estados posibles se reflejan en los denominados grupo beneficiario (o grupo de tratamiento) y grupo de control, donde el primero está integrado por individuos que tienen una participación directa en el proyecto, a diferencia del segundo, que está conformado por individuos que por alguna razón no participan del proyecto. Lo crucial es lograr que el grupo de control y el de beneficiarios sean los más similares posibles. Para construir un escenario contrafactual que simule la situación de los beneficiarios en el escenario de no participación en el proyecto, se pueden utilizar tres tipos de diseños de evaluación: experimentales, cuasi-experimentales y no experimentales. La diferencia entre los dos primeros diseños radica en la forma como se asignan los participantes a los grupos de tratamiento y control. Así tenemos que:  



En el diseño experimental los participantes son asignados aleatoriamente antes del inicio del proyecto. Ello permite conformar grupos que son en promedio similares en todas sus características excepto por su participación en el proyecto. En el diseño cuasi-experimental la asignación es no aleatoria, de modo que el grupo de control puede conformarse una vez que el proyecto ha empezado. En este diseño el método de asignación dificulta la conformación de grupos similares, lo que hace necesario el uso de técnicas estadísticas y econométricas para corregir el sesgo de selección generado. En el método no experimental, a diferencia de los diseños experimentales y cuasiexperimentales, no se construye un grupo de control o comparación para contrastar los cambios en el grupo de tratamiento.

En estos diseños el grupo de beneficiarios se compara con un grupo conformado por no participantes que pueden cumplir o no los criterios de selección del proyecto. Es decir, no necesariamente son beneficiarios potenciales del proyecto o parte de la población objetivo de la intervención. Así, es muy probable que este grupo de no participantes difiera del grupo de tratamiento en aquellas características observables y no observables que determinan la variable de 14

Esta sección está basada principalmente en los trabajos del ILPES sobre evaluación de impacto. Sin embargo, pueden encontrarse magníficos trabajos en el Banco Mundial, especialmente los de Judy Baker y en la OIT, sobre todo el trabajo de Abdala. En el Perú, los trabajos de GRADE, especialmente el de evaluación de impacto del programa PROJOVEN constituye una excelente aplicación del método.

24

impacto. Para eliminar las diferencias entre estos dos grupos se utilizan técnicas econométricas que usan una o más variables pertinentes a la participación pero no a los resultados de la participación.

Cuantificación del impacto Existen tres estimadores ampliamente usados para evaluación de impacto de un proyecto ó intervención: el estimador “antes y después”, el estimador de “diferencia en diferencias” y el estimador de “corte transversal”. Estimador Antes y Después. En términos gráficos, el estimador “antes y después” resulta de comparar la situación de los beneficiarios del proyecto antes del proyecto (E) con su situación después de haber pasado por el proyecto (A). En este caso se usa como grupo de control a los mismos beneficiarios en su situación anterior al proyecto, siendo el estimador de impacto el equivalente a (A-E). El supuesto detrás de la utilización correcta de este estimador es que (E) logra aproximar bien la situación de los beneficiarios en caso no hubieran participado en el proyecto (B), lo cual requeriría que no hubieran habido cambios en la situación económica en general durante ese lapso. El problema de este método radica en que, típicamente, la simple comparación antes y después puede llevar a atribuir erróneamente al proyecto cambios que se hubieran dado en ese grupo de beneficiarios independientemente de su participación en el proyecto. Estimador Diferencia en Diferencias. El estimador de diferencia en diferencias resulta de comparar las situaciones antes-después de los beneficiarios con aquella de los controles. Así, el impacto del proyecto se estima mediante la siguiente fórmula (A-E) – (D-F). El supuesto detrás de este estimador es que el cambio en la situación de los controles (D-F) entre el momento previo al proyecto y el momento posterior al proyecto es una buena aproximación del cambio que hubiesen experimentado los beneficiarios durante ese mismo período de no haber pasado por el proyecto (BE). Gráfico 4.2 Estados posibles para beneficiarios y controles

Antes del proyecto

Beneficiarios

E: Situación antes del proyecto

Después del proyecto A: Estado de tratamiento B: Estado de no tratamiento

Controles

F: Situación antes del proyecto

C: Estado de tratamiento D: Estado de no tratamiento

Situaciones observables

Situaciones no observables

Estimador Corte Transversal. El estimador de corte transversal sólo toma en cuenta la situación de beneficiarios y controles después del proyecto. Directamente el impacto se estima a través de AD. Aquí, el supuesto es que D es una buena representación de B. Esta metodología se utiliza en los casos en los que no hay información acerca del proyecto al inicio del mismo, (línea de base), y sólo 25

se puede recoger información luego del proyecto. Nótese que si las situaciones de los beneficiarios y controles son similares en el período anterior al proyecto, el estimador de diferencia en diferencias es equivalente al estimador de corte transversal.

Evaluación ex ante y ex post La evaluación de impacto, al igual que cualquier otra evaluación, puede realizarse antes (ex- ante) o después (ex-post) de la ejecución del proyecto. En términos generales, es conveniente realizar evaluaciones de impacto ex-ante cuando se quiere escoger un proyecto o una combinación de varios que puedan contribuir de forma más efectiva a la reducción de la pobreza; y evaluaciones ex-post, cuando la evaluación de impacto puede retroalimentar la efectividad del proyecto en cuestión. En la Tabla 43 se resumen las principales características de los tres tipos de diseño utilizados en el análisis cuantitativo del impacto generado por los proyectos. Se puede concluir que existe una relación inversa entre la aplicabilidad de estos diseños y la confiabilidad de los resultados que se pueden obtener al aplicar cada uno de los diseños. El diseño experimental es el más robusto estadísticamente, pero su aplicación requiere de determinadas condiciones que son difíciles de encontrar en la práctica, y en especial en la implementación de proyectos. Por su parte, los diseños cuasi-experimental generalmente arrojan estimaciones menos precisas del impacto. Es decir, en estos diseños es más probable la presencia de factores diferentes al proyecto que estén subestimado o sobreestimando el verdadero impacto de las intervención. Sin embargo, su aplicabilidad es mayor debido a que los controles que utiliza para construir el escenario contrafactual son más flexibles y no interfieren con la implementación de los proyectos. En el caso de los diseños no experimentales, la construcción del grupo de beneficiarios y no beneficiario es sencilla, pero se requiere el uso de sofisticadas técnicas estadísticas para remover el sesgo en las estimaciones de impacto. Gráfico 4.3 Evaluación de impacto: ejemplo Antes del proyecto

Después del proyecto

Comparación antes / después

Con proyecto

100

150

50

Sin proyecto

100

120

20

0

30

30

Línea de base

Línea de salida

Beneficios incrementales

Rubro

Comparación con/sin proyecto

Finalmente, se debe tener en cuenta que en muchas evaluaciones estos diseños, más que sustitutorios, son utilizados como alternativas complementarias de evaluación. Por ejemplo, un proyecto puede evaluar uno de sus objetivos con un diseño experimental y los demás con diseños no experimentales. También, una evaluación podría seleccionar aleatoriamente las áreas geográficas en donde el proyecto se implementaría (diseño experimental) y, luego, utilizar un diseño cuasi-experimental para conformar los grupos de tratamiento y comparación dentro de cada área. La evaluación de impacto es la base para dar respuesta a la pregunta: ¿Qué hubiera ocurrido si no se hubiera ejecutado el proyecto?

26

Gráfico 4.4 Evaluación de impacto: ejemplo detallado Ingresos incrementales Antes del proyecto

Después del proyecto

Método Antes / Después S/.

%

Ingresos con proyecto (S/.) (Grupo Beneficiario)

43,597,200

83,895,000

40,297,800

Total

43,597,200

83,895,000

40,297,800

Número de personas

141,000

Ingreso anual per cápita

309

141,000

595

141,000 286

Ingresos sin proyecto (S/.) (Grupo de Control)

43,597,200

73,207,200

29,610,000

Total

43,597,200

73,207,200

29,610,000

141,000

141,000

141,000

309

519

210

10,687,800

10,687,800

141,000

141,000

Número de personas Ingreso anual percapita Ingresos incrementales Método con y sin proyecto

-

92%

68%

Total Número de personas Ingresos incrementales (S/.) Ingresos incrementales (%)

Línea de base

76

76

24.5%

24.5%

Línea de salida

Beneficios incrementales

En una evaluación de impacto, los resultados de un proyecto deben ser aislados o separados de factores o sucesos correlacionados pero cuyo origen sea distinto a las acciones o productos considerados en la intervención.15 Como señala Baker, para asegurar rigor metodológico, una evaluación de impacto debe estimar el escenario contrafactual o simulado alternativo, que equivale a lo que habría ocurrido si el proyecto nunca se hubiera realizado o lo que habría ocurrido normalmente.

2.6

Diseño de sistemas de monitoreo y evaluación

El diseño de un sistema de monitoreo y evaluación comprende cinco pasos fundamentales, los cuales deben ser desarrollados en forma secuencial, en el contexto de la implementación de un plan estratégico Paso 1: Determinar los resultados a evaluar. La determinación de los objetivos se realiza sobre la base del marco lógico. En él se establecen cuatro tipos de objetivos según el nivel de resultado esperado: misión/visión, objetivos generales, objetivos estratégicos y actividades. Dependiendo del tipo de evaluación que se quiera realizar, se elegirá uno u otro tipo de objetivo. Así por ejemplo, si lo que se desea es una evaluación de procesos, el foco de atención serán las actividades contempladas en marco lógico y sus correspondientes indicadores. En cambio, si se trata de una evaluación de resultados, el nivel de análisis debe efectuarse sobre los objetivos contemplados en marco lógico del plan. En el caso particular de una evaluación de impacto, en la columna de objetivos del marco lógico se configuran las hipótesis de desarrollo: se asume que los productos, mas ciertas condiciones de entorno, debieran generar en un tiempo dado, el propósito (impacto inmediato) y objetivos estratégicos (impacto de mediano y largo plazo). Estas son las hipótesis que

15

La presente sección y otras con referencias conceptuales a la evaluación de impacto están basadas en el trabajo de Judy Baker, Evaluación del Impacto de los Proyectos de Desarrollo en la Pobreza. Banco Mundial, Washington DC, 2000.

27

la evaluación debiera conformar o recusar, según sean los resultados reales que se hayan producido con el logro de los objetivos determinados en el plan estratégico. Paso 2: Determinar el tipo de evaluación y metodología pertinentes. Las evaluaciones pueden ser de tres tipos: evaluación de procesos, evaluación de resultados y evaluación de impacto. Frecuentemente, la evaluación incluye los dos primeros tipos, y solo en pocos casos –en aquellas intervenciones consideradas de carácter estratégico en la lucha contra la pobreza- se realizan evaluaciones de impacto. Los factores que determinan la selección de una evaluación de impacto están vinculados a las siguientes interrogantes:    

¿Es la intervención considerada estratégica para la reducción de la pobreza? ¿Contribuirá la evaluación a cerrar la brecha de conocimiento respecto de lo que funciona y no funciona en estrategia de lucha contra la pobreza? ¿Está la intervención probando enfoques innovadores para la reducción de la pobreza? ¿Se espera que la intervención tenga impactos diferenciados en función del género o de tipo cultural?

Paso 3: Identificar los indicadores adecuados. En esta etapa se identifican los indicadores necesarios para evaluar el desempeño de las actividades (evaluación de proceso) y de los resultados obtenidos (evaluación de resultados y de impacto), tomando en consideración, tanto los criterios genéricos de selección de indicadores como la data existente que podría ser obtenida a costo razonable. Cabe señalar que las evaluaciones de procesos pueden tener aspectos cuantitativos y cualitativos. Los indicadores cuantitativos miden número, porcentaje, promedio, índices u otras magnitudes estadísticas, pero no siempre logran capturar la esencia de los aspectos cualitativos que queremos evaluar. Por ejemplo, para evaluar el grado de satisfacción de un taller, se puede aplicar un cuestionario estructurado para determinar el porcentaje de participantes que opinaron que las presentaciones fueron claras, que fueron interesantes, que proporcionaron información suficiente, etc. (datos cuantitativos). Alternativamente, se pueden reunir a participantes en un grupo focal para conocer sus actitudes hacia diferentes aspectos del taller (datos cualitativos). Ambos enfoques tienen ventajas y desventajas. Lo esencial es que los resultados de ambos procesos puedan servir para obtener retroalimentación sobre la dinámica de la actividad que se está evaluando. Paso 4: Recopilar la información. Para cada indicador es necesario recolectar datos de alguna fuente que permita viabilizar la evaluación. En algunos casos, los datos ya están disponibles, por lo que el trabajo se reduce al análisis de los mismos. En otros casos, no existe data disponible, por lo que se tiene que diseñar y conducir un estudio para obtener esos datos. Cabe anotar que la mayoría de evaluaciones utilizan métodos cuantitativos y cualitativos. Si la fuente de información utilizada es de carácter primario, las fuentes de datos cuantitativos más importantes son:  

Entrevistas estructuradas. Estadísticas de servicio (datos administrativos).

Sin embargo, los datos cuantitativos requieren, por lo general, ser complementados con datos cualitativos, por su mayor contenido de información en cuanto a actitudes, opiniones y valores. Las técnicas cualitativas más importantes son:   

Entrevistas en profundidad. Grupos focales. Observación directa.

Paso 5: Análisis de información y elaboración del informe. Al igual que los pasos anteriores, el análisis de los datos requiere un trabajo de equipo para aclarar preguntas y garantizar resultados oportunos y de calidad. Un primer problema que debe ser abordado se refiere a la depuración de 28

los datos proveniente de fuentes primarias y secundarias. Existen diversas técnicas de análisis cuantitativo basadas en métodos estadístico, así como también existen muchas técnicas para analizar datos cualitativos. Particularmente en las evaluaciones de impacto, dos técnicas son de uso frecuente: análisis de contenido y análisis de casos. El análisis de contenido se usa para analizar datos obtenidos a través de entrevistas, observaciones y documentos. Sobre la base de un sistema de clasificación de datos, la información debe ser organizada de acuerdo con lo siguiente:   

Las preguntas de evaluación para las cuales se recopiló la información. La forma como será usada la información. La necesidad de realizar referencias cruzadas con la información.

Una vez establecido el sistema de clasificación, se inicia la fase de análisis. Esta consiste en buscar patrones en los datos e ir más allá de la descripción hacia la comprensión de los procesos, resultados e impactos. Además del trabajo de equipo, el análisis de la información puede ser reforzada con el uso de programas computacionales. De otro lado, el análisis de casos se basa en estudios de detalle de un determinado grupo o individuo relacionado con el contexto bajo evaluación. El alto nivel de detalle obtenido puede proporcionar información valiosa para evaluar la calidad de los procesos, resultados e impactos del proyecto. Los procesos de recopilación y análisis de los datos se llevan a cabo en forma simultánea, puesto que los evaluadores realizan observaciones mientras recopilan la información. Finalmente, cabe indicar que los informes de evaluación se deben planificar como parte de una estrategia de difusión, que puede incluir, además del informe técnico propiamente dicho, la realización de presentaciones ante diversos públicos y la difusión en los medios de comunicación de los resúmenes ejecutivos sobre los hallazgos de la evaluación.

29

Capítulo 3. Construcción de Indicadores Los indicadores representan los instrumentos de medición de los cambios o tendencias que emergen como consecuencia de la ejecución de un plan, programa o proyecto de desarrollo. Proporcionan la evidencia necesaria para medir el avance en el logro de objetivos de un proyecto. Los indicadores son magnitudes estadísticas, expresadas en cifras absolutas o relativas, que sintetizan la información sobre las variables cuantitativas o cualitativas, obtenida de fuentes primarias o secundarias.

3.1

Indicadores: definición e importancia

Para evaluar es necesario medir y, de conformidad con su definición clásica y ampliamente aceptada, la medición consiste en asignar números a los objetos y eventos, de modo que las proposiciones cualitativas puedan ser transformadas en expresiones cuantitativas. Bajo esta consideración, en el contexto del enfoque del marco lógico, es necesario seleccionar indicadores que permitan evaluar el grado de cumplimiento de los resultados de un proyecto. En este contexto, los números asignados a cada uno de los resultados u objetivos constituyen los indicadores de desempeño. Desde luego, no existe medición perfecta, toda vez que resulta imposible representar fielmente en forma numérica conceptos (resultados, objetivos o variables en general) tales como desarrollo económico, credibilidad política, desarrollo integral infantil, etc. Pese a ello, las instituciones ejecutoras deben realizar el esfuerzo necesario para establecer indicadores que se acerquen lo más fidedignamente posible a los objetivos que se desean medir o evaluar16. Por otra parte, técnicamente los indicadores son magnitudes estadísticas, expresadas en cifras absolutas o relativas, obtenidas mediante la agregación de datos primarios o mediante operaciones matemáticas realizadas sobre las observaciones primarias, que permiten describir las características de una situación dada. Los indicadores permiten medir o sintetizar un atributo o una característica correspondiente a un objeto o evento, expresados éstos como objetivos de una determinada intervención. Aquí radica su importancia y, en cierto modo, su nivel cognoscitivo superior a las proposiciones expresadas en forma literal o narrativa. Sin embargo, lo cuantitativo es indesligable de lo cualitativo, razón por la cual resultados e indicadores son conceptos mutuamente complementarios. En el contexto de la gestión de programas y proyectos, resulta de gran importancia el hecho que un indicador pueda verificarse en forma objetiva. Por ello, junto a la especificación de indicadores se deben seleccionar los medios o fuentes apropiadas de verificación. En realidad, la relación más amplia es la que existe entre resultados (u objetivos), indicadores y medios de verificación: la prueba de la correcta formulación de un objetivo es su capacidad para ser expresado cuantitativamente a través de un indicador; y la prueba de que un indicador es adecuado es que sea objetivamente verificable, a través de determinados medios o fuentes de verificación. Gráfico 6.1 Indicadores objetivamente verificables

16

Una amplia revisión de los procedimientos de investigación científica, en gran medida aplicables al diseño y ejecución de evaluaciones, puede encontrarse en Metodología de la Investigación Científica de Roberto Hernández, Carlos Fernández y Pilar Baptista. Mc Graw-Hill, México, 1999.

30

Cadena de resultados

3.2

Indicadores de desempeño

Fin

Indicadores de Impacto

Propósito

Indicadores de efecto

Componentes

Indicadores de producto

Actividades

Indicadores de proceso

Medios de verificación

Factores externos

Variables, indicadores y metas

Cabe indicar que, en el contexto de las acciones de monitoreo y evaluación de un proyecto, los indicadores juegan un rol clave. Los indicadores resumen la información necesaria para efectuar la comparación entre lo planeado y lo ejecutado, y hacen que esta comparación sea objetiva. Luego de haber fijado los objetivos, el siguiente paso consiste en identificar los indicadores relevantes y establecer las metas correspondientes. En otras palabras, para fijar metas previamente debe haberse identificado los indicadores, los cuales, a su vez, corresponden a determinados objetivos. Dado que rara vez un objetivo puede ser medido cabalmente a través de un sólo indicador, por lo general se requieren varios indicadores, tanto intermedios como finales, para medir el alcance en el logro de un objetivo. A este respecto, cabe clarificar la relación conceptual entre los objetivos, los indicadores y las metas17: 





Los objetivos, como ya ha sido señalado, son formulados en términos cualitativos con expresiones tales como: “eliminar la pobreza extrema”, “mejorar el nivel de habilidades empresariales”, “generar nuevos puestos de trabajo”, “elevar el nivel de ingresos”, etc. Los indicadores son el resumen de las variables que se utilizan para medir las características o atributos que denotan el progreso hacia el logro de los objetivos. Por ejemplo, el avance en la erradicación de la pobreza extrema podría medirse a través del número de personas con necesidades básicas insatisfechas o del número de personas con un ingreso menor a 1 dólar diario. Las metas son los niveles cuantificables de los indicadores que una organización o un país desea alcanzar en un momento dado. Son los valores a alcanzar con la intervención: representan en términos cuantitativos la situación con proyecto. Por ejemplo: “reducir la tasa de analfabetismo al 3% en el 2005.

17

El rol de los indicadores en el diseño de sistemas de monitoreo y evaluación es descrito ampliamente por G. Rubio, G. Prenushi y K. Subbarao, Monitoring and Evaluation. Banco Mundial, 2000.

31

Finalmente, debe recordarse que la fijación de objetivos claros es el primer requisito para alcanzarlos. Y fijarlos en forma participativa es la única manera de generar compromisos fuertes en torno a ellos. Objetivos claros y compromisos fuertes son los dos grandes principios en la ciencia y el arte de la planificación.

Gráfico 6.2 Anatomía de un indicador Variables

Nombre

Definición conceptual

Definición operativa

Forma

Forma de cálculo

Valor

Línea de base

Variables específicas

Metas

Global

Hitos

Proceso de verificación

Elementos de una variable Los indicadores, sin embargo, constituyen un concepto derivado del otro concepto más amplio: variable. Una variable es una magnitud cuyos valores son objeto de estudio en una acción de monitoreo y evaluación. Puede referirse a individuos, grupos de personas u organizaciones. La definición de las variables torna susceptibles de medición los temas de evaluacion. La identificación y definición de variables es la tarea más importante en el proceso de diseño de un sistema de monitoreo y evaluación. Téngase presente que las variables se deducen a partir de los objetivos del proyecto que se pretende evaluar. Por lo general, una variable presenta cinco elementos basicos: a) b) c) d) e)

Nombre o denominación. Definición operativa. Categorías o niveles de los valores de la variable. Procedimiento para recopilar los datos desde las unidades de análisis. Indicadores o medidas de resumen de los datos recopilados.

Veamos, a modo de ejemplo, los elementos de la variable estado civil, que es una variable cualitativa. Nombre

Estado civil.

Definición

Es la situación de la persona empadronada en relación con las leyes y costumbres del país.

Categorías (01) Soltero (a)

(04) Viudo (a) 32

Obtención de datos

(02) Casado (a)

(05) Divorciado (a).

(03) Conviviente

(06) Separado (a).

¿Cuál es su estado civil o conyugal?  

Indicadores

Distribución porcentual. Tasa de nupcialidad.

Veamos el caso de una variable cuantitativa, como por ejemplo la variable ingreso. Nombre

Ingreso

Definición

Son los recursos monetarios netos, incluyendo todas las bonificaciones que percibe una persona por su ocupación principal y secundaria durante el período de referencia de la encuesta.

Categorías

Puede proponerse en forma de niveles o simplemente intervalos. Por niveles de

Alto, Medio, Bajo.

ingreso Por intervalos

Por ejemplo 11 intervalos (dólares) (01) Menos de 200;

(02) 201- 400;

(03) 401-600;

(04) 601-800;

(05) 801-1000;

(06) 1001-1400;

(07) 14pl-1800;

(08) 1801-2200;

(09) 2201-2600;

(10) 2601-3000;

(11) Más de 3000 dólares. Obtención de datos

¿Cuál fué su ingreso total en el último mes?   

Indicadores

Ingreso promedio. Ingreso mediano. Coeficiente de Gini.

Veamos, finalmente, los elementos de la variable analfabetismo, utilizando el indicador tasa de analfabetismo. Nombre

Analfabetismo

Definición

Proporción de personas de 15 y más años, que no saben leer ni escribir.

Categorías

Obtención de datos Indicadores

Bajo

Menos del 10%

Medio

De 10 a 20%

Alto

De 21 a 30%

Muy Alto

Más de 30%

¿Sabe leer y escribir?   

Tasa de analfabetismo. Proporción de analfabetos hombres. Proporción de analfabetos mujeres.

Variables independientes y dependientes

33

Las variables claves de un sistema de monitoreo y evaluación están relacionadas con los objetivos de la intervención. Para ello, los objetivos deben ser claros, específicos y mensurables. Cuantificar un objetivo consiste en asociarle patrones que permitan hacerlos verificables. Según la relación causa-efecto analizada, las variables pueden dividirse, de acuerdo con el papel que desempeñen en la relación causal, en dependientes e independientes: a) Variable dependiente. Es aquella cuyo comportamiento es explicado por otra u otras independientes. Se la denomina también variable a explicar o criterio y suele representarse por la letra Y del eje de ordenadas. Por ejemplo, el consumo de helados (variable dependiente) puede ser explicado por la edad del individuo. b) Variable independiente. Es una variable que se utiliza para explicar el comportamiento de otra dependiente. Se la denomina también variable explicativa o predictora y se representa por la letra X del eje de abscisas. En el ejemplo anterior, la edad es la variable independiente.

Variables cuantitativas y cualitativas Existen dos tipos básicos de variables: cualitativas y cuantitativas 18. Cuando la característica que se pretende medir es de naturaleza no numérica, recibe el nombre de variable cualitativa o categórica. Algunos ejemplos de variables cualitativas son género, filiación religiosa, país de nacimiento y nivel de instrucción. Cuando los datos son de naturaleza cualitativa, es de suma importancia la cantidad o proporción ubicada dentro de cada categoría. Por ejemplo, ¿qué porcentaje de la población tiene DNI? ¿Cuántas personas en edad de trabajar tienen empleo? Gráfico 1.4 Resumen de los tipos de variables Tipos de variables

Cualitativa

• Marca de computadora. • Estado civil • Color de cabello.

Cuantitativa

Discreta

Continua

• Hijos en una familia • Goles en un partido de futbol. • Aparatos electricos que se poseen.

• Monto del impuesto a la renta • Peso de un estudiante • Precipitación anual en el distrito X.

Cuando la variable que se estudia aparece en forma numérica, la variable se denomina variable cuantitativa. Variables cuantitativas bastante conocidas son, por ejemplo, la tasa de crecimiento del PBI, el ingreso per cápita y el valor de las exportaciones. Estas variables pueden ser discretas o continuas. Las variables discretas adoptan sólo ciertos valores y existen vacíos entre ellos. Ejemplos de variables discretas son el número de camas en un hospital (1, 2, 3, 4, etc.); el número de automóviles que cruzan una determinada intersección de la ciudad y el número de estudiantes en una escuela. Por consiguiente, existe un vacío entre los valores posibles. Las variables discretas son el resultado de una relación numérica. Las observaciones de una variable continua toman cualquier valor dentro de un intervalo específico. Ejemplos de variables continuas son: presión del aire en una llanta, peso de un cargamento de tomates, valor de la producción agrícola, etc. Se acostumbra redondear a 3 lugares decimales (3.258, por ejemplo) todas las variables continuas, aunque esto es opcional. 18

Basado en: Douglas A. Lind: Estadística aplicada a los negocios y la Economía. Mc Graw Hill. México DF, 2008.

34

Escalas de medida La precisión con la que un indicador (variable operacionalizada) representa las características o atributos del individuo u objeto que es materia de medición, depende de la escala de medición. Se entiende por escala a los valores numéricos asignados a cada variable según ciertas reglas. Este es el significado básico del concepto de escala; concepto que, por otra parte, puede adoptar diversos significados, entre ellos el de instrumento de medida compuesto por una serie de ítems que se utiliza para cuantificar características de los individuos a partir de sus respuestas a los ítems. La tipología de escalas de medida más difundida es la propuesta por Stevens (1946), que distingue cuatro tipos19: nominal, ordinal, de intervalo y de razón; cada una de ellas más precisa que la anterior. Las dos primeras escalas son no métricas o cualitativas, ya que reconocen en cada objeto una determinada cualidad o atributo; mientras que las dos últimas son escalas métricas o cuantitativas, capaces de reflejar diferencias de grado o cantidad. La medida de las variables viene determinada por la escala utilizada. El tipo de escala, a su vez, condiciona la elección de la técnica estadística de análisis de los datos. La escala es un instrumento utilizado para medir las variables. Pueden distinguirse cuatro tipos de escalas (Stevens, 1946): a) Escala nominal. Indica sólo la pertenencia a una clase o categoría, dentro de una variable; por ejemplo, «hombre» o «mujer», en la variable sexo; «soltero», «casado», «divorciado» o «viudo», en la variable estado civil, etc. Si se asocian códigos numéricos a las categorías, su finalidad es únicamente la de identificarlas y facilitar el tratamiento de los datos. No hay jerarquía entre las categorías, ni igual diferencia entre ellas, ni, por supuesto, proporcionalidad. b) Escala ordinal. Es una variante de la escala nominal que presenta una ordenación de algún tipo (de más a menos o de menos a más) en las categorías o clases. Por ejemplo, en la variable «nivel de estudios» existe una jerarquía (de conocimientos) entre sus clases o categorías (<
19

Basado en: Jean-Pierre LévyMangin: Análisis multivariable para las ciencias sociales (2008). Prentice Hall. Madrid.

35

Existe una jerarquía entre las escalas, de modo que las proporcionales ocupan la posición más alta. Cualquiera de las escalas de orden superior cumple los requisitos de las de orden inferior y puede transformarse en ellas, pero no a la inversa. Las escalas nominales y ordinales constituyen escalas no métricas, que carecen de significado cuantitativo, mientras que las escalas interválica y proporcionales son escalas métricas, que sí tienen un significado cuantitativo. Por tal motivo, las variables medidas con escalas no métricas son variables cualitativas, mientras que las medidas con escalas métricas se denominan variables cuantitativas. En DYANE las variables identificadas como categóricas son las que se miden con escalas no métricas, es decir, variables cualitativas, y las variables denominadas numéricas, las que se miden con escalas métricas, identificadas también como variables cuantitativas.

Concepto de categoría Una categoría o clase es un conjunto de personas, entidades u objetos que presentan los mismos atributos o características. Por ejemplo, mujeres, empresas multinacionales, automóviles deportivos, etc. La categoría es una medida de una variable en la que la escala utilizada es de tipo nominal u ordinal. Por ejemplo, la variable edad suele medirse en años, en cuyo caso se trata de una escala de medida de tipo proporcional, con intervalos iguales y O absoluto, y a la que puede aplicarse una gran variedad de técnicas estadísticas. Pero la edad puede medirse también utilizando una escala no métrica, asignando los individuos a categorías o clases tales como «niño», «adolescente», «joven», «adulto», etc., en las que, si bien existe una jerarquía u ordenación, los intervalos son desiguales y, por tanto, no hay proporcionalidad entre los mismos. Una categoría puede ser identificada por un número (1, 2, 3...), pero este número utilizado sólo es un código distintivo de la categoría, y no puede entenderse como un valor cuantitativo de la variable al que, juntamente con otros, se le pueda calcular la media o la desviación típica, por ejemplo. Las categorías pueden ser contadas o agrupadas, y se puede presentar su distribución de frecuencias de forma individualizada, mediante una tabulación simple, o de forma conjunta y simultánea con otra u otras variables, mediante tabulaciones cruzadas, pero no se les puede aplicar estadísticas propias de las variables cuantitativas. La variable sexo, por ejemplo, puede ser representada por dos categorías identificadas con dos códigos: 1 = Hombre y 2 = Mujer. Si la muestra estudiada es de 200 personas y la mitad son hombres y la otra mitad, mujeres, se puede decir que en el total de la muestra hay 100 hombres y 100 mujeres, o que el 50 por 100 son hombres y el otro 50 por 100 son mujeres. También se puede calcular la distribución absoluta y relativa del sexo en cada una de las categorías de otra variable, por ejemplo, estado civil, y presentar los resultados en forma de tabla cruzada. Pero sería absurdo decir que la media de la variable es 1,5 o que la desviación típica es 0,5 (valores que se obtendrían al calcular estos estadísticos sobre los códigos de la variable sexo), porque estas medidas de resumen no tendrían ningún sentido en este caso. Los valores de una variable numérica, medida originalmente con una escala métrica, pueden agruparse en intervalos, no necesariamente iguales, y convertirse en una variable categórica. Un intervalo es un conjunto de valores de una variable, comprendidos entre otros dos, uno superior y otro inferior, que determinan sus límites. Un intervalo sirve para reducir la presentación de datos. Por ejemplo, si las edades de una muestra de 100 personas están comprendidas entre 18 Y 70 años, la distribución de frecuencias de esta variable puede presentarse agrupada por intervalos, del siguiente modo:

1.

Menos de 25 años

10

2.

De 25 a 34 años

16 36

3.

De 35 a 34 años

24

4.

De 45 a 54 años

18

5.

De 55 a 64 años

23

6.

65 años o más

9

Total.

100

Los intervalos deben ser mutuamente excluyentes y colectivamente exhaustivos. Es decir, ningún valor de la variable puede estar en más de un intervalo, y el conjunto de intervalos ha de abarcar la totalidad de casos posibles. Por ejemplo, los intervalos «5-7» y «7-9» no son mutuamente excluyente s, porque ambos pueden contener el valor 7; y los intervalos siguientes: «3-6», «7-10», y «11-13», no son colectivamente exhaustivos, porque no abarcan los valores inferiores a 3 o superiores a 13. Una variable categórica puede convertirse en numérica utilizando variables ficticias. Como se ha indicado anteriormente, una variable ficticia es una variable dicotómica que se obtiene convirtiendo un nivel dado de una variable cualitativa en una variable binaria, en la que el valor 1 indica la presencia de la característica y el valor O la ausencia de la misma. Si la variable categórica tiene sólo dos categorías o clases (como el sexo, en el ejemplo expuesto anteriormente), se necesita una sola variable ficticia para expresar los dos estados posibles (l = Hombre, O = No hombre o mujer). Pero una variable que originalmente se hubiera medido con tres categorías, como por ejemplo la ocupación (1 = Trabaja, 2 = Jubilado, 3 = En paro), necesitaría dos variables ficticias para representar las tres situaciones posibles. Si a la primera variable ficticia (X1) se la denomina «Trabaja» (1 = Sí; O = No), y a la segunda (X2), «Jubilado» (1 = Sí; 0 = No), las tres categorías originales de la variable ocupación quedarían representadas por las dos nuevas variables ficticias del siguiente modo: Valores de las variables ficticias Categorías de la variable original

X1 Trabaja

X2 Jubilado

1.

Trabaja

1

0

2.

Jubilado

0

1

3.

En paro

0

0

En general, con una variable cualitativa de n categorías, se precisan n - 1 variables ficticias para representar la totalidad de las categorías de la variable original.

Anatomía de un indicador Tal como se puede apreciar en el gráfico 3.5, un indicador tiene una estructura compuesta por tres partes claramente diferenciadas: definición conceptual, definición operativa y valores o datos.

Gráfico 3.5 Anatomía de un indicador

37

Variables

Nombre

Definición conceptual

Definición operativa

Forma

Forma de cálculo

Variables específicas

Valor

Línea de base

Metas

Global

Hitos

Proceso de verificación

Cuadro 3.2 Partes de un indicador Partes del indicador

Características

Referencia conceptual

Refiere la variable o el concepto que se espera captar mediante la medición. Por lo general, está asociado a un campo del desarrollo.

Definición operativa

Es la fórmula de conteo o fórmula de cálculo, la cual indica los eventos u objetos que se deben considerar en la medición.

Valores

Son los datos, ya sea correspondiente a la línea de base o la línea de salida.

Veamos, a modo de ejemplo, el indicador denominado tasa de analfabetismo. Sus elementos son los siguientes:     

Referencia conceptual: refiere el nivel educativo de la población. Definición operativa: población de 15 a 65 años de edad que no sabe leer ni escribir, y no sabe las cuatro operaciones matemáticas. La tasa se calcula dividiendo la población analfabeta entre la población total y multiplicando el resultado por 100. Variables específicas: además de la población analfabeta, interviene la variable población total. Valores: son los datos para los años de la medición. Fuente: Compendio Estadístico del INEI.

Esta es la estructura básica de un indicador de desempeño, en el marco del diseño e implementación de sistemas de monitoreo y evaluación.

Gráfico 3.6 Índice de Desarrollo Humano 38

Variable

Indicador

Índice de la variable

Vida larga y saludable

Esperanza de vida al nacer

Índice de esperanza de vida

Educación

Tasa de alfabetización de adultos

Tasa bruta de matriculación

Índice de alfabetización de adultos

Índice de la TBM

Índice de educación

Nivel de vida digno

PIB per cápita

Índice de PBI

Índice de Desarrollo Humano IDH

Indicadores y bases de datos El trabajo estadístico involucrado en la construcción de indicadores se asienta sobre tres elementos básicos: las unidades de análisis (población y muestra), las variables o características de la población o muestra y sus correspondientes indicadores y, finalmente, los datos o valores que tomarán cada uno de los indicadores. Estos tres elementos, constituyen la matriz tripartita de información de una intervención. Por lo general, ocurre que los gestor de un proyecto observan sistemáticamente fenómenos o hechos de un campo de la realidad (unidades de análisis), sobre la cual interesa analizar determinadas características (variables), con el propósito de dimensionar o cuantificar determinados cambios (valores o datos) generados por la intervención. A tal efecto, se elabora una muestra de las unidades de estudio, se transforman las variables e indicadores en preguntas de un cuestionario y, finalmente, se recopilan los datos mediante una encuesta. Esta es, en síntesis, la metodología operativa del uso de indicadores en la gestión de un proyecto. 





Las unidades de análisis, referidas, por lo general, a la población beneficiaria que constituye el objeto de análisis. Toda población tiene "N" elementos o unidades de análisis, y una muestra de "n" elementos, donde n
Definida la población (o unidades de estudio) e identificadas las variables, se procederá a la recolección de los datos. Estos tres elementos constituyen la Matriz Tripartita de Datos o Base de Datos que permitirá obtener los datos para las variables en cada unidad de análisis y posteriormente facilitará la cuantificación del impacto del proyecto. Durante la etapa de análisis de los resultados de 39

la encuesta, dicha base de datos ayudará a definir las categorías de las variables y luego facilitará la construcción de las tablas de frecuencia con una o más variables, en el marco de análisis univariado o multivariado de la información recopilada.

Gráfico 6.3. Estructura de la base de datos

Variables de estudio Pregunta

Pregunta

Pregunta

Unidades de análisis

Registro 1

Registro 2

Registro 3

Datos

Variables e indicadores Variables e indicadores son conceptos relacionados. El concepto de indicador es un concepto derivado de otro concepto más amplio: variable. Una variable es una magnitud cuyos valores son objeto de estudio en una acción de monitoreo y evaluación. Puede referirse a individuos, grupos de personas, organizaciones u otra unidad de análisis. La definición de las variables torna susceptibles de medición los temas de evaluación que, por lo general, están relacionados a los objetivos de una intervención. La identificación y definición de variables es la tarea más importante en el proceso de diseño de un sistema de monitoreo y evaluación. Por lo general, una variable presenta cinco elementos básicos:

f) g) h) i) j)

Nombre o denominación. Definición operativa. Categorías o niveles de los valores de la variable. Procedimiento para recopilar los datos desde las unidades de análisis. Indicadores o medidas de resumen de los datos recopilados.

Veamos, a modo de ejemplo, los elementos de la variable Satisfacción del usuario interno, que es una variable cualitativa.

40

Nombre

Satisfacción del usuario interno.

Definición Indica la percepción del grado de satisfacción de los trabajadores de la operativa y unidad SUNAT en relación a las acciones de verificación de documentos sujetos a de medida control. Categorías y Se establecen cinco categorías. escala de medida (01) Muy (04) Insatisfactorio. satisfactorio. (02) Satisfactorio. (05) Muy insatisfactorio. (03) Indiferente. Obtención ¿Considera que la verificación se realiza en forma adecuada? de datos Indicadores  Porcentaje de aprobación.

Veamos el caso de una variable cuantitativa, como por ejemplo la variable Ingreso. Nombre

Ingreso.

Definición

Son los recursos monetarios netos, incluyendo todas las bonificaciones que percibe una persona por su ocupación principal y secundaria durante el período de referencia de la encuesta. Puede proponerse en forma de niveles o simplemente intervalos. Por niveles de Alto, Medio, Bajo. ingreso Por intervalos Por ejemplo 11 intervalos (dólares) (01) Menos de 200; (02) 201- 400; (03) 401-600; (04) 601-800; (05) 801-1000; (06) 1001-1400; (07) 14pl-1800; (08) 1801-2200; (09) 2201-2600; (10) 2601-3000; (11) Más de 3000 dólares. ¿Cuál fue su ingreso total en el último mes?  Ingreso promedio.  Coeficiente de Gini.

Categorías

Obtención de datos Indicadores

El nombre de una variable debe ser breve y de fácil recordación. Debe ser inequívoco, evitando que se le confunda con otras variables. Una variable es un atributo o característica susceptible de medición, pero que sin una adecuada definición operativa no podría ser medida. La definición operativa es su forma de cálculo, que en unos casos puede ser una fórmula, pero en otras simplemente una especificación de los elementos que deberán considerarse. Para obtener los datos (cuando se trata de variables de fuente primaria) se elabora una encuesta, cuyo núcleo está constituido por las preguntas del cuestionario y sus respuestas, las cuales para su procesamiento sistemático son agrupadas en categorías y a las cuales se aplican distintas escalas de medida. Finalmente, obtenidos los datos, hay que resumirlos, a cuyo efecto se crean indicadores. Por ejemplo, luego de recopilar datos sobre el nivel de ingresos de la población del país, éstos son resumidos en dos indicadores: Ingreso promedio e Índice de Gini. Estos indicadores son los que se anotan en la línea de base, pues, resumen la situación de las unidades de análisis, que en este caso están constituidos por toda la población del país. 41

3.3

Tipos de indicadores

En su clasificación más amplia, los indicadores pueden ser simples y compuestos. Los indicadores simples son cifras absolutas o relativas, con carácter de observaciones primarias, en cuyo proceso de construcción se han realizado operaciones de adición o sustracción. A su vez, éstos se clasifican en indicadores simples elementales (por ejemplo, población total) e indicadores agregativos simples (por ejemplo, PBI agrícola). Los indicadores compuestos son cifras absolutas o relativas en cuya construcción se han realizado operaciones matemáticas que han permitido establecer relaciones entre determinados indicadores simples. A su vez, se clasifican en: relaciones en cifras absolutas (productividad del trabajo, por ejemplo), relaciones en cifras relativas (tasa de subempleo, por ejemplo) y agregaciones ponderadas (índice de pobreza, por ejemplo).

Ejemplos de indicadores     

PBI per cápita. Tasa de desempleo. Tasa de analfabetismo. Numero de microempresas capacitadas. Longitud de vías asfaltadas.

Los indicadores, por otra parte, se pueden clasificar en dos grupos genéricos: indicadores intermedios e indicadores finales. Cuando un indicador mide un objetivo final o el efecto de una intervención sobre el bienestar de la gente, lo llamamos “indicador de impacto” o “indicador de resultado”. Por ejemplo, la alfabetización se puede considerar como un objetivo final, por lo tanto, un indicador que los mida- como la proporción de personas de cierta edad que saben leer, escribir y realizar las cuatro operaciones aritméticas- sería un indicador final. Cuando un indicador mide un factor que determina un resultado o contribuye al proceso de lograr un resultado, lo llamamos un indicador de “insumo” o de “producto”, dependiendo de la etapa del proceso. Por ejemplo, se pueden necesitar muchas cosas para subir el nivel de alfabetización: más escuelas y maestros, más alumnos atendiendo clases, etc. El gasto público para aulas y personal docente sería un indicador de insumo, mientras que las aulas construidas y del personal docente capacitado serían indicadores de “producto”. Lo obvio es que los insumos y los productos no son en sí mismos objetivos de desarrollo, sino más bien ayudan a alcanzar los objetivos. En este caso se habla genéricamente de indicadores intermedios.

Indicadores estructurados En concordancia con lo anterior, en el contexto del enfoque del marco lógico, los indicadores se clasifican en los cuatro grupos que se especifican a continuación. Indicadores de impacto. Son las medidas de desempeño para los objetivos del nivel más alto a los cuales apunta un proyecto. Miden los efectos de largo plazo, vinculados por lo general a los cambios duraderos y perdurables en la situación de los beneficiarios. Por este motivo, los indicadores de este nivel pueden ir más allá de la responsabilidad de la institución ejecutora. 42

Indicador de impacto: ejemplos En programas de capacitación laboral En programas de formalización de la propiedad En programas de asistencia técnica para agricultores

     

Tasa de inserción laboral. Ingreso per-cápita. Valor del patrimonio predial. Tasa de crecimiento del crédito. Tasa de crecimiento del PBI agrario. Ingreso per- cápita.

Indicadores de efecto. Estos indicadores a menudo definen el cambio en el comportamiento de los beneficiarios del proyecto o el cambio en la manera en que funcionan las instituciones como resultado del proyecto. Miden los resultados intermedios o de mediano plazo, vinculados, por lo general, a cambios relativamente directos e inmediatos generados por el proyecto en el comportamiento o situación de los beneficiarios.

Indicadores de efecto: ejemplos.

 Número de familias campesinas y organizaciones comunales que han incrementado sus ingresos.  Porcentaje de inversión utilizada por las familias campesinas en el crecimiento de su patrimonio familiar.  Porcentaje de inversión de las organizaciones comunales destinada a la mejora de la infraestructura y recursos naturales productivos comunales.  Número de familias que han logrado incrementar la capacidad productiva mejorando y ampliando sus recursos naturales productivos.  Número de comunidades campesinas que han logrado incrementar la capacidad productiva mejorando y ampliando sus recursos naturales productivos.  Número de organizaciones comunales que obtienen recursos a partir de acciones de articulación interinstitucional.  Número de organizaciones comunales que ejecutan acciones de desarrollo rural a partir de actividades de articulación y asociación interinstitucional. Indicadores de producto. Se refieren a los bienes y servicios entregados por el proyecto a los beneficiarios. Establecen los marcos de referencia para la evaluación de resultados del proyecto, ya que corresponde a la institución ejecutora entregar determinados bienes y/o servicios contemplados en la estructura de la intervención. Los indicadores de producto reflejan cuantitativamente los resultados inmediatos que emergen como consecuencia de la ejecución de las actividades del proyecto. Indicadores de producto: ejemplos.

 Número de comunidades campesinas que aplican y cumplen los términos de los estatus y reglamentos.  Número de comunidades campesinas que logran ejecutar eficientemente sus planes anuales.  Número de comunidades campesinas que cumplieron satisfactoriamente con el convenio y 43

contratos suscritos.  Número de mujeres campesinas que ejercen o han ejercido cargos directivos.  Número de comunidades campesinas que desarrollan eficientemente los concursos de manejo de recursos naturales.

Indicadores de proceso. Son los indicadores a nivel de actividades que, generalmente, se asocian a los recursos asignados al proyecto. Lo recomendable es que solo exista uno y solo un indicador de proceso por cada actividad. La prueba ácida para comprobar que una actividad haya sido correctamente formulada es que sólo admita un indicador como lo suficiente para la medición del avance en su realización.

Indicadores de proceso: ejemplos.

       

Número de convenios y contratos suscritos. Número de mapas de planificación. Número de planes comunales. Número de autoridades hombres y mujeres capacitados. Número de promotores comunales hombres y mujeres capacitados. Número de Yachachiq hombres y mujeres capacitados. Número de talleres de capacitación. Número de contratos de yachaqs.

En proyectos complejos, ningún indicador es por sí solo suficiente. En ocasiones, también se hace alusión a dos tipos adicionales de indicadores vinculados al marco lógico: indicadores de insumos e indicadores de entorno. Los primeros se refieren a los recursos físicos y/o monetarios requeridos para llevar a cabo las actividades; en tanto que los segundos variables del entorno, necesarias para efectuar el seguimiento de los supuestos claves del proyecto. Gráfico 6.4 Indicadores estructurados

44

Impacto

Efecto

3.4

¿ Como están cambiando las condiciones que estamos interviniendo?

¿Qué cambios se observan en la población beneficiaria?

Producto

¿Cuántas unidades de productos o servicios se están entregando a la población?

Proceso

¿ Se están realizando las actividades previstas en la cantidad, tiempo y calidad previstas?

Criterios para seleccionar indicadores

En general, existen tres principios que guían el proceso de selección de indicadores: primero, validez y confiabilidad; segundo, factibilidad técnica; y tercero factibilidad financiera.

Primero : Segundo :

Los indicadores deben ser válidos y confiables. Los datos requeridos para hacer cálculos deben ser factibles de una recopilación oportuna y económica. Tercero : Los indicadores y su cálculo deben estar acordes con la capacidad de la entidad ejecutora.

Por otra parte, existen un conjunto de criterios que debieran tomarse en consideración en el proceso de selección de indicadores de desempeño20.

Validez Un indicador debe medir tan estrechamente como sea posible el objetivo para el cual ha sido establecido. No debe estar situado a un nivel ni más bajo ni más alto que el objetivo o resultado a ser medido. En ocasiones no existe posibilidad de contar con indicadores directos en la frecuencia requerida por los evaluadores de la intervención. En tales casos se podrían usar indicadores proxy, medidas indirectas relacionadas al objetivo que 20

Los criterios planteados están basados en diversas publicaciones de los organismos internacionales de desarrollo, pero especialmente del USAID Center for Development Information and Evaluation.

45

se desea medir. Por ejemplo, en las áreas rurales remotas es frecuentemente muy difícil medir los niveles de ingreso en forma directa. Medidas tales como porcentaje de hogares sin techo (u otras parecidas) pueden ser útiles, aunque sean unas medidas rudimentarias y aproximadas. El supuesto es que cuando los pobladores tienen ingresos más altos ellos tienden a comprar ciertos bienes. Si existe evidencia convincente de que el supuesto es válido (por ejemplo, está basado en estudios o experiencias anteriores), entonces el proxy puede ser un indicador adecuado, actuando como un segundo óptimo respecto a las medidas directas.

Objetividad Un indicador objetivo no tiene ambigüedad respecto a lo que está midiendo. Es decir, existe un consenso general respecto a la interpretación de sus resultados. Es al mismo tiempo unidimensional y operacionalmente preciso. Ser unidimensional significa que mide solo un fenómeno a la vez. La precisión operacional significa que no tiene ambigüedad sobre el tipo de datos que deberían ser recopilados para un indicador. Así por ejemplo, mientras el indicador número de firmas exportadoras exitosas es ambiguo, algunos otros como número de firmas exportadoras que experimentan un crecimiento anual de sus ingresos en por lo menos 5% son operacionalmente precisos.

Adecuación Tomados como grupo, un indicador de desempeño y sus indicadores complementarios deberían medir adecuadamente el objetivo en cuestión. Una pregunta frecuentemente formulada es ¿cuántos indicadores deberían ser usados para medir un determinado objetivo? La respuesta depende de los siguientes factores:

a) Complejidad del objetivo a ser medido, b) Nivel de recursos disponibles para el trabajo de monitoreo y evaluación, y c) Cantidad de la información necesaria para tomar decisiones razonablemente confiables.

Para algunos objetivos un indicador de desempeño podría ser suficiente. Por ejemplo, si el objetivo abordado es exportaciones tradicionales incrementadas, el indicador valor en dólares de las exportaciones tradicionales por año es probablemente suficiente. En los casos en los que un indicador simple no sea suficiente, o cuando existe beneficios a ser obtenidos mediante la triangulación, entonces dos o más indicadores podrían ser necesarios. Sin embargo, por regla general se debería evitar el uso de demasiados indicadores. Debe existir un equilibrio entre los recursos disponibles para la medición de desempeño y la cantidad de información que los ejecutivos deben tener para tomar decisiones razonablemente bien informadas.

Cuantitativo, donde sea posible Los indicadores cuantitativos son numéricos (por ejemplo, número o porcentaje, dólares, tonelaje, kilómetros, etc.); a diferencia de los indicadores cualitativos, que son observaciones descriptivas (por ejemplo, opiniones de expertos, descripción de actitudes, etc.). Los indicadores cuantitativos no son necesariamente más objetivos: su precisión numérica los lleva a un mayor consenso sobre la interpretación de los datos resultantes y son por lo tanto preferibles. Sin embargo, aun cuando puedan estar siendo usados determinados indicadores 46

cuantitativos, ciertos indicadores cualitativos pueden complementarlos, logrando con ello una mayor riqueza de información.

Desagregados, donde sea apropiado Desagregar los resultados de un proyecto a nivel de la población según género, edad, ubicación o algunas otras dimensiones es frecuentemente importante desde el punto de vista del evaluador o ejecutivo de un proyecto. Las experiencias demuestran que las actividades de desarrollo frecuentemente requieren diferentes enfoques para diferentes grupos y afectan a aquellos grupos en formas distintas. Los datos desagregados ayudan al seguimiento pormenorizado de grupos específicos de participantes en el proyecto. Por lo tanto, los indicadores deberían ser sensitivos a tales diferencias.

Prácticos Un indicador es práctico si los datos pueden ser obtenidos oportunamente y a un costo razonable. Los ejecutivos y evaluadores requieren datos que puedan ser recopilados con la frecuencia suficiente para evaluar el avance y adoptar las decisiones que sean necesarias. Las unidades ejecutoras de proyectos deben reconocer que será necesario incurrir en determinados costos, razonables pero no exorbitantes, para obtener información útil sobre el desempeño de los proyectos. Una regla de oro es destinar una asignación presupuestal que fluctúe entre el 3 y 5% del costo total del proyecto para el trabajo de monitoreo y evaluación.

Confiables Una consideración final se refiere a la confiabilidad de los datos para la adopción de decisiones acertadas. Baste señalar al respecto que los datos que una entidad ejecutora necesita para tomar decisiones razonablemente acertadas no tiene necesariamente la misma rigurosidad que busca un científico social. En general, si bien el trabajo de un evaluador de proyectos se nutre de los procedimientos de la investigación científica, las circunstancias que lo rodean, tales como el carácter perentorio de las decisiones que deben ser adoptadas y la necesidad de responder a las necesidades de grupos de beneficiarios no siempre iguales, hacen que su trabajo tenga casi siempre connotaciones propias de lo político y lo pragmático.

3.5

Reglas básicas para la construcción de indicadores21

A continuación se ofrece un conjunto de reglas para la construcción de indicadores de monitoreo y evaluación de las intervenciones públicas y sociales elaboradas bajo el enfoque del marco lógico.

Regla Nº 1: Todos los resultados y procesos deben tener por lo menos un indicador Cada resultado y proceso establecido en la primera columna del marco lógico debe tener por lo menos un indicador. Esto es válido para el fin, propósito, componentes y actividades.

RESULTADOS

INDICADORES

21

Gran parte de los ejemplos a los que se hace referencia en esta sección y en las siguientes han sido tomados de los subproyectos que se ejecutan en el marco del Proyecto INCAGRO.

47



Elaboración de estudios para el manejo de cuencas. 

Nº de estudios.



Elaboración de proyectos en zonas de protección y tratamiento paisajístico.



Nº de proyectos elaborados.



Actualizar la normatividad en materia ambiental.



Nº de normas aprobadas.

Regla Nº 2: Los indicadores deben ser válidos Los indicadores deben estar relacionados con el resultado o proceso que se pretende medir. Este es el requisito esencial de todo buen indicador: su validez o pertinencia.

RESULTADOS

INDICADORES



Capacitación a miembros de juntas de usuarios de  agua. 

Nº de juntas de usuarios de agua capacitados.



Formalización de organizaciones vecinales



N º de organizaciones vecinales formalizadas



Promover el uso de ciclovías



N ° de ciclovías operativas

Regla Nº 3: Los indicadores deben guardar una jerarquía congruente con la cadena de resultados Deben seleccionarse indicadores correspondientes al nivel de impacto, efecto o producto, según corresponda. RESULTADOS

COMPONENTES

INDICADORES

Fin

 Contribuir a mejorar la competitividad y las exportaciones del sector horto-frutícola.

 Valor de las exportaciones de frutas y hortalizas susceptibles.

Propósito

 Mantener áreas libres y reducir las pérdidas económicas por moscas de la fruta.

 Nº de hectáreas libres de moscas de la fruta Ceratitis.  Pérdidas económicas evitadas.

Componentes

 Campaña de erradicación de la mosca de la fruta.

 Nº de hectáreas hospedantes en las que se aplica medidas de control.

 Vigilancia y protección permanentes de áreas libres.

 Nº de hectáreas hospedantes libres de la plaga con monitoreo permanente.  Nº de hectáreas hospedantes libres de la plaga con protección de reinfestación.

48

Regla Nº 4: Los indicadores deben ser verificables Los indicadores deben ser verificables a costo y en tiempo razonables. La verificación de un indicador debe ser costo- efectividad; es decir, ser efectiva en función de su costo. MEDIOS DE RESULTADOS

INDICADORES VERIFICACIÓN

Incremento de la productividad en cúrcuma.

Rendimiento de la tierra.

Informe estadístico de la DGIA – MINAG.

Mejoramiento de la seguridad ciudadana.

Tasa de victimización.

Anuario Estadístico Policial MININTER

Fortalecimiento de la identidad cultural y la integración social.

Índice de participación vecinal.

Gerencia de Participación VecinalMML.

Regla Nº 5: No se debe confundir indicadores con objetivos Los indicadores deben expresarse en forma de una variable mensurable, que refleje cuantitativamente el grado de cumplimiento del objetivo del proyecto. No debe expresarse como el cambio esperado en la población beneficiaria. RESULTADOS

INDICADORES

 Fortalecimiento de capacidades de grupos organizados de mujeres.

 Nº de grupos de mujeres capacitados.

 Fortalecimiento del programa Escuela para Padres

 N° de padres participantes.

 Fortalecimiento de capacidades técnicas y humanas

 N° de personas capacitadas

Regla Nº 6: No se debe confundir indicadores con actividades Distinguir los indicadores de las actividades tomando en cuenta que, mientras éstas se refieren a proceso, aquéllos se refieren a mediciones que por lo general toman la forma de metas físicas.

RESULTADOS

 Realización de estudios para conocer la variabilidad genotípica y fenotípica del vellón de rebaños de alpaca.

INDICADORES  Nº de estudios de evaluación de la calidad del vellón de los rebaños de alpacas.  Nº de estudios de identificación preliminar de reproductores con vellones de calidad.  Nº de estudios de evaluación del efecto genético de los padres reproductores seleccionados, en su progenie.  Nº de estudios sobre la calidad del vellón de las 49

crías con las técnicas evaluadas.

Regla Nº 7: Se deben establecer metas para cada indicador La meta es el valor a alcanzar en un determinado periodo de tiempo. La confusión puede evitarse estableciendo indicadores y metas por separado.

RESULTADOS

INDICADORES

METAS

 Incremento de la productividad en cúrcuma.

 Rendimiento de la tierra.

 Incremento a 10 TM/HA en 2 años.

 Fortalecimiento de organizaciones de productores.

 Nº de organizaciones fortalecidas.

 05 organizaciones fortalecidas.

 Diseño de nuevos programas para atención en salud

 N° de programas diseñados

 04 programas diseñados en 4 años

Regla Nº 8: Un indicador operacionaliza sólo una variable correspondiente a un resultado Las intervenciones tienen variables independientes y dependientes, organizadas en cuatro niveles: actividades, productos, propósito y fin. Un mismo indicador no debe utilizarse en más de un objetivo ni en diferentes niveles de la jerarquía de objetivos. COMPONENTES

INDICADORES

Propósito

 Seguridad jurídica de los predios individuales y territorios de las comunidades campesinas y nativas.

 Nº de propietarios de predios rurales y de comunidades campesinas y nativas que reciben títulos de propiedad debidamente inscritos en RR.PP.

Componentes

 Clasificación, saneamiento y deslinde de zonas intangibles de protección ecológica.

 Nº de áreas naturales protegidas que han sido demarcadas.

 Inventario, saneamiento y deslinde de zonas intangibles de protección cultural.

 Nº de áreas culturales en zonas de titulación rural que han sido demarcadas.

RESULTADOS

50

Regla Nº 9: No se deben fusionar indicadores Se deben seleccionar los indicadores más representativos y no agrupar varios indicadores en una frase extensa. Si los indicadores son independientes, entonces deben expresarse por separado.

RESULTADOS

INDICADORES

 Titulación y registro de predios rurales individuales y de comunidades campesinas y nativas.

 Nº de expedientes de predios individuales y de comunidades campesinas y nativas inscritos en SUNARP.

 Promoción de la protección de las áreas naturales protegidas y culturalmente importantes, adyacentes a las zonas de titulación.

 Nº de áreas naturales protegidas demarcadas.

 Normativa municipal que incentive y exija como requisito el DNI para acceder a programas y servicios municipales.

 N° de normas aplicadas.

Regla Nº 10: No se deben especificar demasiados indicadores Si se disponen de demasiados indicadores y todos parecen ser apropiados, entonces se debe priorizar y seleccionar aquellos cuyo monitoreo no tenga un costo alto y que permita una evaluación efectiva.

RESULTADOS

INDICADORES

 Promover la conservación y el aprovechamiento sostenible y competitivo de los CS y sus ecosistemas.

 Población de vicuñas.  Población de alpacas.  Volumen de fibra de vicuña comercializada.

 Desarrollo de capacidades, RRHH y logística

   

 Implementar un sistema de transporte público

 N° de rutas racionalizadas.  N° de empresas optimizadas.  Porcentaje de personas que usan transporte público.

N° de personal capacitado. N° de campañas y/o talleres. N° de cursos dictados. N° de equipos re potenciados o adquiridos.

51

3.6

Errores comunes en la construcción de indicadores

A continuación son listados los errores más frecuentes en la construcción de indicadores, con la finalidad de que las entidades ejecutoras de intervenciones públicas, ya sean programas o proyectos eviten la comisión de los mismos.

Error Nº 1: No disponer de al menos un indicador para cada resultado y proceso No debe haber ningún fin, propósito, componente ni actividad que no cuente con sus respectivos indicadores.

RESULTADOS

INDICADORES

Estudios para el manejo de cuentas

Nº de estudios de manejo de cuencas

Registro de prácticas de conservación de suelos

Nº de prácticas registradas.

Dirección y gestión de manejo de cuencas.

Nº de informes elaborados.

Error Nº 2: Falta de validez o pertinencia de los indicadores El indicador guarda poca relación con el objetivo o cambio que pretende medir.

RESULTADOS

INDICADORES

Capacitación a miembros de juntas de usuarios.

Nº de canales construidos.

Adecuada utilización de recursos naturales.

N° de proyectos ejecutados.

Fortalecimiento en interinstitucional e intersectorial.

N° de personas capacitadas.

Error Nº 3: Confusión en la naturaleza de los indicadores Suele ocurrir cuando se utilizan las consecuencias inmediatas de las actividades como indicadores de impacto o efecto. Este error también puede presentarse al considerar los efectos sobre el bienestar de la población objetivo como indicadores de proceso o producto.

RESULTADOS

INDICADORES

Contribuir a mejorar la competitividad y exportaciones Nº de canales construidos. del sector horto-frutícola. Mayores oportunidades para la población pobre y N° de personas que reciben apoyo crediticio y capacitación. excluida en la construcción del desarrollo humano.

52

Una ciudad integrada, competitiva, saludable y atractiva N° de campañas culturales establecidas. para todos.

Error Nº 4: Seleccionar indicadores no verificables Los indicadores, aun cuando estén formalmente bien construidos, no son verificables debido a:   

La fuente de verificación no existe. La fuente está desactualizada. La fuente no está agregada al nivel requerido. RESULTADOS

INDICADORES

Contribuir al desarrollo rural con equidad de género.

Satisfacción de las mujeres que habitan en ámbitos rurales.

Contribuir a la mejora de la calidad ambiental

Satisfacción de las personas por reducción de la contaminación.

Mejorar las oportunidades de desarrollo de la población pobre y excluida.

Porcentaje de población que se siente excluida

Error Nº 5: Confusión entre indicadores y objetivos El indicador está redactado bajo la forma de objetivo; es decir, como cambio esperado en la situación de los beneficiarios del proyecto, mas no en forma de una proposición mensurable.

RESULTADOS

INDICADORES

Fortalecimiento de capacidades de grupos organizados de mujeres.

 Los grupos organizados de mujeres inician negocios rurales sostenibles.

Mejoramiento de las condiciones urbano ambientales.

 Las familias mejoran sus condiciones ambientales.

53

Mejorar la calidad del agua.

 Aumenta el porcentaje de familias que accede a agua potable de calidad.

Error Nº 6: Confusión entre indicadores y actividades Los indicadores no son actividades ni componentes; son números que permiten medir logros a los distintos niveles de la columna de objetivos.

RESULTADOS 

INDICADORES

Estudios para conocer la variabilidad genotípica y fenotípica del vellón de rebaños de alpaca.



A los 12 meses se tendrá la evaluación de la calidad del vellón de los rebaños de alpacas.



A los 12 meses se tendrá una identificación preliminar de reproductores con vellones de calidad. A los 32 meses se evaluará los resultados del efecto genético de los padres reproductores seleccionados, en su progenie. A los 36 meses se verificará la calidad del vellón de las crías con las técnicas evaluadas.





Error Nº 7: Confusión entre indicadores y metas Es mejor separar los indicadores de las metas, para establecer separadamente la línea de base y la tendencia.

RESULTADOS

INDICADORES

Los productores incrementan la productividad en cúrcuma.



Incrementar el rendimiento de la tierra a 10 TM/ha en 02 años.

Promoción de empleos dignos



Aumento de 1491 empleos dignos en 4 años

Formación integral de líderes populares



Capacitación de 400 líderes para el año 2014

Error Nº 8: Repetición de indicadores Este error hace referencia a la utilización de un mismo indicador en dos niveles distintos.

54

COMPONENTES

INDICADORES

RESULTADOS Propósito



Consecución de la seguridad jurídica de los predios individuales y territorios de las comunidades campesinas y nativas.

 Nº de expedientes de predios individuales y de comunidades campesinas y nativas inscritos en SUNARP.  Nº de áreas naturales protegidas demarcadas

Componentes



Titulación y registro de predios rurales individuales y de comunidades campesinas y nativas Promoción de la protección de las áreas naturales protegidas y culturalmente importantes, adyacentes a las zonas de titulación.

 Nº de expedientes de predios individuales y de comunidades campesinas y nativas inscritos en SUNARP.  Nº de áreas naturales protegidas demarcadas.



Error Nº 9: Fusión de indicadores Especialmente en los indicadores de efecto (propósito) se comete el error consistente en fusionar dentro de una misma frase varios indicadores distintos e independientes.

RESULTADOS

COMPONENTES

INDICADORES

Componentes

Titulación y registro de predios rurales Nº de expedientes de predios individuales y de comunidades individuales y de comunidades campesinas y nativas campesinas y nativas inscritos en SUNARP y Nº de áreas naturales protegidas que han sido demarcadas.

Componentes

Promoción del empleo juvenil

N° de jóvenes que se insertan al mercado laboral y N° de jóvenes capacitados en emprendimiento de negocios.

Error Nº 10: Elevado número de indicadores Consiste en consignar un número exagerado de indicadores para medir una determinada variable. Este hecho determina un alto costo de las acciones de monitoreo y evaluación, sin que necesariamente mejore la efectividad de las evaluaciones. Esta observación es aplicable sobre todo a los indicadores de producto (componentes), en los que se abunda en indicadores en parte debido a su confusión con las actividades del proyecto. RESULTADOS

INDICADORES

55

Promover la conservación y el aprovechamiento sostenible y competitivo de los camélidos sudamericanos y sus ecosistemas

      

Población de vicuñas. Población de alpacas. Volumen de fibra de vicuña comercializada. Titulares que implementan planes de manejo. Productores formalizados. Propuestas concertadas e implementadas. Proporción de mujeres que participan en cargos directivos en organizaciones de base para el manejo de camélidos sudamericanos.

Mejoramiento de la salud familiar y comunal

 Zonas capacitadas en mejoramiento de sus niveles nutricionales  Zonas que muestran reducción en la tasa de morbilidad  Zonas que muestran reducción en la tasa de mortalidad  Zonas que reducen sus índices de violencia familiar.

Desarrollo de capacidades, RRHH y logística

   

N° de personal pertinente capacitado N° de adquisiciones de equipamiento N° de compañías y/o cursos, talleres N° de instituciones de gestión administrativa y logística reestructuradas.

56

Capítulo 4. Elaboración de líneas de base

La línea de base es un elemento clave del sistema de monitoreo y evaluación. Supone la identificación de las variables clave del proyecto y su expresión en un conjunto de indicadores. Los indicadores son información utilizada en las acciones de monitoreo del logro de los objetivos de un proyecto. La comparación de las metas logradas con los valores de la línea de base permite evaluar los cambios generados por el proyecto. El proceso de formulación de líneas de base debe desarrollarse considerando los indicadores que han sido seleccionados en la etapa de pre inversión y que se encuentran consignados en el marco lógico del proyecto. Sin embargo, al mismo tiempo, la elaboración de líneas de base debe tener en consideración aspectos operacionales, como la disponibilidad de información y el costo de los procesos de diseño de los instrumentos de medición y de recopilación de la información.

4.1 Concepto de línea de base Un Estudio de Línea de Base (ELB, en adelante) es un estudio de carácter principalmente descriptivo realizado con la finalidad de describir la situación inicial de la población objetivo de un proyecto y del contexto pertinente, a efectos de que esta información pueda compararse con mediciones posteriores y, de este modo, pueda cuantificarse la magnitud de los cambios obtenidos y, en general, evaluar el grado de efectividad del proyecto. Siendo así, un ELB representa una investigación dirigida a obtener los referentes básicos de la evaluabilidad del proyecto, así como un instrumento para mejorar los procesos de gestión del conocimiento y toma de decisiones. Una línea de base, esencialmente, está constituida por los valores de un conjunto de indicadores directamente relacionados a las variables clave de un proyecto. Por lo tanto, representan la primera evaluación de la situación de la población beneficiaria o, extensivamente, de los beneficios privados y sociales que conforman la razón de ser del proyecto. La contraparte de una línea de base es la línea de salida, que muestra el valor de los mismos indicadores luego de concluida la intervención. La comparación de la línea de base con la línea de salida es la base para la evaluación de un proyecto. El objeto específico de un ELB es determinar la situación inicial de los indicadores de efecto e impacto del proyecto, levantando su primer valor mediante técnicas estadísticas y utilizando fuentes primarias y secundarias de información. Además, los ELB deben mostrar evidencias cualitativas de la situación de la población objetivo al inicio de la intervención, recogidas a través de entrevistas, talleres, grupos focales y cualquier otro tipo de técnicas cualitativas y participativas de recopilación de información. Para garantizar una ejecución exitosa de los proyectos es necesario comprender claramente el problema que se quiere abordar. El análisis exhaustivo de los factores claves que influyen en un problema complementa la formulación de datos de la línea de base y la determinación de metas. Para que la información sea lo más precisa y objetiva posible, y se superen las limitaciones usuales de los análisis descriptivos, se utilizan indicadores de desempeño. Desde esta perspectiva, los indicadores utilizados en el contexto de una intervención, tienen dos aspectos: línea de base y línea de salida, valor actual y valor futuro deseado, situación previa y situación posterior. 57

 

La línea de base es la situación anterior a la intervención, por lo que constituye el punto de partida en los procesos de seguimiento y evaluación. La línea de salida es la situación que se prevé se logrará al final del periodo de ejecución del plan estratégico. Es, en cierto modo, la situación posterior a la gestión pública.

La línea de base de un proyecto debe brindar información sobre los aspectos siguientes:   

Situación inicial de los indicadores de efecto e impacto del proyecto. Dinámica del contexto y su relación con la población objetivo. Factores de riesgo no controlables que afectan el impacto (supuestos que se encuentran en la matriz del marco lógico), a fin de capitalizar las oportunidades del entorno o en su defecto definir estrategias para aminorar y/o frenar sus posibles influencias negativas.

En síntesis, la idea fundamental a tener en cuenta es que los ELB son muy acotados, pues sólo recogen información que pueda ser comparada posteriormente con los resultados del proyecto, para determinar el antes y el después. Como se sabe, un principio inherente en la evaluación es la posibilidad de establecer comparaciones, disponiendo de valores y valoraciones iniciales respecto a los indicadores de evaluación. Por ello, la información al respecto debe estar estrechamente vinculada a los indicadores de efecto e impacto del proyecto, puesto que el mismo análisis ha de repetirse en la evaluación intermedia y evaluación final.

4.2 Estudio transversal y línea de base Los estudios exploratorios, tipo genérico de investigación en la que se enmarca un ELB, establecen, por lo general, modelos basados en hipótesis, las cuales en el caso de un proyecto se encuentra explícita en el marco lógico del proyecto: hipótesis sobre los cambios que tendrán lugar en la población beneficiaria, como consecuencia de la ejecución de las actividades contempladas en cada componente, bajo ciertas condiciones del entorno. Por otra parte, los estudios exploratorios se subdividen en dos tipos básicos: estudios longitudinales y estudios transversales. Estos últimos, también conocidos como estudios cross-section, entre los que se ubican los ELB, ofrecen una instantánea o fotografía del fenómeno bajo estudio; mientras que los estudios longitudinales tratan de mostrará una historia o película del problema en cuestión. El estudio longitudinal es aquel que, mediante mediciones repetidas de un mismo fenómeno, tiene como finalidad mostrar la evolución en el comportamiento de las variables investigadas. Puede basarse, aunque no necesariamente, en los datos de un panel (muestra permanente de individuos o entidades de los que se obtienen datos de forma continua, a intervalos de tiempo regulares), o bien utilizar en cada ocasión que se repita el estudio los datos de muestras distintas en cuanto a su composición, pero siempre representativas de la población a investigar. Los estudios de intención de voto son ejemplos de estudios longitudinales en los que la muestra utilizada es distinta en cada ocasión. El estudio transversal, también denominado estudio de sección cruzada, proporciona una instantánea de las variables de interés y sus relaciones en un momento dado. Se divide en dos clases: estudios en profundidad y encuestas.

58

El estudio en profundidad es el que trata de conseguir el conocimiento integral del fenómeno estudiado. Se denomina también investigación cualitativa. Los estudios en profundidad se basan en pequeñas muestras. Para obtener los datos utilizan formularios poco estructurados y flexibles, con preguntas abiertas y entrevistas de larga duración (más de media hora). No persiguen la cuantificación de las respuestas, sino obtener ideas y una mejor comprensión del fenómeno a investigar (Parasuraman, 1991). Utilizan fundamentalmente técnicas psicológicas: entrevistas en profundidad, reuniones de grupo, técnicas proyectivas, de asociación, frases incompletas, etc. La encuesta constituye un método muy habitual de obtener información en investigación social y de mercados. Se basa, por lo general, en grandes muestras representativas de la población objeto de estudio. Los datos se obtienen mediante comunicación, a través de entrevista personal, por correo (ordinario o electrónico), por teléfono, fax, Internet, etc., y empleando un cuestionario. Se denomina también investigación cuantitativa, porque se utilizan técnicas estadísticas para analizar los datos.

4.3 Marco lógico y evaluación Tomando como punto de partida el marco lógico de un proyecto, el propósito y demás elementos de un proyectos que pueden ser visualizados y conceptualizados en forma interrelacionada. Así tenemos que:  Los resultados se encuentran localizados en las filas del propósito y fin del marco lógico;  Los resultados también se encuentran, en parte, localizados en la fila correspondiente a los componentes del marco lógico. Se refieren a los productos entregados por el proyecto a la población beneficiaria.  Finalmente, los procesos están localizados en las actividades del marco lógico, ya que se refieren al uso de insumos para la realización de actividades generadoras de los productos.

Gráfico 3.1 Marco lógico y evaluación

59

Fin Contribuir a la reducción del incumplimiento tributario y el fortalecimiento de la institucionalidad de la Sunat.

Propósito

Resultados

Facilitar la validación, en tiempo real, de documentos sujetos a control y fiscalización en los puestos de control a nivel nacional.

Productos 1. Acceso a redes de comunicación. 2. Acceso a equipos móviles. 3. Acceso a sistemas de control integrado. 4. Implementación de sistema de control mediante video. 5. Desarrollo de normas y procedimientos. 6. Implementación de programa de entrenamiento.

Procesos

Actividades 1.1 Interconexión de puestos de control. 1.2 Mecanismos de continuidad del servicio en puestos de control. 1.3 Implementación de redes wifi/wimax. 2.1 Implementación de equipos móviles en puestos de control. 3.1 Desarrollo de sistema de control integrado. 4.1 Implementación de solución de cámaras IP. 5.1 Normas y procedimientos de operación de la solución. 6.1 Entrenamiento.

Las actividades, sin embargo, están asociadas a los componentes y pueden conformar el referente para la evaluación en la etapa de ejecución de un proyecto. La línea de base es un elemento clave del sistema de monitoreo y evaluación. Supone la identificación de una serie de variables clave y su organización en un conjunto de indicadores. Los indicadores son información utilizada por los mecanismos de control para monitorear y ajustar las acciones dirigidas al logro de determinados objetivos, en el marco de una intervención o sistema dado. La comparación de las metas logradas con los valores de la línea de base permite evaluar los cambios generados por el proyecto. Evaluar es, en efecto, comparar los resultados planeados con los resultados efectivamente logrados. En general, la evaluación es la disciplina que se ocupa de la comparación de los resultados de un proyecto con las metas que se propuso alcanzar y que, por ende, mide hasta qué punto un proyecto alcanza ciertos objetivos. En esta definición hay dos tipos de riesgos:  En primer lugar, podría existir una sobreestimación de las metas, en cuyo caso, independientemente de la calidad del diseño y de la implementación, se considerarían como deficientes aquellos proyectos que no alcancen dichas metas, aún cuando desde una perspectiva realista, pudieran haber sido considerados exitosos.  También existe el riesgo contrario: la subestimación de las metas. En este caso, proyectos mal concebidos y ejecutados, podrían tener una evaluación aparentemente positiva, debido a que sus formuladores, cautos en el momento de plantearse las metas, situaron éstas en un nivel ostensiblemente bajo. Cabe destacar el hecho que las evaluaciones son útiles siempre que los resultados que generen aporten valor agregado para las entidades ejecutoras, en términos de lecciones aprendidas que 60

puedan ser incorporadas en el diseño de futuras intervenciones. En el contexto del enfoque del marco lógico y como ya ha sido señalado se pueden establecer hasta tres tipos de evaluación: evaluación de procesos (monitoreo), evaluación de resultados (o simplemente evaluación) y evaluación de impacto. Cabe destacar que estos tres tipos de evaluación tienen su razón de ser en el hecho que, por lo general, cuando se evalúa un proyecto se busca responder a tres preguntas fundamentales:

4. ¿Cómo está funcionando el proyecto? 5. ¿Se logró o no el cambio deseado? 6. ¿Si se logró el cambio, en qué medida éste se puede atribuir al proyecto?

Evaluación de procesos. La evaluación de procesos o monitoreo nos permite conocer a fondo la dinámica de implementación del proyecto. Se enfoca íntegramente en la implementación de las actividades del proyecto. Este tipo de evaluación no investiga cuán eficaces fueron estas actividades en producir resultados. Por lo tanto, la gran utilidad de este tipo de evaluación es identificar – mientras el proyecto está es plena marcha - los aspectos exitosos para replicarlos y los aspectos deficientes para mejorarlos. Efectuado oportunamente, la evaluación de procesos permite realizar modificaciones en la ejecución de actividades con base en los hallazgos, incrementando así la probabilidad de que el proyecto logre sus objetivos. Evaluación de resultados. La evaluación de resultados busca determinar el grado de logro del resultado deseado en la población objetivo. Al evaluar los resultados de un proyecto, a fin de determinar si el diseño y la gerencia del mismo fueron adecuados, se pone énfasis en cinco aspectos importantes:



 

 

Pertinencia. Grado en el cual el objetivo del proyecto es consistente con las prioridades de desarrollo de la población objetivo y las políticas de la entidad ejecutora y el organismo donante o financiador. Eficacia. Grado en el cual se logran los objetivos específicos y el propósito del proyecto. Eficiencia. Análisis de los resultados con relación al costo; es decir un análisis de la transformación de los insumos en producto mediante la realización de determinadas actividades. Impacto. Valoración socioeconómica global, incluyendo los efectos positivos y negativos, tanto aquellos que son deseados y estaban previstos, como los no previstos y no deseados. Sostenibilidad. Apreciación de la capacidad para mantener los impactos positivos del proyecto por un largo periodo de tiempo. Análisis sobre si el efecto global en términos, por ejemplo, de empleo e ingresos es positivo también en el largo plazo.

Estos aspectos están estrechamente relacionados al enfoque del marco lógico. Así, la pertinencia alude a la relación del propósito con las prioridades de desarrollo; la eficacia a la relación entre los productos y el propósito; la eficiencia es una comparación de los insumos con los productos; el impacto establece relaciones entre las variables controlables por el proyecto y el fin; y, por último, la sostenibilidad analiza la interacción entre el fin y los supuestos al mismo nivel.

61

Evaluación de impacto. Las evaluaciones de impacto permiten determinar con mayor certeza la relación causa-efecto de un proyecto dado y sus resultados en la población beneficiaria. Por lo general, la metodología de evaluación consiste en la construcción de un escenario contrafactual, a través del cual se compara la situación con proyecto versus la situación sin proyecto y, de este modo, se estima tanto la magnitud de los cambios como la proporción de dichos cambios atribuible al proyecto. El escenario contrafactual se puede construir usando diversas metodologías que se clasifican en dos categorías generales: diseños experimentales y no experimentales. También se pueden usar métodos cualitativos y participativos para evaluar el impacto. Estas técnicas con frecuencia proporcionan información decisiva sobre las perspectivas de los beneficiarios, el valor que los proyectos tienen para ellos, los procesos que pueden haber afectado los resultados y una interpretación más profunda de los resultados observados en el análisis cuantitativo.

4.4 Procedimiento general Un ELB se realiza, por lo general, en diez pasos, desde la determinación del ámbito de estudio hasta la redacción del informe final. Estos pasos, sin embargo, están enmarcados en tres procesos amplios: la determinación del marco muestral, la especificación de las variables de estudio y generación, almacenamiento y análisis de los datos. Una línea de base, esencialmente, está constituida por los valores de un conjunto de indicadores directamente relacionados a las variables clave de un proyecto. Por lo tanto, representan la primera evaluación de la situación de la población beneficiaria o, extensivamente, de los beneficios privados y sociales que conforman la razón de ser del proyecto. La contraparte de una línea de base es la línea de salida, que muestra el valor de los mismos indicadores luego de concluida la intervención. La comparación de la línea de base con la línea de salida es la base para la evaluación de un proyecto. Cuadro 7.1 Pasos de un estudio de línea de base

1.

Determinación del ámbito de estudio.

2

Determinación de los objetivos del estudio.

3

Selección de variables e indicadores del estudio.

4

Determinación del marco muestral.

5

Diseño del cuestionario.

6

Prueba piloto del cuestionario.

7

Realización del trabajo de campo.

8

Construcción de la base de datos.

9

Análisis de datos.

10

Redacción del informe final.

Elaboración propia.

Paso 1: Determinación del ámbito de estudio

62

La determinación del ámbito del estudio implica precisar la población objetivo del proyecto. En el contexto de un estudio de línea de base, debe entenderse por población al conjunto de todos los casos que concuerdan con una serie de especificaciones. La delimitación de la población implica determinar la unidad de análisis, es decir, el grupo de personas, instituciones u objetos a ser evaluados, lo cual depende del objetivo de la intervención. La caracterización de la población objetivo implica la descripción de los siguientes elementos: características demográficas y sociales, características económicas y productivas, características tecnológicas y característica histórico - culturales. La caracterización de la población objetivo de la intervención se efectúa mayormente con base en información obtenida a través de fuentes secundarias, tales como revisión bibliográfica, consulta de documentos oficiales y entrevistas a técnicos y expertos.

Paso 2: Determinación de los objetivos del estudio Como se ha señalado, el objetivo general de un ELB es determinar la situación inicial de las unidades beneficiarias antes de la ejecución de un proyecto, a través de la determinación de los valores de ciertas variables clave resumidas a través de los indicadores que usualmente se encuentran consignados en el marco lógico del estudio de preinversión. Debe destacarse el hecho que mientras en el marco lógico se encuentran los nombres de los indicadores, en el ELB debe establecerse los valores de los mismos, a cuyo efecto, en el caso de los indicadores de fuente primaria, se debe identificar las variables, sus respectivas definiciones operativas, unidades de medida, preguntas y categorías de agrupamiento de las respuestas en función de la escalas de medición establecidas. Además, los ELB deben mostrar evidencias cualitativas de la situación de la población objetivo al inicio de la intervención, recogidas a través de entrevistas, talleres, grupos focales y cualquier otro tipo de técnicas cualitativas y participativas de recopilación de información. Los objetivos específicos de un ELB en un proyecto concreto están en función de dos factores: los objetivos del proyecto bajo evaluación y el tipo de evaluación adoptado. El diseño de un ELB tendrá determinadas características en el marco de una evaluación de impacto que en el caso de una evaluación de resultados simple. Por lo general, en una evaluación de resultados simple basta con recabar información de las variables relevantes sobre las unidades beneficiarias. En cambio, en una evaluación de impacto suele ser necesario –en el contexto de un diseño cuasi experimental- la recopilación de información tanto de las unidades beneficiarias como de las unidades no beneficiarias que actúen como grupo de control.

Paso 3: Selección de las variables e indicadores del estudio La selección de indicadores debe considerar la idoneidad del indicador respecto de los objetivos del estudio, así como la viabilidad de obtener la información de base necesaria, bien sea de fuentes propias o secundarias. Para determinar los indicadores que en cada caso específico serán utilizados, se recomienda el procedimiento siguiente:      

Identificación de las variables relacionadas con los objetivos de la intervención. Selección de los indicadores que permiten operativizar la medición de las diversas variables. Definir conceptualmente los indicadores seleccionados. Definición operativa de los indicadores, especificando la fórmula de cálculo en el caso de los indicadores compuestos y las unidades de medida en el caso de los indicadores simples. Identificación de las variables específicas involucradas en los indicadores compuestos. (En el caso de los indicadores simples esto no es necesario, ya que, por definición, se trata de indicadores univariables). Establecimiento del nivel de medición de cada variable específica. Existen cuatro niveles de medición ampliamente conocidos: nominal, ordinal, por actividades, y de razón.

63

Las variables claves están relacionadas con los objetivos de la intervención. Para ello, los objetivos deben ser claros, específicos y mensurables. Cuantificar un objetivo consiste en asociarle patrones que permitan hacerlos verificables.

Paso 4: Determinación del marco muestral Para la recopilación de información debe tomarse en consideración el hecho de que, en principio, existen dos tipos generales de estrategias de muestreo: muestreo probabilístico y no probabilístico o dirigido. El muestreo probabilístico es un tipo de muestreo en el que se conoce la probabilidad de seleccionar un miembro individual de la población. El muestreo dirigido es aquel en el que se desconoce la probabilidad de seleccionar cualquier miembro individual de la población. Muestra probabilística

Muestra dirigida

Subgrupo de la población en el que todos los Subgrupo de la población en la que la elección elementos de ésta tienen la misma de los elementos no depende de la probabilidad posibilidad de ser elegidos. sino de las características de la sistematización.

Cuando una encuesta se realiza sólo a una parte de la población, se trata de un estudio muestral. Una muestra es un conjunto de elementos de una población o universo del que se quiere obtener información. A efectos de que la información obtenida de una muestra sea válida, ésta debe ser representativa de la población; es decir, que en su estructura se reproduzcan exactamente las características y comportamientos de la población de la que ha sido obtenida. Aunque la precisión o exactitud de los datos obtenidos a través de una muestra es menor que en un estudio censal, las ventajas de coste y tiempo superan con creces tal inconveniente. La unidad muestral es el elemento de la población de la cual se obtienen los datos. Pueden ser individuos, hogares, tiendas, empresas u objetos (productos, marcas, modelos, etc.). La muestra puede ser seleccionada por procedimientos aleatorios o no aleatorios. En el primer caso, se trata de un muestreo probabilístico, mientras que en el segundo es un muestreo no probabilístico. En un muestreo probabilístico todos los elementos de la población tienen igual oportunidad de ser seleccionados para componer la muestra. En un muestreo no probabilístico, en cambio, la selección de los elementos de la muestra se realiza, total o en parte, según criterios fijados por el investigador.

Paso 5: Diseño del cuestionario El cuestionario es el formulario que contiene las preguntas o variables de la investigación y en el que se registran las respuestas de los encuestados. El diseño del cuestionario no es sencillo y presenta ciertas dificultades. Si bien preguntar es relativamente fácil, hacer buenas preguntas es un arte que requiere creatividad y experiencia. Para un diseño apropiado del cuestionario es fundamental cumplir tres requisitos básicos: 1. Definir correctamente el problema a investigar. 2. Formular de forma precisa las hipótesis. 3. Especificar adecuadamente las variables y las escalas de medida.

64

Un cuestionario es un conjunto articulado y coherente de preguntas redactadas en un documento para obtener la información necesaria que permita realizar la investigación que la requiere. Desempeña funciones esenciales, tales como las siguientes:    

Traslada el objetivo de la investigación a preguntas concretas que serán respondidas por las personas encuestadas. Homogeniza las obtención de información, ya que todos los encuestados responden a las mismas preguntas del cuestionario. Si su diseño, estructura, ordenación y aspecto es acertado, el cuestionario contribuye eficazmente a que las personas proporcionen información Ayuda a que el tratamiento de datos se haga más rápido, porque facilita las tareas de codificación de datos, pues figuran en el propio cuestionario, y su grabación en los equipos informáticos, especialmente cuando se trata de cuestionarios que se pueden leer con un lector óptico.

Las preguntas que contiene un cuestionario están determinadas por los objetivos de la investigación que se desea realizar, que pueden ser medir comportamientos, actitudes u opiniones. Una investigación se diseña globalmente. Se fijan unos objetivos de conocimiento, los cuales determinan qué información debe recogerse y cómo va a medirse. Paralelamente, debe seleccionarse la técnica idónea para tratar la información. Cada tipo de datos exige una técnica de análisis, y cada estudio necesita aplicar la técnica idónea.

Paso 6: Prueba piloto del cuestionario Una vez que se ha elaborado el cuestionario conviene hacer una valoración del mismo. Para ello debe darse respuesta a las siguientes preguntas de esta lista de comprobación.        

¿Responde el cuestionario a los objetivos de la investigación? ¿Son necesarias todas las preguntas? ¿Podrá el encuestado contestar a todas las preguntas? ¿Querrán los encuestados contestar a todas las preguntas? ¿Es fluido? ¿Es de una extensión razonable? ¿La secuencia de preguntas es correcta? ¿Se han incluido transiciones e introducciones?

Una vez que se haya diseñado el cuestionario, éste debe ser aplicado a un grupo de personas para efectuar una prueba. En una primera confección, es posible que no se acierte con aspectos semánticos en las preguntas. Es decir, la redacción del cuestionario puede no ser del todo correcta o que no se comprenda bien. Es posible, también, que algunas preguntas importantes no se hayan incluido, o no estén bien matizadas, o que haya un exceso de preguntas y algunas no sean significativas.

Los defectos de contenido y/o forma que pudieran aparecer en el cuestionario se detectan mediante pruebas piloto, dirigidas a pequeños grupos. Una vez subsanados los errores o perfeccionado el cuestionario se podrá dirigir a la totalidad de la muestra. De esta manera se evita tener que repetir la investigación por haber difundido un cuestionario confuso o erróneo.

En la prueba piloto se mide la consistencia interna del cuestionario, a través del coeficiente a de Cronbach. Las pruebas piloto se repiten las veces necesarias hasta conseguir la mayor validez del cuestionario. 65

Paso 7: Realización del trabajo de campo El conjunto de actividades realizadas para la recopilación efectiva de los datos recibe la denominación de trabajo de campo. Incluye la supervisión de los cuestionarios y el control de los errores de la falta de respuesta. El trabajo de recolección de datos pocas veces es realizado por la persona que diseña la investigación. Sin embargo, la etapa de recolección de datos es crucial, porque un estudio no es mejor que los datos recolectados en campo. Por tal razón, se debe seleccionar personas capaces y confiar en ellos para reunir los datos. Una ironía de la investigación de campo es que individuos con alta educación y capacitación diseñan la investigación, pero cuando se realizan las encuestas las personas que recolectan los datos por lo común tienen poca capacitación o experiencia. Al saber que la investigación no es mejor que los datos recolectados en el campo, los coordinadores de la investigación deben concentrarse en seleccionar cuidadosamente a los trabajadores de campo.

Gran parte del trabajo de campo lo realizan proveedores de investigación que se especializan en la recolección de datos. Cuando una segunda parte es subcontratada, la tarea del diseñador del estudio no es sólo la de contratar un proveedor de investigación, sino la de construir controles de supervisión sobre el servicio de campo. En algunos casos se usa una tercera firma. Si el administrador de la investigación contrata a un entrevistador interno o selecciona un servicio de entrevistas en el campo, idealmente los trabajadores de campo deben satisfacer ciertos requisitos. Aun cuando los requerimientos del puesto para diferentes tipos de encuesta varían, por norma los entrevistadores deben gozar de buena salud, ser extrovertidos y de presentación agradable, bien arreglados y vestidos. Las personas que les gusta hablar con desconocidos casi siempre son los mejores entrevistadores. Una parte esencial de la entrevista es entablar una buena relación con el participante. Una personalidad abierta ayuda a los entrevistadores a garantizar la cooperación del participante. Los prejuicios del entrevistado pueden presentarse si el vestido o apariencia física del entrevistador de campo es poco atractiva o descuidada. Una excepción a esto sería la investigación etnográfica, en la cual el entrevistador debe vestirse de acuerdo con el grupo que se estudia.

El objetivo de la capacitación es asegurar que el instrumento de recolección de datos se administre de manera uniforme por todos los trabajadores de campo. La meta de estas sesiones es que cada participante sea dotado de información común. Si los datos se obtienen de manera uniforme por todo los que participan, la participación habrá tenido éxito.

Paso 8: Construcción de la base de datos La construcción de la base de datos es la fase posterior a la recopilación de los datos en campo. Por lo general, supone un tratamiento informático, incluyendo su almacenamiento en algún tipo de software, para su posterior tabulación y análisis. La base de datos constituye la plataforma sobre la cual el investigador realizar los análisis que le permitirán convertir los datos en información relevante para la toma de decisiones. La construcción de una base de datos requiere típicamente de tres tipos de actividades: registro, edición y codificación de datos.

66



La entrada y grabación de los datos es el registro de los códigos y valores de las variables en un sistema informático para su posterior tratamiento y análisis. Se entiende por dato un valor específico de una variable. Por ejemplo, 35 años es un dato de la variable edad. La edición de datos es la inspección de las respuestas de los cuestionarios, con el fin de asegurar que estén suficientemente contestados y que las respuestas sean consistentes. De ser necesario, se efectuarán las correcciones oportunas o se rechazarán los cuestionarios mal o insuficientemente contestados. La codificación de los datos consiste en asignar códigos numéricos a las respuestas dadas a un cuestionario para poder efectuar el tratamiento estadístico de los datos. En las preguntas cerradas los códigos están preestablecidos en el cuestionario, pero en las preguntas abiertas (variables tipo texto) deben asignarse códigos a las respuestas obtenidas. Para ello debe procederse a agrupar las respuestas obtenidas por su similitud, y asignarles un código y su correspondiente significado en una nueva variable categórica.





Los datos codificados se recopilan sistemáticamente en un fichero o matriz de datos que permite el tratamiento estadístico posterior. Cada fila del fichero recoge las respuestas o la información recogida en un cuestionario. A cada pregunta o variable se le asigna una o más columnas del fichero. La intersección de la fila i con la columna j recogerá la respuesta codificada del individuo i a la pregunta asignada a la columna j. Las primeras columnas se suelen reservar para la identificación de la observación o individuo.

Para el análisis se debe definir la naturaleza de cada variable, cualitativa métrica o textual. El fichero de trabajo puede contener la siguiente información:   

Variables cualitativas o categóricas: género, situación familiar, estado civil, etc. Variables métricas o cuantitativas: gasto en ocio, número de horas de trabajo, etc. Variables textuales: identificado, respuestas a preguntas abiertas, comentarios del entrevistador.

Un registro de datos es el espacio de un fichero informático ocupado por un conjunto de datos correspondientes a una unidad de análisis (un sujeto o un objeto). Un registro está formado por campos de información. Por ejemplo, un registro puede contener el conjunto de datos representativos de las respuestas dadas por un encuestado. Para las respuestas posibles a cada una de las preguntas o variables del cuestionario se reserva un campo. Un campo es el espacio ocupado por el dato de una variable en un registro informático. Comúnmente, en un fichero los registros de datos son las filas de la tabla y los campos están representados por las columnas.

Paso 9: Análisis de datos El aspecto culminante del proceso de construcción de una línea de base es el análisis de los datos obtenidos en la etapa de recopilación de información. En términos generales, el objetivo del análisis de datos es su transformación en información relevante 22 . En el contexto de un ELB una determinada información se califica de relevante si sirve para medir las variables relacionadas a los efectos e impactos del proyecto. La aplicación de técnicas estadísticas de análisis de datos, especialmente las más sofisticadas, ha tenido en los últimos años un crecimiento muy importante en la investigación social, especialmente por la mayor 22

Este aparatado se basa en el texto de Miguel Santesmases Mestre, Diseño y análisis de encuestas en investigación social y de mercados. Editorial Pirámide, Madrid 2009. 67

disponibilidad y abaratamiento de los medios electrónicos de cálculo y el desarrollo de paquetes de programas estadísticos.

La información obtenida en el paso anterior se encuentra como datos recopilados en forma de cuestionarios, guías de entrevistas con informes manuscritos de los temas predeterminados, listados de personas encuestadas, etc. En este paso, toda esa información, fruto de la recopilación de un amplio conjunto de observaciones, se transforma en información organizada mediante el uso de la estadística descriptiva, tanto en lo que se refiere al análisis de una sola variable, como la de las observaciones de las relaciones entre dos o más variables. En función del número de variables analizadas simultáneamente, las técnicas de análisis de datos pueden clasificarse en univariables, bivariables y multivariables, según se analicen, respectivamente, una sola variable, la relación o dependencia entre dos variables y la relación o interdependencia entre más de dos variables.

Al igual que los pasos anteriores, el análisis de los datos requiere un trabajo de equipo para aclarar preguntas y garantizar resultados oportunos y de calidad. Un primer problema que debe ser abordado se refiere a la depuración de los datos proveniente de fuentes primarias y secundarias. Existen diversas técnicas de análisis cuantitativo basadas en métodos estadístico, así como también existen muchas técnicas para analizar datos cualitativos. Particularmente en los estudios de línea de base y evaluaciones de impacto, dos técnicas son de uso frecuente: análisis de contenido y análisis de casos.

El análisis de contenido se usa para analizar datos obtenidos a través de entrevistas, observaciones y documentos. Sobre la base de un sistema de clasificación de datos, la información debe ser organizada de acuerdo con lo siguiente:

  

Las preguntas de evaluación para las cuales se recopiló la información. La forma como será usada la información. La necesidad de realizar referencias cruzadas con la información.

De otro lado, el análisis de casos se basa en estudios de detalle de un determinado grupo o individuo relacionado con el contexto bajo evaluación. El alto nivel de detalle obtenido puede proporcionar información valiosa para evaluar la calidad de los procesos, resultados e impactos del proyecto. Los procesos de recopilación y análisis de los datos se llevan a cabo en forma simultánea, puesto que los evaluadores realizan observaciones mientras recopilan la información.

Paso 10: Redacción del informe final La redacción del Informe del ELB es, obviamente, el paso final. Este documento, por lo general, incluye los aspectos siguientes:

68

     

Resumen del proyecto bajo estudio. Caracterización del ámbito del proyecto, Situación de base en el área de influencia del proyecto Resumen de indicadores Base de datos, incluyendo un diccionario de variables. Pautas metodológicas para el diseño de un sistema de monitoreo y evaluación del desempeño.

Al redactar el informe final del estudio, debe tenerse en cuenta que la línea de base de un proyecto debe brindar información sobre los aspectos siguientes:

  

Situación inicial de los indicadores de efecto e impacto del proyecto. Dinámica del contexto y su relación con la población objetivo. Factores de riesgo no controlables que afectan el impacto (supuestos que se encuentran en la matriz del marco lógico), a fin de capitalizar las oportunidades del entorno o en su defecto definir estrategias para aminorar y/o frenar posibles factores negativos.

En síntesis, la idea fundamental a tener en cuenta es que los ELB son muy acotados, pues sólo recogen información que pueda ser comparada posteriormente con los resultados del proyecto, para determinar el antes y el después. Como se sabe, un principio inherente en la evaluación es la posibilidad de establecer comparaciones, disponiendo de valores y valoraciones iniciales respecto a los indicadores de evaluación. Por ello, la información al respecto debe estar estrechamente vinculada a los indicadores de efecto e impacto del proyecto, puesto que el mismo análisis ha de repetirse en la evaluación intermedia y evaluación final. Finalmente, cabe indicar que los informes de línea de base se deben programar como parte de una estrategia de difusión, que puede incluir, además del informe técnico propiamente dicho, la realización de presentaciones ante diversos públicos y la difusión en los medios de comunicación de los resúmenes ejecutivos sobre los hallazgos de la evaluación.

Cuadro 7.2 Pasos del estudio de línea de base

1. Determinación del ámbito de estudio

La determinación del ámbito del estudio implica precisar las unidades de análisis, que pueden ser sujetos u objetos. El tipo de unidades de análisis depende del objetivo de la intervención.

2. Determinación de los objetivos

Por lo general, el objetivo de un ELB es ofrecer una referencia sólida para la medición de los cambios que se lograrían gracias a la ejecución del proyecto. Además, los ELB deben mostrar evidencias cualitativas de la situación de la población objetivo al inicio de la intervención.

3. Selección de variables e indicadores

La selección de las variables y sus correspondientes indicadores debe considerar la capacidad de estos para representar válidamente los objetivos o resultados que se desean medir, así como la viabilidad de obtener la información de base necesaria, bien sea de fuentes propias o secundarias. Para ello, los objetivos deben ser claros, específicos y mensurables.

69

4. Determinación del marco muestral

Para la recopilación de información debe tomarse en consideración el hecho de que, en principio, existen dos tipos generales de estrategias de muestreo: muestreo probabilístico y no probabilístico o dirigido. Cuando una encuesta se realiza sólo a una parte de la población, se trata de un estudio muestral. A efectos de que la información obtenida de una muestra sea válida, ésta debe ser representativa de la población.

5. Diseño del cuestionario

El cuestionario es el formulario que contiene las preguntas o variables de la investigación y en el que se registran las respuestas de los encuestados. Las preguntas que contiene un cuestionario están determinadas por los objetivos de la investigación que se desea realizar.

6. Prueba piloto del cuestionario

Una vez que se ha elaborado el cuestionario conviene hacer una valoración del mismo, para ello, debe ser sometido a un grupo de personas para efectuar una prueba. Lo cual nos ayudará a detectar los defectos de contenido y/o forma que pudieran aparecer en el cuestionario. Una vez subsanados los errores o perfeccionado el cuestionario se podrá dirigir a la totalidad de las personas que se considere oportuno.

7. Realización del trabajo de campo

El conjunto de actividades realizadas para la recopilación efectiva de los datos recibe la denominación de trabajo de campo. Incluye la supervisión de los cuestionarios y el control de los errores de la falta de respuesta.

8. Construcción de la base de datos

La construcción de la base de datos, supone un tratamiento informático, incluyendo su almacenamiento en algún tipo de software, para su posterior tabulación y análisis. La base de datos constituye la plataforma sobre la cual el investigador realiza los análisis que le permitirán convertir los datos en información relevante para la toma de decisiones.

9. Análisis de datos

En términos generales, el objetivo del análisis de datos es su transformación en información organizada y relevante mediante el uso de estadística descriptiva, tanto en lo que se refiere al análisis de una sola variable, como la de las observaciones de las relaciones entre dos o más variables.

10. Redacción del informe final

La redacción del Informe del Estudio de Línea de Base es, obviamente, el paso final. Los informes de línea de base se deben planificar como parte de una estrategia de difusión, que puede incluir, además del informe técnico propiamente dicho, la realización de presentaciones ante diversos públicos y la difusión en los medios de comunicación de los resúmenes ejecutivos.

Elaboración propia.

4.5 Importancia del análisis de datos El aspecto culminante del proceso de construcción de una línea de base es el análisis de los datos obtenidos en la etapa de recopilación de información. En términos generales, el objetivo del análisis de datos es su transformación en información relevante23. En el contexto de un ELB una determinada información se califica de relevante si sirve medir las variables relacionadas a los efectos e impactos del proyecto. La aplicación de técnicas estadísticas de análisis de datos, especialmente las más sofisticadas, ha tenido en los últimos años un crecimiento muy importante en la investigación social, especialmente por la mayor disponibilidad y abaratamiento de los medios electrónicos de cálculo y el desarrollo de paquetes de programas estadísticos. En función del número de variables analizadas simultáneamente, las técnicas de análisis de datos pueden clasificarse en univariables, bivariables y multivariables, según que analicen, respectivamente, una sola variable, la relación o dependencia entre dos variables y la relación o interdependencia entre más de dos variables. 23

Este aparatado se basa en el texto de Miguel Santesmases Mestre, Diseño y análisis de encuestas en investigación social y de mercados. Editorial Pirámide, Madrid 2009. 70

Análisis estadístico univariable El análisis estadístico univariable incluye un conjunto de técnicas que estudian la medida y el comportamiento de una sola variable. Entre las técnicas más importantes destacan las siguientes: Estadísticas básicas: • • •

Número de casos, suma, máximo, mínimo. Promedios: media, mediana y moda. Medidas de dispersión: rango, varianza y desviación estándar.

Distribución de frecuencias: tabulaciones simples.

Análisis estadístico bivariable El análisis estadístico bivariable es el conjunto de técnicas que estudian la relación (de asociación o de dependencia) entre dos variables. Pueden considerarse, en algunos supuestos, como casos especiales o simplificados de las técnicas de análisis multivariable. Entre las técnicas más importantes destacan las siguientes: a. b.

c. d. e. f. g. h.

Tabulaciones cruzadas. Análisis de tablas de contingencia con prueba ji cuadrado Tests t de medias:  De una muestra independiente.  De dos muestras independientes.  De dos muestras emparejadas. Análisis de la varianza. Análisis de la covarianza. Correlación entre rangos de Spearman. Correlación lineal. Coeficiente alfa de Cronbach. Análisis de regresión simple (caso particular de la regresión múltiple, en el que hay una sola variable independiente).

Análisis estadístico multivariable Consiste en el análisis simultáneo del comportamiento de más de dos variables. Es un análisis más completo, que permite un mejor acercamiento a la realidad de los fenómenos sociales. Por definición, tales fenómenos suelen ser complejos y no se limitan a un número reducido de dimensiones, sino que, por el contrario, son multidimensionales, y su estudio precisa de herramientas adecuadas que no supongan una simplificación de la realidad. Ésta es la principal contribución del análisis multivariable a la investigación social, particularmente en la elaboración de ELB. Las técnicas que se incluyen en el análisis multivariable suelen clasificarse en dos grandes grupos, según analicen relaciones de dependencia o de interdependencia entre variables u objetos. En el primer caso, el análisis multivariable permite estudiar la medida o intensidad con que se da la dependencia entre las variables y determina, por lo general, una relación funcional. En el caso de interdependencias, el análisis multivariable estudia las interrelaciones entre todas las variables o agrupa los sujetos u objetos por su similitud, de acuerdo con los valores mostrados por las variables analizadas.

71

Una dependencia es una relación o asociación entre dos o más variables en la que el comportamiento o el valor de una o más de ellas (variables dependientes, criterio o a explicar) es el efecto (depende) del valor de otra u otras variables causales (independientes, predictoras o explicativas). Una relación de dependencia es, por ejemplo, la que se da entre el número de periódicos que se lee diariamente (variable a explicar) y la edad, sexo y nivel de estudios del individuo (variables explicativas). El comportamiento de la primera variable puede estar en función o «depender» (por esto se la denomina variable dependiente) de las otras variables consideradas explicativas (identificadas como variables independientes). Las técnicas estadísticas multivariables de análisis de dependencias se subdividen, a su vez, en dos grupos: 



Técnicas que analizan la relación de dependencia entre una sola variable dependiente o a explicar y múltiples independientes o explicativas (como en el ejemplo antes citado de relación entre el número de periódicos leídos diariamente y la edad, sexo y nivel de estudios del individuo). Técnicas que analizan la relación de dependencia entre múltiples variables dependientes y múltiples variables independientes (como sería el caso, por ejemplo, de relación entre el nivel de utilización de varios medios de información alternativos -prensa, radio, televisión- y las características socioeconómicas indicadas del lector -edad, sexo y estudios).

Dentro de las técnicas de análisis de interdependencias, se distinguen también dos grupos:  

Aquellas que ponen el énfasis en la interrelación entre las variables, como las técnicas de análisis factorial y relacionadas. Las que analizan la interrelación entre los sujetos u objetos analizados, como las técnicas de cluster analysis o análisis de grupos.

Las primeras pueden utilizarse, por ejemplo, en el estudio de actitudes. Las segundas, en estudios de segmentación, para determinar grupos homogéneos.

72

Gráfico 7.1. Mapa conceptual del estudio de línea de base

Proyecto

Objetivos del estudio Variables de estudio

Unidades de análisis

Puestos de control

Recopilación de datos

Variables de fuente primaria

Variables de fuente secundaria

Variables cuantitativas

Variables cualitativas

Priorización de población

Diseño del cuestionario

Estratificación de población y cuoteo

Prueba piloto

Tamaño y marco muestral

Trabajo de campo Base de datos Indicadores y análisis Redacción de Informe 73

Capítulo 5. Evaluación de Procesos En el presente capítulo se ofrece una definición de la evaluación de procesos, comúnmente conocida como monitoreo, así como el procedimiento recomendado para su implementación. Luego se exponen los principales criterios para la adopción de decisiones operativas respecto a la marcha del proyecto. Por lo general el monitoreo o evaluación de procesos toma como referencia básica al plan operativo.

5.1

¿En qué consiste el monitoreo?

El monitoreo o evaluación de procesos es una herramienta de gestión destinada a controlar el avance de los proyectos en ejecución, midiendo los resultados reales en función de los previstos 24. El monitoreo es parte integrante de la ejecución de proyectos y constituye una forma de control del avance de los mismos, al mismo tiempo que proporciona información sistemática, uniforme y confiable.

En principio, se puede realizar un monitoreo a todo lo que figura en el plan operativo y en el marco lógico del proyecto: fin, propósito, productos, actividades y recursos, expresados a través de sus respectivos indicadores y datos cualitativos. Sin embargo, lo usual es realizar un control en la ejecución de las actividades contempladas en cada uno de los componentes del marco lógico del proyecto. Una vez establecido, el monitoreo representa ahorro de tiempo y esfuerzo a la entidad ejecutora facilitando el control y preparación de los reportes correspondientes. No aumenta la complejidad del proyecto, sino que permite hacerlos objeto de una gestión más sistemática y manejable. En términos generales, la gerencia del proyecto se beneficia del monitoreo en la medida en que este:   

Proporciona información útil para las entidades de control superior nacionales y los organismos de financiación externos; Proporciona una base para la toma de decisiones sobre posibles cambios en la programación, ya que tal vez haya que reajustar la utilización de recursos, modificar la escala de prioridades e introducir actividades nuevas. Brinda mayores oportunidades para servir bien a la población destinataria, porque el efecto sobre la misma se analiza en forma reiterada, a lo largo de la ejecución del proyecto.

El monitoreo tiene por objeto orientar la ejecución de un proyecto hacia su finalidad y detectar cualquier problema que haga probable que no logre los resultados previstos. Esta tarea supone un seguimiento periódico del avance técnico y los gastos financieros correspondientes, por medio del cual se compara el desempeño y los resultados efectivos con los planes.

5.2

Monitoreo: principales pasos

En esta sección se presenta ante el lector, en forma pormenorizada, un proceso típico de monitoreo, de un proyecto de inversión pública en el sector agrario.

24

Los principales conceptos e instrumentos tratados en el presente capítulo están basados en el Manual de Monitoreo de la Ejecución de Proyectos (OPS, Abril, 1999)

74

A. Revisión del documento del proyecto Los documentos de base para la organización del monitoreo son el estudio de preinversión y el informe técnico, vinculados a la declaratoria de viabilidad. Estos documentos contienen por lo general, indicaciones respecto a las metas físicas y financieras, modalidades de ejecución de las actividades y obligaciones de la entidad ejecutora sobre algún aspecto de la ejecución del proyecto. Por otra parte, un proyecto financiado por la comunidad internacional da lugar a la suscripción de un convenio específico o un convenio marco, que rige las relaciones entre donante y donatario (unidad ejecutora). El gerente del proyecto debe familiarizarse con ese convenio para asegurar el cumplimiento de todas sus especificaciones. Los convenios de proyectos tienen cláusulas específicas en lo referente a las transferencias de los fondos, las estructuras para la ejecución de proyectos, el personal del proyecto, adquisiciones de insumos, relaciones con contrapartes nacionales, participación del donante en diferentes etapas, requisitos de presentación de informes, etc. Estos son todos elementos cruciales a ser considerados por el gerente del proyecto cuando se definen planes de acción y cuando se monitorea su ejecución.

B. Formulación del plan operativo Una vez aprobado el documento del proyecto se debe elaborar un plan operativo o programas de metas físicas y financieras que abarquen el período del proyecto en su totalidad. Esto significa que hay que delinear las actividades requeridas para lograr los resultados esperados, indicando su secuencia y definiendo las fechas en que deben alcanzarse los resultados indicados. Un plan operativo simplificado y condensado se puede organizar de la siguiente manera:

Cuadro 6.1 Plan operativo de un proyecto: ejemplo Resultados Esperados 01 02 03

01

02

03

Cronograma E

F

M

A

M

J

J

A

S

O

N

D

Agua pura suministrada a aldeas de la región noroeste Trabajadores de salud adiestrados Comunidad informada acerca de técnicas de tratamiento del agua ACTIVIDADES Consultas con representantes regionales y locales Escoger lugares para pozos Determinar técnicas Llamado a licitación Empresa contratista Formular un programa de estudios Preparar material de adiestramiento Adiestrar a los instructores Seleccionar participantes Dictar cursos de adiestramiento Evaluar los resultados del adiestramiento Evaluar las prácticas higiénicas para crear un nivel de referencia básico Organizar talleres locales Contratar instructores Contratar representantes locales Realizar talleres 75

Evaluar las prácticas higiénicas después del adiestramiento

Plan operativo global El plan operativo global del proyecto contiene, por definición, las metas físicas y financieras para el conjunto del período de ejecución. Al respecto, se suelen establecer sub-períodos anuales a fin de especificar con mayor detalle las metas.

Planes operativos anuales Con base en el plan operativo global hay que elaborar planes de trabajo anuales en los que se especifiquen en mayor detalle la distribución cronológica de la ejecución técnica y los gastos financieros conexos. Se debe establecer un calendario de actividades y un presupuesto relacionados con los resultados esperados. En lo que respecta al primer año, el plan debe ser pormenorizado y concreto; luego, hacia fines de ese año, se elabora un plan de trabajo más concreto para el siguiente, y así sucesivamente. Enmarcados en el plan de trabajo, cada año es necesario definir los siguientes aspectos:    

Resultados esperados. Actividades que deberán realizarse. Tareas que deberán emprenderse. Costos, es decir, un presupuesto en el que se especifiquen los fondos requeridos para ejecutar el plan de trabajo anual.

El plan de trabajo constituye la base para el monitoreo técnico o programático.

Presupuesto del proyecto El presupuesto del proyecto indica los recursos financieros requeridos durante la duración del mismo. Los costos correspondientes se calculan sobre la base de las tareas, actividades y resultados previstos. Luego, el presupuesto debe desglosarse por año o períodos más breves, a fin de mostrar qué recursos se necesitarán para cumplir con el plan de trabajo. El plan de trabajo anual en el que se esboza la ejecución técnica debe ir acompañado de un desglose de los costos previstos en relación con las tareas, actividades y resultados esperados correspondientes. A continuación se muestra un presupuesto simplificado del proyecto:

Cuadro 6.2 Presupuesto simplificado del proyecto A

AÑO 1

AÑO 2

AÑO 3

PRESUPUESTO TOTAL 76

Resultado 01 Actividad 1 Tarea 1 Tarea 2 Actividad 2 Tarea 1 Tarea 2 Costos por año

C. Preparación del plan de monitoreo Un plan de monitoreo se utiliza para planificar, administrar y documentar el proceso de recopilación de datos, de manera oportuna y en forma comparable. Asimismo, determina los indicadores que deberán hacerse objeto de monitoreo; especifica la fuente, el método, el cronograma de recopilación de datos, y asigna responsabilidades. El plan ayuda a mantener el sistema de monitoreo bien encaminado y a asegurar que los datos sean notificados en forma periódica a los encargados de la gerencia del proyecto. Preferentemente, la elaboración de dicho plan debe realizarse dando participación a todos los interesados directos en el proyecto, especialmente a un representante del grupo beneficiario, y al socio de financiación. Los siguientes elementos deben integrar el plan de monitoreo: • Indicadores de desempeño y sus definiciones. • Datos de referencia básicos. • Metas de desempeño. • Fuente de datos. • Método de recopilación de datos. • Frecuencia y cronograma de recopilación de datos. • Responsabilidades en cuanto a la adquisición de datos. A continuación se explica cada uno de estos elementos. Indicadores de desempeño y sus definiciones. A los efectos del seguimiento, los indicadores no necesitan definirse más que para el nivel de los resultados esperados. En el plan de trabajo pueden haberse determinado ciertos indicadores preliminares, en cuyo caso deberían revisarse y, de ser necesario, complementarse. Ejemplo: PROPÓSITO DEL PROYECTO La gestión de los servicios de salud ha mejorados

RESULTADOS ESPERADOS 1. El período de espera de los pacientes se habrá reducido en 30%

INDICADOR Duración del período de espera

2. El personal médico habrá pasado a recibir 10% más de pacientes por día

Número de pacientes

3. El nivel de satisfacción de los usuarios continuará siendo el mismo.

Opiniones de los pacientes

77

Los buenos indicadores comienzan con un enunciado claro de los objetivos o los resultados esperados. Cada indicador requiere una definición detallada en la que se especifiquen cantidad, calidad y tiempo. A la hora de seleccionar indicadores, las características más importantes son las siguientes:    

Validez. El indicador mide realmente aquello que se supone debe medir. Confiabilidad. Varias mediciones reiteradas arrojan los mismos resultados. Sensibilidad. El indicador es sensible a los cambios y , Especificidad. El indicador mide solamente los cambios relacionados con la intervención del proyecto en cuestión.

Datos de referencia básica. Es casi imposible establecer metas o medir avances sin saber cuál es la situación de partida de un proyecto. Es por ello que antes del comienzo del mismo hay que establecer datos de referencia básicos que reflejen, con la mayor fidelidad posible, el valor de cada indicador al principio del proyecto. Esos datos básicos serán el valor en función del cual se medirán los cambios durante todo el período abarcado por el proyecto. Ejemplo En un proyecto destinado a aumentar la producción triguera de los pequeños agricultores (resultado esperado) resulta fácil, establecer el nivel de referencia básico: nivel de producción triguera al comienzo del proyecto. Cuando los resultados esperados son de carácter más cualitativo, como por ejemplo "mayor conocimiento de las prácticas higiénicas relacionadas con el uso del agua", el establecimiento de un punto de referencia básico requiere un poco más de imaginación. Metas de desempeño. Las metas representan el nivel y cronograma exacto de los resultados que se espera lograr con un proyecto. Mientras el indicador define la forma en que se ha de medir el desempeño según una escala o dimensión, la meta determina el nivel planificado específico del resultado que se debe lograr en un plazo determinado. Ejemplo Si el resultado esperado es "reducir 30%, en un plazo de dos años, el período de espera de los pacientes", se pueden establecer las siguientes metas provisionales: "reducción de 10% en el período de espera medio, para el mes de julio del primer año; reducción ulterior de 10% para el mes de enero del segundo año y, por último, reducción adicional de 10% para el mes de julio del segundo año". Una meta final es el valor planificado de un indicador para la culminación del proyecto o el período de planificación. Si ese plazo resulta demasiado prolongado, conviene establecer metas provisionales o, como se las denomina a menudo, hitos.

Ejemplo

78

Resultado esperado: "Acceso a un agua potable limpia para 80% de la población rural de la provincia de Santa Clara". Al comenzar el proyecto, sólo 50% de la población tiene acceso al agua limpia (valor de referencia básico). El proyecto se ha planificado para un plazo de siete años. Su objetivo final es el nivel de 80% que debe haberse alcanzado al cabo de dicho plazo. En este caso quizá convenga fijarse metas intermedias, por ejemplo 60% tras dos años, 70% tras cuatro y 80% al cabo de los siete. Conviene utilizar una curva acumulativa para ilustrar las metas intermedias y la final. Dicha curva pasará a ser una buena base para realizar una comparación con los logros reales del caso.

Medios de verificación y fuente de datos. Los medios de verificación permiten comprobar el estado de los indicadores, y se deben definir en la matriz del enfoque de Marco Lógico del documento del proyecto. Si esto no se hace, o si se seleccionan indicadores nuevos, los encargados de la gestión del proyecto deben establecer medios de verificación. La fuente de datos es el lugar donde se encuentran los datos que permiten verificar el estado del indicador. Puede ser una institución que se encarga de recopilar datos, o bien un sistema para dicha recopilación establecido por el proyecto. Es importante poder usar habitualmente la misma fuente, porque el cambio de fuente de datos para el mismo indicador, con el tiempo, puede dar lugar a incongruencias y errores de interpretación. Por ejemplo, si los cálculos estimados de las tasas de mortalidad infantil basados en unas encuestas nacionales por muestreo se dejan de lado en favor de cifras estimadas basadas en las estadísticas de inscripciones hospitalarias, se puede llegar a tener una falsa impresión de cambio. Método de recopilación de datos. Se debe especificar el método de recopilación de datos para cada indicador, señalando si se trata de recopilación de datos primarios o si se basa en datos secundarios. Para la recopilación de datos primarios hay que tener en cuenta:    

La unidad de análisis. Las necesidades de desglose de datos (por sexo, edad, grupo étnico, ubicación). Las técnicas de muestreo. Las técnicas o los instrumentos para adquirir datos.

Para los indicadores basados en datos secundarios se deben proporcionar tanto el método de cálculo de los puntos de datos del indicador específico como las fuentes de información. Asimismo, hay que suministrar detalles suficientes sobre el método de recopilación o cálculo de datos, para poder repetirlo si se quiere. Frecuencia y cronograma de recopilación de datos. Para poder medir el avance de un proyecto, los sistemas de seguimiento deben recopilar periódicamente datos comparables. ¿Con qué frecuencia hay que recopilar datos? No hay respuestas generales a esta pregunta. Según el indicador, tal vez convenga hacerlo con una frecuencia trimestral, anual, o incluso menor. Por ejemplo, como los cambios son lentos, los datos sobre el grado de descentralización de funciones de determinado sector se pueden recopilar cada cierto número de años, mientras que los correspondientes respecto al nivel de producción de determinado producto agroindustrial. Cuando se planifican la frecuencia y programación de la recopilación de datos, los factores importantes a tener en cuenta son las necesidades de los encargados de la gestión del proyecto para una toma de decisiones oportuna, y los momentos de decisión dentro del ciclo del proyecto. Responsabilidades en cuanto a la obtención de datos. La responsabilidad de la adquisición oportuna de datos a partir de su fuente se debe asignar claramente, en función de cada indicador, a 79

una persona, equipo u oficina específica, determinándose asimismo la modalidad de registro de datos. Plan de análisis de datos. En la medida de lo posible, conviene planificar con antelación no sólo la recopilación de datos, sino también su análisis, notificación, examen y empleo, a fin de determinar las técnicas de análisis de la información y los formatos que se usarán para su presentación. Identificación de necesidades de evaluaciones complementarias. Las evaluaciones de los proyectos en curso deben realizarse solamente cuando es improbable el logro de la finalidad del proyecto. Por ejemplo, si no se entienden a fondo las razones por las que no se alcanzan las metas, conviene programar evaluaciones para investigar y analizar el proyecto. Planes para la comunicación y el uso de la información obtenida a través del monitoreo del proyecto. Influenciar las decisiones de gestión; 1. 2. 3.

Escribir informes de progreso, semestrales o anuales, dirigidos a los superiores, las entidades homólogas nacionales y los socios financieros; y Compartir la información con los interesados directos para su discusión y análisis. Análisis de los resultados del monitoreo.

El análisis de los resultados del monitoreo supone, básicamente, comparar el desempeño real con los planes, y los gastos reales con el presupuesto, analizando cualquier desviación o discrepancia. Ello se puede expresar tanto en palabras como mediante cuadros y diagramas. Por lo general, los cuadros y gráficos resultan más fáciles y rápidos de interpretar, e ilustran claramente la comparación entre planes y resultados. Ejemplo: Adiestramiento de agricultores En este caso la ejecución técnica, es decir, el número de agricultores adiestrados, es apenas 90% del nivel esperado, mientras que el costo excede 16% la cifra presupuestada. Dicho sobrecosto puede obedecer a razones válidas, que hay que explicar, o bien pueden existir problemas que obliguen a modificar la organización del adiestramiento. Las discrepancias y deficiencias pueden obedecer a problemas o situaciones inherentes al proyecto, como su organización, sus sistemas administrativos, el cambio de los coordinadores / gerentes del mismos o la escasez de personal.

Número Número real planificado de agricultores adiestrados 180

162

%

90%

Costo Presupuesto US$ 8.600

Costo real US$

%

10.100 116%

5.3 Adopción de decisiones operativas En función de los resultados del análisis, el gerente del proyecto puede optar por proponer medidas correctivas, mejorar el diseño del proyecto o rectificar la asignación de recursos. Tal vez deban hacerse reajustas en el marco operativo o la asignación de responsabilidades. Los resultados del monitoreo ayudarán a justificar dichas medidas.

80

Los resultados del monitoreo deben incorporarse en informes periódicos y tenerse en cuenta al formularse nuevos planes de trabajo. Los informes siempre deben relacionar con los documentos del proyecto y con la matriz del Enfoque del Marco Lógico presentada en dicho documento. Hay dos temas básicos que se deben tratar en los informes:  

La ejecución técnica – en relación con el plan anual, y con énfasis en el nivel de resultados esperados, más que en los niveles de actividades y tareas; La ejecución financiera – en relación con el presupuestó y, concretamente, con los costos previstos para alcanzar los resultados esperados y realizar las actividades.

La notificación sobre ambos aspectos debe estar sincronizada, al comparar el grado de ejecución técnicas con la utilización de fondos. El gerente del proyecto tiene la responsabilidad de velar por que se dé esa correspondencia. El seguimiento de la ejecución técnica proporciona al gerente del proyecto elementos para la notificación de los factores técnicos. Los requisitos de presentación de informes de los socios financiadores externos se defines en los convenios respectivos y el socio o parte contratante. Dichos requisitos varían en cierta medida en cuanto a frecuencia, contenido y nivel de detalle. Es importante que los informes estén bien estructurados y que sean concisos y concretos. El objeto es proporcionar una vista panorámica del avance del proyecto, de la medida en que se han logrado los resultados esperados, de los problemas surgidos en la ejecución y el entorno del proyecto, y de las perspectivas para el próximo período que será objeto de un informe. Conviene evitar un nivel de detalle excesivo. La estructura de los informes no se debe modificar durante el plazo de vigencia del proyecto, manteniéndose asimismo el nivel y las categorías de notificación para facilitar las comparaciones correspondientes.

81

Formato 3. INFORME DE MONITOREO RESUMEN EJECUTIVO

Principales logros del proyecto, problemas, resumen de la ejecución financiera y propuestas futuras. MÁXIMO: 1 PÁGINA.

INFORMACIÓN TÉCNICA

En esta sección se deben describir las actividades realizadas, de conformidad con el Plan Operativo Anual y la programación específica del periodo correspondiente (mensual o trimestral). MÁXIMO: 4 PÁGINAS.

INFORMACIÓN FINANCIERA

En esta sección se debe describir la ejecución de los gastos, de conformidad con el presupuesto aprobado y la programación específica del periodo. MÁXIMO: 4 PÁGINAS.

PROGRAMACIÓN FUTURA

Proponer las características básicas del plan de trabajo para el periodo siguiente. Sólo es necesario formular comentarios si se introducen actividades nuevas o se proponen cambios a nivel de las actividades o el presupuesto contenidos en el documento original del proyecto. MÁXIMO: 1 PÁGINA. .

ANEXOS

Se pueden incluir anexos diversos: fotos, noticias aparecidas en los medios relacionadas con el proyecto, estadísticas de producción, etc.

82

Formato 4. INFORME DE MONITOREO INFORME DE MONITOREO (Correspondiente al ….. trimestre)

Componentes /Acciones (2)

Unidad de Medida (4)

Meta programada (PIA) Año…. Física (5)

Finan (6)

Meta programada (PIM) Año…. Física (7)

Finan (8)

Meta ejecutada y/o obtenida En el….Trim. Física (9)

% (10)=(9)/(5)

Finan (11)

% (12)=(11)/(6)

Avance acumulado de metas Al…..Trim. Física (9)

% (10)=(9)/(5)

Finan (11)

% (12)=(11)/(6)

Responsa ble (9)

Componente 1 Indicador: Acción 1: Acción 2: Acción 3: Acción n:

Componente 2 Indicador: Acción 1: Acción 2: Acción 3: Acción n:

Componente n Indicador: Acción 1: Acción 2: Acción 3: Acción n: TOTAL

83

Capítulo 6. Evaluación de Resultados En el presente capítulo se ofrece una definición de evaluación de resultados, así como de sus principales diferencias con la evaluación de impacto. Además, se presentan los procedimientos y criterios a tener en cuenta al momento de diseñar un sistema de evaluación de resultados, destacando específicamente los criterios de eficacia, eficiencia, pertinencia sostenibilidad y calidad.

6.1

Definición de evaluación de resultados

Los proyectos transforman insumos en resultados; es decir, realizan actividades invirtiendo recursos materiales, financieros y habilidades técnico-administrativas, para resolver problemas específicos que afectan a una población objetivo o a su entorno. Desde esta perspectiva, los resultados de los proyectos son cambios positivos, irreversibles, duraderos y sostenibles en tres niveles sucesivos y secuencialmente superiores: productos, efectos e impactos. 

Los productos son bienes o servicios que obtiene la población beneficiaria como resultado inmediato de cumplir las actividades. Ejemplo: carreteras construidas, campesinos capacitados, créditos recibidos, etc.



Los efectos o resultados inmediatos vienen a ser nuevas habilidades de la población, o nuevos factores en el entorno donde vive esta población que surgen como resultados sinérgicos del uso de los productos de la población. Ejemplos: mayor productividad de las tierras, mejor calidad de los productos agropecuarios, mas ventas de productos, suelos estabilizados contra la erosión, etc.



Los impactos o resultado final vienen a ser cambios positivos fundamentales en algún aspecto de la propia vida de la gente o en el ecosistema en el que se asientan. Son resultados sinergéticos generados por los efectos. Ejemplo: mayores ingresos familiares, reducción de la morbi-mortalidad y conservación del medio ambiente, entre otros.

La evaluación de resultados tiene por objeto verificar en el ámbito del proyecto, el cumplimiento de los objetivos (a nivel de productos, propósito y fin), sin mayor preocupación por determinar en qué medida los resultados se pueden atribuir en estricto al proyecto o tienen su origen en factores externos. Tipología de evaluación Un proyecto, visto de manera agregada, consta de procesos y resultados. Mientras los procesos son la materia de estudio de la evaluación de procesos (monitoreo), los resultados son abordados a través de la evaluación de resultados.

Para medir los resultados de los proyectos se utilizan indicadores verificables objetivamente (IVOs) que vienen a ser evidencias empíricas comprendidas y aceptadas por todos los actores de un proyecto: población objetivo, equipo ejecutor, supervisores y financieras. Los IVOs pueden ser directos o proxys según expliquen los contenidos de un resultado directamente o utilicen un fenómeno aproximado para hacerlo, tal como se puede observar en los ejemplos siguientes:

Producto: El volumen de alimentos cultivados aumenta.

«La cosecha de papa yungay para consumo en la comunidad de Chicche, Huancayo, se incrementa»

Año TM %

2000 100 -

2001 120 20

2002 150 50

2003 180 80

2004 210 110

2005 250 150

Efecto: La erosión de suelos en la micro cuenca habitada por la comunidad de Janjaillo, disminuye.

«El contenido de materia en suspensión de las aguas del río Canipaco, emisario principal de la micro cuenca Quishuarcancha y hábitat de la comunidad de Janjaillo, medida en el Puente Calicanto, en marzo, mes de máxima avenida, disminuye»

Año grs./litro %

6.2

2000 12 -

2001 12 -

2002 10 16

2003 180 80

2004 210 110

2005 250 150

Evaluación de resultados y evaluación de impacto

La evaluación de resultados y la evaluación de impacto son dos actividades diferentes pero complementarias, y unidos al monitoreo o seguimiento de procesos, pueden constituir un sistema bastante completo de evaluación de un proyecto social. Ambos tipos de evaluación requieren de la recopilación de información, como del análisis sistemático de la información sobre la ejecución del proyecto, pero difieren en cuanto al tipo de datos requeridos, tanto en lo metodológico como en su uso final. Así tenemos que, en la evaluación de resultados la metodología es relativamente sencilla. Como bien señalan Rubio, Prennushi y Subbanao, el nivel más básico, implica una comparación del nivel alcanzado en un determinado objetivo con la meta correspondiente (o el nivel existente antes del proyecto). La evaluación de impacto, en cambio, se concentra en la estimación cuantitativa de los cambios en el bienestar de las personas que se pueden atribuir inequívocamente a un proyecto. Las principales diferencias entre el control de resultados y la evaluación de impacto se muestran a continuación:

Cuadro 7.1 Comparación entre evaluación de resultados y de impacto

85

Aspecto

6.3

Evaluación de resultados

Evaluación de impacto

Objetivos

Verifica cambios en los resultados de medición de la pobreza a través del tiempo.

Evalúa cambios en los resultados en la medición de la pobreza, atribuibles a medidas públicas específicas, y evalúa impactos sobre diferentes grupos de la población y dentro de la familia.

Información necesaria

Datos a nivel nacional, local y familiar recopilados a intervalos frecuentes.

Datos sobre las familias representando la población del estudio, recopilados por lo menos en dos oportunidades, antes y después de la puesta en práctica de la política o programa. Los datos sobre miembros individuales de una familia permiten un análisis de la asignación de recursos al seno de una familia.

Metodología

Comparación de indicadores a través del tiempo.

Comparación de los indicadores antes y después de la intervención, entre unos grupos comparables de participantes y no participantes.

Diseño de un sistema de evaluación de resultados

El diseño de un sistema de seguimiento de resultados debe determinar los objetivos, metas, indicadores apropiados y niveles de desglose, así como los datos necesarios y la frecuencia de las acciones de seguimiento. A. Determinación de objetivos y metas Los objetivos ayudan a guiar la asignación de recursos y priorizar los esfuerzos. A continuación ofrecemos algunos lineamientos generales a considerar para fijar objetivos y metas. Primero, los objetivos para los países se seleccionan mejor por medio de procesos participatorios dentro de cada país. Esto toma tiempo al principio pero puede ayudar a alcanzar objetivos a largo plazo. Segundo, las metas son seleccionadas sobre la base de la situación actual y en función lo que se puede llegar a lograr en el país en un momento dado. Tercero, las metas pueden ubicarse en diferentes niveles de desglose dependiendo de factores como el tamaño de un país, la distribución de la población por grupos socio étnicos, etc. Además de las metas a nivel nacional, se pueden fijar metas específicas para ciertas regiones o ciertos grupos.

86

Cuarto, es importante incluir los factores cualitativos y subjetivos cuando se fijan los objetivos. Numerosos factores que afectan la calidad de vida no se pueden cuantificar fácilmente pero no por ese motivo son menos importantes. Cuando sea factible, se pueden añadir indicadores cualitativos y subjetivos por ejemplo, si la gente se considera pobre o no.

Identificación de indicadores Después de haber fijado los objetivos, el próximo paso es identificar los indicadores para medir el progreso hacia esos objetivos. Los indicadores se pueden clasificar en general, en dos grupos: intermedios y finales. Cuando un indicador mide un objetivo final o el efecto de una intervención sobre el bienestar de la gente, lo llamamos “indicador de impacto” o “indicador de resultados” – o sea un indicador “final”. Por ejemplo, la alfabetización se puede considerar como un objetivo final, por lo tanto, un indicador que lo mide – como la proporción de personas de cierta edad que puede leer un texto sencillo y escribir su nombre – seria un indicador final. Cuando un indicador mide un factor que determina un resultado o contribuye al proceso de lograr un resultado, lo llamamos un indicador de “aporte” o de “producto”. Dependiendo de la etapa del proceso puede considerarse un indicador “intermedio”. Por ejemplo, se pueden necesitar realizar varias actividades para elevar el nivel de alfabetización: más escuelas y maestros, más alumnos atendiendo clases, etc. Una medida del monto de inversión en aulas y personal docente sería un indicador de aporte, mientras que la medida de aulas construidas y personal docente capacitado serían indicadores de “producto”. Lo que es importante es que los aportes y los productos no son objetivos en sí; más bien ayudan a alcanzar los objetivos escogidos. Los datos sobre indicadores intermedios pueden generalmente ser recopilados mediante sistemas de información para la administración (management information system o MIS) diseñados para administrar proyectos y programas, mientras que los datos sobre resultados e impactos normalmente deben ser recopilados a partir de los beneficiarios, requiriendo de encuestas con personas o familias. Ambos indicadores, los finales (resultado e impacto) y los intermedios (proceso y producto) son importantes. El examen de indicadores finales ayuda a juzgar el progreso hecho hacia las metas fijadas. Sin embargo, estos indicadores cambian generalmente más lentamente con el tiempo y son los resultados de muchos factores, algunos fuera de control de los responsables de la política y de los administradores de programa. Por otra parte, el examen de los indicadores intermedios da una imagen más correcta de lo que está ocurriendo. Los indicadores intermedios que son los más útiles para seguir la marcha del progreso hacia un impacto o un resultado varían según las zonas o grupos al pasar el tiempo. Por ejemplo, si todas las escuelas tuvieran más o menos el mismo coeficiente de maestro por alumno, el coeficiente de maestro por alumno no sería un indicador intermedio muy útil para examinar las diferencias en la calidad de educación en diferentes regiones, aunque podría todavía servir para observar cambios al pasar el tiempo. Los indicadores finales e intermedios podrían ser completados con otros indicadores escogidos para medir el rendimiento general del país y describir el contexto en el cual la estrategia de reducción de pobreza se está llevando a cabo. Por ejemplo, los indicadores que miden los factores externos que podrían afectar los indicadores de resultados como la lluvia o la súbita propagación de una epidemia se podrían incluir en el sistema de control.

Desglose de indicadores

El desglose de indicadores es tan importante como la selección de los indicadores mismos. Se puede desglosar los indicadores en varias dimensiones, incluyendo la ubicación, el sexo, el nivel 87

de ingresos y el grupo social (etnicidad, religión, tribu, casta). Los indicadores colectivos a nivel de país son útiles para algunos propósitos y dan una imagen de conjunto. Sin embargo, los indicadores colectivos tienden a ocultar diferencias significativas en las diferentes zonas, sexo o grupos sociales. Sin obtener una imagen más desglosada de esas diferencias, es difícil concebir buenas políticas y programas para mejorar las consecuencias de la pobreza. El tipo y nivel apropiados de desglose dependen de las condiciones de un país y del indicador mismo. Un tipo básico de desglose es por zonas geográficas, incluyendo las unidades administrativas urbanas y rurales y las zonas geoclimáticas. La división entre zona urbana y rural es común y esencial, pero no siempre suficiente. Las ciudades más pequeñas tienden a veces a ser más similares a zonas rurales que grandes ciudades por ejemplo, en cuanto a la importancia de la agricultura como fuente de sustento. Podría ser útil desglosar aún más las zonas urbanas por dimensión de la aglomeración para distinguir las ciudades muy grandes de las demás. De la misma manera, la ciudad capital tiende a menudo a tener diferentes características: ingresos medios más altos, mayor disponibilidad de servicios, una mayor cantidad de empleos en servicios, etc. Por lo tanto, podría ser útil establecer unos indicadores separados para la capital. La mayoría de los países son divididos en unidades administrativas más pequeñas como estados, regiones, provincias, distritos, municipalidades y pueblos, etc. categorías que pueden ser usadas para el desglose. Un tercer tipo de desglose es por zonas geoclimáticas. La mayoría de los países tienen numerosas zonas geográficas caracterizadas por suelos, lluvia y topografía diferentes y por consiguiente difieren las prácticas agrícolas, la configuración de los asentamientos, la facilidad de acceso, etc. Otro tipo de desglose es por sexo. Los indicadores de sexo apropiados miden factores que varían según los sexos y toman en cuenta el impacto de las diferencias biológicas. Por ejemplo, la esperanza de vida tiende a ser más alta para las mujeres, por eso una esperanza de vida más corta para mujeres que para hombres es generalmente una indicación que las mujeres pudieran tener altos riesgos para su salud durante el parto. El desglose por nivel de ingresos o de consumo es una manera común de ver como los indicadores varían entre la población. Es generalmente preferible a un desglose sencillo de pobre – no pobre porque capta la realidad de que muchas características de familias y de personas varían a lo largo de una línea continua. Existen a menudo unas diferencias significantes entre los que se clasifican como pobres, y los que se encuentran justo por debajo de la línea de pobreza tienen generalmente unas características muy similares a los que están justo por encima. Por lo tanto, es preferible dividir la población en grupos del mismo tamaño en vez de simplemente en pobres y no pobres. Algunas agrupaciones comúnmente utilizadas basadas en el nivel de ingresos y de consumo son:

Nombre

Número de grupos

Porcentaje de la población

Deciles

10

10 por ciento

Quintiles

5

20 por ciento

Cuartiles

4

25 por ciento

n° percentil

N

100/n por ciento

En la mayoría de los países hay diferencias significativas entre los grupos socialmente definidos, bien sea por el lado étnico, tribal, religioso u otro. La definición de los grupos pertinentes puede variar naturalmente según los países.

Determinación de datos

88

Los datos provenientes diversas fuentes son generalmente utilizados para examinar los resultados. La tabla Nº 21 proporciona una lista de diferentes tipos de datos utilizados para examinar resultados, sus fuentes y los organismos responsables de su recopilación. Cuadro 7.2 Recopilación de datos Datos

Fuente

Organismos

Nacional Cuentas nacionales: producto nacional bruto, consumo, inversión, exportaciones, importaciones, etc. Finanzas públicas: ingresos, gastos por categoría

Sistema de cuentas nacionales, estadísticas comerciales

Organismo central de estadísticas

Precios al consumidor y al productor

Presupuesto y datos efectivos Ministerio de finanzas, organismo central de estadísticas, ministerios sectoriales Encuestas sobre precios y Organismo central de salarios estadística, banco central

Indicadores sociales

Sistemas administrativos

Sistema de información administrativa de los ministerios sectoriales

Clima: temperatura, lluvia, etc.

Medición directa.

Organismo nacional de Meteorología

Local Disponibilidad de servicios

Encuestas en las comunidades, encuestas de hogares sobre múltiples temas; estudios cualitativos

Administración local, ministerios sectoriales

Individual y familiar Uso de servicios

Encuestas de observación

Proveedores de servicios locales

Consumo e ingresos familiares; condiciones de vida, indicadores sociales

Presupuesto/gastos/ingresos de familias, encuestas de hogares sobre múltiples termas Encuestas sobre prioridades, encuestas sobre indicadores de bienestar básico

Organismo central de estadísticas, ministerio del trabajo /del empleo

Estudios cualitativos; encuestas de usuarios

Organismo central de estadísticas, ministerio sectoriales, otros

Nivel de vida de hogares (consumo e ingresos sin detalles) Prioridades familiares, percepción de bienestar, satisfacción del usuario

Organismo central de estadísticas, ministerio del trabajo /del empleo, otros

Se debe notar que los datos de esas fuentes son complementarios y no substitutos entre sí. El hecho de tener muy buenos datos al nivel familiar sobre consumo e ingresos no será suficiente para proyectar tendencias en los resultados sobre determinados objetivos.

Frecuencia de seguimiento

89

La decisión sobre la frecuencia de seguimiento, dependen de una cuidadosa evaluación de las ventajas relativas entre la necesidad de obtener datos recientes y el costo de su recopilación. La Tabla N° 22 indica la frecuencia deseable de la recopilación de datos de diferentes tipos usados para el control de resultados. Cuadro 7.3 Frecuencia de recopilación de datos Datos

Frecuencia Nacional

Cuentas nacionales: Producto nacional neto, consumo, inversión, exportaciones, importaciones, etc.

Mensual o trimestral cuando es posible (estadísticas comerciales, por ejemplo); por lo menos anualmente

Finanzas públicas: ingresos, gastos por categoría

Mensual o trimestral cuando es posible (estadísticas comerciales, por ejemplo); por lo menos anualmente

Precios al consumidor y al productor; salarios

Mensual; cesta de índice de precios al consumidor actualizada por lo menos cada cinco años

Indicadores sociales

Anualmente cuando sea posible

Datos climáticos: temperatura, lluvia, etc.

Diariamente

Local Disponibilidad de servicios

Anualmente

Uso de servicios

Anualmente

Individual y familiar

6.4

Consumo e ingresos, condiciones de vida, indicadores sociales de la familia

Cada dos años a cinco

Nivel de vida familiar (consumo o ingresos sin detalles); indicadores sociales

Anualmente

Prioridades familiares, percepciones de bienestar, satisfacción del usuario

Cada uno o tres años

Criterios de evaluación

Con la finalidad de determinar si el diseño y la gerencia del proyecto fueron adecuados se pone énfasis en cinco aspectos importantes: a. Pertinencia. Grado en el cual el objetivo del proyecto es consistente con las prioridades de desarrollo de la población objetivo y las políticas de la entidad ejecutora y el organismo donante o financiador. b. Eficacia. Grado en el cual se logran los objetivos específicos y el propósito del proyecto.

90

c. Eficiencia. Análisis de los resultados con relación al costo. Es un análisis de cómo los insumos se transforman en productos mediante la realización de determinadas actividades. d. Impacto. Valoración socioeconómica global, incluyendo los efectos positivos y negativos, tanto aquellos que son deseados y estaban previstos, como los no previstos y no deseados. e. Sostenibilidad. Apreciación de la capacidad para mantener los impactos positivos del proyecto durante un largo período. Estos aspectos de la evaluación están estrechamente relacionados al enfoque del marco lógico. Así, la pertinencia alude a la relación del propósito con las prioridades de desarrollo; la eficacia a la relación entre los productos y el propósito; la eficiencia es una comparación de los insumos con los productos; el impacto establece relaciones entre las variables controlables por el proyecto y el fin; y, por último, la sostenibilidad analiza la interacción entre el fin y los supuestos al mismo nivel. Cabe reiterar que en la evaluación ex-post se suele convenir que el concepto de resultado abarca tres niveles de la columna de objetivos del marco lógico: los productos (o componentes), los efectos (o propósito) y los impactos (o fin). En ocasiones se suele diferenciar a la evaluación de resultados del análisis de impactos, con la intención de estimar cualitativamente y cuantitativamente la incidencia del proyecto sobre determinados aspectos o áreas del desarrollo. A este análisis se denomina evaluación de impacto.

Pertinencia La pertinencia debe ser considerada desde las primeras etapas de planificación y a lo largo de todo el ciclo del proyecto. La pertinencia se preocupa de la razón de ser de un proyecto en relación con las prioridades de la comunidad beneficiaria y la sociedad en su conjunto. Por una parte, esto se refiere a la dirección del proyecto en relación con su objetivo principal o propósito. Por otra, significa observar los cambios sociales que pueden haber tenido lugar mientras el proyecto ha sido ejecutado, precisando hasta qué punto pueden alterar la razón de ser del mismo. Un cambio en las condiciones externas puede significar que se conceda menos prioridad al proyecto o que éste pierda parte de su razón de ser. Por ejemplo, una vez solucionado un conflicto político, puede ser que ya no sea necesario un campo de refugiados. En otras palabras, la pertinencia es básicamente una cuestión de prioridades, que conduce a decisiones del más alto nivel acerca de si se debe finalizar el proyecto o permitir que este continúe. En caso de optar por su continuidad: ¿Qué cambios deben realizarse y en qué dirección?, ¿Son todavía validos los objetivos acordados y tienen suficiente razón de ser para continuar con el proyecto?   

En el nivel superior, se refiere a la relación entre el proyecto y la política de desarrollo del país receptor, y a la relación del proyecto con las prioridades del organismo donante. En un nivel inmediatamente inferior, se refiere a la relación con otros proyectos e iniciativas de desarrollo pertenecientes a un programa o sector. En el siguiente nivel, determinando en qué medida el proyecto ha alcanzado a los beneficiarios, y si está orientado hacia áreas que las partes implicadas consideran de alta prioridad.

Eficacia La eficacia se define como el grado en que se alcanzan los objetivos y metas del proyecto en un período determinado, independientemente de los costos que ello implique. Si bien la referencia básica para la evaluación de eficacia es el conjunto de objetivos (y sus correspondientes indicadores) planteados en el marco lógico del proyecto, esto por sí solo no necesariamente refleja un buen desempeño, puesto que tanto los niveles programados como los alcanzados pueden estar alejados de estándares adecuados. Por esta razón, una evaluación en profundidad del nivel de eficacia alcanzado debe realizarse tomando en cuenta determinados estándares para

91

cada objetivo/indicador establecido en forma independiente, hacia los cuales deberían apuntar las metas del proyecto. Por lo general, un proyecto de desarrollo es sólo uno de los varios factores que contribuyen al logro de los objetivos globales. El equipo responsable de la evaluación deberá por tanto prestar atención a las causas que están detrás de la eficacia o de la ausencia de la misma, especialmente al grado en el que se han alcanzado los resultados esperados; y si éstos son suficientes o es necesario realizar cambios en el diseño del proyecto para asegurar la eficacia en el marco temporal establecido. Igualmente importante es realizar un minucioso análisis de los factores externos -los supuestos- que ejercen también una influencia sobre las posibilidades de éxito del proyecto. En general, el concepto de eficacia relaciona dos variables fundamentales: metas y tiempo. El logro de las metas en el tiempo previsto.

Eficacia

=

Re sultados obtenidos Metas previstas

Eficiencia La eficiencia del proceso de ejecución de un proyecto consiste en la obtención del máximo producto con el mínimo de recursos. La eficiencia, o su expresión cuantitativa, la productividad, está contenida en la “L” del extremo inferior izquierdo del marco lógico, constituida por los casilleros productos-actividades-insumos. En el contexto del manejo de proyectos, la eficiencia consiste en organizar las actividades de modo que se obtengan los productos previstos con los recursos asignados. La dificultad principal para evaluar la eficiencia radica en determinar un valor de referencia. Este depende del tipo de proyecto, de las circunstancias locales, de la tecnología disponible y de otros factores. En algunos casos existen estándares o valores de referencia predeterminados que actúan como líneas de corte para determinar en qué casos una ejecución es eficiente o ineficiente. Estas líneas de corte pueden establecerse sobre la base de la experiencia adquirida en proyectos comparables ejecutados en otros lugares, o pueden estar dados por instituciones independientes. El concepto de eficiencia puede operativizarse desde dos perspectivas:  Si la cantidad de producto está predeterminada, se persigue minimizar el costo total y medio.  Si el gasto total está fijado de antemano, se busca optimizar la combinación de insumos para maximizar el producto. La productividad es una medida de la eficiencia con la cual se miden los insumos utilizados para generar productos. Por ello, productividad y eficiencia, se asumen como conceptos semejantes. La eficiencia, intuitivamente puede representarse mediante la fórmula:

92

Eficiencia

=

Metas obtenidas Re cursos utilizados

La medición de eficiencia es una relación entre dos variables: una de producto y otra de insumo. Esto rige para cualquier tipo de indicador de eficiencia: parcial o total y media o marginal. Y como relación que es, atendiendo a su naturaleza estrictamente matemática, la eficiencia puede expresarse en forma de razón geométrica o aritmética, o en otras formas menos usuales. Cuando se expresa en términos de relación geométrica lo que obtenemos es un coeficiente de productividad, (Q/F), donde el antecedente o numerador es la variable de producto y el consecuente o denominador es la variable representativa de insumo. Cuando, por el contrario, la expresión se hace en términos de razón aritmética, lo que obtenemos es una ganancia de productividad (Q - F), donde el antecedente es el minuendo o la variable de producto y el consecuente o sustraendo es la variable de insumo. Usualmente, la expresión geométrica se aplica en las mediciones de productividad media (promedio), ya sea de cobertura parcial o total. En cambio, la expresión aritmética se utiliza mayormente para las mediciones de productividad marginal, ya sea en su vertiente parcial o en el total. Es usual, asimismo, armar series de números a partir de los coeficientes de productividad media; aunque, claro, los números índices pueden ser construidos a partir de cualquier otro tipo de datos. En ciertos estudios del Banco Mundial se hace una interesante distinción entre dos dimensiones de la productividad, la estática y la dinámica. En un contexto estático, los mejoramientos de productividad se producen sin modificaciones de la base tecnológica y, por lo tanto, se deben a cosas como la racionalización de procedimientos, el mayor esfuerzo laboral y la aplicación de nuevos métodos administrativos, entre otros. Bajo un punto de vista dinámico, el cambio tecnológico juega un rol protagónico en la generación de mejoramientos dramáticos de la productividad total, al igual que la acumulación de capital, la cual influye particularmente sobre la productividad del factor trabajo.

Impacto El concepto de impacto es más amplio que los de eficacia y eficiencia, ya que incluye no sólo las consecuencias positivas, vale decir los objetivos o productos deseados por el proyecto, sino también las consecuencias negativas, hayan sido o no previstas durante el diseño del proyecto. Además, una evaluación de impacto tiene la ventaja que permite estimar la magnitud de los efectos logrados y determinar la causalidad de los mismos, de modo que se pueda precisar la contribución exacta del proyecto al logro de determinados objetivos de desarrollo. Al momento de analizar los impactos, el punto de partida debe ser el propósito y fin del proyecto, así como el grado de eficacia alcanzado. Acto seguido se debe formular la siguiente pregunta: ¿Qué otros efectos, positivos o negativos, esperados o imprevistos, han tenido lugar como resultado del proyecto? Puede tratarse de efectos económicos, sociales, políticos, técnicos o ambientales, tanto en el nivel local, como regional y nacional. El impacto total del proyecto es el resultado de condiciones causales complejas cuyo análisis puede resultar difícil. Así:   

Puede ser especialmente problemático probar que los cambios observables pueden adscribirse a determinado proyecto. A fin de comprender las conexiones causales, el evaluador puede necesitar tanto métodos cuantitativos como métodos cualitativos y participativos. Pueden apreciarse impactos diferentes en distintos momentos, por lo que el trabajo de evaluación debe prestar atención a los impactos de un proyecto tanto en el corto como en el largo plazo. 93

El tiempo que debe transcurrir para que se puedan apreciar los impactos variará según el tipo de proyecto. Un proyecto agrícola, por ejemplo, puede dar lugar a impactos considerables sólo después de unos meses, mientras que un proyecto educativo producirá generalmente sus mayores efectos varios años después de que hayan finalizado el proyecto. Por tal razón, si bien se considera que una evaluación de impacto debe realizarse algunos años después de culminada la ejecución del proyecto, en ciertos casos es posible realizar un análisis de impacto en las momentos previos o en los inmediatamente posteriores al término de la intervención, en la medida en que se evidencien cambios importantes en la población objetivo vinculados al propósito y fin del proyecto. Cuadro 7.4 Impactos socioeconómicos y ambientales: ejemplos DESARROLLO ECONÓMICO   

Productividad incrementada.  Cobertura de crédito aumentada. Circuitos productivos articulados.

MEJORAMIENTO DE CONDICIONES DE VIDA   

Pobreza extrema reducida.  Desnutrición infantil reducida.  Promotores de salud capacitados. 

FORTALECIMIENTO INSTITUCIONAL Organizaciones sociales fortalecidas. Capacidad de gestión mejorada. Espacios de concertación fortalecidos.

DESARROLLO AMBIENTAL Suelos ampliados y/o recuperados. Recursos genéticos mejorados. Capacitación en manejo ambiental brindada.

Sostenibilidad El análisis de sostenibilidad de un proyecto consiste en determinar si, más allá del logro de sus objetivos, es posible que los impactos positivos continúen después que la ayuda o el financiamiento externo haya finalizado. El concepto de sostenibilidad en general alude a la capacidad de un proyecto para generar beneficios por un periodo mayor al del apoyo externo o al período de vigencia del proyecto. A diferencia del análisis de eficacia, eficiencia, pertinencia e impacto, el análisis de sostenibilidad del proyecto es más bien una cuestión del proceso de desarrollo en sí mismo, en una perspectiva de largo plazo. La sostenibilidad es, en cierto modo, la prueba definitiva del éxito del proyecto. Muchos proyectos encuentran dificultades una vez terminada la fase de ejecución, debido a que los beneficiarios o los responsables del mismo no son disciplinados o carecen de la motivación suficiente para proporcionar los recursos necesarios para que las actividades continúen. Por lo general, la sostenibilidad de un proyecto es afectada por tres amplio grupos de factores:   

La calidad del diseño y de la ejecución del proyecto. La naturaleza de los factores externos que operan en el ámbito relevante para el proyecto. La respuesta de los beneficiarios ante los productos entregados por el proyecto.

Como señala la Agencia Noruega de Desarrollo (NORAD), la sostenibilidad está progresivamente convirtiéndose en un tema central en el trabajo de evaluación, dado que

94

muchas agencias de desarrollo están concediendo mayor importancia a las perspectivas de largo plazo y a las mejoras duraderas. La viabilidad de cualquier proyecto dependerá en gran medida de si el impacto positivo justifica las inversiones necesarias y si la comunidad local valora el proyecto lo suficientemente como para dedicar sus escasos recursos a continuarlo. En otras palabras, la sostenibilidad se preocupa de lo que ocurre cuando el proyecto ha finalizado. Por lo tanto, será difícil proporcionar cualquier análisis seguro de la sostenibilidad mientras el proyecto esté en marcha o inmediatamente después de su conclusión. En esos casos, el análisis tendrá que basarse en suposiciones acerca de desarrollos futuros, partiendo del conocimiento disponible sobre el proyecto y la comunidad local.

95

Formato 5. INFORME DE EVALUACIÓN FINAL 1.

INTRODUCCIÓN

1.1 Descripción del proyecto  Datos generales  Marco Lógico 1.2 Metodología de evaluación  Diseño/ enfoque general  Instrumentos y fuentes de datos  Organización de la evaluación Período: 2

ANALISIS DE EFICACIA

2.1 Evaluación de los componentes 2.2 Evaluación del logro del propósito 2.3 Contribución al logro del fin 2.4 Efectos no previstos 2.5 Conclusiones y recomendaciones sobre eficacia 3

ANÁLISIS DE EFICIENCIA

3.1 Costo total del proyecto 3.2 Costo por principales productos/ componentes 3.3 Análisis costo- efectividad 3.4 Análisis costo- beneficio 3.5 Conclusiones y recomendaciones sobre eficiencia. 4

EVALUACIÓN DE IMPACTO

4.1 Metodología de evaluación 4.2 Impacto social 4.3 Impacto económico 4.4 Impacto ambiental 4.5 Conclusiones y recomendaciones sobre impacto 5

SOSTENIBILIDAD DEL PROYECTO

5.1 Sostenibilidad institucional 5.2 Sostenibilidad financiera 5.3 Sostenibilidad social 5.4 Sostenibilidad ambiental 5.5 Conclusiones y recomendaciones sobre sostenibilidad 6

ANÁLISIS DE PERTINENCIA

6.1 Cambios en el entorno 6.2 Prioridades de la población beneficiaria 6.3 Conclusiones y recomendaciones sobre la posible continuidad del proyecto.

96

7

CONCLUSIONES Y RECOMENDACIONES GENERALES

97

Capítulo 7. Evaluación de Impacto En el presente capítulo se ofrece una definición de evaluación de impacto y se describen los diferentes tipos de diseño que puede adoptar. En términos generales, la evaluación de impacto tiene como finalidad estimar los cambios en el bienestar de la población atribuibles directamente a la intervención, separándolos de aquellos que podrían tener su origen en factores exógenos. En este capítulo se describen los cinco pasos indispensables de un plan de evaluación de impacto. Esta, al igual que cualquier otra forma de evaluación, se puede realizar antes (evaluación ex - ante) o después (evaluación ex – post) de la ejecución del proyecto.

7.1

Definición de evaluación de impacto

En esencia, la evaluación de impacto es un método para evaluar la contribución de un proyecto al bienestar de la población. El objetivo de la evaluación de impacto es, en consecuencia, determinar cuál es la mejora alcanzada por los individuos participantes o beneficiarios en términos de ciertas variables clave, tales como ingreso, empleo, equidad y acceso a servicios básicos, entre otros. Básicamente, se busca responder a la pregunta: ¿qué ganan los participantes de un proyecto en comparación a no haber participado en el mismo? Nótese que está pregunta es distinta a la pregunta: ¿cuál es la situación de un individuo después del proyecto en comparación a su situación antes del mismo? Ello es así, porque entre los beneficiarios de un proyecto pueden existir cambios en ciertas variables relevantes, debido a factores no necesariamente atribuibles al contenido de la intervención.25 De manera ideal, el cambio en las variables atribuibles al proyecto se podría determinar de manera exacta si fuera posible observar a un individuo después de haber participado en el proyecto y al mismo individuo en el estado contrafactual, es decir, sin haber participado en él. Conceptualmente, estos dos estados posibles para un individuo se reflejan en un primer grupo llamado Grupo Beneficiario y un segundo llamado Grupo de Control, donde el primero está integrado por individuos que tienen una participación directa en el proyecto, a diferencia del segundo grupo, que está conformado por individuos que por alguna razón no participan del proyecto. Lo crucial es lograr que el grupo de control y el de beneficiarios sean los más similares posibles. Para construir un escenario contrafactual que simule la situación de los beneficiarios en el escenario de no participación en el proyecto, se pueden utilizar tres tipos de diseños de evaluación: experimentales, cuasi-experimentales y no experimentales. La diferencia entre los dos primeros diseños radica en la forma como se asignan los participantes a los grupos de tratamiento y control. Así: En el diseño experimental los participantes son asignados aleatoriamente antes del inicio del proyecto. Ello permite conformar grupos que sean en promedio similares en todas sus características excepto por su participación en el proyecto. En los diseños cuasi-experimentales la asignación es no aleatoria, de modo que el grupo de control puede conformarse una vez que el proyecto ha empezado. En estos diseños el método de 25

Esta sección está basada principalmente en los trabajos del ILPES sobre evaluación de impacto. Sin embargo, pueden encontrarse magníficos trabajos en el Banco Mundial, especialmente los de Judy Baker y en la OIT, sobre todo el trabajo de Abdala. En el Perú, los trabajos de GRADE, especialmente el de evaluación de impacto del programa PROJOVEN constituye una excelente aplicación del método. 98

asignación dificulta la conformación de grupos similares, lo que hace necesario el uso de técnicas estadísticas y econométricas para corregir el sesgo de selección generado. Los métodos no experimentales conforman intencionalmente el grupo de control con personas que quisieron participar en el proyecto pero que llegaron tarde o al último a la inscripción y por tanto no pudieron hacerlo; o bien con individuos que siendo elegibles para el proyecto por cualquier otro motivo no pudieron participar del mismo. Así mismo, la evaluación de impacto, al igual que cualquier otra evaluación, puede realizarse antes (ex- ante) o después (ex-post) de la ejecución del proyecto. En términos generales, es conveniente realizar evaluaciones de impacto ex-ante cuando se quiere escoger el proyecto o la combinación de los mismos que pueda contribuir de forma más efectiva a la reducción de la pobreza; y evaluaciones ex-post cuando la evaluación de impacto puede retroalimentar la efectividad del proyecto en cuestión.

Cuantificación del impacto Existen tres estimadores ampliamente usados para evaluación de impacto de un proyecto ó intervención: el estimador “antes y después”, el estimador de “diferencia en diferencias” y el estimador de “corte transversal”. Estimador: Antes y Después. En términos del Gráfico Nº 32, el estimador “antes y después” resulta de comparar la situación de los beneficiarios del proyecto antes del proyecto (E) con su situación después de haber pasado por el proyecto (A). En este caso se usa como grupo de control a los mismos beneficiarios en su situación anterior al proyecto, siendo el estimador de impacto el equivalente a (A-E). El supuesto detrás de la utilización correcta de este estimador es que (E) logra aproximar bien la situación de los beneficiarios en caso no hubieran participado en el proyecto (B), lo cual requeriría que no hubieran habido cambios en la situación económica en general durante ese lapso. El problema de este método radica en que típicamente, la simple comparación antes y después puede llevara a atribuir erróneamente al proyecto cambios que se hubieran dado en ese grupo de beneficiarios independientemente de su participación en el proyecto. Estimador: Diferencia en Diferencias. El estimador de diferencia en diferencias resulta de comparar las situaciones antes-después de los beneficiarios con aquella de los controles. Así, el impacto del proyecto se estima mediante la siguiente fórmula (A-E) – (D-F). El supuesto detrás de este estimador es que el cambio en la situación de los controles (D-F) entre el momento previo al proyecto y el momento posterior al proyecto es una buena aproximación del cambio que hubiesen experimentado los beneficiarios durante ese mismo período de no haber pasado por el proyecto (B-E). Estimador: Corte Transversal. El estimador de corte transversal sólo toma en cuenta la situación de beneficiarios y controles después del proyecto. Directamente el impacto se estima a través de A-D. Aquí, el supuesto es que D es una buena representación de B. Esta metodología se utiliza en los casos en los que no hay información acerca del proyecto al inicio del mismo, (línea de base), y sólo se puede recoger información luego del proyecto. Nótese que si las situaciones de los beneficiarios y controles son similares en el período anterior al proyecto, el estimador de diferencia en diferencias es equivalente al estimador de corte transversal.

Gráfico 8.2 Estados posibles para beneficiarios y controles

99

Antes del proyecto

Beneficiarios

E: Situación antes del proyecto

Después del proyecto A: Estado de tratamiento B: Estado de no tratamiento

Controles

F: Situación antes del proyecto

C: Estado de tratamiento D: Estado de no tratamiento

Situaciones observables

7.2

Situaciones no observables

Diseños experimentales26

El diseño experimental es considerado como el enfoque metodológico más robusto para la construcción del escenario contrafactual en evaluación de impacto. La aplicación de esta metodología requiere que la selección de beneficiarios y no beneficiarios del proyecto se realice aleatoriamente, lo cual garantiza que los grupos sean comparables. Los grupos de tratamiento se diferencian en los componentes o combinación de componentes que reciben del proyecto. En general, en una evaluación de impacto se pueden conformar múltiples grupos de tratamiento, los cuales son comparados con el grupo de control que no recibe ninguno de los componentes del proyecto. Todos los diseños experimentales deben realizar una medición de la variable de impacto tanto del grupo de tratamiento como del grupo de control en la situación con proyecto, es decir, una vez los beneficiarios (grupo de tratamiento) han recibido los beneficios del proyecto. Además, frecuentemente los diseños experimentales también realizan una medición de la variable de impacto en la situación sin proyecto, una vez realizada la aleatorización, pero antes de iniciar la operación del proyecto. Esta medición ex-ante se denomina línea de base de la evaluación y permite robustecer las conclusiones de la evaluación al verificar si la aleatorización fue exitosa, generando además información complementaria acerca de la magnitud y distribución del problema a solucionar. Otra alternativa es realizar repetidas mediciones de la variable de impacto en la situación con proyecto en diferentes momentos para determinar exactamente cuando el proyecto genera los efectos en los beneficiarios, su evolución, y sostenibilidad. Finalmente, aunque la confiabilidad y validez de las estimaciones realizadas a partir del diseño experimental es alta, existen serias restricciones que dificultan la aplicación de este diseño en la evaluación de impacto de proyectos sociales. Uno de los problemas más discutidos es sí este tipo de diseño sería moralmente aceptable. Por ejemplo, restringir la participación de personas que cumplen con todas las condiciones de acceso a un programa social podría poner en peligro la salud de esas personas o incluso su vida podría convertirse en un problema de carácter moral. En el siguiente recuadro se describen otros inconvenientes y restricciones de los diseños experimentales 26

La mayor parte del presente sección y las siguientes han sido tomadas de las publicaciones del ILPES, especialmente de las siguientes: Manual para la Evaluación de Impacto de Proyectos y Programas de Lucha contra la Pobreza (Hugo Navarro, 2005) y Pauta Metodológica de Evaluación de Impacto Ex ante y Ex post de Programas Sociales de Lucha contra la Pobreza (Hugo Navarro y otros, 2006). 100

Limitaciones del diseño experimental 1. Puede ser políticamente difícil proporcionar una intervención a un grupo y no a otro. 2. Durante el experimento, los individuos en los grupos de tratamiento o control podrían cambiar determinadas características que los identifican, lo que invalidaría o contaminaría los resultados. Si, por ejemplo, las personas entran y salen de un área del proyecto, podrían también entrar y salir del grupo de control o de tratamiento. De manera alternativa, las personas a las que se les negó el beneficio de un programa, podrían buscarlo a través de otras fuentes; o bien, aquellos a los que se les ofrece un programa podrían no estar interesados en la intervención. 3. Quizás sea difícil asegurar que la asignación se haga realmente al azar. Por ejemplo, cuando los encargados del proyecto o programa excluyen a los postulantes de alto riesgo para lograr mejores resultados. 4. Su aplicación puede ser costosa y tomar bastante tiempo, particularmente en la recopilación de información. Fuente: Baker (2000).

7.3

Diseños cuasi-experimentales

La segunda alternativa para construir el escenario contrafactual son los diseños cuasiexperimentales donde no es aleatoria la selección de los grupos de beneficiarios y no beneficiarios. Al proyecto puede ingresar cualquier individuo interesado en participar, que cumpla con los criterios de elegibilidad y focalización del proyecto, y al cual el proyecto este en capacidad de atender. En el diseño cuasi-experimental una de las alternativas para seleccionar el grupo de comparación es el método de pareo. El objetivo de este método es encontrar o identificar un grupo de individuos que no participaron en el proyecto pero cumplen con los criterios de selección del proyecto y son similares a las personas que conforman el grupo de tratamiento en aquellas características observables que podrían incidir en la variable de impacto del proyecto y en la decisión de los individuos de participar o no en el proyecto. El pareo se puede realizar por individuo o por grupo. Cuando se utiliza el pareo por individuo se busca que para cada beneficiario del grupo de tratamiento sea comparable con un no beneficiario en el grupo de comparación. Por su parte, el pareo por grupo es menos exigente, requiere que el grupo de tratamiento y comparación sean en promedio iguales. Según Freeman, Rossi, y Wright (1980), el pareo por individuos es más preciso y arroja resultados más confiables que el pareo por grupo. Sin embargo, aunque el pareo por individuo es estadísticamente más deseable que el pareo por grupos, en general las evaluaciones de impacto utilizan más el método agregado. Debido en parte a la disponibilidad de información, es difícil encontrar siempre un individuo de comparación para cada beneficiario que se encuentra en el grupo de tratamiento. Esto conlleva a que un número significativo de observaciones en el grupo de tratamiento no puedan ser utilizadas en las evaluaciones, disminuyendo la representatividad de la muestra. Adicionalmente, el pareo por individuo es más costoso en términos de dinero y tiempo. El método de pareo es un procedimiento relativamente sencillo de aplicar cuando sólo unas pocas características de los individuos afectan la variable de impacto y la decisión de participar en el proyecto. Sin embargo, en general los problemas que buscan resolver los proyectos sociales están determinados por más de dos variables, lo cual dificulta la aplicación del método de pareo. Cabe señalar que cuando el pareo no incluye todas las variables que determinan la variable de impacto y la participación en el proyecto podría existir sesgo en la estimación del impacto. Esto debido a que los grupos (tratamiento y control) no serían estadísticamente comparables. 101

Para facilitar la aplicación del método de pareo se han desarrollado modelos econométricos que permiten controlar los efectos de n variables observables e identificar aquellos individuos que son similares a las personas que conforman el grupo de tratamiento. Estos modelos estiman la probabilidad de los individuos de participar en el proyecto a través de modelos probit o logit, utilizando como variables independientes una serie de características socioeconómicas de los individuos relevantes al problema que se evalúa. Los individuos que no son beneficiarios del proyecto y que su probabilidad de haber participado en el proyecto es similar a la de los beneficiarios conforman el grupo de comparación. Uno de los métodos más utilizados con este propósito es el Propensity Score Mactching Method27. La utilización del método de pareo ofrece al menos dos ventajas En primer lugar, los grupos de tratamiento y comparación no tienen necesariamente que conformarse antes de iniciar la operación del proyecto. Utilizando estimaciones de la probabilidad de participación en el proyecto, estos grupos se pueden conformar a partir de información sobre la situación con proyecto de los individuos que participaron y no participaron en el proyecto. La segunda ventaja, es que el método de pareo no exige que se prohíba el ingreso al proyecto a individuos que hacen parte de la población objetivo de la intervención. Los individuos que conforman el grupo de pareo generalmente son personas que por restricciones de cobertura o tecnológicas no hubieran podido tener acceso al proyecto bajo ninguna circunstancia. Por ejemplo, usualmente se seleccionan áreas geográficas en donde el proyecto no se ejecutó o ejecutará. Por su parte, la principal debilidad del método de pareo para cuantificar el impacto de un proyecto social es la existencia de diferencias no observables entre los grupos de tratamiento y control, que generan un “sesgo de selección”. Este sesgo se genera por el hecho que el ingreso al proyecto es una decisión del beneficiario y no de un proceso aleatorio. Esto implica, que las personas que deciden ingresar al proyecto podrían tener características no observables por el evaluador que influyen en su decisión de participar y a su vez determinan la variable de impacto del proyecto. Un ejemplo clásico, es la motivación. Generalmente, las personas que deciden ingresar al proyecto tienen una mayor motivación de mejorar sus condiciones socioeconómicas y, por lo tanto, aún si no hubieran participado en el proyecto, las condiciones de vida de estos beneficiarios hubieran mejorado debido a que su motivación les hubiera permitido encontrar otras alternativas de solución. Si al proyecto ingresan todas las personas “con motivación”, implica que en el grupo de comparación sólo hay personas “sin motivación”. Esta diferencia haría que los dos grupos no sean equivalentes y, por lo tanto, se sobre estime el impacto del proyecto. Finalmente, otra alternativa usada por el diseño cuasi-experimental para seleccionar el grupo de comparación es comparar la situación de los beneficiarios antes y después de la intervención. Como ya se mencionó este es el método de comparaciones reflexivas. La línea base conforma el escenario contrafactual contra la cual se contrasta la situación de los beneficiarios después de haberse ejecutado el proyecto. El supuesto general de este método es que las condiciones de vida de los beneficiarios no cambiarían en la ausencia del proyecto lo cual es difícil de suponer en muchos proyectos sociales. Este diseño es principalmente utilizado en el caso de proyectos de cobertura total en los que no es posible construir un grupo de control o comparación. Por ejemplo, en un proyecto nacional de alfabetización que tiene la infraestructura para beneficiar a todas las personas analfabetas del país, no es posible encontrar una muestra representativa de personas analfabetas que no estén siendo capacitadas por el proyecto. En este caso, se evaluaría el impacto del proyecto comparando la tasa promedio de analfabetismo del grupo de beneficiarios antes y después del proyecto, controlando los factores externos que pudieran haber incidido en el resultado. 27

Para una explicación más detallada ver Ravallion (1999)

102

7.4

Diseños no experimentales

A diferencia de los diseños experimentales y cuasi-experimentales, el diseño no experimental no construye un grupo de control o comparación para contrastar los cambios en el grupo de tratamiento. En estos diseños el grupo de beneficiarios se compara con un grupo conformado por no participantes que pueden cumplir o no los criterios de selección del proyecto. Es decir, no necesariamente son beneficiarios potenciales del proyecto o parte de la población objetivo de la intervención. Así, es muy probable que este grupo de no participantes difiera del grupo de tratamiento en aquellas características observables y no observables que determinan la variable de impacto. Para eliminar las diferencias entre estos dos grupos se utilizan técnicas econométricas que usan una o más variables (instrumentos) pertinentes a la participación pero no a los resultados de la participación (Banco Mundial, 2003b). En el cuadro adjunto se resumen las principales características de los tres tipos de diseños utilizados en el análisis cuantitativo del impacto generado por los proyectos sociales. Se puede concluir que existe una relación inversa entre la aplicabilidad de estos diseños y la confiabilidad de los resultados que se pueden obtener al aplicar cada uno de los diseños. El diseño experimental es el más robusto estadísticamente, pero su aplicación requiere de determinadas condiciones que son difíciles de encontrar en la práctica, y en especial en la implementación de proyectos sociales. Por su parte, los diseños cuasi-experimental generalmente arrojan estimaciones menos precisas del impacto. Es decir, en estos diseños es más probable la presencia de factores diferentes al proyecto que estén subestimado o sobreestimando el verdadero impacto de las intervención. Sin embargo, su aplicabilidad es mayor debido a que los controles que utiliza para construir el escenario contrafactual son más flexibles y no interfieren con la implementación de los proyectos. En el caso de los diseños no experimentales, la construcción del grupo de beneficiarios y no beneficiario es sencilla, pero se requiere el uso de sofisticadas técnicas estadísticas para remover el sesgo en las estimaciones de impacto. Finalmente, se debe tener en cuenta que en muchas evaluaciones estos diseños más que sustitutos son utilizados como alternativas complementarias de evaluación. Por ejemplo, un proyecto puede evaluar uno de sus objetivos con un diseño experimental y los demás con diseños no experimentales. También, una evaluación podría seleccionar aleatoriamente las áreas geográficas en donde el proyecto se implementaría (diseño experimental) y, luego, utilizar un diseño cuasi-experimental para conformar los grupos de tratamiento y comparación dentro de cada área.

7.5 Plan de evaluación de impacto La evaluación de impacto de una intervención se desarrolla, por lo general, de conformidad con una secuencia que abarca los pasos que se especifican a continuación.

A. Identificación de los resultados El primer paso consiste en identificar los resultados – específicamente, los resultados en el nivel de impactos- que serán evaluados. Lo ideal es que el evaluador identifique tantos efectos o impactos como sea posible, con el fin de minimizar el riesgo de no considerar en la evaluación de impacto algún resultado relevante del proyecto. Para identificar los impactos se deberá revisar el marco lógico. Como ya se ha señalado en capítulos anteriores, el marco lógico describe la relación causa-efecto a través de cuatro eslabones que se convierten en los objetivos de la intervención: actividades (insumos), componentes (productos), propósito (beneficios de corto y mediano plazo) y fin (beneficios de largo plazo). Para cada uno de estos objetivos, el marco lógico define las metas a través de indicadores inteligentes, las fuentes de información disponibles para evaluar su cumplimento; y las condiciones externas a la intervención que deben cumplirse para el logro de la metas a nivel de insumos, productos, propósito y fin.

103

B. Selección de variables de impacto Para ser evaluables, los posibles resultados de un proyecto deben tener un significado claro y ser operacionalizados a través de variables e indicadores que permitan su valoración. Estas características tienen especial importancia en los proyectos de reducción a la pobreza dado su carácter multidimensional. De Vaus (1986) propone los siguientes pasos para pasar de conceptos abstractos y confusos a un conjunto de variables e indicadores que permitan evaluar los efectos de la intervención: (1) conceptualizar los posibles impactos del proyecto; (2) identificar los diferentes aspectos o dimensiones que conforman el efecto a evaluar; (3) seleccionar las variables de impacto para las dimensiones que serán evaluadas. Lo anterior implica que el evaluador debe definir cada uno de los posibles efectos del proyecto teniendo en cuenta las definiciones adoptadas por el proyecto. No existe razón para restringir la evaluación a un sólo significado o definición del efecto que se busca lograr, podrían considerarse diferentes significados.

C. Recopilación de información Es una de las actividades más importantes en una evaluación, debido a la alta incidencia de su calidad en los resultados. En las evaluaciones de proyectos contra la pobreza esta actividad es particularmente compleja debido a las características de los beneficiarios. Estos pueden ser personas con bajo nivel de educación, avanzada edad, con enfermedades crónicas, indigentes, entre otros. Además, generalmente existen restricciones de tiempo y presupuesto.

D. Análisis de la información Para cada indicador es necesario recolectar datos de alguna fuente que permita viabilizar la evaluación. En algunos casos, los datos ya están disponibles, por lo que el trabajo se reduce al análisis de los mismos. En otros casos no existe data disponible, por lo que se tiene que diseñar y conducir un estudio para obtener esos datos. Fuentes primarias. Son aquellas fuentes en las que la información se encuentra en su origen, y por lo tanto debe ser elaborada por primera vez y de forma específica. Fuentes secundarias. Son aquellas fuentes que ofrecen información ya elaborada, o existente, que es generada anteriormente con otra finalidad y que, generalmente, no tiene por qué coincidir con los objetivos institucionales. Aunque los indicadores tienen un carácter eminentemente cuantitativo, en su realización se recurre a métodos cuantitativos y cualitativos, con la finalidad de optimizar la calidad de los hallazgos. También cabe precisar que, en primer lugar, es necesaria la revisión de la disponibilidad de información pertinente de fuentes secundarias sobre las variables que queremos analizar. En muchas ocasiones no es necesario realizar un estudio de campo debido a que la información necesaria para establecer la línea de base y las subsecuentes líneas de salida puede ser obtenida de estas fuentes.

104

E. Elaboración del Informe El último paso es la elaboración del informe. En su elaboración se debe tener en cuenta que este debe ser considerado como parte de una estrategia de difusión más amplia sobre los resultados del proyecto, en la cual se debe incorporar distintos elementos, tales como presentaciones para diversos públicos, comunicados de prensa, publicaciones virtuales y folletos de difusión dirigidos a la propia población beneficiaria y a los informantes que contribuyeron a la elaboración del informe.

105

Formato 6. INFORME DE EVALUACIÓN DE IMPACTO

1

DATOS GENERALES Objetivo del proyecto

1.1 Indicar el objetivo general del proyecto Resultados esperados 1.2 Indicar los productos que se espera obtener con la ejecución del proyecto. Duración del proyecto 1.3 Indicar el periodo de ejecución y el periodo de evaluación del proyecto Población objetivo 1.4

Indicar características demográficas más importantes del la población beneficiaria (número, edad, sexo, ubicación, etc.). Breve descripción del proyecto

1.5 Describir brevemente componentes, fuentes de financiamiento y fases del proyecto. 2

METODOLOGÍA Definición de variables

2.1

Explicitar las variables sobre las cuales se va a explicitar el impacto, así como las variables de control. Muestra

2.2

Describir en términos estadísticos las características del grupo beneficiario y el grupo de control, señalando si el muestreo es probabilístico o se utilizaron criterios predeterminados para la asignación de los sujetos a los grupos. Diseño

2.3

3

Describir brevemente el diseño de evaluación: experimental, cuasi experimental o no experimental. Impacto del proyecto Líneas de base y de salida

3.1

Muestran los valores que adoptan las variables antes de la puesta en marcha del proyecto, tanto para el grupo beneficiario como el grupo de control. Líneas de salida Muestran los valores de las variables al final del periodo de evaluación, para el grupo beneficiario y el grupo de control. Estimación del impacto

3.2 Se refiere a las diferencias registradas en los grupos que pueden ser atribuibles al proyecto. Otros efectos del proyecto 3.3

Señalan los efectos del proyecto sobre variables adicionales, que no constituyen el objetivo primordial del mismo.

4

EVALUACION ECONOMICA

4.1

Costos del proyecto

106

Muestra en forma sucinta la estructura de costos del proyecto, tanto los inversión y de operación del proyecto. Beneficios del proyecto 4.2 Se refiere a los beneficios percibidos directamente por los beneficiarios del proyecto. Factor de actualización 4.3

Explicar el factor de actualización a utilizar. Para los proyectos sociales es usual emplear 0.11. Valor Actual Neto

4.4

Compara los costos y beneficios llevados a valor presente según el factor de actualización especificado. Si el resultado es mayor que cero el proyecto resultó rentable. Tasa Interna de Retorno

4.5

Proporciona la tasa de rentabilidad intrínseca del proyecto, que se debe comparar con la tasa de rentabilidad mínima exigida. Si la TIR es mayor, la evaluación del proyecto es positiva. Costo Efectividad

4.6

Para los proyectos cuyos beneficios son difíciles o imposibles de medir se hace uso de indicadores de efectividad. El valor del índice se obtiene como el cociente del valor actual de costos sobre el valor que presente el indicador de efectividad.

5

Conclusiones y recomendaciones Se hace una valoración de los resultados cuantitativos obtenidos. Se evalúa la pertinencia de la metodología empleada y se mencionan los factores que actuaron a favor del proyecto y los que dificultaron el mismo. Finalmente, se presentan sugerencias acerca de futuras líneas de acción en el campo del proyecto.

107

Capítulo 8. Análisis de Sostenibilidad Se entiende por sostenibilidad a la capacidad de un proyecto, no para continuar indefinidamente, sino para generar beneficios duraderos para la población beneficiaria. Estos beneficios deberían ser vigentes por un amplio periodo de tiempo, más allá del término del proyecto mismo o de la cooperación técnica o financiera obtenida para coadyuvar a su ejecución. Por ello, es importante que durante el diseño del proyecto se realice un riguroso análisis que permita identificar los mecanismos internos a través de los cuales el proyecto generara beneficios sostenibles.

8.1

Definición de sostenibilidad

En el contexto de los proyectos de inversión pública y de los proyectos sociales en general, la sostenibilidad se define como la capacidad para generar beneficios duraderos, que permanezcan vigentes incluso después de que la intervención haya concluido28. Los puntos clave a destacar en la definición de sostenibilidad son los siguientes: 



La atención se centra en mantener el flujo de beneficios en lugar del mantenimiento del proyecto mismo. Los proyectos, por definición, no son sostenibles, ya que son acciones de carácter temporal, con fechas de inicio y término predeterminadas en los correspondientes estudios de pre inversión y convenio de donación. El concepto de beneficio sostenible, por lo tanto, no necesariamente significa la continuidad de las actividades financiadas por el Estado o por los organismos de cooperación internacional, más allá de un periodo razonable de tiempo.

El análisis de sostenibilidad es un proceso encaminado a maximizar y dar continuidad al flujo de beneficios para la población. Debe ser un proceso permanente y debe ser actualizado según las cambiantes circunstancias del entorno. La sostenibilidad debe ser una característica esencial de todos los proyectos, con la excepción de determinadas formas de ayuda como las acciones de emergencia y socorro humanitario. Cabe destacar, sin embargo, que no existe una única manera de lograr la sostenibilidad, sino que cada proyecto debe definir su propia estrategia de sostenibilidad, según las circunstancias específicas internas y externas. El análisis de sostenibilidad de un proyecto consiste, pues, en determinar si más allá del logro de sus objetivos, es posible que los impactos positivos continúen después que la intervención o el financiamiento externo hayan finalizado. Sostenibilidad Sostenibilidad es la capacidad de un proyecto para generar beneficios duraderos, con una vigencia por lo menos mayor al periodo de ejecución del proyecto.

8.2

28

Factores incidentes en la sostenibilidad

Véase, Quality Assurance Group PIA/OPRE, Promoting Practical Sustainability. Australian Agency for International Development (AusAID), Canberra, September 2000.

108

Los factores clave que afectan la sostenibilidad de los proyectos, según la experiencia nacional e internacional, son los siguientes:     

El marco de políticas públicas o marco regulatorio (sostenibilidad política). La participación de la población y empoderamiento (sostenibilidad social). La gestión y arreglos institucionales (sostenibilidad institucional). La gestión financiera (sostenibilidad financiera). El desarrollo de mercados (sostenibilidad económica).

Estos factores son aspectos conformantes de la calidad general de los proyectos y son, al mismo tiempo, factores que específicamente afectan la sostenibilidad de las intervenciones. Sostenibilidad política Un proyecto no puede ser separado del contexto en el que tendrá lugar. Los vínculos entre el proyecto y los objetivos de desarrollo deben ser establecidos desde el inicio de la intervención. Las investigaciones realizadas por organismos calificados, como el BID y el Banco Mundial, indican que los proyectos funcionan mejor en ambientes con pocas distorsiones que en ambientes altamente distorsionados. Por ello, las políticas públicas, o más específicamente, el marco regulatorio sectorial, pueden tener un impacto significativo sobre la sostenibilidad del proyecto. Dado que los proyectos se ejecutan dentro de un entorno más amplio de políticas, un marco compatible con los objetivos del proyecto es un factor clave en la promoción de sostenibilidad. El marco de política, por lo tanto, debe ser analizado cuidadosamente durante el diseño del proyecto. Si es necesario, podrían incluirse reformas o mejoras de las políticas como parte de los componentes del proyecto. Alternativamente, las entidades de financiación pueden establecer en calidad de condiciones previas o condiciones de efectividad de un proyecto, la aprobación por parte del país receptor de la ayuda de un conjunto de políticas compatibles con la naturaleza de la intervención.

Sostenibilidad social Otro factor crítico en la promoción de sostenibilidad es el papel de las partes interesadas o involucrados, en particular los directamente relacionados con la intervención, especialmente los beneficiarios directos. La sostenibilidad no puede lograrse sin su participación y apoyo. Los beneficiarios, tanto hombres como mujeres, deben participar activamente en tener la oportunidad de influir en la dirección y los detalles de diseño y ejecución. Los beneficiarios debieran “apropiarse” del proyecto, a fin de que este tenga garantizada su sostenibilidad.

Sostenibilidad institucional Cuando las actividades previstas en el proyecto integran y se basan en las estructuras existentes de gestión local, tienen mejor perspectivas de sostenibilidad de los beneficios que aquellas que implican el establecimiento de nuevas estructuras o estructuras paralelas. La capacidad de los organismos locales para gestionar (o absorber) nuevas estructuras o sistemas no suele ser adecuadamente evaluado. Es frecuente observar un exceso de supuestos optimistas en la etapa de diseño de la intervención. Obtener la estructura de gestión "correcta" requiere un adecuado análisis institucional del proyecto, tanto durante la fase de diseño, como en la etapa de evaluación ex post, como parte del proceso de extracción de lecciones que permita mejorar la calidad de las futuras intervenciones.

Sostenibilidad financiera

109

La sostenibilidad financiera está directamente relacionada con la posibilidad de contar con los recursos necesarios y suficientes para sufragar los costos recurrentes o costos operativos generados por el proyecto. Los costos operativos son aquellos en que se incurre durante el proceso de producción del bien u operación del servicio correspondiente al objetivo del proyecto, una vez realizada la inversión. Debe observarse que los costos operativos relevantes son los costos operativos incrementales, que resultan de la diferencia entre los costos operativos que se generan con la ejecución del proyecto (situación con proyecto) menos los costos operativos que se proyectan si es que el proyecto no fuera implementado (situación sin proyecto). En esta perspectiva, cuando un proyecto es fruto de un acuerdo de cooperación de una entidad pública nacional con un organismo internacional, se deben considerar, entre otros, los aspectos siguientes:   

Proporcionar un nivel adecuado de la financiación directa de los costos operativos durante un período prolongado de tiempo utilizando una escala descendente de las contribuciones. Incorporación de contratos específicos de mantenimiento y otro tipo de acuerdos en el ámbito del proyecto. Obtención del compromiso de los donantes a colaborar dentro de un determinado sector.

Costos de operación Los costos de operación son generados durante el periodo en el que el proyecto se encuentra en funcionamiento y constituyen un elemento clave para la sostenibilidad financiera del proyecto. En efecto, para mantener la operatividad de los servicios es necesario cubrir los costos de operación y mantenimiento. De lo contrario, el proyecto en su conjunto (esto es, la inversión total comprometida en la intervención) afrontaría el riesgo inminente del fracaso.

Sostenibilidad económica La clave de la sostenibilidad económica consiste en el desarrollo de mercados que permitan una provisión permanente e independiente del Estado de los servicios que el proyecto generó inicialmente o que serán demandados en el futuro en el contexto de la operación y mantenimiento de las capacidades generadas por una intervención. Existen muchos ejemplos de relaciones mutuamente beneficiosas de participación del sector privado en el desarrollo. Estos incluyen el papel de las empresas privadas en la construcción de obras de infraestructura vial, la participación de las empresas privadas en la atención de casos de enfermedades, tales como el VIH/SIDA y, en general, en la provisión de servicios de salud. En términos más generales, puede mencionarse, también, el papel de ONG y las iglesias en el desarrollo de la educación. La clave está en identificar la complementariedad entre el sector privado y el Estado. Por ello, todo proyecto debe sensibilizar al beneficiario acerca de la necesidad y beneficio de contar con el servicio pertinente, de manera particular, en el futuro. Para esto se deberá establecer medidas para potenciar la contribución del proyecto en el desarrollo de un mercado privado de provisión de los bienes o servicios pertinentes.

110

8.3

Condiciones de sostenibilidad

La realización de un riguroso análisis de sostenibilidad, implica realizar estudios relacionados a los aspectos siguientes: 29

Arreglos institucionales En este acápite del proyecto se debe señalar las consideraciones que se deben tener en cuenta, desde el punto de vista institucional y de gestión, para lograr el éxito del proyecto. Se debe mencionar los roles y competencias de cada uno de los participantes comprometidos con el proyecto, así como su compromiso, a fin de garantizar la sostenibilidad del proyecto. Los participantes del proyecto deben estar claramente identificados, señalando los compromisos de cada uno de ellos. Los compromisos de los actores involucrados deben demostrarse, por ejemplo, mediante algún documento: (i) convenios; (ii) disponibilidad de recursos; (iii) compromisos de compra y venta; (iv) autorizaciones de las administraciones locales; y, (v) compromisos de la población.

Esquema de financiamiento de la inversión En este rubro se debe especificar las fuentes y su participación dentro del financiamiento de las inversiones tales como el gobierno nacional, gobiernos regionales y locales, organizaciones de beneficiarios y entidades de cooperación internacional, entre otros. Asimismo, es necesario que se establezcan las condiciones del financiamiento, especificando si son recursos propios, donaciones o préstamos. En este último caso se debe especificar las condiciones financieras de la misma (plazo, periodo de gracia, interés, comisiones, periodos de repago si son mensuales, semestrales, anuales u otro).

Participación de los beneficiarios Los estudios de este tipo tienen por objeto hacer explícito los momentos y formas de participación de los beneficiarios del proyecto, desde la etapa de identificación hasta la fase de operación del mismo. Por ejemplo:   

En la fase de pre-inversión: participación en la formulación, identificando el problema y selección de alternativas. En la fase de inversión: mano de obra no calificada, acarreo de materiales, etc. En la fase de operación: administración del servicio y pago de cuotas de mantenimiento, entre otros.

Una evaluación de esta participación puede facilitarse si se hace referencia a las formas de organización tradicionales de la población o si recién, con base al proyecto, se organizará la población. El aprovechamiento de las capacidades organizativas de la población redundará en el éxito del proyecto.

8.4

Matriz de sostenibilidad

El análisis de sostenibilidad de un proyecto puede ser realizado de forma relativamente rápida mediante el uso del instrumento denominado Matriz de Sostenibilidad. Esta matriz comprende las columnas siguientes:

29

Ministerio de Economía y Finanzas, Dirección General de Programación Multianual del Sector Público, Guía metodológica para la identificación, formulación y evaluación de proyectos de saneamiento básico en el ámbito rural, nivel perfil, Lima, 2007. 111



Factores de sostenibilidad. En esta columna se deben anotar todos los elementos que podrían influir en la sostenibilidad del proyecto bajo evaluación. Por ejemplo: sostenibilidad política, sostenibilidad social, sostenibilidad institucional, sostenibilidad financiera, sostenibilidad económica.



Incidencia sobre la sostenibilidad. En esta columna se anota, para cada factor de sostenibilidad, los elementos específicos que incidirán en el proyecto. Por ejemplo, respecto de la sostenibilidad política, se indican las normas que podrían apoyar la sostenibilidad del proyecto.



Estrategia recomendada. Esta columna consigna breves resúmenes sobre las estrategias recomendadas en cada uno de los factores de sostenibilidad.



Probabilidad de ocurrencia. En esta columna se debe establecer la probabilidad de que se ponga en marcha la estrategia recomendada, incluyendo las normas, medidas administrativas, disposiciones presupuestales y otros aspectos. Se puede utilizar como medio de calificación una escala de Lickert: muy probable, probable, indiferente, poco probable e improbable.



Efectos esperados. En esta columna se debe anotar los efectos que las estrategias recomendadas tendrán sobre las perspectivas de sostenibilidad del proyecto.

El llenado de la matriz, que es ilustrada mediante la Tabla 23, permite contar con una opinión sólida sobre el grado de sostenibilidad del proyecto, lo que a su vez permitirá tomar una decisión informada sobre la conveniencia de ejecutarlo, aprobarlo o postergar su ejecución.

Cuadro 9.1. Matriz básica de la estrategia de la sostenibilidad Factores de sostenibilidad

Incidencia sobre la sostenibilidad

Estrategia recomendada

Probabilidad de ocurrencia

Efectos esperados

Sostenibilidad política Sostenibilidad social Sostenibilidad institucional

Sostenibilidad financiera Sostenibilidad económica

8.5

Concepto de empoderamiento

En el contexto de la cooperación internacional, el concepto de empoderamiento es parte intrínseca del proceso de diseño de un proyecto teniendo en cuenta sus perspectivas de sostenibilidad. En general, el empoderamiento se considera un factor medular para la reducción de la pobreza. Puede ser un instrumento para elevar el ingreso de los pobres, así como también un medio para incrementar sus activos, humanos o físicos. En general, el empoderamiento es una noción relacionada con la capacidad que tienen las personas para moldear sus vidas. Existen 112

tres tipos de inversión que son de particular importancia para el empoderamiento de los pobres: inversión en educación, provisión de seguridad social y promoción de la participación e inclusión económica y social. La educación básica es una condición crítica para la inclusión social y el incremento de la productividad. Una fuerza laboral educada incrementará el nivel de crecimiento que se obtiene con un buen clima de inversión, así como también aumentará notablemente la reducción de la pobreza que dicho crecimiento puede provocar. La provisión de seguridad social puede ser vista como una dimensión del empoderamiento, en la medida que permite a las personas adaptarse y recuperarse de los shocks económicos. Pero la seguridad social debería ser vista como algo más que simplemente un paliativo de corto plazo. Se trata de uno de los cimientos esenciales de una economía de mercado, el cual le permite funcionar adecuadamente e involucrar a la gente pobre en las oportunidades que genera. Sin una buena seguridad social, la gente pobre puede no ser capaz de enfrentar algunos riesgos que forman parte de la participación en la economía de mercado, aún cuando hayan logrado crecer sostenidamente y proveerse de bienes materiales en el mediano plazo. La tercera dimensión del empoderamiento se refiere a la participación e inclusión en las organizaciones sociales, desde grupos de crédito de autoayuda y asociaciones de usuarios de agua, hasta en la provisión de servicios de salud y la toma de decisiones en el gobierno de las escuelas. Según señala Nicholas Stern en su libro “Una Estrategia para el Desarrollo”, estas dimensiones del empoderamiento – educación, seguridad social e inclusión - son las que aceleran la conexión entre el crecimiento y la reducción de la pobreza, y que convierten el simple crecimiento en un crecimiento con equidad social.

113

Capítulo 9. Cuestionario de la Encuesta

El cuestionario es el formulario que contiene las preguntas clave relacionadas a las variables e indicadores de la línea de base y cuyas respuestas de los encuestados se convertirán en datos para el análisis y ulterior redacción del informe del ELB. El diseño del cuestionario incluye su codificación a los efectos de facilitar su posterior organización en una base de datos con el uso de un software especializado. Si bien preguntar es relativamente fácil, hacer buenas preguntas es un arte que requiere creatividad y experiencia. Para el diseño apropiado del cuestionario en el presente estudio se han tomado en consideración tres requisitos básicos: definir correctamente el problema a investigar, formular de forma precisa las hipótesis (ambos basadas en el estudio de pre inversión aprobado del proyecto) y especificar adecuadamente las variables y sus correspondientes escalas de medida.

9.1 Cuestionario del Estudio En el marco del ELB, el cuestionario es un conjunto articulado y coherente de preguntas redactadas en un documento para el relevamiento de la información necesaria cuya finalidad es medir las variables de interés y realizar los análisis correspondientes. El cuestionario desempeña las funciones esenciales siguientes:   

Traslada los objetivos del estudio a preguntas concretas que serán respondidas por las personas encuestadas o, en general, por las unidades muestrales. Homogeniza la obtención de información, en razón de que todos los encuestados responderán a los mismos ítems, ya que el cuestionario se formula para todos por igual. Ayuda a que la construcción de la base de datos y su tratamiento se realice con la mayor celeridad posible, ya que facilita las tareas de codificación de datos, almacenamiento, tabulación y posterior análisis.

En términos generales, la elaboración del cuestionario se realice de conformidad con un procedimiento estándar en los estudios que requieren recopilar información de fuente primaria. Los pasos, tal como puede observarse en el gráfico 6.1, son los siguientes: determinación de variables de estudio, selección del tipo de cuestionario, formulación del contenido de las preguntas, estructuración del cuestionario, prueba piloto del cuestionario. Al diseñar el cuestionario, se ha tomado en consideración el hecho que una investigación de campo es tan buena como las preguntas que se formulan. Además, se asume que el buen diseño de un cuestionario requiere mucho más que una gramática correcta. Para que un cuestionario cumpla con los objetivos de la investigación, las preguntas deben satisfacer los criterios básicos de pertinencia y precisión. A tal efecto, se debe recordar que el diseño del cuestionario implica dar respuesta a las interrogantes siguientes: 

¿Qué se debe preguntar?

114

   

¿Cómo se deben redactar las preguntas? ¿En qué secuencia se deben disponer las preguntas? ¿Qué esquema de cuestionario servirá mejor a los objetivos del estudio? Como revisar el cuestionario antes de su aplicación definitiva a las unidades muestrales?

En el contexto del presente estudio, las preguntas del cuestionario son los instrumentos de recopilación de datos sobre las variables de interés (y complementariamente variables de control), en el caso de que se trate de variables que requieran información de fuente primaria.

Grafico 6.1 Fases para desarrollar un cuestionario

1 Determinación de variables de estudio

2 Selección del tipo de cuestionario

3 Formulación del contenido de las preguntas 4 Estructuración del cuestionario

5 Prueba piloto del cuestionario

Relevancia y precisión del cuestionario Un cuestionario es relevante según el grado hasta el cual toda la información recabada mediante las preguntas planteadas ayudará al análisis de la variable de estudio. Un escollo común es hacer una pregunta errónea o que no es relevante. El investigador debe ser específico acerca de los datos que necesita y tener una razón fundamental para cada rubro del que solicita información Una vez determinado lo que se debe preguntar, el criterio de precisión se convierte en la preocupación central. Precisión significa que la información es confiable y válida. Aun cuando, por

115

lo general, se cree que el cuestionario debe ser sencillo, comprensible, imparcial, sin ambigüedades y sin palabras irritantes, no es posible generalizar un procedimiento paso a paso para asegurar la precisión en la redacción de las preguntas. La obtención de respuestas precisas de los participantes depende en gran medida de la capacidad del investigador para diseñar un cuestionario que facilite la recordación y motive a los participantes a cooperar. Éstos tienden a ser más cooperativos cuando el tema les interesa. Si las preguntas no son largas, difíciles de responder o amenazantes para el ego, hay más probabilidad de obtener respuestas imparciales.

116

9.2 Determinación de variables de estudio Las preguntas que contiene un cuestionario están determinadas por los objetivos del estudio, que pueden ser medir desempeño, actitudes u opiniones, de temas objetivos (cuya existencia es independiente de las personas, como son los equipos y el software, por ejemplo) o de temas subjetivos (como son las actitudes, conocimiento y costumbres). En primer lugar, se fijan los objetivos de investigación, lo que determina qué información debe recogerse y cómo va a resumirse a través de determinados indicadores. Paralelamente, debe seleccionarse la técnica idónea para tratar la información. Cada tipo de datos exige una técnica de análisis, y cada estudio necesita aplicar la técnica idónea. La información que se puede recoger para una investigación se materializa en: 

 







Hechos, o desempeño objetiva e inequívocamente contrastables y verificables. Por ejemplo; cuánto tiempo toma una acción de fiscalización, quién realiza la fiscalización, como se realiza la fiscalización, etc. Conocimientos. Una investigación puede ir encaminada a valorar el conocimiento de una norma, un procedimiento o una determinada función. Opiniones o juicios. Se pueden realizar estudios para conocer opiniones. Por ejemplo, qué piensan los ciudadanos de la metodología de verificación de los documentos sujetos a control. Actitudes. Una actitud es una predisposición favorable o desfavorable hacia una persona, cosa, organismo o procedimiento de trabajo. La información que se busca recopilar con los estudios de actitudes está relacionada a la percepción sobre la imagen, valoración de las cosas o entes y la razón de las conductas. Motivos o explicación de conductas concretas. En los cuestionarios se puede pregunta el porqué de las conductas; por ejemplo, por qué se ha realizado determinada acción de fiscalización o por qué se prefiere un determinado procedimiento. Posibles conductas futuras. Se podría preguntar si se incrementaría la productividad, o no, en el caso de que se realicen determinados cambios sobre aspectos tangibles o intangibles en el ámbito laboral.

En el contexto del presente estudio, se busca medir un conjunto de variables relacionadas a los resultados esperados del proyecto. Estas se encuentran clasificadas de conformidad tres tipos básicos: variables de impacto, variables de efecto y variables de producto. A su vez, las variables de producto se subdividen de acuerdo con los componentes del proyecto: existen seis componentes sustantivos, directamente vinculados con el logro del propósito del proyecto. Estos son los siguientes:      

Acceso a redes. Accesos a equipos móviles. Sistema de control integrado. Sistema de control mediante video. Normas y procedimientos. Entrenamiento del personal.

Estas variables han sido clasificadas en dos categorías genéricas: por un lado, aquellas que tratan de aspectos objetivos (variables objetivas) del desempeño de la fiscalización, y por otro, aquellas que tratan de los aspectos relacionados al comportamiento humano implicado en los actos de fiscalización, tales como observancia de las normas y procedimientos, capacitación y actitudes. 117

9.3. Selección del tipo de cuestionario Una vez definida la naturaleza de la información que debe obtenerse, debe optarse por un diseño de cuestionario. Existen diversas clases, en función del grado de concreción de las preguntas, el grado de autonomía para su cumplimentación y la naturaleza de quien lo cumplimenta.

Gráfico 6.2 Tipos de cuestionarios

Clases de cuestionarios Por la concreción de las preguntas

Por la autonomía de quien responde

Por la naturaleza de quien responde

Abiertos

Autoadministrado

Dirigidos a personas

Cerrados

Con presencia de encuestador

Dirigidos a empresas

Semicerrados

Cuestionarios abiertos y cerrados Una clasificación muy operativa de cuestionarios se deriva del grado de concreción de las preguntas. En este sentido se puede hablar de dos tipos de cuestionarios:   

Cuestionarios estructurados o cerrados cuando todas las preguntas están cerradas. Los cuestionarios son semiestructurados cuando se combinan preguntas cerradas y abiertas. Los cuestionarios se llaman no estructurados o abiertos cuando todas las preguntas están abiertas.

Lo más frecuente es que los cuestionarios sean estructurados o semiestructurados. Los cuestionarios los pueden cumplimentar las mismas personas que proporcionan la información. Otras veces se leen las preguntas y los encuestadores o entrevistadores marcan las respuestas. Al primer tipo de cuestionarios se les llama autoadministrados. Se emplean en encuestas postales y en paneles. Se entregan personalmente o se envían por correo a quienes deban responderlos. Las personas leen las preguntas y los cumplimentan. Tienen el atractivo de que no hace falta una red de entrevistadores para recoger la información. La mayor desventaja de este método radica en el 118

hecho que no es sencillo obtener la información puntualmente. Estos cuestionarios tienen que estar perfectamente diseñados; correcta y claramente redactados. También deben ser muy fáciles de cumplimentar. Las normas que deben seguirse para su diseño son las siguientes:       

Debe enviarse una carta que explique lo que se espera del encuestado. Se explicará la finalidad de la investigación. Es conveniente que la carta esté personalizada. Conviene explicar los criterios de selección de las personas. Debe explicarse que el cuestionario es anónimo. Deben proporcionarse instrucciones claras para su cumplimentación. En lo posible deben utilizarse preguntas cerradas. Las preguntas más convenientes son las dicotómicas. El diseño y presentación debe ser atractivo, pues así aumenta la tasa de respuesta.

Otro método, opuesto al cuestionario autoadministrado, lo constituyen los cuestionarios para entrevistas telefónicas. Estos deben ser cortos, pues resulta difícil mantener a una persona al teléfono durante largo rato. Lo ideal es que sean respondidos en menos de diez minutos. La introducción de la entrevista debe hacerse rápida y eficazmente, para conseguir la colaboración. El tono de la voz de encuestador es muy importante. Las frases no deben ser largas para facilitar la comprensión. Es muy importante seguir un orden en la formulación de las preguntas, para no confundir al encuestado. En función de la naturaleza de la investigación debe optarse por un tipo de cuestionario u otro. A continuación se expone la utilidad de los mismos. 

Cuestionarios no estructurados. Se emplean cuando se desarrollan investigaciones exploratorias. Los investigadores tienen conocimientos vagos sobre lo que van estudiar y no son capaces de dar contenido a los cuestionarios. Son útiles para recoger información que se empleará para diseñar cuestionarios con preguntas cerradas, o para que los investigadores se familiaricen con el tema que deben investigar. Se utilizan en entrevistas a domicilio, dinámicas de grupos y entrevistas en profundidad. Los cuestionarios no estructurados se administran a muestras pequeñas, poco representativas y no son susceptibles de ser tratados estadísticamente, ya que la información que proporcionan es básicamente cualitativa.



Cuestionarios semiestructurados. Se aplican cuando se desea una mayor variedad de respuestas o cuando éstas no puedan preverse. A veces los investigadores no conocen la totalidad de respuestas que pueden proporcionar las personas, porque es muy difícil acotarlas todas, o porque no se tiene conocimiento suficiente. En estos casos se cierran las preguntas que se pueda, y se deja la posibilidad de que las personas añadan alguna respuesta. Se emplean en entrevistas personales y, ocasionalmente, en entrevistas por teléfono.



Cuestionarios estructurados. Se utilizan en investigaciones concluyentes; descriptivas y causales. Por ejemplo, para medir la imagen de empresas, detectar un posicionamiento de productos o segmentar un mercado con variables demográficas. Estos cuestionarios emplean escalas y se analizan con técnicas cuantitativas multivariadas. Generalmente, las personas que los cumplimentan han sido seleccionadas aplicando alguna técnica de muestreo. Se emplean cuando se requiere obtener información proporcionada por más de

119

50 personas, dada las exigencias de cumplimiento de algunas hipótesis estadísticas, que requieren unos tamaños de muestra mínimos. Para utilizar cuestionarios estructurados es necesario que se puedan prever las respuestas con bastante exactitud. Se emplea en encuestas en la calle, en casa, en establecimientos, por teléfono o cuando deba ser cumplimentado por el propio encuestado. El cuestionario estructurado es fácil de responder. Es el tipo ideal de cuestionario autoadministrado. Debe estar probado y depurado tras una serie de ensayos piloto. Se debe procurar que su redacción sea sencilla, inequívoca y que las escalas y categorías se adapten al nivel cultural y de inteligencia de las personas que proporcionarán la información. Por ejemplo, las escalas multi-item con más de cinco categorías son muy complicadas para las personas mayores o muy jóvenes. Ocurre lo mismo con las métricas o continúas.

Cuadro 6.1 Clases de cuestionario según el grado de concreción de la preguntas

Cuestionarios abiertos

Cuestionarios semicerrados

Cuestionarios cerrados

Fin: obtener información cualitativa.

Fin: medir hechos, actitudes, conductas, preferencias, etc.

Fin: es medir hechos, actitudes, conductas, preferencias, etc.

Se emplean en investigaciones exploratorias.

Se emplean en investigaciones exploratorias y concluyentes.

Se emplean en investigaciones descriptivas y causales.

No contienen escalas.

Contienen escalas.

Contienen escalas.

No se emplean técnicas de muestreo.

Se emplean técnicas de muestreo.

Se aplican técnicas de muestreo.

Se administran con presencia física de un investigador.

Pueden administrarse con presencia física de investigador o ser autoadministrados.

Pueden administrarse con presencia física de investigador o ser autoadministrados.

Se emplean en entrevistas y en

Se emplean con fuentes

Se emplean con fuentes

dinámicas de grupos.

primarias estáticas: encuestas personales, telefónicas y postales.

primarias: encuestas personales, telefónicas, postales u otras.

La información se analiza cualitativamente.

La información se analiza cuantitativamente.

La información se analiza cuantitativamente.

No tiene sentido inferir

Se pueden generalizar los

Se pueden generalizar los

resultados.

resultados.

resultados.

120

9.4

Formulación del contenido a las preguntas

Para realizar una adecuada recopilación de datos, es necesario que el cuestionario sea cuidadosamente elaborado en contenido y forma para recoger la información relevante y necesaria. Además, debe estar redactado de forma que facilite su cumplimentación y permita obtener una tasa elevada de respuesta. Para ello, en su diseño debe definirse la codificación más adecuada de las preguntas para su tratamiento posterior. Clases de preguntas

Los tipos de preguntas que pueden incorporarse en el cuestionario se agrupan en diversas categorías, en función de diversos criterios de clasificación, tal como se muestra en el cuadro 6.2, que se ofrece a continuación.

121

Cuadro 6.2 Clases de preguntas

Criterio de Clasificación

Clases de Preguntas

Libertad de elección de respuestas

Abiertas. Cerradas. Semicerradas.

Cantidad de respuestas y su relación

Dicotómicas. Respuesta múltiple. Baterías de preguntas.

Fines de las preguntas

Filtro. Control. Obtener información.

Forma de realizarse

Directas. Indirectas.

Por la libertad de elección Preguntas abiertas. En ellas el encuestado responde libremente. Este tipo de preguntas se emplea en las fases previas a la elaboración de un cuestionario cerrado. Sirve para encontrar posibles actitudes, motivaciones, opiniones, conductas, etc. También se emplean en entrevistas en las que las personas por sus características puedan dar una información muy rica en matices. Las preguntas abiertas suelen utilizarse para preparar cuestionarios cerrados y elegir las modalidades de respuesta. Sin embargo, las preguntas abiertas no son recomendables cuando se aplican a personas de nivel cultural o intelectual bajo. Preguntas cerradas. En ellas las alternativas de respuesta están limita- das. El encuestado marca una, o varias, de las alternativas que se le ofrecen. Las preguntas cerradas son útiles en cuestionarios que han de responderse con rapidez, o por teléfono. No hacen pensar mucho y resultan interesantes cuando no es necesario profundizar demasiado, o sólo se trata de recoger hechos, aunque también sirven para medir actitudes o motivaciones. Son las más adecuadas para personas con nivel cultural bajo, escasa memoria o con dificultades de comprensión. Por ser menos fatigosas de responder que las preguntas abiertas pueden formar parte de cuestionarios más largos. Preguntas semicerradas. A través de ellas se proporcionan alternativas de respuesta cerradas y también se deja la posibilidad de que el encuestado responda libremente a alguna de las preguntas. Constituyen un híbrido entre las preguntas abiertas y cerradas, con sus ventajas e inconvenientes. Se utilizan cuando se sabe que existen pocas modalidades que contienen la mayor parte de las respuestas, pero se desea una información exhaustiva. Por la cantidad de respuestas y su relación Preguntas dicotómicas. En ellas sólo existen dos alternativas de respuestas, mutuamente excluyentes. Por ejemplo; se compra un producto o no se compra, se posee coche o no, etc. Las preguntas dicotómicas son fáciles de responder. El encuestado proporciona la información rápidamente y con pocas posibilidades de sesgo, siempre que estén correctamente formulados.

122

Una pregunta dicotómica no debería sustituir a otras preguntas más complejas o encadenadas. Por ejemplo, no debería preguntarse Conteste sí o no, ¿ayer estuvo su televisor conectado más cinco horas y vio una película de acción en TV1 y un programa cultural en TV2? Esta pregunta debería desglosarse en tres, una por cada idea; si se vio la TV más de cinco horas; si se vio una película de acción en TV1 y si se vio un programa cultural en TV2. Preguntas con múltiples respuestas. Ante una pregunta o afirmación se proporcionan varias alternativas de respuesta. La pregunta con múltiples respuestas está cerrada, es inequívoca, fácil de responder y fácil de codificar. Sin embargo, no es adecuada para estudiar motivaciones. Es adecuada para conocer hechos, preferencias y opiniones. Puede suceder que el número de alternativas de respuesta sea demasiado corto o elevado. En el primer caso tal vez no se recoja toda la información que pudiera tener interés. Si fueran muchas las alternativas los respondientes podrían aburrirse. Además es posible que esta pregunta pueda tener múltiples respuestas, porque una persona puede practicar varios deportes. En estos casos la codificación es complicada. En tal caso, cada alternativa puede convertirse en dicotómica para poder tabularla correctamente. Preguntas en batería. Se llama así a una serie de preguntas relacionadas con un mismo tema, que se integran y complementan. Por los fines de las respuestas Preguntas filtro. Son preguntas dispuestas de forma que se subordinen unas a otras. Una respuesta afirmativa o negativa a una pregunta excluye o requiere la siguiente. Preguntas de control. Su misión es verificar la coherencia entre las respuestas proporcionadas por el encuestado. Las preguntas de control son muy útiles para eliminar cuestionarios por incoherentes. Por la forma de realizarse Preguntas directas. Las preguntas directas se formulan para obtener respuestas directas, sin rodeos. En una pregunta directa -y dicotómica- sólo cabe sí o no. Las respuestas a las preguntas directas pueden cerrarse en los cuestionarios. Preguntas indirectas. Las preguntas indirectas se formulan así porque de lo contrario sería más difícil obtener una respuesta. Se aplican principios de técnicas proyectivas. Una pregunta directa posiblemente daría lugar a una respuesta cuya credibilidad sería discutible, pues es demasiado íntima para ser contestada a un extraño. Cerrar las preguntas indirectas es difícil o incómodo, aunque es posible. Las preguntas indirectas generan respuestas muy ricas en matices, que deberían recogerse en preguntas abiertas. Las preguntas indirectas, por lo general, no se emplean en cuestionarios, sino en la aplicación de técnicas cualitativas proyectivas. El cuadro 6.3 muestra características de algunos de los tipos de preguntas que se han expuesto.

Cuadro 6.3 Características de las preguntas 123

Clase de pregunta

Características

Pregunta abierta

Recoge información con un mínimo de indicadores el encuestado. Es útil cuando la gama de respuestas es muy amplia. Es más costosa de codificar, tabular y analizar. Los encuestadores deben registrar las respuestas de forma textual. Los resultados dependen mucho de la calidad de las entrevistas. Es fácil introducir sesgos al escribir las respuestas.

Pregunta dicotómica

Es muy fácil de preguntar y de responder. Debe asegurarse que solo existan dos alternativas. No cabe el no sabe/no contesta. Muchos tipos de información solo admiten preguntar dicotómicas: hombre/mujer; rural/urbano; compra/no compra. Es más difícil introducir sesgos que con otros tipos de preguntas

Preguntas cerradas

Son fáciles de preguntar y tabular. Suelen ser más sencillas de preguntar que las preguntas abiertas. Hay que estar seguro de incluir todas las alterativas posibles.

9.5

Estructuración del cuestionario

Un cuestionario consta de tres partes: introducción, cuerpo e identificadores. Introducción. En esta parte se explica lo siguiente. 1. 2. 3. 4.

Se identificará a quien haya encargado la investigación, salvo que éste no lo desee. Se explicará el objetivo de la investigación. Se explicará el método de selección de las personas respondentes. Si el cuestionario se cumplimentara cara a cara, el encuestador hará un valoración de la idoneidad de la persona seleccionada para ser encuestada si sospechara que su deseo colaboración fuera dudoso.

Cuerpo. Es el conjunto de preguntas que se van a formular. Este conjunto de preguntas se puede subdividir a su vez en tres tipos de preguntas: 1. De aproximación, que suelen ser muy sencillas, poco comprometidas y que generan interés en colaborar. A medida que se avanza en el cuestionario se puede aumentar el grado de complejidad de su formulación o contenido. Si las preguntas delicadas se colocan al principio la posibilidad de una negativa a colaborar es mayor. 2. De transición. Se formulan antes de las preguntas complejas. Se colocan entre las preguntas de aproximación y las complejas. 3. Complejas. Requieren mucha atención, interés y juicio por parte de quien responde.

124

Identificación. Los identificadores del encuestado son variables generalmente nominales que permiten reconocer las características demográficas o sociodemográficas de quienes proporcionan la información, y que son fundamentales para formar grupos o identificar segmentos homogéneos. Deben ir al final del cuestionario. Una vez que se ha respondido al cuestionario, la persona que lo haya hecho comprende los objetivos de la investigación, y entenderá mejor por qué se le piden datos que la caractericen. Tras finalizar la recogida de información es más fácil que se proporcionen los identificadores, especialmente los relativos a edad, renta, estudios y actividad laboral. Además de lo expuesto conviene tener en cuenta dos aspectos más: el orden de las preguntas y el orden del cuestionario. El orden de las preguntas no debe afectar a las respuestas. Esta es posiblemente la norma de redacción de cuestionarios más difícil de aplicar. Lo deseable es que las respuestas que den los encuestados no dependan para nada del orden en que se formulan. Cada pregunta debería ser independiente de las anteriores. El orden del cuestionario deberá ser lógico. Las preguntas deben formularse por temas afines y en orden de dificultad creciente. Cada pregunta debe conducir a la siguiente.

9.6

Evaluación del cuestionario: prueba piloto

Una vez que se ha elaborado el cuestionario conviene hacer una valoración del mismo. Para ello debe darse respuesta a las siguientes preguntas de esta lista de comprobación.        

¿Responde el cuestionario a los objetivos de la investigación? ¿Son necesarias todas las preguntas? ¿Podrá el encuestado contestar a todas las preguntas? ¿Querrán los encuestados contestar a todas las preguntas? ¿Es fluido? ¿Es de una extensión razonable? ¿La secuencia de preguntas es correcta? ¿Se han incluido transiciones e introducciones?

Un cuestionario puede estar muy bien diseñado y el encuestador ser excelente. No obstante, siempre existe la duda sobre la veracidad de la información que se obtiene. Tres son las fuentes de incertidumbre. 



Quien responde tiene dificultad para expresarse o para comprender el cuestionario. Puede ser por razones culturales o intelectuales. En general, los cuestionarios con preguntas cerradas son los más aconsejables para personas que tengan estas características en grado medio o bajo. Cuando se trata de preguntas abiertas es más difícil obtener respuestas, porque obligan a un ejercicio mental. A veces el número de ítems o de categorías en cada uno de ellos pueden resultar excesivos, especialmente con personas mayores o muy jóvenes. Quien responde tiene mala memoria. Este problema aparece con frecuencia cuando se trata de personas de edad, pero también puede aparecer aisladamente en cualquier otra. Para conseguir información fiable se puede acudir a listas u otros elementos visuales (fotos, 125



catálogos, etc.) que ayuden a recordar. Quien responde puede ser reacio a contestar. Las razones pueden ser de diversa naturaleza. Pueden ser inconscientes o irracionales pues tal vez el encuestado no pueda dar argumentos sobre su negativa a responder. Otras veces pueden surgir barreras sociales o de inadmisibilidad. Otras veces las personas tienden a dar respuestas socialmente aceptadas, aunque internamente piensen lo contrario.

Una vez que se haya diseñado el cuestionario este debe ser sometido a un grupo de personas para efectuar una prueba. En una primera confección, es posible que no se acierte con aspectos semánticos en las preguntas. Es decir, la redacción del cuestionario puede no ser del todo correcta o que no se comprenda bien. Es posible, también, que algunas preguntas importantes no se hayan incluido, o no estén bien matizadas, o que haya un exceso de preguntas y algunas no sean significativas. Los defectos de contenido y/o forma que pudieran aparecer en el cuestionario se detectan mediante pruebas piloto, dirigidas a pequeños grupos. Una vez subsanados los errores o perfeccionado el cuestionario se podrá dirigir a la totalidad de las personas que se considere oportuno que deben responderlo. De esta manera se evita tener que repetir la investigación por haber difundido un cuestionario confuso o erróneo. En resumen, la prueba piloto del cuestionario persigue,        

Eliminar ambigüedades. Eliminar preguntas superfluas. Añadir al cuestionario preguntas relevantes. Simplificar preguntas difíciles. Cambiar el orden de las preguntas para agilizar el flujo de respuestas. Corregir la redacción. Eliminar faltas de ortografía. Comprobar que los códigos para grabar los datos más adelante sean correctos.

En la prueba piloto se mide la consistencia interna del cuestionario, a través de distintos instrumentos metodológicos de carácter estadístico. Las pruebas piloto se repiten las veces necesarias hasta conseguir la mayor validez del cuestionario. Cuando ésta se haya conseguido se reproduce y se distribuye.

Finalmente, cabe señalar que como parte de la prueba piloto del cuestionario, éste será aplicado en dos puestos de control, uno relacionado a la fiscalización de tributos internos y otro relacionado a tributos externos. El cuadro 6.5 ofrece un resumen del cuestionario, clasificando las preguntas en función de las variables de estudio y éstas, a su vez, relacionadas a los resultados esperados del proyecto. Asimismo, se ofrece el detalle de las unidades de análisis, unidades y escalas de medida y categorías de respuesta que se prevé para cada una de las preguntas.

126

Cuadro 6.4 Pautas para el desarrollo de cuestionarios

1. Evitar la complejidad

Las palabras empleadas en los cuestionarios deben ser fácilmente comprensibles para todos los encuestados. El investigador tiene la difícil tarea de adoptar el lenguaje conversacional de las personas en los niveles educacionales más bajos. Se debe evitar la jerga de los altos directivos corporativos cuando se entrevistas a minoristas o usuarios industriales.

2. Evitar las preguntas que sirven de guía y las preguntas cargadas

Las preguntas que sirven de guía y las cargadas son una fuente importante de prejuicio en su redacción. Una pregunta que sirve de guía sugiere o lleva ciertas respuestas que amenazan la validez del estudio. Una pregunta cargada sugiere una respuesta socialmente deseable o emocionalmente cargada.

3. Evitar la ambigüedad

Los ítems en un cuestionario a menudo son ambiguos debido a que son demasiado generales, por lo que se debe ser tan específico como sea posible. Debe tenerse en cuenta que el significado de una pregunta puede no ser claro porque el marco de referencia es inadecuado para interpretar el contexto de la misma.

4. Evitar los renglones de doble efecto

Se hace referencia a una pregunta que cubre varios aspectos a la vez como una pregunta de doble efecto y siempre se debe evitar. Es fácil cometer el error de hacer dos preguntas en vez de una, es por eso que si se van a explorar dos ideas, se merecen al menos dos preguntas, para no generar la innecesaria confusión que resulta de la pregunta de doble efecto.

5. Evitar hacer suposiciones

Los investigadores no deben colocar al entrevistado o encuestado en un situación que incluya una suposición implícita en la pregunta. Otro error común es suponer que el participante había pensado previamente en un aspecto del tema a tratar.

6. Evitar las preguntas opresivas que pueden poner a prueba la memoria del participante

Un simple hecho de la vida humana es que las personas olvidan. Los investigadores que escriben las preguntas acerca de la conducta o los acontecimientos pasados deben reconocer que ciertas preguntas le pueden imponer ciertas exigencias a la memoria del participante. La redacción de las preguntas acerca de los acontecimientos pretéritos requiere un es fuerzo serio para minimizar los problemas asociados con el olvido.

Fuente: Barry J. Babin – William G. Zikmund, Investigación de Mercados (2009). Elaboración Propia.

127

ANEXO 4. GLOSARIO DE TÉRMINOS

Glosario de términos 1. Acción. Unidad básica de intervención pública en el desarrollo. En el contexto de las funciones de Estado, las entidades públicas ejecutan acciones que, por una parte, generan determinados beneficios para la sociedad, denominados objetivos o resultados en el lenguaje administrativo, que toman la forma de productos; y, por otra, demandan un costo fiscal. Las acciones constituyen la unidad básica de programación física y financiera, y pueden ser de carácter permanente o temporal, dando lugar a dos categorías de intervención: actividades y proyectos.

2. Actividad (servicio). Acción de carácter permanente, organizada como un conjunto de componentes y actividades interrelacionadas, destinada a mantener la operatividad de los servicios públicos existentes. Representa la producción de los bienes y servicios que una entidad pública lleva a cabo de acuerdo con sus competencias, dentro de los procesos y tecnologías vigentes. 3. Actividad (tarea). Son las acciones consideradas en el marco de los componentes de un proyecto que implican la inversión de recursos con el fin de generar determinados productos o resultados, en un tiempo determinado. Las actividades son las unidades básicas de programación física y costeo de un proyecto. 4. Afijación. Forma de distribuir las observaciones muestra les entre las diferentes partes o estratos de la población. Puede ser proporcional o no proporcional. Si es proporcional, cada estrato debe estar representado en la muestra en la misma proporción que en la población de la que ha sido extraída. 5. Aleatorio. Acontecimiento o suceso producido al azar. Su ocurrencia puede ser de- terminada mediante cálculo de probabilidades.

6. Alternativas. Diferentes formas de dar solución a un problema; o lo que es igual, medios o combinaciones de medios para alcanzar un objetivo. Los medios se expresan en los componentes del marco lógico. 7. Análisis beneficio - costo. Método de evaluación que consiste en comparar un indicador monetario de los resultados del proyecto con el costo del conjunto de las actividades o presupuesto de la intervención. Puede realizarse en forma previa o posterior a la ejecución del proyecto. 8. Análisis causal. Análisis de relaciones causales múltiples entre variables observables y no observables, utilizando modelos de ecuaciones estructurales, que se representan gráficamente

128

mediante el análisis de sendas (path analysis) y que tratan de estimar la magnitud de las relaciones entre las variables. LlSREL y AMOS son programas estadísticos de análisis causal. 9. Análisis costo - efectividad. Método de evaluación que relaciona el costo del proyecto (o de alguno de sus componentes) con indicadores no monetarios de los resultados obtenidos. Puede realizarse en forma previa o posterior a la ejecución del proyecto. 10.Análisis de alternativas. Apreciación crítica de los distintos medios para alcanzar el propósito del proyecto desde los puntos de vista técnico y económico. La alternativa seleccionada se cristaliza en el casillero de componentes del marco lógico. Gráficamente, este análisis se realiza con el Árbol de Objetivos. 11.Análisis estadístico bivariable. Conjunto de técnicas que estudian la relación o asociación entre dos variables. Pueden considerarse, en algunos supuestos, como casos especiales o simplificados de las técnicas de análisis multivariable. Son ejemplo de ellas las tablas y coeficientes de contingencia, la correlación entre rangos, la correlación lineal, el análisis de la varianza y covarianza y el análisis de regresión simple. 12. Análisis estadístico multivariable. Conjunto de técnicas estadísticas que estudian la relación entre más de dos variables. El análisis multivariable permite un mejor acercamiento a la realidad en la que los fenómenos suelen ser multidimensionales. Las técnicas que incluyen suelen clasificarse en dos grandes grupos, según analicen relaciones de dependencia o de interdependencia entre variables. 13.Análisis estadístico univariable. Conjunto de técnicas de análisis de una sola variable, como, por ejemplo, la distribución de frecuencias (tabulaciones simples), los promedios (media, mediana y moda), las medidas de dispersión [varianza y desviación estándar), medidas de asimetría y de curtosis, tests estadísticos no paramétricos (test ji cuadrado, Mann- Whitney, Wilconxon) y paramétricos (test t, test z).

14.Análisis de involucrados. Identificación de todos los grupos susceptibles de ser afectados positiva o negativamente por la intervención, señalando sus características más importantes: problemas, intereses, potencialidades, etc. Gráficamente, este análisis se realiza con la Matriz de Involucrados.

15.Análisis de problemas. Investigación de la problemática de la población, con la intención de establecer el problema central, así como sus causas y efectos. Gráficamente, este análisis se realiza con el Árbol de Problemas. 16.Análisis factorial. Conjunto de técnicas estadísticas multivariables, como el análisis de componentes principales y el análisis de factores principales, que sirven para revelar las dimensiones o factores subyacentes en la asociación existente entre variables. El análisis de componentes principales y el análisis de factores principales producen resultados similares, aunque se basan en modelos matemáticos distintos.

129

17. Análisis de riesgos. Análisis o evaluación de factores externos que podrían afectar el logro de los objetivos de un proyecto. El análisis de riesgos se expresa en la columna de supuestos del marco lógico. 18. Análisis de sensibilidad. Análisis de las relaciones existentes entre los resultados esperados de un proyecto y las variables de las que dependen tales resultados. En el contexto del marco lógico, el análisis de sensibilidad implica establecer la relación entre la columna de objetivos y la de supuestos.

19. Árbol de objetivos. Representación en forma de diagrama de relaciones medio-fin del análisis de las alternativas de un proyecto. El árbol de objetivos se elabora a partir del árbol de problemas, invirtiendo el sentido de las proposiciones. 20. Árbol de problemas. Representación en forma de diagrama de relaciones causa-efecto del problema central que será abordado por un proyecto. El árbol de problemas es una representación metafórica del análisis del problema central, y supone contar con dos elementos clave: marco teórico apropiado y participación de los involucrados clave. 21. Asociación. Relación entre variables. Puede reflejar una correlación casual o, por el contrario, una relación causal, en la que una o varias variables dependen o son explicadas por una o varias variables independientes o explicativas. 22. Atribución. Imputación de un vínculo causal entre los resultados esperados (u observados) y una intervención específica. La atribución está conceptualmente relacionada a la evaluación de impacto de un proyecto. En el contexto del marco lógico, el logro del propósito es atribuible a los componentes (y sus correspondientes actividades), bajo ciertas condiciones del entorno. 23. Atributo. Característica que describe a un sujeto, organización u objeto. En las personas los atributos son las características demográficas, socioeconómicas o psicográficas que lo distinguen. En un grupo u organización los atributos vienen dados por el tamaño, naturaleza jurídica, estructura organizativa, valor económico, cifra de ventas, etc. Los atributos de un objeto pueden ser muy variados: tamaño, color, sabor, duración, coste, etc.

24. Beneficiarios. Población que recibirá los productos, tangibles e intangibles, considerados en un proyecto. También denominado población beneficiaria, grupo beneficiario, grupo objetivo o grupo meta. En proyectos de investigación y en los diseños de evaluaciones de impacto suele denominársele grupo de tratamiento o población testigo.

25. Beneficiarios directos. Grupo específico de la población para beneficio del cual se emprende el proyecto. El número de beneficiarios directos podría ser uno de los indicadores de efecto.

26. Beneficiarios indirectos. Grupo de personas que están localizadas alrededor o en un área muy cercana de ejecución de un proyecto, cuyos beneficios generados por el mismo son marginales a los resultados esperados del proyecto.

130

27. Beneficio. En términos financieros, es la ganancia neta que se obtiene de una inversión. En términos amplios, es el conjunto de mejoras logradas en las condiciones de vida de la población beneficiaria de un proyecto. En el contexto del marco lógico, los beneficios de un proyecto se expresan en los indicadores de efecto e impacto.

28. Cadena de resultados. Conjunto jerarquizado de logros esperados de una intervención. Los resultados pueden ser expresados tanto en forma cualitativa como cuantitativa. Cualitativamente, los resultados son: fin, propósito, productos y actividades. Cuantitativamente, los resultados se expresan en indicadores de impacto, efecto, producto y proceso. 29. Causa. Problema social que determina y explica otro problema, hacia cuya solución se orienta un proyecto. El análisis de problemas consiste, esencialmente, en un análisis de las causas del problema central abordado por un proyecto. Es una variable que produce un cambio en el comportamiento de otra u otras variables. 30. Causalidad. Relación entre dos variables en la que un cambio en una de ellas (variable independiente o explicativa) produce un cambio en la otra (variable dependiente o a explicar). Para probar la existencia de relación causa-efecto entre dos variables, y no simple asociación, es necesario que se cumplan al menos tres condiciones: variación concomitante (supone asociación o variación conjunta entre las variables causa y efecto). Orden temporal de la ocurrencia de las variaciones (la causa de un acontecimiento debe preceder a su ocurrencia) y control sobre otros posibles factores causales.

31. Ciclo del proyecto. Conjunto de etapas que recorre un proyecto. Las principales etapas del ciclo de proyecto son: pre-inversión, inversión y operación. El ciclo de un proyecto se enmarca en el ciclo más amplio de gestión de una entidad pública: planificación, ejecución y evaluación.

32. Cierre del proyecto. Es el acto por el cual se da por finalizada la ejecución del proyecto, en concordancia con lo establecido en el estudio definitivo del proyecto. Puede elaborarse un marco lógico ex post, que muestre la intervención con los procesos ejecutados y los resultados reales. 33. Coherencia. En el contexto del marco lógico, se refiere a la existencia de una correcta relación de causa a efecto entre los distintos niveles de la cadena de resultados. Es la lógica vertical del proyecto.

34. Componente. División de una actividad o proyecto que permite identificar un conjunto de actividades concretas. En el marco de un PIP, un componente es un producto específico, tangible o intangible, que el Estado entrega a la sociedad, y que emerge como resultado de la ejecución de una o varias actividades. 35. Condición previa. Condición que debe cumplirse previamente al otorgamiento de financiamiento para la ejecución de un proyecto. También se le conoce como condición de efectividad. Aun cuando no forma parte del marco lógico, suele ser ubicado en la parte anterior a las actividades.

131

36. Confiabilidad. Es el grado en que la medida de una variable está libre de error aleatorio y, por tanto, proporciona resultados consistentes. Una medida o un método de investigación es confiable si proporciona resultados prácticamente idénticos en todos los casos en que se repita la investigación. Un método para medir la confiabilidad es la determinación de consistencia interna a través del coeficiente alfa de Cronbach. 37. Constante. Propiedad de un objeto que toma un solo valor. 38. Constructo. Es un concepto o construcción teórica específica mente diseñado para un propósito científico determinado, generalmente para organizar el conocimiento y dirigir la investigación, con el fin de describir y explicar algún aspecto del fenómeno a estudiar. El término «validez del constructo» se refiere a la correspondencia entre una construcción, que está a un nivel conceptual e inobservable, y una medida propuesta de la misma a nivel operativo. Una medida es válida en tanto y cuanto evalúe correctamente el concepto que se propone medir. 39. Contraste de hipótesis. También se denomina ensayo de hipótesis. Comprende un conjunto de procedimientos estadísticos para decidir si una hipótesis se debe aceptar o rechazar. 40. Correlación. Asociación entre las variaciones de los valores de dos variables. Esta asociación puede ser positiva o directa (del mismo sentido) o negativa o inversa (en sentido contrario). Se mide, por lo general, con el coeficiente de correlación de Pearson, que puede tomar valores comprendidos entre -1 y 1. 41. Correlación espuria. Asociación entre dos variables de carácter accidental o por efecto de una tercera variable, sin que se dé ninguna relación causal entre ellas. 42. Costos. Recursos que se sacrifican para la ejecución de las actividades de un proyecto. Los costos pueden ser directos e indirectos, y en conjunto forman el presupuesto del proyecto. Al método de costeo en base a las actividades necesarias para el logro de los productos y, finalmente, del propósito, se conoce como enfoque de presupuesto por resultados. 43. Covarianza. Es una medida de la relación o asociación entre dos variables. Puede tomar valores positivos o negativos. Si son positivos, expresa que las dos variables varían en igual sentido. Un valor negativo expresa lo contrario.

44. Cualitativo. Referencia al carácter no numérico de una variable o investigación.

45. Cuantitativo. Referencia al carácter numérico o estadístico de una variable o investigación.

46. Cuestionario. Formulario que contiene las preguntas de una encuesta y en el que se registran las respuestas. El diseño del cuestionario debe partir de una correcta definición del problema a investigar, una formulación precisa de las hipótesis y una especificación adecuada de las variables y escalas de medida. En el cuestionario pueden formularse preguntas abiertas, sin indicación de posibles respuestas, o preguntas cerradas, con una relación exhaustiva de las respuestas posibles.

132

47. Dato. Valor de una variable o de una constante. Información sobre una situación, que se utiliza de base para el análisis y el cálculo.

48. Dato primario. Es aquel que se obtiene de modo específico para la investigación a efectuar. El propósito, y no la naturaleza de los datos, es lo que los define como primarios o secundarios. Los datos primarios, al ser obtenidos expresamente para la investigación a realizar, son los más idóneos porque se pueden adaptar a los propósitos de la investigación. Sin embargo, tienen un coste elevado, superior al de los secundarios. Existen dos maneras básicas de conseguirlos: por observación o mediante comunicación. 49. Dato secundario. Dato que ya está disponible, que se ha obtenido en estudios anteriores y que sirve para el propósito de la investigación a realizar. Las fuentes de información secundaria pueden ser internas o externas a la organización. En este segundo caso, pueden ser públicas o privadas. Los datos secundarios tienen como ventaja su menor coste y tiempo necesario para obtenerlos. 50. Diseño de proyectos. Acción central de la etapa de pre inversión. Abarca los procesos de identificación, formulación y evaluación ex ante. Estos procesos, según el nivel de profundidad de los estudios, pueden tomar la forma de documentos diversos, siendo los más importantes el perfil, estudio de pre-factibilidad y estudio de factibilidad.

51. Efecto. Cambio real buscado por un proyecto en la situación de la población beneficiaria. Frecuentemente, los efectos son localizados a nivel del propósito y fin del marco lógico.

52. Efecto directo. Resultado obtenido a nivel de propósito en la cadena de resultados o jerarquía de objetivos.

53. Efecto indirecto. Resultado obtenido a nivel de fin en la cadena de resultados o jerarquía de objetivos. 54. Eficacia. Grado en el que un proyecto logra sus resultados y metas planeadas, de conformidad con lo establecido en la columna de indicadores del marco lógico. 55. Eficiencia. Relación entre los recursos utilizados o costos y los productos de un proyecto. Una gerencia eficiente de proyectos implica la obtención del máximo producto con el mínimo costo. 56. Encuestado. Persona a la que se le efectúa una encuesta y contesta las preguntas de un cuestionario. 57. Encuestador. Persona que realiza una en- cuesta y formula las preguntas del cuestionario. 58. Enfoque de marco lógico. Enfoque metodológico que abarca todos los pasos para la identificación de un proyecto: determinación del problema central, análisis de involucrados, análisis de problemas, análisis de objetivos (y alternativas) y marco lógico propiamente dicho. También conocido como ZOPP o planificación de proyectos orientada a objetivos.

133

59. Entorno. Conjunto de circunstancias políticas, sociales, económicas, ambientales e institucionales en el que se inserta un proyecto. Los elementos relevantes del entorno se expresa en los factores externos que se recogen en la columna de supuestos del marco lógico. 60. Entrevista. Forma de comunicación personal entre dos o más personas mediante el sostenimiento de una conversación. Se utiliza para obtener información en una encuesta. 61. Entrevista en profundidad. Es un tipo de entrevista personal, directa y no estructurada, en la que un entrevistador experimentado trata de descubrir las motivaciones subyacentes, creencias, actitudes y sentimientos del entrevistado sobre una cuestión en particular. 62. Error de entrevista. Es el error cometido por el entrevistador al preguntar o anotar las respuestas del encuestado. El entrevistador puede inducir consciente o in- conscientemente a que el encuestado dé una determinada respuesta, saltarse preguntas del cuestionario, formular la pregunta alterando la redacción literal de la misma, anotar malla respuesta dada por el encuestado o falsificar todas o algunas de las respuestas al cuestionario.

63. Error de la encuesta. La confiabilidad de una encuesta está en función de su error total, que se compone del error de muestreo y del error ajeno al muestreo. El error de muestreo se produce como con- secuencia de que la muestra no es una representación perfecta de la población. Se puede controlar con una adecuada selección y aumentando el tamaño de la muestra. El error ajeno al muestreo puede ser debido a la falta de respuesta (población no alcanzada, no en casa, rehúsa contestar, etc.), y al error de la respuesta (engaño, ocultamiento, alteración a propósito, recuerdo impreciso o equivocado, cansancio, influencia del entrevistador, redacción de las preguntas, posición de las mismas en el cuestionario, posición de las alternativas de respuesta dentro del cuestionario, etc.). Estos errores pueden ser subsanados, en parte, mediante encuestas de prueba y supervisión posterior a la realización de la encuesta. 64. Error de muestreo. Es el error que se comete en la medida de las variables estudiadas al tomar una muestra en lugar de la totalidad de la población. Puede ser cuantificado cuando el muestreo es probabilístico. El error de muestreo se determina a partir del error estándar de la media. 65. Error en la redacción de preguntas. Es el que se comete por una inadecuada redacción de las preguntas del cuestiona- rio. Puede ser de cinco tipos: preguntas cargadas (inducen a dar una respuesta determinada), preguntas o respuestas dobles, preguntas ambiguas, vocabulario inadecuado o excesivamente técnico, y alternativas no contempladas. 66. Escala. Instrumento utilizado para medir variables. Las escalas pueden ser de cuatro tipos: 1) escalas nominales, que indican sólo la pertenencia a una clase o categoría; 2) escalas ordinales, que expresan la existencia de una ordenación de algún tipo en las categorías; 3) escalas interválicas, que suponen, además de ordenación, la existencia de distancias iguales entre las categorías, y 4) escalas proporcionales o de razón, que suponen, además de ordenación e igual distancia, la existencia de proporcionalidad entre los intervalos y el valor 0 es absoluto. El análisis estadístico de las variables está condicionado por la escala de medida utilizada. 67. Estandarización de una variable. Resultado de dividir la diferencia entre el valor de una variable y su media aritmética por la desviación estándar de la variable.

134

68. Estudio experimental. También denominado experimento, investigación o estudio causal. Es el idóneo para contrastar hipótesis y establecer relaciones de causa-efecto, por el control que proporciona al investigador. Los experimentos se dividen en naturales y controlados. En ambos casos, pueden incluir o no grupo de control. En los primeros -los naturales- la asignación de los individuos al grupo de estudio y al de control, si lo hay, no es aleatoria. En los segundos -los controlados- la asignación de los sujetos sí que es aleatoria. 69. Estudio exploratorio. Es un estudio preliminar, muy flexible y poco formal, que se basa en el estudio de datos ya existentes, en entrevistas con personas expertas y en el examen de situaciones análogas, mediante casos de estudio y simulaciones. La finalidad principal del estudio exploratorio es el descubrimiento de ideas y conocimientos. 70. Estudio longitudinal. Estudio de tipo descriptivo cuyo fin es, mediante mediciones repetidas de un mismo fenómeno, mostrar la evolución del comportamiento de las variables investigadas. Pueden basarse, aunque no necesariamente, en datos de paneles, o bien utilizar, en cada ocasión que se repita el estudio, los datos de muestras distintas en cuanto a su composición, pero siempre representativas de la población a investigar. 71. Estudio transversal. También denominado de sección cruzada (cross-section). Es un estudio de tipo descriptivo, muy corriente en investigación social, que proporciona una instantánea de las variables de interés en un momento dado, en contraste con el estudio longitudinal, que ofrece una serie de imágenes del fenómeno. Los estudios transversales se dividen en estudios en profundidad y encuestas.

72. Estrategia del proyecto. Alternativa seleccionada para el logro de los objetivos del proyecto. En el contexto del marco lógico, existe una estrategia general y una estrategia operativa. La primera esta expresada en el campo de los componentes y la segunda en el campo de las actividades.

73. Evaluabilidad. Nivel de confiabilidad con que puede evaluarse un proyecto. Grado en el cual el diseño ha sido definido, en términos de indicadores objetivamente verificables, de tal manera que sea posible realizar acciones de monitoreo y evaluación válidas y confiables. 74. Evaluación de impacto. Tipo de evaluación ex – post que se realiza con el objetivo de determinar si un proyecto ha producido los efectos necesarios en el bienestar de la población y en qué magnitud éstos pueden ser atribuidos a la intervención.

75. Evaluación de procesos. Tipo de evaluación ex post, también conocida con el nombre de monitoreo o seguimiento, que centra su atención en la verificación de las actividades, los indicadores de proceso y las correspondientes metas físicas y financieras.

76. Evaluación de resultados. Tipo de evaluación ex post que se interesa, principalmente, por la verificación del logro de los productos y el propósito del proyecto. Usualmente, se realiza a medio término y al final de la ejecución del proyecto.

135

77. Evaluación ex - ante. Evaluación del proyecto realizada antes de que sea ejecutado, tanto para determinar su viabilidad, como para contribuir a mejorar el diseño del mismo. Existen dos enfoques: evaluación privada y evaluación social; y dos métodos: análisis costo-beneficio y análisis costo-efectividad.

78. Evaluación ex - post. Evaluación realizada después de finalizada la ejecución del proyecto. Tiene por objetivo analizar el logro de los objetivos del proyecto y extraer lecciones para mejorar el diseño de las intervenciones futuras. Existen tres tipos de evaluación ex post: evaluación de procesos, evaluación de resultados y evaluación de impacto. 79. Escenario contrafactual. Representación de lo que ocurriría con la población afectada en el caso de que el proyecto no se ejecute. Estadísticamente está representado por el grupo de control o población testigo. 80. Factores controlables. Acciones que están bajo el control de la entidad ejecutora del proyecto. Son expresadas en la columna de objetivos del marco lógico, específicamente en los campos de componentes y actividades.

81. Factores de calidad. Se refiere a los factores determinantes de la calidad del diseño de un proyecto. Existen tres factores fundamentales: coherencia, viabilidad y evaluabilidad.

82. Factores externos. Condiciones o eventos externos sobre los cuales se tiene poco o ningún control y que pueden afectar los procesos y resultados de un proyecto. Son considerados en los supuestos en el marco lógico. 83. Fiabilidad. Confiabilidad de un instrumento de medida. 84. Ficha técnica. Documento que informa sobre las condiciones en las que se ha realizado una encuesta. Indica el tipo de encuesta (personal, por correo o por teléfono), la fecha de realización, el método de muestreo, los puntos de muestreo seleccionados, el tamaño de la muestra y el error de muestreo cometido. 85. Fichero. La Ley Orgánica de Protección de Datos de Carácter Personal, de 13 de diciembre de 1999, define un fichero como «todo conjunto organizado de datos de carácter personal, cualquiera que fuere la forma o modalidad de su creación, almacenamiento, organización y acceso» (artículo 3, apartado b). 86. Fichero de datos. Conjunto de datos organizados de acuerdo con algún criterio (alfabético, numérico, etc.), que se crea y mantiene para que sus registros puedan ser consultados y analizados, así como relacionados con otros. El fichero de datos puede estar contenido en un soporte magnético para su utilización mediante un ordenador.

87. Fin. Objetivo global hacia el cual se prevé que contribuya un proyecto. Por lo general, el fin de un proyecto es un objetivo estratégico de la entidad ejecutora.

136

88. Fuentes de verificación. Fuentes de información que permiten verificar el logro de los procesos y resultados de un proyecto, tal como éstos se encuentran precisados en los indicadores del marco lógico. 89. Fuentes primarias. Información –alfabética y numérica, cualitativa o cuantitativa- que proviene del trabajo de investigación realizado por la propia entidad ejecutora de un proyecto. 90. Fuentes secundarias. Información –alfabética y numérica, cualitativa o cuantitativa- que proviene del trabajo de investigación realizado por entidades distintas de la ejecutora de un proyecto. 91. Goal. Término del idioma inglés que, si bien literalmente se traduce como meta, en el contexto del marco lógico equivale a fin. 92. Grupo de control. Grupo de personas que, deliberadamente, no reciben los productos del proyecto, como si ocurre con el grupo beneficiario. Ello permite medir y evaluar las diferencias entre ambos y, de este modo, obtener una cuantificación del impacto del proyecto.

93. Hipótesis. Presunciones respecto a las condiciones necesarias y suficientes para el logro de un determinado resultado. Las condiciones necesarias se expresan en la columna de objetivos (campos de los componentes y actividades) y las condiciones suficientes en la columna de supuestos.

94. Impacto. Cambio logrado en la situación de la población como resultado de la ejecución de un proyecto. En general, los impactos representan cambios en el nivel de bienestar de la población que pueden ser considerado de carácter duradero o de largo plazo.

95. Indicador de desempeño. Magnitud que permite verificar los cambios resultantes de una intervención. En el contexto del marco lógico, se denominan indicadores objetivamente verificables.

96. Indicador de efecto. Indicador de desempeño a nivel del propósito del marco lógico, que, por lo general, refleja el logro del objetivo principal del proyecto.

97. Indicador de impacto. Indicador de desempeño a nivel del fin del marco lógico. Mide el logro de los objetivos estratégicos de una entidad, aunque no son de carácter vinculante, sino únicamente referencial.

98. Indicador de producto. Indicador de desempeño a nivel de los componentes de un proyecto. Mide el quantum de bienes y servicios entregados a la población beneficiaria

99. Indicador de proceso. Indicador a nivel de actividades. Son la base para el establecimiento de las metas físicas y financieras del proyecto.

137

100. Información cualitativa. Información del proyecto que no se expresa en forma numérica, tales como actas de reunión o anotaciones generales procedentes de las observaciones. Los datos cualitativos suelen describir los conocimientos, actitudes y comportamientos de las personas.

101. Información cuantitativa. Información que se mide en términos de cantidad y se expresa en números. La información cuantitativa puede ser de fuente primaria y secundaria. 102. Insumo. Todo factor de producción utilizado para la realización de las actividades del proyecto. En términos más amplios, equivale al concepto de recursos. 103. Intervalo de confianza. Es el intervalo para el que se establece una probabilidad de que el verdadero valor de un parámetro muestral esté contenido entre los límites del mismo.

104. Lección aprendida. Aprendizaje basado en la experiencia obtenida en el marco de la ejecución de un proyecto. Las lecciones aprendidas consisten, por lo general, en métodos innovadores de promoción del desarrollo en los distintos campos y sectores.

105. Línea de base. Datos principalmente numéricos que describen la situación anterior a la ejecución del proyecto, y que se elaboran, principalmente, sobre la base de los indicadores de impacto y efecto. 106. Lógica horizontal. Relación entre los factores internos y externos del marco lógico; es decir, entre los objetivos y los supuestos. Permite verificar la viabilidad del proyecto en el contexto global del ámbito pertinente del mismo.

107. Lógica de intervención. Es el conjunto de elementos que forman parte de la estrategia del proyecto. Por lo general, resulta de una combinación de factores internos (actividades y componentes) y factores externos (condiciones económicas, sociales y políticas).

108. Lógica vertical. Cadena de relaciones de causa a efecto entre los distintos niveles de la columna de objetivos del marco lógico que permite garantizar la coherencia interna del proyecto.

109. Marco lógico. Instrumento de gestión que consiste en una matriz de cuatro filas y cuatro columnas en el cual se resume las características básicas de un proyecto. Las columnas se denominan: objetivos, indicadores, medios de verificación y supuestos. Las filas se denominan: fin, propósito, componentes y actividades. 110. Matriz de seguimiento y evaluación. Cuadro en el que se detallan los indicadores de desempeño necesarios para el monitoreo y evaluación de los resultados del proyecto. 111. Medios. Cursos de acción que permiten alcanzar el objetivo del proyecto. En el contexto del marco lógico, se reconocen dos tipos de medios: medios de primer nivel y medios de segundo nivel o fundamentales. 138

112. Medios de primer nivel. Son los medios relacionados al proceso subyacente en el logro del propósito. 113. Medios fundamentales. Son medios que se derivan de los medios de primer orden y que representan los bienes públicos necesarios para lograr los medios de primer nivel.

114. Medios de verificación. Fuentes de información a partir de las cuales se puede determinar la situación de cada uno de los indicadores en la matriz del marco lógico. 115. Medio de neutralización. Componentes y/o actividades establecidas con la finalidad de contrarrestar el efecto de un factor externo no controlable que podría poner en riesgo el logro del propósito del proyecto.

116. Meta financiera. Gastos previstos en la realización de las actividades, calculados teniendo en cuenta los costos unitarios y las metas físicas.

117. Meta física. Logros previstos en la realización de actividades, teniendo en cuenta los indicadores de proceso y las unidades de medida correspondientes.

118. Monitoreo. Procedimiento empleado para comprobar la eficacia y eficiencia del proceso de ejecución de un proyecto, que culmina generalmente recomendando medidas correctivas para optimizar los resultados de un proyecto. 119. Muestra. Conjunto de elementos de una población o universo del que se quiere obtener información. Para que sea válida, la muestra debe ser representativa de la población, es decir, que en su estructura se reproduzcan exactamente las características y comportamientos de la población de la que ha sido obtenida. La muestra permite obtener datos de una población de forma rápida y económica. 120. Muestreo. Procedimiento de selección de una muestra, para la realización de una encuesta. Implica llevar a cabo las siguientes actividades: definir la población objeto de estudio, seleccionar la estructura de la muestra, especificar la unidad muestral, seleccionar el método de muestreo, determinar el tamaño de la muestra, diseñar el plan de muestreo y seleccionar la muestra.

121. Objetivo. Enunciado de un estado deseado hacia el cual un proyecto está dirigido. Un objetivo se debe formular en términos de cambio en la situación de la población y lingüísticamente empleando un verbo en modo infinitivo. Término también conocido como resultado. 122. Objetivo principal. Es el propósito del proyecto. 123. Objetivo específico. Término que refiere a los componentes del proyecto, expresados como resultados esperados.

139

124. Objetivo estratégico. Objetivo que orienta la labor general de una entidad pública. Por lo general, los proyectos de inversión pública son acciones diseñadas en la perspectiva de lograr un determinado objetivo estratégico.

125. Operación. Etapa del ciclo del proyecto durante la cual se perciben los beneficios derivados de la inversión realizada durante la ejecución. Por lo general, el Fin del marco lógico tiene relación con la situación de la población beneficiaria en la etapa de operación. 126. Output. Término del idioma inglés que equivale a producto. 127. Outcome. Término del idioma inglés que equivale a efecto. 128. Panel. Muestra permanente de individuos o de establecimientos de los que se obtienen datos de forma continuada a intervalos de tiempo regulares. A cambio de alguna compensación económica o de regalos, sus miembros facilitan información sobre las mismas o distintas variables a lo largo del tiempo. 129. Parámetro. Característica definida de una población. Valor que forma parte de una expresión o ecuación y que se presenta como constante. Coeficiente de una ecuación.

130. Pertinencia. Grado en el que los objetivos de un proyecto son válidos, a la luz de las prioridades de desarrollo del país o de la población beneficiaria. En lo que se refiere al fin del marco lógico, la pertinencia debe ser evaluada en términos de su coincidencia con las prioridades nacionales, sectoriales y/o regionales. Término también conocido como relevancia. 131. Plan estratégico. Documento maestro de gestión de una entidad pública. Contiene una descripción del rol institucional, macro problemas centrales, objetivos estratégicos y específicos, así como las acciones estratégicas, sean estas actividades o proyectos. 132. Plan operativo. Documento que detalla el contenido de las actividades y proyectos de una entidad pública para un año calendario. El plan operativo anual contiene la porción anual de las metas físicas y financieras de un proyecto. 133. Población. Conjunto de elementos (individuos, organizaciones, objetos o acontecimientos) del que se toma una muestra para su estudio. Se denomina también universo. Una población puede ser finita o infinita. La población consistente en todos los productos fabricados por una empresa en un período determinado es finita, mientras que la población formada por los precios posibles de un producto es infinita. El error de muestreo se estima de forma distinta según se trate de poblaciones finitas o infinitas. 134. Pregunta. Cuestión planteada en un cuestionario, de la que se solicita una respuesta por parte del encuestado. Puede ser abierta, sin indicación de respuestas posibles, o cerrada, con una relación exhaustiva de respuestas, para que el encuestado elija una o varias de ellas. 135. Pregunta abierta. Es aquel tipo de pregunta en un cuestionario que no contiene indicación de posibles respuestas. Las preguntas abiertas permiten dar una respuesta totalmente libre al encuestado y utilizar su propio lenguaje. Sin embargo, para poder ser tratadas estadísticamente, 140

deben ser agrupadas y codificadas, lo que puede entrañar cierta dificultad. Son especialmente adecuadas en investigaciones exploratorias o cuando no se tiene mucho conocimiento sobre las respuestas posibles. 136. Pregunta ambigua. Pregunta de un cuestionario que tiene dos o más interpretaciones posibles. Se incurre en este defecto de formulación de la pregunta cuando se utilizan términos vagos e imprecisos como «antes», «después», «mucho», «poco», «normal», «frecuente», etc., y no se ha definido previamente cuál es su alcance o contenido. 137. Pregunta cargada. Pregunta de un cuestionario que por su forma de estar redacta- da induce a una respuesta determinada. Por ejemplo, la pregunta «¿Considera que los bancos deben bajar los altos intereses que cobran por sus préstarnos?» está sesgada hacia una respuesta afirmativa, porque se presupone que los intereses son elevados. 138. Pregunta cerrada. Pregunta en un cuestionario que contiene una relación exhaustiva de las respuestas posibles. Puede ser dicotómica, si tiene sólo dos respuestas posibles, de elección múltiple, si tiene más de dos, o bien tratarse de una escala de medida. Las preguntas cerradas son adecuadas cuando se conocen las respuestas posibles. Son más fáciles de contestar que las preguntas abiertas, dado que el encuestado sólo tiene que elegir una o varias alternativas, y su tratamiento estadístico es sencillo. Este tipo de preguntas suelen ser las más utiliza- das en las encuestas. 139. Pregunta condicionada. Es aquella cuya respuesta está indicada por una pregunta filtro anterior, y sólo debe ser contesta- da si se cumplen las condiciones establecidas por la pregunta filtro o condicionante. 140. Pregunta de clasificación. Pregunta de un cuestionario que se formula al encuestado sobre sus atributos personales (edad, sexo, estudios, hábitat, clase social, etc.) o las características de la entidad a la que representa (número de empleados, cifra de ventas, etc.], que sirven para su clasificación. 141. Pregunta de control. Pregunta que se formula para comprobar la consistencia de las respuestas y, en general, contrastar la calidad de la información facilitada por el encuestado. 142. Pregunta de elección múltiple. Pregunta de un cuestionario en la que se proponen varias alternativas de respuesta. 143. Pregunta de respuesta única. Pregunta cuyas alternativas de respuesta son mutuamente excluyentes, de modo que el encuestado sólo puede dar una respuesta. 144. Pregunta de respuesta múltiple o multirrespuesta. Pregunta en la que el encuestado puede dar más de una respuesta. 145. Pregunta dicotómica. Es aquella que tiene sólo dos respuestas alternativas: sí o no, acuerdo o desacuerdo, etc.

141

146. Pregunta de relleno. Pregunta sencilla, neutral y cuya información no es necesaria para la investigación, pero que se utiliza para iniciar la encuesta, cambiar de tema o relajar el ambiente, cuando el tema del cuestionario es sensible o controvertido. 147. Pregunta doble. Cuestión en la que se formulan dos o más preguntas a las que se solicita una sola respuesta. 148. Pregunta filtro. Pregunta cerrada, generalmente con pocas opciones, que tiene por objeto seleccionar submuestras concretas de encuestados, para continuar la administración del cuestionario por vías total o parcialmente distintas. 149. Pregunta introductoria. Pregunta para establecer contacto con el encuestado, que se coloca al principio del cuestionario, y J que pretende interesar al entrevistado y ganar su confianza. 150. Pregunta semiabierta. Modalidad de pregunta cerrada en la que se añade una pregunta abierta, generalmente bajo la denominación de «otras respuestas», que permite añadir al encuestado otras opiniones no contempladas en las alternativas de respuesta sugeridas en la parte cerrada de la pregunta. 151. Problema. En el contexto del SNIP, se refiere a una necesidad básica insatisfecha o una oportunidad de mercado desaprovechada, en razón de la deficiencia del Estado en la provisión de determinados bienes y servicios.

152. Producto. Resultado que el proyecto debe alcanzar. Constituye el primer nivel de resultados dentro del ciclo de un proyecto. Los productos pueden ser bienes, servicios, cambios de calidad, cambios de eficiencia en producción, etc. 153. Proyecto de inversión pública. Acción de carácter temporal, organizada como un conjunto de componentes y actividades interrelacionados, que utiliza total o parcialmente recursos públicos con la finalidad de mejorar la dotación de bienes y servicios esenciales para la satisfacción de las necesidades básicas de la población y la promoción del desarrollo del país. 154. Programa de inversión pública. Conjunto de proyectos de inversión pública orientados a un propósito común, ejecutados por una o varias unidades ejecutoras. Visto el programa en su conjunto, los proyectos son sus componentes; visto cada proyecto en forma individual, cada componente del programa se constituye en el propósito de los proyectos correspondientes. 155. Proposición. Frase de la que se puede decir que es, o bien verdadera o bien falsa. El marco lógico está compuesto de 16 proposiciones, ubicadas en 16 celdas.

156. Propósito. Resultado situado entre los productos y el fin en la jerarquía de objetivos establecida en el marco lógico. Refleja los resultados a mediano plazos que razonablemente cabe esperar del proyecto siempre que se generen los productos previstos y sigan siendo válidas las hipótesis adoptadas en los supuestos.

142

157. Proyecto. Conjunto de actividades con objetivos establecidos, diseñados para producir un resultado de un plazo limitado y con recursos presupuestados. Su objetivo es contribuir a resolver un determinado problema y producir un impacto neto positivo en el bienestar del país.

158. Riesgo. Posibilidad de que los resultados reales sean menores a los resultados esperados, debido a factores no controlables. Las principales fuentes de riesgo son la inestabilidad económica, la vulnerabilidad de los arreglos institucionales y los modelos mentales inadecuados de la población. 159. Situación con proyecto. Corresponde a la proyección de lo que ocurrirá si se lleva a cabo el proyecto, en las condiciones de vida de la población y el desarrollo del país.

160. Situación sin proyecto. Denominada también situación base, corresponde a la proyección de lo que ocurrirá a futuro si no se lleva a cabo el proyecto, en las condiciones de vida de la población y el desarrollo del país. 161. Sostenibilidad. Durabilidad de los resultados del proyecto después de concluida la intervención. Continuación de los beneficios de una intervención por un periodo razonable de tiempo. 162. Supuestos. Hipótesis sobre los factores externos o riesgos que pueden afectar el avance o éxito de una intervención para el desarrollo. 163. Tratamiento de datos. Fase del proceso de investigación comercial, posterior a la obtención de los datos. Tiene como finalidad convertir los datos en información útil para la toma de decisiones. Incluye las actividades de edición, codificación y grabación de los datos, tabulación de los resultados y aplicación de técnicas de análisis estadístico. 164. Unidad muestra. Es el elemento de la población objeto de estudio en una en- cuesta del cual se obtienen los datos. Pueden ser individuos, hogares, empresas, entidades u objetos (productos, marcas, modelos, etc.). 165. Validez externa. Es la que determina si la relación causa-efecto encontrada en un experimento puede ser generalizada. 166. Validez interna. Es una medida de la precisión de un experimento. Determina si la manipulación de la variable independiente o tratamiento causa realmente los efectos sobre la variable dependiente. 167. Variable. Atributo de un objeto de análisis, que puede expresarse en términos alfabéticos o numéricos. En este último caso, se denominan indicadores. Es una magnitud cuyos valores son objeto de estudio. Puede referirse a un individuo, grupo de personas, organización u objeto. Una variable puede tomar un valor cualquiera dentro de un conjunto determinado de ellos, llamado dominio de la variable. La definición de las variables permite hacer operativos y susceptibles de medida los problemas básicos a investigar. La medida de las variables viene determinada por la escala utilizada.

143

168. Variable binaria. Es una variable dicotómica cuyos valores posibles son O y 1. Una variable ficticia es una variable binaria. 169. Variable categórica. Denominación utilizada para identificar a las variables medidas con escalas no métricas (nominales y ordinales). 170. Variable continua. Es aquella variable que puede tomar cualquier valor numérico. Para cualquier par de valores es posible determinar otro entre medio de ellos. Por ejemplo, los ingresos, expresados en unidades monetarias. 171. Variable criterio. Variable dependiente o a explicar por una o varias variables independientes o explicativas. 172. Variable cualitativa. Variable que está medida con una escala no métrica, como la nominal y la ordinal, Por ejemplo, el sexo (hombre, mujer), la ocupación (obrero, empleado, profesional, etc.) y la clase social (alta, media, baja). 173. Variable cuantitativa. Variable que está medida con una escala métrica, como la interválica o la proporcional. Por ejemplo, la edad (medida en años), el gasto familiar anual en alimentación (medido en euros), y la actitud hacia el consumo de bebidas alcohólicas (medido con una escala tipo Likert de cinco puntos, de mayor a menor grado de acuerdo). 174. Variable dependiente. Variable cuyo comportamiento es explicado por otra u otras independientes. Se la denomina también variable a explicar o criterio y suele representarse por la letra Y del eje de ordenadas. 175. Variable dicotómica. Aquella que sólo puede tomar dos valores, por ejemplo, el sexo (hombre/mujer), la superación de un test (pasa/falla) o una creencia (verdadera o falsa). Cuando los valores posibles son O y 1, suele denominarse variable binaria. Variables dicotómicas son también las variables ficticias. 176. Variable discreta. Variable que sólo puede tomar un número finito de valores distintos. Es decir, entre dos valores consecutivos una variable discreta no puede tomar ninguno más. Por ejemplo, el número de hijos. 177. Variable explicativa. Variable independiente o predictora. 178. Variable ficticia. Variable dicotómica que se obtiene convirtiendo un nivel dado de una variable cualitativa en una variable binaria, en la que el valor 1 indica la presencia de la característica y el valor 0 la ausencia de la misma. En general, con una variable cualitativa de n categorías, se precisan n - 1 variables ficticias, para representar la totalidad de las categorías de la variable original. 179. Variable independiente. Variable que se su- pone que explica el comportamiento de otra dependiente. Se la denomina también variable explicativa o predictora y se representa por la letra X del eje de abscisas.

144

180. Variable moderadora. Es aquella que modifica sistemáticamente bien la forma o la fuerza de la relación entre una variable predictora o explicativa y una variable criterio o dependiente. 181. Variable mixta. Denominación utilizada para identificar a las variables que comparten características de las variables categóricas y numéricas. Las variables mixtas se miden con escalas de intervalos iguales, y se les puede aplicar cualquier técnica estadística. 182. Variable numérica. Denominación utilizada para identificar a las variables medidas con escalas métricas (interválica y numérica). 183. Variable predictora. Variable independiente o explicativa que puede explicar o predecir el comportamiento de otra u otras variables. 

Variable tipificada. Si a cada uno de los valores de una variable se le resta su media aritmética y se divide el resultado por la desviación típica, se obtiene una nueva variable tipificada o normalizada o estandarizada. Los valores de una variable tipificada son adimensionales, es decir, independientes de la unidad de medida empleada. Una variable tipificada tiene media igual a O y desviación estándar igual a 1.

184. Viabilidad. Compatibilidad de la estrategia de un proyecto con su entorno, que torna probable su implementación satisfactoria.

145

BIBLIOGRAFÍA AGENCIA NORUEGA DE DESARROLLO, El Enfoque del Marco Lógico. 1990 AGENCIA NORUEGA DE DESARROLLO, Evaluación de Proyectos de Ayuda al Desarrollo, 1998. BID, Evaluación: Una Herramienta de Gestión para Mejorar el Desempeño de los Proyectos, marzo 1997. CEPAL – ILPES. Metodología General de Identificación, Preparación y Evaluación de Proyectos de Inversión Pública. Área de Proyectos y Programación de Inversiones, Santiago de Chile, 2005. COHEN, E. y FRANCO R. Evaluación de Proyectos. ILPES/ONU, Washington, 2003. DGPM – MEF. Guía General de Identificación, Formulación y Evaluación Social de Proyectos de Inversión Pública a Nivel de Perfil. Ministerio de Economía y Finanzas, Lima, 2003. DEPARTAMENTO NACIONAL DE PLANEACIÓN. Manual Metodológico General para la Identificación, Preparación y Evaluación de Proyectos. Banco de Programas y Proyectos de Inversión Nacional, Colombia, 2003. GÓMEZ, Manuel – CÁMARA, Luis. Orientaciones para la Aplicación del Enfoque del Marco Lógico. CIDEAL, Madrid, 2003. GTZ, Gestión del Ciclo del Proyecto y Planificación de Proyectos Orientada a Objetivos, 1990. JUDY BAKER, Evaluación del Impacto de los Proyectos en la Pobreza, Banco Mundial, 2000. Ley Nº 27293. Lima, 2000. Ley del Sistema Nacional de Inversión Pública. Ministerio de Economía y Finanzas MARTINEZ, E. y ESCUDEY, M. Evaluación y Decisión Multicriterio, Reflexiones y Experiencias. Editorial Universidad de Santiago, 1998. MEDIANERO, David. El Enfoque del Marco Lógico en la Gestión de Proyectos. CINDEH, Lima, 2002. MITROFF, Ian. Convierta Problemas en Soluciones Inteligentes. Amat Editorial, Barcelona, 2000. NAVARRO, Hugo. Manual para la Evaluación de Impacto de Proyectos y Programas de Lucha Contra la Pobreza, ILPES, Santiago de Chile, 2005. NORAD. The Logical Framework Approach (LFA). NORAD, Oslo, s/f. OPS, Formatos de Presentación de Proyectos, 1996. ORTEGÓN, Edgar – PACHECO, Juan Francisco – ROURA, Horacio. Metodología General de Identificación, Preparación y Evaluación de Proyectos de Inversión Pública. ILPES, Santiago de Chile, 2005.

146

OTEGÓN, Edgar – PACHECO, Juan Francisco – PRIETO, Adriana. Metodología del Marco Lógico para la planificación, el seguimiento y evaluación de proyectos y programas. ILPES, Santiago de Chile, 2005. PRACTICAL CONCEPTS INC, Marco Lógico: Una Guía de Gerentes para Diseñar y Evaluar Proyectos en Forma Científica. Reproducido por el Ministerio de Agricultura, 1986. PRACTICAL CONCEPTS INC., Sistema de Manejo de Proyectos. Reproducido por el Ministerio de Agricultura, 1986. R. HERNÁNDEZ y otros Metodología de la Investigación, México, 1998. SANÍN, H. Guía Metodológica General para la Preparación y Evaluación de Proyectos de Inversión Social. Dirección de Proyectos y Programación de Inversiones, ILPES, 1995. UNFPA, Elaboración de Planes de Trabajo y Cronograma de Actividades, 1999.

147