C Ó M O MEDIR LOS RESULTADOS
DE LOS PROYECTOS DE DESARROLLO Manual para los expertos en misión Preparado para la Unesco por S A M U E L P.HAYES,Jr.
U N E S C O
MONOGRAF~AS D E CIENCIAS SOCIALES APLICADAS
Publicado en 1960 por la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura place de Fontenoy. Paris-7e Impreso por Stamppi &Cie,Berna (Suiza)
8 Unesco 1960 SS. 58/XUI.l/S
N O T A D E LOS EDITORES
Este es el primer volumen de una nueva colección a la que se ha dado el título general de Monograjas de ciencias sociales aplicadas. En esa colección se publicarán estudios no sólo acerca de los resultados de las investigaciones sociales, sino especialmente del uso que puede darse a las ciencias socialesy los métodos más eficacespara aplicarlas con objeto de comprender mejor los problemas socialesy evaluar con más exactitud los resultados de nuestro esfuerzo para resolverlos. Creemos que lo que más contribuirá a mejorar la poiítica social y el planeamiento de los trabajos en esa esfera es una mayor comprensión de los problemas y una mejor evaluación de los programas. La aplicación de las ciencias sociales a esos dos aspectos ha progresado notablemente en los últimos tiempos y, sin duda, continuará progresando. Las monografías de esta colección intentarán reflejar ese avance, difundiendo así más ampliamente el empleo de métodos nuevos y de reconocida eficacia. En esta colección se publicará en breve un manual sobre el empleo de las ciencias sociales destinado a los especialistasen educación fundamental, y un manual sobre la utilización de los estudios acerca de la comunidad como auxiliar de los programas de formación del personal docente.
Í N D I C E
.
.
.
.
.
.
.
.
.
.
9
.
.
.
.
.
.
.
.
.
.
.
11
INTRODUCCI~N .
.
.
.
.
.
.
.
.
.
.
13
NOTA PRELIMINAR PREFACIO
.
Primera etapa. DESCRIPCI~NDEL PROYECTO DE DESARROLLO Y DELIMITACI~N DE
sus OBJETIVOS.
.
.
.
.
.
Descripción del proyecto . . . . . . . Determinación de las operaciones relativas al proyecto Formulación de los objetivos . . . . . . ¿Quién debe describir el proyecto y fijar sus objetivos?
. . .
.
.
Segunda etapa. SELECCI~NDE LOS DATOS QUE HABRAN DE EMPLEARSE PARA CONOCER LOS RESULTADOS DEL PROYECTO . Empleo de los datos disponibles como indicadores . . Gestiones con las organizaciones para que registren datos suplementarios . . . . . . . . . . La observación . . . . . . . . . . Formulación de preguntas sobre los proyectos y sus resultados . . . . . . . . . . . . Ejemplos de datos empleados para conocer los resultados de un proyecto . . . . . . . . . . .
19 19 20 21 28 31 32
35 39 41 60
Tercera etapa. R E U N I Ó N DE LOS DATOS: ANTES. DURANTE Y . . . .
65 67 13 78
Cuarta etapa.ANALISISE INTERPRETACI~N DE LOS RESULTADOS . Ventajas de una mejor información . . . . . .
81 85
DESPUÉSDELAEJECUCIÓNDELPROYECTO .
Antes de iniciarse el proyecto . . Durante la realización del proyecto . Después de la ejecución del proyecto
. . .
. . . .
. . . .
. . . .
.
89
Apéndice.ALGUNOS CONCEPTOS Y PROCEDIMIENTOS ELEMENTALES . . . . . . . . . . DE ESTADfSTICA Muestre0 . . . . . . . . . . . Combinación y análisis de los datos . . . . . .
91 91 98
RECAPITULACI~N
BIBLIOGRAF~A .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
107
NOTA P R E L I M I N A R
Uno de los aspectos constructivos del decenio siguiente a la segunda guerra mundial han sido los numerosos proyectos basados en programas de desarrollo social,emprendidos con el objeto de mejorar las condiciones de vida del hombre. Pero aunque existeny han existido cientos deproyectos de desarrollo social, son relativamente pocos los que se han analizado con ayuda de técnicas que permitan evaluar su eficaciao aumentar su efectividad. Las ciencias sociales han producido técnicas sencillas de medición aplicables a muchos proyectos de desarrollo,incluso en el medio rural. L o que ahora se necesita es ensayar esas técnicas,adaptándolas a diversas situaciones concretas. En el presente volumen, el Dr.Hayes intenta mostrar cómo determinadas técnicas de medición de las ciencias sociales pueden adaptarse de manera que elpersonal encargado de un proyecto pueda, antes de proceder a su ejecución, no sólo evaluar las condiciones existentes y medir el grado en que han sido satisfactorios los diversos intentos de producir cambios en la esfera social,sino también determinar el resultado general de los planes de desarrollo social, e identijicar los factores que condicionan el éxito de losprogramas de reorganización social. Las secretarías de la Unesco y de las Naciones Unidas han invitado a numerosos especialistas en ciencias sociales, administradores de programa y técnicos experimentados a reunir material sobre este tema. E n 1955 se consagró a las técnicas de medición un número del Bulletin international des sciences sociales [International Social Science Bulletin] (vol.VII,n.03). El Dr.Hayes, que ha tenido en cuenta dicho trabajo al preparar el presente volumen,ha solicitado críticas de sus colegas,a los que agradece su colaboración. El Dr. Hayes está eminentemente calificado para preparar un manual destinado expresamente al personal que trabaja en la ejecución de proyectos,pues no sólo se ocupa de investigaciones en ciencias sociales y sobre todo de las técnicas de medición, sino que se interesa en la administración y planeamiento de proyectos de desarrollo social. D e 1934 a 1943,y de 1945 a 1948,el Dr. Hayes dirigió investigaciones
9
en ciencias sociales y enseñó esas disciplinas. D e 1943 a 1945 y de 1948 a 1953 se encargó de organizar y dicigir programas de reconstrucción y de desarrollo económico y social en Africa del Norte, Europa y Asia Sudoriental. A partir de 1953, ha desempeñado las funciones de director de la Foundationfor Research on H u m a n Behavior,en Ann Arbor,Míchigan (Estados Unidos de América). En colaboración con el Dr. Rensis Likert, el Dr.Hayes ha preparado la obra Some Applications of Behavioural Research publicada por la Unesco en 1957. El presente volumen,junto con el número ya citado del Bulletin international des sciences sociales [InternationalSocial Science Bulletin] y la precitada obra preparada en común por Likert y Hayes,pertenece a una serie de publicaciones de la Unesco que tratan de las ciencias sociales aplicadas. Se tiene el propósito de editar otras publicaciones sobre la aplicación de las ciencias sociales en los programas de educaciónfundamental, desarrollo de la comunidady otras esferas de actividad.
10
P R E F A C I O
Esta obra es resultado de una conferencia celebrada en Ginebra en julio de 1954,bajo los auspicios del Departamento de Ciencias Sociales de la Unesco y de la Junta de Asistencia Técnica de las Naciones Unidas l. A su vez, dicha conferencia se explica por el vivo interés y la oportuna iniciativa de las Naciones Unidas en lo que concierne a la asistenciatécnica para el desarrollo económico,según se manifiesta en su ProgramaAmpliado de Asistencia Técnica.Este programa se inició en cumplimiento de la resolución 304(IV) de la Asamblea General de las Naciones Unidas,unánimementeaprobada en su cuarto período de sesiones(1949),y por la que hizo suya una anterior resolución 222(IX), del Consejo Económico y Social,En esas resoluciones no sólo se recomendaba la iniciación del Programa Ampliado, sino también el ((examen de las actividades emprendidas y de los resultados alcanzados [...]en virtud de este programa ampliado...». D e conformidad con dichas resoluciones,las Naciones Unidas y los organismos especializados han realizado,con el mayor empeño y provecho,una gran variedad de actividadesde asistenciatécnica,dedicando asimismo considerable atención a evaluar los resultados obtenidos.El interéspor talevaluación motivó lamencionada conferenciaen Ginebra, varias otrasdedicadasalmismo tema,asícomo una seriede documentos sobre determinadas técnicas de medición (publicadas en el Bulletin internationaldes sciences sociales [International Social Science Bulletin], 1955,vol. VII, n.o 3) y la preparación de la presente obra.
Este trabajo tratade algunasoperacionesprevias ala evaluaciónpropiamente dicha,en particular,el acopio y el análisis de los datos sobre los resultados de los proyectos. Proporciona,pues, a los evaluadores algunos ((instrumentos)) que podrán serles Útiles en el desempeño de su cometido. La participación del autor en dos de las precitadas conferenciassobre 1. Véase Final Repori. Meeting on Criieria and Techniques o$ Evaluation of Teclvlical Assistance Sor Ecunomic Developmeni. Ginebra. julio de 1954, preparado por Louis Moss (documento Unesco S W 2 , París, 15 de febrero de 1955).
11
medición ha sido muy provechosa para obtener informacionesy una clara idea acerca de los datos que necesitan los evaluadores, así como de la posibilidad de obtenerlos.Además, este libro se ha preparado en cumplimientode un contrato con el Departamentode Ciencias Sociales de la Unesco y forma parte de su programa de actividades en materia de medición. Se espera que las sugestiones que contiene resulten Útiles tanto para las personas interesadas en el problema como para los evaluadores. La autorización para reproducir determinados textos protegidos por el derecho de autor fue concedida por sus autores y por los organismos siguientes:Dryden Press,Economic Development and Cultural Change, la Russell Sage Foundation y la Netherlands Universities Foundation for International Cooperation. A todos ellos expresamos nuestra gratitud.
1 1 de octubre de 1957
SAMUELP.HAYES, Jr. A n n Arbor, Michigan
12
La mayoría de las nacionesdel mundo conceden hoy prioridad absoluta a los proyectos y programas destinados a acelerar el desarrollo económico y social. Para facilitar dicho desarrollo, los gobiernos asumen mayores responsabilidades que nunca y emplean recursos en proporciones sin precedente. Los organismos intergubernamentales y sus respectivos serviciosmuestran un interéscreciente por las actividadesde desarrollo. Las asociaciones privadas, tanto comerciales como no, adoptan cada vez más, entre sus objetivos principales, en sus países y en el extranjero, el desarrollo económico y social. En este ambiente de amplia e intensa preocupación por el desarrollo económico y social,no es sorprendente el acrecentado interés con que se solicita información sobre los resultados obtenidos de los proyectos de desarrollo. Dichas informaciones son tanto más apreciadas cuanto más objetivas y numerosas sean,resultando asimismo tanto más convincentescuanto más directamente se relacionen con la realización de cada proyecto. El arte de suscitar y orientar los cambios sociales y económicos no está todavía muy desarrollado.Los datos que informan sobre la situación existente pueden constituiruna ayuda de incalculable valor para mejorar los proyectos en el curso de su ejecución.Y lo que puede aprenderse sobre el resultado de los proyectos ya aplicados facilitará mucho el planeamiento de proyectos ulteriores. L a reunión de tales datos sobre los resultados de un proyecto no constituyepor sí misma la «medición»,pero es una condición indispensable. Las personas que se interesan sobre todo por la medición deberán tener en cuenta, al efectuar tal operación, los diversos datos que se describen más adelante. Y tanto esas personas como los especialistas en evaluación sacarán gran provecho de los ejemplos prácticos de reunión de datos que se mencionan en el Bulletin international des sciences sociales [InternationalSocial Science Bulletin] (1955, vol. VII, n.o 3) consagrado a las ((Técnicasde medición ».
13
Cómo medir los resultados de los proyectos de desarrollo
CAMBIOS IMPORTANTES PARA EL DESARROLLO ECON~MICO Y SOCIAL
El desarrollo económico y social es consecuencia de una transformación. Algunos tipos de modificación revisten una importancia estratégica por cuanto representan el paso de un sistema social tradicional a otro caracterizadopor un proceso continuo de adelanto tecnológicol. Aunque esos cambios de carácter ((estratégicoD están muy relacionados entre sí, es posible clasificarlos en tres categorías principales, según se refieran principalmente a los individuos,las relaciones sociales y las inversiones sociales en su cobjunto. Cambios que se rejieren a los individuos (sus informaciones, aptitudes y actitudes)
1. Progresiva alfabetización,conocimiento científico,formación científica y tecnológica,y un enfoque científico o técnico de los problemas. 2. Creciente descontento con el nivel de vida tradicional,con las relaciones sociales tradicionales y con las actividades económicas tradicionales. 3. Creencia cada vez mayor en la posibilidad de lograr el adelanto económico y social mediante nuevas técnicas y nuevas actividades económicas. 4. Creencia cada vez mayor en la posibilidad de lograr el adelanto económico y social mediante la competencia y el esfuerzo individual (más que por el privilegio basado en el soborno,favoritismopolítico, parentesco,casta o condición social,nacionalidad,origen,raza, religión o sexo). 5. Definición cada vez más precisa de las ventajas económicas que se espera de la sociedad,así como de las obligaciones económicas para con ella (en vez de la seguridad vaga e imprecisa que a menudo se esperaba obtener de la aldea o de la familia y las obligaciones económicas, mal definidas pero amplias, que solían reconocerse respecto de la aldea o de la familia). 6. Creciente respeto por la honradez comercial y cívica, así como por los contratos en las relaciones económicas. Cambios en las relaciones e instituciones sociales
1. Fomento de las comunicaciones entre personas (mediante la adopción de un idioma común, el progreso de la instrucción elemental,el 1. Véase especialmente el interesante articulo del profesor Everett E.Hagen. «The Process of Economic Developmenw. en: Economic Developmenr and Cultural Change. 1957, vol. 5, págs. 193-215. del que se ha tomado en gran parte el esquema presentado.
14
Infroduccidn
incremento de los medios de comunicación,una mayor movilidad social,los viajes,etc.). 2.Acrecentamiento de las posibilidades económicas (gracias a la disminución de los monopolios,a la mayor disponibilidad de crédito y a una mayor movilidad profesional). 3.Aumento de lasremuneracionesde la actividad económica(mediante la reforma agraria,modificación del sistema tributario,y diversas clases de ayuda gubernamental). 4.Creciente preponderancia de los grupos que participan en esos cambios y disminuciónde la influencia de los grupos refractarios. 5. Acrecentada actividad gubernamental consagrada a los servicios públicos y al desarrollo económicoy social. Cambios en las inversiones sociales en su conjunto
1. Aumento de lasinversionesen educación,higieney sanidad públicas, suministro de agua. 2.Aumento de las inversiones en transporte,comunicaciones,energía y riego. 3. Mayor eficacia (que sin duda supondráinversiones)de la administración pública,la policía civil y la organización militar.
A menudo se evalúa el desarrollo económico teniendoen cuenta modificacionessuperficialesque se registran en la producción,el consumo o el ahorro,talvez por la relativa facilidadconque se pueden medir.Consideremos como ejemplo,la venta de un fertilizante (a un precio reglamentado mediante un subsidio). Se puede considerar que el aumento de la cosecha constituye una primera medida del éxito logrado. Más indispensable,como medida,es el cambio que pueda registrarse en la actitud de los campesinos en el sentido de comprar fertilizante a los precios del mercado libre en los años siguientes. Más fundamental todavía es el interésque puedan demostrar los campesinos por ensayar otras técnicas agrícolas modernas.Pero lo que importa sobretodo,son los cambios,si los hay,en la determinación de los campesinos de participar o cooperaren la aplicacióndenuevastécnicasagrícolas.Esposible informarse sobre el alcance de todos esos cambios;los métodos para reunir esos datos se examinan más adelante en relación con la ((Tercera etapa)). RESULTADOS DE LOS P R O G R A M A S Y DE LOS PROYECTOS
A continuación se examinan los resultados de los proyectos de desarrollo y cada una de las operaciones que intervienen,pero no los resultados de los programasde desarrollo.
15
Cómo medlr los resuliados de los proyectos de desarrollo
Los programas de desarrollo suelen abarcar toda suerte de actividades importantes, que varían según las regiones y las épocas. Tiene interés,por cierto,medir los resultados de los programas de desarrollo, pues si aquéllos se desconocen,los gobiernos difícilmentepodrán decidir su política, asignar créditos o dirigir sus servicios. Para evaluarlos, se valen del procedimiento estadístico de los censos, coeficientes de producción y comercio, números-índices,análisis de insumo-producto, contabilidad del ingreso nacional, etc. El estudio de los resultados de un determinado proyecto es más sencillo y menos honeroso y a menudo pueden efectuarlo las personas directamente interesadas en el proyecto. Además, los resultados de un proyecto son más patentes en el ((nivel) )en que un grupo de individuos interviene de manera directa en la aplicación del proyecto. Cuanto menos complejos sean los factores involucradosmás perceptible será el vínculo entre causa y efecto. Y a medida que los gobiernos mejoren los métodos para reunir datos que permitan evaluar los programas de desarrollo,se conseguiráindirectamenteun aumento de los datos sobre los resultados de los proyectos. ETAPAS PARA CONOCER LOS RESULTADOS D E UN PROYECTO
El proceso lógico de identificar (y medir) los cambios y de atribuirlos a un proyecto de desarrollo puede esbozarse como sigue: Primera etapa :Descripción del proyecto de desarrollo y delimitación de sus objetivos. Segunda etapa :Selección de los datos que habrán de emplearse para conocer los resultados del proyecto. Tercera etapa: Reunión de los datos antes,durante y después de la ejecución del proyecto. Cuarta etapa: Análisis e interpretación de los resultados y nuevo examen de éstos con los grupos interesados.
-
Estas etapas, excepto la tercera, son sencillas, impuestas por la lógica
y no requieren más tiempo ni esfuerzo que el necesario para concebirlas y llegar a un acuerdo sobre ellas. Dichas etapas son prácticamente análogas tanto en los proyectos pequeños y poco onerosos,como en los más amplios y complejos,y no exigen personal o créditos adicionales. La tercera etapa también puede ejecutarse con sencillez y sin necesidad de emplear personal o fondos adicionales. Por otra parte, si la amplitud o la importancia del proyecto lo justifica, esta etapa puede efectuarse con todo el detenimientoy detalle que se quiera. En la bibliografía se mencionan obras de referencia que permitirán realizar estudios más intensivos sobre la materia, así como los informes de una serie de estudios realizadosen Asia y América Latina. Es posible que,en alguna 16
lnhoduccidn
universidad del país o en algún servicio público, exista un centro de investigaciones sociales que pueda ser invitado a preparar un estudio científicodetenido de los cambios producidos por un determinado proyecto l. En el presente trabajo se da por supuesto que no se dispone de mucho personal ni de créditos suficientes para obtener y analizar los datos sobre los resultados de los proyectos.
1. Un ejemplo de las excelentes invesligacionesde orden social que tales centros pueden efectuar figuraen la obra de A.F.A. Husain. titulada Human ami Social Impcr o/ Technologtcal Change in Paklrtan. Dacca. Oxford Univenily Ress.1956 (dos volúmenes).
17
P r i m e r a
e t a p a
DESCRIPCIÓN D E L PROYECTO DE DESARROLLO Y DELTMITACIÓN D E SUS OBJETIVOS
Antes de examinar los resultados es muy útil,si no lógicamente necesario,preguntarse (q,los resultados de qué?»,conlo queimplícitamente se quiere saber en qué consiste el proyecto,por qué se ha emprendido y qué resultados deber esperarse.Las respuestasa esas preguntasindicarán los datos que se necesitan para identificar los resultados del proyecto. Cuanto más detallada sea la descripción de las actividades previstas y de los objetivosque el proyecto persigue,mayor serálavariedad de los índicesposibles. DESCRIPCI~N DEL PROYECTO
i D e qué aspecto del desarrollo económico y social se trata? i D e la tecnología agrícola? i D e la producción industrial?i Dela educación? i D e la salud? etc. i Qué organización o qué persona está encargada del proyecto? i Cuántas personas y qué clase de personas se ocupan del proyecto? i D e qué suministros,instalacionesy material se dispone para ejecutar el proyecto?i Cuáles son y de dónde proceden los créditosconsignados a tal efecto? i Dónde se realizará el proyecto? i Cuánto tiempo se dedicará a su ejecución ? La respuesta a esas preguntas revelará las dimensiones del proyecto. La administración del proyecto y la medición de sus resultados será más fácilsi esas dimensiones se especifican por escrito antes de iniciarlo o muy poco después de empezarlo. Es posible que algunas dimensiones se modifiquen durante la ejecución delproyecto.Convendráanotar expresamente esas modificaciones, indicando incluso las fechas en que se han efectuado, para facilitar la interpretación de los resultados del proyecto.
19
Cdmo medir los resultados üe los proyectos de desarrollo
DETERMINACI~N DE LAS OPERACIONESRELATIVAS AL PROYECTO
La selección de los índices y la interpretación de los resultados será más fácil si se preparan informes minuciosos sobre cada una de las actividades que entraña el proyecto. Conviene indicar quién las lleva a cabo, en qué consisten, por cuenta de quién y para quién se efectúan, dónde, cuándo y por cuánto tiempo. Suele ser útil incluir en esos informes por lo menos los pormenores que se expresan en los ejemplos siguientes: Opinión dada por los expertos (indicarnombre) a las autoridades(indicar nombre) de determinados ministerios, en relación con tal problema (especificarlo). Participación de un experto (indicar nombre) como miembro con derecho a voto de una junta de planeamiento en el curso de la preparación de un plan de desarrollo de la industria petrolífera. Redacción de textos de ley sobre la organización y establecimiento de un banco central,en consulta con el Ministerio de Hacienda. Capacitación de un determinado grupo de maestros en el empleo de métodos pedagógicos nuevos; tal formación deberá incluir conferencias (ien qué idiomas?), grupos de discusión (¿con intérprete?), lecturas seleccionadas,fiscalizaciónde las tareas y práctica docente. Preparación y presentación de una serie de programas radiofónicos de duración determinada,a intervalos fijos, etc. Distribución de medicamentos antipalúdicosa intervalosdeterminados, entre todaslas familias (especificarel número previsto) en una región determinada (especificarla). Es importante que las actividadesprecisas que deban iniciarse se especifiquen lo más pronto posible, de preferencia antes de aprobarse el proyecto, lo que permite reunir con tiempo los datos que se necesitan acerca de los grupos que se beneficiarán de esas actividades. Sin embargo, no siempre es posible especificar todas las actividades antes de que los expertos o los administradores interesados se encuentren sobre el terreno y puedan estudiar la situación con algún detenimiento. Además, la relativa eficacia de determinadas actividades puede exigir modificaciones ulteriores. N o obstante, si se especifican por escrito las actividades tan pronto como se han tomado las decisiones correspondientes, la compilación de datos podrá iniciarse oportunamente facilitando así las comparaciones ulteriores. Si,por ejemplo, se decidiera abandonar la distribución a domicilio de folletos informativosy se adoptara en su lugar la práctica de difundir la misma información dando a los maestros la formación conveniente en las escuelas locales, podrían conocerse los resultados del proyecto obteniendo con tiempo los datos de dichos maestros y de las familias,o de los maestros solamente.
20
Descripción del proyecto y delimitación de sus obJetivos
FORMULACI~N DE LOS OBJETIVOS
Al decidir la clase de índices que se necesitan para medir los resultados, es de evidente utilidad enunciar con alguna precisión las finalidades que se persiguen con el proyecto. Se podrá entonces averiguar qué clase de datos permitirán medir el grado del éxito obtenido. C o m o los datos de carácter objetivo y cuantitativo son los más convincentes, suele ser útil señalar aquellos cambios que son objetivamente mensurables, empleando métodos que otras personas puedan aplicar. Al determinar, desde el principio de un proyecto,los cambios que se desea lograr, se podrá obtener un mayor número de ((datos básicos N como un primer paso para la evaluación del tipo ((antesy después)). Los resultadosde un proyecto de desarrollo (y, por tanto,los criterios según los cuales el proyecto se considerará un éxito o un fracaso)pueden apreciarse en función de seis dimensionesprincipales,a saber: 1. Las clases de resultados perseguidos (incluso su permanencia y alcance). 2. Los efectos indirectos. 3. La zona de aplicación y la zona de influencia en que se manifiestan dichos resultados. 4. El tiempo en que se obtienen resultados de determinada importancia, o sea el ritmo de la transformación. 5. Los gastos que entrañan los resultados de determinada importancia, es decir la eficacia del proyecto de desarrollo. 6. La proporción de resultados perseguidos provocados por factores ajenos al proyecto de desarrollo. Esas dimensiones se examinan a continuación por separado. Definiciónde las clases de resultadosperseguidos
Los resultados que generalmente se persiguen con los proyectos de desarrollo pueden clasificarsecomo sigue: Resultados impersonales.Por ejemplo, redacción de textos legislativos, descubrimiento del remedio para determinada enfermedad, realización de un estudio. Resultados administrativos. Por ejemplo, establecimiento, amplicación o reorganizaciónde un organismo o servicio oficial;revisión de normas o procedimientos ;modificación del presupuesto. Resultados que afectan a las personas. Pueden ser de tres clases : 1. Cambios en la información,las actitudesy las aptitudes.Por ejemplo, x por ciento de los habitantes conocen la relación existente entre los mosquitos y el paludismo;y por ciento están dispuestos a vacunar el ganado ;zpor ciento pueden leer textos de determinada dificultad; existen 75 técnicos muy competentes en radiología.
21
Cómo medir los resultados de los proyecfos de desarrollo
2. Acciones y hábitos de individuos o de grupos. Por ejemplo, x por ciento de los habitantes toman regularmente medicamentos antipalúdicos; y por ciento hacen inocular el ganado; z por ciento asisten a las reuniones de padres y maestros; un equipo móvil de radiologíavisita determinadas aldeas una vez al año. 3. Cambios en la estructura y en las relaciones sociales.Por ejemplo, personas de una casta inferior ejercen actividades antes reservadas a las castas superiores;se tienen en cuenta las recomendaciones de una asociación de padres y maestros para modificar el plan de estudios; el jefe de la aldea cesa de ser la única fuente importante de noticias. ,
Cambios en las condiciones económicas y sociales, derivados de las acciones de individuos o de grupos. Por ejemplo, la producción de arroz aumenta en x por ciento; el índice esplénico del paludismo disminuye en y por ciento; el ganado es más numeroso y está en mejor estado; aumento de los empleos;cambios en la distribución de las diversas profesiones;variaciones en la composicióndel consumo ;estabilizacióndel índice de precios. Cambios en los recursos en capital.Por ejemplo,se construyeun puente; aumentan los ahorrosy las inversiones;se descubren yacimientospetroiíferos. Bajo el epígrafe a Cambios importantespara el desarrollo económico y social», pág. 14, se esbozan los cambios o transformaciones que se consideran de especial importancia para el desarrollo económico y social. Puede ser Útil indicar asimismo algunas relaciones cronológicas. En la información,las actitudes y las aptitudes, los cambios suelen producirse antes de que se modifiquen las acciones o relaciones sociales. Es probable que los efectos de un proyecto de desarrollo sobre las condiciones económicas y sociales se manifiesten sólo después de que las personas interesadas realicen ciertas acciones que a menudo suponen transformacionesen la estructura social. Conviene, de ser posible, analizar las relaciones y secuencias de esa clase de resultados ya que, en relación con un determinado proyecto de desarrollo, puede ser más fácil evaluar los resultados de una clase que los de otra. Por ejemplo, los cambios atmosféricos o la falta de estadísticas de comercialización fidedignaspueden dificultar de tal modo la interpretación de las fluctuaciones anuales de la producción de arroz que esos cambios se atribuyan con cierto fundamento a una campaña para fomentar el empleo de abonos. Sin embargo, si se reúnen datos sobre la venta de abonos o se visitan algunas explotaciones agrícolas para averiguar cuántos otros agricultores emplean abonos(y en qué cantidad los utilizan por hectárea)se obtendrán indicaciones sobre los resultados de la campaña de promoción de ventas teniendo en cuenta la acción de los campesinos. E n realidad, se comprueba que los registros sobre el
22
Descrfpcidn del proyecio y delfmitacidn de sus objefivos
empleo de abonos que establecen los campesinos constituyen mejores índices de producción que los datos que dan sobre el rendimiento por hectárea. La importancia de las acciones en cuanto indicadores de los cambios sociales es, por cierto,variable.Por ejemplo,los efectos de un proyecto de desarrollo pueden conocerse :a) por el número de personas que participan en una nueva actividad colectiva;b) por el número de personas que asumen parte de la responsabilidad de dirigir esa actividad;c) por el número de personas que toman la iniciativa de interesar a otros en dicha actividad.Las acciones de este tercer tipo representan resultados mucho más importantes que las del primer tipo. En muchos casos, es difícil obtener indices fidedignosde las acciones o de sus resultados. Por ejemplo, puede ser imposible, sin incurrir en gastos exorbitantes,efectuar una muestra al azar entre los ex-alumnos de una escuela de artes industriales para averiguar cuánto provecho sacaron de la formación recibida en dicha escuela y si ésta les inculcó la idea de la dignidad y el valor del trabajo manual. En cambio, en el momento de los exámenes finales se pueden obtener datos sobre los conocimientosy las aptitudes de los alumnos.Ulteriormente es posible compilar datos sobre sus actitudes y la competencia adquirida en la escuela, preguntando a los que desean recibir esa misma formación si fueron orientadoshacia la escuela por ex-alumnosopor los empleadores de ex-alumnos. Aun en el caso de que determinadascondicioneseconómicasy sociales concretas se consideren como finalidadesprincipales de un proyecto de desarrollo y de que puedan evaluarse fácilmente como a veces sucede, es de primordial importancia comprender cómo se dieron esas condiciones. Para el planeamiento y administración de otros proyectos de desarrollo es muy provechoso conocer los factores variables que intervienen, es decir, la información, las actitudes y las aptitudes sin las cuales no se hubiera producido la acción esperada,así como la naturaleza de las acciones que permitieron obtener las condiciones deseadas. Por otra parte, los resultados inmediatos y concretos de un proyecto de desarrollo suelen ser menos reveladoresque los resultadosulteriores y menos tangibles. La construcción de un puente, la inoculación de algunas reses por año, la solución de un problema de higiene, la fundación de una escuela de artes industriales,etc., no siempreconstituyen la prueba definitiva del éxito de un proyecto de desarrollo, que puede consistir en determinar si el proyecto en cuestión se desenvuelve espontáneamente y tiene en sí el germen de su propia evolución.i Se han incorporado los nuevos métodos y los nuevos conocimientos en la vida normal de los individuos y de las comunidades? ¿Persiste y aumenta su alcance? ¿Puede ahora la zona interesada construir sus propios puentes ?L Continuará construyéndolos ? i Se extenderá la inoculación del ganado en todo el país, contribuyendo acaso a mejorar otros métodos de cría del ganado? i, Se inculcaron bien los métodos de in-
23
Cómo medir los resultados de los proyectos de deSrirrollo
vestigación científica a los interesados,estimulándolosa emplearlos,de modo que los nuevos problemas de higiene puedan resolverse sin necesidad de nuevos proyectos especiales? ¿Atraerá la nueva escuela a buenos alumnos y continuará funcionando y ampliándose aun en el caso de que caiga el gobierno y se nombre a un nuevo ministro de Educación? La población local en su conjunto i ha llegado a creer en el progreso y en su propia capacidad de lograrlo ?A menudo se considera que esos son los verdaderos criterios del éxito l. Sin embargo,es posible que no se obtengan datos de esa índole sino años después de realizado el proyecto de desarrollo;y será entonces mucho más dificil distinguir los efectos de un proyecto de aquéllos que se deben a numerosos otros cambios que se han producido en el intervalo. No obstante,se pueden apreciarm u y bien los efectos de un proyecto en cuanto a profundidad y permanencia, y las probabilidades de que aquéllos persistan y se amplíen,determinando la actitud del público en el curso del proyecto y durante su ejecución. Dicha actitud puede determinarse generalmente aplicando los métodos de entrevista que se describen en la segunda etapa bajo el epígrafe <
24
Descripcidn del proyecto y delimitación de sus objetivos
acerca del fundamento de dichas expectativas, incluso de las hipótesis en que se basan, será más fácil seleccionar los datos para evaluar los efectos de las diversas operaciones. Esos efectos pueden abarcar no sólo los que se esperaba obtener directamente sino también los efectos indirectos,igualmente previstos, tanto favorables como desfavorables. Por ejemplo, si se espera que la distribución de folletos,como parte de una campaña sanitaria,sirva solamentepara difundir informaciones, ello sugiere una clase de datos sobre los resultados. Si se espera que los folletos influyan sobre las actitudes o que provoquen determinadas acciones, se necesitará otra clase de datos. Con esas informaciones se pueden preparar, con vistas a la reunión de datos, planes que tengan en cuenta todas las esperanzas cifradas en el proyecto y que prevean el acopio de datos sobre las relaciones entre las consecuencias esperadas y las actividades taxativamente ejecutad as. Efectos indirectos
A menudo los proyectos de desarrollo tienen consecuencias indirectas imprevistas,buenas o malas. Por esta imprevisión,es posible que no se obtengan datos básicos o que en los documentos disponibles no exista información que permita establecer comparaciones del tipo G antes y después».Por consiguiente,puede resultar difícil demostrar de un modo convincente que los efectos aparentes tienen relación con el proyecto. Por otra parte, los efectos imprevistos son a veces tan importantes para la administración y ulterior planeamiento de otros proyectos que puede ser útil tratar de determinar la relación que guardan con las actividades previstas en el proyecto. Para ello quizá sea necesario una serie de entrevistas aposteriori con algunos miembros de los grupos interesados y con observadores bien informados, a los cuales se les pedirá que reconstruyan de memoria la situación existente antes del proyecto y que expongan,basándose en sus experienciasu observaciones,lasprobables relaciones entre las actividades comprendidas en el proyecto y los efectos imprevistos.Puede ser conveniente estudiar los datos recogidos antes de iniciar el proyecto y que esclarecen la situación anterior a su ejecución.Aunque sean incompletos o sólo se relacionende manera indirectacon los factores estudiados,pueden ser muy Útiles para sugerir posibles relaciones entre las actividades correspondientes al proyecto y las importantes transformaciones que al parecer derivan de dichas actividades. Asimismo, la comparación de la zona de aplicación del proyecto con una zona ((testigo))puede esclarecer la causa posible de los efectos indirectos l. Desde luego, no todos los efectos indirectos son previsibles, pero muchos de ellos lo son,especialmente si se consulta con la debida anti1. Véasc la cuarta etapa «AnáIisis e inte.rpretaci6n de los resultados)).pág. 81.
25
C d m o medir los resultados de los proyecios de desarrollo
cipación alos especialistas en cienciassocialesy a otraspersonas conocedoras del medio, el pueblo y la cultura de la zona de aplicación del proyecto. Si se tiene interés en predecir los posibles efectos indirectos, se podrá: 1. Tratar de antemano de contrarrestarlos efectos indirectosdesfavorables y adoptar otras medidas para obtener el máximo de ventajas de los efectos indirectos favorables; 2. Ayudar a los expertos y a los administradores a descubrir los indicios de que se van a producir los efectos indirectos.Si saben lo que deben observar y por qué razón, podrán efectuar las modificaciones necesarias con la debida oportunidad; 3. Preparar planes, destinados a los expertos y a los administradores, para reunir datos sobre los efectos indirectos. Los efectos indirectos pueden ofrecer particular interés para el acopio periódico de datos durante el período de ejecución del proyecto. Si empiezan a observarse efectos indirectosimportantes,los expertosy los administradores podrán reunir datos directamente relacionados con el alcance de dichos efectos y sobre su relación con las actividades previstas en el proyecto. Esos nuevos datos podrán utilizarse para modificar sin demora las actividades,reforzar la utilidad y atenuar los inconvenientes de las consecuencias imprevistas del proyecto. Defnición de la zona de aplicacióny de la zona de injuencia
Todo proyecto de desarrollo tiene no sólo un centro de actividad y un grupo de personas a quienes concierne directamente,sino que, en general, posee también una ((zona de influencia)) que engloba a todos aquéllos a quienes interesa de manera importante.Para decidir cuáles índices permitirán determinar los resultados de los proyectos con los que se espera ejercer influencia sobre las personas (lo que sucede en la mayoría de los proyectos), suele ser conveniente especificar: a) los individuos o grupos a los que interesan las operaciones previstas en el proyecto («zona de aplicación))); b) la población total sobre la que el proyecto debe ejercer algún efecto perceptible y que, por consiguiente, también hay que estudiar para poder apreciar la magnitud de los resultados del proyecto (((zona de influencia))). Los efectos más reveladoresy los más fáciles de identificar en un proyecto son sus efectos directos en la zona de aplicación y, si sólo se dispone de recursos limitados, la compilación de datos sobre este aspecto resultará particularmenteprovechosa. Al proceder a la compilación de talesdatos,hay que precisar ante todo a qué personas afectarán directamente las actividades proyectadas. La «zona de aplicación))puede ser, por ejemplo, «los cultivadores de arroz que habitan junto a carreteras principales o secundarias de la región A,y que sembraron arroz en abril de 1955»,si tal definición incluye de hecho al grupo que,en cierto modo, estará directamente vinculado al proyecto. 26
Descripción del proyecto y delimitación de sus objelivos
Los efectos indirectos del proyecto pueden estudiarse adecuadamente en toda la «zona de influencia))que, por definición, abarcará a todos los cultivadores de arroz vinculados directa o indirectamente a las actividades previstas. En otros términos, comprenderá ((todos los cultivadores de la región A ». Si al definir un proyecto de desarrollo, se determinan claramente la m o n a de aplicación ) ) y la «zona de influencia)), será más fácil planear el proyecto y saber qué datos conviene reunir como índices de evaluación.
El ritmo del cambio E n una exposición completa de los objetivos de un proyecto de desarrollo habrá que indicar cuándo se espera obtener cambios de determinada magnitud. Es muy importante saber si pueden esperarse resultados apreciables en poco tiempo o a largo plazo y es útil tener tal diferencia en cuenta, tanto en los planes futuros como al evaluar los resultados.Si del examen de los objetivos,e incluso del ritmo de cambio, resulta que no es probable que las actividades previstas produzcan cambios de la magnitud deseada dentro de un plazo determinado, tal vez sea conveniente proyectar actividades adicionales o examinar de nuevo la ventaja de emprender cualquiera de ellas. Costo de los resultados obtenidos
El costo de un proyecto de desarrollo constituye en sí uno de sus resultados.Así como interesa tener en cuenta los efectos indirectos,imprevistos y desfavorables de un proyecto, cabe comparar el costo de su ejecución con las ventajas que ofrece.Para tal objeto suele ser necesario determinar: a) si los objetivos del proyecto se pueden lograr con el mínimo de gastos; y b) si la organización encargada del proyecto y las personas a quienes concierne consideran que los beneficios derivados del proyecto compensan los gastos. U n proyecto de desarrollo puede considerarse como una actividad básica indispensable para el progreso continuo de la higiene pública, de la educación o de la agricultura.Pero existe un momento a partir del cual puede ser preferible recurrir a métodos más económicos para lograr los mismos objetivos.i Podría entoncesprepararse un proyecto distinto para obtener el mismo efecto con menos gastos? Por ejemplo, se puede reconocer plenamente la necesidad de formar inspectores sanitarios pero i cuál sería el método menos oneroso y el más eficaz? ¿Organizar un curso de formación local, recurriendo a instructores del extranjero, o enviar al extranjero a algunas personas para que reciban tal formación? Los «costos», al igual que los «resultados», revisten múltiples aspectos. Por ejemplo, un ensayo de silvicultura puede indicar que la 27
Cdmo medir los resultados de los proyectos de desarrollo
preparación de la tierra destinada a almácigas ((cuesta ) )menos si se emplean ((bulldozers))que si se ejecutan los trabajos a mano. En los cálculos correspondientes deberán tenerse en cuenta los gastos en divisas extranjeras para adquirir y utilizar el equipo mecánico. En las zonas en que existe el subempleo deberá también tenerse en cuenta el ((costo )) o el inconveniente- social que representa el no emplear la mano de obra disponible. Muchos proyectos de desarrollo son de carácter experimental, tienen por objeto mostrar lo que es posible y realizable,con la esperanza de que algunas organizaciones o particulares adopten en mayor escala las técnicas modernas de que se trate. A menudo es necesario conceder un subsidio inicial para alentar a los participantes en el experimento y evitar que sufran perjuicios si fracasa. Después del experimento, sin embargo, difícilmente podrán emplearse los nuevos métodos, fuera de la zona de demostración, si el costo rebasa los medios económicos del individuo (o de la comunidad o de la administración pública) o si aquél es tan elevado que no compensa los ingresos suplementariosen efectivo, el mejoramiento del bienestar social ni otras ventajas intangibles. Es conveniente que desde el principio se incluya en los planes del proyecto una estimación de los gastos en relación con los resultados perseguidos. Además de calcular el total de los gastos previstos, convendría incluir un presupuesto detallado de los créditos que se destinan a los gastos más importantes (por ejemplo, personal internacional y homólogo y demás personal proporcionado por el país donde se lleva a cabo el proyecto, viajes, material, etc.). La simple determinación objetiva de los gastos probables puede obligar a reconsiderar un proyecto antes de su ejecución. Si éste se acomete con criterio realista se reduce también la posibilidad de que se le niegue de improviso el apoyo con que inicialmente se contaba. Además, la comparación ulterior de los gastos reales con los previstos inicialmentepuede ser m u y útil para determinar las causas del éxito o del fracaso de un proyecto.
-
Resultados defactores ajenos alproyecto
Puede suceder que algunos de los resultados que se persigue con un proyecto de desarrollo sean provocados por factores extraños. Esta posibilidad deberá tenerse presente desde un principio a finde reunir con tiempo los datos pertinentes.
1 QWÉN
DEBE DESCRIBIREL PROYECTO Y FIJAR sus OBJETIVOS?
Y a se ha indicado la conveniencia de definir desde el principio, y de manera explícita y detallada,la naturaleza del proyecto y sus objetivos. Pero antes de precisar tales dimensiones y objetivos alguien debe decidir en qué consisten.Desgraciadamente, a veces no se procede así o si se
28
Descrfpcldn del proyecto y dellmlfacfdnde sus objeffvos
toma una decisión al respecto los distintos organismos o personas interesados en el proyecto la conciben de m o d o diferente. Con frecuencia intervienen diversos intereses en un proyecto de desarrollo.En teoría,y en general también en la práctica, prevalecen los intereses de la organización encargada de su ejecución (organismo oficial, empresa comercial, institución privada, etc.). Cuando en un proyecto participan organizaciones intergubernamentales, gobiernos extranjeros o una fundación privada, puede suponerse que tienen sus propios objetivos, que pueden o no coincidir con los de la organización encargada de llevarlo a la práctica.Por otra parte,los expertos,que en teoría deben atenerse -y que de hecho suelen atenerse- a las finalidades que persiguen las organizaciones que los contratan, tienen a veces sus propios objetivos que pueden ser diferentes (como, por ejemplo,ensayar una teoría favorita o demostrar la superioridad de tal método o de tal producto). Las personas a las que probablementeafecte un proyecto de desarrollo tienen también sus propias finalidades, que pueden o no reflejar la política de su gobierno. Los gobiernos pueden también cambiar,o se puede nombrar un nuevo funcionario durante la ejecución del proyecto, dando ello origen a la adopción de objetivos distintos. Si los objetivos de un proyecto de desarrollo no se formulan y explican claramente, las personas que tienen diferentes intereses pueden concebir el proyecto de un modo muy diferente y atribuirlefines distintos. Por supuesto, tal cosa podría provocar graves equívocos, la falta de coordinación en el trabajo y, a menudo, el fracaso del proyecto por lo menos para una de las partes interesadas. Para el éxito de un proyecto, conviene que una persona o un servicio se encargue de preparar una exposición detallada sobre su naturaleza y objetivos, que deberá ser aceptada y aplicada por todos los interesados. Dicha exposición sirve también para decidir qué datos convendrá reunir como indicadores de los resultadosdel proyecto. Pero si una persona o un serviciono queda claramenteencargado,con su asentimiento, de preparar esa exposición,es probable que se descuide dicha responsabilidad. La mejor manera de ponerse de acuerdo sobre dicha exposición es discutirla previamente con todos los interesados.Se trata,pues, de «un proceso circular)), ya que para ciertos objetivos se necesitan determinados elementos de evaluación. Sin embargo, cuando éstos se mencionan como indicadores de los resultados del proyecto, tal vez se necesite una exposición distinta, o más completa, de esos objetivos. El texto del memorandum convenido, en el que se ha de indicar la naturaleza del proyecto, las actividades correspondientes y sus objetivos,así como losíndices de sus resultados,deberá ponerse en conocimiento de todos los interesados,incluso del público. Sin embargo, no deben subestimarse las dificultades que probablemente surjan al preparar tal memorandum ni el tiempo que habrá que dedicarle. Puede
29
Cómo medir los resultados de los proyectos de desarrollo
necesitarse un prolongado período de sucesivas aproximacionesy aclaraciones.Los expertos extranjeros tal vez faciliten esa tarea cuando formulen sugestionesbasadas en su propia experiencia y se informen de las funciones que deberán desempeñar. Además, inevitablemente habrá que precisar y modificar los objetivos a medida que se avance en la ejecución del proyecto, que se obtengan informaciones adicionales y que se discutan los medios y los fines. Al intentar la formulación por escrito de dicho memorandum, se acelerará ese proceso. Además, si se insiste en que el memorandum se prepare lo más pronto posible a pesar de las dificultades,se facilitará de manera importantela administración del proyecto y el acopio de datos que permitirán evaluar sus resultados.
30
S e g u n d a
e t a p a
SELECCIÓN D E LOS DATOS Q U E H A B R Á N D E EMPLEARSE PARA C O N O C E R LOS RESULTADOS D E L PROYECTO
En esta sección se trata únicamente de las clases de datos ya reunidos o que podrían reunirse sin necesidad de aumentos considerables de personal o de fondos. Las organizaciones que dispongan de importantes recursos en dinero y en personal,para la reunión y el análisis de datos, podrán consultar los estudios más detallados sobre métodos de observación,entrevistas,cuestionarios, análisis de su contenido y otros procedimientosque figuran en las obras mencionadas en la bibliografía. Las principales clases de datos de que aquí se trata son las siguientes : a) datos ya disponibles (de registros y censos); b) registros suplementarios que las organizaciones o particulares pueden convenir en llevar; c) datos obtenidos por la observación sistemática de la conducta; d) datos obtenidos mediante el empleo sistemático de la interrogación. Aunque en esta sección no se exponen más que los métodos de compilación de datos que no requieren especialistas en investigacionesni créditos importantes, no se ha querido dar, como puede parecer a primera vista, la impresión de que en cada proyecto deben emplearse todos esos métodos. Raros son los proyectos para los que hay que reunir todos los datos indicados. No obstante, es de esperar que las personas encargadas de los proyectos,incluso de los de importancia relativa,encuentren en esta sección sugestionesprácticas para mejorar o extender el acopio de datos que permitan evaluar los resultados obtenidos, así como las expiicaciones necesarias.
31
Cbmo medlr los resuliados de los proyecros de desarrollo
EMPLEO D E LOS DATOS D I S P O N I B L E S C O M O INDICADORES Los servicios públicos, las empresas comerciales y los organismos privados reúnen gran número de datos estadísticos sobre la población y el comportamiento humano l. Incluso en los países donde no existen servicios estadísticos bien desarrollados, es probable que haya un importante conjunto de datos que se pueda aprovechar para medir los resultados de un proyecto, aunque a menudo se descuidan.El principal defecto de esos datos es que su alcance, los métodos de compilación, etcétera,los determinan organismos que tienen fines propios que satisfacer y suele ser difícil seleccionar los datos que se necesitan o modificar el método de acopio para obtenerinformación sobrelos resultadosde un proyecto. N o obstante, esos datos ofrecen una posibilidad Única para conocer la situación y condiciones sociales del pasado y pueden arrojar también mucha luz sobre las situaciones y condiciones sociales del presente que, de otro modo, sería difícil o costoso evaluar. Estos datos pueden subdividirse en dos grupos principales: datos de registro y datos obtenidos de censos. Datos de registro. Los datos de registro consisten en anotaciones hechas de conformidad con reglamentos jurídicos o administrativos, prácticas comerciales u otras disposiciones, en el momento en que tiene lugar un acontecimiento. Se pueden citar los ejemplos siguientes de asuntos sobre los que se suele disponer de datos de registro,sin que la lista pretenda en m o d o alguno ser exhaustiva: 1. Estado civil :nacimientos, defunciones, matrimonios, divorcios. 2. Enfermedades: datos de hospitales y de las sociedades de seguros, frecuencia de las enfermedades que son objeto de declaración. 3. Educación :asistencia escolar,cursos,número de personas con títulos académicos. 4. Cuestiones fiscales: diversas modalidades de la recaudación de impuestos, aportaciones y prestaciones a título de seguro social. 5. Delincuencia:delitos conocidos por la policía, detenciones, decisiones judiciales, encarcelamiento,libertad provisional. 6. Reclutamiento y servicio militar. 7. Actividades económicas:nóminas,registrosde producción,registros de ausencias,cifras de venta (totalesy por artículos), depósitos bancarios, compensación de cheques. 8. Transportes: matriculación de automóviles, peajes percibidos en puentes y carreteras,camiones cargados. 9. Organizaciones oficiales:afiliados, personas que ocupan los cargos directivos, comités. 1. Véase Report on Intematlonal Dejinirlon and Measuremeni of Sfandardsand Levels of Llving. UN.E/CN. 3/179.Naciones Unidas. Marzo de 1954.
32
Selección de los datos que habrdn de emplearse
Al registrar muchas de las actividades precitadas, suele obtenerse información complementaria. Por ejemplo, los registros sobre matrícula escolar contienen a veces datos sobre nacionalidad de los padres, profesión del padre, lugar de residencia anterior,resultados de tests psicológicos,calificaciones escolares, etc. Los datos censales suelen reunirlos periódicamentelas personas que pasan por las casas, escuelas, empresas, etc. Los censos parciales, basados en el método del muestreo, son cada vez más frecuentes para completar o precisar los censos totales. Ese método -menos costoso y más rápido- permite formar y dirigir con más facilidad a un número limitado de investigadores y obtener así informaciones exactas y completas. No obstante,los datos de registroy de censo de que se puede disponer suelen ser fragmentarios,en especial en los países de recursos limitados. El margen de error posible se indica en el siguiente ejemplo en el cual se comprobó, mediante una investigación completa a domicilio, el grado de exactitud de los datos sobre mortalidad infantil establecidos por un centro de sanidad: CUADRO 1. Grado de exactitud de las declaraciones sobre mortalidad infantil en cinco aldeas egipcias en 1950 l. Número real de Fallecimiento de Porcentaje de fallecimientos niños menores de fallecimientos de niños menores de 1 año 1 año.notiecado al no notificadosal (establecido mediante Centro de Sanidad Centro de Sanidad
Aldea
investigación)
Sindbis . . . Quarantil. . . Barada . Aghour EiSughra. Aghour El Kubra . Totaldealdeas
. . .
.
.
.
.
.
.
.
. .
19 5 26 10 24 84
23
24 60 36 95 238
17 79 57 72 75 65
1. Fuente:Weir. Waslf, Hassan. Salah el Din M o h Kader. «An Evaluation of Health and Sanitation in Egyptian Villages». Journal of fhe Egyptian PubIIc Healfh Association, 1952. Adaptado de la página 404 (texto inglés) del articulo de Louis Moss, uThe Evaluatlon of Fundamental Education», Inrernarional Social Science Bullelin. 1955, vol. VIL n.O 3, págs. 398417.
Hay otros ejemplos. En muchos países, las estadísticas sobre los ingresos basados en las declaraciones fiscales individuales, reflejan sólo una parte de la realidad. D e modo análogo, las estadísticas del nacimiento de hijos ilegítimos son mucho menos exactas que las de los nacimientos de hijos legítimos. Quien utilice tales datos deberá averiguar si las personas interrogadas han proporcionado verdaderamente los datos solicitados (es decir, si podían proporcionarlosy si tenían razones para hacerlo) y si la persona que lleva el registro se propone realmente anotarlos con exactitud. Es indispensable que la persona que ha de utilizar esos datos sepa algo de la definicionesy contextos especiales que 33
C d m o medir los resultados de los proyectos de desarrollo
pueden influir sobre la naturaleza de esos datos. Por añadidura, los datos de registro y de censo no siempre se reúnen con arreglo al mismo método en los diferentespaíses, y a veces el método varía de un lugar a otro dentro de un mismo país. Por último, si durante el período estudiado el organismo que ha compilado los datos modifica radicalmente su propio método o sus definiciones, las estadísticas así obtenidas pueden ser no sólo inútiles sino peligrosas. Pero las probabilidades de error no invalidan necesariamente las estadísticasbasadas en registros.Si,en el período examinado son,sobre todo, insignificantes las variaciones en el tipo y frecuencia de los errores, los datos registrados pueden, con el curso del tiempo, constituir indicacionesbastante fidedignas.Por ejemplo,pueden proporcionar elementos my valiosos para la evaluación (del tipo «antes - después D) de los efectos de utl proyecto de desarrollo que interese a unacomunidad determinada o a un grupo de comunidades. Cuando se trata de elegir los datos que se han de utilizar para evaluar los resultados de un proyecto de desarrollo,el primer paso consiste en determinar qué datos, utilizables en el futuro, se han reunido ya o se reúnen continua o periódicamente. A tal efecto, habrá que recurrir a diversas organizaciones, funcionarios y profesionales, a fin de darse cuenta de la índole de registros que llevan.Es probable que se obtengan datos de los tribunales,de escuelas,iglesias,comisarías de policía,servicios agrícolas y de sanidad, secretarías de ayuntamiento, hospitales, médicos, empresarios de pompas fúnebres, empresas comerciales, partidos políticos, organizaciones agrícolas, organizaciones de la juventud y organizaciones femeninas.Habrá, naturalmente, que elegir entre esos datos, a causa del limitado tiempo que puede dedicarse a la compilación de datos. Los datos disponibles pueden utilizarse directamente como indicadores de los resultados de un proyecto.También pueden servir para corroborar o refutar las informaciones obtenidas en entrevistas o en la prensa. Por ejemplo, en el curso de entrevistas para «un estudio del efecto psicológico del desempleo prolongado)), las personas sin trabajo dijeron que «se sentían mucho peor al principio del desempleo que después de tres años», a pesar de que su situación económica continuó agravándose durante ese período l. Este brusco efecto del desempleo se confirmó al examinar ((documentoscomo los libros de contabilidad del tendero local,que revelaban un repentino descenso de las ventas en los meses que siguieron inmediatamente al comienzo del desempleo, luego una ligera recuperación y más tarde una declinación constante. De modo análogo, puede consultarse la contabilidad de las ventas de fertilizantes,a fin de verificar otros informes sobre los efectos de un proyecto para aumentar el empleo de los fertilizantes. 1. Marie Jahoda. Morton Deutsch y Stuart W.Cook. Research Methods in Social Relarions. Nueva York. Dryden Press. 1951. Ejemplos tomados de M.Jahoda-Lazarsfeld y H.Zeisel. Die Arbeitslosen von Marienfhal. Leipzig. Hirzel. 1932.
34
Sekccidn de los datos que habrán de emplearse
Si se examinan cuidadosamentelasposibles consecuencias directas e indirectas de un proyecto de desarrollo se puede a menudo comprender qué clases de datos disponibles han de utilizarse para determinar sus resultados así como la mejor manera de utilizarlos. Estos datos pueden también ser útiles aunque no se hayan previsto los resultadosy,en consecuencia,no se hayan adoptado medidas desde el principio para reunir los datos básicos. En tales casos, se pueden examinarlos documentos reunidos con otros fines,para determinar las condiciones y relaciones existentes antes de iniciarse el proyecto. Por ejemplo, el resultado inesperado de la introducción de maíz híbrido en determinado distrito fue el aumento considerable del consumo de la harina de trigo importada. Se comprobó que lostenderos de ese distrito preparaban regularmente cuentas mensuales de la venta de harina,que podían consultarse tanto respecto al distrito interesado en el proyecto como a un distrito testigo,desde la iniciación del proyecto sobre el maíz híbrido. El análisis de esas cuentas reveló que la elevada productividad de losterrenossembrados con maíz hibrido había hecho económicamente posible la compra de harina de trigo importada,que losclientescomprabande preferencia cuando susingresoslo permitían. Además,al interrogarse a los consumidoresse comprobó que consideraban que la harina de maíz híbrido era inferior,por su gusto y por su aspecto,a la variedad habitual,y este segundo factor indujo a la población a preferir la harina de trigo a la de maíz. Estos cambios no se observaron en el distrito testigo.
G E S T I O N E S CON L A S O R G A N I Z A C I O N E S PARA Q U E REGISTREN D A T O S SUPLEMENTARIOS
Si las organizaciones o los particulares no reúnen los datos necesarios para conocer el resultadode losproyectos,es posible,sin embargo,que estén dispuestos a reunirlos si se les hace comprender la utilidad que ello repiesentapara la comunidad o para la nación.Esta posibilidad no ha sido suficientemente estudiada,pero merece serlo. Incluso si hay que pagar por ese trabajo,es posible que los datos así reunidos resulten menos costososque por otrosmétodos.Además,sisetrata de una actividad pagada,es más fácilobtenerdatos completosy en la formadeseada. Si se pide a un médico local que anote diariamente,en una forma determinada,las enfermedades de todos los pacientes que examina, podrán obtenerse, al fin de cierto tiempo,indicaciones muy valiosas sobre la eficacia de una campaña sanitaria. Si la campaña tiene éxito, deberá disminuir la frecuencia relativa de ciertas enfermedades.Otro ejemplo de este método :se puede pedir a un maestro de escuela o a un 35
C d m o medir los resultados de los proyectos de desarrollo
funcionario local que cuente el número de niños de los diferentes grupos de edad que asisten y que no asisten a la escuela. En Ceilán se realizó una encuesta sobre el consumo pagando a las familias una pequeña cantidad para que anotaran todas las compras que hicieran durante cierto tiempo; además, se preparó un inventario de todos los artículos de consumo que se encontraron en su poder durante las tres visitas sucesivas del investigador para recoger los datos reunidosl. También suele ser fácil inducir a los comerciantesde abonos, mediante el pago de una pequeña remuneración,a que anoten las cantidades que vendan antes, durante y después de una campaña emprendida para estimular el empleo de abonos. Este método general puede adaptarse de m u y diversas maneras. Otro método relativamente poco costoso para reunir datos consiste en integrar su búsqueda en el proyecto de desarrollo. Por ejemplo, un experto adscrito a un proyecto de desarrollo puede aprender mucho sobre la eficacia de su propio trabajo y obtener datos que le ayudarán a planear su labor futura, si contabiliza sistemáticamente el empleo de su tiempo. U n a simple ficha, que llenará cada día, como hacen los abogados,ingenieros y muchos otros miembros de lasprofesionesliberales, le permitirá registrar esa información y tal vez prescindir de informes prolijos para resumir las actividades de la semana o del mes. Si el experto utiliza un automóvil en su trabajo,una anotación semanal o mensual del cuentakilómetros le dará una indicación más sencilla y más exacta de la amplitud de sus visitas que la que podría obtener fiándose únicamente de su memoria. Una secretaria (no necesariamente la suya) puede conservar las páginas viejas de su agenda,hacer un resumen de las reunionesque ha organizado o a las que ha asistido,anotar la clase de personas con que se ha entrevistado, etc. Si él lleva (lo que es conveniente) un registro cronológico completo de las cartas y de las notas que envía, pueden resumirse el número,la extensión y el tema general de esos documentos. El experto dispondrá así de un medio valioso para conocer el volumen de trabajo escrito que realiza,el número y la clase de contactos que ha establecido por escrito,así como los temas que lo obligan a escribir por más tiempo (que puede ser considerable). Esas clases de datos, que pueden parecer superficiales,revelan en realidad mucho a un experto sobre sí mismo y le son de gran utilidad para evaluar periódicamente los resultados que obtiene. El experto que comenzó teniendo audiencia con el Ministro una vez por semana y que después se entrevista con un funcionario de enlace de categoría subalterna sólo una vez al mes puede estar seguro de que algo ha ocurrido. Otros datos sobre los resultadosde la labor del experto son bien conocidos: el diario en que el hombre de ciencia o el ingeniero anota el progreso de su trabajo,o la serie de proyectos de ley preparados por el 1. Survey o/ Ceylon’s Comumer Flnances, Colombo. Central Bank of Ceylon. 1954.
36
Selección de los daios que habrán de emplearse
experto. Estos documentos conocidos son Útiles como testimonio concreto de los resultados alcanzados. Otra clase de indicadores que pueden integrarse en el proyecto son los siguientes:número de pacientes admitidos en una clínica y síntomas principales que presentan ; número de estudiantes que asisten diariamente a clase;número de padres que asisten a cada reunión de padres y maestros; número de estudiantes graduados que responden a los cuestionarios enviados por correo o que vuelven a la escuela para asistir a reuniones;número de nuevos estudiantes que al entrar en la escuela declaran, en un cuestionario,que en la elección de la escuela han sido influidospor ex-alumnos;número yproporción de familias que se niegana desinfectar sus casas con DDT;número de billetes vendidos en un puente de peaje, línea de autobús o ferrocarril;número de peticiones para obtener folletos ofrecidos en un programa radiofónico. En todos esos casos,la anotación de datos no da mucho trabajo y es útil para la ejecución del proyecto, así como para su evaluación. Hay numerosas ocasiones para incluir en las actividadesprevistas el registro de diferentes clases de datos,a fin de poder orientar continuamenteesas actividades y conocer en el futuro los resultados obtenidos. U n a clase de datos evidentes y muy importantes, que puede fácilmente incluirseen las actividades de desarrollo,consiste en los registros de empleo, de gastos y actividades. i Qué clase de personas hacían ese trabajo y en qué fecha? i Cuánto se gastaba en ellas y en otros fines? i De dónde procede el dinero gastado y por qué lo ha sido? i, Q u é actividades se han realizado, durante cuánto tiempo, en qué escala y a qué precio ? En todo caso los registros de ese tipo son indispensablesen una organización, aunque no siempre se comparen equitativamente con los resultados, para calcular la relación entre beneficios y costos y, cuando los resultadosdesalientan,para descubrir las causasposibles.Esas comparaciones son muy reveladoras. Por ejemplo, muchos proyectos de desarrollo comprenden planes para el empleo de trabajadores en todos los niveles. Si, al final de seis meses o un año, falta todavíapersonal o éste se renueva muy a menudo, puede ser esa la causa de que no se obtengan mejores resultados.Pero, si en todos los niveles el personal parece numéricamente suficientey no se obtienen los resultados apetecidos,habrá que buscar las causas del fracaso en la ineptitud o ineficaciadel personal seleccionado,en dificultades imprevistas en cuanto al problema o al grupo respecto de los cualesse concibió el proyecto, en la insuficienciade medios económicos, en la falta de cooperación local,etc. D e modo semejante,la comparación de los gastos y de los créditos consignados puede resultar m u y Útil. En el cuadro 2 (véase página siguiente) presentamos, como ejemplo, los datos sobre gastos que se obtuvieron en un proyecto llevado a cabo en la India.
37
Cdmo medir los resultados de los proyectos de desarrollo
CUADRO 2 l. Comparación de los créditos presupuestarios y de los gastos (en miles de rupias) Destino de las consignaciones
Administración central . . . Agricultura, zootecnia y equipo ex. . . . . perimental Educación . . . . . . Comunicaciones, gasolina . . Equipo de taller. . . . . Vivienda (reparaciones) . . . Varios . . . . . . . Total . . . . . .
Créditos presupuestarios para 1952-53
Gastos Porcentaje de los efectivos en gastos en relación 1952-53 con los créditos
63,2
65,6
104
12 2 7 33 20 11 119
12 03 3,6 O 02 9 __ 71,l
10 25 51
O 1 O 60
1. Fuente: Evaluarion Report on Firsf Years Working o/Community Projecrs. Government of india Planning Commfssion. Progranme Evaluation Organization. agosto de 1954. Adaptado de la pág. 402 del articulo de Louis Moos «The Evaluation of Fundamental Education». Inrernarional Science Bulletin. 1955. vol. VIL n.' 3. pbgs. 398-417.
Huelga decir que ese proyecto no produjo los resultados previstos. Al examinar los datos registrados e investigarlos motivos de la modicidad de los gastos, se comprobó que en ciertas esferas había habido insuficiente planeamiento, una centralizaciónexcesiva de las decisiones prácticas y una mala apreciación de las condiciones locales. El registro de datos en que se basa ese cuadro constituía un aspecto normal de las actividades. Sin embargo,esos datos fueron muy útiles pues explicaron la insuficiencia de los resultados del proyecto y sugirieronmedidas para aumentar su eficacia. También es útil registrar las actividades realizadas y comparadas con los correspondientes planes. Consideremos, como ejemplo, los datos procedentes de la India que figuran en el cuadro 3. Para interpretar dicho cuadro hay que conocer, por cierto, los factores estacionales. Pero prescindiendo de ellos, parece que algunos objetivos eran demasiado ambiciosos y otros demasiado bajos, o que algunas actividades no se habían administrado tan bien como otras (suponiendo que los objetivos se determinaron con criterio realista), o bien que no se registraron todos los datos. En este caso también hay que advertir que se trata de datos necesarios para la dirección administrativa ordinaria, pero de gran importancia para interpretar los resultados del proyecto y orientar las actividades futuras. Ninguno de los tres elementos mencionados -personal, gastos o registro de actividades- ofrece una respuesta definitiva, pero todos sugieren la orientación que conviene dar a las investigaciones para obtener otras clases de datos.
38
Seleccidn de los dafos que habrán de emplearse
-
CUADRO 3. Plan y actividad realizada (Proyecto: Mohamed Bazar Agricultura1). Objetivo para 1953-54
Actividad
Distribución de semillas mejoradas (en maunds . . . . . . . Paddy Aus Paddy A m a n . . . . . . . Trigo . . . . . . . . Patatas . . . . . . . . Distribución de abonos y estiércol Sulfato amónico (toneladas). . . . Mezcla de estiércol para el arroz (toneladas) Harina de huesos (toneladas) . . . Estiércol comunal (maunds). . . . Cáñano Sann (rnaunds). . . . . Préstamos a breve plazo (rupias) . . . Almacenes de abastecimiento (rupias) . . Repoblación (acres) . . . . . .
. . .
Resultado obtenido de abril a sept. de 1953
20 151
.
20 150 50 300
. . . . . . . .
100 100 90 lo00 100 50 o00 8 000 500
59 531 20 420 38
-
1. Fuente: Evaluaflon Report on First Years Working of Community Projects. Government of India Planning Codssion, Programme Evaluation Organization. agosto de 1954. Adaptado de un cuadro que Egura en el texto multicopiado del articulo de Louis Moss. op. cit. 2. Medida de peso corrienteen la indla y Asia Occidental. EL «maund» corrienteequivale ahora a 373 kg.
LA O B S E R V A C I ~ N D e más está decirlo,la observaciónde los efectosde lasactividadesprosigue sin interrupción.Con muy poco esfuerzo,pueden perfeccionarse los métodos de observaciónexistentes,a fin de obtener datos objetivos y avecesquantitativossobrelosresultadosde un proyectode desarrollo. El valor de los datos basados en observaciones suele ser mayor si :a) la finalidad de las observaciones se formula claramente;b) se efectúan conformea un plan sistemáticoen vez de hacerlas al azar;c) se registran metódicamentey se relacionan conotros acontecimientosy otras actividades;y d) si se someten a verificacióny confrontaciónen cuanto a su validez,exactitud y precisión. La observaciónpuede referirse a un comportamientoespontáneo en circunstancias típicas de la vida real (antes de iniciarla ejecución de un proyecto de desarrollo) o a un comportamiento ya influido en cierto modo por nuevos elementos (durante la ejecución de un proyecto o después de su realización). En ambos casos, la observación tiene la ventaja de ser independiente de la posibilidad, o del deseo,del sujeto observado de dar a conocer su propia impresión.Además,permite a veces al observador mantenerse al margen de la situación que está
39
Cdnto medlr los resultados de los proyectos de desnrrollo
'
observando. No siempre tiene esas ventajas el método que consiste en obtener datos haciendo preguntas y que se describe bajo el epígrafe ((Formulación de preguntas sobre los proyectos y sus resultados)). C o m o diferentes observadores suelen dar informes totalmente distintos sobre la misma situación,especialmente cuando observan el comportamiento colectivo, pueden adoptarse varios medios de comprobación, entre ellos los siguientes: 1. Definición precisa de los grupos que hay que observar (por ejemplo, i, todos los individuos? i todos los adultos? ¿todos los hombres? 1 todas las clases de escuela? 1 todos los grupos libremente constituidos?), así como de la observacionesque hay que registrar; 2. Selección de datos pertinentes para la observación (por ejemplo, empleo de determinadas herramientas en el campo, si se saca agua del pozo recomendado o se emplean persianas en las ventanas); 3. Normalización de las condiciones de observación (por ejemplo, tal día del mes, tal hora del día, tal lugar, tales personas que actuarán como observadores); 4.Siempre que sea posible, empleode procedimientosmecánicos,pruebas y otros medios que hagan la observación más precisa. Las observaciones pueden expresarse cuantitativamente, pero el análisis cualitativo suele ser útil para complementar el cuantitativo. La observación cuantitativa puede consistir en comprobar frecuencias (cuántas personas sacan agua del pozo del pueblo diariamente) y puede completarse con sistemas de división o gradación (el número de personas que sacan agua se divide en clases, por ejemplo :las que vienen sólo a beber, las que se llevan el agua para beber, las que se bañan y se llevan el agua para beber, etc.). Cuando la finalidad de un proyecto de desarrollo es introducir y fomentar el empleo de técnicas modernas, como arados metálicos o la instalación de persianas en las casas, la observación sistemática de zonas de muestreo, a intervalos determinados de antemano, será de inestimable valor. Cuando mediante un proyecto se trata de mejorar clínicas o escuelas y estimular su empleo,puede contarseel número de personas que acuden a ellas. Si el propósitoes crear organizaciones particulares,se puede observar la amplitud y frecuenciade sus reuniones así como las característicasdel público. U n simple torniquete al que se ha adaptado un contador mecánico de bajo costo o un observador que tenga en la mano un contador de ese tipo pueden contar los asistentes a una reunión o a exposiciones, las personas que atraviesan un puente o que entran en una tienda. Para contar el número de vehículos que pasan por un lugar determinado se suelen emplear dispositivos eléctricos, a veces de gran sencillez. La fotografía ofrece numerosas posibilidades como indicador de los resultadosde un proyecto. Unas vistas fijas tomadas antes y después de
40
SeIecclón de los &tos que habrh de emplearse
la ejecución de un proyecto pueden ser más elocuentes que una larga explicación.También se pueden proyectar peiículas sobre el comportamiento colectivo ante cada uno de varios observadoresy comparardespués sus observaciones sobre la película para llegar a una conclusión general. Las películas que muestran la calle principal de un pueblo antes y después de los efectos de un proyecto de desarrollo pueden revelar mucho acerca de los cambios introducidosen la vida de la población,permitiendo interpretar y completar los datos reunidos por otros medios. En proyectos que conciernen a numerosas comunidades o a numerosas familias, o en menor escala a numerosas personas, rara vez es posible observar más de una pequeña fracción de las personas sobre las que se espera influir.La selección de las personas a las que se va a observar exige cierto cuidado para que las observacionessean representativas del grupo, al menos aproximadamente. Este proceso de selección (muestreo) se examina brevemente en las páginas 48 y 49 y se estudia con mayor detalle bajo el epígrafe a Muestre0D (apéndice, pág. 91).
FORMULACIÓN D E P R E G U N T A S S O B R E LOS PROYECTOS Y S U S R E S U L T A D O S Los datos registrados y los resúmenes de observacionesdirectas son de gran valor en sí mismos, como índices de evaluación. Pueden resultar más reveladores y convincentessi concuerdan con las declaraciones de las personas directamente interesadas en dicho proyecto o a las que éste afecta.Además, algunos resultados, como cambios en la información, actitudes u opiniones, sólo suelen descubrirse mediante esas declaraciones. Un procedimiento familiar es abordar directamente a las personas para preguntarles lo que ha sucedido. El visitante que se encuentra en un ambiente nuevo, el periodista a la caza de noticias, o el diplomático en el curso de una cena utilizan constantemente esos simples métodos de averiguación.Los métodos sistemáticosaplicados alas entrevistas de carácter médico, las encuestas, las investigaciones sobre el mercado y los censos han sido objeto de numerosos estudios y se han perfeccionado. Si se dispone de fondos y personal suficientey si un proyecto de desarrollo justifica el esfuerzo, se pueden emplear métodos m u y científicos para obtener datos interrogando a las personas. Esos métodos se describen detalladamente en las obras citadas en la bibliografía. Muchos proyectos de desarrollo no justifican el empleo de esos procedimientostan complejos o bien no se dispone de fondosni del personal necesarios. Sin embargo, algunos principios establecidos en relación 41
G d m o medir los resullados de los proyectos de desarrollo
con los métodos científicos de las entrevistas son aplicables a la interrogación limitada y sencilla que no requiere fondos ni personal adicionales y cuyo valor compensa con creces el pequeño esfuerzo y el poco tiempo que supone su empleo. En esta sección se estudian esos príncipios bajo el título esquemático:q,Qué? i Quién? i Aquién? i C ó m o ?» Suponemos que las preguntas se hacen en el curso del proyecto para facilitar su ejecución.Si se formulandespués de llevar a cabo el proyecto habrá, por cierto, que cambiar el tiempo de los verbos que se usan a continuación.
i QUJ?PREGUNTAS FORMULAR ? Suele ser útil hacer preguntas de muy diverso tipo sobre los proyectos.
A continuación se sugieren las seis categorías principales. Qué sabe la gente sobre las actividades comprendidas en elproyecto ? Las personas a las que se pretende influir con el proyecto, iestán informadas de su existencia? i H a n participado en alguna actividad o se les ha invitado a hacerlo ? Qué dicen las personas que llevan a cabo el proyecto sobre lo que se ha realizado hasta ahora? C o m o se sugiere en los cuadros 2 y 3, las actividades frecuentemente no se realizan según el calendario previsto en el plan original o con la amplitud prevista en el presupuesto. Por otra parte, no pueden apreciarse los resultados sin saber lo que se hace realmente;el Único modo de averiguarlo es a menudo preguntar a la gente. Además, las informaciones de las personas interrogadas sobre el proyecto difieren mucho, según se trate de un funcionario de la oficina central, un funcionario de una filial, una persona adscrita al proyecto o una persona a quien el proyecto concierne. Esas discrepancias en sí son muy útiles para interpretar los resultados del proyecto.
i Cuáles son losfinesdelproyecto en opinión de laspersonas interrogadas? También sobre este punto habrá probablemente grandes discrepancias entre las respuestas de personas que se encuentran en diferentes «niveles» en un proyecto de desarrollo.Algunos creerán,por ejemplo, que el proyecto debe aumentar la producción de trigo; otros, que se trata sobre todo de un método para formar dirigentes rurales y otros, de despertar el interés generalpor los métodos científicosde explotación agrícola. La concepción de los objetivos influirá por supuesto sobre la actitud de los participantes. Tal vez algunos estén reuniendo ya datos para 42
Seleccidn de los dofos que habrán de emplearse
evaluar los resultados del proyecto, pero esos datos pueden ser mal elegidos o incompletos. Por ejemplo,es posible que para algunos fines, las simples estadísticas de producción sean buenos indicadores; para otros,puede ser mucho más útil conocer el número de personas que asisten a las reuniones de extensión agrícola. Si los diversos participantes conciben de manera diferente los objetivos de un proyecto, es posible que durante algún tiempo no haya coordinación en sus trabajos y no se persigan con eficacia los finesprevistos. Por eso,las informaciones sobre la concepción que se tiene de los objetivos,puede arrojar mucha luz sobre el éxito del proyecto. También pueden sugerir un mayor esfuerzo para comprender mejor esos fines,como medio de lograr resultadosÓptimos. Como ejemplo sorprendente del grado de incomprensiónque puede existir sobre los fines,particularmente al comenzar un proyecto, nos referimos a un proyecto de desarrollo emprendido en una aldea de la India, con la participación de representantes del American Friends Service Committee.U n antropólogo de Orissa hizo una encuesta entre la población de la aldea y de sus alrededores para averiguar cuáles eran, según los habitantes,las intenciones de los expertos del AFSC que se habían instalado temporalmentecerca de la aldea.Dicho antropólogo recogió las impresiones siguientes: ((u)Algunos dicen que compraremoslas mejores tierras de la región y organizaremosuna explotación agrícola; «b) Otros que cambiaremos el sistema de castas y estableceremos la igualdad. Que cambiaremos la religión de los habitantes; «c) Otros que hemos obtenido la zona de Barpali del gobierno de Orissa porque no puede pagar el préstamo concedido por el gobierno norteamericano para construir lapresa de Hirakud;que nos instalamos ahí definitivamentey que vamos a gobernarlos; «d) Algunos que somosaltos funcionarios enviadospor el gobierno de Orissa para colonizar y gobernar a las poblaciones de esta zona.D e no ser así,el gobierno no nos hubiera construído viviendas ni vendrían a visitarnos grandes personalidades como los comisarios adjuntos y miembros de la Junta del Erario Público,(las visitas que recibimos de altos funcionarioshacen pensar al público que tenemos relación con el gobierno y nos dan un prestigio superior al de nuestros visitantes); G e) Algunos creenquecambiaremossu modo de vida,sustituyendo la familia por la vida en comunidad;que les pediremos que tengan una cocina para todos,sin distinción de casta,credo o nacionalidad y que tendrán que vivir bajo un mismo techo. Y a no tendrán que ocuparse de sus hijos, pues nosotros nos encargaremos de ellos en nuestra maternidad.Apenas nazca un niño en la aldea,se pedirá a los padres que nos lo entreguen; Gf) Otros aldeanos tienen la impresión de que no permitiremos a los leprosos que vivan en la región de Barpali,que los fusilaremos o los llevaremos de la región para recluirlosen una leprosería;
43
Cómo medir los resultados de los proyecios de desarroIIo
«g) Otros piensan que hemos venido aquí para ejerceruna influencia política con objeto de obtener votos l. ) ) 2 Qué importancia atribuye la gente a los objetivos delproyecto ? Esta pregunta se dirige en primer lugar a las personas a quienes concierne el proyecto de desarrollo.Su reacción influye en el éxito del proyecto, porque a menos que consideren que los objetivos del proyecto revisten interés para ellos, no tendrán motivos para participar sin reservas en su ejecución. Por consiguiente,las respuestas a esta pregunta permiten saber:a) si el proyecto cuenta o no con el apoyo popular necesario;b) qué nuevos esfuerzos se requieren para explicar los fines del proyecto; c) si hay que introducir modificaciones en él (iy en qué consisten?) para llegar a un acuerdo sobre los medios de obtener los resultados (1y cuáles?). Aunque el ejemplo siguiente se refiere a un proyecto que exigió mayores recursos en fondos y personal que los que se suele necesitar para proyectos más modestos, cabe mencionar las entrevistas,sencillas pero muy reveladoras,que realizó en la India la Organización de Evaluación de Programas, que colabora en los proyectos de desarrollo de la comunidad. Esas entrevistas se llevaron a cabo en 16 aldeas, unos seis meses solamente después de iniciarse el proyecto. Las primeras preguntas eran sobre lo que se hacía. (¿Qué sabe la gente sobre las actividades comprendidas en el proyecto?, pág. 71.) Se preguntaba a los aldeanos si estaban enterados de que en su región se había emprendido un proyecto de desarrollo de la comunidad y cómo lo habían aprendido.Casi un tercio del total no habían oído hablar del proyecto y en una aldea un 85% de los habitantes lo ignoraban. Los pequeños agricultores estaban mucho más enterados de los proyectos que los trabajadores agrícolas y no agrícolas. También se preguntó a los aldeanos si se les había invitado personalmente a tomar parte, en su aldea,en algunas de las actividades previstas en el proyecto. Sólo un 37% respondieronafirmativamentey en algunas aldeas sólo 11%. También en este caso, los pequeños agricultores (44%) estaban mejor informados que los trabajadores agrícolas (21%). Se preguntó en seguida a los aldeanos cuáles eran, a su juicio, los objetivos que se perseguían con el proyecto;qué actividadesconsideraban más importantes para modernizar la aldea y cuáles actividades creían que les beneficiarían más a sí mismos y a sus familias. Se obtuvieron las respuestas que figuran en el cuadro 4. 1. Howard M.Teaf. Ir.. «Origins of a private villige improvement project». en: Hands Across Frontfers. Howard M.Teaf. Jr..yPeterG.Franck.editores.s’-Gravenhage,NetherlandsUnivenities Foundationfor International Cooperation. 1955. Distribuido en los Estados Unidos de America por Cornell Univenity Press, Ithaca.N.Y.La cita está tomada de A Brief Repori on General Survey,preparado por Nityananda Panaik en octubre de 1952 para el Proyecto Orissa del American Frlends Service Committee.
44
Seleccldn de los &tos que habrán de emplearse
CUADRO 4.Objetivos atribuídos al proyecto por las personas interrogadas y actividades consideradas por eiias como importantes l. Persones que respondieron
Programa
Mejoramiento de las tknicas agricolas . . . . . . Mejoramiento de semillas . . Estiércol, abonos . . . . Fosos de estiércol . . . . Riego . . . . . . Comunicaciones . . . . Asistencia veterinaria . . . Servicios médicos . . . . Saneamiento . . . . . Educación . . . . . Industrias domésticas . . . Préstamos . . . . . Cooperativas . . . . . Distribución de tierras, reforma agraria. . . . . .
386 237 161 140 238 650 193 238 459
431 16 20 54
.
.
33 20 14 12 20 56 17 20 40 37 1 2 5
- ~
Total de respuestas
Necesidad esencial de la aldea
Objetivo del proyecto
1159
Necesidad esencial del interrogado
240 14
20 1
44 1
4
267 199
22
-
16 -
22 102
2 8 6 5 2 2
73 60 20 28
- -
__
1215
209 21 73
17 2 6
- 15
191 100
- -8
9 46 45 105 72 14
1
153
12
__
4 4 8 6 1
1235
1. Fuente: Communliy Projects: Firsl Reactlons. Govrrnmcnt of india Planding Commission. Programmc Evaluation Organiuction. agosto de 1954. Cuadro tomado de la pág. 410 del artículo de Louis Moss: «The Evaluation ofFundamentalEducationn. InternatlonalSoclai Sclence BulIetln,1955,vol.VII. n.O 3. págs. 398-417.
Nótense las discrepancias en este cuadro. Por ejemplo, el 56% de las personas interrogadas sabían que el proyecto tendía a mejorar las comunicaciones y, sin embargo, tal mejora no se consideraba en general una ((necesidad esencial)). Sólo un 16% estimaban que el mejoramiento de las comunicaciones era ((esencial para la aldea)) y sólo 8% ((que era esencial para ellos mismos)). De modo análogo, la necesidad de los serviciosmédicos y los trabajos de saneamiento parece haber sido en general mucho menos reconocida que lo que esperaban los autores del proyecto. Por otra parte, aunque las obras de riego realizables en virtud del proyecto eran limitadas, el conjunto de la población había demostrado por ellas el mayor interés. Esos datos facilitaron mucho la administración de los proyectos, al mostrar cómo debía modificarse el orden de importancia de las actividades y cuánto tiempo debía dedicarse a la modernización de la comunidad. Además, el análisis de las diferencias entre una aldea y otra permitió evaluar la relativa eficacia de los trabajos de los diferentes expertos y de los diferentes métodos de educación.
45
C ó m o medir los resuliodos de los proyectos de desarrollo
,j Qué
cambios ha observado la gente o cree que se han producido durante la ejecución delproyecto ?(Por ejemplo, cambios en las demás personas, en laproducción,en las condiciones sociales o económicas.)
Si los registros u otros datos disponibles informan de manera satisfactoria sobre los cambios ocurridosdurante la ejecución del proyecto, no tiene gran utilidad hacer esta pregunta. Sin embargo,en muchos casos,no se dispone de datos fidedignosque revelen esos cambios o los que se han obtenido sólo se refieren a algunos de los cambios posibles que interesan al personal encargado del proyecto. El método general más útil consistirá en entrevistar a un limitado número de personas que estén informadasdel proyecto o efectivamente influidas por éste o de loscambios que se espera lograr. ,jE n qué sentido han cambiado las personas de la zona de aplicación del proyecto,en el curso de su realización ?(lnformación,aptitudes,actitudes, conducta,relaciones sociales.)
Hasta cierto punto,la simple observación informará suficientemente, sin necesidad de hacer preguntas,sobreloscambiosen lasaptitudes(por ejemplo,progreso de la alfabetización), en la conducta (por ejemplo, vacunacióndelganado) y en relacionessociales(porejemplo,formación de una asociación de padres y maestros y reuniones periódicas). Si se han de hacer observacionesdirectas,habrá que prever también algunas entrevistas, pues no toman mucho tiempo y confirman las observaciones.Además,sólo se obtendrán datos limitados sobre ciertos cambios importantes (información y actitudes) si no se interroga a las personas que los han presenciado.En algunos proyectos de desarrollo, los principales resultados que se persigue son los cambios de actitud, como la disposiciónpara realizartrabajosmanuales,para hacer economías o inversionesy aceptar los riesgos que entraña la participación en empresaspúblicas oprivadas.Evidentementepueden obtenerseindicios de la importancia de esos cambios de actitud sin interrogar a los interesados, pero las preguntas pueden revelar una valiosa experiencia y detalles que permitirán comprender mejor los hechos. Entre los cambios que se han producido (las dospreguntasprecedentes), cuáles son, en opinión de la gente, consecuencia de tal o cual actividad relacionada con elproyecto ?
Aun cuando se hayan comprobado hechos irrefutables sobre los cambios producidos, como,por ejemplo,que se hayan compilado datos fidedignos acerca de la producción en la zona de aplicación y en una zona c testigo)), los escépticos pueden preguntarse si esos resultados se deben al proyecto de desarrollo.En tal caso,resultará muy útil obtener confirmación de esos datos mediante entrevistas con las personas a 46
SeIeccidn de los datos que habrán de empIeurse
quienes concierne el proyecto o que están informadasdel mismo pero no intervienen en él. Además,la administración ulterior del proyecto será mucho más fácil si los datos indican que ciertas actividades producen determinados resultados. A veces los mejores resultados se obtienen de las actividades menos costosas. En un ejemplo antes citado,la contabilidad de las ventas de harina llevadapor los comerciantes permitió explicar cómo el cultivo de maíz híbrido provocó un aumentodel consumode harina de trigoimportada. Deno haber existido esos registros,se podrían haber obtenido pruebas bastante convincentesde la manera siguiente: 1. Preguntando a los comerciantes de las dos regiones si habían percibido algún cambio en la compra de harina de trigo importado en el período en estudio y, en caso afirmativo,cuál era a su juicio la causa (tal vez una disminución del precio); 2.Visitando al azar a una serie de familiaspara obtener de esa muestra datos que permitan determinar el consumo de harina de trigo por persona en las dos regiones después de llevarsea cabo durante cierto tiempo el proyecto de maíz híbrido (de ello podrían obtenerse suposiciones y no conclusiones,pues las diferencias comprobadaspodrían existir antes de iniciarse el proyecto); y 3. Preguntando a los miembros de las familias que habitan en una y otra región si habían observado algún cambio.Al mismo tiempo se les podría pedir que expusieran las razones a que atribuían tal cambio.
i QUIÉN DEBE HACER LAS PREGUNTAS? Excepto cuando se dispone de interrogadoresespecializados,se puede obtener gran provecho de las preguntas sobrelas actividadesrelativas al proyecto y sobre sus resultados si de ellas se encargan personas que participan directamente en el proyecto,es decir,expertoso funcionarios del gobierno o del organismo privado interesado.Si alguna organización extranjera o intergubernamentalcoopera en talproyecto mediante el envío de asistencia técnica o económica,probablementesus expertos u otrosrepresentantestambién se interesen en particular en lainterrogación.Naturalmente,siemprees posible ciertaparcialidad si laspersonas encargadas de la ejecución de un proyecto interrogan sobre sus resultados. Por otra parte, también hay inconvenientes cuando personas ajenas al proyecto reúnen los datos (véase pág. 65). Para reducir el riesgo de parcialidad puede prepararse de antemano un cuestionario; además,la distribución previa de los trabajos permitirá a todos los grupos interesados obtener con el mínimo de gastos el mayor número de datos. U n personal calificado de interrogadores resultará de gran utilidad para obtener los datos deseados si se proyecta una encuesta en gran
47
Cómo medir los resdtdos de los proyecios de desarrollo
escala. Sin embargo, aun cuando se disponga de ese personal, convendrá aplicar los mismos principiosgenerales sobre la realización de la encuesta. El personal debe hacer preguntas en nombre de la organización (u organizaciones) responsabley en estrecha cooperación con los expertos y el personal administrativo directamente interesado en el proyecto.D e no ser así,la entrevista revestirá el aspecto de una investigación «externa» en vez de ser un medio de buena administración «interna» del proyecto.
L A QUIÉN DEBE INTERROGARSE? C o m o la mayor parte de los proyectos de desarrollo tienden a suscitar modificacionesen las personas o mediante ellas,es lógico informarsede esos cambios buscando el testimonio de las personas directamente interesadas en el proyecto, a saber:participantes en cursos de formación, funcionarios de los servicios de divulgación, campesinos de una región determinada, trabajadores de una obra de riego, etc. Si el grupo a quien afecta directamente el proyecto es bastante reducido, se puede interrogar a todos sus componentes, aunque usualmente debe seleccionarse una muestra. La dimensión de las muestras y los métodos de seleccionarlas a fin de evitar errores sistemáticos se estudian bajo el epígrafe a Muestre0 ))(apéndice,pág. 91). Basta señalar que se elimina una común fuente de error sistemático si todos los componentes del grupo tienen la misma posibilidad de ser elegidos en la muestra. Por ejemplo, si se dispone de la lista de todos los componentes de un curso de formación o de un serviciode divulgación,se puede constituir una muestra de unos 20 de ellos, elegidos al azar. También puede inscribirse el nombre de cada uno en cualquier orden en una lista y elegir para la muestra el 100,el 200 o el 500.Esos dos métodos dan a cada componente del grupo una oportunidad igual de ser seleccionado. En una aldea o en una zona más amplia,conviene no limitarlas entrevistas a quienes viven junto a la calle principal,o a quienes se encuentran en la aldea en día de mercado, o a los que han sido seleccionadospor el jefe de la aldea. Es preferible hacer un mapa de la zona, aunque sea aproximativo, y repartir equitativamente la muestra (reducida a 20 entrevistas)entre las diferentescomunidades(y,de ser posible,en forma proporcional a la densidad de población). En todas las localidades de la zona, los informantes deben ser en lo posible seleccionados al azar, evitando retener los de apariencia más o menos próspera, los más interesados o más indiferentes,los más o menos accesibles,etc. Es probable que algunos errores debidos a la composición de la muestra se deslicen en cualquier grupo de respuestas,pero si se observa el prhcipio de la igualdad de oportunidades de selección se reducirán esos errores.
48
Selección de los datos que habrdn de emplearse
N o sólolaspersonas a quienesconcierneun proyecto pueden proporcionar informaciónÚtil. Como se dijo antes,puede ser de interés interrogar a otras personas que se relacionancon el proyecto de desarrollo o que probablemente están informadasdel mismo.En la esfera local,el dirigente de la aldea,el maestro de escuela y otras autoridades de la comunidad pueden proporcionar informaciones Útiles y su actitud respecto del proyecto será importante. Tal vez señalen resultados que de otro modo no podrían conocerse,y su actitud como dirigentes de la comunidad puede determinar en gran parte el éxito o el fracaso del proyecto. Por otra parte,pueden tener un interés personal en el éxito o el fracaso del proyecto,y al interpretar sus respuestas debe tenerse en cuenta esa posible parcialidad. Los expertos y administradores que participan en el proyecto en niveles diversos (sobre el terreno,en lasoficinasregionales,en la oficina central)constituyentambién fuentesprimordialesde informaciónsobre los objetivos,las actividades y los resultadosdel proyecto.También en este caso,sus contestacionespueden reflejar sus propios intereses,pero no por ello dejan de ser menos Útiles. Cuando se trata sobre todo de proyectos importantes o de proyectos aplicados en zonas urbanas, se puede encontrar un gran número de personas bien informadas aun cuando nada tengan que ver con la ejecución de los proyectos; por ejemplo, funcionarios de servicios oficialesque no están directamente encargados del proyecto,miembros deunafacultad universitaria,hombres de negocios,personalidadespolíticas,periodistas y redactoresen jefe, diplomáticos y personas relacionadas con otras actividades de desarrollo,como representantes de fundaciones, personal en misión del Punto IV,personal de las Naciones Unidas y otros funcionarios internacionales. Desde luego, quienes tieneninteresespolíticosodesempeñanfuncionesde ese carácter pueden abrigar motivos egoístas,circunstanciaque hay que tener en cuenta al interpretar sus contestaciones. Lo que importa no son sólo las informaciones y actitudes así reveladas, sino también las discrepancias entre los diversos grupos de respuestas. Estas pueden descubrirse resumiendo separadamente los resultados de las entrevistas de cada grupo. Cuando los intereses especiales de los diferentes grupos de informantes se han tenido en cuenta,las discrepancias existentes entre los grupos pueden utilizarse para destacarla necesidad :a) de comprobarmejor losinformes; b) de lograr un acuerdo más completo sobre los objetivos;c) de establecer un mejor enlace respecto a objetivos,actividades y resultados;o ú) de modificar,segúnconvenga,lasactividades comprendidasen el proyecto o los métodos de ejecución.
49
Cdmo medir los rewltados de los proyectos de desarrollo
i C 6 M O H A C E R LAS PREGUNTAS '? Obtener informacionesy adentrarse en el asunto conversando directamente con la gente, son actividades que deben realizar continuamente todas las personas que colaboran en la realización de proyectos de desarrollo.En la medida en que este procedimiento,a menudo irregular y un poco subjetivo,pueda hacerse más sistemático y objetivo,la información obtenida será más útil para los que se interesan directamentey más convincente. Sin embargo,cuando una persona interroga a otra se crea una situación que no es sencilla.¿Qué finalidad tienen las preguntas? i C ó m o se ha procedido a la selección del interrogado?¿Qué se hará con sus contestaciones? ¿Qué debe hacerse si no responde? Añádase a esto otros factores como la diferencia de condición,las tensiones políticas y a veces la presencia o aun la participación de un extraño en la entrevista, y resultará una situación evidentemente m u y compleja. No obstante, se posee bastante experiencia sobre los métodos para hacer preguntas de un modo sistemático y eficaz. Además, se conocen algunosfactorespsicológicos de carácter general que pueden servir para mejorar los resultados. Cómo proceder al hacer laspreguntas ? Presentación de la serie de preguntas. En general, el interrogador debe ante todo realizar las tareas siguientes: 1. Explicar el propósito y objetivos de las preguntas. 2. Exponer el método utilizado para seleccionar a la persona que va a ser interrogada, e indicar (usualmente sin citar nombres) cuantas otras personas son interrogadas en circunstanciassemejantes. 3. Identificar a la persona o al organismo que desea la información. 4. Precisar el carácter anónimo o confidencialde la entrevista. 5. Establecer por su actitud, el tono de voz y su sensibilidad,vínculos verdaderamente cordiales con el interrogado. 6. Inducir al interrogado a expresar su pensamiento plena y francamente. Es de suma importancia convencer al informante de que la entrevista no tiene por objeto hacer averiguaciones sobre él o sus actividades,ni es un medio de descubrir hechos que puedan perjudicar a sus superiores, amigos o determinadas personas que colaboran en el proyecto. 1. Esta sección es. en gran parte, una adaptación. hecha con la autorización de los autores y de la Dryden Press. del estudio de Charles F.Cmnel1 y Robert L.Kahn. «The Collection of Data by Interviewingn en la obra editada por Leon Festinger y Daniel Katz: Research Mefhods in the Behavforai Scfences N e w York,Dryden Press, 1953, cap.8. págs. 334-361. Copyright by the Dryden Press. Para los lectores que deseen un análisis muy completo del tema, señalamos el excelente estudio de Roben L.Kahn y Charles F.Cannel1: The Dynamics of Infervfewfng. N e w York. J.Wiley and Sons. London. Chapman Hall.1957.
50
Selección de los daros que habrán de emplearse
La persona interrogada debe considerar la entrevista como un medio de orientar y mejorar las actividades previstas en un proyecto de desarrollo y darse cuenta de que con la entrevista sólo se persigue un fin constructivo.Al iniciarse la entrevista,se tratará de descubrir las actitudes delinterrogadoen relación con el proyecto,y se le explicará cóma la entrevista respondea esas actitudes.Por ejemplo,se le puede señalar que la entrevista le proporciona una oportunidad de dar a conocer su opinión a las autoridades que sinceramente desean conocer la actitud del público en general,y obtener de éste sugestionesconcretas de mejoramiento. L a interrogación. El procedimiento ideal es formular las mismas preguntas a cada sujeto,en forma idénticay en idéntico orden.Ello supone una redacción cuidadosa de las preguntas y su ensayo previo para tener la seguridad de que son inteligibles para todos los interrogados. Desde luego,esa normalización suele ser imposible, pero conviene dar la mayor uniformidad a las preguntas, sobre todo para evitar la insistenciapersonal o las alteraciones que puedan deslizarse en el curso de una improvisación. El orden de las preguntas puede modificarse para tener en cuenta el desarrollo natural de la entrevista.Aun en una entrevista muy sencilla, que revista la forma de una conversación,es aconsejable tener a mano una lista de preguntas,para recordar la forma precisa de las mismas y los temas que pudieran olvidarse impensadamente en el curso de una conversación sobre diversos temas. C ó m o obtener respuestas completas.En muchas entrevistas,algunas preguntas suscitan respuestasincompletas o imprecisas.En ese caso,suele ser conveniente completar las preguntas preparadas con {{sondeos)) que :a) induzcan a la persona interrogada a proporcionar otras informaciones; y b) aclaren y precisen la información que ya ha proporcionado. Para obtener nuevas informaciones pueden utilizarse frases como q Puede Vd. decirme algo más acerca de eso ?))o ({Me interesa lo que Vd. dice.¿Puede darme Vd. más detalles al respecto?)) o «Ya veo lo que quiere Vd. decir.))(qPuede decirme algo más sobre lo que Vd. piensa de este asunto?)). Cuando se hace un sondeopara aclarar respuestas,pueden utilizarse fórmulascomo las siguientes: ((Veamos si he comprendido bien. Según he entendido,Vd. estima que...», seguido de un resumen de lo dicho por el interrogado.También se podría decir: « M e gustaría leerle mis notas a ver si he comprendido correctamente lo que me ha dicho.)) Los sondeos también contribuyen a crear un ambiente de tolerancia y cordialidad,lo que es esencial para que la persona interrogadacontinúe interesándoseen la pregunta y dé respuestascompletas.
51
Cdmo medir los resultados de los proyectos de desarroIIo
Registro de las respuestas. El Único método que permite dar cuenta exacta de una entrevista consiste en transcribir las respuestas en el momento en que se formulan,ya sea por medios mecánicos o anotándolas. Si se difiere tal operación se dejan escapar muchos detalles valiosos. Desde luego, hay situaciones en que resulta molesto tomar notas durante una entrevista.Por otra parte,si desde el principio se subrayala seriedad de las preguntas y la importancia de reproducir correctamente las opiniones de la persona interrogada,a fin de que puedan tenerse en cuenta en la práctica, se podrá tomar notas en casi todos los casos. Factores psicológicos que intervienen en la entrevista
Cómo obtener la cooperación de las personas interrogadas.i, Por qué, en primer lugar, acepta una persona que se le interrogue? En general no se plantea problema alguno cuando se trata de dirigentes y otras personas bien informadas, sea en la aldea, la ciudad o la nación; muchas de esas personas probablemente están ya familiarizadas con los objetivos y el plan de un proyecto de desarrollo en estudio o en vías de realización,y pueden conocer ellas mismas a la persona o al organismo que realiza la encuesta o estar informadas al respecto. En cambio, las personas directamente afectadas por el proyecto, especialmente si no son instruidas (como sucede en muchas zonas rurales), pueden sospechar en un principio que el interrogador representa a las autoridades fiscales,o a la justicia,o a un grupo político.Puede existir esta desconfianza aun cuando el interrogador hable su idioma y sea evidentemente su conciudadano.(Véase el ejemplo en la pág. 43.) Por otra parte, en todos los grupos entran en juego la curiosidad y la cortesía tradicional. Además, la mayoría de las personas se esfuerzan en general por complacer a las autoridades, y el interrogador puede ser tomado por un particular o por el representante de un organismo que posee cierta autoridad y exige respeto a la persona interrogada.Así pues,si un interrogador puede persuadir a un funcionario regional o a un jefe de aldea a que responda por él, podrá en general conseguir la cooperación del público, incluso en los sectores más aislados. i Cómo puede mantenerse la cooperación de la persona interrogada durante la entrevista? Las razones expuestas en el párrafo precedente le permitirán hacerse oír en las primeras declaraciones y preguntas preliminares, pero tal vez no sean lo suficientemente poderosas para mantener por largo tiempo esa cooperación. L A qué otros motivos puede acudirse, empleando desde el principio y de modo conveniente declaraciones y preguntas que ( ( estructuren)) la entrevista? El interrogador obtendrá probablemente el máximo de cooperación si manifiestaclara y francamente por qué quiere informarse. Esta exposición preliminar de los objetivos de la entrevista y del empleo que se dará a los datos obtenidos debe,en lo posible, vincularse a los motivos o finalidades de las personas interrogadas.
52
Selección de los datos que h a b r h de emplearse
Entre esos motivos o finalidades cabe mencionar: a) la aprobación, por el sujeto, de los objetivos generales del proyecto de desarrollo; b) la curiosidad provocada en él por el proyecto de desarrollo y el conjunto de las actividades previstas; c) el deseo de desempeñar con éxito su papel,de ser capaz de contestar a las preguntas formuladas.(Elinterrogador puede alentar a la persona interrogada explicando claramente la clase de contestaciónque se espera,dándole así la seguridad de que es capaz de dar una respuesta atinada); d) generalmente el deseo de no herir a una persona que evidentemente tiene alguna importancia y de no desairarla. En el curso de la entrevista suelen intervenir otros dos motivos principales :e) el deseo de influir en el interrogadory, por su intermedio, en el proyecto de desarrollo o en las personas relacionadas con el mismo. Por ejemplo, durante la segunda guerra mundial era frecuente, en las encuestas organizadas en los Estados Unidos sobre el programa del gobierno, que la persona interrogada comenzara diciendo: ( ( Diga a esas gentes de Wáshington que yo digo. ..D;f) el deseo de comunicar su pensamiento a alguien. Es una gran satisfacción para el interrogador poder conversar con una persona receptiva y comprensiva acerca de asuntos que le interesan y que quizá le conciernen.Esta satisfacción aumentará si el interrogador se muestra cordial y sensible,si expresa verdadero interés por la persona interrogada,si la consideracomo un igual,si acepta de buen grado todas las opiniones, actitudes y sentimientos.Durante la entrevista no debe ejercerse en la persona interrogada ninguna presión ni coacción y el interrogador debe evitar referirse a sus propios deseos, reacciones o preferencias. El hecho que el interrogador parezca comprensivo o tolerante respecto a las opiniones del entrevistado,depende mucho más de la actitud de aquél y de las relaciones que establezca con éste, que de los factores externos,como la manera de vestir o la apariencia del interrogador aunque estos detalles puedan servirle de clave (o inhibirlo). Esta relación amistosa debe conciliarse, por cierto, con la necesidad de establecer relaciones acerca del asunto principal de la entrevista y de llegar a un acuerdo tácito, a fin de hacer todo cuanto se pueda para llevar a buen término la entrevista. Desgraciadamente, algunos factores pueden impedir la comunicación o falsear el contenido de las respuestas.Por ejemplo,puede suceder que la persona interrogadano vea con agrado las modificacionec que se espera lograr mediante el proyecto de desarrollo,que no tenga simpatía por el partido político en el poder -identificado en consecuencia por él con el proyecto - que sea hostil a los extranjeros en general, o a los extranjeros de determinados países que contribuyen de manera importante a introducir esos cambios en su propio país. Puede temer que las contestaciones francas, si implican alguna crítica para alguien, vayan en detrimento de sus propios intereses,o de los de sus amigos, o
53
C ó m o medir los resuliados de los proyectos de desarrollo
revelen cierta falta de apreciación de la labor de extranjeros bien intencionados. El entrevistado puede naturalmente negarse a responder o a dar detalles si estima que hay una gran diferencia de educación o de situación económica entre él y el interrogador y que éste es,por lo tanto, incapazde comprendersu situación de familia o de tolerarsusopiniones y sus actitudes,muy divergentese incluso heterogéneas.Evidentemente, puede que tenga razón,pues es posible que sus contestaciones sean tergiversadas por el interrogador en quien influyen sus prejuicios y opiniones estereotipadas.
'
Lengua. El idioma en que se formulan las preguntas debe ser lo más sencilloposible y al mismo tiempo preciso. Aun cuandose converse con funcionarios gubernamentales muy educados,es preciso que las preguntas hechas en un idiomaque no es la lenguamaterna delinterrogado tengan en cuenta el vocabulario que posee. Las diferencias entre l'idioma del inglés y del norteamericano pueden ser considerables, siendo los giros del primero más familiares en muchos países insuficientemente desarrollados.En las entrevistas relacionadascon los proyectos rurales debe utilizarse en general el lenguaje corriente, que a menudo difiere de la lengua de la literatura del país. Marco de referencia. N o menos importante que la redacción de las preguntas es el ((marco de referencia)) del interrogado.Cada asunto debe presentarse en una forma adaptada a sus conocimientos y a la idea que pueda hacerse de aquél. Esta importancia del marco de referencia se reveló en una encuesta sobre el empleo,efectuada en los Estados Unidos de América por el Bureau of the Census.A la pregunta q Realizó Vd. la semana pasada algún trabajo retribuído o lucrativo?)) los jóvenes estudiantes y las amas de casa,aun cuando dedicaran parte de su tiempo a algún trabajo retribuído,contestaron en general «Soy estudiante)) o «Soy ama de casa)). A base de esas respuestas se clasificó a muchas personas como «no trabajadores)), a pesar de que por haber estado empleadasparte de su tiempo (que para ellastenía menos interés) respondían ala definición de c trabajadores)) utilizada por el censo.Al modificarse el orden de las preguntas, de modo que el interrogado pudiera explicar primero cuál era su ocupación principal (como «no trabajador))), y si, además de esa ocupación principal,realizaba también algún trabajo retribuído,se identificó a otros muchos a trabajadores)). Esto permitió aumentar en un millón la cifra oficial de las personas que trabajan en los Estados Unidos de América. El marco de referencia de la persona interrogada puede ser también Útil para determinar si esa persona está dispuesta a proporcionar determinada información. Si a su parecer, tal información no se relaciona con el asunto que,segúnél,se está tratando,la percepción de un brusco
54
Seleccidn de los datos que h n b r h de emplearse
cambiode tema (talcuallo entiende) puede interrumpir el diálogo,desviar la atención del interrogado,destruir las relaciones de cordialidad e incluso hacer fracasar la entrevista. Durante la entrevista suele ser aconsejableformularpreguntas sobre asuntos muy diversos. Una manera eficaz de enlazar los diferentes asuntos consiste en utilizar frases y preguntas de transición. Por ejemplo:a Bien,hemos hablado de la lucha contra el paludismo; ahora podríamos hablar un poco de abonos.i, Utilizaría Vd.abonos químicos en su arrozal?)) Nivel de información. Las preguntas deben limitarse a aquéllas que el
entrevistadopueda razonablementecontestary,para proteger a quienes no puedan contestarlas,deben hacerse de modo que no hieran el amor propio del interrogado. Si la pregunta no es de la competencia del interrogadose obtendrá como respuestaun «Yo no sé», que no servirá gran cosa,o una respuestainventada que serápositivamenteperjudicial. Además, cuando el interrogado no hace lo que el interrogador (que para aquél goza ya de alguna autoridad) evidentemente espera de él, con frequencia experimenta cierto embarazo y resentimiento.No sólo no se obtendráuna respuesta interesante,sino que el resto de la entrevista disminuirá la motivación del proceso de comunicación. En cambio, si las preguntas están redactadas convenientemente puede suceder que un gran número de personas no conozcan la respuesta,dejando así a salvo el amor propio del interrogado si éste no sabe lo que se le pregunta. Por ejemplo ((Muchas personas todavía no han oído hablar del proyecto que el gobierno está iniciando en el lugar X,pero algunas ya están enteradas. i, Sabe Vd. por casualidad si ...?» Aceptación social.U n problema semejante plantean laspreguntas cuyas contestaciones pueden ser social o políticamente inaceptables.No es fácil conocer las opiniones y el comportamiento que se apartan de las normas sociales,por la dificultad de convencera muchos entrevistados de que sus respuestas se considerarán confidenciales,e,incluso cuando estén convencidos de ello,porque temen la desaprobación del interrogador. Este problema puede resolverse en cierto modo: a) mediante un esfuerzo especial del interrogador para manifestar su tolerancia total y dar garantías rigurosas del carácter confidencial de las respuestas; y b) formulando las preguntas de modo que las contestacionessocial o políticamente inaceptables no parezcan excepcionales. Por ejemplo, ((Las encuestas realizadas el año pasado indican que casi la mitad de la gente de esta región practica de diversa manera la planificación de la natalidad. i, Cree Vd. que...? D o ((Varias personas con quienes he hablado estiman que este proyecto hace tanto mal como bien. i Cuáles cree Vd.que son sus ventajas y desventajas?))
55
C ó m o medir los resulfados de los proyectos de desarrollo
Un problema semejante se plantea cuando las personas se dan cuenta de que se espera que adopten una determinada actitud, como estar dispuestas a vacunarse o a utilizar semillas de mejor calidad, aun cuando no estén del todo convencidas.Darán con frecuencia respuestas verbales socialmente aceptables,pero sus palabras no se traducirán en actos. Cuando se prevea tal dificultad, será útil inducirlos mediante las preguntas a adoptar una actitud favorable. Por ejemplo :q Cree Vd. que la mayor parte de sus vecinos estén dispuestos a vacunarse?)) Preguntas capciosas. Las preguntas formuladas no deben, por cierto, sugerir la contestación que corresponde. Es fácil evitar las preguntas claramente tendenciosas. Hay algunas que, menos evidentemente capciosas, influyen también sobre la respuesta. Por ejemplo, la pregunta siguiente:q,Diría Vd. que es partidario de los nuevos métodos de enseñanza en la escuela local?)) Es más fácil contestar ((sí)) que «no», ya que esta última respuesta parece contradecir al interrogador. Se cuenta la historia de un viajero, evidentemente importante, que buscaba su camino en una región de gente pobre y consciente de su situación.A cada una de sus preguntas «¿ Es éste el camino para ir a Y ?», invariablemente se le contestaba ((Sí,señor)). Nunca llegó a Y,pues las respuestas eran incorrectas.Las personas a quienes se dirigía lo sabían; no trataban de engañarle, pero ¿quiénes eran ellos para decir «no)) a una persona tan importante? Podría evitarse el carácter tendencioso de la primera pregunta formulándola del siguiente modo : (q,Diría Vd. que es partidario de los nuevos métodos de enseñanza de la escuela local, o se opone Vd. a ellos ?) ) Las palabras con notación emotiva pueden también provocar respuestas falseadas. Por ejemplo, ((indígena ) )empleada en vez de «nacional», ( ( experto extranjero))en vez de {(experto internacional)), «neutralismo D en vez de ((política independiente)), etc. El conocimiento del uso local ayudará a eliminar las palabras que hayan adquirido un sentido determinado,favorable o peyorativo. Otra manera en que una pregunta puede sugerir una contestación determinada, consiste en enlazar una de las contestaciones posibles a un resultado universalmente deseado. Por ejemplo, (q,Está Vd. en favor o en contra de que se aumenten los impuestos con el fin de sufragar la enseñanzaprimaria para todos ?»Estaspreguntascapciosasdeben evitarse. L a idea única. Las preguntas que se limitan a una sola idea o a un solo hecho son las que suscitan las respuestas más claras. Si se pregunta
56
Selección de los dalos que habrán de emplearse
Orden de laspreguntas.Las preguntas se entienden más fácilmente si su orden parece lógico a la persona interrogada. Si la progresión de un asunto a otro es fácily natural, el entrevistado puede prever a menudo la pregunta siguiente, o reconocer de inmediato su pertinencia. A este respecto el método de ((enfoque cónico)) da generalmente buenos resultados. Consiste en comenzar por las preguntas de carácter más general o menos restringido para pasar en seguida a las más y más limitadas. Este orden permite al interrogador formarse pronto una idea sobre el marco de referencia del interrogado,y evita que la dificultad de las primeras preguntas influya sobre las otras. En el ejemplo siguiente se ordenan las preguntas según el método del ( ( enfoque cónico». Primera pregunta: i, Cuáles son,a su modo de ver, los problemas más importantes que se plantean en esta aldea? Segunda pregunta: i, Está Vd. en favor o en contra de que se pida al gobierno central que envíe a alguien a trabajar en la aldea para ayudarle a resolver sus problemas? Tercera pregunta :Si el gobierno central pudiera enviar a alguien para resolver uno de esos problemas, jcuál de ellos cree Vd. que habrá que elegir ? Cuarta pregunta:i, Está Vd. en favor o en contra de que se establezca en la aldea una cooperativa de crédito? Si se hubiera comenzado por esta última pregunta, las contestaciones a las demás preguntas hubieran podido falsearse.Además, las primeras preguntas permiten captar la actitud del interrogado respecto al cambio en general y acerca del gobierno central en general, antes de que deba responder a determinadas preguntas.
-
Forma de la respuesta.En las entrevistas sistemáticasse utilizan comúnmente dos clases principales de preguntas: la pregunta ((abierta)) o ((ilimitada)) y la pregunta «cerrada» o «limitada». L a pregunta abierta))permite al interrogado dar una amplia variedad de contestaciones y formularlas con sus propias palabras. Las precedentes preguntas 1 y 3 son preguntas ((abiertas)).La pregunta «cerrada» obliga al interrogado a elegir entre categorías de respuestas, previamente determinadas, la contestación que más se acerca a su opinión. Las preguntas 2 y 4supra son preguntas «cerradas»,ya que las únicas contestaciones buscadas son (< Estoy en favor))o ((Estoy en contra)). La pregunta ((abierta ))tiene muchas ventajas,debido a que se alienta al entrevistado a estructurar su contestación como él desee. Permite obtener una gama más variada de información que la pregunta «cerrada)). El interrogado puede exponer su propio marco de referencia,o indicarlo con las respuestas que dé. A menudo, la pregunta abierta permitirá conocer su nivel de conocimientos o su grado de competencia, y el interrogador podrá fácilmente descubrir si comprende bien o no la pregunta que se le hace.
57
Cómo medir los resultados de los proyectos de desarroIIo
En cambio, las preguntas abiertas suelen tomar más tiempo,y es mucho más difícil combinar las contestacionesobtenidas y resumirlas en una fórmulacomo a El 35% del grupo estima que...». La pregunta cerrada se adapta bien a las situaciones en que :a) existe un solo marco de referencia en función del cual el interrogado pueda contestar;b) en este marco de referencia único,hay una serie conocida de respuestasposibles;y c) dentro de esa serie de posibilidades,existen elementos de selección claramente definidos que representancon exactitud la situación de cada persona interrogada.Una pregunta cerrada es muy conveniente para recoger información sobre el estado civil del interrogado. En las sociedades monógamas, bastará con preguntar q Es Vd. ahora soltero,casado,divorciado,separado o viudo?)) En cambio,una pregunta cerrada como la formulada a continuación no está bien escogida: (qCree Vd. que hoy día el impuesto sobre los ingresospor habitante es demasiado elevado,demasiado bajo,o más o menos razonable?))Muchas personas no podrán expresar satisfactoriamente su actitud sobre tal asunto sin relacionar la respuesta con el carácter progresivo del impuesto sobre los ingresos por habitante (quizá demasiado elevado en los ingresos reducidos,demasiado bajo en losingresosmedios,etc.) o con el nivelde losgastosgubernamentales o conla coyunturaeconómica. Con frecuencia es posible combinar las preguntas cerradas con preguntas complementarias abiertas.Por ejemplo : H e aquí una lista de las medidas que se aplican a veces para combatir los mosquitos. Podría decirme si Vd. ha recurrido a alguna de esas medidas en los Últimos seis meses : Rejillas metálicas en puertas y ventanas Sulfato de cobre en las aguas estancadas Avenamiento de las aguas estancadas Pulverizacionescon DDT en las paredes exteriores Pulverizaciones con DDT en los matorrales, etcétera, próximos a la casa Otros medios empleados (indíquelos): Veo que Vd. no emplea: i, Por qué ?
sí
NO
... ... ...
... ...
...
... ...
...
...
La tabulación y el análisis son más fáciles si la persona interrogada puede contestar a las preguntas con una simple marca. La duración de laentrevistaes más breve y la proporción de contestacionesmás elevada si se utilizan esas preguntas. Sin embargo,requieren una redaccióny un ensayo previo muy cuidadosos para tener la seguridad de que todas laspalabras son bien comprendidas,que lasposibilidades previstas han cristalizado suficientemente en la mente del público para permitirle responder con una marca, que se han enumerado todas las respuestas que puedan convenir sin que haya superposición entre ellas (excepto cuando se desea) y que ni la redacción de laspreguntas ni su orden conducen a error. 58
SeJeccfdnde los datos que habrrin de empkarse
UTILIZACI~N DE UN FORMULARIO o DE UN CUESTIONARIO PARA LA ENTREVISTA
En párrafos anteriores se ha insistido en el cuidado con que deben prepararse las preguntas y en la conveniencia de normalizar su forma,de establecer relacionesde confianzaconlapersona interrogada,de utilizar los diversos asuntos en un orden que le parezca lógico y de recurrir al ) que va de lo más generala lo más especímétodo del ((enfoque cónico) fico.Como es bastante difícil recordar todo esto en las entrevistas improvisadas,conviene preparar la entrevista con esmero y escribir de antemano las preguntas en un formulario de entrevista o en un cuestionario, aun cuando sea limitado el número de personas que deban ser interrogadas acerca de un proyecto. El ((formulario de entrevista)) lo conserva generalmente el interrogador para recordar el alcance,la forma y el orden de las preguntas. Puede mostrárselo al entrevistado,pero es él mismo quien tomaránota de las contestaciones. Algunos formularios de entrevista son simples notas para guiar al interrogador;otros están preparados de modo que lascontestacionesobtenidaspuedan anotarse directamenteen el formulario, utilizándose frecuentemente marcas o números en el caso de preguntas ((cerradas». Los ((cuestionarios))son en lo esencial formularios de entrevista normalizados,en que generalmente se hacen preguntas relativamente sencillasy directas,que pueden ser contestadas brevemente,a menudo mediante una marca,un número o una sola palabra.No suele ser práctico darlo o enviarlo a las personas interrogadas para que los llenen ellas mismas, pues tal procedimiento supone que se trata de gente suficientementeinstruída. Los cuestionarios pueden llenarse durante una visita personal,en cuyo caso las preguntas deben leerse en alta voz (repitiéndolas palabra por palabra en caso necesario) y el interrogador debe escribirlas contestaciones,o bien se pedirá al entrevistado que lea las preguntas él mismo (si puede leerlas) y que escriba la contestación (si puede escribir). Cuando la entrevista atañe a un grupo de personas que sabenleer y escribir,loscuestionariospueden emplearse simultáneamente con un gran número de personas,o distribuirseen las oficinas o a domicilio para ser más tarde recogidos o devueltos por correo. Sin embargo,la experiencia con loscuestionarioscontestadospor el público no ha sido en general satisfactoria en los países insuficientemente desarrollados. La naturaleza impersonal de un cuestionario en que la redacción de las preguntas, su orden,y las instrucciones acerca del registro de las respuestas están normalizados,garantiza cierta uniformidad de una situación a otra. El tipo de cuestionario ((Responda Vd. mismo ))tiene también determinado valor,pues da a los interrogados la impresión de estar participando activamente en la encuesta.Además,cuando se da al informante mucho tiempo para llenar el cuestionario,puede pensar
59
Cdmo medir los resultados de los proyectos de desarrollo
cuidadosamente sus respuestas por no estar presente el interrogador que espera (o un niño que llora) ni tener que contestar rápidamente. En cambio, la entrevista permite más flexibilidad (dar una nueva forma a las preguntas,modificar su orden según el curso de las ideas de la persona interrogada,hacer indagaciones) y da más oportunidades para comprobar posibles malas interpretaciones,formulando preguntas complementarias. Evidentemente, es difícil utilizar cuestionarios con personas analfabetas y los grupos sociales no muy familiarizados con ellos pueden dar respuestas completamente insatisfactorias.Los cuestionarios complicados que obligan a escribir mucho, sólo pueden utilizarsecon un porcentajemuy pequeño de la población.Por tales motivos, los cuestionarios son menos útiles que las entrevistas,pero hay casos en que sus ventajas son suficientemente considerablespara ensayarlos. Los formularios de entrevista o los cuestionarios se mejoran sornetiéndolos a un ensayo previo. Por muy cuidadosamente que se haya pensado y estudiado, en la práctica se revelará imperfecto.Algunas de las ((mejores preguntas)) no producirán la clase de datos requeridos; tal vez no sean comprendidas por todos los informantes, o pueden ser mal interpretadas respecto a un marco de referencia distinto. El orden de las preguntas puede desconcertar a las personas interrogadas, y algunas palabras pueden colocarles en una situación incómoda o provocar resentimiento. Los ensayos previos sobre el terreno constituyen la única solución y a la vez la más importante garantía. Son relativamente pocas las entrevistas que se necesitan para este ensayo previo, pero algunas debe dirigirlas la persona que va a utilizar el formulario de entrevista o el cuestionario. Los resultados del ensayo previo imponen generalmente una serie de modificaciones.
E J E M P L O S D E DATOS EMPLEADOS PARA CONOCER
LOS RESULTADOS D E U N PROYECTO Rara vez se pueden reunir todos los datos antes indicados a menos que se dedique a ello considerable tiempo y esfuerzo. Pero en general es posible, respecto de casi todos los proyectos, reunir algunos datos de cada clase.La imaginacióny el ingenio del interrogador serán valiosos, por modesto que sea su esfuerzo para obtener datos más completos, más sistemáticos y más objetivos sobre los resultadosdel proyecto. E n las páginas siguientes se dan varios ejemplos de proyectos ((menores))típicos y de datos fáciles de reunir que se han utilizado para evaluar sus resultados.
60
Seleccidn de los datos que habrán de empiearse
61
C d m o medir los resulfados de los proyecfosde desarrollo
Seleccidn de los datos que habrán de empIearse
63
C ó m o medir los resulfndosde los proyectos de desnrrollo
64
Tercera
etapa
REUNIÓN D E LOS DATOS: ANTES, D U R A N T E Y DESPUÉS D E LA EJECUCIÓN D E L PROYECTO
En general conviene centralizar la reunión de datos en cuanto a dirección se refiere y descentralizarel proceso mismo. Como se ha apuntado antes,algunos datos pueden obtenerse de fuentes existentes o se puede pedir a tan diversas personas y entidades,como los tenderosdel lugar, losmiembros de las profesiones liberales o los centros de investigación de universidades u organismos oficiales,que reúnan los datos deseados. Otros datos pueden obtenerse en el curso de entrevistas realizadas por funcionarios públicos, expertos adscritos al programa, personal de organismos internacionales o grupos de interrogadores competentes. Sin embargo, los mejores resultados se alcanzarán si una persona u organismo se encarga expresamente de dirigir el acopio de los datos deseados.Puede ser la persona misma que ha preparado la declaración de los objetivos convenidos (primera etapa, Formulación de los objetivos)), punto 6,pág. 21), el servicio que registra las actividades ( Gestionescon lasorganizaciones relativas alproyecto (segunda etapa,( para que registrendatos suplementarios))) o alguien que haga la mayor parte de las observaciones o de las preguntas (segunda etapa, «La observación)), pág. 39y ((Formulaciónde preguntassobrelosproyectos y sus resultados»,pág.41).Pero es necesario que se hagan converger en algún punto el conocimiento de los objetivos del proyecto y los datos que revelan los resultados obtenidos. Hay otro principio que parece ser importante: la reunión de datos deben realizarla,en la medida de lo posible,las personas que participan directamente en la evolución que se persigue.Por una parte,se trata de los funcionarios y expertos de la organización responsable,a menudo asociados con expertos internacionales. Sus anotaciones pueden proporcionar numerosos datos y el alcance de aquéllas puede a menudo ampliarse hasta comprender una gran variedad de datos adicionales. Son estos datos,reunidospor laspersonasque llevana cabo ese trabajo, los que probablemente guardarán mayor relación con el proyecto. Porotra parte,setrata de laspersonasa quienesconcierne elproyecto (alumnos,personal homólogo, agricultores,las familias que adoptan 65
Cómo medir los resdtados de los proyectos de desarrollo
nuevas prácticas higiénicas). Esas personas quieren saber qué es lo que pasa y pueden ellas mismas proporcionar información sobre los resultados del proyecto. Para ellas es tan importante obtener información como proporcionarla. Si las personas no comprenden qué es lo que está sucediendo ni a qué cambios contribuyen,se pierde gran parte del valor de un proyecto de desarrollo en una sociedad democrática l. U n a participación efectiva en el proceso político sólo puede lograrse si losdatos se consiguen fácilmente, se discuten con libertad y sirven para adoptar decisiones acerca de la política general, los programas y las personas que habrán de realizarlos. Aunque la participación en la reunión de datos es de gran interéspara las personas de la región directamente interesadas en un proyecto, es aún más importante para los expertos o administradores traídos del exterior y sobre todo del extranjero.El acopio de datos por los procedimientos mencionados es para ellos uno de los mejores medios de averiguar lo que es necesario hacer y cómo hacerlo. Las reuniones en que se discuten los objetivos del proyecto y los datos que se requieren tanto para definir los objetivos como para evaluar los resultados, pueden contribuir mucho a mejorar el rendimiento del personal adscrito al proyecto, a estimularlo y a aumentar la eficacia de las actividades previstas en el proyecto. Por otra parte, el hecho de que un experto o un administrador procedente de la oficina central o del extranjero desempeñe un papel importante en la reunión de datos sobre las actividades relativas al proyecto y sobre sus resultados presenta en si algunos peligros. A pesar de que este ((extranjero))puede ser la persona más competente,más interesada en la reunión de datos e incluso la que dispone de tiempo para esa tarea, pudiera dar la impresión de que estudia la población local con el desasimiento del antropólogo que examina una tribu extraña, de que está realizando algún experimento con personas que, después de todo, no son para él más que objetos de su experiencia,de que trata de descubrir deficiencias en la ejecución del proyecto, o de que quiere informarsede hechos que le permitan sacar sus propias conclusiones y emitir sus propios juicios. Cualquier indicación de un móvil de esa naturaleza es, en todo caso,lamentable y puede destruir todo optimismo y toda eficacia. El ((extranjero))hará bien en adoptar medidas positivas para no crear tal impresión. Podrá preguntar al personal local qué datos deben reunirse y para qué fines. Podrá pedir ayuda al personal local para reunir los datos y dar a conocer toda la información que se obtenga. También podrá examinar con el personal local sus primeras conclusiones e interpretaciones (véase también en la cuarta etapa, ((Análisis e interpretación de los resultados)), pág. 82), pues su situación es extremadamente delicada y exige el máximo de sensibilidad y tacto. 1. Esk punto se examin6 con detalle en el estudio de huia Mom, «The Evaluation of Fundamental Education». internatlonal Social Scienre Bulletin. 1955. vol. VII. n.' 3, págs. 398417.
66
Reunidn de los dotos: antes. durantey después
Se ha sugerido a menudo que se contrate en el extranjero a expertos en investigacionespara reunir precisamente los datos sobre los resultados de los proyectos de desarrollo. Esta idea de los investigadoresdel exterior es incompatible con la opinión que hemos adoptado de que un buen método para reunir datos ha de considerarse como un instrumento de administración del proyecto que se debe perfeccionar y utilizar con la colaboración de todos los interesados.Se puede admitir que una persona que trabaja en un proyecto rara vez pueda mantener una actitud completamente imparcial,sea porque se identifica con el proyecto, o por la presión que ejercen sobre ella (incluso tácitamente) sus colegas para que apruebe sus actividades. También puede ser que una mirada mueva D revele nuevos problemas y nuevas consecuencias, y que alguien del exterior tenga mayor libertad de movimiento dentro de un organismo,porque su condición,aunque ambigua,le da autoridad, o porque frecuentementelogra ganar la confianza de un extraño o,finalmente, porque no está identificado con ninguna de las facciones que pueden existir entre el personal del proyecto. En cambio, los intentos realizados por desconocidos, virtualmente hostiles, para reunir datos pueden tropezar con obstáculos que impidan toda declaración franca ; pueden perder tiempo en familiarizarse con el proyecto y en conocer a las personas interesadas y se puede hacer caso omiso del informe final. Si se desea una mirada «nueva» o más «objetiva», o si se quieren consejos sobre los procedimientos más eficaces y económicos para reunir y analizar los datos, puede tener interés recurrir a expertos del exterior que asesoren sobre el procedimiento para recopilar esos datos. En general, para obtener los mejores resultados conviene que tales expertos se incorporen al equipo que realiza el proyecto,que se conduzcan de tal forma que se ganen la simpatía del pueblo y del gobierno del país que los acoge y que les sean útiles. Serán sin duda menos eficaces si actúan, o se considera que actúan, como los representantes e investigadores de los servicios centrales o como inspectores de los gobiernos extranjeros que contribuyen a financiar las actividades de desarrollo. E n las diferentes etapas de un proyecto de desarrollo pueden necesitarse nuevos datos y diferentes métodos de acopio pueden ser aplicables y justificados.Estas diferenciasse examinan a continuación en el orden cronológico de las actividades: antes de iniciarse el proyecto; durante la realización del proyecto; y después de la ejecución del proyecto. ANTES DE INICIARSE EL PROYECTO
Antes de la iniciación del proyecto (o,si es posible, antes de llegar a un acuerdo al respecto) será muy útil realizar las actividades siguientes: U n análisis detallado de otros proyectos análogos. Conviene examinar los proyectos que se llevan a cabo en el mismo país o en otros con con-
67
Cdmo medir los resultados de los proyectos de desarrollo
diciones semejantes; averiguar lo que se ha hecho, los resultados directos e indirectos logrados,cuáles son las actividades concretas que han producido los mejores resultados (esperados) con el menor gasto (incluyendo los resultadosinesperados), qué datos se han reunido para evaluar los resultadosdel proyecto,qué opinan los funcionariosencargados del proyecto y las personas a quienes concierne directamente, etcétera. Este análisis puede basarse en estudios minuciosos ; puede comprender visitas a esos otros proyectos;o,lo que es más probable, puede simplemente basarse en la experiencia y las conclusiones de personas informadasque se encuentran en los alrededores o que pueden intervenir como consultores.En todo caso,será muy valioso para orientar la preparación del nuevo proyecto y también por las indicaciones -y es lo que nos interesa- que se obtendrán para decidir qué datos será factible y conveniente reunir acerca de determinados cambios. Examen afondo delproyectoprevisto. Se debe cambiar impresionescon personas enteradasde loscambiosque se desea lograr y con laspersonas a quienes afectará el proyecto. En esas conversaciones será muy Útilla participación de dirigentesde lascolectividades locales,especialistas en ciencias sociales y funcionarios de organismos gubernamentales o de organizacionesprivadas.Sediscutiráprobablemente,entre otros temas, la posibilidad de producir diversos efectos indirectosy la clase de datos que es posible y conveniente reunir. Entrevistaspreliminares. Conviene entrevistar a algunas de las personas a quienes afectaráprobablementeel proyecto o,por lo menos,a algunos dirigentes de las comunidades que serán afectadas por el mismo. Si el proyecto previsto se discute a tiempo con esas personas,losinteresados
podrán reunir algunos datos básicos (véase pág.70) sobre las condiciones y actitudes existentes;podrán obtener importantesindicaciones de los posibles resultados directos e indirectos, e informarse de los datos ya disponibles,o de las personas u organizaciones dispuestas a reunir datos sencillos,que revelarían la magnitud y el ritmo de loscambios producidos por el proyecto. Además, las preguntas formuladas ayudarán a comprender a loshabitantes los objetivos del proyecto,y si se señala a la población local que se le consultará en el futuro,aumentará el interésde éstay se facilitaráel caminopara la cooperaciónfutura en la compilación de datos. Reunión de datos ya disponibles.Estos datos que deben revelar las condiciones existentes antes de iniciarse el proyecto, facilitan a menudo el planeamiento del proyecto y permiten evaluar la situación de tipo «antes y después)). Además, si se conocen los datos de que se puede disponer y cuáles están en vías de ser reunidos,será mucho más fácil decidir qué gestiones adicionales convienerealizar.
68
Reunión de los datos: antes. durantey despds
Gestiones con particulares u organismos para reunir datos adicionales.
Es evidenteque tales gestiones deben hacerse lo más pronto posible. Observación sistemática e interrogación sistemática. Si se han previsto estas operaciones en relación con el proyecto,conviene iniciarlas antes de comenzar su ejecución para obtener así también datos básicos. Las tres primeras sugestiones,que contribuyen tanto al planeamiento delproyecto como a la evaluación de susresultados,se refieren a actividades que se emprenden generalmente en relación con cada proyecto de desarrollo. Lo que se propone en esos párrafos no entraña aumento considerablede los créditos ni de trabajo del personal,sino ligera adaptación de losprocedimientosnormales de planeamiento,a fin de prever la reunión de datos.Es posible que esa adaptación contribuya también a un mejor planeamiento de las actividades previstas en el proyecto. Las otras tres sugestiones implican un aumento de trabajo del personal y quizás de los fondos. Un proyecto principal puede justificaren este sentido un esfuerzo correspondiente a su importancia,y aun si se trata de un proyecto menor,convendrá en general prestar alguna atención a esos párrafos. La tercera,cuarta y sexta sugestiones señalan la importancia de los datos básicos. Esto exige algunas explicaciones. En general,se pueden comprobar algunos de los resultados de un proyecto de desarrollo, empleando simplemente los datos reunidos después de la realizacióndelproyecto.Sin embargo,laevaluación de los resultados es más convincente y más instructiva si los datos básicos se reúnen desde el principio.De este modo,será mucho mayor el alcance de las comparacionesposibles del tipo ((antes y después». Además,la compilación de datos básicos facilita la preparación de informes continuos sobre el proyecto, que son de especial importancia si, como ocurre con frecuencia,se registra un importante movimiento de personal durante la ejecución del proyecto. Diremos de paso que el concepto de «datos básicos)) empleado en este estudio es mucho más limitadoque el que se emplea en relacióncon determinadosproyectos de desarrollo,en los que un «informe básico» puede abarcar las relaciones con los serviciospúblicos locales,el grado en que son adecuadas las instalaciones,la importancia numérica y la competencia del personal que colabora,etc. (véase pág. 73). Aquí, el término «básico))designa los datos derivados de observaciones,registros,entrevistas,etc.,reunidos antes de iniciarseel proyecto,y selimitan a aquéllos que esclarecen la situación que el proyecto debe cambiar o que se espera que cambie. Los datos básicos que han de permitir la ulterior evaluación de los resultadosde un proyecto son muy útiles si se reúnen desde el principio, o sea antes de iniciarsealguna de lasactividades previstasen el proyecto. En realidad,ciertos datos básicos de carácter económico y social se deben reunir,en lo posible, inclusoantes de que hayan cristalizado los
69
C ó m o medir los resultados de los proyectos de desarrollo
planes definitivos. Sin embargo, conviene en general elegir la zona de aplicación del proyecto de desarrollo y las zonas testigos o de comparación antes de proceder a la reunión de datos básicos. De otro modo, tal vez no puedan reunirse los datos necesarios en algunos de los lugares más importantes. U n aspecto secundario,pero importante, de los datos básicos es que permiten determinar la magnitud del problema que se trata de resolver. Mediante esos datos, sabemos dónde estamos, desde dónde partimos para llegar después de cierto tiempo al punto que nos proponemos alcanzar.Esos datos permiten una exposición completa y detallada de los objetivos,la cual es necesaria como se indicó antes en relación con la primera etapa.Al revelar el alcance del analfabetismo o la frecuencia del paludismo, así como las regiones afectadas, tales datos pueden imponer modiñcaciones en el plan de las actividades previstas. Además, al reunir datos básicos se pueden descubrir factores que no se conocían,como prácticaslocales o la resistencia al cambio.Es posible que la innovación propuesta sea culturalmente inaceptable o que suponga riesgos menores, pero intolerables para la población. El descubrimiento de esos factores puede muy bien modificar los planes definitivos. Citemos,como ejemplo,el caso de un experto en artesanía, enviado a un país de Asia por un organismo intergubernamental para ayudar a desarrollar y aplicar técnicas perfeccionadas en algunas industrias artesanales y domésticas. Su labor permitió establecer qué industrias, entre las seleccionadas, podrían introducirsecon posibilidades de éxito en ese país y también las industrias que no valía la pena emprender debido a dificultades materiales o a que los trabajadores se oponían a ellas,por diversos motivos. Algunas de las razones de la indiferenciade la población localpor ciertasindustriaseran: la muy gran dispersión del trabajoen una extensazona;lafaltadeestímulo material;ciertarivalidad entre los antiguos habitantes de la región y los nuevos colones y cierta resistencia psicológica al trabajo artesanal considerado como una actividad de «casta inferior». En este caso concreto, el pronto descubrimiento de esas resistencias de orden psicológico fue de gran utilidad para orientar los esfuerzos en favor de algunas industrias artesanales. En cambio, algunos obstáculos psicológicos que al parecer no se habían previsto plenamente, limitaron el éxito de un centro de lucha antivenérea establecido en otro país asiático, al cual otro organismo intergubernamental proporcionó parte del personal. En general, este proyecto tuvo éxito salvo en cuanto a los servicios de enfermería sanitaria y a localización de las enfermedades,a los cuales se oponían las costumbres y tradiciones locales. La tradicional timidez y resistencia de la población para cooperar en la lucha antivenérea mostraron la necesidad de dar al público una educación sanitaria previa antes de que pudiera esperarse algún resultado positivo. Si al principio se hubieran tenido plenamente en cuenta esas dificultades se habrían podido distri-
70
Reunidn de los datos: antes,durantey despueJ
buir las actividades de manera diferente y su ejecución se habría efectuado a un ritmo distinto. Por ejemplo, si la primera actividad prevista en ese proyecto hubiese sido una amplia campaña de educación en materia de higiene pública, utilizando la radio, carteles, etc., quizá se hubieran eliminado esos obstáculos psicológicos. Finalmente,las encuestas efectuadasoportunamentepueden mostrar que los supuestos obstáculos psicológicos en realidad no existen. Por ejemplo, según investigaciones realizadas en el Japón, la reciente difusión de informaciones sobre los métodos anticoncepcionales fue bien acogida por la población, lo que asombró a las autoridades,que creían que los agricultores japoneses deseaban tener familias numerosas. La naturaleza de los asuntos cuyo estudio puede ser útil antes de formular los planes definitivos de un proyecto de desarrollo se señalan en la siguiente lista (preparada en relación con un cambio propuesto en una tecnología): 1. i Qué reemplazará, llegado el caso, el nuevo elemento que se introduce ? 2. i, Qué otros instrumentos y qué otras técnicas habrán de modificarse a raíz del cambio previsto ? 3. i, Qué otros instrumentos y qué otras técnicas habrán de modificarse si se acepta la innovación? 4.i, De qué nuevas herramientas y de qué nuevas técnicas habrá necesidad como resultado de la innovación? 5. Si hay sustitución¿ quiénes,en la sociedad,tendrán que abandonar o cambiar su empleo? ¿Quiénes deberán modificar su empleo y quiénes recibirán uno nuevo ? 6. i, Quién, en la sociedad,obtendrábeneficios inmediatosde la innovación? ¿Se tratará de ventajas económicas, de un aumento de prestigio,o de ventajas de otro orden? 7. i, Corren algunos el riesgo de un perjuicio inmediato como consecuencia de la innovación?i Será una amenaza real o imaginaria a su seguridad económica? i, O a su condición social? 8. ¿Repercutirán los cambios de empleo en la división del trabajo entre hombres y mujeres? 9. ¿Cuáles son las organizaciones sociales, oficiales y otras, de que forman parte las personas afectadas por los cambios? 10.,i Cuál será la repercusión probable del cambio sobre esas organizaciones sociales? ¿Aumentará o disminuirá su fuerza o importancia en la sociedad ? 11. i, Es posible que la innovación permita nuevas formas de cooperación? (¿o provoque conflictos?). 12. i Comprenden los individuos y dirigentes de grupo el carácter de la innovación ? 13. 1 Quién ha participado en el planeamiento del cambio ?i Quién no ha participado?
71
C d m o medir los resultados de los proyectos de desarrollo
14. Aparte de la tecnología,i, cuáles son las costumbres que podrían modificarse ? i Los hábitos alimentarios? i, Las relaciones entre jóvenes y viejos? i Las costumbres relativas al matrimonio? i, Las ceremonias? i Las creencias religiosas? ,j Los valores fundamentales? 15. i Fortalece el cambio esas costumbres o está en conflicto con ellas? 16.¿Qué actitudes se observan respecto al innovador (al técnico en misión) como persona? ¿Y respecto al grupo étnico a que pertenece? 17. i, Cuál es desde hace algún tiempo la historia de las relaciones entre el grupo innovador y la población? 18.¿En qué condiciones se han efectuado cambios análogos en el mismo grupo ? A este respecto,debe tenerse en cuenta que las reacciones a un nuevo proyecto suelen ser desfavorables,porque todo cambio supone una adaptación.Las reacciones de este orden pueden revelar la necesidad de una mejor preparación psicológica y de explicacionesmás completas en el curso del proyecto, así como de reiteradas evaluaciones algún tiempo después de haber sido aplicado el proyecto. La resistencia al cambio se suele manifestar también si éste:a) da a los interesados la impresión de amenazar su seguridad fundamental, b) no se comprende,o c) se impone a la población. Es,por consiguiente,muy útil,especialmente en las primeras fases del proyecto,formular preguntas que permitan determinar si las personas interesadas: a) se sienten amenazadas por el proyecto (por ejemplo,peligro de descender en la escala social,de desintegraciónde la familia,de reducción del empleo o de los ingresos); b) comprenden el proyecto (sus objetivos, actividades y consecuencias indirectas probables); c) se sienten obligadas a efectuar cambios sin tener adecuada oportunidad de estudiarlos,discutirlos e influir en las decisiones que finalmente se adopten. Para conocer el espíritu de cooperación o de resistencia de la población deben estudiarse otros asuntos,como los siguientes: 1. i, Se han descubierto y utilizado los vínculos culturales? 2.i Se ha realizado el trabajo a través de las organizaciones sociales existentes o se han establecido nuevas organizaciones que están en pugna con las antiguas? 3. i Cómo considera la población los fines y el comportamiento de los innovadores? 4. Por prejuicios culturales,i han interpretado mal los innovadoreslas reacciones de la población? 5. i Se ha hecho cuanto se puede por estimular y desarrollar la máxima participación posible ? 1. Edward H.Spicer. Human Problems in Technologlcal Change, New York. Russell Sage Foundation. 1952. págs. 91-92.
72
Reunidn de los dato.r: antes. durante y después
6.i, Han quedado relegadas a un segundo plano las necesidades de la población por oponerse ésta a losmétodos de innovaciónl? Algunas organizaciones,que facilitan expertos para que colaboren en los proyectos de desarrollo,piden a cada uno de ellos que preparen lo que se llama un «estudiobásico)) o un «plan de trabajo)) poco después de su llegada al terreno. Se trata generalmente de un análisis,realizado en colaboración con funcionariosdel gobierno y con otraspersonas,de la situación existenteen lazonade aplicación del proyecto y de lasactividades que deben emprenderse y completarse en un plazo determinado. Suele comprender una definición de las necesidades,de las exigencias y de los resultados que espera obtener el organismo gubernamental competentecon miras a preparar un plan de acción concreto. Este procedimiento tiene ventajas. Todo experto,como es natural, realiza una evaluación previa de la situación con los medios de que dispone.Para preparar un plan de trabajo en buena y debida forma,el experto debe explorar la situación existente con detenimiento y metódicamente.Además,este procedimiento proporciona al experto y al administrador del organismo competente una serie de puntos de referencia,por muy subjetivos que sean, en relación a los cuales puede evaluarse el progreso realizado. El peligro es que el administrador del organismo pida al experto que reúna datos difíciles de obtener,cuya recopilaciónexija mucho trabajo,y perjudique así otras actividadesdel experto. Sin embargo, algunas de las encuestas acerca de los mencionados puntos de referencia o un plan de trabajo constituyen medidas indispensables para poner en marcha el proyecto, y su preparación sistemática puede ser valiosa tanto para el experto como para el administrador del organismo.
DURANTE LA REALIZACI~N DEL PROYECTO
Suele ser conveniente,durante la realización del proyecto examinar de cuando en cuando sus operaciones y sus resultados aparentes con personasinformadasde los progresos de otros proyectos,particularmente de los que comprenden actividades análogas.Las informaciones sobre los resultados obtenidos en otros proyectos pueden sugerir la clase de datos que convendría reunir durante la ejecución del proyecto de que se trate. Algunos organismos han comprobado la utilidad de los informes periódicos,para que losfuncionariosresponsables estén al corriente de los progresos (y de las dificultades), para indicar a los funcionarios de la oficina central cómo pueden ayudar al personal en misión a desempeñar su cometido,o finalmente,por el valor educativo que la prepara1. Edward H.SpIcer.op. cit., plig. 294.
73
Cómo medir los resuItados de Ios proyectos de desarrollo
ción de tales informes pueda tener para el personal en misión. Dichos informes se refieren a asuntos que continuamenteinteresan al personal en misión al que la periodicidad de los informes proporciona una oportunidad para ordenar sus ideas y estudiar sistemáticamenteel estado del proyecto. La preparación de ciertos asuntos que deben tratarse en esos informes periódicos, especialmente si es fácil recopilar y resumir los datos necesarios, puede facilitar en muy gran medida la evaluación e interpretación de sus resultados. En general, bastará con redactar informes trimestrales, uno de los cuales puede revestir la forma de informe anual. Un organismo internacional recomienda a sus expertos que preparen informes trimestrales sobre los puntos siguientes :1.0 objetivos del proyecto ; 2.0 condiciones materiales del trabajo; 3.0 personal; 4.0actividades de enlace; 5.0 descripción del trabajo; 6.0 información pública; 7.0 informaciones varias; 8.0 evaluación del proyecto; 9.0 planes de trabajo previstos. A continuación se dan algunos detalles sobre esos diversos epígrafes. 1. Objetivos del proyecto. Exposición precisa de los objetivos a corto plazo del proyecto. Dichos objetivos pueden modificarse de vez en cuando, según las condiciones locales, y diferir notablemente de los objetivos concebidos por la oficina central. En muchos casos el propio experto, que trabaja en el lugar donde se lleva a cabo el proyecto, debe formular con precisión dichos objetivos. 2. Condiciones materiales del trabajo.Descripción de las instalaciones, medios de transporte, vivienda, equipo, disposiciones financieras, etcétera,y un examen de los problemas que plantean. 3. Personal. Exposición de los cambios en materia personal, importancia numérica y eficacia del personal homólogo y del personal que recibe su formación en ejercicio,disposiciones acerca de los becarios y asuntos conexos relacionados con el personal. 4. Actividades de enlace. Exposición, incluyendo toda la información pertinente, acerca de la naturaleza del enlace y de las relaciones con los funcionarios gubernamentales,los expertos de asistenciatécnica que trabajan en la región, los expertos o funcionarios en visita, y cualesquiera particulares,grupos u organismos con los que se precise establecer contactos en interés de la misión. 5. Descripción del trabajo. Descripción precisa del trabajo efectuado en relación con el proyecto y de las actividades realizadas en el período considerado, con exclusión de los puntos incluídos en los párrafos 2, 3 y 4 supra. 6. Información pública. Publicidad dada al proyecto, incluyendo recortes de prensa, fotografías, actas de conferencias públicas y otras informaciones análogas. 7. Informaciones varias. Todas las informaciones no mencionadas en los epígrafes precedentes que el experto considere importantes y de
74
Reunidn de los dalos: antes,durantey despub
un interés particular. Podrán también indicarse los métodos o técnicas de trabajo que se hayan revelado particularmente eficaces, así como ideas y sugestiones para mejorar el proyecto. 8. Evaluación del proyecto. Apreciación, por el experto, de los resultados obtenidos durante el período considerado, en relación con los objetivos del proyecto y descripción de las medidas adoptadas para evaluar dichos resultados. En este epígrafe debe comunicarse no sólo el juicio subjetivo del experto acerca del resultado de los trabajos en curso de ejecución,sino que,en lo posible,conviene proporcionar informaciones concretas y precisas, eventualmente en forma de datos estadísticos. 9. Planes de trabajo previstos. Descripción concreta y precisa del trabajo que deberá realizarse en el período siguiente. Es muy importante informar periódicamente sobre las condiciones materiales de ejecución, el personal contratado,las actividades propias del experto y las operaciones efectivamente llevadas a cabo (puntos 2, 3,4y 5, supru), pues, a menudo, éstas difieren considerablemente de las previstas en el plan primitivo, de las que la oficina central cree que están en curso de ejecución y de las que se ha descrito en informes retrospectivos. Esas diferencias derivan de equívocos o de las ilusiones del personal, de diferentes interpretaciones de los objectivos reales del proyecto, de conflictos entre lo previsto por el organismo responsable y las leyes o costumbres locales, de la falta de personal competente o de ciertos recursos, etc. Debido a esas diferencias entre las operaciones previstas y las efectivamente realizadas, es imposible evaluar inteligiblemente los resultados del proyecto si no se dispone de informaciones precisas, concretas y de primera mano sobre lo que se hace efectivamente en relación con el proyecto. De ahí el valor de los informes periódicos preparados por el personal en misión. Son también importantes los informes sobre el costo de cada operación. Rara vez se necesitarán muchos detalles,pero los proporcionados deben permitir hacer una clara distinción entre las principales categorías de actividades.Por ejemplo, es Útil saber cuánto tiempo invierten los diversos miembros del personal en la ejecución de las distintas funciones, y qué desembolsos eso representa. En cuanto a lo que supone, en dinero, el tiempo consagrado al trabajo por los expertos y administradores,es preferible hacer los cálculos en la oficina central a finde que haya uniformidad.Para la fiscalización de los trabajossobre el terreno y para poder tomar decisiones sobre la administración del proyecto, son Útiles los datos sobre el tiempo que realmente se ha invertido en las diversas actividades. Algunos proyectos de desarrollo han ejercido una influencia considerable pero han sido tan pocas las personas beneficiadas que los gastos que ello suponía eran muy superiores a los beneficios obtenidos. Si no se lleva una contabilidad, por lo menos aproximada, del tiempo consagrado al proyecto y de todos los gastos principales,
75
C ó m o medir los resultados de los proyectos de desarrolla
puede ser muy difícil sacar conclusiones sobre el valor de tales proyectos en relación con su costo. El personal en misión debe informar no sólo sobre lo que hace u observa sino también sobre los datos obtenidos de otras fuentes. D e vez en cuando podrán celebrarse entrevistas preliminares con algunas de las personas afectadas por el proyecto,o por lo menos,con algunos dirigentesde las comunidades afectadas; con personas que colaboran en la ejecución del proyecto en diversos niveles;y, por Último,con otraspersonas informadas sobre el proyecto. En todo caso,se recurre generalmente a ese tipo de interrogación sencillo para saber «cómo van las cosas)). Si, además,se pueden formular preguntas sobre los resultados, deseados o no, del proyecto, se tendrán indicaciones sobre los medios para reunir útiles datos complementarios. En los informes también se podrán incluir los datos ya disponibles y utilizar la documentación adicional que obra en poder de las organizaciones. Finalmente,podrán basarse en la observación e interrogación sistemáticas. Los datos reunidos sobre los resultados del proyecto pueden conducir a modificar las actividades correspondientes; ese suele ser el propósito primordial de la recopilación de datos.Cuando se modifican las actividades previstas en el proyecto,puede ser conveniente reunir datos diferentes sobre los resultados del proyecto o aplicar procedimientos distintos. Los datos deben recogerse y analizarse con la mayor celeridad posible,pues cuando pierden actualidad ya no tienen interés para los técnicos y no revelarán los cambiosque se imponen en las operaciones. Como es muy importante que los datos estén al día,la cantidad y la clase de datos reunidos en el curso de un proyecto debe reducirse al mínimo necesario para informar a los interesados. Además, se reducirán los gastos. Estos gastos se reducirán todavía más si al mismo tiempo se reunen datos sobre varios proyectos. Por ejemplo,una entrevista con un funcionario gubernamental u otra persona bien informada puede referirse a varios proyectos. Tales entrevistas proporcionan la oportunidad de obtener de cada persona interrogada una apreciación comparativa del éxito de los distintos proyectos, y de conocer sus ideas sobre los motivos por los que un proyecto tiene más éxito que otro. Análogamente,si dos o más proyectos afectan a determinado grupo o comunidad,pueden obtenerse a la vez informacionessobre todos ellos. Tales casos son raros,pero pueden permitir algunas economías de tiempo y de esfuerzo. Los métodos para reunir informaciones han de ser tan rápidos y sencillos como sea posible,y los datos recogidos no deben limitarse a los efectos del proyecto en su conjunto.Para que los datos sobre los resultados faciliten verdaderamente la administración del proyecto,es preciso que indiquen los efectos concretos de operaciones concretas. 76
Reunión de los datos: antes. duranre y despuks
Por ejemplo, el creciente empleo de abonos por los cultivadores de arrozen un distrito determinado,i, se debe a la distribución de folletos, o a las actividades de los centros de demostración o a la labor de los funcionarios de divulgación que visitaron personalmente a los agricultores ? Para evaluar los resultados de determinadas operaciones, habrá que interrogardirectamente a algunas de las personas a quienes concierne el proyecto. Sin embargo,si se trata sólo de indicar cuáles son los efectos del proyecto en su conjunto, pueden bastar los datos que no se han obtenido de la interrogación. Como ejemplo interesante de la manera en que puede apreciarse la influencia de una actividad determinada,citaremos lostrabajos de desarrollo ruralen la India.En el proyecto experimental de Etawah (Uttar Pradesh), se decidió ensayar el empleo en gran escala de abono verde. Se proporcionó semilla de «sanai» a la cooperativa agrícola, emprendiéndose luego una vigorosa campañapara educar alrespectoalos agricultores.Pasaron los días,pero muy pocos agricultores compraron semillasy la mayoría de los que compraron vivían a menos de una milla de distancia de la cooperativa.A fin de acelerar el proyecto,el personal encargado del mismo retiró la semilla del almacén y la entregó a cada agricultor dispuesto a comprarla;se dejó una pequeña cantidad en cada aldea en manos de un habitante respetado que se ofrecía a venderla a cualquier hora del día y todos los días de la semana. Por este procedimiento se distribuyeron a los agricultores 175 bushels de semilla que fue sembrada.Para incorporar a la tierra el pasto producido,se aró el terreno sembrado,el cual a la cosecha siguiente produjo un rendimiento de trigo superior en 40% al anterior.Al año siguiente, cuando llegó el momento de la siembra de «sanai»,los agricultores se precipitaron a los almacenes para comprar semilla;la cantidad sembrada fue más de cinco veces superior a la del año precedente. Una encuesta limitada,mediante preguntas directas, reveló que las ventajas del uso de dicha semilla,reconocidas de antemano por los agricultores,correspondían casi exactamente a las desventajas de su empleo. Estas derivaban de la sospecha y desconfianza tradicionales respecto a los funcionarios del gobierno en general,del temor de los agricultores a los riesgos que podían correr al dedicar dinero,esfuerzos y tierras a la preparación de una nueva cosecha,aunque fuera para proporcionarse abonos,y,por Último,al hecho de que la mayoría de ellos tenían que recorrer largas distancias para trasladarse a la cooperativa agrícola. Lo que hizo inclinarse la balanza fue la simple operación de llevarles la semilla,junto con la actitud simbólica de los funcionarios gubernamentales que manifestaron un interés real por los agricultoresl.
1. Adaptado de Edward H.Spicer. op. cit., phgs. 5547. «Case4 Singh.
- The Village Level». por Rudra Datt 77
C & m medir los resultados de los proyectos de desarrollo
DESPUÉS DE L A E J E C U C I ~DEL N PROYECTO
U n a vez llevado a la práctica el proyecto se requiere generalmente un mayor número de datos para evaluar los resultados obtenidos. Las oficinas del servicio central y las organizaciones participantes quieren saber «qué han conseguido con su dinero)). La experiencia obtenida de la ejecución del proyecto tiene gran interés por su posible aplicación a otros proyectos. Pero la posibilidad de reunir datos en esta etapa es m u y limitada. Si no se han adoptado antes disposiciones para anotar los datos y si no se ha reunido ya determinada clase de información, pudiera ser demasiado tarde para obtener pruebas absolutamente convincentes de los resultados. No obstante, todavía es posible adoptar algunas medidas útiles. Por ejemplo,puede ser muy provechoso examinar los informes sobre proyectos similares realizados en otros lugares, con el fin de saber qué resultadosse han obtenido, qué datos y qué métodos de análisis se han utilizado para descubrirlos. Del mismo modo, un estudio del proyecto en referencia, hecho con las personas que preparan otros proyectos, puede revelar la información que conviene reunir para utilizarla en otros lugares. Estos estudios y consultas en común pueden indicar la conveniencia de reunir muchos datos nuevos, aun cuando las actividades previstas en el proyecto hayan llegado a su término. Una vez ejecutado el proyecto, aun si no se han efectuado antes entrevistas, puede ser muy útil hacer un ((estudio sobre la experiencia adquirida)) preguntando a las personas que han participado en el proyecto y a las que pudieren haber sido afectadas por el mismo, si recuerdan la labor realizada,lo que se produjo en consecuencia,lo que había de más interesante,etc. En realidad, ésta es la manera como se obtienen actualmente la mayoría de los datos sobre los resultados de los proyectos. Si bien es demasiado tarde, después de ejecutado un proyecto, para hacer que las organizacionesy particulares reúnan nueva información, no lo es para examinar con cuidado los datos ya reunidos. Mediante un examen detallado de las indicaciones que proporcionan los datos reunidos por el personal del proyecto, y visitas a otras personas y organismos que pudieran tener información acerca de los resultados del proyecto, es posible descubrir datos cuyo análisis puede ser provechoso. Entonces es cuando conviene hacer el balance definitivo de las actividades que realmente se han llevado a cabo para aplicar el proyecto. M u y a menudo, tal balance será diferente de los planes primitivos y, por tanto, es esencial, para comprender y evaluar los resultados. Casi siempre se presta atención a los efectos indirectos al final del proyecto, e incluso a veces bastante después. Si no se han previsto esos
78
Reunión de las dalos: anles,duranie y después
efectos indirectos, ello se debe probablemente a que durante la ejecución del proyecto no se han reunido observaciones o datos de entrevistas directamente relacionados con ellos. Si tales efectos indirectos se han manifestado sólo en una etapa avanzada del proyecto es posible que los datos antes reunidos no revelen su alcance o su predominancia. Por eso es especialmente importante informarse al final de un proyecto de esos efectos indirectos mediante la observación y la interrogación. El ejemplo siguiente muestra la diversidad de los efectos indirectos que puede provocar una operación en apariencia sencilla (se trataba de proporcionar un vehículo a un pueblo aislado de indios norteamericanos). Los datos referentes a dichos efectos y a su relación con el proyecto se obtuvieron mediante entrevistas llevadas a cabo después de terminado el proyecto. La técnica moderna del transporte rodado se dió a conocer a los indios papagos del pueblo de Choulik situado en el Sur de Arizona (Estados Unidos de América) al proporcionarles simplemente una carreta y enseñarles cómo se utiliza. Los efectos directos e indirectos fueron múltiples. La fabricación artesanal de harneses, serones y albardas acusó una sensible baja, debido en parte a que se compró el equipo de la carreta, y en parte a la disminución del transporte con serones y albardas. U n o de los hombres del pueblo aprendió a trabajar el hierro, a fin de poder reparar la carreta de la comunidad. Se fabricaron menos vasijas de barro pequeñas; éstas se reemplazaron por grandes recipientes de metal que había que comprar, pero que contenían mucha más agua y podían transportarse en la carreta. Se construyeron mejores carreteras y, en ese trabajo, la población adquirió algunas técnicas de ingeniería y nuevos hábitos de trabajo en grupo. En un solo viaje con fines comerciales se podía hacer tanto que no era necesario efectuarlos tan a menudo ni emplear tanta gente en ellos. D e esta forma, disminuyeron los contactos personales con las tribus vecinas, a pesar de un mayor volumen de intercambio, pues la reducción de los gastos de transporte aumentó las ventas en efectivo de la madera y de las cosechas. Se desarrolló una nueva actividad comunal cuando hubo que decidir respecto al uso y administración de la carreta, considerada como un recurso colectivo que se prestaba a menudo por turno a cada familia,y dirigir y proyectar la construcción de carreteras. Todo esto fue el resultado de una simple «operación» previstá en un proyecto, en el sentido en que antes se ha empleado este términol. Ultima observación que este ejemplo sugiere: Si bien suele ser útil reunir diversos datos inmediatamente después de la ejecución de un proyecto (pues las modificaciones ulteriores pueden empañar los resultados, la información recogida puede perderse o haberse destruido, 1. Edward H.Spicer. op. di.. pks. 23-32, «Case 1. In the W a k e of the Wheeln. por Wesley L.BUss.
79
Cómo medir los resulrados de los proyecros de desarrollo
los individuos pueden desplazarse o morir, y la memoria fallar), es muy conveniente reunir más adelante algunos datos complementarios. Las fechas exactas son cuestión de discernimiento y dependen de diversos factores. Sin embargo, en muchos proyectos, sería conveniente reunir información entre uno y tres años después de terminado el proyecto y, de nuevo, entre cinco y diez años más tarde. La primera vez se podrían obtener ciertas indicacionessobre la permanencia y el alcance de los cambios provocados por el proyecto. En este período, también pueden manifestarse ciertos efectos indirectos como los antes descritos. Pero sólo después de cinco a diez años se obtendrán pruebas convincentes de la permanencia y de la amplitud de los resultados.Permanencia y amplitud son los principales criterios del éxito de los proyectos de desarrollo, y, antes de haber transcurrido ese lapso, no se puede saber «definitivamente» si un proyecto justifica los esfuerzos y los fondos que se le dedicaron.
80
C u a r t a
e t a p a
A N Á L I S I S E INTERPRETACIÓN
DE LOS RESULTADOS
Supongamos que ha sido posible reunir muchos datos que indiquen que durante la ejecución de un proyecto de desarrollo se han producido cambios comparables a los que se esperaba provocar. Supongamos asimismo que, desde su iniciación, se han obtenido datos básicos o que las informaciones disponibles permiten formarse una idea satisfactoria de las condiciones existentes en ese momento, o que pudiera confiarse en la memoria de las personas informadas para reconstituir esa situación. En ese caso, es posible evaluar aproximadamente la magnitud de los cambios que se han producido durante la ejecución del proyecto. i Quiere decir ésto que los cambios así evaluados son consecuencia del proyecto mismo? iNo pueden ser efecto de alguna otra causa? En numerosos cambios, es tan evidente que resultan de actividades relacionadas con el proyecto que no se plantea ese problema. Por otra parte, cabe formular preguntas bien fundadas acerca de las relaciones aparentes de causa a efecto. Para llegar a comprender sin lugar a dudas la relación causal no basta medir determinados cambios en una actividad, una zona o un grupo determinados. Es preciso demostrar también,por algún proceso lógico, que esos cambios guardan relación con las operaciones realizadas en el curso del proyecto de desarrollo o que resultan de éstas. Cuando se dispone de datos básicos, esa relación puede determinarse lógicamente si los cambios que ha provocado en una actividad, una zona o un grupo determinados, una serie concreta de operaciones son muy diferentes:a) de los cambios concomitantesque se han producido en una actividad, una zona o un grupo comparables, pero que no derivan de esas actividades (por ejemplo,un «grupo testigo))); o 6) de los cambios concomitantes regionales o nacionales (si se puede esperar que el proyecto afecte solamente a una pequeña parte de la región o de la nación). Si no se dispone de datos básicos, es posible, no obstante, determinar esa relación de causa a efecto comparando la situación actual en
81
Cdmo medir los redtados de los proyecfos de desarroiio
una actividad, una zona o un grupo directamente afectados por el proyecto, con: a) la situación actual en una actividad, una zona o un grupo comparables no afectados por el proyecto; o b) la situación regional o nacional (si se puede esperar que el proyecto afecte solamente a una pequeña parte de la región o de la nación). Las comparaciones realizadas sin datos básicos son menos satisfactorias porque han de basarse en la hipótesis de que las situaciones comparadas no eran muy distintas antes de iniciarse las operaciones previstas en el proyecto. Esa hipótesis no siempre es válida, pero puede ser verificada y confirmada. En todo caso es preferible proceder a esta clase de comparación que no hacer ninguna entre las actividades, zonas o grupos afectados por el proyecto y las actividades, zonas o grupos que no lo han sido. Supongamos que las zonas x e y son, en general, comparables desde un punto de vista agrícola y que se hallan bastante alejadas entre sí, de modo que son poco frecuentes las relaciones entre ellas. Supongamos también que en la zona x se ha llevado a cabo durante un año una campaña para fomentar el empleo de abonos comerciales. Si se pueden obtener de los comerciantes datos sobre la venta de abonos, será posible preparar un cuadro como el siguiente: CUADRO 5. Ventas anuales de abonos comerciales (en toneladas) Año anterior a la campaña
-
X(hubocampaña) . Y (no hubocampaña)
.
.
.
.
.
.
1 O00 800
Año posterior a la campaña
1500 1 000
Si no fuera posible obtener los datos de la primera columna (datos básicos), se podría interpretar que las cifras del año que siguió a la campaña significan que, siendo las zonas x e y comparables, la campaña aumentó en un 50% las ventas de abonos en la zona x. Si no se dispusiera de los datos sobre la zona y (zona testigo), se podría interpretar que las cifras de «antes y después))para la zona x revelan resultados de la misma magnitud. Pero el conocimiento del cambio simultáneo en la zona y hace pensar que en las dos zonas donde se desarrollaba la campaña intervinieron ciertos factores generales (el adelanto de la educación, el descenso del precio de los abonos, el alza de los precios de la cosecha o una modificación de la legislación sobre alquiler de la tierra, etc.). Bajo la influencia de esos factores,la zona y aumentó sus compras de abono en 200 toneladas,o sea 25%. Si esos factores hubieran actuado también en la zona x, cabía esperar que las ventas de abono aumentaran asimismo en un 25%, o sea de 1000 a 1250 toneladas.De ese modo, se hubieran podido atribuir a la campaña sólo la mitad del aumento de las ventas en la zona x, o sea 25% de las ventas anteriores a la campaña. Naturalmente que, si en la zona x hubieran influido más que en la
82
Análisis e inlerprelacidn de los resultados
zona y los factores generales que se observaron en ese período, habría que atribuir a la campaña un porcentaje aún menor del aumento de las ventas en la zona x. Por ejemplo, se puede pensar que en la zona x era mayor el número de aparceros y que, por consiguiente, una reducción en escala nacional del alquiler de la tierra ha beneficiado más a la zona x que a la zonay,aumentando a la vez sus ingresos y las utilidades obtenidas de las inversiones en abonos. O bien los cursos para adultos se extendieron con mayor rapidez en la zona x que en la zonay, aunque no se estableciera relación directa entre tales cursos y la campaña en favor del empleo de abonos. E n un período activo de desarrollo el análisis de las causas y los efectos es pues un problema muy complejo. Por último, suele ser muy instructivo comparar dos proyectos análogos que sólo se diferencian en uno o dos aspectos importantes. La comparación de los resultados de los dos proyectos cuyos objectivos son los mismos y cuyas actividades son, en general, semejantes, permite determinar el grado de eficacia de las actividades realizadas en uno solo de ellos. Cuando se ha obtenido una gran cantidad de datos sobre los resultados de un proyecto, puede recurrirse, para analizarlos, a métodos estadísticos perfeccionados.Esos métodos se describen en las obras de referencia enumeradas en la bibliografía. E n muchos casos, bastará emplear métodos muy sencillos. U n o de esos métodos es la representación gráfica. Si los datos se presentan gráficamente la interpretación de los resultados suele ser más fácil y más convincente. Por ejemplo, los datos precitados sobre la venta de abonos se podrían presentar en las columnas de un gráfico del siguiente modo: Venta anual de abonos Zona Y (no hubo campaña) Año siguiente Año anterior a la campaña a la campaña
-- "O%140% --
Z O M X (hubocampaña) Año anterior Año siguiente a la campaña a la campaña 150 %
Resultados atribuibles a la campaña Aumento debido a factores de carbciei general comunes a X ya Y
83
Cómo medtr los resulfados de los proyecfos de desarrollo
Tal gráfico informa sobre las cantidades relativas mejor que el cuadro en que se basa, especialmente a las personas habituadas a la percepción visual. Si a esos datos se añaden las ventas anuales de otros años, los datos de la zona x y de la zona y podrán compararse respecto a un período determinado, del modo siguiente: Venta anual de abonos 15
- 13 -11 - 9 Zona X (campaña)
- 7 - 5
Zona Y (no compaña)
3 - 1
- 0 1952
1953
1954
1955
1956
Años de la campaña
Se manifiesta así claramente: a) la tendencia anual al aumento de las ventas de abonos en las dos zonas;b) el aumento súbito de las ventas en 1955-1956 en la zona x donde se llevó a cabo la campaña; c) la magnitud de ese aumento brusco, en relación con el que cabía esperar si las ventas en la zona x hubieran seguido el ritmo de aumento de las ventas en la zona y. A menudo es imposible obtener buenos datos estadísticos sobre los resultados del proyecto. Además, aunque esos datos permitan comprender algunos cambios, otros, tal vez más importantes,sólo podrán conocerse mediante las respuestas a preguntas sueltas (pero cuidadosamente meditadas). i C ó m o puede, en esos casos, descubrirse la causa y el efecto ? El proceso lógico de comparar los cambios que se han producido en dos grupos, o de comparar las condiciones actuales en dos grupos, de los cuales sólo uno ha sido influído por el proyecto, es el mismo respecto de los datos obtenidos en entrevistas o de datos registrados. Debe excluirse rigurosamente la posibilidad de que intervengan factores generales que produzcan el cambio o la diferencia que se observa. Un modo de verificar si determinados efectos son resultado de tal o cual actividad prevista en el proyecto, consiste en conversar con los diferentes grupos de personas que colaboran en el proyecto o sobre los cuales influye. Claro es que los expertos y administradores que se ocupan de un proyecto preparan y comprueban constantemente sus 84
Anrilisis e interpretacidnde los resdtadox
propios cálculos acerca de los resultados del proyecto para poderse guiar en sus propias funciones.Son ellos quienes pueden determinar si es o no probable que ciertos cambios sean consecuencia efectiva de las actividades previstas. Además, para ellos es útil toda información que puedan obtener de otras personas sobre los resultados del proyecto. Los participantes en el proyecto (maestros en cursos de formación, personas que se ocupan de la modernización de la aldea, etc.), también se interesan directamente en sus resultados y en el análisis de la relación de causa a efecto, así como todas las personas a quienes concierne el proyecto (familias cuyos niños se educan conforme a métodos nuevos, habitantes de las aldeas donde se trata de producir cambios, etcétera). Es muy importante informara esaspersonas de los resultadosy de sus interpretaciones, pues esos datos no sólo estimulan su interés reforzando así los efectos del proyecto, sino que les son necesarios para que puedan desempeñar su papel de ciudadanos responsables en una sociedad democrática. Para que dichas personas comprendan esos resultados y saquen provecho de ellos, convendrá presentárselos en forma simple y directa. Debe preverse una amplia exposición sobre los resultados: cómo se han conseguido y analizado y lo que pueden suponer. De este modo, el proceso de información y análisis puede por sí solo estimular la comprensión, la discusión y el esfuerzo común y contribuir a establecer normas democráticas de vida así como a resolver problemas. Por otra parte, las personas interesadas pueden a menudo aclarar los datos obtenidos y las supuestas relaciones de causa a efecto. Ellas han vivido el proyecto y sus impresiones acerca de lo que ha pasado y de lo que ha provocado ciertos cambios pueden ser de gran valor para verificar los datos y las interpretaciones de quienes han dirigido el proyecto, pero que quizás no hayan participado tan íntimamente en su aplicación. Si esos datos e interpretaciones resultan ininteligibles para las personas más directamente interesadas en un proyecto o para las mejor informadas al respecto, habrá que pensar en elaborar de nuevo los datos y en revisar las interpretaciones. V E N T A J A S DE U N A M E J O R I N F O R M A C I ~ N
i Se necesita verdaderamente una mejor información sobre la mayoría de los proyectos? Una persona que ha trabajado en un proyecto de desarrollo dirá a menudo: «Sé lo que ocurrió; yo estuve allí.)) Y naturalmente, tiene razón. Sin embargo, sus conocimientos y su comprensión dependen de la cantidad y de la calidad de los datos de que disponga. Si los datos relativos a los cambios que le interesan son más numerosos y de mejor calidad, aumentará considerablemente sus conocimientos y comprensión. El presente manual habrá cumplido su propósito si le ayuda a enriquecer la información de que dispone.
85
Cdmo medtr los resulfadosde los proyectos de desarrollo
U n a mejor información sobre los resultados de un proyecto puede indicar los medios de obtener mejores resultados,ayudar a seleccionar y a preparar los proyectos y proporcionar una base sólida para determinar los créditos necesarios. A medida que aumenta el interés por las actividades de desarrollo es más apremiante la necesidad de obtener mejor información sobre la amplitud y la importancia de los resultados del proyecto. Los expertos técnicos que se ocupan de las actividades de desarrollo no pueden realizar adecuadamente su trabajo si no están continuamente informados del éxito de su labor, de sus recomendaciones y de sus demostraciones. Mejoran sin cesar sus métodos de trabajo y los adaptan continuamente a las condiciones cambiantes. Para efectuar tales mejoras y adaptaciones deben disponer de los mejores datos que les permitan evaluar la magnitud del éxito logrado y les indiquen por qué obtienen resultados positivos en unas actividades y no en otras. Con datos mejores e independientemente obtenidos les es también más fácil explicar a otros sus actividades e interpretar los resultados obtenidos.E n suma, la evaluación y la interpretación de los resultados del proyecto es parte esencial de su función. Los participantes en un proyecto de desarrollo y las personas a quienes concierne tienen interés en conocer el alcance y la naturaleza de los resultados obtenidos. Es pues importante que conozcan los objetivos previstos y en qué se traducen sus esfuerzos y los de los demás. Es natural que se interesen por saber si los cambios que se producen, deseados o no, son realmente compatibles con su propia escala de valores. Los administradores del proyecto, estén en misión, en centros regionales o en la oficina ce-ntral,no podrán realizar convenientemente su trabajo si no disponen constantemente de informaciones acerca del éxito de los diferentes proyectos. Lo que les interesa es la competencia técnica y personal de los expertos, la preparación y administración del proyecto, las reacciones de las personas a quienes concierne,así como el interés y la participación de los organismos que cooperan en su ejecución. Para un administrador es de inestimable valor conocer objetivamente los resultados del proyecto y los factores concretos a que se deben. Naturalmente que la satisfactoria combinación de esos factores es, en cierta medida, resultado de las decisiones tomadas por el propio administrador. El proceso de administración es un proceso circular, en el que las decisiones influyen sobre los resultados y el conocimiento de los resultados sobre las decisiones que se han de tomar. Los administradores necesitan informaciones fidedignas sobre los resultados del proyecto, para que puedan saber si están haciendo lo que debe hacerse y según el método que más conviene. Los gobiernos, las organizaciones intergubernamentales o los organismos privados que se han encargado de la ejecución de pro-
86
AnúJisfse interpretacidnde los resultados
yectos se interesan por esos mismos asuntos y necesitan conocer exactamente la situación. Se interesan por el empleo eficaz y prudente de los fondos que han proporcionado, por los .grandes cambios que pueden resultar en el orden social y económico de los que habrán provocado las actividades de desarrollo y que pueden reforzar e incluso contrarrestar esos cambios. El desarrollo económico y social requiere una experimentación concreta y en gran escala. Las lecciones aprendidas en una situación determinada pueden ser de gran valor en otras. Será mucho mejor empezar cuanto antes a reunir datos sobre los resultados del proyecto. Para la preparación del proyecto así como para las comparaciones del tipo cantes y después)) son de suma utilidad los datos sobre las condiciones existentes antes de iniciarse el proyecto. Los datos que revelen los resultados de las primeras actividades previstas en el proyecto son igualmente valiosos, sobre todo para el experto o el administrador directamente interesado, por cuanto pueden sugerir una revisión de esas actividades u otras nuevas, una modificación de la importancia concedida a algunas, una diferente distribución del tiempo y del material disponibles. A través de la ejecución de un proyecto de desarrollo, cuanto más se conozca la influencia que éste ejerce a medida que se lleva a la práctica,mayor será la posibilidad de efectuar modificaciones que permitan obtener el máximo de resultados. Si se obtienen índices verdaderamente seguros sobre los resultados del proyecto, se lograrán las siguientes ventajas directas: una mejor orientación de la comunidad interesada,del experto,del administrador y de la organización responsablel. Además cabe mencionar también ciertas ventajas indirectas. La clara determinación de los objetivos (condición previa para la medición de los resultados) y un mejor conocimiento de los resultados del proyecto, permiten al experto comprender mejor el proyecto de desarrollo. Lo estimulan también, pues como sabe lo que se espera de él, lo que está en vías de realizar y lo que él puede esperar lograr, su eficacia y su entusiasmo se verán reforzados. Si los datos reunidos han de servir de base para evaluar los resultados del proyecto, esos mismos datos pueden emplearse para organizar mejor el proyecto, ya que determinan con mayor exactitud las dimensiones del problema por resolver y ponen de relieve los factores conexos que pueden obstruir o facilitar su solución. Si se identifican desde un principio los obstáculos posibles y el grado de «tirantez» que el proyecto puede originar, será más fácil preparar el proyecto y establecer pronósticos realistas acerca del probable ritmo del cambio. Esos datos pueden ser también indispensables para decidir si con1. L a Unalldad de la reuni6n de datos de evaluaci6n se examina con bastante detalle en Final Report, Meetlng on Crileria and Techniques 01Evaluarion o/ Technical Assistance for Economic Developmenl. Ginebra, julio de 1954,preparado por Louls Moss Nnesco. doc. SS/12.Park, 15 de febrero de 1955).
87
Cdmo medlr los rexulradox de los proyecros de dexarrollo
viene o no iniciar el proyecto previsto, elegir los otros proyectos que pueden combinarse con él a fin de aumentar sus posibilidades de éxito y, por último, determinar qué otras alternativas son posibles. Hay un temor que con frecuencia se manifiesta cuando se trata de conseguir mejores datos sobre los resultados del proyecto: que al dedicar tiempo, energía y fondos a esa labor se pierda de vista la ejecución del proyecto. Pero, en realidad, si se lleva un buen registro de datos y se procede a reunir otros, será posible reducir los gastos administrativos y aumentar la eficacia de la administración. El registro diario de las actividades es esencial para una buena administración. Los resúmenes concisos de datos objetivos acerca de los resultados son preferibles a los informes descriptivos (a veces confusos). Además, los mejores datos sobre los resultados del proyecto sugieren a menudo los medios de aumentar la eficacia de los gastos de ejecución y de reducir con ello los gastos de administración. Por último, los datos reunidos sobre los resultados del proyecto pueden hacer comprender mejor los procesos sociales que desencadena el desarrollo económico y cultural de una región o de una cultura determinada. El desarrollo económico y social será más eficaz a medida que se convierta en una ciencia. C o m o se ha indicado en el presente documento, para el progreso de esta ciencia es indispensable mejorar el acopio y el análisis de datos objetivos. Todo lo que se haga por reunir mejores datos sobre un proyecto de desarrollo puede, pues, contribuir esencialmente a la preparación y a la administración de otros proyectos y programas de desarrollo.
88
La recapitulación siguiente puede servir para preparar una lista de comprobación de las principales medidas antes sugeridas, a fin de lograr una mejor evaluación, comprensión y administración de los proyectos de desarrollo. PRIMERA ETAPA
Describir el proyecto de desarrollo y delimitar sus objetivos en una exposición escrita que abarque: 1. Naturaleza del proyecto y actividades concretas que se han de realizar. 2. Clase de resultados que se espera obtener:impersonales,estructurales, personales (información,actitudes,aptitudes, acciones, hábitos, relaciones sociales), y cambios en las condiciones existentes y en los recursos en capital. 3. Efectos indirectos previstos. 4. Zona de aplicación y zona de influencia. 5. Ritmo del cambio. 6. Gastos previstos. Estudiar esa exposición con los interesados,en la medida de lo posible. S E G U N D A ETAPA
Decidir qué clase de datos se emplearán para conocer los resultados del proyecto y cómo se obtendrán: 1. Determinar qué datos, proporcionados por los registros o censos, están ya disponibles o en vías de reunirse y decidir cuáles pueden utilizarse y cómo obtenerlos. 2. Elegir las personas u organizaciones a las que se pedirá que reúnan datos complementarios, especialmente las personas y organiza-
89
C d m o medir los resuliados de los proyecios de desarrollo
ciones a quienes interese directamente el proyecto de desarrollo (reunión «integrada» de datos); y decidir qué informes periódicos se pedirá. 3. Decidir qué datos deben reunirse mediante la observación sistemática de los grupos afectados por el proyecto y de los grupos «testigo» y establecer los procedimientos de observación. 4. Decidir qué datos deben reunirse mediante la interrogación sistemática de los grupos afectados por el proyecto y de los grupos «testigo» y preparar las preguntas que se habrán de formular. Preparar un formulario de entrevista o un cuestionario tipo, si se ha de emplear uno. TERCERA ETAPA
Reunir los datos deseados: 1. Antes del proyecto, para facilitar su planificación. 2. Durante el proyecto, para facilitar su ejecución. 3. Después del proyecto, para facilitar el planeamiento de otros proyectos. C U A R T A ETAPA
Analizar e interpretar los resultados, y examinar los resultados e interpretaciones con las diversas partes interesadas.
90
A p é n d i c e
ALGUNOS CONCEPTOS Y PROCEDIMIENTOS ELEMENTALES DE ESTAD~STICA
Este apéndice está destinado a las personas que se interesan por los conceptos y procedimientos estadísticos necesarios para la selección de muestras de personas que hayan de ser interrogadas así como para el resumen y análisis de los datos obtenidos,y que desean más detalles al respecto que los que se han proporcionado en las páginas precedentes. Para estudios más completos, véanse las obras indicadas en la bibliografía. MUESTRE0
Muchos proyectos de desarrollo están destinados a un público numeroso. Si para obtener informaciones sobre sus resultados fuera necesario observar o interrogar a todo el grupo de personas que puede haber experimentado sus efectos,ese método resultaría antieconómico. En cambio, si se observa o se interroga sólo a una fracción («muestra») del grupo, pueden obtenerse las informaciones deseadas con menos gastos y más rapidez y, a menudo, con mayor exactitud. No obstante, es indispensable seleccionar la muestra correctamente, es decir, obedeciendo a las leyes del azar, pues de lo contrario se corre el riesgo de sacar conclusiones erróneas. Las dos características principales de una muestra son: 1. Sus dimensiones. Rara vez se necesitan muestras amplias (de más de 100 personas) para un estudio sobre proyectos de desarrollo. Pueden obtenerse muchas clases de informaciones útiles con muestras de 10 personas (que se sabe están bien informadas) o de 20 personas (promedio de toda una comunidad o región). 2. Su carácter representativo. U n a muestra no puede representar fielmente el conjunto si las personas que la constituyen difieren esencialmente de las que han quedado fuera, en cuanto concierne a los datos que se trata de reunir.
Dimensión de la muestra Las muestras deben ser bastante amplias. Los errores que puede entrañar el estudio de un caso aislado o de un grupo m u y pequeño son bien conocidos. Es m u y dificil evitar algún elemento de error sistemático en una muestra m u y pequeña. Por otra parte, como un proyecto de desarrollo interesa. por lo general, a una zona o a una categoría determinada de personas (por ejemplo, los profesores de escuelas tknicas), las personas consideradas constituyen, pues, un grupo mucho más homogéneo que cuando se realiza una encuesta nacional. Por consiguiente, una muestra de 20 personas (siempre que se traten de evitar las tendencias viciosas en la muestra) proporcionará muchas informaciones útiles, sobre todo si la encuesta se refiere
91
Cdmo medir los resulrados de los proyectos de desarrollo
sólo a los cambios bastante pronunciados. U n grupo de cien personas, si se trata también en este caso de evitar toda selección viciada, bastará en general para indicar con bastante precisión los resultados directos de un proyecto de desarrollo.Después de todo, no es necesario evaluar esos resultados con gran precisión, pues para tener una importancia social, los cambios deben advertirse, aun si el procedimiento de evaluación es muy impreciso. La dimensión de la muestra depende, naturalmente, de la variabilidad de los datos obtenidos. Por ejemplo, si al interrogar a una muestra representativa de familias, las 20 primeras han dicho todas que gastan entre un 10 y un 30% de sus ingresos en alquiler (véase el cuadro 6), se puede considerar que esta respuesta revela la variación de la relación alquiler ingreso para la comunidad en su conjunto. Análogamente, si todos los miembros, o todos menos uno, de una muestra representativa de 20 personas, se declaran partidarios de la construcción de una escuela, no será necesario proseguir la interrogación. Por tanto, en los casos en que las muestras representativas dan resultados casi idénticos o unánimes, se pueden utilizar muestras muy pequeñas. E n cambio, si las respuestas revelan variaciones muy marcadas o un desacuerdo considerable,se necesitarán muestras mucho más grandes. Pero aún en esos caso, el empleo de muestras m u y grandes no se impone a menos que sea indispensable (lo que sucede rara vez cuando se estudian proyectos de desarrollo) para obtener medidas precisas o para identificar o evaluar pequeñas diferencias entre un grupo y otro. E n general, las conclusiones utilizables en la preparación de proyectos, y los propios resultados de un proyecto, son bastante evidentes para que puedan advertirse en pequeñas muestras, o m u y poco importantes para justificar el tiempo y los gastos que exige el uso de muestras de gran dimensión. Consideremos,por ejemplo,los resultados de una encuesta sobre los presupuestos de familias obreras, en York (Reino Unido). Se determinaron los ingresos de cada familia y el alquiler pagado por cada una de ellas se expresó como porcentaje de los ingresos.Dividiendo el grupo en cinco categorías, segiin los ingresos,se obtiene el cuadro siguiente, que indica el porcentaje del ingreso destinado al alquiler por todos los familiares de cada categoría. Este cuadro muestra, además, los porcentajes obtenidos a partir de una muestra que sólo comprende una familia sobre 50 en cada categoría de ingresos.
-
CUADRO6. Porcentaje del ingreso destinado al alquiler. Encuesta completa Categoria de ingresos de familias
A(máximos) B . , C . . D . E(m&imos)
. . . . .
.
.
. . .
.
.
.
. .
1748 2477 2514 1676 3740
Porcentaje
26,5 22,7 19,s 15,s 11,3
Muestra de una famiiia sobre 50 Número de presupuestos comprendidos enlamuestra
34 67 46 35 77
Porcentaje
27,l 22,6 18,O 16,9 11,5
Si bien para cada categoría de ingresos, la variación entre los resultados obtenidos a partir de la muestra y los de la encuesta completa pueden alcanzar hasta 2%, se pueden sacar en ambos casos las mismas conclusiones de hecho, a saber: que en el grupo considerado existe una relación constantey estrecha entre el porcentaje de los ingresos destinados al alquiler y el nivel de ingresos, siendo ese porcentaje
92
Algunos conceptosy procedimientos elementales de estadística
por lo menos dos veces mayor en la categoría de ingresos máximos comparada con la de ingresos mínimos. Se ha obtenido ese resultado utilizando muestras que agrupan de 34 a 77 familias en cada categoría de ingresos. Ese cuadro ilustra otro punto importante. Si se divide la totalidad de la muestra (259 personas) en submuestras, se plantea el problema de saber cuál debe ser la dimensión de cada submuestra. En numerosas encuestas llevadas a cabo en los Estados Unidos de América y Europa, se utilizan muestras muy grandes (de 2000 a 3 O00 personas), en parte para poder constituir numerosos subgrupos y estudiarlos por separado y, en parte, para poder identificar las diferencias relativamente pequeñas que existen entre los diversos subgrupos,o entre éstos subgrupos y otros análogos estudiados en encuestas diferentes. El cuadro siguiente indica cuáles deben ser las dimensiones de las muestras en determinadas condiciones.
CUADRO 7. Dimensión de la muestra cuando se admite un margen de error determinado (calculada para preguntas de tipo «si» o «no», «en favor» o «en contra») Si aproximadamente el porcentaje siguiente contesta «si»
50
70 o más,o 30 o menos
90 o más, o 10 o menos
Si basta saber que de 19 casos sobre 20 el margen del error no excederá del porcentaje siguiente
La muestra adecuada serd de
20 10 5 2 20 10 5 2 10 5 2
25 100 400 24O0l 20 80 300 1 20001 35 140 900
1. Esta precisión y. por consiguiente,esta dimensión de la muestra no suele ser necesaria para orientar la administraciónde los proyectos de desarrollo.
Para utilizar este cuadro, se puede ante todo calcular aproximadamente el porcentaje que ha de inscribirse en la primera columna o, lo que es mucho mejor, se pueden obtener respuestas de una primera muestra de cerca de 25 unidades. Si esa muestra es representativa, las respuestas a menudo informarán suficientemente acerca de la homogeneidad para que se pueda prever la dimensión de la muestra definitiva. No obstante, puede ser necesario adoptar otras disposiciones si se comprueba que esa primera muestra no es m u y representativa. No existen normas acerca de la manera de llenar la segunda columna. Las cifras se determinan simplemente según la importancia que se conceda a la exactitud de los resultados y teniendo en cuenta el costo de las entrevistas necesarias para reducir el margen de error. El cuadro 7 puede utilizarse de la manera siguiente: supongamos que un 70% de las personas que constituyen una primera muestra representativa de una aldea de varios millares de habitantes puedan, al ser interrogadas, citar el nombre del funcionario de divulgación agricola de la aldea. Aun cuando la muestra no comprenda más que 20 personas, se puede estar «casi seguro» (19 posibilidades sobre 20) de que por lo menos el 50% y quizá el 90% de la población total (que puede elevarse a varios millares de habitantes) conoce ese nombre (50% = 70% menos
93
Cdmo medir los resuliados de los proyectos de desarrollo
20%; 90% = 70% más 20%; la «cifra real» correspondiente a toda la aldea estará comprendida entre los 20% superior o 20% inferior al porcentaje obtenido de 70%). Recíprocamente,si se desea establecer que por lo menos un 60% de la población total de la aldea conoce el nombre del funcionario, será necesario constituir una muestra de 80 personas. Si en esta muestra,el 70% de las personas conoce el nombre, se puede estar «casi seguro)) de que el error no excede de 10%. Si en el curso de esas nuevas entrevistas, la proporción de la muestra que conoce el nombre pasa del 70% al 90%, bastará una muestra de 35 personas como máximo. Con tal muestra y un 90% de respuestas afirmativas,se puede estar «casi seguro» de que al menos el 80% de la población total de la aldea conoce el nombre de esa persona (90% con un margen de error de 10%). C o m o lo indica el ejemplo precedente, la muestra puede ser pequeña cuando los resultados obtenidos no varían gran cosa de una persona a otra. Los datos obtenidos sobre el porcentaje de ingresos destinados al alquiler revelaron variaciones relativamente pequeñas. Las respuestas a una pregunta de tipo «si» o «no» varían mucho más, pues la persona interrogada sólo puede realmente contestar afirmativamente 100% 6 O%, sin graduaciones intermedias. Por lo tanto, las muestras deberán tener, en general, mayores dimensiones en este caso que en aquéllos en que las respuestas pudieran ser más matizadas, pero si en ciertos grupos el porcentaje de respuestas de una misma categoría es m u y elevado (un 90% o más), se podrá hacer un estudio válido de esos grupos con muestras muy pequeñas. El principio general ya enunciado es el siguiente:cuanto más homogénea sea la población, tanto más reducidas pueden ser las muestras. Las dimensiones de la muestra pueden reducirse mediante la estratificación, que consiste en dividirla en varios grupos cada uno de los cuales tendrá una estructura más homogénea que el conjunto (es el método que se aplica en el estudio a que se refiere el cuadro 6). E n seguida se puede constituir, partiendo de cada uno de los subgrupos, una muestra relativamente pequeña y evaluar los resultados obtenidos antes de sumarlos, multiplicándolos por la inversa de la fracción que representa la muestra en relación al subgrupo. Se evita, así, una representación inótilmente grande de los subgrupos especialmente numerosos en la muestra total. No es necesario fijar las dimensiones de la muestra antes de iniciar una encuesta. Se puede estudiar una serie de pequeñas muestras (si son todas representativas) y examinar los resultados. Si se observa gran homogeneidad o si las muestras sucesivas dan resultados bastante constantes para ser utilizados en la evaluación, se puede terminar bastante pronto la reunión de datos. A un si no se completara la encuesta, el estudio de las pequeñas muestras examinadas en un principio proporcionará datos básicos que permitirán estratificar las muestras ulteriores. Se reducirá así el tiempo y los gastos necesarios para obtener resultados de una precisión determinada. Carcicter representaiivo de la muestra
¿ C ó m o evitar el error sistemático? Se trata del error que consiste en emplear un método de selección basado en factores que a su vez se relacionan con las operaciones realizadas y con los resultados deseados. Por ejemplo, si se evalúa el efecto de una campaña en favor del empleo de abonos, la composición de la muestra no debe limitarse a los agricultores que compraban abonos a un comerciante desde el principio de la referida campaña. U n a encuesta ulterior de esos agricultores excluiría a todos aquéllos que en el intervalo hubiesen adoptado la práctica de emplear esos abonos. Análogamente, una muestra de personas que sufren de paludismo no debe limitarse a las personas que acaban de recibir tratamiento en un dispensario, sin tomar en cuenta a aquéllas que estaban demasiado enfermas o poco enfermas, o que eran demasiado pobres o que estaban demasiado atemorizadas para acudir al dispensario. E n ambos casos, la autoselección constituye una grave fuente de error.
94
AIgunos conceptos y procedlmlentos elemenfalesde estadistlca
El carácter representativo de una muestra, es decir, la ausencia de error sistemático, depende principalmente de la validez de los métodos utilizados en la selección y reunión de sus componentes. El objetivo que se persigue es dar a todas las personas del grupo entero, o a cada uno de los subgrupos si la muestra es estratificada, una posibilidad conocida de ser escogida. Ello significa generalmente una posibilidad igual de ser escogida, por lo menos en cada subgrupo. Este objetivo es sumamente importante si se desean obtener resultados precisos a partir de la muestra de una población numerosa y heterogénea. Si sólo se buscan resultados casi evidentes, sobre grupos reducidos y bastante homogéneos, no es necesario esforzarse por aplicar métodos de muestre0 m u y precisos; pero es evidente que todo lo que pueda hacerse para conseguir una muestra más representativa reforzará el valor de las conclusiones a que se llegue. A continuación se indican los principalesmétodos que permiten una posibilidad igual de selección. Muestreo al azar sencillo. Se puede escribir en una ficha el nombre y la direcci6n de cada persona o familia que podría ser escogida; se mezclan todas las fichas, y luego se seleccionan al azar las fichas necesarias. Puede ocurrir que no se obtengan buenos resultados. Muestreo al azar sistemático.Se pueden clasificar todas las fichas preparadas según el método anterior o utilizar listas ya preparadas para otros fines (si se consideraque esas listas son completas); luego se cuenta el número de nombres y se determina la dimensión de la muestra. Si hay 5000 nombres y se desea una muestra de 100 personas, bastará elegir un nombre de cada 50 de la lista o del fichero. Si hay motivo para sospechar que la lista tenga una estructura recurrente,basada por ejemplo sobre los miiltiplos de 5, habra que evitar, naturalmente, los intervalos que corresponden a esa estructura. E n el ejemplo precedente, si se supone que la estructura se basa en un múitiplo de 5, se podría dividir la lista en 10 secciones de 500 nombres cada una, y tomar en la primera sección un nombre de cada 50 comenzando por el primero; en la segunda sección, un nombre de cada 50 comenzando por el segundo y así sucesivamente. Muestreo al azar estratificado.C o m o ya se ha indicado en relación con las dimensiones de la muestra, se pueden efectuar importantes economías dividiendo el grupo que se ha de estudiar en subgrupos, cuya composición es más homogénea que la del conjunto. Por ejemplo, se pueden formar estratos distintos de familias s e a n éstas habiten en sectores de ingresos elevados, medianos o reducidos. O bien las diversas colectividades próximas al lugar en que se lleva a cabo un proyecto de desarrollo pueden constituir un estrato distinto. También se pueden formar dos estratos: uno integrado por personas que aprueban la labor de un experto y otro por quienes la critican. Si las respuestas a las preguntas formuladas varían de un estrato a otro, los resultados obtenidos serán más seguros si se utiliza una muestra estratificada. E n cada estrato todos los individuos deben tener, por cierto, la misma posibilidad de ser elegidos. Para muchas encuestas, ciertos grupos o estratos tienen más importancia que otros. Se puede, por ejemplo, estratificara toda la población de una comunidad, de tal manera que se interrogue a 100% de los dirigentes, a 50% de los comerciantes, a 25% de los otros habitantes y a 10% de los agricultores (suponiendo que los agricultores constituyen el grupo más numeroso). L a dimensión de las muestras de cada uno de los grupos que se han de estudiar debe responder a los criterios ya definidos, pero no es necesario que todas las muestras comprendan el mismo porcentaje de miembros del grupo. Naturalmente,si se desean combinar los resultados de manera que se obtengan porcentajes o promedios aplicables a toda la comunidad, convendrá, al hacer esos cálculos, atribuir a los resultados obtenidos con cada una de las muestras los coeficientes de ponderación apropiados.
95
Cdmo medir los resullados de los proyecros de desarrollo
Muestreo por conglomerados.Al emplear los tres métodos precedentes se reduce a una o dos personas el número de los miembros de una misma familia que pueden ser interrogados. Cuando sea conveniente interrogar a toda la familia o al jefe de cada una de ellas, se utilizarán listas establecidas por familia (o cualquier otra agrupación natural) y se podrá seleccionar a una o a varias personas de cada una de ellas. Se puede proceder del mismo m o d o con listas establecidas por aldeas. Este método supone el asesoramiento de un estadígrafo y se menciona aquí sólo para indicar su existencia y utilidad. Méiodo de la «muestra de zonas)).Existe otra técnica que requiere el asesoramiento de un estadígrafo. Cuando se dispone de informaciones suficientes sobre la topografía de una zona directamenteinteresada en el proyecto de desarrollo,se la puede dividir en un gran número de subsectores, que tengan,en lo posible, una población aproximadamente igual. Si la importancia numkrica de la población varía de una zona a otra, se tratará de evaluar la importancia relativa de cada una de ellas. Así, en cada subsector se podrán constituir muestras de dimensión proporcional al número de habitantes. Sin embargo, al realizar esta operación se deberá evitar, mediante una técnica rigurosa, que la muestra esté constituida por una sola cate goría de personas pues en tal caso dejaría de ser representativa. Tal cosa sucede, por ejemplo, si se incluye las personas que viven junto a importantes carreteras o en el primer piso de edificios de departamentos, etc. L a representación de las familias menos asequibles se consigue a veces pinchando al azar alfileres en un mapa aéreo del subsector. Otro método consiste en recorrer en cada subsector ciertas distancias en direcciones determinadas. Muestreo dirigido. Las muestras en cuya composición no intervienen las leyes del azar se Ilaman,en genera1,amuestrasdirigidas)).La personaqueconstituyela muestra puede estimar,por ejemplo, que el funcionario x o que el dirigente de la comunidad y debiera indudablemente incluirse en ella. Si cada una de las personas escogidas se considera como un estrato separado y si en el resultado final se le atribuye un coeficiente de ponderación apropiado, no se introduce ningún error sistemático. Pero si se incluyen ciertas personas en la muestra y se excluyen a otras, sin efectuar en la ponderación ñnal el reajuste que conviene, los resultados no serán representativos. Además, si se decide, por ejemplo, que la muestra ha de estar constituida por un 25% de contratistas cuando no se conoce ni se puede evaluar con cierta precisión la proporción de contratistas en el grupo, los resultados correspondientes al grupo en su conjunto podrán acusar un error sistemático imposible de medir. Por otra parte, si una vez determinadas las cuotas, se libera a los interrogadores de la obligación de buscar (pormedio de uno de los métodos de selección al azar) personas representativas dentro de cada grupo correspondientea una cuota,puede resultar un error suplementario que tampoco es mensurable. No obstante, más vale emplear este método de «muestre0 por cuotas)) (que,en realidad. es una forma de muestre0 dirigido) que no proceder a la estratificación. Dicho método facilita la representación de grupos importantesy permite estudiar a cada uno de ellos por separado. Muestra invariable o muestras sucesivas. Para estudiar los cambios que se producen en el curso de un período determinado, se pueden seleccionar sucesivamente muestras de composición comparable o, en ciertos casos, conservar la misma muestra y someterla a nuevas entrevistas. Por ejemplo, para estudiar la actitud del consumidor,como lo hizo el Banco Central de Ceylán, puede ser conveniente constituir una muestra que agrupe a varias familias e interrogarlas varias veces. E n IosEstadosUnidos de América se utilizan frecuentemente((gruposdeconsumidores)) así constituldos,a quienes se pide que anoten cada día sus compras,lo que leen, los programas que escuchan por radio, etc., y que hagan periódicamente (o encarguen a una persona que lo haga) el inventario de las categorías y de las cantidades de artículos o de productos que tienen en sus casas.
96
Algunos conceptos y procedimienios elementales de esiadistica
En ciertas zonas, las encuestas periódicas utilizando la misma muestra son las que dan mejores resultados cuando se trata de reunir datos sobre ingresos, gastos, empleo, enfermedades, etc. Ciertas familias pueden mantener al día esas informaciones y lo hacen de buen grado. E n muchos casos, sin embargo, es preferible contratar a alguien del lugar para que anote los datos con la ayuda de la familia. Cuando la encuesta se realiza con una muestra invariable, los cambios relativamente pequeños que se producen con el tiempo suelen ser importantes desde un punto de vista estadístico.E n cambio, si la encuesta se efectúa con muestras sucesivas, pero diferentes, los cambios de igual importancia pueden atribuirse, de una muestra a otra, a variaciones fortuitas. Así, en el caso de estudios de tendencias, los resultados basados en un número muy reducido de entrevistas repetidas varias veces con una muestra constante,pueden ser tan exactos como los que se obtienen interrogando una sola vez a un número de personas mucho mayor. Además, una serie de entrevistas con un mismo grupo permite a menudo obtener más informaciones, pues los resultados de las entrevistas sucesivas se pueden acumular y los miembros del grupo se muestran cada vez más dispuestos a expresarse (porque se acostumbran al interrogador y porque han tenido tiempo de reflexionar,entre dos entrevistas, sobre los temas estudiados). Se puede incluso lograr que los miembros del grupo cooperen en un proyecto de desarrollo, por ejemplo, poniendo a su disposición literatura sobre el tema o invitándoles a escuchar ciertos programas radiofónicos. A la larga, es probable que puedan observarse cambios en las familias estudiadas. Los principales inconvenientes de las entrevistas repetidas son los siguientes: a) la considerable disminución del número de personas que responden de una encuesta a otra (que puede llamarse desintegración del grupo) debido a que las personas se mudan, enferman, mueren, o sencillamente a que ya no desean prestar su concurso;b) los miembros del grupo suelen tomar una ((actitud crítica)) y dejan entonces de ser representativos del conjunto; c) los componentes del grupo pueden esforzarse por mantener,de una entrevista a otra,cierta constancia en sus actos o en sus opiniones relegando a segundo plano los cambios que precisamente persigue . el proyecto de desarrollo y que la evaluación debe poner de manifiesto; d) puede ocurrir que los funcionarios que trabajen en la aldea concentren sus esfuerzos únicamente en las aldeas que constituyen la muestra o en las familias que según saben participan en la encuesta,lo cual disminuye poco a poco su carácter representativo para la zona en su conjunto. Muestre0 por períodos determinados.Cuando se estima que el comportamiento que se ha de observar o el proceso de reunión de datos es continuo, se suele utilizar un método de muestre0 distinto, que abarca un «período determinado))y que consiste en reunir datos en un período de duración determinada. Por ejemplo, en los estudios de tiempo y movimientos realizados en las fábricas, un observador (provisto,en caso necesario,de una máquina cinematográfica) podrá escoger al azar períodos de cinco minutos en el transcurso del día y reunir,en cada uno de ellos, las informaciones deseadas respecto de un obrero determinado. Hay que cerciorarse,por cierto, de que la selección de los períodos no falsea los resultados. Con ese fin, se puede efectuar una selección al azar (por ejemplo, sorteando en un sombrero todos los períodos posibles) o una selección sistemática (escogiendo, por ejemplo, un período cada media hora desde el principio hasta el término del día). E n sus encuestas sobre los pronósticos de los hombres de negocios norteamericanos, D u n y Bradstreet aplican el método de selección sistemática de períodos-muestras en empresas con un capital de 75 O00 dólares como mínimo. El personal de los servicios de análisis visita cada día laborable varias empresas (la selección obedece a la necesidad de obtener nuevos datos y no a un juicio personal), a fin de reunir informaciones financieras que permitan determinar las condiciones de crédito. Durante dos semanas al principio de cada trimestre, cada funcionario de esos servicios pide a los hombres de negocios que visita, ciertas informaciones
97
Cómo medir los resullados de los proyectos de desarrollo
complementarias sobre sus pronósticos (de venta, de utilidades, de existencias, etcétera). D e ese modo, la muestra comprende no sólo un hombre de negocios de cada cincuenta,sino todos los hombres de negocios que se han visitado en el curso de un período determinado.
COMBINACI~NY ANÁLISIS DE LOS DATOS
L a reunión de los datos no es más que una fase, aunque m u y importante, del proceso de evaluación. La cantidad de datos reunidos puede ser enorme y su naturaleza muy diversa. Para sacar de ellos conclusiones precisas y prácticas, se requiere una labor considerable,pues hay que combinarlos, analizarlos e interpretarlos en función de las decisiones que se hayan de tomar. Comprobación y corrección
Si los datos se reúnen con ayuda de formulariosde entrevistasa cuestionarios,suele ser necesario comprobarlos antes de poder tabularlos. Se trata de descubrir los errores u omisiones y de corregirlos;de verificar su exactitud y el grado en que son fidedignos, así como su coherencia interna (es decir, entre ellos) y externa (con los datos obtenidos por otros métodos), de lograr la uniformidad en su presentación, de determinar si son completos, si se prestan a la tabulación y, por último, se trata de ordenarlos para facilitar su codificación y tabulación. E n el curso de ese proceso, se advierte a menudo que faltan algunos datos o que hay contradicciones. E n el primer caso, suele ser posible volver a la fuente para procurarse la información necesaria, a veces mediante una entrevista, por teléfono o por carta, sin tener en cuenta el método empleado en la encuesta. A menudo, también es fácil descubrir errores como los siguientes: la palabra «años» escrita en lugar de «meses», que dos respuestas de una misma persona son contradictorias, errores de cálculo, bromas o respuestas falseadas acerca de la edad, los ingresos o la ocupación. Aunque es más fácil captar esos errores en el curso de la entrevista, también se pueden descubrir y corregir despub. Clasificación y cifrado
Hay que agrupar casi todas las preguntas por categoría antes de poder combinarlas. Esta operación puede consistir sencillamente en distribuir todas las opiniones expresadas sobre un proyecto, o sobre el trabajo de un experto, etc. ; en tres categorías: favorable,indiferenteo desfavorable. También se pueden clasificaren forma mucho más detallada, según las razones por las cuales los entrevistados aprueban o desaprueban una medida determinada, por ejemplo, un nuevo sistema de exámenes en la administración pública. La misma respuesta puede clasificarse según diferentes principios de clasificación. Así, las respuestas a la pregunta
Actitud respecto a los tests: Favorable; indiferente; desfavorable. Actitud respecto a los funcionarios: Favorable;indiferente;desfavorable; sin opinión. Actitud respecto al entrevistador: D e cooperación ; indiferente; de desconfianza;hostil; Otras actitudes (indíquelas).
98
Algunos conceptos y procedimienros elemenlales de esradisrica
E n cada grupo las categorías deben ser: u) exhaustivas, de m o do que se puedan clasificar todas las respuestas posibles; b) exclusivas la una de la otra, para que ninguna respuesta pueda clasificarse en varias categorías; c) fundadas sobre el mismo principio de clasificación. Los principios de clasificación (y las categorías correspondientes) se habrán determinado,en gran parte, antes de reunir los datos, en función de los resultados que se espera del proyecto de desarrollo estudiado. Pero e n general es preciso obtener los resultados de tests preliminares o incluso los primeros resultados de la encuesta para determinar con precisión esas categorías, a fin de poder clasificar las respuestas que no entran en ninguna de las categorías. D e todos modos, no se puede emprender el cifrado sin haber terminado esas operaciones. Al analizar los datos de un gran número de entrevistas o de cuestionarios, suele ser preferible clasificarno sólo las respuestas sino también 1as:personas interrogadas. E n los cuestionarios, se puede pedir a los entrevistados que se clasifiquen a sí mismos según los principios que a continuación se indican.E n el curso de las entre vistas, el que hace la clasificación es generalmente el interrogador,pero éste puede también pedir a los entrevistados que la hagan. H e aquí una lista de los principios que a menudo se utilizan para clasificar a los interrogados,y las categorías correspondientes: Lugar de residencia: E n el campo (explotación agrícola o no); en la ciudad (de un millón de habitantes o más; de 100 O00 a un millón; de 50 O00 a 100 000; de 10 O00 a 50 000;de 2 500 a 10 OOO). Color: Blanco, rojo, amarillo, café, negro. Origen: Nacido en el país (de padres nacidos en el país o de padres nacidos en el extranjero), nacido en el extranjero. Edad: Menos de cinco años, de cinco a nueve, de diez a catorce, etc., edad desconocida. Instrucción: Ninguna, primaria (1 a 4 años de estudios; 5 a 6 años; 7 a 8 años); secundaria (1 a 3 años de estudios, 4 años); superior (1 a 3 años, 4 años o más). Estado civil: Soltero, casado, viudo, divorciado, casado con el cónyuge ausente. Familia: Miembros del grupo familiar, indicando el vínculo de parentesco con el jefe de la familia. Vivienda y alquiler: Tipo de habitación;alquiler mensual o valor locativo. Situación de empleo : Empleado, desempleado,no pertenece a la población económicamente activa. Categorfu de empleo :No agrícola (asalariado o empleado por particulares, asalariado empleado por el Estado, trabaja por su cuenta, trabajo familiar no re munerado), empleo agrícola (asalariado,trabaja por su cuenta,trabajo familiar no remunerado). Profesión: Profesional liberal o semiliberal, agricultor o administrador de explotaciones agrícolas,propietario, administrador o funcionario,empleado de oficina y afines, vendedor, vendedora, operario y afines, artesano, capataz y afines, trabajador del servicio doméstico, personal de servicio (no doméstico), peón, o capataz agrícola,trabajador (excepto de granjas y minas). Remuneración: (Por semana, por mes o por año, antes o después de deducir los impuestos.) Ingresos familiares: (La misma clasificación.) R a m a de la actividad económica. El cifrado es el procedimiento técnico que consiste en transformar las respuestas en cifras o en símbolos que se pueden tabular. Por ejemplo, se puede asignar la letra «F» a todas las respuestas favorables, «D»a las desfavorables, e MI» a las indiferentes. Al marcar estas letras o símbolos con un lápiz de color en un lugar determinado, al margen de cada formulario de entrevista o cuestionario, se simplifica y se acelera considerablemente la tabulación. El cifrado se hace en forma más o menos automática cuando se trata de preguntas cerradas. Pero aun en ese caso, es preciso dar pruebas de juicio, sobre todo si una de las respuestas permisibles es: «Otras, indíquelas.)) El cifrado de las
99
Cdmo medir los resultados de los proyectos de desarrollo
respuestas a las preguntas abiertas requiere mucha discreción y bastante entrenamiento. E n esos casos, antes del cifrado es indispensable definir claramente las categorías de respuestas.A veces, no es posible establecer esas categorías sin haber examinado un gran número de formularios, de m o d o que conviene registrar todos los formularios examinados antes de decidir respecto a las categorías que se habrán de utilizar. Tabulación Cuando los datos se basan en gran número de observaciones, es indispensable combinarlos en categorías (véase la sección precedente), contarlos por categoría y presentarlos en forma de cuadros si no se quiere que pierdan rápidamente su valor y su significación. Cuando la tabulación se hace a mano, se emplea uno de los procedimientos siguientes. E n una página se prepara una lista de las diferentes categorías de respuestas a una misma pregunta; seguidamente se anotan para cada categoría las respuestas correspondientes, mediante un signo cualquiera que simplifique el cáirepresentando el número 5. El segundo culo, por ejemplo Ntf- o mejor método consiste en anotar las respuestas, utilizando números o símbolos en un punto determinado de una ficha.Se emplea una ficha diferente para cada entrevista o cuestionario. Luego se distribuyen las fichas por categorías correspondientes a un mismo principio de clasificación, y se cuentan. Esto puede hacerse muy rápidamente, incluso con un gran número de respuestas. El objeto principal de la tabulación es resumir los resultados en cuadros estadísticos. Si se sabe de antemano qué clase de cuadros se espera obtener, se ahorrará tiempo y dinero en la mayoría de los casos. Por ejemplo, ne se registrarán los datos que no sean pertinentes,con lo cual se abreviará el cifrado y la tabulación.La tabulación de los datos obtenidos en pruebas preliminares pueden proporcionar indicaciones m u y útiles sobre la clase de cuadros que se necesita para la evaluación definitiva. Los cuadros revisten dos formas esenciales. Pueden indicar simplemente, en cifras y en porcentajes, las personas interrogadas o las respuestas obtenidas clasificándolas por categoría. Véanse los ejemplos dados en los cuadros 8 y 9.
/a,
CUADRO 8. Origen de las personas entrevistadas (datos ficticios). Origen
Número
Nacido en el país aborigen . . D e padres nacidos en el país . D e padres nacidos en el extranjero Nacido en el extranjero . . . Total . . . . . .
.
.
.
.
. .
. .
. .
. .
. .
. .
. .
. .
Porcentaje
170
85 150 20
75 10
30 -
15 -
200
1 O0
CUADRO 9. Actitudes respecto al empleo de tests mentales (datos ficticios) Actitud
Favorable . Indiferente . Desfavorable Total .
100
Número
Porcentaje
55 22 23 1O0
.
.
.
.
.
.
.
.
.
110
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
44 46 200
A.gnnos concepfosy procedimienfos elemenfales de estadística
Los cuadros pueden también presentar los datos de tabulaciones cruzadas e indicar las relaciones posibles entre los distintos factores investigados.Esto queda ilustrado en el cuadro 10.
CUADRO 10. Relación entre el origen de las personas interrogadas y su actitud respecto a los tests mentales (datos ficticios). Origen
Actitud favorable
%
N.O
100
66l
25
17
5 5 110
25
10
50 30 22
N.O
Nacido en el país de padres nacidos en el . . país Nacido en ei pais de padres nacidos en el extranjero . . . Extranjero . . . Total . . .
Actitud indiferente
17 9 55 44
%
-
Actitud desfavorable N.O
25
%
17
5 25 16 - _-53 46 23
Total
N.O
%
150
100
20 30 200
100 100 100
1. Este cuadro ilustra el principio de «redondear» los porcentajes para conseguir un total de 100 %. La cifra 100 representa el 66.61 % de 150 y 25 representa el 16.67 %.Se redondea en este caso la cifra mzyor. que experimentará el menor cambio relativo. E n general se aumenta o se disminuye la cifra cuya modificaciónfalseará lo menos posible la impresión de conjunto.
D e los datos (ficticios)presentados en este cuadro se infiere que existe una estrecha relación positiva entre los dos factores medidos: el porcentaje de respuestas favorables al empleo de tests mentales fue mayor en el caso de las personas nacidas en el país que en el de los nacidos en el extranjero. Los cuadros sirven para dos propósitos principales:a) el análisis y b) la presentación. Los cuadros que se utilizan en el análisis, o cuadros de trabajo, presentan todos los datos clasificados según las categorías originalesy de manera tan detallada como sea posible. Se utilizan las cifras originales, sin redondearlas;y los porcentajes se calculan aparte. Muchos de esos cuadros no indican nada nuevo o importante y pueden omitirse en el informe final o reproducirse sólo en un anexo. Los cuadros denominados de presentación se eligen por su importancia. C o n el fin de subrayar los importantesdatos que contienen,a menudo se combinan las categorías empleadas, se redondean las cifras, se calculan los porcentajes o se recurre a otros procedimientos para aclarar su significado. Resumen de los datos
Independientemente de la naturaleza de los datos reunidos, es necesario expresar de una manera sencilla y clara el contenido de los cuadros. A continuación se describen brevemente las medidas estadísticas más comúnmente empleadas para lograr tal efecto. Número y frecuencia. L a medida más sencilla consiste en indicar simplemente el número de personas o de respuestas por cada catégoría importante.Se puede indicar el número o la frecuencia reales que se obtienen al contar los datos, o el número o la frecuencia estimadas. Si, por ejemplo, se pregunta a uno de cada diez niños de una escuela cuál es el juego que prefiere, y se obtienen seis respuestas en favor del badminton, puede razonablemente estimarse que 60 niños de la escuela prefieren ese juego. Toda estimación de esa índole supone un ((margen de error». Las obras de estadística corrientes indican cómo se puede calcular ese margen (consúltese la bibliografía).
101
C ó m o medir los resultados de los proyectos de desarrollo
Porcentajes. El cálculo de porcentajes es uno de los procedimientos más útiles para resumir los datos y determinar la frecuencia relativa de las diferentes clases de respuestas. Si se divide el número de respuestas de la categoría A por el número total de las respuestas de todas las categorías y después se multiplica el cociente por 100,se obtiene el porcentaje de respuestas de la categoría A. Por ejemplo, si se pregunta a 74 personas qué opinan sobre el empleo de los tests mentales para la selección de funcionarios públicos, y 65 dan una respuesta favorable,el porcentaje de personas que aprueban los tests se estima en 88%. Aunque la cifra obtenida es 87,84%, los dos Últimos guarismos no tienen importancia para un total de 74 y generalmente se descartan para redondear el porcentaje. Además, uno de los objetivos principales de la conversión en porcentajes es conseguir una cifra (proporcional a 100) fácil de interpretar y se. complicaría inútilmente la operación si se expresara el comportamiento humano, que de todos modos es variable, en porcentajes con decimales. Los porcentajes son m u y útiles para establecer comparaciones entre grupos, pues constituyen una medida común para grupos de diferente importancia numérica ( v h e ((Diferencias y relaciones basadas en datos obtenidos mediante muestras », pkg. 104). Promedios. Si un porcentaje elevado de un grupo se comporta de una determinada manera, se dice que esa reacción es típica del grupo. Se puede también medir lo que es típico calculando diferentes promedios. 1. El promedio aritmético (o simplemente la «media»). Es el promedio más conocido; se obtiene sumando los puntos atribuidos a las personas interrogadas (o su edad o su ingreso, etc.) y dividiendo el total por el número de personas. 2. L a media modificada. Para evitar que las cifras excepcionalmente altas o excepcionalmente bajas falseen la media aritmética, se puede excluir del cálculo una proporción como máximo) de las cifras más altas y de las cifras más bajas. Se obtiene así una media modificada, que puede ser muy útil si se indica el método que ha permitido calcularla. Por ejemplo, comparando dos estudios realizados en épocas diferentes, en uno de los cuales figura por casualidad un millonario,se puede comprobar,al calcular la media, que ha ocurrido un cambio apreciable en el promedio de ingresos del grupo. Al calcular la media modificada se evita esta clase de error. 3. L a mediana. E n el caso extremo, la media modificada es la mediana. La mediana es el valor central (o la media de dos valores centrales) respecto del cual existen tantos valores superiores como inferiores. También se utiliza para definir la medida típica del grupo. Sean cuales fueren los casos extremos,la mediana no se modifica. Variabilidad. Es a menudo conveniente indicar la variabilidad de las respuestas, a fin de medir la homogeneidad o heterogeneidad del grupo. Por ejemplo, si el 80% de los miembros del grupo han dado la misma respuesta entre tres posibles, el grupo presenta una gran homogeneidad ;si sólo 20% han proporcionado la misma respuesta de siete respuestas posibles el grupo revela gran heterogeneidad. Cuando los datos están representadospor valores cuantitativos,se puede utilizar el intervalo de variación entre los dos valores extremos para medir las diferencias individuales en relación con las características del grupo. Sin embargo, también en este caso la presencia ocasional de valores extremadamente altos o extremadamente bajos puede sugerirla eliminación de los extremos.Si se excluye la sexta parte de los valores extremos, se obtendrá un intervalo de variación modificado (comparable a la media modificada), que se puede definir claramente diciendo que «los dos tercios de las respuestas están comprendidos entre x e y». Si dividimos en dos ese intervalo, se obtiene un valor m u y parecido a la medida más precisa denominada desviación típica (en una distribución normal el 68%de las respuestas se sitúan entre la desviación típica superior y la desviación típica inferior).
102
Algunos conceplos y procedimientos elemeniales de esladisttca
% x g8z x
x x
x x
x x
x x
x x
Este esquema da una figura((rectangular».Enninguna abscisa,el número de respuestas es m u y grande ni m u y pequeño. La distribución puede también revestir la forma siguiente:
X X X
x x x x
x x x x x x x x x x Categorías de respuestas
Se obtiene así una curva en L (o en J, según los casos). L a mayoría de las respuestas caen en una abscisa extrema y su número disminuye a medida que nos apartamos de ella. Puede darse, también, la distribución siguiente:
1
1
t
x x x x x x z x x x x x 8
J
x x x x x x
X
x x x x x x
x x x x x x
x x x x x x x x x x x
Categofias de respuestas
Este esquema da una curva en forma de campana o curva normal. Es importante conocer el tipo de curva que da la distribución de las respuestas, a ñn de determinar el procedimiento estadístico que podría utilizarse para resumir y analizar las respuestas. Se han ideado numerosos procedimientos especiales y simplificados, pero sólo pueden emplearse con curvas normales con exclusión de todas las demás. Por ejemplo, si en la oficina central se quiere analizar con más detalle los datos obtenidos,será útil conocer el tipo de curva que da la distribución de las respuestas, a fin de poder emplear los tests que permitan determinar la importancia y la correlación de los datos.
103
Cómo medir los resultados de los proyecfos de desarroIlo
Diferencias y relaciones basadas en datos obtenidos mediante muestras
El análisis estadístico de los datos que revelan los resultados de un proyecto tiene por objeto determinar si se han producido cambios importantes que puedan atribuirse a1 proyecto o a sus diversas operaciones. C o m o se señaló en la cuarta etapa, pág. Si, existen dos maneras lógicas de hacerlo: a) descubrir diferencias importantes entre la situación antes y después de la ejecución del proyecto (siempre que no se manifiesten diferencias semejantes en situaciones comparables en las que no se dejan sentir los efectos del proyecto); y b) descubrir las diferencias importantes entre la situación que resulta de la ejecución del proyecto y una situación testigo. Este último método es menos eficaz, pues se admite, sin disponer de datos básicos, que no existen diferencias importantes entre las dos situaciones antes de comenzar la ejecución del proyecto. Sin embargo, a menudo es el único procedimiento que puede aplicarse y esto es preferible a no hacer nada. Cuando los datos provienen de muestras, se necesitan operaciones estadísticas bastante complicadas para descubrir diferencias importantes y calcular su alcance y grado de validez. N o obstante, pueden indicarse algunos métodos empíricos bastante sencillos. Supongamos que se ha realizado durante un año una campaña en favor de un abono vendido en el comercio y que los estudios sobre el empleo de ese abono se efectuaron a base de cuatro muestras de agricultores Constituidas de la manera siguiente:muestra A,en la zona x (sometida a la campaña de publicidad): antes de la campaña;muestra B en la zona x (sometida a la campaña de publicidad); después de la campaña; muestra C en la zona y (no sometida a la campaña de publicidad): antes de la campaña; muestra D en la zona y (no sometida a la campaña de publicidad): después de la campaña. Supongamos que en las cuatro muestras se han obtenido las siguientes cifras y porcentajes acerca del empleo de ese abono en el momento de la encuesta: CUADRO11. Agricultores que utilizan el abono (datos ficticios). Antes de la campaña de publicidad Zona
Después de la campaña de publicidad
Designación Número de Porcentaje Designación Número de Porcentaje y dimensión agricultores que lo y dimensión agricultores que lo de la muestra que lo utiliza utiliza de la muestra que lo utiliza utiliza
x (sometida a la campaña) . . A (76) y (no sometida a la campaña). . C (90)
20
26
B (85)
40
47
24
27
D (88)
30
34
Se observará que durante la campaña de publicidad el empleo del abono aumentó en las dos zonas. Quizá algunos factores generales expliquen ese hecho. Sin embargo, basta mirar el cuadro 12 para advertir que el aumento de 27% a 34% que se ha producido en la zona y es tan insignificante que puede atribuirse a variaciones accidentales entre una zona muestra. Para que la diferencia entre la muestra D y la muestra C pudiera considerarse importante, tendría que hacer excedido del 9% (la dimensión de la muestra se aproxima a 100 y los porcentajes obtenidos son de alrededor de un 30%); la diferencia es sólo de un 7%, que se explica fácilmentepor variaciones fortuitas. D e hecho, la diferencia en este caso no debe considerarse realmente importante sino en relación con la variabilidad aleatoriano de uno o del otro porcentaje,sino de la diferencia entre los dos porcentajes. Cuando los porcentajes comparados tienen la misma variabilidad aleatoria (como se indica en la terceracolumna del cuadro 12). la diferencia entre ellos tendrá una variabilidad aleatoriadecerca de 1,4veces mayor,
104
Algwios conceptos y procedimientos elementales de estadística
Así, en el ejemplo precitado, la diferencia entre la muestra C y la muestra D d e bería ser de un 13% o más para que se pueda considerar que verdaderamente se ha producido un cambio en la zona y. E n cambio, en la zona x, la diferencia entre la muestra A (26%) y la muestra D (47%) es de un 21%, es decir m u y superior a la diferencia que podría explicarse por variaciones aleatorias. Si se utiliza el cuadro 12 (con las interpolaciones necesarias), y se multiplica por 1,4la mayor de las vanabilidades aleatorias de los dos porcentajes comparados, se puede fácilmente decidir si el «cambio» puede de hecho explicarse simplemente por una variación fortuita resultante de la muestra. Si la diferencia es demasiado grande para que pueda atribuirse al azar, es razonable atribuirla al proyecto de desarrollo o a diversas operaciones relacionadas con esa diferencia.
CUADRO 12.Mejora o disminución del porcentaje obtenido. «Variación aleatoria». Dimensión de la muestra
Porcentaje obtenido
50.
.
.
.
.
70 o más, o 30omenos
.
.
9O omás, o 10omenos .
.
.
.
.
.
.
20 50 100 200 1000 20 50 100 200 1000 20 50 100 200 lo00
)o «Variación aleatoria ) «margen de error)) en 19 casos sobre 20 (porcentaje)
& 22 f 14 f 10 f 7l
& 3l & 20 f 13 f 9
f 6l f 3l f 14 rt8 f 6 f 4l f 2l
1. En general, no es N posible ni necesario que los administradoresde un proyecto de desarrollo utilicen una muestrv de esta dimensión y. por lo tanto, que sus cálculos alcancen tal precisión.
Existen otros muchos procedimientos estadísticos para determinar y medir el grado de correlación,pero son complicados.E n general su empleo no es m u y ventajoso y el método antes descrito resulta satisfactorio. Conviene, sin embargo, examinar con el mayor cuidado toda correlación para determinar si lo que parece ser una correlación entre los factores A y B no se debe sino al hecho de que A y B están relacionados con un factor C. Estas relaciones «espurias» son corrientes. Se comprueba, por ejemplo, que los propietarios de automóviles son más numerosos entre las personas que viven en casas grandes que entre las que viven en pisos pequeños. ¿Debe concluirse que la posesión de una gran vivienda entraña la posesión de un automóvil? Por cierto que no. Pero esas dos características están en íntima relación con el nivel de ingresos y lo mismo el
105
Cdmo medir loa reauitados de los preyecios de de demrollo
lugar de residencia. Es de suma importancia en los estudios sobre evaluación de los resultados de un proyecto distinguir lógica y estadísticamente las correlaciones verdaderas de las falsas. Por último, casi nunca conviene emplear métodos estadísticos complejos para medir las diferencias o los cambios que parecen insigniñcantes. Si un proyecto no ha producido efectos importantes a primera vista, ¿por qué insistir? En cambio, ocurrea menudo que las diferenciasconsideradas importantesen un principio cesan de serlo cuando se las somete a pruebas estadísticas apropiadas. Las pruebas que hemos propuesto evitarán con más frecuencia que se sobreestimen los resultados.
106
BIBLIOGRAFÍA
&TODOS DE ACOPIO Y ANALBIS DE DATOS
ABRAMS, Mark A.,Social szuveys and social action. London, Heinemann, 1951. BOGARDUS, Emory S., Zntroduction to social research. Los Angeles, Calif., New York, Suttonhouse, Ltd., 1936. DIXON, Wiifrid J. Massey, FRANKJ., Jr., Zntroduction and statistical analysis. New York, McGraw-Hill, 1957. FESTINGER, Leon, KATZ, Daniel (eds), Research methods in the behavioral sciences. New York, The Dryden Press, 1953, FRENCH, David G., An approach to measuring results in social works. N e w York, Columbia University Press, 1952. HANSEN, Morris H., HURWITZ, Williams N., MADOW, Williams G., Sample survey methods and theory, Vol. 1, Methods and applications. New York, John Wiley and Sons; London, Chapman-Hall, 1953. HYMAN, Herbert H.,Interviewing in social research. Chicago, Ill. University of Chicago Press; Survey design and analisys. Glencoe, Ill. Free Press, 1955. JAHODA, Marie,DEUTSCH, Morton, COOK, Stuart W., Research methods in social relatíons. New York, Dryden Press. Jhm,Robert L., CANNELL, Charles F.,The dynamics of interviewing.New York, Wiley and Sons; London, Chapman and Hall, 1957. LEBRET,Louis J., Guidepratique de l’enquttesociale. París, Presses universitaires de France, 1951. LERNER, Daniel, LASSWELL, Harold D.(eds), The policy scienees. Stanford, Calif., Stanford University Press, 1951. LIKERT, Rensis, «Behavioral research: a guide for effective action)). Rensis Likert y Samuel P. Hayes, Jr. (eds.). Paris, Unesco, 1957. LINDZEY, Gardner (ed.), Handbook of social psychology, vol. 1, parte 3, ((Research Methods)). Cambridge, Mass., Addison-Wesley 1954. LUDBERG, George A.,Social research,a study in methods of gathering data. New York, London, etc.; Longmans, Green, 1942. MAGET,Marcel, Guide d’étude directe des comportements culturels. Paris, Civilisations du Sud, 1953. Mc CARTHY, Philip J., Introduction to statistical reasoning. New York, McGrawHill, 1957. P.F., Continuities in social research. Studies in the MERTON, R.K.,LAZARSFELD, scope and method of «the American soldier ».Glencoe,Ill., Free Press,1950. MORONEY, N.J., Facts fromfigures,Baltimore, Md., Penguin Books, 1953.
107
Cómo medir los resultados de los proyectos de desarrollo
OPLER, Morris E.,Social aspects of technicalassistance in operation.Paris, Unesco, 1954. PARTEN, Mildred B.,Surveys,polls and samples. N e w York, Harper, 1950. WARREN, Roland L., Studying your community. N e w York, Russell Sage Foundation, 1955. WOODBURY, Robert M., Methods of family Uving studies.London,published for the International Labor Office by P. S. King and Son, Ltd., 1940. YATES, F.,Sampling methodsfor censusesand surveys. N e w York, Hafner Publishing Co., 1949. YOUNG, Pauline, Scientific social surveys and research (3.a edición). Englewood Cliffs, N.J., Prentice-Hall, 1956. ZEISEL, H., Say it withfigures.N e w York, Harper, 1950. Evaluation techniques,International Social Science Bulletin, 1955, vol. VII,n.O 3.
EJEMPLOS DEL ACOPIO DE DATOS DE ENCUESTAS SOCIALES MEDIANTE MÉTODOS CIENTÍFICOS EN PAÍSES SITUADOSFUERA DE EUROPA Y DE AMÉRICA DEL NORTE
FLORES, Gerardo,«Estudio sobre la alfabetización funcional para la creación de un espíritu de ciudadaníaen las Filipinas)), Educaciónfundamental,1950,vol. 11, n.03.
GAMBLE, Sidney D.,H o w chinesefamilies live in Peiping.N e w York,London, Funk
&Wagnalls Co., 1933. HAYDEN, Howard. Moturki, A pilot project in community development. London, N e w York, Oxford University Press (under the auspices of the South Pacific C o m mission), 1954. H u s m , A.F.A., H u m a n and social impact of technological change in Pakistan. (2 vols). D a m a , Oxford University Press, 1956. LEACH,Edmund R.,Social science research in Sarawak. London, H .M.S.O.,for Colonial Office, 1950. LOOMIS, Charles P.,((Studiesof Latin America)), parte 111 de Studies in appliedand theoretical social science at Michigan State College. East Lansing, Mich., Michigan State College Press, 1950. Loom, Charles P., MORALES, Julio O.,CLIFFORD, Roy A.,LEONARD, Olen E., Turrialba: Social systems and the introduction of change.Glencoe:Ill.,Free Press, 1953. MCINTYRE, Alan J., MCINTYRE, J. J., Country towns of Victoria, a social survey. Melbourne, Melbourne University Press, 1944. MuÑoz, Raúl, SERRA,Belén M.,DE ROCA, Angelina S., ((Research and evaluation in a program of community education)), TheJournal of Social Sciences,1953,9, pp. 43-52. NISHIKIORI, Hideo, Togo-mura,a village in northern Japan.N e w York, International Secretariat,Institute of Pacific Relations, 1945. (La edición original fue publicada en japonés por la sección de política agrícola del Instituto de Agronomía de la Universidad imperial de Tokio en 1936.) PUERTORICO. División de Educación de la Comunidad. L a investigación sociológica en un programa de educación de la comunidad.Paris, Unesco, 1954. SPICER,Edward H . (ed.), H u m a n problems in technological change. N e w York, Russel Sage Foundation, 1952. TEAF, Howard M., Jr., FRANCK, Peter G.(eds.), Hands acrossfrontiers. The Hague, Netherlands Universities Foundation for International Cooperation, 1955. (Distributed in the U.S.A. by Cornell University Press, Ithaca,N.Y.). W E I R , Wasif, Hassan Salah el Din M o h Kader, « A n evaluation of health and sanitation in egyptian villages)),Journalof the Egyptian Public Health Association, 1952.
108
Bibliografia
Comunity projects -first reactions.N e w Delhi, Government of India Planning C o m mission, Programme Evaluation Organization, agosto de 1954. Evaluation report on firstyear’s working of community projects. N e w Delhi, Government of India Planning Commission, Programme Evaluation Organization, agosto de 1954. Report of a sample survey of social stratificationand mobility in the six large cities of Japan. Tokyo, Japan Sociological Society, Research Committee, 1952. Report on the survey of rural credit and rural unemployment in East Pakistan, 1956. Dacca University Socio-economic Survey Board, 1958. Survey of Ceylon’s Consumer Finances,Colombo. Central Bank of Ceylon, 1954.
1o9
