"
I
-
DE·
CONC· EPTOS Y HERRAMIENTAS PARAEL APRENDIZAJE
Sergio Martinic
COMEXANICEJUV MExiCO 1 997
r
ISBN 968-7676-02-7 Coleaivo Mexicano de Apoyo a Ia Ninez, Comexani Gabriel Mancera Num. 934 Col. del Valle 03100, Mexico, D.F. Tel. 559 84 14 Centro Juvenil Promoci6n Integral, A.C., Cejuv Calle del Angel Num. 32 Col. San Jose lnsurgentes 03900, Mexico, D.F. Tel. 59R 4'1.:. .9.:.:. . 7:. -
-
"
Presentaci6n .. . ........ .. ........ . ..... . .. ... ... . .. 7
1
Las nuevas necesidades y perspectivas para Ia evaluacion de proyectos
Las nuevas necesidades de las politicas sociales .... . ..... .. 11 Nuevos enfoques en evaluacion ............ .._. ...... . . . .. 13 2
Desarrollo reciente de Ia evaluacion de proy ctos sociales
La evaluacion de proyectos sociales y ed uca tivos....... . .... 15 Evaluacion cualitativa y cuantitativa .... .. -- . . .......... 17 Tipos devaluacion .............. . .- . . .. ...... , . . .... . 20 3
Presentaci6n de U'1 enfoque integrado de evaluaci6n
Definicion de proyec to socia l .. . . . ....... .. ..... .. ...... 23 Ciclo de vida de un proyectd . . . . . . . . . . . . . . . . . . . . . . . . . . 24 Pasos basicos para el diseno y evaluacio n de proyectos . . 26 4
El diagnostifo y Ia definicion del problema
Definicion de la situaci o n y de os problemas que . .. 29 afectan a los beneficiaries . .. . .... . ...... . .. . .. . . . 30 . Pasos para la elaboracion de un diagnostio ........... . Recomendaciones para la formulacion de problema s .... . . . . 36 Como definir la pobreza? ...... . .... . .. . ........ . .. 36 . 5
Grupos de interes
Grupos de in te res ............. . . .. ...... .. ..... .. . . . 41 Grupos de interes, actores YlY6lfticas socia es.......... . . . . 41 La foca li zacion y la definicion de gru pos de interes ..... . . 44 . El t rabajo de l as Organizaciones No Gubernamenta les y los gru pos de in teres ............................ . . . 44 Como describir y analiza r los grupos de in teres relacionados con el proyecto? ...................... . . . . 47Como rea lizar un analisis de los gr u pos de interes? .. ... . ... 47
"
6
Def inicion de objetivos
Objetivos de u n proyecto . .. ....... .. . ..· ... . . . .... . . . ... 49 Definicio n de objetivos.. . .. .. . . . ...... .. . . ...... . . .. . . 51 Ob jetivos y metas ... . ... .. . . ... ...... . . ..... .. . . . . . .. 53 AncHisis de ob jetivos .. .. . . ................. . .... ... .... 54 7
AncHisis de estra t egias
y selecci6n de a lternativas
Las estrategias ...... .. .. . ... . ..... .. ...... . ... . . . ... 57 Procedimie n tos para la selecci6n de estrategias ....... . .... 59 Estrategias para mejorar la calidad de la Ed u cacion Basica . ... 60 Analisis de costos de los proyectos .......... . ... . ... . . .. 62 8
L6gica de int er venci6n y diserio del proyecto
Definicion de proyecto, programa y plan .... ..... .... . .. .. 67 Conceptos operacionales der diseno de proyectos ........ . . 71 Logica de intervencion y los elementos centrales del proyec t o 75 Las h i potesis del proyecto . ...................... . . . . .. 77 9
Recomendaciones para Ia formula ci6n adecua da de los element os del proy e c to
Objetivo general ......................... . ....... . .. . 79 Objetivo especifico . .. ... . .......... ..... ... .. . ... . ... 80 Productos . . . . ............ . . . . ... ......... .... ...... 82 Ac tividades ....... . .. . ........ . . . . . .. . ...... . ... . . .. 84 10 los indic a dores Definicion de indicadores ............................. 85 _ Tipos de indicad o res ....... . . . . . .. . .. . .......... .. .... 86 E l ementos de los indicadores .... . ... · ..... . ...... . ... . .. 88 Procedimiento de trabajo para definir indicadores .........- . 89 La construcci6n de fndices .... . . ......... . .......... . .. 94 11 Tecnicas de reco f ecci6n d e infprmac i6n
Tecnicas y metod os .... ..... . . . ....... . ......... .. . ... 99 En trevis tas ......... . .............................. 101 Observaci6n .. ....... . ... .. . ........ ·. .............. 107 Grupos focales . .. .... .... . . .. . ... . .. .... . . . . .. . ... . 110 D1seno y Evaluaci6n de Proyec ros
r
Diset'lo y Evaluaci6n de Proyectos
12 Evaluaci6n integrada a Ia J6gica de proyectos Elementos del proyecto y foco de la evaluacion . . ... . .... . 117 Elementos del proyecto y tipos de evaluacion ..... . .... _ .. 119 13 Modelos evaluativos Relaciones causales: base de los modelos evaluativos ... . .. 123 Diseno de un mod elo de evaluacion . .... . ..... . . . .. . .. . 126 Tipos de modelos eval uativos. ......... . ... . . . ......... 127 El modelo d e contexto, in sumos, p mcesos y productos ..... 128 Bacia o1odelos inter.activos e integrados de eval uacion ..... 130 . Pasos para la const ruccio n de un modelo de relacione s de variables . .................. . ...... . . .. -..... . .... 132 14 Diseiio metodol6gico de Ia evaluacion Definicion de disefi.o ........ .... .. . .......... . .... . .. 135 Antecedentes y descripci6p del proye cto a evaluar . ........ 136 Objetivos y objeto de l a evalu aci6n .. . .......... . .... ... 13.6 Disefw metodologico .... . ........ .... ...·... . .. ..... . 137 Definicion de criterios ......... .. ................. . .. 141 Estrategia de recoleccion de informacion . . .. .. ... .. ..... 143 Diseno de una muestra ..... . . ... . .. .. .... . ..... . . . ... 148 Plan de analisis ... .... ..... .. . . ....... . . ......... ... 152 Comunicaci6n de resultados . ... .... , ......... . ....... 153 Esquema de inf orm e fin a l de evalu acion . . ....... . . .. .... 154 14 Conclusiones La evalu aci6n integrada a la vida-de un proyec to ........ .. 157 Evaluaci6n y to m a de decisiones . . ............. . . . .. .. . 1-5-8 La evaluaci6n como ap rendizaje ..... ............. .... . 159 Bibliografia . . ... . ..... . .. ... . .... . . ... . . ..... . . . . . 161
----------- ------------== ====
El ob jeto central de este libro es la evaluacion como una actividad permanente e integrada al ciclo de vida de los proyectos. La materia espedfica son los proyectos sodales y ed ucativos. Estes aspiran a producir cambios en la realidad eco nomica, social y cul tural de los sectores mas pobres y mejorar con ellos sus oportunid a- des y calidad de vida en la socieda-d. Para producir estes cam bios los · proyectos intervienen en los cono cimientos, e n la autoestima y per cepcion d e si mismo, en las relacio... nes sociales, en las organizaciones, en los s1ste mas de produccion, en los se rvicios sociales y j u ridicos que a tiend en a la poblacion, e n los sist emas ed ucativos y de salud publica, etc. Dar cuenta de los re sultados obtenidos en estes cam pos o dominios de la realidad es el o bje to d e la evaluacion. En un sentido amp!J. p la evalua cio n es el juicio o apreciacion que e mite una person a o un equip o sobre las actividades y resultados de un proyecto. Para funda men tar es t a opinion el valuador recurre a criterios y a un marco de referencia que le pe r miten con trastar, comparar e inter pretar l os resultad os o bservados
lib
en funcion de patrones explfcitos o implfcitos. En este texto afirmamos que la construccin de esta perspec tiva de analisis descansa, fundamen talmente, en el conocimiento que tiene el proyec to evalu a d o sobre el problema que enfre n.ta y los proce sos qu e lleva a cabo. La construe cion de este marco de referenda a partir del diseno e hipotesis basi cas del proyecto oc upan gra ri par t e de este libro. Sin em bargo, interpretar y eva lu ar los resultados desde la teoria del proyec to es solo el prim er paso. Para ampliar y enriquecer esta pers pectiva el evalu ado r recurre al co no cimiento ac umulado so bre el tema, a los resultados de otros pro yectos similares y a la s o piniones de actores diversos relacio nados con el proyecto o con expe riencia en el problema que-se aborda. D e es te modo, la eva lu acion mide o registra los resultados y ade mas con tribu ye al conoc imi ento qu e fundamenta la inte rve ncion y a lo acumulado en el dominio o cam po d e acc io n de l proyec to. Por esta razon, en este libra sos t enemos q ue la eval ua ci on contr i:... buye no solo a la to ma d e decisio- nes si no q u e, fundamentalmente, al apre ndiza je y a l os co nocim i e n -
I·
que
I
tos qe los propios ejecutores tie nen -del problema que abordan. Este aprendizaje perrnite ampliar o carnbiarla vision que tiene el equi po sobre la realidad de trabajo, precisar las relaciones y factores inciden en los resultados o en
los_ ..c.amJ?ios que se prornueven, descu brir nuevas posibi idades de ac ci6n ode estrategias, rnejorar la for rnulaci6n de hip6tesis de t\abajo e indicadores, etc. En ·sfntesis; el aprendizaje ayuda a mejorar la ca lidad de los disenos, la orientaci6n de las actiones qu'e se realizan y la comprensi6n de los resultados
y
cambios logrados.
con una funci6n mas amplia, que es el aprendizaje de los. pr.opios.equi 'pos e instituciones ejecuteras de los proyectos evaluados, Ellos son los que contin_uan trabajando con los mas pobr s,·necesitan renovar sus perspectivas y mejorai'permanen temente la calidad de sus interven ciones. Asumimos, entonces, que son los· propios equipos y las instituciones que ejecutan los proyectos los que deben tener .competencias para realizar en forma permanente dis tintas actividades de evaluaci6n. Por lo general, esto no ocurre por £al ta de tiempo, de recursos ode pre paraci6n para abordar el tema. A nuestro juicio, esta dificultad afec ta la calidad de los resultados del proyecto y los conocimientos que el propio equipo tiene del proble ma que aborda.
Tradicionalmente la evaluaci6n ha sido realizada por un agen te ex terno y por en cargo de la instancia superior ode la agenda ?e finan ciamiento. La evaluaci6n asf ehten dida se prdponeverificar I cumpli miento de los objetivos prometidos y el buen uso de los recursos asigPoner enfasis en la ev.duacion que nados. Este tipo de pr:actica utiliz a realiza el equipo o ejecutor, no es la eva lu aci6n como medio de cor:.--.-nn nuevo tipo de basismo ni un lf trol y antecedente para decid ir somite para la interpretacion y la ob bre la continuidad o no de un projetividad. Por el contrario, propo yecto. nemos que la teorfa del proyecto debe ser ampliada y contrastada con En los sucesivos capftulos que se logran en de este libro se mostrara un los problemas camino di feren te. En efecto identificd os. Se sostenemos que la evaluacion insis te en que, debe dar cuenta prin cipalrnente para interpretar y de resultados e impac tos; que el an ali zar los analisis de l os costos, ac resultados, deben tividades y procesos definirse desencade nados se relacio na y indicadores; que esta en funcion de los cam bios los propios equi
pos de trabajo tienen un conocimien to a recuperar para la eva luaci6n y, por ultimo, se concibe la evaluaci6n
-------
D1sen o y Eva1uac1 6n de Proyecros
el conocimiento que aporta la in vestigad6n social y otros proyectos similares.'Esta es la mejor manera de validar y de objetivar lo que se sabe. Por ello, los equipos tienen que recurrit_£_especialistas y expertos cuando seanecesario. Sin embar go, la perspectiva del proyecto y la realidad social y cultural con la cual trabaja debe operar como un horizonte practico que relaciona per manentemente la evaluacion y el co nacimiento que se produce, ala ac cion y al rediseno de la misrna ac cion. De esta rnanera se asegura la pertiuencia de la evaluaci6n ala rea-
-- -
Diseno y Evaluaci6n de ProyecroS'>
lidad estudiada y su potencial U$0 para rnejorar el proyecto y la cali- . dad de los resultados a obtener.
importante a la calidad de los di senos y resultados "de los proye.c tos sociales.
El objetivo de e·se libro es ayu Este libro es uno de los resultados dar a los equipos tecnicos a dise del Diplomado de Evaluaeion de Pro nar una evaluacion'que tiene por ob yectos d.e Desarrollo Social que el jeto diferentes componentes de su Colectivo Mex cano de la Ninez proye q to y que·, a la vez, (Cornexani), CEJUV y la Universi puede dad Iberoarnericana de MeXico ofre realizatse en distintos momentos de cieron a profesionales y tecnicos de su des
_ tas de indagacion. Para ella mis sinceros·reconocimien tos. Este libro no hubiera sido posi ble sin el apoyo de la Bernard van Leer Foundation y de la Interna tionalYouth Foundation de losEs tados Unidos. Los comentarios y estimulo de Marc Mataheru y Su san Pezzullo, tecnicos de estas instituciones, han sido una gran ayuda para su concepcion y reali zacion. Gracias por su confianza y colahoracion.
En distintos momentos de este trabajo he contado con la ayuda y apoyo deVeronica Perez.Sus comen tarios y sugerencias han sido muy · importantes para corregir varios as pectos de esta version final. Con mu cha dedicacion, Roberto Moreno se ha ocupado de la diagramacion y edici6n de este trabajo. Su aporte ha sido centra-l p-ara mejonrr la presentaci6n del texto. Por ultimo, y de un modo especial, quiero agradecer a Silvia Alonso por el cui dado y coordinaci6n de esta publi caci6n. Diciembre 1996
_
....
Otset'lo y Evaluacion de Proyecws
-----------------
H *t = 1
NECESIDADES Y
11::
'
PARA LA EVALUACJON DE
Resumen del mercado y la autoregulacion de Este capitulo describe la impor los grupos en la vida social. tancia que tiene la evaluacion _ pro yectos sociales en el actual contex Pese a estos logros y al crecimien to de cambio y reforma de los es to que ha experimentado en protados en America Latina. En este -medio la region, existe aun mas del proceso se constata la emergencia 40% de la poblaci6n que vive en de nuevos enfoques evaluativos condiciones de extrema pobreza. Es que ponen mas enfasis en la cali tos grupos no reciben los benefi dad de los resultados que en la co- cios del desarrollo. · bertura de sus acciones y mas in teres en los aprendizajes que en el Esfa reatidad estructural no pue control tradicionalmente asocia de ser enfrentada con medidas del do ala evaluacion pasado, ya-que elias no han resuel to el problema. Por el contrario, los estados estan obligados a moder nizar sus propias instituciones y sis LAS NUEVAS temas de traba jo con elfin de en contrar nuevas formas de relacion NECESIDADES DE co n la sociedad y su po blaci6n LAS POLJTICAS mas excluida . Enfrentar la pobre SOCIALES za requiere la cooperacion de to dos y, principalmente, de los pro America Latina vive importan pios afectados, para que participen tes transformaciones sociales. En activamente e·n las tareas del cre tre elias, cabe destacar la reinser cimiento y de la in tegraci6n sociaL cion de las economias en los mer cados internacionales; un creciente Estas transformaciones requie aumento de relaciones entre los pai ren de un nuevo tipo de polftica so ses a traves de los acuerdos regio cial y de accion social de las orga nales; la consolidaci on de los sis nizaciones privadas. Desde fines de temas democrabcos y la tran sfor los 70 se cons tatan, en la region, macion de los estados centralizados nuevas ideas en torno a las polfti y de bienestar en estados mas re cas sociales que, desde una corlCep ducidos, descentralizados, que abren cion universalista inspirada en el espacios para el funcionarn.iento Estado bienestar, cambian hacia una
:' .;•'
conce pcion focali za-da dond e el Estad o asume un rol ·subsi diario .El enfoq ue unive rsallf busc a dis minu ir la desig ualda d socia l, me jorar la distri bucio n de los benef i cios y r:edu cir la pobr eza,
median te una accion dirigida al " conjunto lidad y pertinencia de las ·interven _de la pobl ciQ_nu (CIENES, 1995:1). ·ciones que se llevan a cabo . El enfoque particular o focalizado, en La crisis del Estado benefactor y la cambio, busca los mismos obje tivos reduccion del gasto social produ pero a traves de la asignaci6n de .cen_una redefinici6n en el campo de recursos a la poblacion que, compa las instituciones que realizan pro rativamente, esta mas afec tada. Este yectos sociales. En efecto, y tambien enfoque surge en el con texto de una en el mismo period.Q, constatamos drastica disminucion del gas to social un notable aumento de Organiza donde el Estado, al mismo tiempo, ciones No Gubernamentales que, debe garantizar una mayor eficacia en desde la sociedad civil, trabajan de cuanto ala ges tion y capacidad un modo localizado con poblacio para llegar efecti vamente a su _ nes·especificas, contribuyendo ala poblacion objetivo 1 . solucion de problemas y necesida des basicas. Las experiencias son muy Las politicas de focalizacion de la variadas en cua nto al tcunano y accion socia l del Estado han profundidad de los proyectos, pero la puesto atencion en la asignacion de gr an mayo ria de ellas comparten las los recursos yen la recepcion de los ideas de participacion y de or mismos por parte de la poblacion ganizacion como principios coor beneficiaria. La idea subyacente es dinadores de la acci6n social. la de garantizar el maximo de efectividad con el mfnimo de cos Las experiencias realizadas por to. Este principia es importante OrganizaciQne_? No Gubernamen para asegurar una adecuada asig tales y otras instituciones privadas nacion de recursos. Sin embargo, el tienen una preocupacion diferen te. problema que queda par resol ver es En efecto, la gran parte de ellas hasta que pun to tales inter desarrollan proyectos pertinentes y venciones o acciones focalizadas son asum idos por los propios bene realn"len.te adecuadas y pertinentes ficiarios para la solucion de los para la solucion de l os p roblemas principales problemas que les afec que afectan a las poblaciones mas tan. El desarrollo de la autoestima, de pobres de la region. De este modo, la la orga nizaci6n social y de nue vas focalizaci6n debe ir acompaiiada de una formas de interpretar y de ac tuar en preocupaci6n especial par la ca la realidad, consti tu yen al gunos ejemplos de los objetivos cen trales que promueven estC?S proyectos. En estos casas, la preo cupacion por la calid ad de los re sulta-dos y, sabre todo, por los cam bios que ocurren a nivel motivacio nal y cultural, resultan ser centrales. Sabre el tema ver: CEPAL! UNESCO: Educaci6n y conocimiento: eje de la transformaci6n productiva con equidad. Santiago, CEPALI UNESCO, 1992; Warman, A. (comp) La poHtica social en Mexico, 1989-1994. M exi co, FCE, 1994. Diseno y Evaluao6n de Proyecros
II
==----
--
Diseno y Evaluaci6n de Proyectos
Las tendencias en Latinoameri ca indican que, n los proximos anos, las politicas de focalizacion se con solidanin :en conjunto con las po lfticas de descentralizacion de la ac cion social del Estado. Se espera que los proyectos sociales y educativos sean cada vez mas cercanos a las_ pro blematicas, necesidades y cultura de los grupos de beneficiaries. De este modo, en los ambitos regionales y locales, $era posible producir el encuentrd de diferentes tipos de ins tituciones que pueden cooperar en el desarrollo de proyectos esped ficos y autonomos que, con calidad y pertinencia, permitan soluciBRar los problemas que afectan a los jovenes de la region. Para este en cuentro hay que star preparados.
NUEVOS ENFOQUES EN EVALUACION
5
s.
En consonancia con estos cam bios se constata un nuevo modo de pensar el dise no y Ia eva luacion de los proyectos sociales. En efecto, la tradicional preocupacion estatal por la cobertura y costa-beneficia de sus programas es desplazada gra dualmente hacia una mayor preo cupac ion por la calidad y pertinen cia de las acciones emprendidas. En efec to, ya no ba_sta con tener una amp lia cobertura-y un adecuado control del presupuesto asignado. Lo imp ortante ahora es lograr que la s acciones sea n efectivas y ten gan impactos reales en la calidad de vida de la s personas.
.e
Del mismo modo, en las ONGs
), 1-
"
proyectos y la eficacia tecnica de sus ptopuestas. Para estas organiza ciones ya noes suficiente observar solo el desarrollo de "proces"os"si no que tambien constatar una efec tiva y sustentable solucion a los pro blemas que tienen los grupos con los cuales trabajan. Mostrar estos re sultados es algo esencial para sus aspiraciones de influir en el deba- te publico sobre polfhcas sociales. Estos cambios en los enfoques evaluativos se relacionan tambien co.n transformaciones que ocurren en las estructuras organizativs de las instituciones.En efecto, la ten dencia general en el campo social es el repliegue de los modelos bu rocraticos formales tradicionales y el avance de una organizaci6n en base a proyectos y relaciones mas flexibles, tanto al inte rior de la or ganizacion como de esta consume dio y pobla-cion beneficiar ia. La preocupacion institucional pasa as:i de la "a dministraci6n " a la "ge rencia social"de proyectos (Kliks-
-
- berg, B, 1993). Este modo de ver el problema es un cambia radical en la cultura de las instituciones -tan to gubernamentales como no gu bernamentales- en la gestion y evaluacion de sus proyectos. Las evaluaciones no han sido una practica habitual en la s institu cio nes de accion social de America La tina, sean estas los Ministerios de los sectores sociales o los O rganis mos No Gubernarnentales. Por lo general, cuando esta se realiza, es para responder a·obligaciones con tractu ales o a instrucciones supe riores. La evaluaci6n ha sido as[ una activid ad externa y no una reflexi6n que viene de la practica util para los proye_ctas y la realidad en la cual estos se desarrollan (Hildebrand, H;
_ 1995; Sulb.randt,
:.
J, 1993).
- Por tratarse principalmente de proyectos de naturaleza social y pe dag6gica, la tarea de evaluaci6n para las ONGs se hace mas compleja. n efecto, el estudio de los cambios que - producenios proyectos en pautas cultura1es, aprendizajes, represen taciones, practicas sociales, etc., re quie're de enfoques conceptuales y de instrumentos metodol6gicos poco tradicionales y no siempre muy difundidos_entre los equipos de ac ci6n social. Esto explica, en parte, que se opte por evaluaciones me nos complejas y centradas en lades cripci6n de aspectos observables y medibles, aparentemente faciles de registrar.
mitir un aprendizaje a partir de los errores,-omisiones y.dificultades e!-1-- · contradas en la practica. Por esta ra z6n, uno de los carri.bios a lograr es · que los ejecutorey equipos que tra bajan en terreno consideren la eva luaci6n como parte de su propio tra bajo, deun modo permanente y no como hi ultima fase del ciclo de un proyecto que, generalmente, l a realiza un experto externo a los pro pios equipos (Sulbrandt, L 1993). Aumentar las capaddades tec nicas de los equipos y los recursos destinados a la evaluaci6n mejora ra, sin duda, los resultados y dise nos futuros de los mismos proyec tos. Este manual pretende ser una contribuci6n para dicha tarea.
De este modo no s6lo es nece sario garantizar una actividad eva-luativa-en los eguipos sin·o que, ade mas, proveer de marcos conceptua les y herramienta s metodol6gicas que permitan registrar y observar estos cambios de naturaleza cultu raL que constituyen el objeto cen tral de la mayor parte de los pro yectos que implementan las Orga nizado-n-es No Gubernamentales. La evaluaci6n del futuro estara destinada, mas que a controlar y a perseguir responsabilidades, a per-
En s{ntesis fa focalizaci6n de las nue vas polfticas sociales debe ir acom-· paiiada de intervenciones que in corporen en su diseno crite rios de calidad y pertinencia. Asf mis mo,las evaluaciones deben ser una practica inljeren te y permanente a l os equipos' de trabajo, centradas, no solo en la descripci6n de sus ac tividades sino tambien, en sus re sulta4os e impacto. Es decir en los cambios culturales, sociales y eco n6micos que provocan.
·.•
01 ser'io y Ev-cl ln de Proyecros
II
• a
RECIENTE DE- LA DE PROYECTOS
Resu111en Este capitulo define la evaluaci6n como un pro ceso que permite fun damentar un juicio u o pinion sa bre un proyec to de interve ncion. Se describen, brevemente, distintos tipos de evaluaci6n y se discute la o posici6n esta blecida e ntre evalua ci6n cu ali tativa y cu an ti ta tiva.
LA EVALUACION DE PROYECTOS SOCIA LES Y EDUCATIVOS EL CONCEPTO DE EVALUACJ6N
La actividad de evaluaci6n siem pre esta presente en el diseno y ana lisis de un proyec to. Sin embargo, en muchas ocasione$ esta nose rea liza de un un modo explicito ni me nos con un procedimien to sistema tico. Se trata de una actividad m as o menos espontanea, que forma par te de la formulaci6n de los proyec tos o de los informes finales que sue len entregarse a las agencias e ins tituciones que los fin ancian. Entre las diferentes definiciones de evaluacion, la que ha iogrado una m ayor difusi6n es lade D. Stuffle beam (1971). Para es te au tor ! a
eva luacion es el proceso d e delinear, obtener y proporcionar informaci on util para juzgar alternativas d e d e cisiones. Inspirandose en este <;;on cepto Brio nes, G. (1985) la dafi_ne como "un tipo de investigacion que· analiza la estructura,el funcionamien to y los resultq.dos de un programa con elfin de pro porcionar informacion de la cual se . deriven criterios utiles para la toma d e decisiones en relacion · con su administracion y desarrollo" (Briones, G., 1985:4) . Entre los a utores existe consen so en que los estudios evalua tivos producen un conocimiento particu lar sabre los resulta d os e impactos de un proyecto en la situaci6n pro blema que afecta a los beneficiaries. Se tra ta en tonces d e un proceso d e analisis, guiado te6ricamente y que sigue pasos sistema ticos para la ob tenci6n, clasificaci6n e interpre taci on de los datos o la informacion disponible (Scott, P. B., 1988) . En este proceso se p ueden oc upar tecnicas cualit a tivas y/o cuantita tivas, d e acuer do a la natura leza de los in dicadores a verificar. ENFOOUE COSTO BENEFICIO
La mayor parte d e la literatura sa bre evaluaci6n y seguimiento de pro yec tos tiene una raiz de ti po eco-
.,..
'
!ir-
I'''
Ii:
i'
nomica y ha sido aplicada pa_ra el a·na..lisis y estudio de proyectos in dustriales. En este campo se ha acumulado un importante conocimiento que, por ana ogia, se ha apli cado a la evaluacion de proyectos sociales (Cohen, E. y Franco, R., 1992) . Particularmente, este enfoque ha inspirado la evaluacion de los "grandes proyectos sociales"imple _mentados por entidades publicas, don_9 .los conceptos de costas y be ne1icios han dominado la pers pectiva y los instrumentos de tipo evaluative. En terminos generales, este en foque sostiene que un proyecto es exitoso si la riqueza o b neficio que genera la inversion en un periodo determinado,·es mayor que la que se puede obtener en otra alterna tiva durante el mismo periodo· (Fon taine, E., 1991). Por otra par te, considera que un proyecto es mas efectivo cuando logra sus produc tos con u,n meno r costo y los be neficios sociales obtenidos son mayo res que la inversion realiza da (Briones, G.,1985; Cohen, E., y R. Franco, 1992; Fontaine, E., 1991) La importancia de es.ffis co n cep tos no es una casualidad. Ellos descansan en un paradigm a de tipo objetivista que ha predomina do e n las ciencias sociales y obe decen a una concepcion que defi ne al Estado como benefactor y ente centr a liz ado que d ebe garantizar la
maxima cobertura de los beneficios que distribuye. Pese ala importancia que tiene esta per.,srpectiva en la tradicion evaluativa de los proyectos socia les, es claro que su razonamiento es lii:I1itado tanto desde el pun to de vista economico como social. En efecto, en la medida -gue los pro yectos se alejan de problematicas · productivas e industriales para in gr sar en dominies diferentes ta les como salud, medio ambiente-y educaci6n, entre otros, son mas di ffciles de calcular relaciones como las senaladas. Este modo de entender el pro blema ha cumplido su ciclo. En efec to, hoy dia las organizaciones pu blicas y privadas que implementan proyectos sociales comienzan a actuar descentralizadamente yen situaciones donde la cobertura se encuentra razonablemente satisfe cha para la mayoria de los secto res sociales2• En este contexte, el pro blema que se subraya como centraL es la calidad y pertinencia de l.as so luciones y los resultados obtenidos por los proyectos implementados. ENFOOUES CENTRADOS EN _LA CAUDAD Y PERTINENCIA
Desde esta perspectiva, los pro yectos sociales dejan de ser conce- bidos como meros instrumentos de distribucion de beneficios a una po blaci6n objetivo. Por el contrario, estos se entienden como sistemas de accion en el cual intervienen ac-
Esta afirmaci6n no descarta el hecho de que en muchas areas y regiones exis ten problemas importantes de cobertura. Queremos subrayar Ia importan- · cia d e los procesos internos y de la calidad de las respuestas para resol ver problemas especffi cos.
-
Diseiio y EvaluaCI6n de ProyectOs
--
·--
-
" tores diferentes que cooperan ac. tiv.amente para ellogro de fines co munes. La pol5lacion beneficiaria ya noes entonces un obje_to o ente pasivo sino que, mas bien, un SU jeto", 'acfor sodal" o "grupo de in teres"que interactua con Institu ciones que intervienen en los pro blemas que les afectan.
Diseno y Evaluaci6n de Proyecros
dicionales sobre su utilidad y, en America Latina, numerosas- orga nizaciones internacionales pro mueven su uso4 •
II
No existe un modelo unico yuni versal para llevar a cabo las evalua ciones. De acuerdo a los rnetodo que se utilizan, suelen diferen ciarse en evaluaciones cualitati vas y cuantitativas; de acuerdo al tiempo, en. evaluaciones ex ante y ex post; de acuerdo al observador, en interna o externas; de acuerdo al objeto, en evaluaciones de pro cesos, efectividad e impac to, e ntre otras. Veamos a continuacion con mas detalle estas ,distinciones.
EVALUACION CUALITATIVA Y CUANTITATIVA Con elfin de abordar las proble maticas culturale·s y mas subjetivas involucradas e n esta nueva mane ra de entender los proyec tos socia les, han adquirido importancia las evaluaciones de- tipo cualita tivas3 . En el campo de la investigaci6n eva luativa se han roto prejuicios traII
s
Tradicionalrnente se asocia la evaluacion cualitativa ala utiliza cion de datos directos o de"prime ra rnano"derivados de entrevistas abiertas, reuniones grupales u ob servaciones. Sin embarg9, esta es mas compleja y no puede reducir se al uso de una u otra-tecnica vin culada a este enfoque. En efecto, para muchos autores, las tecnicas no son neutrales y siempre estaran relacionadas con un marco teorico o, en un sentido mas amplio, con un paradigma, en el cual encuentran sus bases conceptuales y epistemol6gicas (Morgan, D. L., 1990; Reich.ardt, Ch. y Cook, Th., 1986) . Para estos autores, la evalua cion cualltat·iva se relaciona con una opcion te6rica que se opone radi calmente al positivismo qu e in spi ra las tecnicas cuantitativas. Para los estudios cuantitativos la pregunta central es que hacen los sujetos y que va riables pueden ex plicar y !Dedir tales comportamien tos. Para los estudios cualitativos, en cambio, lo importante no solo es describir que hacen lo sujetos sino que significa para ellos lo que ha cen:-En o tras palabras, cual es el2n -
Sobre el tema, ver por e jemplo: Patton, M. Qualitat ve methods. Beverl y Hills, CA, Sage, 1980 y Huberm a n, M. y M. B. Miles. Analyse des donnees qualitatives. Bruxelles, De Boeck Universit e, 1991.
Entre ellas cabe des tacar las recome nda cio nes de la OPS, BID y Banco Mun dial de considerar estas estrat egias metodol 6gi cas en la evaluaci6n de pro yectos. Para e l caso de Salud ve r po r ejemplo: Pe dersen, D. Guia para la eva luaci6n de la participac i6n de l a comunidad en los servicios de salud. En: Hevia, P. "Los desafios de la partic ipaci 6n social e n e) nivelloca l". En foques, 4 (1),1989.
:r
'·
tido o significado de sus practic_as y comportamientos. El enfoque cuantitativo trabaja ra con definiciones previas y con una teoria de la cual deduce las catega rias a medir. El enfoque cualitativo, en cambio, se orienta hacia el des cubriqtiento y relaciona su teoria con la realidacrestudiada y, de un rngdo inductive, construye categorias, ti pos e hip6tesis interpretativas (Gla ser, B. G. y Strauss, A. L. 1967). En los estudios evaluativos, el en foque cuantitativo tiene como ejem plo cTasico las evaluaciones expe rimentales. Para los defensores de esta perspectiva, el diseno experi menta, conduce, no solo a conclu -
siones causales mas claras, sfno que el mismo proceso de diseno con tribuye a acfarar la na ttualeza so cial del problen_:la que se esta estu diando (Riecken, W. R., et al.,1974). Para la perspectiva cualitativa, en cambio, las mediciones experi mentales han conducido a estudios con resultados artificiales y de un alcance limitado. Estos tipos- de evaluaci6n, a juicio de Parlett, M. y Hamilton, D. (1992), son inade cuados para ilustrar areas de pro blemas complejos y no aportan mucho para la elaboraci6n y toma de decisiones. Los enfoques cua litativos se inspiran en la tradici6n subjetivista clasicamente repre se ntada por Weber. Entre los enfo ques o modelos de evaluaci6n p er -
ATRIBUTOS DE LOS PARADIGMAS CUANTITATIVO/CUALITATIVO Co ncepto de realidad
Sujctolrealidad Tipos d e relacione s L6gica subyacen te Tipo de estudios
Tamano de la poblaci6n Tec nica s
Objetiva, estructuras, perspectiva del sistema externa al contexte Totalidad externa al sujeto
A => B (causal), busqu eda de cau sas explicativas Deductiva, orientada a la comprobaci6n Experimental, mediciones Amplia y represen ta tiva Cuantitativas
(survey)
·
Subjetiva, sen tidos, perspectiva del sujeto e intern a To tali dad construida inter subjetivamente A= >B y noB, multirelacional, comprensivas Inductiva, orientada al descubrimiento Explora to rio, construcci6 n de ti OS Pequena e inte ncion ada
01 seno y Evalua c i6n de Proyecws
Cualita tivas (entrevista abierta)
Diseno y Evaluacion de Proyecros
teneciente a esta tradici6n suelen hesi6n a este"proporciona los me des tacarse: la evaluaci6n . dios apropiados y exclusivos de sensitiv? (S takes, R. 1975), el es coger e ntre los tipos de modelo ilumi nqtivo (Richards, metodos:' (pp. 29-30). De este H.,1983) yia eva luaciQ.n modo, srla teo ria de evaluacion focalizac:ta (Patto n, M., se encuentra cercana a la 1980). perspectiva objetivis ta, el evaluador es tara obligado a Este con traste otorga una fuer trabajar excl usivarnente con meto te importancia a la teoria para la dos cuantitativos. definicion del disefto evaluativo. Se reafirma asf que las tecnicas son he En la actualidad la dicotomfa o rramientos que no actuan par sf so la oposici6n radical existente e n las. En efecto, a·dquie ren sen tido tre ambos paradigmas tiende a su y relevancia en el marco de perarse. En efecto, una evaluaci6n ciertos supuestos y principios o estudio que utiliza metodos cuan epistemo logicos. . titativos no necesariamente debe Esta posicion merece dos comen obedecer al positivismo 16gico. Del tarios. En primer lu ga r, tales con mismo mod
..
;
... '
.
TIP OS o-E EV Al U A CI O N E n func i6n de dife rent es crit e rios es posi ble visu aliz ar una vari e dad de tipo s de eval uaci 6n. Entr e los crite rios mas com une s cab e dest acar los
siguientes: quien hace la tares que perjud.ican la evaluaci6n, en que momenta implemen y. sobre que objeto o foco se ta.ci6n de los p_roy ctos. realiza . Por otra parte, tambien se ha Evaluacion externa e _ desarrollado un tipo de interna evalua_ci6n participativa que (segun quien hace Ia evah.1.acion) involocra a los propios La evalu aci6n xterna es beneficiaries en el estudio y reali zada por personas anal sis de los resultados de ajenas al equi po y la los proyectos. En estos casas trata de proyectos instituci6n que ejecuta el pro se centrados en yecto. El supuesto es que los pequefios, psicosociales o eva luadores tienen mayor aspectos experiencia e n estas cult_urales y la evaluaci6n se actividades yen que, al ser realiza con el ob jetivo de aprendizajes y externos, tienen mayor fortalecer objetividad. Sin embargo la mejorar disefios para una c·rftica a este tipo de eva lu nueva eje cuci6n del proyecto. aci6n es que, al ser ex ter na, quienes evaluan pierden Evaluacion eante y ex las especif icidades del post (segun el proyecto y gernomento en . neran temores o resistencias en que se evahia) las persona s que son La evaluaci6n ex ante evaluadas. tiene por finalidad pFBporcionar criterios tecnicos La evaluaci6n interna se ! para tomar una decision leva a cabo al interior d e la sobre cual proyecto es la organizaci6n gestora del alterna tiva mas adecuada proyecto, es el rnismo equipo para e)ecutar. Por lo general, que desarrolla el trabajo ordenan los proyec-o tos seglin quien realiza el proceso de su eficiencia y factibili dad evaluar. De esta f orma se para alcanzar l os objetivos evitarfan las crf ticas que se planteados. h acen a l a evaluaci6n El analisis costo beneficia externa, disminuir1an los temore s y desconfianza en y el analisis costo efectividad los suje tos eva luados y se son me todologias utiles para conoceria en profundi dad la evaluaci6n ex ante, sin las especificidades del pro embargo el primero es mas yecto . La crf tica a es t a eva adecuado para la eval uaci6n luaci6n es la perdida de de proyectos econ6micos y el obje tividad, ya que el equipo segun do para la evaluaci6n serfa juez y parte a l mismo de proyectos sociales. tiempo. Por otra parte, este tip o de eva lu aci6n no ---La evaluaci6n-ex post se elimina las diferencias y realiza durante la ejecuci6n o posibl es conflictos de intere despues de terminado el proyecto. En ambassi ses entre l os mismos actuaciones el objetivo de la evalua ci6n es obtener elementos de jui cio para la
to m a
......
de decisiones a la lu z de los resultados del proyecto.
En lo·s proyectos que estan en mar cha, las decisiones se relacionan con
O
el cambio o no del proyecto, e n vir tud de los resultados alcanzados. En esta fase se hace una evaluacion de procesos que consiste en una eva luacion periodica de la prograrn a cion, administracio n, control del proyecto, con el ob je tivo de supe rar las dificultades y resca tar las po tencialidades del misrno. En los proyectos terrninados, la evaluacion ex post tiene que ver con la decision de co ntinuar irnple men tando el proyec to ya que hay mas beneficios que costas o si se suspende la implementacion por que ocurre la situ acion-£o ntraria.
r
tipo de deci
Si se decide co ntinua r el proyec to, cabe u n segund o
a
3
sio n respecto
s+-se
1
igual forma p o r ser la m
continua de as adecua da, o si se reformula la pro.grarn a cion y asignacion·de recursos para lograr los obje hvos que se persiguen. s
l
Evaluacion de procesos y de impactos (segun el objeto a evaluar) n !S
le l
general se concentra en la eficien cia en el uso de recursos. e insumos para alcanzar los resultados mas in - mediatos del proyecto . · La evaluaci6n de impacto_estu dia los cambios que produce el proyecto en la situacion problema que aborda. Esta puede centrarse en el analisis de los resultados in termedios o bien en los resultados finales o de imp acto propiarnente tal. La evaluacion de impacto sue le hacerse una vez terrninado el pro yecto 0 algunos anos despues y debe asumir que el proyecto en evalua cio n solo contribuye parcialmente a estos logros mayores y, por dicha razon, debe otorgar una particular importancia a l os factores externos que·condicionan ellogro de los cam bios esperad os. La eleccio n del nivel o foco de pendera de la etapa en la cual seen cuentre el p royecto, de los recur sos y tiempos disponibles y d e los
)S
! ; a
: l e
a u -
l a : o . : . r
o n
La evalua cion de procesos estu dia la relacion existente ent re l as ac tivid ades rea lizadas y los produc tos o resultados alcanzados. Por lo
destinatarios y fin es de la eval ua cion. Mientras mayor es el nivel, rna yor es tambien l a prof undid ad y complejidad de la evaluacion5 .
Para un anal isis d e los niveles y tipos de evaluaci6n ver: Bennet, C."Up the hierarohy" En: Journ a l of Extension, N° 13, pp. 7-12, 1975. Citado por He gedus, P./'Eva lu aci6n: aspectos co ncep tuales y relaci6n co n la investigaci6n". En: IIZ /DVV: Educaci6n d e Adultos y Desarrollo, l3onn, N° 44, 1995, pp. 6 9 8 2 .
'
I DE
U-N
INTEGRADO DE
I
Resulll.en Existen diversas definiciones de proyectos y de sus componentes. En este capitulo se describen las ca racterfsticas de un enfoque siste mico para entender los proyectos y de un enfoq ue integrad o para di senar sus eva luaciones.
Los proyect6s tienen diferentes componentes que int erac tu an e n tre sf como un sistema . Forman par te, a l mismo tiempo, de un siste ma mayor o.ambiente en el cual este se desarrolla. La evaluaci6n la en tendemos como un proceso inte grado al desarrollo del proyecto. Existen dist intos tipos y focos de l a eva luaci6n segun el momenta, ni vel y fase del ciclo de vida del pro yecto. En este capitulo se presen tan los conceptos claves para en tender la evaluaci6n como parte del diseno, e j ec u ci 6n y ana lis is de los resultados del proyec to.
DEFINICION DE PROYECTO SOCIAL Un proyecto social es un a acci6 n social. Por acci6n social entende mos las actividades coordinadas que real izan personas, gr u pos, equipos e in s titu ciones para a l ca n zar fina-
!$
lidades compartidas y deseadas. Es tas finalidades son soluciones a pro blema s y carencias que tienen los actores ya sean sujetos o beneficia ries de la acci6n. Un proyecto social nace a par ti r de l a identificaci6n de un pro blema o de una carencia que se de sea resolver. Una vez selecciona dos los problemas y sus causas se formulan estrategias de acci6n para resolverlos. Al interior d e es tas es trategias se iden tifica n unidades de acci6n especificas ll amadas proyec tos y que consis ten en l a moviliza ci6n de recursos para rea liza r ac tividades cuyos resu ltados tendran efectps e impac tos e n l a so luci6n del problema identificado. Todo proyecto soc ial es una hi p6tesis de intervenci6n sobre la realiJ:lad y, como ta l, se s u s ten ta en una teorfa o e n un co njunt o de su puestos y de afirmaciones que dan coherencl.a ala propuestg..realiza da. En el capitulo 8 el t ema se tra baja con mayor profundidad.
II
r
"
CICL·o DE VIDA D-E UN PROYECTO
La ejecuci6n aluqe ala organi zaci6J:! y puesta en- practica del proyec to una vez aprobado su fi nanciami_ento y diseno finaL La ·· Todo proyecto tiene un "ciclo ejecuci6n contempla diferentes de vida" al pasar por distintas faetapas entre las que se destacart: ses o mementos claramente iden constituci6n del equipo de traba tificables. En terminos de tiempo jo; operacionalizaci6n de la propues-· -€stas se definen como el"antes", . ta de-trabajo; planificaci6n y dis "durante"y"despues". En terrninos ribuci6n derespo sabilidades en metodol6gicos, estas se refieren a tre otras. En h rminos de actividades las fases de diseii.o, seguimiento y evaluativas co"rresponde a esta fase evaluaci6n. la realizaci6n del seguimiento c)...mo- nitoreo y la evaluaci6n de proce El diseno del proyecto es el pro ceso de sos que dan cuenta de los resulta dos o elaboraci6n de la propues ta de trabajo de logros obtenidos a. nivel de productos y del acue.rdo a pautas y procedimientos objetivo espedfi co de los proyectos. sistematicos. Mi nimamente un buen disefw debe contemplar la identificaci6n de El seguimiento o monitoreo es la actividad beneficiaries y sus actores claves; de registro y verifica ci6n de lo que se .diagn6stico de la situaci6n proble realiza e!-'1 el transcurso del proyecto con ma; estrategias posibles para en frentarla; elfin de mantener la direcci6n del tra . :. b.ajo; justificaci6n de la estra tegia asumida; realizar las correcciones o cam bios que se objetivos del pro yecto (generales y consideren perti -. nentes para garantizar los espedficos); resultados o productos resulta dos e impactos esperados. La eva luaci6n de procesos o intermedia es el esperados; actividades Y-re-cursos. estudio de los resultados de las actividades Al mismo tiempo, el documen to del realizadas y el efec to que tienen en ellogro de proyecto debe explicitar to dos los factores los ob jetivos especificos. externos que ga rantizan su factibilidad y·la defini cion de indicadores para realizar el La evaluaci6n es el analisis que se realiza d seguimientoyverificaci6n de los re sultados e los resultados del proyecto en curso o una que se obtienen, tanto en el proceso como vez fina lizada su aplicaci6n . Se define tam - al terminar el proyecto propiamente tal. El bien como una evaluaci6n"ex post" pro ducto de esta etapa es el docurnen to de y tien.e por objeto verificar los cambios diseii.o o propuesta del pro yecto. producidos atribuibles ala acci6n d el proyecto y analizar su contribuci6n ala Desde el pun to de vista evalua tivo es el soluci6n del pro blema central. momenta de la evaluaci6n ex ante y de la Elsiguiente grafico representa -el ciclo de definicion de la lf nea de base o pun to de partida de la situaci6n problema que el pro un·proyecto y las fases eva luativas iden tificadas. yec to quiere resolver. D1s eno y Evaluaci6n d e Proyeccos
..
Diseno y Evaluaci6n de Proyenos
Evaluacion de i:mpa-cto
Resultados
, i©k&.,.... - Diseiio 11 NECESIDA,;{ .· -
Evaluacion ex ante
APRENDIZAJES
"·" · EJ.ecucion .4r'··
"t:valuacioit .de proc-esos
Seguimiento El siguiente cuadro entrega un a vision de con junto del ciclo de vida de los proyectos, los tipos de evaluacion pertinente e instrumentos de trabajo mas adecuados.
Cicio de Proyecto y Evaluacion Fase del Proyecto
Evaluadon
Instru:mentos
Antes o Disefi.o
Evaluaci6n ex ante
Marco l ogico Definicion linea de base
Durante o ejec ucion
-
De procesos o formativa
Seguimien to y monitoreo
-
-- -
Costa efectividad
)S
Efectividad
la 3U
o-
Despues o impacto
De impacto o sumativa
Modelos eva lu ativos Evaluacion de impac t
... - -.,;,£·-.- ·- ---··
"
:·
.
PASOS BASICOS PARA EL DISENO y· EVALUACION DE PROYECT OS
Para elaborar el diseii.o del pro yecto e. incorporar elementos cen trales de evalua cion desde el ini do mismo del trabajo recomenda:.... mos segu_ir los siguientes pasos: 1 ANALISIS DE LA SITUACION PROBlEMA
Un buen diseno
incial constitu :r··
. yo r relacion con l os ye una base para objetivos es cualquier evalua pedficos y con las cion. En efecto, el actividades que documento ini cial del - se realizan. Los equipos proyecto es el punto de de- traba j o se ven par tida para la obligados a enmarcar s construccion del modelo u s proyectos e n objet i de evaluacion. Sin vos mas ampiios sin embargo, por lo gene ral, mayor preocupacion por la la preparacion de los do consistencia de las cume ntos o proyectos relaciones que se es iniciale s suelen respo tablece n . Es ta s qued a n e nd er a formatos y re n el plano merame nte querimientos que cuid an forma l. poco la ex plicitacion de l os supuestos exter n os, de los indicadores o C u a lquier evaluado r de la consist e ncia debe, e n primer lu gac o interna, en t re o tros. Es rganizar una inter frecuente, por ejempl o, pretacion o lectura del que los objetivos proyecto, sus antecede nt generales no ten ga n rna es, propuestas y relacio nes. A partir de la
r e v i s i o n d e d o c u m e n t o s , e n t r e v i s t a s y c o n v r. s . a c
iones construye una • Identificaci6n, comprensio n y nueva version del p priorizacion de los royecto destacando su l probletnas que afectan 6gica e hip6tesis cen a los grupos con los trales de traba jo. Este cuales se trabaja proceso tam bien l o Analisis e puede hace r el prop io • identificaci6.n del pro equipo del proyecto blema central que se mi rando, desde un quiere e n frentar segundo momen ta o es tadio, el diseno original y • Analizar l as causas de este pro blema y los ef e l camino recorrido. ectos qu e prod u ce e n nu est ra poblaci6n o b jeti vo. 01 seno y Evaluac i6n de Proyectos
2 DEFINI CION DE OBJETI VOS
•
Transformar el problema central y sus ca u sas y efectos en o bje tivos a logr a r (es decir solu cio __ nes a los probl emas).
3 DEFINICION DE ESTRATEGIA
•
Identificar y analizar las es tra tegias y alterna tivas mas a decua das para lograr tales objetivos.
4 DISENO DEL PROYECTO
• I d e n t i f
1caci6n de los el eme n tos cla ves del proyecto (Objet i vos, produc tos, ac tivida des y r ec ur sos) • Def inicio n de las_hi p6 t esis de la interve nci6n
• Id ent ifi caci6n d e los fa c t ores externos que cond icionan l a via bilidad del proyecto.
=
Dis eno y Evalua i6n de Proyecros
1
5 DEFINICION DE JNDICADORES
6 DISENO OE EVAlUAClON
• Definir los dicadores que me diran l os efectos del proyecto y fuentes de observaci6n • Disenar y validar los instrumen tos de verificaci6n • Plan de analisis y de clasificaci6n de i-nf ormacion.
• Definicion de indicadores y cri terios de evaluqci6n • Diseii.o- metodol6gico • Instrurnentos y recolecci6n de in forma don • Procedimientos de anatisis y de contrastaci6n.
3
En los capft ulos siguientes trataremos cada uno de estos pasos de trabajo.
6: DISENO DE EVALUACION
:tl
-
> -
.
1----
5: DEFINICION DE INDICADORES
) -
1--
4: DISENO DEL PROYECTO
3: DEFINICION DE ESTRATEGIA
a a s.
OS
2 : DEFINICION DE OBJETIVOS
I: ANALISIS DE LA SITUACION PROBLEMA
)5, l(-
· la es ia -
II "
f--
-- -
EL
Y LA DEL Res ume n El comienzo del diseno y evalua ci6n de cualquier proyecto es lades cripci6n de los problemas que afec tan a los grupos qu e se ran eventua les beneficia ri..Qs; l a descripci6n de sus causas y efectos y la identifica ci6n de indicadores que den cuen ta de la linea de base o situaci6n de partida de l J2Ioyecto. En este capi tulo se presen tan y ejemplifican los concep tos basicos para t raba jar es tos temas.
DEFINICION DE LA SITUACION Y DE LOS PROBLEMAS QUE AFECTAN A LOS BENEFICIARIOS E l p un ta de partida de cualquier proyecto es la definicion de uno o varios problem as a solucionar y que afectan a personas y grupos so cia les especf fi cos. Cua l quie r proble m a socia l, a su vez, esta relacionado con actores o gru pos de in teres q u e intervienen directa o indirec tamen te en la so lu
ci6n o mante nci6n del mismo. El proyecto debe identificar a traves del diagn6stico la influencia y rol, po -
sitivo o nega tivo, que pueden jugar estos actores en el desarrollo del pro yecto. PROBLEMA SOCIAL
En este manual nos co ncen tra remos en un tipo pa r ticular de pro blema social: aquellos que afectan las condiciones de v id a y la integraci6n social de los sectores mas pobres en l a sociedad. Este es el campo d e acci6n de los proyec tos impulsados por l as instituciones p u blicas o gor las or ganizaciones no gubername n tales o de la sociedad civil obje to de nuestra preocupaci6n. Estos problem as aluden a: • carencias ob je tivas que afectan la calidad de vida (por ejemplo, bajos ingresos;.mala
Los resultados esperados del " " nen con las instituciones y otros diagnostico son: . actores delspciedad (descali • la definicion de una lfnea de ficacion, estigma y desvaioriza- cion base o de un conjunto de indi- · en los ambitos instituciona les, - cadores que define el estado ac discriminacion y falta de in tual del problema tegracion en la o iedad). • las estrategias y caminos viables de accion ElDIAGN6STICO • la posicion que tienen frente a los
I,.
j;
calidad de la vivienda; alta desnu trici6n de los niftos; falta de agua potab le; alto porcen ta je de malaria, etc.); • problemas de _!po cultura l que afectan la socializaci6n y apren dizajes de competencias (por e jemplo, reta rdo en la lec toes critura; desconocimie nto d e los sfntomas y p revenci6n de enfer medades; ba ja escolaridad formal y cesantfa juvenil; ba ja de par ticipaci6n, etc.) • problemas q ue inciden en la re laci6n q ue los sectores pobres tie-
I.,
El diagnostico es la actividad a - traves de la cual se interpreta la rea lidad que in teresa transformar. Un buen diagn6stico debe basarse en la experiencia de equipos y proyec tos similares; las opiniones e inter pretaciones de los propios actores y el conocimien to acumulado sobre el problema . Todas estas interpre taciones son complementarias y en conjunto ofrecen una "lectura de la realidad" que identifica proble mas centrales, sus causas y sus efec t os. El analisis de la situacion ayuda a definir los problemas prio ritarios y areas potenciales de tra bajo.
El diagn6stico es un proceso de analisis de la realidad que permite: a describir los problemas que afec tan a los sectores con los cua · les se trabajani b Interpretar y plantear hip6tesis sabre las caus-as y efectos de ta les proble rnas c definir el rol e irnportancia de diferentes actores o grupos de in teres
relacionados con el proble ma que se desea enfren tar d Identificar la s estrategias y po sibles soluciones a los problemas detectados e Identificar recursos disponibles.
Dis en o y Evaluaci6n de Proyecros
problemas y las estrategias po sibles de accion de distintos ac tores relevantes o grupos de in teres. El diagnost ico es un proceso de produccion de conocimientos y, como tal, esta guiado por un mar co conceptual y sigue un procedi miento metodol6gico riguroso.
PASOS PARA LA ELABORACION- DE UN DIAGNOST1CO a definicion del objeto o problema central b definicion de hipotesis en torno a causas y efec tos del problema c identificacion de variablesin dicadores que dan cuenta del problema y de las relaciones es tablecidas d recoleccio n y clasificacion de in forma cion e presentaci6n de datos y ana lisis. A continuacion describiremos con mas detalle cada uno de estos pasos: 01seno y Evaluac16n de Proyecms
a DEFI-NICI6N DEL
plo, la importancia dellengua je para el desarrollo de los nifio$, la necesidad de estimulaci6n temprana en l os infantes; e ntre otros.
OBJETO 0 PROBLEMA CENTRAL
Cemo cualquier actividad de in vestigacion, el-primer paso para la produccion del diagnostico es de finir un objeto o foco central de ana lisis. Es decir, se describe y explica el problem.fi central, para poder actuar sobre el a traves de estrate gias y proyectos de accion.
•
importancia otorgada por la s po Uticas sociales y el programa de ac ci6n de instituciones publicas: por e jemplo, la mala alidad de la edu cacion basica.
Sin duda que es diflcil aislar o"re cortar"un problema social en una realidad que afecta de modo total o integral a un grupo determinado. La seleccion o relevamiento del problema es asf, un acto de tipo con ceptual y que se realiza desde una cierta perspectiva o interes. En la definicion del problema cen tral pueden incidir algunos de los siguients factores: :1-
_el s-
•
n-
. is. . OS
:os
•
la demanda o petici6n por parte d e los actores afectados por el proble ma: el problema se define en -- -funcion de la importancia o prio ridad que este tiene para los su jetos involucrados. Por ejemplo, la mala calidad de la atencion en los servicios medicos publicos y municipales. •
I
I
La magnitud del problema: se re fiere a problemas cen t rales qu e afectan a una gran cantidad de personas en una localidad ore gion determinada (criteria cuan titativo), por ejemplo un porcen taje significative de la pobla cion abusa y depende del alcohoL
importancia otorgada porIa inves tigaci6n social o el conocimiento acu mulado sabre el tema: por ejen1-
•
la perspectiva val6rica y conceptual de la instituci6n en el enfoque cau sal del problema y los recursos humanos y materiales de que dis pone: por ejemplo, en el proble ma de retardo lector de los nifios se le da especial importancia ala £al ta de participacion de los pa dres en la educacion de sus hi jos.
b DEFINICI6N DE HIP6TESIS EN TORNO A CAUSAS Y EFECTOS DEL PROBLEMA
Una vez definido el problema cen tral, es necesario un segundo paso y que tiehe por objeto establecer re laciones entre el problema central y un conjunto de otros problemas que aparecen estrechamente aso ciadas al mismo. Estas relaciones aluden a hip6tesis probables o comprobadas sa bre las causas y efectos del proble- ma central. Las causas son aq uellos proble mas que claramente tienen una in cidencia en la produccion del pro blema central. En el campo de la realidad social es diffcil definir causas di rectas y me canicas de los problemas qu e sees-
tudian. Por ello, debernos tomar en cuenta que se trata de causas"pro bables"y de interpretaciones que re quieren de una demostraci6n para aceptarse como tal. - -
del pro blema central identificado. Ej_m plos de relac iones caus ales
La demost.raci6n o el sustento de las relaciones postuladas pueden descansar en estudios y datos exis tentes; en la opinion de expertos y/o en la experiencia directa y acumu lada de los miembros de un equi po de trabajo de la instituci6n.
El siguien te es un tipo de rela ei&R-€ausal estableci_d o por educa doras que trabajan con ninos en la calle en una colonia de la ciudad de Mexico.
De este modo, el conocimiento de la investigaci6n, el conocimien to del experto y el conocimiento que da la propia practica de los equipos de trabajo constituyen tres buenas fuentes para fundamentar l as rela ciones e hip6tesis causales
"Como en otra s colonias urbanas, en Neza existen muchos casas de ni iios que quedan solos porque sus pa dres de ben sa lir a trabajar. Los niiios pasan gran parte de su tiempo en la calle
exponiendose a rela_ciones y rie sgos que !levan a La d e serci6n es colar, a la drogadicci6n, abuso sexual, e tc" . Otro ejemplo es el siguien te ca so de descripci6n del problema del a bu so de las droga y el alco hol: En un estudi o realizado en San tiago de Chile, en un comuna de ex -
trema pobreza, se enco ntr6 que los mismos j6venes.que aspiraba n Flunitrazepan eran los que tenian conductas delictuales, se embara zaban o embarazaban a sus pare jas y los que desertaban d e la es cuela (Florenzano, -, 1995). Como vemos en el ejemplo an terior, el problema del abuso de la droga en los j6venes se relaciona con un conjunto de .otras variables ta les como la deserci6 n escolar, fal ta de habilidades sociales, impul sividad, falta de identidad, necesi dad de exploraci6n, e·ntre otras. Otros estudios muestran que el problema del consum<;> esta corre lacionado con factores ambientales tales como: la marginalidad social, los problemas de hacinamiento, la falta de espacio para la recreaci6n, -·entre otros. Es asi como el abuso de l a droga y alcohol en la juventud es un
problema que -se ve influido por varias causas que se relacionan entre si.
•
Los efectos aluden a aquellos problemas que son resultado o una consecuericia directa o indirecta de la existencia del problema cen tral. Como en el caso anterior, tam bien se trata de relaciones hipote ticas y que·han sido del]lQStradas por otros estudios, por e l juicio de ex pertos o bien por la experie ncia di recta de los equipos de-trabajo. D1Se11o y
:
Evaluacion de Proy ecws
Desde el punto de vista con ceptual y- de las relaciones l6gicas que existen entre los probl emas, las causas identificadas son, a su vez, efectos de otros problemas anterio res. Del mismo modo, los efectos del problema central pueden ser con s iderados como causas de proble mas posteriores.
Jlllc= ?
1-
la . e
n n
)n
a tl Ll- alS.
el e
_es al, la
l -
, _ : ; -
es do an l os .na e ta n- m te par ex
Se trata de relaciones causa/efec to q_ue, al interiode·un sistema de problemas sociales, se encadenan e,ntre sf, distribuyendo con distin to valor y posicion los problemas que se han asociado al principal. Este es, a su vez, el objeto central del estu dio de diagnostico. Continuando con el ejemplo del abu·so de las drogas, los estudios de muestran que los efectos de este pro blema son
m ul ti pl es , ta nt o a ni v el in di vi d u al c o m o so ci al : d a n os en la sa lu d ffs ic a y m e nt al de l
individuo, desintegracion familiar, abandono de la escuela, estigmatizacion, au sentismo laboral, reduccion de la productividad, aume nto de pro blemas delictuales, e ntre otros (Se minario Interr\a cio nal Perspecti vas de Intervencion en la Produc cio n, Prevencion y Control del Tra. fico y del Ab-u so de Drogas, 1993; Sanchez y otros, 1995). Estos efectos a la vez pueden se factores causales, como por ejem plo: la desercion escolar es un fa c tor que aumenta el riesgo del abu so de la s drogas o bien, ladesin te gracion familiar tambien genera mayor riesgo en sus integran tes de abuso de drogas o alcohol (Flo renzano, R., 1992).
Dis eno.,y Evaluaci6n de Proyectos
co debe abarcar toda la problema tica que afe£:ta a los_sectores pobres. Por el contrarioel diagnostico es fundamentalmente un proceso in terpretative de seleccion de proble mas y de relaciones y tiene como ta rea acotar y precisar la problema tica con el fin de organizar un adecuado proyecto de interven cion. c IDENTIFICACI6N DE VARIA BLES E INDICADORES
Una vez organizados concep tualmente los problemas en torno a las hipotesis de causas y de efec tos, es necesa rio describir y mos trar la validez de tales relaciones. Los datos dis ponibles, tanto cuan titativos como cualitativos, sera.n de gran utilidad para ilustrar dichos pro blemas y s us relaciones. - Sin embargo,suele oc urrir que no toda la informacion este dispo nible o bien, se h ace n ecesa rio re visa r la informacio n exis te n te y re clasifica rla en fu
n c i
de las pre guntas y ca te gorfas que demanda el diagnostico.
o n
dilas relaciones re
) n -
c a s l a s r e z , 1 0 -
d e l
--·M;io·o -
Sin duda que en
sultantes hay una opcion conc-ep tual y-ae escala. En efecto, las re laciones que se construyen tienen un limite y una organizacion en fun cion del marco d e referencia que se asume y de las estrategias y proyec tos que se quieren implementar. De este modo, el diagnostico no es una rnera descripcion de los problemas identificados, ni tampo -
D e este modo, el diagnostico supone una fase de recolecci6n or ganizada d e informacion en fun cion de los problemas identificados y de la s hip o tesis de relaciones es ta blec idas.
Para facilitar y precisar l a reco l eccion de inf o rmacion, es ne cesa rio operacionalizar los problemas que se quieren mostrar y la s relaciones que se postulan.
AI d efinir concep tualmen te cad a un o de los problemas, sera necesa rio es tablecer nuevas distinciones
en su interior, con elfin de detallar y- precisar sus componentes. Cada una de estas dimensiones senin llamadas variables que,-por defini cion, dan cuenta de los distintos va lores o a t ributos que puede ad quirir una dimension o aspecto del problema identificado. Pa ra verifica r los disti n tos valo res, ra ngos 0 itemes de u na varia bl e, se d efinen indicadores, los que constituyen la evidencia empfrica directa de los conceptos y variables definidas. Cuando un equipo se propane describir un problema y las rela ciones de causa y de efecto, debe d e finir las variables e indicadores que dan cuenta d e tales problemas y ias relaciones que existen entre elias. Solo con estas definiciones es po sible continuar para orga nizar y pre sentar./a informacion dis ponible o para disefiar los instrwnentos para recoger Ia informacion qu e se ne cesita. d RECOLECCI6N DE INFOR MACI6N Y DEFINICI6N DE LfNEA DE BASE
La busqueda de informacio n es asf un proceso conceptualment e guiado y organi zado. Por esta raz6n, se diferencia de la busqueda de informa cion que realizamos cotidia namente para saber de la salud de un amigo, de los problemas que afec tan el rendimiento escolar de un hijo o para conocer la situacion polfti ca en un a region determinada. Para esta demostracion sdebe co ntar con evidencias em ,lricas l as que pueden ser cuantitat1vas o bi en c u a litativas. Estos da tos, a su Drserio Proyecros
y
Evaluacron
de
r
vez, pueden se cundario s.
taci6n de archivo y/o de prensa, in formes de otros proyectos, etc.
ser primaries y
Ambos tipos de da tos son de gran utilidad para ilustrar los problemas y dar cuenta de las relaciones es tablecidas. En ambos casos la pre sentacion y analisjs de los datos debe ---e-r-ganizarse en funci6n de las va riables y conceptos considerados al interior de los problemas y de sus relacio nes.
Los datos primarios son aquellos generados directamente por el equi po investigador o eval uador, para responder las pregu ntas q u e se- realizan en el diagnostico en lave rificacion de resultados. Estos pue de n d e.z;war d e e ntrevistas, o bse r vacio nes, analiSis de reuniones y de documentos, entre o t ros.
e PRESENTACI6N DE DATOS Y ANALI S IS
Los datos secundarios son aqu e llos que h an sido generados
I
para
·I
otros objetivos o necesidades. Se tra ta, por ejemplo, de datos censales, datos de establecirnientos escola res ode sa lud, en t revistas realiza para
otros
estudios,
Jt documen
'1 C)
."
Los resultados de esta fase del diagnostico se deben expresar en un documento breve y que incluya: 1 descripcion general del area
t
das
-I
:f
0
sec tor de trabajo 2 identificaci6n de los actores o gru pos de interes di rectos e indirec tos afectados por l os problemas 3 definicion del problema central: necesidad o defici t a reso lver
! ;
Diseiio y Evafuacion de Proyectos
4
definicion de causas y consecuen cias del problema ce ntral expre sa d o en ter min os de va riables e in dica do res.
Tecnica: El Arhol de Pr blemas .
A co ntinu aci6 n se prese nta
tecnica de gran u tilidad para diagn6sticos, de nominada El Arbol -de- Problemas.
una hacer_
.
Esta tecnica permite organizar l a descripci6n d el problema central, s u s causa s y e fectos, a traves de la - figura grafica d e un arbol donde el p robl ema central corresponde al tronco, las causas a las raices y los e fec tos a la s rama s o copa. Este arbol grafica las relacio nes que existen entre los distintos problemas que se han asociad o a un problema central, d a nd o cu enta d e la interrelaci6n que existe entre cau sas y e fectos.
I
E j e mplo de Arbol d e Problemas EFECTO 1 Deserci 6n escolar
1
- - EFECTO 2
.
Ba ja a u to estima
EFECT0.3 Sin com pe tencias para I a vida !aboral
PROBLEMA CENTRAL Bajos l ogros de aprend iza je en la ensenanza media
I
J CAUSA 1
J
'
l
Prac t icas de estudiantes
r
l
Causa 1.1. Fo.rmaci on
CAUSA 2
CAUSA 3
Oesmo ti vaci6n Poco tiempo pedag6gicas -- -pa ra el es tu d io "fron tal es"
I
I Causa 1.2 Muchos a l um nos por curso
Los.p asos de trabajo de aplica ci6n esta tecnica .son los si guientes:
de
• identificar el o los grupos de in - teres _ • dete rminalos problemas que afectan a estos gr upos • det erminar el problema ce_Dtral que_les afecta • definir las causas de este proble ma • iden tificar los efectos del proble ma • revisar la 16gica de las relacio nes establecidas y modificarlas si es necesario.
RECOMENDACIONES PARA LA FORMULACION DE PROBLEMAS • Los prob l emas esta n relaciona dos con l os actores. Por e jemplo: "j6venes es tu diantes". • Se deben formu l ar en estado n egativo ya sea como carencia, deficit dificult ad, etc. Por ejem plo: tienen"ba jo nivel ed ucacio na l","bajo nivel de aprendizaje o d e logros" • Se deben identificar los proble mas rea les y actual es (n o fu tu ros ni ficticios). Por e jemplo:" j6- venes podrfan desertar d e la es c u ela y cae r en la de lin c u enci a " . • No de ben co n fu ndirse con l a falta de la soluci6 n del proble ma. Por e jer 1.plo:"fa l ta un Liceo Sec un dari o de cali d ad" .
I
Causa 3.1 Ca usa 3.2 J6ve n es trabaNo hay tradiciona l ja n e n las ta rdes a poyo de co m o profeso r es adult os
•
Los problemas tienen causas que p ued en identificarse a traves de la f ormulaci6n sucesiva de por que? Por ejemplo: (Por que los j6- venes -tienen bajo nivel de esco laridad?";"GPor que sus logros de aprendizajes son bajos?"
i_COMO DEFINIR LA POBREZA? BREVE SITUACI6N HIST6RICA DEL PROBLEMA
sea la evidencia de los p roble mas sociales qu e afectan a l os sec tares mas pobres de la poblaci6n, la identificaci6n y caracterizaci6n os mismos ha sid o hist6ricamen te ob je to de discusi6n. En e fecto, e n la histor ia la tino allle ricana se han- constr u ido dis tintas image nes y conceptos so bre la pobreza d a nd o orige n a catego rfas, instrumentos de medici6n y po liticas de acci6n d iverge nt es. Este debate es importante ya que reve la complejid ad del concep to mismo de pobreza y la dificultad de cono ce r y definir de un modo preciso s us ca racteristicas y magnitud. En America La tina esta discusi6n es r ecien te . En ca mbio e n E uro pa ye n Estad os Unidos esta tien e mas de 100 anos (Le rn er, B. 1996) . En la mayor parte d e los paises de Ame ri ca Latin a l a preocupa ci6n inicial por los pobres estuvo aso ciada a i nstitucion es d e
caridad vinculadas principalmen te a la Igle sia (Zapata, S., 1993). La pobreza se asociaba a D1 seno y Evaluaci6n de Proyectos
una co ndi ci6n humana f uera d e l as cos tumbre s, valores y
Diseno y Evaluaci6n de Proyecros
condiciones de vida que se consi derab_an norrnales. Las imagenes cul turales que se construyeron en la - -epoca marcaron estas diferencias m-ostrando pobres a los cuales ha brfa que temer, corregir o tratar con piedad 1. El proceso de industrializaci6n y de modernizaci6n en America La tina signific6 un cambio en esta per cepci6n. Esta puede resumirse co mo el paso de una relaci6n so cial de caridad a otra profesional y burocratica. En efecto, ia pobreza se constituye en preocupaci6n de in stituciones publicas especiali zadas produciendo un cambio en las relaciones que la sociedad es tableci6 con l os pobres. Desde en tonces, el mejoramiento de la ca lidad de vida e integraci6n social de los-sectores pobres ha sido tema central de los diseursos y progra mas gubernamenta les como tam bien objeto de debate publico aca demico y politico. LA MEDICION DE LA POBREZA
En los ultimos 15 anos esta preo cupaci6n se ha visto acentuada par el interes de medir la pob reza del modo mas exacto posible. En-efec to, la solu ci6n de los problemas de la pobreza ha dejado de ser una preo cupaci6n exclusivamente moral o po lftica _ Para los modelos de desarro llo hoy vigentes, superar la pobre za es un imperativo econ6m i co ya que, si se desea competir en un mer cado globalizado, es necesario con tar con recursos humanos capaci-
t ados y con sus necesidades basi: cas satisfechas (Boltvinik, J_, 1992}.Por otra parte, la reducci6n del gasto publico y las polftica·s de fo calizaci6n de los gastos sociales de los Estados han puesto en el cen tro de la discusi6n el problema de la medici6n de los a tributos y ca racterfsticaS1ie la pobreza con el fi de disenar polfticas preferenciales que directamente tengan irnpactos en la soluci6n de s us problemas. En America Latina se aplican diferentes metodos de rnedici6n que, a su vez, se sustentan en dis tintos conceptos y teorfas y dan ori gen a variadas estrategias y politi cas de acci6n. El metoda mas difundido es ellla mado"metodo indirecto"ode la"U: nea de la pobreza"_ En su version mas tradicional, este metoda sos tiene que los pobres son aquellos que tienen un ingreso deficiente, lo que les impide satisfacer una canas ta de neces1dades minimas o esen cialcs de subsistencia. Scgun cl Banco Mundial este ingreso mfni mo es de US$ 350 y de 275 para l a indigencia extrema. Para enfrentar muchas de las di ficultades metodo l6gicas que im plica la definicion de necesidades esenc i a l es, existe una variante del metoda que enfatiza l as"necesida des a limen tarias". En efecto, el problema de Ia nutri ci 6n y de la ali menta ci6n se define como pro blema central de la pobreza y su me dici6n da cuenta de la falta de in-
Sobre el tema ver: Romero, LA,"(. Como son los pobres?. Miradas de Ia eli tee identidad popular en Santiago hacia 1870". En: Opciones, N°16, 1989, pp . 55 -79.
II
gresos para satisfacer las necesi dades alimentarias.en la cantidap y calidad requerida para la sobre vivencia del individuo y de las fa milias. En oposici6n a estos metodos in directos""de medici6n, s-e ha desarro llado enAmerica Latina una terce ra perspectiva denominada"Meto do de las necesidades basicas insatisfechas". Para este enfoque la pobreza no puede asociarse a una soa necesidad, por central que esta sea. La pobreza se asocia a un es tado donde individuos y familias tie nen multiples carencias y necesida des. Para este meto.do la pobreza alu de no solo a carencias de bienes (vivienda) sino que tambien de los servicios minirnos (drenaje, agua y educacion) que permiten a una fa_ milia un minimo de bienesta r (Bolt vinik, 1993) Por ultimo, y como un intento por in tegrar ambos enfoques, se ha desarrollado un metodo denomina d onmed i cion integra l de la pobre za"que conside ra que la pobreza se debe tanto a ingresos in suficientes como a necesidades basicas insa tisfecha s. Su aplicacion resulta ser compleja al utilizar como punto de partida l os m etodos indirectos y directos descritos identificando du pliciuades, confluencias y constru ye ndo-nuevos ind ices. Por otra par te, los resultados que- se obtienenaumentan considerablemente la cantidad de pobres lo que genera desconfianza e n su aplicaci6n. Todos estos metodos tienen en comun e l interes por medir las condiciones de privacion y las ca rencias de un modo objetivo. Sin em bargo, al definir co n ce ptualmente
las variables e indicadores de dis tinta manera, las magnit_udes resul tants son divergentes. Por ejem plo, en 1986 segun el metodo de·Ia ·· linea de la pobreza el 43,5% de la poblacion latinoamericana vivia por debajo de la linea de la pobre za; segun el metoda de las necesi dades basicas insatisfechas el 50% de la poblacion spodia conside rar como pobre y, por ultimo, segun el metodo de medici6n integral el 61,5% de la poblaci6n latinoame ricana estaba en dicha condicion en 1986 (Lerner, B., 1996). Pese al interes por objetivar...y pre cisar la medicion, los resultados ob tenidos muestran importantes di ferencias segl!n el metodo que se aplique. Este n oes solo un...proble ma tecnico y de ca lculo matemati co. La opcion por uno otro meto da tiene consecuencias politicas en tanto aumenta o disminu.ye la cantidad de pobres y privilegia va riables y dimensiones diferentes como instrumentos de polftica so cial. LAS DIMENSIONES CULTURA LES DE LA POBREZA
Los problemas conceptuales y tec nicos de la medicion de la pobre za da n cuenta de lacomplejidad de la si tu acion y de la dificultad de re ducirla solo a algunas var iables posibles de cuantificar y de compa rar. En efecto, ms alia d e las condi ciones e indi cadores relevados por l os metodos descritos, existe otra rea lidad . Esta alude a las dimensiones cu ltu rales o simbolicas asoc i adas a la pobreza y que inciden. en sus cau sas y mantenci o n.
o,seno y Evaluaci6n de Proyectos
Esta dime sion cultural ha ad quirido en los-ultirnos anos una vi tal importancia para
dar cuenta de la realidad y diseftar nuevos
cami nos superacion de pobreza.
de la
Los estudios preocupados de las medicio nes de la pobreza han cons tatad o las diferencias culturales que existen cuanto a las percep ciones que los grupos tienen de sus necesidades y de las prioridades para satisfacerlas. La definicion de las ne cesidades basicas y de alimentacion varian segti.n las culturas, las etnias, el genero, entre otras, y por ello ha sido diffcil construir una canasta mi nima valida para todos. Por otra parte, las condiciones de vida de los sectbres pobres no solo afectan su s condiciones materiales y de co·nsumo, sin o que tarnbien el acceso a un capi tal social y cultu ra l que les gara ntice plena integra cion social y laboral. El analfabetisrno y las deficien cias de cobertura y de calidad de los sistemas educativos latinoamerica nos, impiden que los sectores po bres desarrollen los codigos adecua dos para la adguisicion continua y compleja de saberes. Ello afecta el desarrollo de competencias y capa cidades para u na mejor posi cion en l a sociedad. Se ha demostrado en America La tina que el
clima educacio nal de los hogares, es decir el prornedio de a nos de estudios de las personas con mas de 15 aftos que viven en el hogar, explica cerca del 50% de los logros de rendimie nto o de .exito escola r seguido en impor tancia por la ca pacidad econo mica de l h oga r (CE PAL, 1994) . Por otra parte, la evi-
Diseno y Evaluaci6n de Proyecws
"·
dencia empfrica sefta la que en Am rica_ Latina_es necesario cursar 10 0 mas aftos ae estudio -y cada vez mas el ciclo me io completo- para tener buenas posibilidades de bie nestar. Es decir un 90% o mas de pro babilidad de no caer en l a pobreza (Cepal, 1996). Se ha demostrado que el irnpac to social de la pobreza e n las fami lias incide e n los habitos de crian za y de a limentacion, en las posi bilidades de estimulacion lingiifstica y cultural temprana, u so de tiem po libre, complejidad y riqueza de interacciones y de l mundo senso rial de los niftos, en t re otros.Todos estos factores son de gran impor tancia para el manejo de modelos perceptivos, lenguajes y culturas sim bolicas (Bronfenmajer, G. yR. Ca sanova, 1986). En cu.a_nto a la estr u ctura fami liar, se ha demos trado la impo rtan cia que tiene en l os sectores popu lares la mujer jefe de hogar o lama dre sola . que vive con s
us hijos "allegada"en casa de parientes o ve cinos. La ausencia d e l padre no favorece el desarro l lo cogni tivo y afectivo del nino . La mujer, sin este apoyo emocional, mas la sobre ca rga de trabajo para gara ntizar la sobrevivencia d e s u nl:icleo, no tie ne posibilidades de generar un arn biente positivo y estimu lant e para sus hijos (Bra lie, S., e t al, 1989) Las interpretaci o nes gue tienen los su je tos de los pro bl e m as que les afectan in cid en en las o rientacio nes y practicas concretas que rea - . liza n para superarlos. Por l o ge ne ral, los rnodos de pensa r, las con duc tas y los estilos de co municacion de lo sectores pobres son reproba -
de su propia identidad como de los saberes que posee. Esfa devaluaci6n y la £alta de acceso y manejo de co nocimientos utiles para la vida co tidiana -sean estos econ6micos, ju ridicos, sanitarios, culturales-afecPor ejemplo, los servicios de satan las posibilidades de aprendizaje lud y de asistencia social suelen des- y las competencia s de los sectores calificar el saber"tradicional"de los ·mas pobres para solucionar los sectores pobres y sus e_roblemas son- _problemas que les afectan 2 • tratados como patologias o una desviaci6n social. Todo ello provoEn resumen, la pobreza es una ca sen timientos de inferioridad y categorfa relativa y los indicadores de d e p eJ!den cia que afectan la que la definen co mo un .estado adaptaci6n social y a utono fa de objetivo de carencia, no resultan ser los su jetos (Verdes-Leroux, J., 1978; suficientes para dar cuenta de esta Paugaum, S., 1991). Por otra parcondici6n (R. Ogien y J. Katuste, la escuela y los profesores que zewski, 1981). En efecto, no ba sta atienden a los sectores mas pobres, tener bajos ingresos para pertenesuelen descalificar a los padres yescer a la ca tegorfa social de pobre. tigmatizar a los ninos, l o q ue afecLa pobre za afecta multiples dita la identidad y posibilidades fumensiones de la vida social y, adeturas del est udiante (Filp, J., e t al, . mas de sus care ncias objetivas, se 1991; Mingat, A., 1991). Por ultimo, deben considerar las dimensiones la misma adaptaci6n a las norm as subjetivas o culturales y la experien y
dos o clasificados como inadapta das y poco competentes por los otros sec t ores sociales y por las institu ciones y serv1cios sociales con los c uales estos interactuan.
-
cri te rios ins tituci onales conduce cia de descalificaci6n y de desigual- a reducir l as expectativas y las"po dad social que afecta las posibilisibilidades de l o probable". Los su clades de romper con el cfrc ul o vi- -j etos deben conformarse con em - cioso de la pobreza. pleos poco gratificantes, elaborar proyectos"realistas"y poco estimu En efecto, las dim en siones cul lantes, identificarse con imagenes tura les y comun ica tivas cad a vez de indigentes ode pobres que son tienen m as impo rt ancia en el cam poco va l o radas, etc. (De Ga ule j ac, po de la investigaci6n . Las politi V., e t a l, 1994, p:_241). cas sociale s tienden a concebirse de un m odo integral, in co rpora n De este modo l a experiencia co do en el analisis de los problemas tidiana de los sectores pobres nose y en el disefio d-e las acciones, reduce sol o a sus carencias eco n6- distintas dimensiones que in ci micas y cult urales sino que, ademas, den en la co n sti t uci6n y expresi6 a una descalificaci6n socia l tanto n del problema.
El tema es relevado con impor ta n cia por la Conferencia Mundial de Educa cion para todos, realizada en Jomtiem, Tailandia, 1990. D1 seno y Evaluac16n de Proyecros
- DE
Resumen
En este capitulo se pr senta el coricepto de Grupo de interes o Gru pos relevantes. Se destaca la irnpor tancia que tienen en la definicion de la situacion problema yen el desa rrollo misrno de los proyectos. GRUPOS DE INTERES
Los proyectos sociales resuelven problemas que afectan a personas y grupos especfficos. Cada proyec to euna particular iri.tervencion que ayuda a alguien o a much os a re solver necesidades d e su vida co tidiana id e ntificada s previamente. Sin embargo, al mismo tiempo que se identifican beneficiarios di rectos o indirectos de l os proyectos es necesario identificar a aquellas personas, instituciones o grupos que seven afectados dire cta o in directamente por la realizacion del proyecto y sus eventuales impactos. Estos constituyen acto res t a n im portantes como los beneficiarios di rectos ya que pued e n impedir la rea lizacion de acciones y anular s us re sultados. Po r o tra parte, existen actores (personas, instituciones, llderes, grupos, organizaciones, e tc.) que se relacionan directa o indirectame n te con e l proyecto y que tienen
--- -
una actitud positiva hacia el mis mo, facilitando su ejecucion y legi timando sus objetivos. Cualquiera·de estos actores sera llamado Grupo de interes. Cn este concep to se alude a individuos, asociaciones, instituciones que se benefician o perjudican -en termi nos rnonetarios o no- con la ejecu cion de un proyecto y sus resulta dos o impactos. Entre ellos, cabe des tacar, vecinos o grupos no participantes en el proyecto, los po - liticos, burocratas, proveedores de servicios, clientes de los servicios, sector privado, sindicatos, organis mos ejecutores, organismos no gu bernam.entales, entre otros. Para cada uno de estos el proyecto ten dra un valor particular y, de acuer do a ello, pueden facilitar u obsta ·culizar su desarrollo. GRUPOS DE INTERES, ACTO RES Y POliTICAS SOCIALES
En el campo delas polltica s so ciales intervienen nurnerosos acto res que pertenecen, a su vez, a ins tancias y dominios de a ccion dif e rentes. Por ejemplo, autorid ades y representantes politicos, diri gentes sociales, tecnicos, cuerpos adminis t rativos, profesionales de munici pios, agen tes economicos, publico en general, lfderes de o pinion, etc.
· . Todos ells comparten la voluntad de actuar pero, al mism<;:> tiem po, cad a uno t1ene su -propio codi goy racionalidad al interior del sis tema. En efecto, sus objetivos, modo de organizacion, su composicion so cial y su lugar en el sistema global difieren entre sf (Monnier, E., 1992). Estos actores cuentan s_on reglas·in ternas de funcionamiento; produ cen criterios de distincion y de se paraci6n; promueven relaciones de competencia y/o de cooperaci6n, en sus practicas y campos de acci6n .
Por otra parte, estos actores no partic pan del mismo modo ni con la misma continuidad en la politi ca o - programa que se ejecuta. En efecto, por lo general, los progra-
mas publicos y privados son con ducidos por un grupo reducid(_) de personas que encuentran apoyo y legitirnaci6n en algunos actores y ·· obstaculos y barreras en otros. Segun Monnier, E., (1992) es posible distinguir tres grandes cam pos o"arenas"en los cuales se ob servan las1nteracciones de los ac tores o grupos de interes. Estos campos, a su vez, se relacionan con las hip6tesis de intervencion, las acciones y los efectos observa dos de los programas y proyectos. Estos son denominados el rnedio a mbiente de la legitimaci6n, de la accion y de la evaluacion y sus re laciones se representan en la siguien t e figura:
CAMPOS DE INTERACC16N ENTRE ACTORES
Medio ambiente de legitimacion
Medio ambiente de Ia accion
Medio ambiente de Ia evaluacion Fuent e: M o nnier, E., 1992: 91. D1 seno y
Eva tuaoon de Proyecros
D1s eno y Evaluao6n de Proyeccos
El medio ambiente de legitima ci6n es el mas estructurado y esta compuesto por actores claves que in ciden o toman las decisiones. Su le gitimidad puede descansar en nor mas administrativas y disposiciones legales;·en el mandata electoral; en la autoridad tecnica en la materia u otra legitimidad simb6lica. Sus de cisiones y acciones son claves para que el programa se lleve a cabo y sea exitoso en su ejecuci6n. El medio ambiente de la acci6n depende del tipo de proyecto o de la innovaci6n que se ejecuta. En este me..dio se desenvuelven los actores responsables de la implementa ci6n; las formas de organizaci6n ad ministrativa y tecnica que asumen yJ.as relaciones con otros actores -or ganizados o n o- que inciden en la ejecuci6n -del programa y su s pro yectos. El medio ambiente de la evalua ci6n esta compuesto por todo s aquellos actores que reaccionan mas o menos espontaneamente frente a los efectos del programa, ya sea porque son sus beneficiaries o grupo meta, son actores que apo yan a los grupos beneficiaries o bien se trata de grupos que seven afec tados por las accione-s-y resultado que produce la acci6n. Un buen ejemplo de este tipo de - -procesos lo con s tituyen las actua tes politicas de reformas educativas que se ejecutan en America Latina . Para llevarlas a cabo los gobiernos, o rganismos tecnicos y otros acto res realizan estudios sobre las opi ni o nes y demandas de los distintos grupos de in teres y promueven co misiones e iniciativas de dicilogo pu bl i c o, tendientes a construir gran-
des consensos nacionales en el campo de la legitimaci6ri (Mayor domo, A:, 1991; Reimers, 1995). Estos consensos generales no siempre se traducen a acuerdos en el campo de la acci6n o de la eje cuci6n propiamente tal. Pese a compartir los obje_!ivos de las refor ma, las estrategias defiRidas yios recursos movilizados pueden ser cuestionados por actores tales como profesores, tecnicos y politicos en su momento de ejecuci6n. Lo mis mo puede ocurrir en el campo de la evaluaci6n don de no todos com partiran los mismos criterios ni es peraran los mismos tiempos para ve rificar los resultados. Las reformas en el campo de la salud son interesantes en cuanto a la incorpo raci6n de las "preferen cias sociales" de los actores al de finir las prioridades y"canasta ba sica de prestaciones" de los servi cios publicos. En el tema es pionera la experien cia lleva.da a cabo en en el Estado de Oregon, en los Estados Unidos, donde las autoridades de salud in corporaron la percepci6n y valora cion del publico en el calculo del be neficia de las intervencion es. medi cas (Dougherty, Ch., 1991). Este procedimi_ento modific6la tradicio nal medida de Costo- Efectividad, incorporando las expectativas de los beneficiaries y el grado en que este beneficio es requerido o conside rado como una necesidad (Hadorn, D. C., 1991; Murray, C., 1995). De este modo, noes solo el costo de la alternativa ode I a interven ci6n el criterio clave para priorizar, sino el beneficio que presta y sus po-
•-----
I
sibilidades de exito segU.n la percep ci6n de la poblaci6n. Este tipo de criterios ha sido asumido por el Ban co Mundial y promovido en sus orientaciones sobre reforma en la salud (Banco Mundial, 1993; Mu rray, C. y Lopez, A., 1994) .
programas sociales quedan clasifi cados en distintas ca tegorias en funci6n d el grad·o de pobreza ode necesidades basicas que requieren satisfacer. A partir de indices sin teticos que ponderan variables re lativas a vivienda, ingresos, ocupa ci6n, educaci6n, salud y patrimo nio del grupo familiar, entre Existe asf un cambio en la formu laci6n de otras, las instituciones publicas clasifican pollticas tradicionalmen te realizada por parte quien puede ser sujeto de ayuda de especia listas con una vision tecnica y sec de beneficia social. torial y de "arriba hacia abajo". Ahora los tecnicos tienen la obli gaci6n de conversar co n EL TRABAJQ DE LAS los distin tos actores y grupos de interes; ORGANIZACIONES NO considerar sus opiniones y ofrec.e.t estrategias GUBERNAMENTALES Y LOS GRUPOS y caminos de soluci6!! que in co rpore n l os int e DE INTERES reses parti cu lares para garantizar acuerd os y, con ello, legitimidad y sustento...de la politica Desde un punto de vista macroso ciallas en etiempo (Peters, G., Organizaciones No Guber namentales (ONGs) 1995; Beserra, L 19 5) u organizacio nes civiles constituyen Grupos
o
LA FOCALIZACI6N Y LA DEFINICI6N DE GRUPOS DE INTERES
La f ocaliz aci6 n ha puesto aten c i6n en la asign aci6n de los recur sos y la rece p ci6 n de los mismos, por parte de la poblaci6n ala cual estan d es tin ados. Para ell o utiliza bases estadfsticas y bu sca meca nis mos ob jeti vos para clasifica r y se l eccio n a r a quienes seran o b je to de l os be ne f i cios de los programas sociales. E n es t e enfoq ue subya ce una preocupario n por el costo efec tividad de las prestaciones socia les. El Estado debe gastar men os din e ro e n l as areas socia les pero, al mismo tiempo, debe ser mas efec tivo co n l a dist ribu ci6n del mismo (Sojo, A., 1990; Raczynski, D., 1992). Desde esta perspec tiva, los even tuales grupos be neficiari es de los 01 s en o y E va1ua c1 6n de Proyeccos
de interes espedfic_os. Se trata de or ganizaciones propias de la sociedad civil que, a traves d e estudios, di senos de innovacion es y e jecuci6n de proyectos, formulan alternativas para enfrentar problemas sociales involucra ndo, por lo ge n eral, a los propios afectados. Por otra parte, es tas instituciones participa n en los deba tes publicos y algunas de ellas incid en directamente en el diseno y ejecuci6n d e pollticas social es promoviendo la inno vaci6n y la participaci6n socia l. Sin e mbargo, no todo el trabajo de es as Organizaciones se orien ta hacia el Estado y sus pollticas. En efec to, gran parte de elias tienen como objetivo contribuir al desarro ll o d e la organizaci6n so cial y ex presio n de las identidad es sociales y culturales q ue permanecen al margen o subordinad as en la socie dad. El traba jo d e animaci6n cul tural en esca la l ocal (barrial y ve-
D1seno y valuaci6n de Proyectos
cinal} y apoyo a las organizaciones Una de las caracteristicas centra de j6venes, mujeres, minorfas etni-_ les de los proyectos de las ONGs es cas, entre otras c6nstituyen expre que estan diri dos h lCia el ambio siones de este tipo de objetivos . Y el cuestionamiento de las relacio (Egana, R. ed, 1989; Lenero, L., nes de poder a distintos niveles o 1992; Birgin, H., 1995). Gon estas escalas. acciones contribuyen ala califica ci6n de la voz publica e Por esta raz6n, la ejecuci6n de sus identidad de grupos de interes acciones provoca cenflictos que especfficos. ordenan a los actores directos e in directos en posiciones divergentes A nivel micro social las organi con respecto a la instituci6n y sus zaciones no gubernamentales se en animadores. Por un lado, aquellos c uentran con distintos grupos de in que apoyan las acciones de crftica teres que inciden en los proyectos que se llevan a cabo y que valoran que ejecutan yen la permanen ia el poder simb6lico de la insi;ituci6n. de la instituci6n en la localidad. Por otro, aquellos que cuestionan la presencia de la instituci6n exter Por lo general, las instituciones na y de los cambios que promu e suele n trabajar con grupos organi ven s us proyectos. zados o bien con los mas j6ven es o se focalizan en las mujeres. Al de Por ejemplo, en las experiencias finir de este modo el trabajo de los de trabajo rural, son frecuentes-es proyectos, unos· miembros de la tos conflictos con intermediarios,_ co comunidad quedan incorporados a m:ercian tes y caciques locales que los beneficios de los mismos y otros seven afec tados con la s organiza quedan fuera. En varias experien ciones y cambios en la distribuci6n cias estas distinciones provocan de productos que promueven las ins co nflictos y una fuerte diferencia tituciones (Munguia, M.A., 1993). ci6n interna. E n las ciudades, los conflictos sue len ser con vecinos, grupos de po Diversos estudios han demostra der barrial y local, intermediarios, do que, usualmente, estas organi grupos religiosos y polfticos, entre zacio nes trabajan con un segmen otros, que ven afectadas sus ganan to de los sectores popul-ares. Este es cia s, prestigios, segu ridades y va e l que se_ encue ntra mas organiza lores o criterios culturales por los do; el que tiene m as educ.aci6n y proyectos que ejecu tan las instit u el que participa de las redes ciones. sociales de las instituciones u organizacio nes de apoyo. Es te grupo de perso nas tiene una alta movilidad y ro taci6n al interior de los proyectos y entre las ONGs o instituciones de a poyo . Los otros grupos no alcan zan los beneficios de sus proyectos y, en ocasiones·, generan conflictos co n las instituciones o con quien es participan en ella (Martinic, S., et al, 1988; Dam, A et at 1995).
------------- ,j- ---- -
PROYECTO DE CENTROS DE ABASTO POPULAR: ENLACE;MEXICO
ENLACE enfrenta los problemas que produjo la promoci6n y luego cierre y descapitalizaci6n de los programas CONASUPO y COPLAMAR implementados por el Gobierno Mexicano desde 1979. Estos programas generaron una lfnea de abasto y de tiendas populares en zonas urbanas y rurales que fueron utilizados por partidos politicos como modalidad de control o por familias coo negocios privados, aprovechando las ven- tajas y subsictios del plan gube.rnamental7 De este modola politica gu bernamental de abasto se vi6 intermediada por actores tales como ca ciques locales, comerciantes y otros grupos de interes, desviandolo de sus objetivos iniciales. El Programa Integral de Abasto Popular (PIAP) pretende mejorar la calidad de la alimentaci6n y.del abasto en los sectores popular s. "Lu cha contra el hambre y porIa alimentaci6n"a traves del desarrollo de la organizaci6n y de iniciativas autogestivas. Para ello d esa rrolla una estrategia que da orige n a los tres moyec tos del programa. Esta estrategia es llamada de trabajo. integral y aba rca los pianos local (proyecto Centros de Abasto Popular), regional (proyecto Co mercializaci6n de Productos Basicos) y nacional (proyecto Frente por el Derecho de la Alirnentaci6n) del problema. Se trata de acciones que, por un lado, contr ib uyen al abastecimiento y formaci6n de las organizacio nes y, por otro, sost ienen un movimiento mas amplio que reivindica el proble ma publicamente y favorece acciones legislativas para resolverlo. El PIAP pretende contribuir a: a al m ejo ra miento de la gesti6n de las tiendas o centro de abasto ani vel loca l b garantizar el acceso a mercaderfa de buena calidad y a mejores pre cios a traves de una co mercializad ora y c contribuir a Ia presencia polltica del problema y de las organizacio n es fortaleciend(Jel Frente por el perecho a la. alimentaci6n. Se in tenta asf apoyar la discusi6n y generaci6n de una polftica publica en -torno a la alirnentaci6n.
Diseno y Evaluacion de Proyecws
l.COMO DESCRIBIR Y ANALIZAR LOS GRUPOS DE INTERES RE'LACIONADOS CON ElPROYECTO?
El objetivo de este analisis es: • conocer la situaci6n de los gru pos de interes e instituciones relacionados con el problema y su soluci6n • tomar en cuenta los intereses y recursos de estos grupos • identificar y prever eventuales conflictos entre actores como fruto de la intervenci6n ode los cambios que promueve un pro yecto • identificar y evaluar alianzas y apoyos en el desarrollo del pro yecto. l.COMO REALIZAR UN ANALISIS DE LOS GRUPOS DE INTEBES? 1 En primer lugar, se de ben iden
conflictos y ser afectados por esta soluci6n. ·sugerimos como criterios p·ara la selecci6n de estos gnJ.pos los siguien tes3: • grado de participaci6n en el pro yecto • grado de influencia activa one gativa para el desarrollo del pro yecto • importancia o magnitud de los re sultados del proyecto en los in tereses o situaci6n de los acto res • posibilidades que tienen estos ac tores de colaborar o competir con el proyecto 3 Describir brevemente las carac teristicas de los gr u pos; senalar -sus fortalezas y debilidades; las expectativas o interes puest9 en - juego e n su relaci6n con el pro blema; los recursos pollticos, le gales, sociales, financieros que pueden movilizar para solucio nar el problema, entre otros.
tificar lo grupos, las personas, las intituciones, las organizaciones, etc ., que estan relacionados con el problema ya sea porque son los Es necesario recordar que n o afectados principales o indirec- vale la pena extenderse co n rnucha tos; se benefician con su existenprofundidad en toda la caracterizacia; causan directa o indirecta cion de los grupos de interes, sus mente el problema; deberian co ntradicciones y relaciones de po-::hacer algo para resolverlo; consder. El tema se debe abordar sie m tituyen una red de apoyo para so pre en relaci6n con el problema cenlucionarlo; son los actores poten - lral que se quiere resolver_y con el cia les de la acci6n, etc. proyecto a desarrollar p-ara contribuir a su solu ci6n. 2 Una vez identificados, se deben Para ello resulta adecuado cons seleccionar aquellos que resultan truir una matriz de trabajo como la se r cen tra les para la soluci6n del p roblema o que pu ede n generar siguien te:
Basado en: De Ia Lastra, C. Guia para la planificaci6n participativa e n eva lu aci6n de proyectos soc ial es. San tiago, Ma t eri a l es d e l Curso de Formu l aci6n y Eval uaci6n de Polfticas y Proyectos Socia les. CEPALIILPES/OEA, 1993.
·
Q
GRUPOS DE INTERES RELACIONADOS CON PROYECTO DE ABASTECIMIENTO
Problema que les afecta
Central de Abastos Perdidas econ6micas por mal manefo de stock
Consumidores Desabastecimiento
Intereses rentabl-es
Operaciones eco n6micas. Compra a bajo precio
Abastecimiento
Garantizar ingreso mi nimo Capacidad o potencial en Ia soluci6n
Pueden influir directa mente
No comprar. Ira otro mercado
Que espera del proyecto
Capacitaci6n y colabo raci6n para reducir costos
Abastecimiento
Conflictos potenciales
Con comerciantes instalad os e n el sector
Mal atendidos. Desconfianza en la calidad
Fuente: De La Lastra, C., 1993; Jimenez, M. y Chaparro, M., 1995.
El producto que se espera obte ner de este analisis es el siguiente: •
identificaci6n de los involucra dos en el proyecto. Poblaci6n que se beneficiara d irec ta e indirec tam e nte con la soluci6n del pro blema; grupos e institucioncs que pueden actuar como red de apoyo para la realizaci6n del proyecto; grupos e institucion es que pueden obstaculizar o afcc tar el desarrollo del proyecto
01seno y Evaluaci6n de Proyecws
• plan tear supuestos o hip6tesis del eventual comportamiento de los actores frente ala ejecuci6n de l proyecto •
id en tifica r acontecimien tos, hc chos y eve ntos que podrian afec tar la ejecuciCsn del proyec to y/o el impa cto sobre el deS
. DE
I
Resumen En este capftulo se define el concepto de objetivo como realidad o resultado deseado o a alcanzar a traves de actividades y productos del proyecto. Se analizan distintos tipos de objetivos y se presenta un proced imiento para definirlos.
OBJETIVOS DE UN PROYECTO· El trabajo de diagn6stico y de· identificaci6n de grupos de inte res informa de los problemas (ca rencias, deficits, necesidades, etc.) y las causas y efectos que estos tie nen en l a poblaci6n de una l oca lidad determinada. Por otra parte, es funci6n del diagn6stico descri bir la relaci6 ue tienen los gru pos de int eres con e l proble1!la.
Los objetivos de un proyecto, en cambio, dan cuenta de Ia situaci6n fu tura o del estado final del problema una vez realizado el proyecto. En otras pa labras, es una imagen anticipada de la realidad que se espera construir y que resuelve las carencias, los deficits y las necesidades definidas en el diagn6stico. Frente a las carencias que se de tectan en el diagn6stico, los proyec tos definen estrategias y accio n es espedficas para solucionarlos. De este modo, un proyecto puede ser interpretado como una o varias ac ciones que inlervienen en una re alidad n egativa para transformar la en positiva. Es decir, cons truir un nuevo tipo de realidad que, preci samcntc, nicga la anterior ofre ciendo una alternativa que resuel va las carencias, los deficils, las nece.s_idades planteadas. La siguien te figura representa este movimiento d e l proyecto:
r
PROYECTQ
Estado inicial (-)
Estado final con intervenci6n (+)
Tendencia sin intervenci6n (-)
Ejemplos:
(+)
(-)
Proyecto 1 i onsumo de drogas en j6venes de la comuna de La Florida"
onsumo de drogas en j6venes de la comuna de la Florida"
Proyecto 2 "Desnu trici6n y parasi tosis en la mayorfa de
"Menos nifws desnutridos y con parasitosis
De este modo, un proyecto in terrumpe la reproducci6n del pro blema y del estado dla situaci6n diagnosticada. Produce un quiebre
en esta tendencia para construir una realidad diferente, un estado nue vo y positivo en la_realidad de la po blaci6n con la que trabaja.
ANALISIS DE UNA SITUACION CON PROYECTO
Oesnutrici6n
Tiempo t-n
t-2
t-1
to
t1
Fuente: Basa do en Cohen, E. yR. Franco, 199 2:204 .
Diseno y Evaluac1 6n de Proyecros
t2
tn
Dis eiio y Evalua ion de Proyecros
En el grafico se aprecia_la ten dencia creciente de la desnutrici6n en una poblaci6n determinada en los tiempos T que reflejan tiempos anteriores a la impl e menta ci6n
del proyecto. A partir de Tp (tiem po proyecto) comienza a observar se un quiebre lento en esta-tenden cia disminuyendo la tasa. de_des nutrici6 n.
Sistetna cotnunitario de apoyo a Ia alitnentacion de niiios
..
Eu 1992 se estudiaron_ 722 ninos y ninas de entre los 2 y 13 anos de edad, todos ellos pertenecientes ala mayoria de comunidades don de hoy tiene cobertura el"Sis tema comunitario d e apoyo ala alimen taci6n in fan til" (SCAli). En ese tiempo, las mediciones de peso, ta lla y perim etro braquial se hicieron sin la interve nci6n alime ntaria ni polfticas de prevenci6n de la sa lud. Al comparar aquellos datos con los actuales, el deficit general de las constantes estudiadas disminu yti, es decir mostr6 mejeria:
I
1992 ------1995 :es del proyecto) ( (despues\drJ-P-royectQ.)__ Peso Talla Perimetro braquial
15.87
'·
6.19 6.50
--------10.8
5.0 4.7
Con base a lo anterior -aUn<{Ue tomando con reservas la compa raci6n retrospectiva- se puede decir que con el SCAli los ninos me j ora n su condici6n nutricional. 6, dicho de otra m a n e ra, por lo me nos, la intervenci6n del proyecto hace que la mayoria de ninos pa sen de padecer desnutrici6n de segundo grado a desnutrici6n de primer grado. (Fuente: Garcia, S, 1996:20)
·' '
i
DEFINICION DE OBJETIVOS
partir de la realiz aci6n d el proyec to (Murtagh, R., 1990). Los ob j e ti vos siemp re ref ieren a una realidad positivamente valorada.
Los objetivos aluden a cambios que ocurren en la situaci6n inicial En la bibliografia la definicion del ode base d el problema identifica concepto de objetivos tiene diferen do. Son los resultados previstos o te significados: planeados que tienen las acciones Por ejemplo, para B. Bloom, gran del proyecto sabre los problemas diagnosticados en calidad, cantidad te6rico del diseno curricular, los oby plazas .preestablecidos. . jetivos educaciona les so n "jormu laciones explfcitas sabre la s diversas maneras en qu e esperamos Expresan la realidad que se pre que loses tudiantes cambien como tende alcanzar lograr u obtener a re s ultado
--I 0
.
I
I :i
------·------------------------
-------------- --
0 por quien realiza la acci6n de cam bio. del proceso educativo. Es d ecir, las for mas or ejemplo; "los j6ve netie nen el en que cambia ran su·.pensa miento, oficio de -electrieista, de "programador, sus sentimientos y sus accio nes" (Bloom, mecanico, etc.";"los· j6venes realizan B., 1972 , p. 3). distinciones·con ceptuales sobre Para R. Mager:nel enunciado de un efectos negatives objetivo transmite un prop6sito: en otra s d e la droga". palabras describe un cambia en el aprendiz o define lo que habra de ser este, dj!spues Las dos acepciones son correc tas de hab&r cumplido con exito el proceso de per<2_ aluden a situaciones dif rentes. La aprendizaje.Un ob jetivo es la d escripci6n d primera ala intention o a la acci6n a e una conduc ta detenninada que el realizar y l a segunda al resultado a alumna debe ra mostrar" (Mager, R., lograr o cambio en la situaci6n 1989:3). problema como fr u to de esa acci6n. En el prim er caso, el objetivo se relaciona Para W. Petterse n,"e s la descrip ci6n con la activi dad y, en el segundo, con d e la conducta final esperad.a o ima los resu l tados o efectos en la realidad. El ginada a priori par e l profesor y capa z d pri mero alude a Obje tivos d e Actividad y e d emostra r una vez recorri do el proceso el segundo a Objetivos de Resul tad os o d e aprendiza je" (Petter sen, W., 19 74). de Impacto en la situaci6n pro blema.
. Para G. Briones son los"estados o situa ciones des eables d e alcanzar en una pobl aci6 n d e term i na da y rne dian te los recursos y accion es instru men.ta les del prograrna" (Brion es, G., 1985:117) . E s t os co n cep tos p l a nt ea n d os se nt id os posibles de o bjet ivos: El primero rel acionado con las in terz ci o n es o prop6sit os d e quien define e l proye c to o realiza la ac ci6 n d e cambio . Por e je mplo,"ca p a ci ta r a l os j6ve n es en un oficio"; "e n se iia r a los j6ve n es las co nse cu e ncias negativas de l co nsum e de alcoh ol y d rogas". El objetivo con siste e n ex plicita r e l se n t ido o lain t e nci6n d el actor q u e lleva ra a cabo I a acci6 n . E l segu n do alud e a l os res ultad os o e f ectos q ue prod uce e n e l p re ble- · rna inici al, la acci6 n dese n caden a d a p or e l e jecutor de u n proyecto D1seno y Evaluao6n de P royecws
"
En este manual los objetivos d e a ctividades sera n d efinidas direc ta m e nte como activida-des. De es te modo reservamos el concepto de ob je tivos pa ra dar cuenta, en un se n tide estricto, del estado final o si --t u ac i6 n qu e se d esea com o resul - ta do del p royec to. Los o bje t ivos se ex presan asf e n terminos positives y definen l as competencias, saberes, practi ca s, o va l ores qu e se espera verifi ca r como res ul tado de la interven ci6 n del proyecto. La tarea de todo dise no y eva luaci6n de proyec tos es relacion a r la es tra tegia asumi da con ca mbios en el estado del pro ble ma que se e nfrenta Qohnson, K., e t a l., 1996) . Es importante subrayar que los o b je tivos d eclar a n o a nuncian l os res ulta dos o ca mbios es perad os e n l a situa ci6 n problema. Su 16gi-
cay coherencia descansa en las re laciones establecidas yen las hip6tesis que sustentan la propuesta de trabajo.
I
•
I
Nose trata aside los cambios rea les o de los efectos e impacto del proyecto en eCproblema definido. Esto se expresar
!
i \
)
OBJETIVOS Y METAS En ra practis_a de los equipos de proyectos yen los educadores sue len definirse los objetivos como las· acciones a realizar, y po r ello se enuncian con un ver bo tales como: "e nsena r","mo tivar","capaci tar", etc. Los resultados y logros, en cam bia, se enuncian como metas que cuantifican los resultados espera dos en un tiempo determinado. Por ej en1.plo, "350 j6venes capaci tados en programaci6n comp ta cional";"la deserci6n escolaren la ensenanza media baja en un 25%". Definir un objet ivo como ac ci6n (capacitar, motivar, pronwver, etc.) denota, a nuestro juicio, un me clio y noun fin a lograr. En efecto, las acciones de capaci tar, de mo ti var y de promover so n un medio para lograr fi nes tales como com-
ANALISIS DE OBJETIVOS
Disefio y Evaluaci6n de Proyecws
petencias laborales de los j6ve nes; padres motivados con el apo yo escolar que en tregan a sus hi jos, etc. y no expresan los re·sulta dos propiamente tal. En este manual el concepto de objetivo, comolo hemos explicita do, se asocia mas directamente con la definicion de metas que con la definicion de objetivos como actividad. Asi entonces, las metas cuantifican o dimensionan opera cionalmente los objetivos plan teados por un proyecto.
NATURALEZA DE LOS OBJETIVOS
Objetivos que buscan cambios en los individuos a nivel de: • ingresos monetarios • conductas · • actitudes • conocimientos • representaciones, creencias • valores. Objetivos que buscan cambios en las relaciones sodales: • en la com unicaci6n interpersonal • en la cooperaci6n y asociaci6n • en la participaci6n • en la relaci6n de ayuda. Objetivos que buscan cambios en Ia infraestruc tura: • fisica • social • culturaL (Fuente: Briones, G., 1985:119)
Es un procedimiento que nos per
mite: • imaginar o describir la situa ci6D_ futura a la cual se aspira lle gar con-el proyecto
i
:'
I
'
• formular los obje tivos como re sultados o cambios logrados • definir prioridades y clasificar los objetivos por orden de importan cia • identificar los medios que per miten o contribuye n el logro del objetivo central. EL ARBOL DE OBJETIVOS
El arbol de objetivos transforma el''arbol de problemas"en realida des positivas y las relaciones"cau sa- efecto"en relaciones de tipo"me dio-fin"para el caso de los objeti vos. Procedimiento de trahajo para construir un arbol de ohjetivos • Cambiar los estados o situacio nes negativas por situaciones o -estados positivos deseables y realista s. Para ello escr ibir el problema central en es tad o po sitivo, como realidad nueva o so luci6n lograda. •
Las causas del problema central se expresan tambien en positi ve,. como realidad nueva logra da. Las causas se transforman asf
01seno y Evalua ci6n de Proyecws
"
en un medio para lograr el ob jetivo centra}. • Analizar la 16gica y consistencia· de las relaciones entre medios (causas tfansformadas) y fines (efectos transformados). Si hay relaciones poco consistentes, poco 16gicas poco realistas, se deben eliminar. • Revisar enunciados y agregar nuevos medios i corresponde que sean realistas y consisten tes con los ya sei.i.alados. • Presenta r el analisis co.mo un ar bol con los fines en la parte su perior (copa) y los medios en la parte inferior (raices). PREMISAS IMPORTANTES DEL ANALISIS DE OBJETIVOS_
El arbol de objetivos grafica y je rarquiza las relaciones que tienen los objetivos en tre sf. Si el arbol de. problemas ha sido bien construi do no h abra mayores dificultades para la definicion de los objetivos. El resultado es un conjunto va riado de objetivos que conviene je rarquizar distinguiendo fines, ob jetivo general y objetivos es_pecifi cos.
Diseno y Evaluaci6n de Proyecros
..
Ejemplo de arbol de objet·ivos .
-
FIN 1
FIN 2
FIN 3
Retenci6n en sistema educative
Buena autoestima
Con compe tencia s para la vida )aboral
I
I -
O&JETIVO CENTRAL Buenos logros de aprendizaje en la ensenanza media
I
I MEDIO 1
MEDIO 2
MEDIO 3
Practicas pedag6gicas "in t eractivas"
Estudiantes motivados
Tiempo adecuado para e l est udio
I
I
Medio 1.1. Form aci on ac tualiz ada de profs.
I
. Medio 1.2 Pocos alum nos por curso
·Medio 3.1 J6venes estudian en las tardes
I
I
Medio 3.2 Hay apoyo de adultos
El fin alude a l os logros ultimos del proyecto y que marca su direc ci6n mas elevada. Es la transf orma cion o -e-arn bios de los efec tos que produce la existencia del problema centraL
Los objetivos especfficos o inme diatos constituyen l os estados que hay que superar para llegar a l ob je tivo g.eneral , Se trata asf de ob je tivos intermedios o de medics para l ograr el objetivo central.
El objefivo general corresponde a la transformaci6n del problema cen traL Es el impacto que se espe ra producir en la realidad diagnos ticada.
Los objetivos situados en la par te superior del arbol son m enos va riables a lo largo del tiempo.
II
&1
;:: * t
;II.it
Y SELECCION- DE Resumen
Se describe el proceso de defi nicion y seleccion de estrategias para enfrentar el problema central iden tificado en el diagnostico. Se pre sentan procedirnientos para selec cionar la alternativa mas adecuada.
LAS ESTRATEGIAS El arbol de problemas permite vi sualizar distintos medios- o cami nos para lograr el objetivo central. Algunos de ellos son mas realis t as que otros; los recursos que nece sitan no so n exagerados y las ca pacidadcs tecnicas requ cridas pue den encontrarse al alcance de la ins titucion . Otros ca minos, en cambio, son mas complejos para una.!0stitu cion, ya sea por los recursos que se ne cesitan, por las capacidades tecni cas disponibles o b!en por los tiem pos requeridos. En estos casos se trata de caminos ode medios que deben implementar ot ras instancias. Esta discusion sobre las opcio nes mas via bles para organizar la intervencion es lo que Hamare mos"andlisis de estrategias y selec ci6n de alternativas". Gracias a este se identifican alte rn a t ivas; se eva-
lua la factibilidad y conveniencia de cada una de ellas y se define una opcion general a seguir durante el proyecto. Las estrategias son los medias o ca minos que, a juicio de los autores del proyecto, resultan mas adecuados y efectivos para alcanzar los objetivo5 o cambios planteados. La estrategia constituye una gran apuesta o hi p6tesis derivada - de las· concep ciones o marco de referencia que sustentan las reladones causales es tablecidas en el diagnostico ye n la definicion de objetivos. Aluden, en otras palabras, a los criterios y opcio n es pi';)gramaticas que o rientan las opciones £uncia mentales del trabajo de la s institu ciones y de sus equipos tecnicos. Son un conjunto d e criterios y de opciones conceptuales y pollticas para ordenar y ll evar a cabo los pro yectos (Sordis, M. T., e t al., 1994:97). Expresan·los aspectos centrales de la teoria de la-iniervencion que rea liza el o los proyectos en una situa cion problema determinada. En la figura del a rbol de objeti vos, la s estrategias son el conjun to de medios cerca nos o asociadas que contribuyen a llegro del obje tivo ce n t ral.
Para la selecci6n de las estrate gias pueden emplearse distintos ti pos de criterios y ello, por norma general, se rea iza una vez que se ha determinado el obje tivo espe cifico. Es decir el objetivo que se pre ten de alcanzar con la interven ci6n. Una vez definido, se proce de a comparar este obje tivo con los otros del mismo niv el y que pue den ser alternativas viables para lo grar e l ob jetivo central o general. En este analisis, el ob jetivo cen tral puede redefinirse y ascender el objetivo espedfico en el arbol de objetivos. Cuando ello ocurre, se constituye un programa que con tend ra varios objetivos menores, cada uno de los cuales representa un compo nente o linea de acci6n. Si ocurre el movimiento inverso, es decir, el objetivo especffico descien de en la figura del arbol, se acota l a estrategia y se definen acciones 0 proyectos mas limitados. Una vez identificadas las opcio nes posibles y disponibles para al canzar el objetivo ce ntral, se defiDt s eno y Evaluaoon de Proyecros
ns
nen los criterios que se utilizaran para evaluar la viabilidad de las op ciones. Esta evalu aci6n actua en d os niveles. En primer lugar, en un nivel de programas o de _politicas que de fine una opci6n o hip6tesis gene ral para alcanzar el objetivo central. Por ejemplo, para atender a m e na res abandon ados exis ten, entre otros, dos grandes caminos: (a) construir una casa de me no res para in ternarlos o (b) cons truir re des sociales para integrarlos a su comunidad. Se trata de dos estra tegias diferentes. Una"institucio naliza"la situaci6n irregular de los menores y, la otra, la"desin s tit u cionaliza". Cada una de estos ca minos tiene un a vasta fundamen taci6n y la opci6n por una de elias sera de tipo va l6rica, conceptual y politica. En efecto, mas alla de la racio nalidad tecnica que debe fundamen tar cualquier decision, existe un es pacio de autonomfa para que l as ins-
II
Diseno y Evaluaci6n de Proyectos
tituciones realicen sus opciories y preferen_cias por valores y politicas que trascienden los aspectos ins trumentales y tecnicos de las alter nativas en juegQ. Otros ejemplos de este tipo de opciones son los siguientes: favo recer estrategias que otorguen ala rnujer un mayor protagonismo, promover s6lo iniciativas de tipo participativas para distribuir credi tos de rnejoramiento productivo, es trategias que protejan el medio ambiente, etc. _ Este tipo de opciones suele de finirse a traves de la misi6n de las instituciones y de un conjunto de declaraciones y _ principios fundaentales de la organizaci6n. En segundo lugar, a nivel de las acciones espedficas o proyectos posibles al interi o r de un progra ma o polltica. Esta es la evaluaci6n ex ante propiamente t a l que, a partir de criterios e indicadores, es tabLece preferencias entre cursos de acci6n alternativos para cumplir con e l objetivo definido (Sciara, A., 1994). En este nivellos crite·rios de selecci6n so n de tipo te c nico y evaluan la factibilidad, la eficien cia, la consistencia interna, el co&= to efectividad, entre otros, de las al ternativas presentadas. Por ejemplo, al interior de un a politica de "desinstitucion aliza ci6 n" de menores se definen dos gran des caminos: (a) re lizar un tra bajo con los padres de los ninos para que sea reintegrado al sistema fa miliar o (b) reforzar las capacida des del propio nino invirtiend o mas e n su educaci6n y f ormaci6n para el tra bajo. Por supuesto que es-
'
.
J ;:
I .:
.. .' .
tas alternativas no son contradic torias sin_o que complementarias. La opci6n es necesaria s6lo para dar un mejor uso a recursos que sbn es ·casos. . Ambos tipos de analisis se ne cesitan mutuamente y son recomen dables para definir estrategias y pro yectos. En efectQ, gran parte, de las la opciones estrategicas son val6ricas y polfticas. Sin embargo, au mentan sus fundamelitos si, ade mas, demuestran su factibilidad y eficacia.
PROCEDIMIENTOS PARA LA SELECCION DE ESTRATEGIAS A continuaci6n analizaremos dos tipos de caminos metodol6gi cos para fundamentar la selec ci6n de estrategias. El p rimero es de tipo te6rico-conceptual y utiliza el es-rm:tto-de l"estado del ar _te"y el " juicio <:fe expertos"como in stru mentos de trabajo. El segundo es de caracter tecnico y cuan titativo y utilfza el analisis costo-efectividad como herramienta principal. Opciones teoricas y estado de Ia investigacion para se leccionar caminos de accion Las estrategias producen una particular rela ci6n entre los produc tos o resultados inmediatos de los proyectos y los objetivos o cambios que esperan realizar en la situaci6n problema. La estrategia es asf una .gran hip6tesis que privilegia la importancia de ciertas variables sabre otras para camb-iar la si tua ci6n problema. Los resultados de
la intervenci6n y la evaluacion de impacto que se realice posteriormen te demostrara la validez o no dedi cha _opcio n.
qu e tie
t
. i
;
.
I,
I :
pro
nen distintas variables en sus cabe destacar los trabajos de resultado(Unesco, 19_92). Entre Schieffel- bein (1990). Para estes los estudios clasicos en la materia autores lo Por lo general estas opciones centrares evaluar los resultados del se basa n en una apreciacion de la proceso enseiianza -aprendizaje a eficacia del camino escogido p(!.ra- traves de indicadores de rendiUegar al objetivo generaL Por sumiento y desempeno. puesto que esta aprecii,1.cion es teo- Complementa esta vision lade rica y anterior ala ejecucion del finicion de Chadwick (1987) que yecto. Se asume la probabilidad la entiende como la obtencion del de los cambios o eficacia de los ma ximo producto con los resul tados por los antecedentes y recursos existentes.El producto supues tos acumulados. Por alude a las adquisiciones o ejemplo, lain vestigacion sobre el resultados obteni dos por los problema pue de demostrar que alumnos, aludiendo con ello no un camina..es mas eficaz que solo a rendimientos aca dernicos otro; la experiencia de la in sino que tambien a las con stituci6n o bien la opinion de ductas,capacidades y actitudes expertos consultados que se espera adquieran los nirl..os argumentan a favor de una en su eta pa escolar. estrategia....y no de o tras, etc. En la mayor part e de los A modo de ejemplo pafses de America Latina los analizaremos las opciones resultados de l os aprenclizajes son estrategicas que tie ne una bajos y tienen una gran distancia institucion para incidir en e l con los resulta dos de nifws de mejoramiento de la calidad de la escuelas privadas. educacion basica de los sectores mas pobres, una vez definido Para producir un ca mbio en es que esta es su contribuci6n para ta situacion la literatura demuestra enfren tar l os problemas de que es necesario actuar en pobreza del pais. dimensio nes como las siguientes: (a) en las interacciones pedagogicas exis tentes entre profesores y ESTRATEGIAS PARA alumnos; (b) motivaci6n y formaci6n de profesores; (c) MEJORAR LA tiempo asignado y efectivo de los CALIDAD DE LA alumnos en tareas de aprendi'z-a:fe; EDUCACION (d) existencia de tex tos y de material pedag6gico; (e) BASICA disrninuci6n de numero de alum nos en la sala de clases y (f) En evaluaci6n educativa la cali dad se cntiende como el me joramiento de infraestructura, grade de cUinp limi ent<:? o de en tr e otras. Estas variables expli realizaci6n de los objetivos del can cerca del 90% de l a varianzas proceso e nsenan za y en los logros de las -escuelas (Chadwick, aprendizaje. Desde esta pers pectiva se mide el rendimiento 1987). de los alumnos a tra ves de indicado res de logro y se d e termina el peso 01 seno y Evaluao6n de Proyecros
Diseno Y.,Evaluacion de Proyeccos
Sin duda que se tr?ta de dimen probabilidad de exito de aplicar la siones relacionadas y u.na acci6n si .estrategia definida. multanea de tQdas elias mejorarfa notablemente la calidad de los Por ejempl o, en el C
"
·
•I
V:ariables que nciden en logros del aprendizaje Var. 1
Criterios de seleccion
-
2.5 3.0 4.0
Impacto posible en aprehdizajes Probabilidad de exito (factibilidad)
Costas
1= grado mas bajo El proyecto a seleccionar es el que influ ye sobre la variable 4 ya que es el que tiene mas alto puntaje. Costo efectividad· Esta es una seleccion en funcion del grado de eficiencia del proyec to rnedido en terrninos del numero d e unidades de resultados granti zadas con un rnonto limitado de re cursos. La comparacion de los cos tos con los resultados del proye c to se realiza sin necesidad de definir estos ultimos en te rminos mone tarios. Si es recomend a ble, e n cam bio, que sean cuantificables. Una alte rna tiva es mas efec tiva cuando logra sus produc tos y resul tados co n un m en or costoy l os be neficios socia l es obten id os son mayo res que la in versi on rea liza d a (Briones, G., 1985; Cohen, E., et al., 1992). El pos tulad o central es que el mejor proyecto es el qofre ce un mayor impa cto a ba jo costa. Para su a plicacion se siguen los siguie ntes pa sos: 1 Definir el problema. Es decir, el deficit o la care n cia que se de sea resolver. 2
Diagnostico de la sit uacio n. Ana lisis de la s ca u sas del pro blema; proyeccion del problema si no hay interv e n ci6n; definicion de de-
Var. 2
Var. 3
Var. 4
3.4 4.0 2.0
4.0 3.0 3.0
2.5 2.0 3.5
5= grado mas alto
manda probable y de cobertura necesaria. 3
Identificar alterna tivas de solu cion. Definicion de caminos para resolver el problema planteado. Presentacion de impac tOG posi bles y factibilidad de cada una de las alternativas.
4 Definicio n de costas p-ara cada una de las alterna tivas. 5
Se leccion de la mejor a l ternati va en funcion de los cos tas to tales y de l a unidad de resulta do o d e produc to definida.
ANALISIS DE
COSTOS DE LOS PROYECTOS Estos in du yen todos l os rec ur-· sos que el proyecto d emanda a lo largo de su vida util. Los costas se dividen en tres ca tegorias: cos tns· de capital, costas de mantenimien to y costos de operacion. Los costas d e capi tal son gastos que se realizan para adquirir bienes de capital que tienen una duracion mayor a un a no. Por ejemplo, com putadores, grabado ras, i nfraestruc tura, m o bil iario, e tc.
Diseno y Evaluacion de Proyecms
• f
..
Los costas de mantenimiento son gast-os asociado_:; a mae riales y servicios_ necesarios para mantener la can tidad y calidad de los.servi cios que se entregan. Por ultimo, los costas de operacio nes son tod os aquellos gastos ne cesarios para la ejecuci6-R del pro yecto y con una vida util menor a
u n afto (ho norarios, material fun gible, pasajes, estadias, etc.) Gime· _nez, M. y Chaparro, M., 1995) . El siguiente ejerciclO muestra un e jemplo de ca tegorias de costos para comparar alternaiv! as una vez asumido que todas elias permiten fines socialmente deseables Gime nez, M. .:y Chaparro, M., 1995_: 32) .
Matriz de costo MEJORAMIENTO DE LA SITUACI6N ACTUAL DE LOS APRENDIZAJES
Costo\ Alternativa
CAT
CAC
CAI
CAK CAM CAE CAOD CAOI CAU CTA
I II III CAT CAC CAI CAK CAM CAE a
.
=Costas anuales de terreno = Costas anuales de construcci6n = Costas anuales de inversion =Costa s anuales d e capital =Costas anuales de mante ni· mien to =Costas anua l es de eq uip miento
El e nfoque de Costo/Efectividad es mas adecuado para los proyec tos sociales que el de Costo/Bene ficio, ya que s u s re s ultados o im pactos no necesitan expresarse en valores monetarios. Pese a esta utilidad, el instrumen to tiene limitaciones. Entre elias cabe mencionar la dif icultad para d efi nir como costos ciertos aportes que, mirados desde otro pun t o de
CAOD =Costas anuales de operaci6n di r ecta CAOI = Costas anuales de operaci6n indirecta CAU :=;; Costos anuales de los usuarios CAK =CAT+ CA +CAE CAO = Costas anua les de operaci6n (CAOD + CAOI) CTA = Costas anuales to tal es
vista, so n beneficios (por ejemplo, tiemp o dedicado ala capacitacion . por parte de un maestro, valor de trabajo voluntario de monitores, etc.). Por otra parte, el instrumento puede se r distorsio nado al disminuir y abarat a r sus actividades o recursos profesionales afectando, a su vez, la calidad de muchos de sus res ul tados. Por ultimo, algunas alterna tivas o proyectos pueden aumentar su efectividad al sobrestimar sus n1e-
tas. Esto redunda en una disminu
..
'
' .l
.
:
I
I
. ''
.
:
I.
ci6n de los costos frente -a altern.a tivas que pueden haber sido progra mados de un modo mas realista. Pese a estas dificulfades, se tra ta de un instrumento muy utiliza do y eficaz para los procesos de eva luaci6n ex ante. Sin embargo, cabe destacar que se debe aplicar una vez realizada una -previa evaluaci6n de las alternativas, desde el pun to de vista de las polfticas y desde la eficacia te6rica de las alternati-
"
vas. Sin este analisis, la elecci6n de alternativas p ede convertirse. en un mero ejercicio numerico lejos de relaciones reales y efectivas de la situaci6n problema que se desea re solver. A continuaci6n se presen tan dos tipos de ej cicios a realizar en equipos o instituciones para lase lecci6n de alternativas especificas de acci6n.
EJERCICIO: DEFINICI6NY SELECCI6N DE ESTRATEGIAS Pasos de t abajo 1 Senalar brevemente eLR_!Oblema central que se quiere e nfren t a r
Por e j e mplo: malos rendimientos en la escue1a, falta de particip a ci6n, baja a ut oestima, d esempleo y falta de integraci6n d e j6ve nes, e tc.) 2 Indi car alternativas o estrategias posibles para enf rentar estos pro blemas (medios o caminos para solucion ar el problema central. Por ejemplo: mejorar trabajo de profesores en sala de clases, ca pacitar a dirigentes, taller de f ormaci6n perso n al, etc.) 3 Definir los crit e rios de selecci6n de las alternativas posib1es de tra bajo 4 Resultados del analisis d e cada a lter nativa 5 Descripci6n resumida de la alte rnativa seleccio nada.
D1 seno y EvafuaCJon de Proyec ws
Diseno y Evaluao6n de Proyectos
ESTRATEGJA DE TRABAJO
1 PROBLEMA CENTRAL A ENFRENTAR
I2 -ESTRATEGIAS 0 ALTERNATIVAS PARA ENFRENTAR EL PRO- BLEMA CENTRAL Alt. 1 Alt. 2 Alt. 3 3 CRITERIOS DE SELECCION
4 APLICACION DE CRITERIOS EN CADA ALTERNATIVA Alt. 1 -
Al t. 2 Al t. 3
-- -
-
5 RESUMEN DE ALTERNATIVA SELECCIONADA
---------
---------
"
.'
INSTRUMENTO DE EVALUACI6N DE SELECCI6N DE PROYECTOS COMUNitARIOS
Organizaci6n ·o Centro . ...... . . ... ..... , .... . ....... .... ·. i
Lugar de ejecuci6n .. ... . ...... _- . ....... ... ....... . ..
,I.
li
. i
!.
I·
I.
•
. . . NU.mero de beneficiaries: - Hombres. . . . . . .
Mujeres ... .
i : ,: ll rl j
. I·
... .
Criterio
-
Ca lifica ci6Ii. Ponderaci6n Puntaje
1
El proyecto se ajusta a o bjetivos/progra ma
1-2-3-4-5-6
3
2
Justificaci6n y problema bien definid o
1-2-3-4-5-6
3
3
Actividades consis te ntes co n objetivo
1-2-3-4-5-6
4
4
Hay infraestructura de capacitaci6n
1-2-3-4-5-6
-2
n \,.
Pu nt aje final:
Ca lificaci6n: 1 = Deficiente = Sa ti sfactorio
4
2 = In sa tisfactorio 5 =Bueno
D1seno y EvaluaCIOfl de Proyectos
3 =Regula r 6 = Muy buen o
"
d e t e r m i n a d o s . Re su me n Una vez realizada la selecci6n de alternativas y definida la estrategia a seguir, corresponde diseftar los pro yectos de acci6n ode. intervenci6n con lo.s cuales se espera contribuir ala solucion de los problemas iden tificados. En este capitulo presen tamos los conceptos centrales que perm.iten descrlbir los com ponen tes de un proyecto y la l6gica de su intervencion. Col=l este diseno, ex presado operacionalmente como matriz, tenemos una buena base para cualquie r proceso de evaluacion. DEFINICI6N DE PROYECTO, PROGRAMA Y PLAN
Los proyectos de acci6n social o educativa son soluciones propues t as por eq uip os o agentes para re so lve r problemas especfficos de la poblacion beneficiaria en forma directa o in d irec ta. Todo proyecto supo ne la movilizacion de recursos para alcanzar objetivos y fines pre
Como ya se analiz6 en el capi tulo anterior, para abordar un pro-
relacion entre progra mas sera denominada plan y com parten entre si una misma finali--= dad o meta objetivo.
DE
DISENO Y L6GICA DE INTEI
blema existen diferentes caminos cada uno de los cuales puede con cebirse como una estrategia de ac cion particular. Al interior de una estrategia es posible identificar proyectos o soluciones alternativas para el mismo problema. Llamaremos programa la relacion de proyectos diferentes siempre y cuando tengan el mi mo objetivo generaL La
Entendemos los proyectos como un sistema de acci6n cuyos com ponentes o elementos interactuan en t:re si para producir una serie de cambios en una situacion proble ma determinada 1 . -Para resulta a L6gico de oque fue 1969 por
su descrip ci6n de cuado el Marco Proyectos. Este e nf desarrollado en la Agencia Internacional
Sab re este enfoque ver: UNESCO/ PNUO: Metodologia y tecnicas especificas para la formulaci6n y eva lua ci6n de proyec tos en la esfera de la educa ci6n. San jose, UNESCO/CAP, 1986; Blumenfeld, S. Metodos de Investigaciones Operativas: una metodologia general aplicada a la Atenci6n Primaria de sal ud. Maryland, Center f or Hum an Se rvices, 1992.
. .
! :
I
·i
l
I·;. I, ; '
de Desarrollo (USAID) y desde -entonces se ha difundido e ntre las Agen<:ias de cooper ci6n y ha sido adaptado por otras agencia_s y ONGs para el diseno, seguirnien to y evalua i6n de sus proyectos 2.
Este instrumento descansa en dos principios basicos. En prime-t lugar, ·entiende la relaci6n entre los ele mentos de un proyecto como una relaci6n medio-fin o causa-efecto. En segundo lugar, el proyecto in teractua con un sistema o entorno mas amplio que condiciona las po sibilidades de logro de la interven ci6n. Estas son las condiciones o u puestos extern os. El marco 16gico propane una matriz conceptual para organizar y visualizar la interacci6n de los dis-
t i n t o s e l e m e n t o s o c o m p o n e n t e s d e c u a l q u i e r p r o y e c t o
entre s:f y con su entorn o. Los conce.ptos cla ves de esta ma triz so n: rec ursos; activida d Los productos obtenidos es; pro du c t os; ob j et ivos; in d ica d a r es y s upu est os ex tern tienen un efecto predecible en los proble mas que afectan a os. los beneficiarios directos y Los recu r sos -human os o cuya soluci6n se descri"' be en mat e ria les - co nstituye n los el Objetivo Especifico o prop6insum os ba sicos para qu e sito del proyecto. Los resultados funcion e n la s a c ti vidad es ob.: ten.idos a este nivel que p e rmite n a su vez o b contribuyen, a su vez, obtener tener cier tos pro ductos . Estos logros de-largo pla zo o de tres elem e nt os con s t i tu yen. e impacto seglin lo definido en l proyec to pro pia m e n te ta l y el Objetivo General o estan ba jo e l co nt rol y respo Finalidad de un proyecto o nsa bilidad del equi p o ej ec ut o programa.Ambos tipos de objetivos pertenecen al am r. bito de la situaci6n o del problema que se desea transformar. Conviene enfatizar que tanto los o bjetivos espec:fficos como ge nerale s no dependen de un modo total de los productos y acciones de un proyecto. En ef e cto, los objeti vos dan cuenta de los cambios de seados y posibles de lograr en la si tuaci6n si se cumplen los produc tos y actividades ofrecidas en un proyecto. Sin embargo, en ellogro de los mismos influiran factores y dim e nsio n es que esta n fuera del control y respo nsabilidad de los ejecut o res . -Para d a r cu e nta de esta dimen sio n se subraya la importanda de los Factores Externos que acruan como supuestos o condiciones ne c esa rias pa ra obtener los logros espe rados, de median o y largo pla zo, por un proyecto o programa de termin a do. Entre es t as ada ptac i o n es cabe des taca r ia pl a nificacion orientada por obje tivos o Z i e hl O rientie rt e Pr o jec tPP) d esa rrollado porIa EZE; Ia a daptaci6n rea l iza d a por UNESCO/PN U D: Metodologia y tecnicas e specificas para la formul aci 6 n y
"
l
evaluaci6n d e proye c tos e n Ia esfera de la educaci6n. San jose, UNESCO / CAP, 1986 y ei estudio d e Blumenfeld, S. Metodos d e Investigac io n es Oper a tivas: una metodologia ge neral aplicada a la At e nci6 n P rimaria de salud. Ma r y l and, Ce nter for Human Servic es, 1992.. El m etodo si gu e ins pi ra nd o el traba jo de eva iuaci6 n d e l BID, ver Evaluation: a m a n a gement tool for improving project performance. Int e rAmerican D evel opment 13a nk E va lu a ti o n Office (EVGJ, 1995. D1seno y Evaluacl()n de Proyeccos
Oiseno y Evaluaci6n de Proyecros
La siguiente figura representa la rel-aci_6n de estos co cep tos: Conc ptos basicos de lin· proyecto Objetivo General
Supuestos Externos
Objetivo Especffico
Sup.uestos Externos
Productos
-.+----------------+-
Supuestos Externos
Actividade s +----------------+-- Su pues tos Externos Recursos
Todos estos elementos estan 16gicame nte vinculad os entre sf y de ben permitir una lectura consis tente tanto en un sentido ver ti cal como horizontal (EVO/BID, 1995) . La lec tura vertical es de tipo in ductiva y relaciona de un mod o coherente los_elei:p.entos del proyec to dando cuenta de su 16gica de in tervenci6n. Esta lectura debe per-
mitir afirmar que si existen las pre condicion es y l os recursos en ton ces se ob tienen las actividades. Si se realizan las actividades se obtie nen los productos o resultados. Esr sultados tendran efectos o permitiran alcanzar el objetivo es _ pecifico. El objetivo espedfico con tribuira allegro del objetivo gene ral. Estas relaciones se observan en la siguient e figura:
L6gica ve rtical del proyecto ..---- 1 I
Objetivo Gene ral
I
-----------------
'------ --tl 0b je ti vo Esp e cifico 1 ""'--------. I IProductos I I ... L------------------I I
I
Actividades
I
- . ---· -·-------- ---La lectura horizontal es de tipo evalua tiva y permite definir y ubi car en los niveles pertinentes los in dicadores y resultados que se es peran obtener gracias ala int_erven cion del proyecto. Por la relaci6n que tiene cada nivel con los supuestos o condiciones exte-rnas es posible
'
..
Objet ivo Gene ral
construir hip6tesis evalua vas que incorporan los factores externos como va-riable de condici6n. En la tercera col-y.mna se ubican los in dicadores y los medias de verifica ci6n o instrumentos a traves de los cuales se comprobaran los resulta dos ob_tenidos.
Lectura horizontal
Objet ivo Espec ffico
Produ ctos - Actividades --"----- - ·_ La figura muestra que si se rea lizan las actividades y se asumen los supuestos externos entonces se logran l os product os.
Supuestos Externos
Supuestos Externos
Supuestos Externos
Recursos
Si se l ogran los productos y se mantienen los su
puestos externos entonces se alcan za el objetivo especifico. Si se ob tiene el ob jetivo especffico y no cam-
bian los supuestos externos en ton ces se contribu ye a ll ogro del ob jetivo general. Finalmente la matriz que permi te presentar resumidamente los resultados y consistencia interna de los proyectos es la siguiente:
Matriz Operacional de Proyectos Elementos del Proyecto Obje tivo G e nera l Objetivo Especffico Pro du c tos o Resultados Actividades
L6gica dej_ _ Proyecto
Indicadores
R e cursos
_ ="------ -D-'s_e_n_o_y_ Evalu==a=c'---.o=n=d=e=P==roy_e_c=to=s=l..
!r !.
En resumen1 este enfoque per mite visualizar la relaci6n y consis tencia entre los distintos compo nentes del proyecto y la relaci6n que estos tjen en con los cam bios o efectos que se quieren producir _ en la realidad de los grupos con los
- cuales se trabaja. Al mismo tiem po, permite una vision resumid a y ordenada de las principales hip6tesis de cambia que sustentan los proyectos; las relaciones que estos tienen en el marco de programas y planes mayores y
Supues t os Ex ternos
los facto res o condiciones externas que inciden en su desarrollo.
I
-
,...- ......
0r...1-.. -'
(t>
Proyectos
luar en que forma el proyecto lo gra contribuir a su logro.
CONCEPTOS OPERACibNA LES DEL DISENO DE PROYECTOS Objetivo General
D.i,seno y Evaluaci6n de
__ ( , o 1 finalida d Un proyecto, cualqUiera sea su ta mano y alcance, no pued e ser vis to como un fin en sf mismo. Siem pre el proyecto se concibe como un medio para lograr un objetivo mas amplio. Por
-
Por ejemplo:"a escuela foinen ta a traves de maestros y directives una cultura de respeto a los dere chos humanos"(Ortiz, M. E., 1996); "Estado nutricional y de salud de los niftos de lacomunidad es ade cuado para su desarrollo integral" (Garcia, S., 1996) Objetivo Especifico o propositos Describen o verbalizan la reali dad o efectos que el proyecto espe ra obtener como resultado de su ac ci6n, en un grupo de beneficiaries directos, situados en un espacio y tiempo determinado. En otros ter minos, es la si tu aci6n deseada y sa tisfactoria que nos gustaria que existiera, al menos en su estado ini cial, cuando terrnina un proyecto (Unesc.o/PDud, 1991:34). Un objetivo especffico debe res ejemplo,la construcci6n de un puente no tiene un fin en sf mismo. Su finalidad u objet ivo ge n eral es, por ejemplo, contribuir
a la comunicaci6n y movimiento de personas, bie es y servicios. Este fin u objetivo mas amplio se ra llamado Objetivo Genera l o Fi nalidad y refiere a los resultados mas generales a los cuales el proyecto pretende contribuir. Pese a esta generalidad debe se r lo ?U ficiente mente aco tado para justificar o fundamentar, de un modo pertinen te, el proyecto en ejecuci6n y eva-
ponder la siguiente pregunta: ;_ Cual es el efecto que el p royec to espera producir durante su tiempo de trabajo en el grupo de beneficiaries direc tos? 0, en o.t:-ras pal a bras, si el pro yec to concluye exitosamente su trabajo ;_cuales son los cambios que se esperan observar en los be neficiaries directos? El Objetivo Espedfico es la ex presion de la cond ici6n fu tu ra de seada (logro anticipado) y es ta fuera del control di recto de I pro yecto pero, sin embargo, al obte nerse l os productos del proyecto, se con tribuye de man era significa tiva allogro de l a realidad plan tea-
r da como objetivo especifico (esta- . do inicial). La fuerza de este cam bio mas la existencia de fac tores ex ternos positivos debe ayudar a sos tener los cambios en el tiempo y mas alla del control y ambito del pro yecto.
! I'
• l :
l; l. fi
r;
•
I
Por ejemplo, "organizaciones econ6micas de las mujeres realizan proyectos productivos y sociales de manera autogestiva" (Pimmentel, P., Viveros, L., 1996). "Los profesores disenan y apli can experiencias de derechos hu manos en el curriculum escolar"(Or tiz, M. E., 1996). Un proyecto debe tener solo un objetivo especifico para facilitar la direcci6n de la condici6n futura de seada y su logro. Si-hay mas de uno, tales objetivos dan origen a otros proye·ctos que forman parte del mismo programa y que es necesa rio oper.acionalizar en forma sepa rada. Resultados o productos Son el fruto concreto, tangible y observable de las acciones del pro yecto. En otras palabras, se trata de los cambios que el proyecto se compromete a obtener a traves d e la s activida es planificadas.
Por ejemplo" 20 profesores ca pacitados"; "27 Comites de nutri ci6n organizados y funcionando"; "un manual de capac itaci6n", etc. Actividades Son las acc i ones o tareas que es n ecesa rio realizar para alcanzar los productos o resultados compro metidos. Se deben incluir todas las acciones necesarias para transD1 s eno y Evaluao6n de Proyecws
formar los recursos utilizados en lo gros esperado-e n un periodp es pedfico de tieinpo. A cad a prop6sito y pro.ducto corresponde una ac ci6n o un conjunto de acciones - determinadas y claramente rela cionadas. Solo se deben incluir aquellas que realiza el equipo del proyecto y no las que son de res· ponsabilidad de otros equipos o ac to.res. Estas ultimas se incluyen como pre condici6n o como con dici6n externa . Por ejemplo,"un taller de forma cion de 40 hrs";"animaci6n y sen sibilizaci6n de los adultos de la co munidad";"preparaci6n de desayu nos","realizar uneven to cultural con j6venes del barrio"; etc. Recursos Son las materias primas, el ca pital o los recursos humanos y tec ni cos necesarios para llevar a cabo. las acciones. Cada acci6n tiene s us costos e implica la utilizaci6n de cier tos recursos que deben estar dis ponibles o accesibles para poder lle varla a cabo.
Por ejemplo: honorarios para el instructor o monitor; materiales y herramientas para la construcci6n de la plaza; un educador experto en tecnicas de planificaci6n; sala de reu niones y papel6grafos para la se si6 n, etc. Indicadores Constituyen actos, representa ciones, eventos, materiales, obras, etc ., que definen el desempefto standard a alcanzar de los resulta dos planificados por el proyecto. Como $U nombre lo· seftala, in d i can que medir u observar para ve rificar los logros o dar por cumpli-
Disei'io y Evaluaci6n de.froyectos
do el resultado esperado por el proyecto. Se describen resumida mer:tte en la tercera columna indi cando, al mismo tiempo, los medios de verificaci6n o instrumentos que se ocuparon para la demostraci6n de los resultados obtenidos. En el ca pftulo 10 abordaremos el tema con mayor profundidad. Condiciones o supuestos externos Son todas aquellas situaciones, hechos, y elementos del contexto que son importantes para la ejecu -
cion del proyecto y ellogro de sus productos y objet vos. Cqnstituy n una condici6n de factibilidad para la realizaci6n del proyecto y estan f era del control de sus ejecutores. Por ejemplo, directores de esta blecimientos educacionales auto rizan y promueven formaci6n -de profesores; "chavos banda" de la comunidad sa ben leery tienen in teres en capacitarse; merca do ocu pacional abierto para oficios rela cionados con electricidad, etc.
'
.
,, l
. '
Reco:rnendaciones p ra co:rnpletar :rnatriz operacional de _proyectos segtin conceptos de Marco Logic_o
:.
-
I
i . I
L ..
Supuestos ex ternos -
Elementos del proyecto
Indica do res -
Objetivo Gen-eral estado final que proyecto de tiempo de ci6n y fuente de
Id en tificar medida s Indicar actos, even- Describir direc tas e indirectas tos, politicas y de i- o superior al que permitan verifisiones importan tes contribtJ.ye el car cambios en el es- para garantizar la tado o linea base del sustentabilidad y Indicar Grupo mantenci6n de los in teres y problema. Senalar medio de ve- cam bios a lograr logro rifica datos
Objetivo especifico grato y ob tener GeneraL de tiempo de logro
Indicar actos, even- Efecto logrado Id en tificar medidas directas e indirect as tos, situaciones, deci- cias a l proye c que permitan verifisiones que esten fue- medio para car cambios en ra de control del eje- el Objetivo p ra c ticas, interaccio- cutor necesarios para Indicar grupo ne s, usos, bienes, etc. lograr el objetivo ge- interes y definidos como meneral dios para l ogro de objetivo gene ral Senalar medio de ve- rificaci6n y fuente de datos
Productos o resultados obte nidos las acas. int eres y tiempo deTolar medio de ve-
Senalar medidas diIndicar actos, evenrec tas e indi rectas t os, situaciones, deci- Resultados que de n cuen ta de s iones fuera de con- como fruto de aprendizajes; existrol del ejecutor y tividades realizad tencia de materiales; ue son necesarios Indicar Gru po de para lograr los pro equipamientos fisicos, etc. ductos o comp.o nen - gro Sena tes del proyecto rificaci6n y fuente de datos
Actividades actividades lizar prod u ccomprometidos. responsable y realizaci6n
Espec ificar recursos e insumos necesarios pa ra realizar las activida des
(Ada ptad o de EVO/ BID, 1995) Oiseno y
Evaluaci6n
de Proyenos
Indicar condiciones y D escribir situaciones impor- gene rales a rea tante·s que estan fue- para obten e r ra del co ntrol del eje - tos c utor necesarios para Iri.dicar que se cumplan las tiempo de actividades.
Diseno y Evaluaci6n de Proyecros
to.Ella da cuenta de la hip6tesis cen tral,. informando, a la·vez, las eta-· pas que deben realizarse para al canzar los objetivos planteados.
L6GICA DE INTERVENCJ6N Y LOS ELEMENTOS CENTRA. LES DEL PROYECTO
La l6gica de la intervenci6n es la que se escribe resumidamente en una primera o segunda columna de la matriz operacio nal del proyec-
El siguiente grafico muestra las relaciones_de estos componentes y la 16gica de la intervenci6n:
L6gica de intervenci6n
I
Objetivo General
J
f'.
l
Objetivo Especifico
J
f'.
I
Productos
J
f'.
I.._ SUGERENCIAS PARA LA DESCRIPCI6N DE LA L6GICA DE INTERVENCI6N
Actividades.1I ....
Recursos
Los resultados Se escoge n los objetivos que segun la 16gica medw-fin permi ten lograr el objetivo especffico.
Objetivo General Es el objetivo central del arbol Las actividades del pro blema y que desc ribe la Son aquellas que segun las re perspectiva desde la cual se realila ciones medio-fin permiten ello za el proyec t o y elfin al cua l quie- _ gro de los resultados o productos. re con tribui r. Los factores externos Objetivo Espedfico Se identifican en el a_!QOl de ob --·Es el objetivo supe rior de la ca jetivos aquellos que nose incluyen dena de objetivos que incluye la es en la l6gica de la intervenci6n pero tra tegia seleccionada y que se ha que son importantes para su eje descrito en el arbol de objetivos. Es cuci6n. Se ubican en la matriz en el medio por el cual se ha optado el nivel correspondiente( activida para lograr el objetivo centra l. des, productos, objetivos).
La sigu iente figura muestra es tas relaciones:
L6gica de intervenci6n y arbol de objetiv"os
Ob jetivo General
------1
I ,.
Qbjetivo Especffico
Productos
Ac tividades
I I I
I I I I I I
I
----------------rI -----------------, I
I I I I I I I
-------------- I-----------------,------------------------
Problema Cen tral
I I I I I
Causa 1
I I I I I
jl'
I
Cau sa 1.1
l
Cau sa 1.2--
'
I
I
I
i
Causa 2
'
I I I I I I
I I
Cau sa 2.1
J 1I I I
Causa 2.2
01 seno y E valuac i6n de Proyeccos
Disefio y Evaluaci6n de Proyecws
"
LAS HIPOTESfS DEL PROYECTO
Hemos planteado que el nu cleo _central de la 16gica de la in tervenci6n es la hip6tesis que plantea el proyecto. Es decir, el tipo de relaci6n que establece en tr e variables o dimensiones que inci_diran en un -cambio de estado de los indicadores que caracterizan el problema que se aborda. Las rela ciones medio -f in establecides en tre los proyectos dan cuenta de es tas hip6tesis. Ejemplo de estas hip6tesis son las siguientes: si se realiza un ta ller de capacitaci6n a los profeso res en tecnicas interactivas para tra bajo..cDn los alumnos, estes apren deran nu evas y herramientas y dinamicas para sus dases (activi dad/producto); si los profesores aplican al gunas d e estas tecnicas en el aula tendran clases mas activas y participativas (producto/objetivo
especfficos); si hay clases mas ac tivas y participativas mejoran los rendimienfos y a£uendizajes de los estudiantes (objetjvo general/ objetivo especffico). Al introducir las condiciones o factores externos estas hip6tesis se hacen mas comple.j..as pero permi ten dar cue nta de las condttiones o dimensiones contextuales que se necesitan para que se cumpla la relaci6n formulada en la hip6tesis. De este modo cada actor externo (y sus variables e indicadores) se con vierten en una variable condici6n o interviniente para el logro de la hip6tesis de intervenci6n del pro yecto (Hernandez, S. R. et al, 1994) _ El estudio de estas hip6tesis es muy importante para la lect ura evaluativa y para la interpretacion de los resultados. Los problemas conceptuales y ge consistencia de los disenos se relacion an con la ca lidad de la s h ip6tesis planteadas.
RECOMENDACIOJ'IES PAA J_A
FORMUL CION ADECUADA DE LOS DEL PRO· YECTO
Resumen En este capitulo se plantean re comendaciones practicas para de finir ca da uno de los elementos del proyecto. Los indicadores los tra taremos con mas detalle en el ca pftulo siguiente. Para ilustrar el u so de los conceptos y los princi pales problemas r ecurrirem os a e jercicios realizados por distintos proyectos de acci6n.
OBJETIVO GENERAL C o m o se ha de f inido, la carac teristica cen t ral del Objetivo Ge ne ral es que senala la direcci6n ha c ia d onde se dirige el proyecto. Como cualquier objetivo, se refie re a resultados que solucionan el problema cen tr al que afecta a los gr up os de beneficia ries. El objefi vo gene ral senala la situaci6n a la cual se quiere llegar con la realiza ci6 n del proyecto . Enuncia el cam bio final o la realidad construida que tr ansforma el problema central que dio origen al diseno y ejecu c ion del proyec t o en una so lu ci6n o nueva realid ad. Es importante recordar que el Ob j e tivo General marca una direcci6 n general y un estado o cambi o al cual
el proyecto contribuye. Sin em bargo, tenemos que tener claro, que ellogro de este cambia general no depende exclusivamente de las ac tividades y productos del proyec to. En efecto, por tratarse de un cam. bio m as global, este depende ra de o tros proyectos, programas y fac t ores externos que no !=Stan bajo el co ntrol del equip o del proyecto. El proyecto es solo una co ntri buci6n y el Objetivo Ge11.eral ju s tifica o funda men ta la realiza ci6 n del mismo. Dificultades frecuentes: a Se formula de un modo ambicioso o demasiado general
Es frecuente que se indiqu e co mo objetivo gen era l tr a n s f or macio nes gene rales y estructurales en la realid ad so cial de los gru pos de beneficiaries. Por e jemplo:"dis min uci6n de l a pobreza d e la s fa milias en la regi6n";"const ituci6n de la s j6venes e n un movimi ento soc ial"; "cam bios e n la s pa u ta s machistas de la sociedad","integra ci6n social de los sec t ores exclui dos", e tc. "d esarrollo integra l de l nin o","mejora r el ha bitat urb ano
fr. ;·
.
.·. . ! .
"
de las farnilias";"contribuir al rno virnienfo social de muj res", etc.
vo General tiene que verifica rse en un tiernpo deterrnin;1do.
Este tipo de objetivos son pro pios de planes y pollticas mayores y no de proyectos especificos. Por ser generales, mas bien deftnen la misi6 n en la cual se inscribe el proyecto.
Debe esta r relacio nado con los ob j etivos -inmediatos o especifi cos del proyecto para que estos con t ribuyan significativa y realmente a su logro.
b El horizonte de tiempo es demasiado amplio y resul ta dificil de verificar Por definirse de un modo am plio los ob jetivos generales solo se pue den a lca nzar en un horizonte muy am plio de tiempo. En efec to, para producir cam bios en la condiciones de vida de los sectores pobres, en la cultura patriarcal de la sociedad o en las condiciones de salud de los ninos se necesitan decadas de tra ba j o y la acci6n mancomunada de gobie rn os, instituciones y actores sociales. Por esta raz6n, objetivos como 1--o-s--seftalados se relacionan con las grandes p ropues tas o principios de acci6n que agr upan a organis m os internacionales, gobiernos, ONGs., etc. Por ejemp lo, "p rodu cir cambios en la cul tu ra durante la Decada de la Mujer";"la educa ci6n basica d ebellegar a todos a fin de siglo", etc: c Abarcan nurnerosas dirnen siones de Ia vida social Un buen Objetivo Genera l debe marcar una direcci6n de logro pero, al misrno tiempo, debe se r defini do en t erminos realistas en cuan to a l h or izonte de ti empo y en cuan t o a las dimensione s de la vida socia l que abarca. El ObjetiD1 seno y Evalua ci6n de Proyenos
RECOMENDACIONES PARA LA FORMULACICYN DE UN OBJETIVO GENERAl
a Debe ser consistente con los ob jetivos del Progra ma ode los planes a los cuales pertenece el proyecto. Coherente con los ob jetivos estra tegi cos y la misi6n de la Inst ituci6n. b Constituye una raz6n o justifi caci6n suficiente d el proyecto. c Noes arnbicioso. Si se logran los ob jetivos especificos o inme diatos del proyec t o se avania signif icativamente en ellogro ?e ios Objetivos Generales. Hay una conexi6n razonable. d Se identifica el gr u po de bene ficiaries o de ac tores. e Se ve r baliza como un cambio lo grado,"estado final"o"punto d e llegada " y no como u n proceso o medio para logra r el estado fi nal. f Se expresa en terminos ve rifica bles. g Es recomendable que exista un solo obje ti vo general.
OBJETIVO ESPECiFIC·O A diferenci a del Objetivo Ge n e ral, e] Objetivo Espedfico depe n de directamente de la acci6n del
Diseno y Evaluaci6n de Proyectos
l)
proyecto. Representa lo que el pro yeco debe_ realizar por sf misrno, es decir;. mediante sus-p ropios re ctJ.rsos y actividades (l)nesco, 1979:8). -
Los objetivos especificos constituyen el medio o el puente para lograr el oejetivo generaL Por o tra parte, dan cuenta de los resultados esperados o efectos de los pro duc tos del proyecto. Si un proyec to garantiza los productos corn pro .metidos, se espera que haya efec tos y carnbios specfficos los qu e, a su vez, incidiran en los carnbios generales. Cada proyecto debe tener s6lo un objetivo especifico o prop6sito a lograr. • Dificultades frecuentes:
a Definicion rnuygeneral del Ob jetivo_Especffico._En estos casos son muy cercanos y se conf un den con el Objetivo General. Debe haber una clara diferencia entre ambos tip os de objetivos donde el especlfico es un medio o cont ribucion para que se logre e l Objetivo General. Para establecer la distincion se debe recordar que el logro del Objetivo Espedf ico depende, e n gran medida, de la accion del proyecto y de sus productos. De esle modo liene una relacion. eli recta con el proyecto. El Obje tivo Generat en cambio, de pend e solo de un modo parcial de la accion del proyecto. En efec to, como se ha seii.alado, este ob jetivo marca la direccion de sus resu ltad os y su consecuc ion no depende exclusivamente de la ac cion del proyecto.
b
Suele enunciarse como una ac cion y no como un resultado.En efecto, rnuchas veces los objeti vos espedficos se enuncian a·tra ves de verbos tales como:"Me jorar...";"Ca pacitar...";"Fortale-·· "P romover. .. , ; cer . .:.. ; "Generar...",etc. Estas expresiones aluden a ac tividades a realizar y no a resul tados o efectos de tales acciones. El Objetivo Especffico debe de finirse como la imagen anticipa da o punta de llegada que el pro yecto visualiza como resultado de su accion. 1/
c Muchos Objetivos Especificos. Generalmente los proyectos de finen mas de un Objetivo Espe cffico. Esto dificulta el diseii.o del proyecto, su seguimiento y eva luacion posterior. Si se analiza con detalle,se observa que varios de tales objetivos pueden ser ac ciones o bien productos que es tan asociadas a un o de los ob j e tivos enunciados. En estos casos se debe precisar la expresion del Objetivo Espe cifico, establecer jerarqufa entre ellos y optar. d Es usual que los objetivos espe cfficos se definan aludiendo a la s causas de los problemas m as que a los efectos o situa cion creada por la accio_0_qel proyec to y no se precisa el tiempo ne-cesario para lograr dicho resul tado y/o el lu ga r e n el cual· esta acci6n se desarrolla. Por e jemplo:"...capacitar a las ma ma s educadoras e n tecnicas de recreaci6n y trabajo de grupo'l. Este objetivo da cuenta de una accion a realizar y el conten i do de la misma. Pero no precisa las
'
I•
; I
t· ' ... r
I'
'I
l,:'! d'
i' :, f,
" competencias y aprendizajes que se esprq producir en Ia m u jeres dirigentes y que -seran un resultado directo de la acci6n del proyecto.Ta mpoco da cuen ta del tiempo necesar io para-l o gra r lo deseado n1ellugar o es pacio en el cual se-lleva a cabo este proceso. En resumen, para d efinir el ob jetivo especffico es important e imaginar la realidad o capacidad que se crea. Los objetivos no deben re fle jar el como o q u e se hace sin o da r cuenta de los cambios o efec tos que se espe ran produ cir co n las actividades y recursos del proyec to. RECOMENDACIONES PARA LA F ORMULACI6N DE UN OBJETIVO ESPECIFICO
Un objetivo espedf ico bien for mu lado debe indicar: • Que cambio se espera l ograr • lden tifica r los gr u pos o actores en l os c uales se observaran ta l es ca mbios • Definir el tiempo y lugar en el cual se o bservara n ta l es cambi os · (Unesco/Pnud, 1991). Para ve rif ica r l a buena formula cion del Objetivo inmediato es n e=cesario asegurarse que: • Existe u n sol o ob j etivo • E l gr upo de beneficiarios direc t os es ta claramente ide ntificado
Dt seno y Evaluac16n de Proyecros
r • El Objetivo Espedfico contribu ye significa tivamental l ogro del Objetivo General • 'Es realista. Va a ocurrir una vez que los productos o resultados del proyec t o se obtengan • Es formulado como un estado·o si tuaci6n a lograr y no como un proceso • Esta definido de un modo pre ciso y ve rif i cable.
PRODUCTOS Los productos son los resultados concretos del proyecto y que son ne cesa rios para l ograr el Ob jet ivo EspecfficG. Se trata de obr s, apre n dizajes, servicios, etc. que se logran claramente con las activid_ades.y re cursos del proyecto. Por otra parte, hay que recordar que existe un a relaci6n del tipo cau sa - efecto en tre los productos y el Objetivo Especffico a lograr. Por tal raz6n se debe asegurar que el tipo, ca ntidad y calida d de los produc tos asegurados por el proyecto sea n proporcio nales, adecuados y consistentes co n el Obje tivo Espe df ico se nalado. Dificul tades frecu e n tes: a Dificu l tad para expresar resul tad os en termi nos de productos. Los productos son de dif e rente naturaleza, lo que dif i cul ta la imagen o id ea concreta de lo q u e se espera o b tener. Un pro ducto p u ede se r u na real id ad
Disefio y Evaluaci6n de Proyecws
material y tangible como tambien una realidad. intangible. Lo im portante es que ambas den cuen ta de·efectos o de· cambios en practicas qe los grupos y personas con las cua les se trabaja.
.'· I
' <
Ejemplos de Productos son los siguien tes: 1
Productos materiales:"una pla za de juegos";"techumbre repa rada ";"3 invernaderos";"4 car tillas"; "1 pos ter"; "una revista mensual" etc. I
ii Cognitiv s:"personas entrena das en normas y procedimien tos legales que protejen a la mujer"; "competencias adqui ridas dis no y planificacion de proyectos"; uso adecuado de dinamicas de grupo para cbndu· cir una reunion" "mamas edu cadoras capacitadas en tecni cas participativas" etc. I
taller productivo funcionando""un manual para educadoras"l etc. Cuando los productos son dena turaleza cualita tiva es co nvenie n te precisar el ti po de competencia que las personas adquieren y el uso esperado de ellas. Una competen cia puede observarse a traves de las acciones que realizan fos beneficia- rios. Por ejemplo:"hablar mejor en pu blico". Para observar el desarrollo de esta competencia p uede preci sarse la cualidad que tiene y ell u gar en la cua l es t a se usa. RECOMENDACI ONES PAR A LA FO R MUlACI 6 N DE lOS P R ODUCTOS
• Todos los productos o l ogros para obtener el Objetivo Espe cffico deben estar inclufdo?
1
iii Expresivos: "hablar m ejo r en publico"; "sabe r expresar los problemas personales y solicitar ayu da "; iv Tecnicos: "manejar adecuada mente las tecnicas de manejo de cultivos e n invernaderos"; "ha ce r reparaciones electricas do mesticas", etc. Algunos de lo_s_ productos o re su ltados de un proyecto pueden cuantificarse y otros son de natu raleza cua l itativa diffciles de medir.
)
---
Cuand o sea pertinente, es nece sario cuantificar los productos a ob tener como resultado d e las acti vidades del proyec to. Por ejem plo: "una plaza de ju egos"; "un
• Solo se incluyen los resul tados o productos ntizados por la s actividades del proyecto • Cada producto puede ser visto como un medio necesario para lograr el Objetivo Es.p ecf fico • -4'odos los prG-Eiuctos son factibles y realizables con los recursos dis ponibles • Los productos estan definidos de un modo preciso y verificable • Se identifica la ca ntidad, el tiem po y lu gar de obtencion d e los productos.
--
ACTIVIDADES i
:I I
' I I
• r! •
'' I IiI I
·l
i
l
j I
!I
Son las acciones o tareas necesarias de realizar para obtener l os pro ductos 0 resultados esperados. En el disefto del proyecto se debe prese ntar una vfsion general o sin tetica de las actividades a realizar. Dif icultades frecuentes •
Se e numeran diferentes tipos de ac tividades sin un orden lo gico o secuencial e ntre ellas.
relaciona con los_productos de nidos, estamos fr-ente a un pro blema de consistencia que es ne cesario revisar. Las actividades tienen como resultado los pro ductos identificados y compro metidos por el proyecto. RECOMENDACIONES PARA - LA FORMUt.ACI6N DE LAS ACTIVIDADES
•
Estan incluidas todas las activi dades ese nciales para lograr los produ ctos del proyecto.
En el disefw ope rativo solo in te - • Todas las actividades contribu resa una vision ge n e ral o con yen directamente a la ob ten ceptua l de las act ividad es a re ci6n de los productos. Hay con alizar. Por e jemplo:"gestionar la sistencia e ntre ellas. obte n ci 6n de un te rren o para la plaza en la municipalidad";"tres • Solo se h a n incluido las activi sesiones de ca pac itaci6 n en tec dades desarrolladas por el pro nicas de pl a nificaci6 n";"o rgan i yec to . zar una asamblea del cent ro de padres"; e tc. • Las actividades estan formula das como accio nes o procesos y Para organizar en el tiempo l as no como resultados o produc tos. actividades, es co nveniente cons Po r esta r az6n se enuncia n bajo truir una carta Ganl t o cronogra ma forma verbal. de act ividades. • E l tiempo disponible para cada • Se realizan ac tividades no rel a actividad se h a d e finido de u n cio n adas o de poca imp o rtanci a modo realista y existe una se para el logrG-fle l os produc tos d e cuencia l ogica entre ellas. finidos. • Las actividades so n apropiadas Los productos, conce ptualmen para el contexte soci aJ, cultural, te, so n el re-su ltado de la s-ac-cio tecnologico y eco l6gi co de la nes q u e se rea lizan. No hay ac focalidad de trabajo. tividades si n resu ltados. Por es ta raz6n, cuando I a actividad n ose
D1c;eno y Eva1uac1on de Proyectos
"
LOS
Resumen Una vez definidos los· objeti vos, productos y actividades del pro yecto y sus respectivas condiciones y supuestos externos, es necesario completar la columna de indicado res y de medios de verificacion. Para el diseno, seguimiento y evaluacion de los proyec tos sociales y educa tivos, es fundamental con tar con in dicadores que permitan verificar los resultados e hipotesis de trabajo del proyecto. En este capitulo analiza remos conceptualmente el tema de l os indicadores, se presentara.n herramienta s para construirlos y· e j ercicios de definicio n. DEFINICI6N DE INDICADORES
Entenderemos por indicadores los hechos, actos, gestos, representa cio nes, eventos, etc. que definen el desempeno esperado o a lograr por parte de un proyecto al interveni r en l os proble mas que afectan a s us beneficiarios directos e indirec tos. Como su nombre lo senala, in dica n que medir y observar para comprobar los logros o dar por cumplido el resultado definido, ya sea a nivel de las activid ad es, Ob je tivo Especifico y Objetivo Gene ral de una propuesta. Pertenecen asf al orden de lo observa ble y deben co de refer ncia (Hernandez, R. et al, 1994:242).
. i .
'
Para definir adecuadamente los indicadores, es necesario consi
estar formulados de un modo ope racional (De Ketele, J -M. et al, 1993: 65). De este modo, los indi cadores permiten evaluar la situa cion actual y saber donde esta el pro yecto en relacio n a los resultados esperados (Cienes, 1995). Un mismo hecho, acto, opinion o even to puede ser interpretado de distinta manera . En efecto, segu n el'!p unto de vista"del observador y del marco conceptual co n el cual este a naliza el problema, los hechos observados adquieren distintos va lores e importancia. Por esta razon el indicador en sf mismo no dice nada. Solo tiene sentido al interior de variables y de un sis t ema con ceptual mayor dond e adquiere un valor y pertinencia claramente de terminado. Desde el pun to de vista empiri co, la importancia del indicador ra dica en la sensibilidad y capacidad que este tiene para clasifica r y dis tinguir lo obse rvabl e.-Desde el pun to de vista de la interpretacion, en cambia, lomas im portante es el concepto subyacente y no observa ble que representa el indicador. Un buen indicador es aquel que regis tray da cuenta de he c hos observa bles y que representa realmen te los conceptos y varia bles que el obser vador o el evaluador tiene en su mar';
;
derar el marco conceptual del2ro yecto, la experiencia acumuf da por el mismo o por otros similares
'!
y la literatura existente sobre el tema TIPOS DE INDICADORES o area prol_?lematica en la cu_al este se desenvuelve. Cada objetivo, '""Segun -cuenin (1987) existen productos y actividades del proyec to tres tipos de indicadores: simples, de debe contar con indicadores que desempeiio-y generales. definen, en el plano de la ob servacion, los hechos que verifican o Los indicadores si rnples desc-ri dan cuenta de los resultados que ben de .manera neutral y a traves de obtiene en el curso de su ejecucion. un numer..9 absolute un estado, si tuaci6n o proceso. Por ejemplo: Dado el caracter cultural de lama yor poblacion participante en el pro parte de los resultados que se yecto; j6venes cap_acitados; tramo de esperan obtener en los proyectos de ingresos de la familia; distribu cion tipo social y educative, es reco de materiales educativos e n tre los mendable contar con unset varia do ninos, etc. de indi cadores que den cuenta de las dimensiones culturales, co Un indicador de desempeiio, en municativas y afectivas que se cambia, establece una relaci6n o im transforman gracias a la interven plica un punto de referencia con el cion que realiza el proyecto. cual se esta comparando el dato o resultado ob ten ido. Se trata asf-Ge indicadores relatives y no absolu tes. Por ejemplo: poblacion parti- _ cipante en el proyecto en relacion con pQblacion total de la co muni dad; cantidad de alumnos por pro fesor; gasto educa tive por a lumno; tasa de desercion del proyecto. Generalmente se definen a traves de f orm ulas como las siguientes: Atenci6n medica ninos Ninos atendidos = tota l de ninos
To tal part icipa ntes de que termin e n xlOO; Tasa deserci6n = xlOO to tal inscritos
Por ultimo, los indicadores gene rales aluden a datos externos al pro yecto, diffciles de observar, qu e dan cuenta de apreciaciones sobre resultados de encuestas o estadfs ticas ge nerales. En sentido estric to, no se tra t a de indicadores pero .se consid eran coJ,TIO tales al ser tornados en cue nt a como infor macion en la toma de decisiones (Es pinoza, 0., et al, 1994) . Diseno y Evaluaci6n de Proyecros
Segun Cohen, E., et al (1992) es posible distinguir dos gra ndes ti p os de indicadores: di rectos e indi rectos. L os indicadores directos tradu ce n ellogro de un objetivo o resu lta do en una relacion ?e implicaci6n l ogica. Por e j ernp lo, si el proyecto tiene por objet ivo dism inuir la tasa de repitencia escola r de los j 6ve -
Diseno y Evaluaci6n de Proyecws ·,_
nes, la soa definicio n ya ha deter minado el indic dor. . Los in_dicadores indirectos, e n cambio, deben ser construidos. Por ejemplo, si se desea aumentar la par ticipaci6n comunitaria se de ben construir indicadores que den cuen tade dicha participaci6n. En estos casos, las relaciones que se estable cen e ntre los o bjetivos y los res ul tados de los proyectos son de tipo probabilistico y no de implicaci6n l6gica (Co hen, E., e t al, 1992:156) . Por es ta ra z6n, es recome ndable co ntar con va rios indicadores in direc tos para un o bj e tivo o resul tado ya que con ello a umen tan las posibilid ades de una verificaci6n o medici6n adecuada de los logros ob tenidos. O tros autores-es tablecen la d i feren cia entre indicadores cuantita tivo..s y cualitativos. Los primeros son mensu rables y se expresan a traves de porcentajes, tasas e indices. Los· indicadores cualitativos, en cambia, expresan dimensiones subjetivas e intan gibles dif.lci l es de medir. Este tipo de datos dan cuenta de si gnos y s.lmbolos, verbales y no ve rbales, qu e d escifra n la realidad o l os re sultad os obtenid os tal como l ave la poblaci6n (S tra uss, A. eta!, 1990; C h aco n, B., 1994) . Pese a es ta distinci6 n, I a investigacTon evalu a tiva reciente tiend e a artic ular am bos tipos de indica dares. En efecto, los indicadores cua litativos son imp orta ntes pa ra cla rificar e ilu st rar hallaz gos c uanti tativos; para defini r ca t egorias e i te mes de respuest as de un instru mento cuantitativo; para ex plicar hi p6tesis que permitan comp re nd er los resul tados obtenidos, e tc. Inclu '·
ELEMENTOS DE LOS- INDICADORES
so mas la "cu a lidad"definida en el indicador puede ser, poste.rio.rmen te, mensurada s_i se ha conceptua lizado adecuadamente·el indic·ador y sus unidades observables. Por ejemplo, los instrumentos de obser vaci6n de interacciones de reunio n es-grupales o d e profesor-alum no contienen unidades cualitativas de atribuci6n de sentides a enun ciados o actos verbales y no verba les qu e, una vez definidos, puede ser medidos en su frecuencia en una unidad de tiempo determinada.
Indicadores cualitativos para comprender Ia interaccion educadora-niiio Para comprender y segu ir al niiio, l a educadora d e be desarrollar el deseo y la capaci dad de observar lo. Ella explica a / nino o en peque iios grupos c6mo se utili za e l ma terial, los guia y los d e ja trabajar por s[ mismos. Sus palabras d eben ser pocas, claras, dichas en voz baja y tono agradable, y tinicamen te las necesaria s para poner a l nifw en relaci6n con el material. La educadora d ebe te ner l a capacidad de estimu lar los nii1.os a trabajar con los materia les. Debe escuchar a ten tamente pero tanz bien c uestionar a los niiios. Debe a fabar a los niii os cuan do actuen de manera positiva y ayudar a los nii1.os que l o pid en. Tambien una buena in te racci6n debe incluir expresiones d e afecto con a Igun a ceream ienta fisica. Fuen t e: Gonza lez, I., 1996:5
Para la definicion de l os indic_a dores es importante
considera cuatro elem.entos basicos: (a) el grupo de La cuantificacion alude al numeinteres o beneficiario (z_quienes?); (b) la cualldad - ro de individuos en los cuales se que se observa o mide ob servan las cualidades o (que); _(c) la cuantificacion de propied a des definidas. En las cualidades observadas eva lu ac ion · el co ncepto de (cuantos); (d) el tiem po o meta d a cuen ta de l a momenta de obse rvacion cuantificacio n d e la s unidades (cuando) y, (e) ellugar mf - nimas en las cuales se (donde). espera ob se rvar los resultados obtenidos. Por El grupo de in teres o ejemplo, se espera que elSQ
L os indicadores deben cum plir a lgunos requisitos metodo logicos. En tre ellos dest acamos: (a) ·repreDr s er"to y E valuacr6n de Proyect os
Diseno y Evaluaci6n de Proyecros
"
sentativiqad: es decir deqen estar ligados al_tipo de resultado que pre tende reflejar; (b) objetividad: me dibles o aceptables en un consen so interpretative; (c) verificables pu blicamente y por cualquier persona; (d) accesible es decir disponibles para cuando se lo necesite y basa dos en informacion existente o fa cil de.conseguir y (-e) sensibles, es decir, con alta capacidad de refle jar en breve plaza los cambios es perados. Por otra parte, deben cumplir con minimos criterios de rigurosidad. Entre ellos destacamos: confiabi lidad, validez y pertinencia. La confiabilidad de los indica dares significa que las acciones observadas o las opiniones regis tradas pertenecen realm en te a las situaciones, problemas o dimensio nes definidas. Cualquier observa dor o evaluador que asuma las de finiciones y emplee procedimien t os similares debe obse rvar los mismos resultados.
macion obtenida. En ohas palabras, este_. criteria se preocupa de la orientaci.On o foco que tiene· el pro ceso de recoleccion de inform acion para garantizar que seobtiene realmente le. infor-macion requerida por el indicadot de acuerdo al mar co conceptual y definiciones de las propiedades o cualidades que se ob servan. Define asi el caracter apro piado o no de los datos recogidos. (De Ketele, J. M., 1993, Cook, T.D., etal, 1996). PROCEDIMIENTO DE TRABAJO PARA DEFINIR INDICADORES
Para la definicion de indicado res de evaluacion de un proyecto es recomendable seguir los siguien tes pasos: a
Iden tificar y clasificar los indi cadores definidos p.9r el proyec to en sus documentos de base .
Para realizar este paso existe un La validez supone y define que problema frecuente que es la la .aplicacion correcta de las tecni falta de indicadores explfcitos en cas elegidas permitira obtener lain la documentacion base del pro formacion requerida para verificar yecto.Por ello, este paso debe los indicadores. Define el grado de transformarse en un proceso de adecuacion entre lo que se quiere definicion y reconstrucci6n de in hacer y lo que se hace realmente. dicadores a partir de reuniones Este criteria resguarda la a·decuay entrevis t as con el equip o --da y r i gurosa aplicacion de los del proyecto. principios y procedimientos de la tecnica elegid a. Si esta tecnica no b Exame n de indicadores utilizados se aplica de acuerdo a tales prin e n otras experiencias similares y cipios se inval id a e l proceso de pertinentes para el campo de reco leccion de inf ormacion y la acci6n del proyecto a evaluar. validez del indicador. Por ultimo, la pertinencia alude a los Hmites y calidad de la infor -
!
:
r.
; .
;
f·"' :; '
Este paso requiere de la lectura de informes evaluativos o bi e n de la entrevista y trabajo con equi pos de proyec tos que adqui ere n el status de expertos extern os e n
el tema o problema objeto de la evaluacion . c Revision bibliografica estado del arte de investigacion en tor no problema. !.'
y la al
El volurnen de informacion acu mulada sobre resultados de pro yectos cada dfa es mayor. Cual quier trabajo de definicion de in dicadores debe considerar la literatura existente sobre el tema. Para ello se cuenta con bases de datos, redes de informacion y do curnentos denominados"estados del arte". d
El evaluador debe realizar un ana lisis conceptual del material ob tenido y definir el marco de re ferencia, los conceptos y varia bles en el cual se insertan los indicadores·definidos.
yectos es Gcomo dar cuenta de los resultados obtenidos?·. Si el proyecto no tiene indicado res explfcitos habra que iniciar el trabajo consultando a expertos y re visar la literatura existente sobre el problema. Como resultado se ob tiene un concepto de autoestima y lct.s principales tiimensiones o va riables en los cuales esta se puede observar. A continuacion mostramos, re sumidamente, este ejercicio. Definicion del concepto de autoestima La autoestima es la percepcion que cada uno tiene de $1 mismo. Esta implica una valoracion cognitiva y afectiva. Es decir, ideas, interpre tacion es que se tienen de sf mis mo y de la autovaloracion.
e Finalmente, es recomendable Se plante a que el autoconcepto que la lista de indicadores indenes aprendido y se forma en funcion tificados a traves de los pasos a·-;n= --- -a.e las percecpiones derivadas de las teriores sea validada por un gruexperien cias. Para este autor la au- po de expertos ex tern os al pro- toes tima implica 2 sentimientos yec to y que tienen a uto ridad en basicos: sentimiento de autoeefi la problematica de estudio. cacia (conviccion de ser competen - te y capaz de enfrentar tareas con Para presentar resultado p roblema que final tienen estos prode este ejercicio se de ben organi zar cuadros que ubiquen Dis eno y Evaiuaci6n los indi cado res al interior de ca de Proyecros tegorias con. ceptuales y dimensiones o variables. EJEMPlO DE INDICADORES DE AUTOESTIMA
Muchos proyectos que trabajan con ninos, jovenes y adultos tienen como uno de sus objetivos cambios en la percepcion de su auto estima. El
exito) y el sentimiento de ser va lioso ( sentirse querido e importan te para otros). Milicic, N. (1994) resume va rios estudios sobre el tema y con cluye que existen 5
dimensiones cen trales observa rla. Estas son: •
para
Dimension ffsica: Sentimientos relacionados con la apariencia ff sica y con el cuerpo
DisenQ,y Evaluao6n de Proyecros
• Dimension soci< .l: Sentimien tos que se tieneii. en relacion a · la experiencia -con iguales
t
'
'L
. r
I' '
• Dimension afectiva: autoper cepcion de caracteristicas de personalidad • Dimension academica o tecnica: Autopercepcion de la capaci dad para enfrentar con exito las situaciones de la vida escolar, y espedficamente la capacidad de rendir bien • Dimension etica o valorativa: es decir percepcis5n del grado de adecuacion de si mismos a va lores asumidos y deseados por el sujeto o l a sociedad. Como se aprecia, la autoestima es una dimension del ser humano que atraviesa todas las esferas del comportam ieQto y guarda una es trecha relacion con las experiencias qu e se tienen con el entorno fami-
liar, escolar, laboral, social, e ntre otras. Asf tambien tiene una importan-
te influencia en la condl!cta hum a na, personas con buena autoesti ma tienden a ser seguras en si mismas, se adaptan a las normas so ciales, son respetrrosas, son perse verantes, entre otras. En cambia la baja autoestima genera conductas de autorechazo y de rechazo a otros, problemas de adaptacion, apa tia, baja tolerancia a la frustra cion, entre otras (Milicic, 1994). Una vez definido el concepto y sus dimensiones es necesario cons truir los indicadores mas adecua dos y ejemplificar el tipo de infor macion observable o empirica que cumple los requisites concepuales planteados. Las tablas siguientes presentan ejemplos de indicadores y de datos verb-ales que dan cuen ta de lo requerido .
r I
r :' ; ! • i.
' '. I
, I! '
I
!
,,
'
i
I
. Ejemplos de Conceptos, Vari_ables e Indicadores CUADRO 1: AUTO.ESTIMA CONCEPTO VARIABLES INDICADORES EJEMPLOS
AutoEstima: Percepci6n y valoraci6n que cacta uno t-i:ene de si mismo.
1. Fisica: sentimientos relacionados con la apariel!cia ffsica y con el cuerpo.
1.1Sentirse "Eramos desordena conforme con das, ahora esfamos la apariencia distintas" corpora l
2. Social: se n timien tos que se tiene n en relaci6n a las expe riencias de in te racci6n con iguales.
2.1 Sentirse aceptado y querido por o tros.
"Me hice de amigos" "Te sientes queri do,incluso te sientes alguien" "Se preocupaban de un o" "Yo estuve super con tenta porque mi espo so estu vo 2 meses sin t rabajo y yo fui la jefa del hogar... me di cuenta que mi dinero ta mbien servia para mantener el hagar"
2.2 Sent ir se util para la soci edad
"Si, porqu e encon tre trabajo co nw solda dor, entonces el curso me sirvi6 para ser al guie n, po rque a tod os nos gu sta valerse por si mismo, como per sona ... ahora trabajo y eso cambi6 harto mi vida" . "...Ahora pue d o en trar a una metalurgia, a cualquie r lado y no me van a meter el declo en la boca ..".
I
2.3 Sentirse capaz de e n fren t ar tareas social es con exit o Drseno y Eva luacr6n d e P royecros
Disefio y Evaluaci6n de Proyecros
Ejetnplos de Conceptos, Variables e Indicadores CUADRO 2: AUTOE-STIMA -
CONCEPTO
VARIABLES
.AutoEstima:
3. Afectiva: 3.1Acep tarse Autopercepy quererse a cion de carac- -si mismo teristicas de desarro- personalidad
INDlCADORES EJEMPLOS
-
3.2 Sentirse seguro sf mismo.
-
"Yo a·prendf a querer a mi misma" " ..aprendf a liar la personali.Qad"
"Yo saque un poco de personalidad..antes era mas tfmido").
4. Academica: 4.1Sentir II ..hice las pegas, traba autopercepque se tie ne jo con amigos ..hice las cion de la caexito e n las mismas instalaciones pacidad de tarea s labora- de mi casa, que lo hice enfren tar co n les o acade- seguro de lo que hacia exito lasimicas y...seguro·Cien por tuaciones de ciento que no iba ·a tela vida acaden er ningun proble, m1ca. rna... 4.2 Sen tirse " Igual uno tuvo sus capaz de ren- probims en el c urso , dir bie n . pero hay que trata r de superarse ...II
-- -
4 .3 Perseve- "Tambien tuvimos ca ja rancia, supechica, 2_se acuerdan?" rar los obstacu los en fun- "Nos sirvi6 para tener cion de las respo nsa bilidad" metas - 5. Etica: Sen- 5.1Se ntirse timientos que una perso na se tienen e n conf iable y relaci6n al hon esta. cumplimiento de las normas et ico sociales.
7
•
"Yo era de o tra ma ne ra, mas desubicado".
LA
"
CONSTRUCC I6N DE INDICES
Hemos senalado que un mismo tipo de cambio 0 de resulfado de los proyectos puede ser verificado a tra ves ere diferentes variables e indi cadores. Aun mas, es re comen da ble utjlizar varies indicadores para asegura r que se cubraampliamen te el calJlpo de los efectos espe ra dos y que se asocian a un objetivo. Ahora bien, estos indicadores pueden agruparse y relacionarse en tre si e n una unidad o catego rf a ma yor que se denomina fndice. En nuestra vida cotidiana verifi camos que los precios de a lgun os alim e ntos han subido e n 2, 5o n % en el lapso de un m es. Esta varia cion, y la de todos los alim en tos qu e componen la"canasta basica"en uni da_des de tiempo determinadasr se expresa en forma s1ntetica en el In dice de Precios al Cons u midor. Este indice da cuenta de l as variacio nes de precios de cantidades determi n adas de los bienes que componen la canasta ponderando, ala vez, l as dif erencias de im portancia o jerar quia en el consum o de las familias. Del mismo modo, es posible e x presar el grado de d esarrollo d e un pais o de un a region o el nivel de pob reza de-una com
una ode una fa milia tra ves de numeros indi ces. Este es el caso, por ejemplo, de los indices de desarrollo social que construyen los Bancos y Organiza ciones intern acionales para com parar los paises o los in dices de po b reza que estos ultimos utiliza n para diagnosticar la realidad soc ial exis ten te, comparar l os h ogares y fo calizar l a asignaci6n de rec u rsos. D1seno y Evaluac16n de Proyecws
.r l
En un nivel mas particular, tam bien
son
usuals
los
indices
que
dan
Para su ca lcul o se utiliza la si guient e formula: .I
I
cuenta d el nivel de aprendizafe d e l os ninos en la escuela basica; los indices de desarrollo de niii.os de familias populares o de ha"\Jitabi lidad de sus viviendas, etc. En re sumen, los numeres indices cons tituye n una buena herramienta para medir hechos, situa cion es, estados o problemas que requieren considerar y relacionar varias dimen siones, variables o indicadores al mismo tiempo. Por ejemplo, si queremos evaluar la eficacia y eficiencia que tiene e..l.. proyecto sera necesa rio recurrir a un numero fndice. A modo de eje mpl o consideraremos el co n cepto de eficacia. La eficacia es"el grado en-qu e se a lca nzan l os ob j et ivos y metas del proyecto e_n la poblacion beneficia ria en un perfodo determinado in dependientemente de los costos que ello implique" (Cohen, E. e t al, 1992:102).
L
Tr
L -
M L*Tp
A=
=
M Tp
Tr M*Tr Tp
-
d o n d e : L = u nidades de metas l ogradas M = uni dades de metas progra mad as Tr= tiempo rea l para 11 egar a llegro o bten i do Tp= tiempo programado para alca n zar la n1eta total A= efica c ia
i
Diseno y Evaluaci6r;) de Proyecros
Los resultados obtenidos sde ben leer de la si:guiente manera: Si A> 1, el proyecto es muy eficaz Si A= 1, el proyecto es eficaz Si A < 1, el proyecto es ineficaz (Cohen, E., et al, 1992:103) Los numeros indices son de gran utilidad para dar cuenta de los cambios que experimenta una po blaci6n como fruto de la acci6n de un proyecto. Permiten sintetizar va rias dimensiones del problema ponderando, ala vez, el peso dife renciado que estas tienen en el resultado final. Sin una mayor complejidad es tadistica los equipos o evaluadores pueden construir indices apropia dos para dar cuenta de algunas de las dimensio nes de la realidad en la cual intervienen. Siguiendo a
Cuenya, B. et al, (1991), realiz-are mos_ el ejercicio de construir un·fn dice para dar cuenta del riivel de . "asociaci6n comunitaria"en un·a lo calidad urbana .. El indice de asociaci6n comunita ria medira el grado de densidad del tejido social obervado en un-tiem po y localidad determ!nada. -Esta densidad se describira a partir de la presencia de redes sociales; exis tencia de grupos informales de voluntarios y, por ultimo, numero de organizaciones de base en fun cioriamiento. Al interior de cada una de estas variables se identificaran, a su vez, indica do res e ftemes de informa cion de estos _ indicadores, los que constituyen las unidades de obser vaci6n propiamente tal. El indice se construye_de la si guiente manera:
Variables
il
1
i
1 11
•
: . i!
'
'.i
20
i ij I
,
1
,I
I j··
. i
Itemes
Redes de ayuda mu(12) tua
Vecinos _se ayudan para cuidado _ de ninos y de alimentos.
12
Vecinos se ayudan solo para cuidado de ninos
(6)
No hay relacios de ayuda -
{0) -
Vecinos actuan unidos f re nte a emergencias
(8)
Solo algunos vecinos se unen frente a emergencias
(4)
-
-
Redes Sociales
.
Indicador
.
-
;
H
..
1'
Lazos de Solidaridad 8
•.
No h ay unidad frente a emer gencias(O) G rupos Formales
·Prese ncia de organi: zacion es de base
40
40
Grupos Inf ormales
Presencia de Grupos
40
20
H ay por lo menos una orga niza ci6n de base que se e n cue ntra activa en el ultimo ano (40) Hay al menos un a organizaci6n pero no se encue n tra activa e n el ultim o ano
(20)
No h ay organizaciones de base
(0)
Varios gr upos inform ales rea lizan traba jo volu ntario
-
(20)
-
No hay grupos informales ni trabajo volunta rio
-
(0)
-- -
Activismo de l os Grupos
Trabajos tienen resultados visibles fi nales
(30)
20
Trabajos nose termin a n
(15)
Trabajos solo se planificaron
(5)
Los numeros ind ican pondera c i6n.
cron•d•e Pro•ye c•ro•s•-• j.---!!!!!l!!l!!!!!!l!!l! -!!!!!l!!l!!!!!!l!!l!!!!!!l!! l!!!!!!l!!l!!!!!!l!!l! - p·
? IIII!!! I!II!!!!!!!!I!!!!!!!!I!!!!!ID!!I! nollllyl!liiEiiIIvIIlallllu ull a IIiIlsllel
11111111
1111111111111111
111
Diseno y Evaluaci6n de Proyecros
Cada uno de los ftemes tiene una .calificaci6n definida previamente (numero en-tre par-entesis) . Esta calificaci6n o valor representa, al mi:smo tiempo, la importancia o ponderaci6n que tiene al interior del1n9-icador 0 categorfa mas am plia. Los indicadores, al mismo tiempo, tam bien ti nen una pon deraci6n d_efinida previamente, de acuerdo a los criterios interpreta tivos del equipo y/o del evaluador. Por ultimo, las variables tambien han sido definidas con pesos pondera dos en el fndice final. El valor de la suma de los ite mes obtenidos al interior de un in dicador se suma y luego se mul tiplica por el valor de la pondera ci6n al interior·'de cada indicador. Posteriormente se suman los va-
lores resultantes de tal producto al_ in teriOI de la variable y se_ mul tiplica por la ponderaci6n atri bufda a las variables. La sum·a to tal de los valores resultantes es el in dice construido para dar cuen ta del nivel de asociaci6n comu nitaria. La comparaci6n de este fndice en distin tos periodos de tiem po (por ejemplo, antes y despues de la ac ci6n del proyecto) permitira carac terizar los cambios producidos en el tiempo considerado. Posterior mente, se interpretara si estos cam bios se deben ala acci6n principal del proyecto 0, mas bien, a accio nes exte rnas y propia s del contex te social o politico.
"
DE DE Resumen
En este capitulo se presentan al gunas de las tecnicas o instrurnen tos de investigacion mas utilizados para verificar los indicadores de pro ceso y de rg_sultado de los proyec tos estudiados. Se describen con rna yo r detalle tecnicas de tipo cuali tativo, por la utilidad que tienen para la evaluacion d'e proyectos educa tivos o de irnpa cto cul tura l.
TECNICAS Y METODOS Las tecnicas son instrumentos de trabajo para la obtencion de infor macion segC1n las necesidades y pre gunta s que formule el estudio o la evaluaci6n. Como toda herramien ta las te cnicas tienen usos esped ficos seg{m la problematica yen foque asumido. En efecto, un c ues tionario puede ser util para recoger op ini ones sobre un tema, pero no sirve par a conocer en profund idad la natura l eza del co nflicto que se planleo en una reu ni on de traba jo. Para dicha situacion sera reco mendable una entrevista de tipo et nografica o una buena obs rvacion de reunio nes. La seleccion de la tec nica debe ser consiste nte, enton ces con e l e nf oque teorico y meto'cara de un modo individual 0 gru pal y ot):"as que no necesitan de una relaci6n -directa- o -comunicativa entre quien investiga y el sujeto o informante del estudio. En tre- las primeras ubicamos la entrevista, el grupo focaf (Focus Groups) y la ob servaClon. Entre las segundas,
dologico asumido para analizar los procesos y resultados de los pro yectos. En este capitulo diferenciarnos el rnetodo de las tecnicas. Por rn e todo entendemos la concepcion, los principios y fundamentos que or ganizan la apro.ximacion al proble ma y que guian la definicion ope ra tiva de variables e indicador es y que p erm:lten o rgan izar el proce so de investigacion de determi nada manera:... Por ejemplo, meto da e tn ografico, metodo experi mental, metodo hermen e utico, metodo estructural, etc. Las tecnicas, en cambio, son un conjunto de procedimien tos y de he rramientas pre es tablecidas y va lidadas que se aplican con u n cier to orden en una sit u aci6n o con texto det er minado para obte n et: inforrnacion. Por ejemplo: entrevis tas, observacion, cuestionarios,etc. Existen diversos tipos de te cni cas que se pueden clasificar, segun el tipo de comunicacion que se establece e ntre inves tigado r e in vestigado y el ca mpo de observa cion ode registro segu n el tiempo y el espacio (De Ketele, J. M., 1993). Existen tecnicas que suponen una interaccion com unica tiva cara a
el cuestionario, la observacin ex perimental, el estudio de documen tos y de archivos.
De acuerdo al grado de estruc turaci6n estas tE cnicas pueden de finirse como abiertas o cerradas. En efecto, mientras menos estructura
ci6n tenga el instrumento mayor re adquiere la comunicacion y rapport entre investiga dor e investigado (por entrevistas en profundidad o etno Mientras mas a lto es la es-
levancia existente ejemplo, grafica).
tructuracion la relaci6n comunica. tiva es puntual y acotada a las pre guntas planteadas en e1 instru m e nto (por ejemplo; encuesta Q.e opinion) . En cuanto al campo de observa ci6n o ¢-e registro las tecnicas pue den ser limitadas o amplias en -el tiempo ye n el espacio. Son tecni cas limitadas en el espacio yen el liempo la entrevista y la observa ci6n que, por lo general, obtienen informacion del presente. En cam bia, tienen un campo mas arnplio en el espacio yen el tiempo el cues tiona,rio y el estudio de documen tos. Ambos tipos de herramientas permiten obtener informacion del pasado o retrospec tiva. El siguien te_g.rafico represen ta esta clasifi cacio n.
Tipos de tt cnicas segtin om.unicacion en-el espacio y el tiem.po
--- - - ---- Comunicaci6n mas directa e interactiva Entrevista s
Obse rvaci6 n
Cues tiona rio
Documentos
Intera cci6n en lnt eracci6n e n I nteracci6n indi- Intera ccio n in dobl e sent id o sentido un1co rect a en doble direct a sentido sen tido unico (A<-> B) Con c entraci 6 n en e l pre sente
(A-> B)
A<->cuest<->B
A <- texto<-B
Concentracio n Co n ce ntraci6n Amplio ef!_ l_ es e n el prese n te en e l pr ese nte o p a c 10 y en e l r e tr ospec tiva tiempo mente e n el pasado.
Acceso a informacion amplia e n el espacio y en el tiempo
(Fuente: D e Ke te l e, ]. M., 19 93, p. 35). Diseno y Eva luac16n de Proyecros
....
Diseiio y Evaluaci6n de Proyecros
A continuaci6n presentaremos algunas de las tecnicas utilizadas en procesos evaluativos para veri fi<;ar los resultados tanto en el pro ceso como al terminar un proyec to. Como se indic6, desarrollaremos con mas detalle la s tecnicas de tipo cualitativo que, a nuestro jui cio,_son de gran utilidad para eva luadores y equipos que tienen in teres en dar cuenta de cambios de naturaleza cultural. Estas tecnicas son: entrevistas; observaci6n y gru po focal.
ENTREVISTAS DEFINICI6N
L as entrevistas de investiga ci6 n se inscriben en el all}plio campo de los"speechevent" defini _9o por Hymes;D. H. (1968). Es de cir, se tra ta de conversaciones o eventos de habla a traves de las cua· le s una perso n a A extrae informa cion de una persona B, informacion que es ta contenid a en la biografia de B. Por biografia se entiende el con junto de l a representaciones o interpretaciones asociadas a los aeon tecimien tos y experiencias cotidianas del suj to B (Blanchet, A., 1989). Si A toma la iniciativa del encuen tro co n B, se trata de entrevistas rea lizadas con una finalidad y usual mente son dirigidas. En este caso A es un entrevistador que tienen una pauta -con distinto grado de estruc turaci6n para guiar la conversaci6n y la obtenci6n de t a informacion la que es utilizad a en analisis que tras cie nd e n la situaci6n o interaccicn de A y B .
Si, por el contrario, eB quien so licita la entrevista con A se trata de co nsult as o- e ntr evistas· clfnicas cuyo beneficiario principal es.B y, por ello, generalmente este ultimo cancela la servicios prestados por A (Blanchet, A., 1989). En este texto nos concentrare rnos en el primer tipo de entrevis tas por la utilidad quetienen para fines evaluativos y de investigaci6n. Sin embargo, cabe senalar, qu e el uso del segundo tipo de entrevis tas o consultas tambien constitu yen un buen material de analisis. Por ejemplo, si se quiere evaluar la calidad del traba jo de asistentes so ciales; educadores; medicos 0 psi col6gos es necesario_ analizar sus consultas. En este casos, se reco mienda gr abar l a co nversaci6 n, desgrabarla siguiendo reglas stan darizadas de transcripci6n y ana lizar, p oste riormente, la trayecto ria de Liconversaci6n, su estruc tur ci6_ n interna; movimient os, conflictos, negociaciones, etc. Seg{ln el grado de es tructuraci6n o de directividad de la pauta, las en trevistas se clasifican en: abiertas o etnogra.ficas, se miestructurada y, por ultimo, estr ucturada 0 cerra da (Patton, 1980; Sprad ley, J., 1980; Pourtois, et at 1992) . ENTREVISTAS ETNOGRAFICAS
Son entrevisl as abiertas y de conversaci6n libre que tienen por objetivo conocer las opinio nes y re presentaciones que tiene un suje to sobre el problema u objeto de analisis. El invest igador permite la libre expresi6n del en trevis t ado y este ultimo tiene un rol activo en el desarrollo de l a conversaci6n .
I•
Pese a lo anterior, el entrevista dor tiene un grado importante de direcci6n en el proceso de la entre vista. En primer lugar, debe cuidar que la conversaci6n gire en torno a los temas relacionados con el estudio. De lo contrario corre el ries go de -que el objeto mismo de la con versaci6n se diluya y diriga a cam pos no relevantes para el estudio o la evaluaci6n. En segundo Iugar, debe conducir la interacci6n, lograr confianza y un buen rapport con el entrevistado. Para ello tiene que te ne r una actitud de escucha, facili tar y motivar constantemente I a ex presion del otro. De este modo el investigador sirve de gufa "dan do le al·sujeto la posibilidad de com pletar, matizar corregir, desarrollar su propia respuesta"(Pourtois,
J.P.
et al, 1992:145) . La pauta guia de Ia entrevis ta etnografica
En primer I ugar -la pauta debe contene.t datos de identificaci6n del e ntrevistado (nombre, dire cci6n, edad, escolaridad, etc.); Iugar y fecha de la entrevista. En segu ndo Iugar, se ctebe iden tificar un conjunto de preguntas o de t emas relevantes para el obje to d e l es tud io. Estas preguntas so lo son una gufa y pueden re for mularse o dar origen a otras nue vas en eltranscur-s-e-de I a conver saci6n. La entrevista etnografica ticne per objeto comprender a! ma ximo la
perspectiva del sujeto entrevista do y n o verificar las inter pretac i o nes u opiniones del entrevistador. Para desarrollar Ia entrevista Sprad ley, ]. (1980) distingue tres tipos de
p r e g u n t a s : d e s c r i p ti v a s ; e s t r u c t u
rales y <:ie contraste. Las pregu ntas descriptivas s·e re lacionan con lo observado en la si tuaci6n o problema que se analiza. Por ejemplo, preguntas sobre luga res ffsi os; personas y gente invo lucrada; actividades realizadas; ac ciones que la gente hace; Qbjetos, eventos; emociones· expresadas, etc. Una entrevista debe partir con este tipo de preguntas ya que son las menos co mprometedoras para el sujeto y, a ! mismo tiempo, ayu dan a acomodar o a acordar el cam po tematico, el objeto y los llmites que tendra la conversaci6n. La pre gunta refiere siempre a alga obser vado. Par ejemplo,"hoy dfa vino muy poca gente ala reunion Gpor que cree usted qu e hay poca asistencia?; "Para que sirve esa med a lla que tie n e el bebe en el chaleco?'' Las respuestas y opiniones de l os entrevistados describen l o senala do pero, al mismo tiem po, informan de las opinio nes y
sentidos que tie ne lo descrito para el sujeto. Sprad l ey, J. (1980) sugiere que en e l transcurso de la entrevista o, en una segunda posterior, se identifiquen aquellos"dominios"q u e co nsti tu yen c egorfas o nidad es de si g ni ficado im.porta nt es para el p e n samiento o discurso del sujeto. Una vez identificados estos concep tos o categorfas el entrevistador debe detectar l os ter min os asociadas y la relaci6 n que estos tienen con ta les conceptos o unidades de sen t1dos. Para haccrlo dcb e n fonTl.ular se preguntn s estructurales que ti e nen por objeto deteclar los terminos asociadas o inclufdos por el s uj e l.o en la ca l ego rfa o dominio id en tiiicado. Por ejemp l o:
r
I
l
r:
.
\"
!
Dtseno y Evaluacton de Proyeccos Diseno y Evaluaci6n de Proyecros
_";_Son l os hombres que trabajan los que n_o asisten a- las reuniones ?" Por ul timo, pa r a asegur a r la comprensio n de los significados o to rga d os po r el su jeto_a los even tos o sit u aciones ob je to de lacon versacion se realizan las pregunta s de contraste que in daga las dif eren cia,_s o sem e ja n zas que tiene n estos terminos entre sL El objetivo de es-
tas pregu ntas es comprend er el map a de distinciones o d e clasifi cacio n es que el sujeto ha realiza do e n el-tran scurso d e la e ntrevis ta al descr i bir una situacio n o al dar su opinio n sa bre- l os temas co nsul tados. Por e je m pl o,"(_ de q ue modo ust ed cree que se dif e re ncia A d e B2" ; Len qu e se pa rece A y B y cu al es la dif e re nci<1, qu e tie ne n -eo n C?"-
Ejemplo _de relaciones al interior de un dominio
DOMINIO y t
I r
l I t
i i i
Los ninos tie nen pro ble mas de ca b eza
I
(es un efec to de)
;"
i
•
I
•
•1
Dominio
-
I
• malas n otas en l a escuel a • dolores de cabeza • nervios al terados
.. -
•
Relacion se ma ntic.a
I
Termi n os asocia d as inclddos
-
Ventajas y desventajas de las entrevistas etnograficas o abiertas Consti t uyen u n m u y buen ins trumento para iniciar u n estudio en profundidad y explorar en torno a --- los significados qu e l os sujetos otorgan a las sit uaciones, even tos o hechos analizados. Su fina lidad es est udiar la singularidad del caso y desc ubrir las diferencias que tie ne con otros. Entrega amplia infor ma cion sabre l as i n ter p retaciones del ob jeto en cuestion y los el emen tos que son asociadas por parte de l os sujetos. Permi ten comp renr.'er
Hay dos problemas metodologi cos que el investigador debe cul_ dar: la confiabilidad y la pertinen cia ae la informacion.
la logica cultural desde el cual el su jeto in terpre ta y da sentido a los he chos de l a rea lid ad es tu dia d os. Una buena en trevista e tnogra fiea depende de la capacidad del en tre,istador de realizar buenas pre guntas pero tambi en del rapport o cvmunicacion con el c u a l inicia la mtrevista y que confirma y desarro tla en e l tra n sc u rso de la conver sacio n. Si falla l a e mpatf a, l a com p rension y I a co nfianza que se h a co n st r ufdo e n tre los inte rl ocu tores falla la entrevista y I a ca lidad de su inf ormacion.
gador tiene que tratar de com prender. Entrevista estructurada o cerrada
r! f
-f
En cuanto a la confiabilidad el Consiste en Ia aplicacion de un entrevistador debe ser capaz de for instrumento estructurado que de fine mular las preguntas adecuadas para preguntas y alternativas _de resolver inconsistencias o - respuestas cerradas que clasifican las contradiccio_nes. En este tio de en o-piniones entregadas por el trevistas, basadas en la confianza y entrevistado. buena comunicacion es muy di ffcil que las personas entreguen opi niones Este tipo de instrumento es va lido ajenas a lo que realrnente sienten o c cuando existe suficiente infor macion en reen. Pero pueden ocu rrir torno al problema lo que permita definir contradicciones o inconsis tencia un numero limita do de respuestas como fruto de la ambigi.ie dad o de los eventuales de los sujetos frente a cada significados contra dictorios que tiene una de las pre guntas. El instrumento el terna para el sujeto. responde a hipotesis de trabajo previamente es tablecidas las que se En cuan to ala pertinencia el en trevistador debe cuidar no perder el operacionali zan a traves de variables e foco de la en trevista o de la indica dares. Las preguntas de la conversacion. Por lo general, los en entrevis ta estructurada co rresponden asf trevistados, una vez superada la ba rrera a los ftemes 0 ala informacion reque rida de la desconfianza o incomo didad inici por los indicadores definidos. a l, comunican con mu cha faohdad La entrevista estructurada tiene un sus opiniones que, a su vez, suele n cam po amplio de aplicacion. Se puede encadenar con otros even tos y opiniones que para el su jeto resultan utilizar para tener informa cion sobre relevantes. De este modo se a borda una conductas privadas y pu blicas; opiniones representacio nes; motivaciones, gran cantidad de topicos y se logra una y c.bundan te informacion que, por lo expectativas e in tereses; estilos de vida y de consumo, general, es muy dificil de procesar posterior - · mente. Para evitar la sobreabundan cia de
I
informacion, el investigad or debera tener una bu.ena capacidad de conduccion para saber
i
,'
i
'
dondein terrumpir la opinion del otro o donde preguntar para volver c.l t ema central u objeto de la entre· vis ta s. Este giro tiene que ser bien pensado ya que, para el sujeto que habla , l as relaciones que se h ace n e n la conve rsacion tie nen un sig nificado particular que el investi-
etc.
De acuerdo a Hernandez, R.,et al, 1994, la elaboracion de un ins truinento estructurado debe se guir los siguientes pasos: • Listar las variables que se pre tenden medir u observar • Revisar su definicion co nceptua l y comprender su significado ' Definir operacionalmente la s variables
D1 s eno y Evaluaci6n de Proyecws
"' I
01seno y Evaluaci6n de Proyectos -
• Definir los indicadores que des criben miento previo importante de las rna terias o muestran los valores de la variable que aborda._La calidad del ins, trumento radica en la calidad de las • Definir las dimensiones del in- ·preguntas y de las eventuales res- dicador p_uestas que se han predefinido. • Definir las preguntas o itemes. Las preguntas derivan de indi Formulacion y tipos de pre cadores los que, a su vez, forman guntas de Ia entrevista parte de variables y de conceptos mas Una entrevista estructurada bien · amplios.Esta relaci6n se mues tra en el construida presupone un conociejemplo siguiente: Variable Percepci6n de la organizaci6n
Indicador Utilidad de la orga nizaci6n para resol ver problemas
organizaci6n le ha resuelto los problemas de cn dito?
Utilidad de la organi zacion para representar los intereses del grupo frente ala autoridad
c_ El
Tipos de preguntas Existen·varios tipo-s de pregun tas y formatos para presentar las res puestas eventuales. Las mas utili zadas son la s siguientes: Elecciones dicot6micas: se solici ta optar e ntre dos alternativas.
GTrabajo usted la ultima semana? 51
no
..,.... Pregunta
CJ
CJ
Inventario: se solicita optar por una de las alternativas presen tad_a.:?-..
c_ La
dirigente es recibido por la autoridad? c_ Cuanto
tiempo estudias a la se- mana ? • No estudio.
CJ • Menos de una h o ra.
CJ • 1 o 2 horas.
0 • 3 horas.
CJ • 4 hora s.
0
• 5 horas
0
0
mas.
Elecciones multiples: se solicita mar6u varias alternativas frente a una pregunta ya que no existe una sola respuesta "correcta".
Una buen dirigente debe: • saber escuchar • saber interrumpir • delegar responsabilidades • hablar adecuadamente • imponer su autoridad • crear cohesion de grupo
0 0 0 0
-o
Escalas tipo Likert: Se solicita una opinion o juicio valorativo ante una co-nducta observada: Los jovenes que se agrupan en la esquina son drogadictos • enteramente de acuerdo 0 • de acuerdo 0 • indeciso 0 • no estoy de acuerdo 0 • en absoluto desacuerdo 0
" -
•
-
Recomendaciones para Ia formulacion de preguntas
•
I
i
- l
recha
De ben ser claras y comprensibles para los eritrevistados. Evitar terminos co_nfusos o ambiguos.
• Las preguntas no deben income dar al re_§pondiente: evitar _ba cer preguntas que generen zo como por ejemplo: (..consume usted droga? Mejor preguntar por te rceras personas cercanas como ami_gos o parientes. •
Las preguntas deben refer irse a un s6lo aspecto o relaci6n 16gi ca: evitar preguntar por dos 0 mas aspectos en una misma pregun ta como por ejemplo: (._acos tumbra a pegarle a sus hijos y dis culparse despues?.
•
No deben inducir las resp uestas: evitar hacer preguntas que im plicitamente llevan a una respues t a, como por ejemplo: (.Co n side ra usted que el golpe dana la sa lud menta l de los ninos? En l as preguntas con varias a l ternativas donde el entrevista do s6lo debe elegir una, puede que el orden de presentaci6n de las altemativas afecte las
•
V d s e e d
t e
es un buen sustituto de la observaci6n diD1seno y Evaluac16n de Proyecws
recta e instrumento indispensa ble para cuantificar_ o apreciar las tendencias de opinion en un gn.i po o poblaci6n. Por o tra parte, fa -·· cilita la codificaci6n y analisis pos terior. Asf tam bien estas preguntas requieren de rnenos esfue rzo por parte del entrevistado,ocupa me nos tiernpo y es mas simple de responder. Para poder forrnular preguntas ce rradas hay que anticipar las posibles alternativas de respuestas que pue den da r los sujetos. Asf tambien hay que asegurarse que los sujetos que responden en tiendan y cornprendan las categorfas de respuesta. El conocirniento previa y la ade cuada operacionalizac6n de concep tos y variables son requisites esen _ciales para un buen _diseno del ins. trumento. La validaci6n de las .preguntas y de su estructura 16gi ca y seman tica. es fundame ntal para asegurar la comunicaci6n en tre entrevistador y entrevistado y para que este ultimo responda la pregunta en el campo semantico en que fue formulada. Una de las lirnitaciones del ins trumento tiene relaci6n con lave racidad de l as respuestas. Se ha com probado que los sujetos tienden a construir una image n positiva d e si mismo o normal frente al sujeto que lo entrevista. Por esta raz6n, sus elec ciones seran aquellas que mejor dan cuenta de esa imagen de normali dad la que no n ecesariamente res ponde a lo que cree o piensa (Pour tois, J.P., 1992). Por o tra parte, las respuestas pueden ser limitadas en c u a nto al campo de
opc ion es que oto rga al
-
I
f f.
!
!.
II
!
I
_
sujeto o bien clasificar de un modo muy simple respuestas que tie nen matices y complejidades mayores. En estos casos el entrevistado ter mina por adaptarse a la estr u ctu ra presentada, man teniendo un ritmo formal de respuestas y des cu id ando los aspectos sustantivos o de contenido. De este modo el riesgos que los sujetos acomode-n sus experiencias y sentimientos a la s categorias del investigador.
OBSERVACION La observaci6n es una tecnica que se desar-rollo originalmente en el te rreno de l a etnografia y de la an tropologia con el oftj-etivo de regis trar y comprender las practicas -culturales de los pueblos estudia dos. Posteriormente en los anos 20 la es c uera de Chicago utiliz6 la observaci6n directa para analizar los modos de vida en las sociedades in d ustri alizadas _
--
[
En los aiios siguientes y, con el predominio del positivismo, la ob se rvaci6n etnografica se co nside r6 como una tecnica no cientifica en comparaci6n con la observaci6n de laborator-te o la que se hacfa en el marco de estrictos disenos expe rim enta l es de investigaci6n. En los ultimos anos, y con la impor tancia de los paradigmas interpre tativos y hermeneuticos en ciencias sociales la observaci6n natural y di recta ha vuelto a considera rse como una de Jas mejores herramientas para dar cuenta de la acci6n social y del funcionamien t o co tidiano de
i f.
l a soc ied ad.
I!
!
Diseno y Evaluaci6n de Proyecros
Definicion
Es un proceso de atenci6n volun taria, intencional u organizada ha- cia un objeto, situ aci6n u acci6n en un contexto determinado. Permi te llevar a cabo un registro siste matico, valido y confiable de com portamientos o conductas manifies tas (Herfl_andez R., e t aL,l994) _ La observaci6n es un proceso que supone un acto de atenci6n o de concen traci6n so bre dimensiones y eventos de la re alidad que inte resan estudiar con profundidad. De este modo se trata de una activi dad orientada por un objetivo ter minal y organizador del mismo proceso de observaci6n (De Ketele, J.M., 1993). ' TIPOS DE OBSERVAC16N
La observaci6n tratade hechos cuando·su atenci6n se dirige hacia las caracterfsticas de la situaci6n, de los comportamientos y de las in teracciones de las personas. Sere fiere a las representaciones cuando o bserva distinciones, modos de clasificar, p_ercibir y de interpretar que los suje t os ponen en practica en contextos sociales espedficos. Es atributiva cuando la a ten ci6n se dirige a la presencia o au se ncia de objetos o elementos en una si tuaci6n; presencia o a usen cia de caracterfsticas de un objeto, situaci6n o interacci6n; presencia o ausencia de una acci6n en el ob- jeto o situaci6n observada. El es
Segun De Ke tele, J_M. (1988) la observaci6n puede referirse a he chos o a representaciones y puede ser a tributiva o narrativa_ ---- ,- fu.erzo se realiza sobre lo que pue -
b particular a par tir de su inse rci6n en el mismo cur so de acci6n o bservado. de ser a firma do o negado en la si t aci6n u objeto a o servar. Por ejemplo: Tec nica de Flanders para interacci6n profesor/alumno.. Es narrativa: cuan"do la atenci6n se dirige hacia el desarrollo de ac ciones; sucesi6n de estados (fisicos, emocionales) que acompafi.an el desarrollo de las acciones; efectos de las acciones o consecuencias ulteriores. Por ejemplo, seguimien to del desarrollo social de nifi.os; tec nica de incidentes criticos, entre otras. De acuerdo al grado de involu cramiento del observador con la si tuaci6n o bservada existe una o b servaci6n participante y otra no par ticipante o externa. En la observq.ci6n participante el in estigador se involucra en la si tuaci6n observada; intera ctua y se int-egra con los sujetos observados; busca toda la informacion posible sabre una situaci6n
En una observaci6n participante los datos provienen de diversas fuentes, el observado describe los elementos concretos de la situaci6n, transcribe textualmente las afirma ciones de l os sujetos observados, lle va un dia rio sabre sus vivencias,
per cep cio nes , ex pec tati vas , rel a cio nes co n lo_s suj
etos implicados, otros.
sentimientos,
entre
El investigador que realiza una observaci6n participante debe es tructurar la esfera de acci6n de sus observaciones. La fase inicial debe incluir observaciones des criptivas y generales qe den cuen ta de un panorama general del programa y sus actividades. Una vez realizadas las primeras observacio nes puede usarse la informacion ob tenida para enfocar las observacio nes subsiguientes. A su vez estos dat os p-€Mmiten, en una tercera fase, realizar observaciones mas selectivas para terminar en una
Observaciones desc riptivas
reflexi6n te6rica y fundada de lo ob servadG-(Pourtois, J.P., et aL,l992). La observaci6n participante con templa distintas fases las que, a su vez, definen focos de observaci6n m as precisos. Si se ocupa la tecni ca para evaluar un progra ma esta debe comenzar por hacer una des cripci6n amplia de los resultados observados. Una vez identificados y registrados )os hallazgos inicia les el evaluador puede realizar, en una segunda etapa, una observa ci6n enfocada, la que en una ter cera fase da origen a observaciones selectivas. El siguientegrafico re fleja estos niveles.
f: r
f
r i
r
i f.
'
t
ti' !
'\·
Observaciones selectivas
Observaciones en f ocadas
Termino d el Proyec to
Ini cio del Proyec to (Fuente: Sprad l ey, J.P., 1980) D1 s eno y Eva l uac1 6n de Proyecros ' •·
··1-·· ' .
I i
t
r
I
[
'
Diseno y Evaluaci6n de Proyectos
En la Qbservaci6n no participante ·el invest igador es externo 9-l con-_ texto y situacion que se observa. Su rol es la de ser un especta d or. Estas o bservaciones se car_acte rizan por concentrarse en acciones o si tuacion es espedficas y dirige la atencion a traves de pautas o encasillado(grille) de observacion que permiten clasificar las conductas o acciones observadas. El observador
t
1
"i; f
t
t
•
unidad temporal. Se clasifica lo op servado en tiempos diferentes. Cada-- tres, 5 o 10 minutos o, bien, cada una ho ra . Por ejem plo, en una reunion cada 5 mi nutos se codifica la interaccion
de observacion ha sido previamen no interviene en la situacion te definida.
y la gufa
1'
t
da s por el o bservador antes de aplia r su pauta o esquema de cia sificacion de lo observable. Las unidades fi!aS frecuentes son las si guien tes:
La pauta de....observacion es un ins trum en to que define las condu ctas a observar en una situ acion deter minada (Diuana, M., et al., 1990). Es un siste.m.a d e filtrad o y de re glas de
del grupo. uso para una clase determi nada de problemas (Massonat,J, 1989). A las condu ctas observadas se les a tribuye un sentido y dire.c cion de acuerdo al conocimiento pre vio de la situacion o las hipo tesis formuladas por el estudio. Cada una de estas co ndu c t as constituye un item de observacion.
L os ite ms de obs erv aci on son ca teg orf as, ge ner al me nte, exc lusi vas y uni di me nsi o nal es. Se tra
7
ta de ca tegorias exclusivas cuando lacon dt.icta observada es clasificada en una so l a de las catego rf as y so n unidi mensionales cuando el evento ob servado se clasifica solo una vez. El numer o de categorfas depende del proble ma y del caracter experto de l os observadores. Es mu y dificil o bservar mas de 10 categorias. Para realiza r la o_bservacion es ne cesario definir n o solo e l foco sino que tambien una unidad de obser vacion . Estas unidades son defini-
•
u nidad de locutor o actor. Se cla sifica solo las conductas obser vadas de locutores o actores pre viament e definidos. Por e jemplo, solo la conduc ta de profesores; los dialogos del monitor, e tc.
• Otras unidad es so n las de cam bio de contenido; cambio de lu gar o ca mbio en la direccion del coinportamien t o (De Ke tele, J.M., 1988) VENTAJAS Y DESVENTAJAS DE LA OBSEI
La o bservacion direc ta es un instrumento adecuado para dar cuent a de practic a s, interacciones y otros eventos observables. Su uso cada vez es mas extensivo para a naliz a r la s intera ccio nes de pro fesores y alumnos; e ducadores y educandos; reunio nes de trabajo; sesio n es de terapia o tratamient o en hos pitales, et c.
II
Se trata de una t ec nica de me dicio n no obstr usiva . Es decir, el ins trum e nto no es ti mula el com por tamiento de los sujetos. Simplemen te registra algo que fue ocasio na do por otros factores aje n os al ins t ru me nto de med ici on .
Por ultimo se indica como ven taja el hecho de que produ_ce regis tros y da cuenta de situaciones o eventos de un modo acorde ala rea lidad observada.
y que son seleccionadas en funci6n de rasgos· omunes que comparten £rente al t6pico u bjeto conver saci6n . .
La subjetividad de la observaci6n y de las clasificaciones constituye una de las principales desventajas de la tecnica . Para enfrentar este pro blema existen procedimi ntos de control y de verificaci6n de la fia bilidad de las categorfas de clasi ficaci6n (De Ketele, J.M., 1988).
El grupo debe reunir el maximo de hetei'ogeneidad de discursos o de opiniones al interior de rasgos comunes pre establecidos en los cri tetios de com posicion la mues tra. En otras palabras, los par ticipantes deben estar en una re laci6n simetrica sin diferencias de pbder que inhiban la palabra de uno de ellos (Ibanez,}, 1986). Por ejem plo, un grupo con empresarios y obreros es asimetrico y dicha rela ci6n afectara la conversaci6n. En cambio, grupos compuestos por mujeres solteras j6venes y adultos ode trabajadores j6venes sin escue la tienen un caracter simetrico aunque reunan una gran diversidad de casos en su interior.
Para una observaci6n de calidad se requiere de una observador pre parado y de bastante tiempo de ob servaci6n . Estos requisitos encare cen las posibilidades de aplica ci6n de la tecnica en procesos evaluativos qu, por lo general, no tienen mucho tiempo ni recursos para verificar a traves de observa ciones largas y continuas las pra. c ticas y comportamientos que se espera hayan sido producid o s por los proyectos de intervenci6 n .
de
de
El Grupo Focal se realiza varias veces con un tipo similar de par ticipantes o grupo e int er es. En cada nuevo grupo se verifican los avan ces logrados en el grupo anterior GRUPOS FOCALES y se profundizan los temas que apare cen como centrales o estruc El grupo focal es un tipo parti turales. Cuando las conversaciones cular de grupo en terminos de su de los participantes de los sucesi prop6sito; tamano; composici6 n y vos grupos ya no aportan nada procedimientos (Krueger, R., 1989) . . nuevo o, expresan con otras pala bras las ideas ya conocidas estamos El objetivo del Grupo Focal es £rente a una fen6meno de"satura producir una conversaci6n o dis ci6n". Es decir, se ha lo g rado cap curso tipico y cotidiano en un gru tar los elementos claves del discur po de personas sobre un tema cen so de un actor frente a un pro ble tral. De est e modo permite con o rna o tema determin a d o . cer la f o rmaci6n interactiva de c oncepto s y de interpretacion es sobre la realidad social. El taman o del grupo puede fluctuar entre 7 y 10 personas desconocidas entr e si Diseno y E va luaci6n de Proyec ros
r
I
!·
![
;
Disefio y Eva1uaci6n de Proyectos
-
PROCEDIMIENTO DE TRABA JO PARA LA ORGANIZACI6N -oE UN GRUPO FOCAL
sentimientos, y opiniones de los par ticipantes. Debe ser mplia y sufi cientemente aislada del ruido ex terior.
Definicion de Ia mu_estra y del punto de habla La- grabadora tiene que estar La muestra es definida por el instalada y se debe probar con an equipo evaluaaor. Los participan-- terioridad para que no exist an pro _tes deben pertenecer a los grupos blemas en el curso de la conversade interes con los cuales se relacio . cion. na el programa o el proyecto. Por ejemplo, los beneficiaries directos; La reunion no debe durar mas de los vecinos de la comunidad; los pa dos horas y se inicia ala hora prodres de los ninos; los que se opo . gramada. Los productores de la nen al proyecto, etc. Cada uno de reunion no de ben permitir atrasos estos actores representa un"pun ni retiros en el curso de la sesi6n. to de habla", es decir, una . posicion Tales incidentes afectan la con desde la cual el actor organiza sus versacion y la organizacion que se opiniones y discurso sobre el tema. va construyendo. Un grupo no debe contar con mas de 10 personas. Si supera esta can tidad la conversacion se hace com pleja y diffcil de controlar. Produccion del Grupo El grupo productor se hace res ponsable de invitar y de confirmar a cada uno de los participantes siempre que estos cumplan los re quisitos explicitados. El dfa de la reu nion uno de ellos los recibira en sa lon preparado y, si es necesario, completara los datos de la ficha per sonal de cada participante. Anima dares y observadores tienen que evi tar el contacto previo con los par ticipantes . Permaneceran eun salon contiguo. La reunion de grupo debe rea lizarse en un lugar apropiado y accesible. Lasala de reunion debe tener un valor neutral para los participantes y se debe evitar que exis tan posters, avisos, cuadros, etc., afines a los temas de conver sacion o que afecten las creencias,
Protocolo o pauta de conversacion -se trata de una guf-a que apoya al moderador en la conducci6n de la reunion. Contiene las preguntas claves que deberan orientar lacon versacion y que introducira en los momentos adecuados producien do giros en la conversacion hacia el tema central que se investiga. No es una pauta de entrevista sino que una gufa de preguntas, temas o eventos a trabajar en la conver sacion. El moderador debe evitar que la conversacion se estructur.,g.en tor no a respuestas a preguntas que el hace. Por el contrario, debe buscar que sea el grupo el que busque res puestas en1fe- si, se haga nuevas pre guntas y exprese tanto sus acuer dos como diferencias. · El moderador es apoyado por uli observador que no debe intervenir en el curso de la reunion. Su papel · es dar asistencia practica para el des arrollo de la reunion (por ejemplo, preparar y estar a ten to ala graba-
I I
d9n) y realizar la observacion de la interaccion propiamente tal. Es conveniente que el observador ten ga una pauta donde registre inci dentes itnportantes de la conver sacion; los turnos de habla de las personas; y otros aspectos relati vos con la interaccion (conflictos, relaciones de poder, interrupciones, etc.) -importantes de considerar posteriormente en el analisis de los datos. La re un io n o sesion de grupo El conductor del grupo debe crear un ambiente relajado y flexi ble de conversacion. Los autores di fieren en cuanto al rol o importan cia que el conductor puede ejercer en la conduccion y entnarcamien to de la reunion . Para algunos este solo debe declarar el inicio y tema general de la conversaci6n (Ibanez, J.l986) y, para otros, debe ir rnale jos al formular
sucesivas pre gun- tas y cuidar que todos den su opi nion (Kru e ger, R ., 1989) . La fun cion principal del anima dor es producir una conversacion activa entre los participantes to man do distancia, a su vez, del grupo que se constituye en el transcurso de la conversacio n. El moderador no debe emitir juicios sobre las opinio -
D1 seno y Evaluaci6n de Proyec ws
nes ni involucrarse en los intere ses expuest os. Es conveniente qe en la mitad de la reunion el moderador reali ce una interrupcion breve de des canso para tomarse un cafe o un re frigerio. Es la oportunidad para _ que el grupo baje sus tensiones; se rompa el enmarcamiento formal y se establezca por minutos otro tipo de relacion entre los participantes. Por lo general, en estos momentos de descanso el grupo sigue conver sando sobre los temas planteados, introduce nuevas categorfas o dis tinciones y se producen acuerdos y arreglos a soluciones conflictivas si estas hubieran ocurrido . Este espacio es tambien una ocasion que animador y observador debenapro vechar para revisar sus notas; se leccionar temas, situacione?, anec dotas y otros relatos para focalizar la conversaci6n en la segur:tda par te de la reunion . Al finalizar la reunion el anima dor debe conducir hacia un cierre adecuado. El cierre debe preparar se con minutos de
anticipacion ya que constituye un verdadero ritual que de clara la disolucion del gru po organizado para
efectos de conversacion.
esta
Disefio y Evaluaci6n de Proyectos
LA SESION DEL GRUPO FOCAL
Para iniciar Ia sesi6n, el moderador s_aluda a los participantes y pre senta al observador con elfin de establecer un contacto amistoso y cre ar armonia. Etiquetas o tarjetas con los nombres de los participantes ayudan a establecer una buena atmosfera y apoyan el reconocimierr to personal. De ser posible, deberia servirse algun refrigerio sencillo. I
I
Una vez instalados los participantes, el moderador explica la ra z6n par la cual se ha intt:grado el grupoy la neeesidad de quelos in-_ tegrantes cooperen. El moderador anima a todos los participantes a ex presar cada cual, libre y espontaneamente sus puntas de vista, expe riencias y sentimientos, hacienda de nuevo hincapie sabre el cardcter confidencial de la discusi6n, cuando fuere apropiado, y el hecho de que nadie sera identificado en el anal isis de los resultados. Todas las dis cusiones se graban ya que !10 es posible tamar notas durante una dis cus ion colectiva dina mica. La grabadora puede estar a la vista de los participantes y el moderador explicard la presencia de esta.
-
Par lo general, el asunto principal de la discusi6n no se plantea al principia, sirto que el moderador comienza refiriendose a algun tema relacionado con elfin de permitir que el grupo comience la discusi6n. cas responsabilidades primordiales del moderador cons is ten en guiar la discusi6n, animar a cada integrante del grupo a participar, limitar la participaci6n de aq rellos que traten de dominar la discusi6n, y ase gurar la cobertura de los principales aspectos. Los participantes de ben sentir que hablan entre sf de.una manera natural; lo ideal seria que no se dieran cuenta de que el moderador les va 'conduciendo' de un tema a otro . . (Fuente: Andrade, S., 1995:23)
Transcripcion y Analisis La reunion debe ser transcrita o desgrabadaintegralmente. La reu nion se convierte asf en un regis tro 0 material de base para el ana lisis. La transcripcion debe incluir el maximo de detalles posibles de la interaccion grupal ya que todos ellos han incidido en el curso de la conversaci6n:. Por ejemplo, los cam bios de tonos; los silencios; las ri sas; interrupciones, etc. son verda deras"huellas"de la interaccion que quedan registradas en el texto y per-
h
miten analizar la organizacion y tra yectoria de la conversacion. Posteriormente el texto es some tido a un analisis que requiere dis tintOs niveles de profundidad se gun el objeto y necesidades de la investigacion. Para el analisis del grupo focal existen tres grandes pro cedimientos de trabajo: cualitati vo o etnografico; analisis conver sacional y analisis de contenido. El analisis cualitativo o etnogra fico tiene por objeto describir y comprender desde la perspectiva de
• ----
los participantes los conceptos y dis El Analisis Conversacional tietinciones que han establecido du . ne por objeto l_a descripcion e in- · rante la conversacion. Como sena terpretacion de los procedimientos lq_, E.Rockwell (1980) este tipo de ana que los sujetos emplean para pro lisis pretende dar cuenta de como ; ducir organizada y coordinada los actores sociales consrruyen lo que mente un discurso (Gumperz, J., consideran real y cuales son las 1990; Bange,P., 1992; Kerbrat Ore determinaciones y posibles trans chioni,C., 1996) . Para este formaciones de dicho proceso. enfoque el discurso no es producto de un solo locutor sino que el Existen diferentes estrategias o resultado del dia logo y de la procedimientos metodol6gicos para influencia recfproca de los trabajar este tipo de material. En mismos. El analisis pone espe cial tre ellos cabe destacar, el enfoque atencion en el procedimiento yen de la teorfa profunda de Glaser, B., el trabajo conversacional que y Strauss, A. (1967); el analisis de realizan los actores para producir dominio y componencial de J. Spra acuerdos, expresar diferencias, en dley (1980); el analisis estructural frentar conflictos; cambiar el tema; (Remy, J., et al, 1990; Bourgois, E., etc. 1996) y el analisis de tipo herme ne..u.J:ico realizado por Ibanez, J., Para la descripcion de las con (1986, 1991) a partir de los grupos versaciones se define como unidad de djscusion. de analsis el intercambio. Los in tercambios constituyen las unida Todos estos enfoques producen des dial6gicas de cooperacion y de sistemas de categorfas o unidades coacci6n mas pequenas de cualquier mfnimas de sentidos, de relaciones conversaci6n Estas se componen, y combinaciones de estas catego al menos, de dos turnos o interven rias que permiten clasificar y des ciones de locutores diferentes (Rou cribir los principios organizadores let, E., 1993) . Cad a .uno de estas del discurso o habla de los sujetos. in tervenciones es tan integradas, a Al mismo tiempo se analiza la tra su vez, por actos de lenguaje los yectoria de la conversaci6n; los que cumplen una funci6n temas que causan conflictos y los realizativa o performativa tales que producen c onsenso; las formas como preguntar, declarar, de expre si6 n de acuerdos y disen constatar, ordenar, etc. Este tipo sos; etc . L os autores difieren e n de analisis pone mayor en fasis en cuanto a sus fundamentos con la interacci6n yen la co ceptuales; e n los procedimientos d e ordinaci6n que los sujetos realizan analisis y en e l potencial que tie entre sus actos de habla para pro nen sus categorfas para realizar ducir cooperativa mente un dis inferencias te6ricas mayores. En es curso. to s ca sos la unidad de analisis es el grupo y la interpretacion se Por ultimo e l analisis de conte ori e nta a la comprensi6n del p e nido o codifi ca ci6n sistematica n samiento d e un actor o grupo de propane la descripci6n numerica de in teres y n o de un individuo s datos a partir d e la identificaci6n en particular. de categorias o d e unidades mini mas de analisis. El objeto noes de tectar tendencias propiamente tal Diseno y E va luac i 6n de Proyecr os
!' -
J)i s eno y Evaluaci6n de Proyectos
sino que, mas bien, pro bar hip6te sis conceptuaies o ioterpretativas sobre la organizaci6n y sentidos del di.scurso analizado (Morgan, D.-L., 1990) . Ventajas y desventajas del grupo focal Esta es una de las tecnicas fre cuentemente_ utilizadas por la in vestigaci6n social de tipo cualita tiva. Sin embargo, su uso para la eva luaci6n de proyectos sodales es reciente. Los datos fundamentales que entrega la conversaci6n grupal refieren a representaciones e inter pretaciones que permiten ancrlizar las percepciones y valoraciones que los sujetos tienen de los pro yectos, sus procesos y resultados.
Por otra parte, si se asume una estrategia de analisis conversacio-
b
nal o de tipo pragmatica la obser vaciQ.n de la !nteracci6n conversa cional permite constatar ellogrq de resultados en el campo de las ha bilidades comunicativas; autoestirna; adquisicion de valores de to lerancia y escucha, entre..otros. La complejidad del analisis y los problemas metodol6gicos que plan tea trabajar con "discursos grupales"y no individuales cons tituye una de las debilidades de la tecnica ya que el investigador pier de control de la generaci6n de la opinion (Morgan, D.L.1990). Por otra parte, el exito de la tecnica ra dica en gran parte en la composi ci6n del grupo y en la capacidad tecnica y experiencia del animador. Esto impide que sea un instrumen to facilmente replicable ode bajo costo.
INTEGRADA A LA
I
DE
Resumen lares relaciones entre los elemen En los capftulos anteriores se han tos del proyecto, el problema que analizado los elementos del proyec se quiere enfren tar y las condicio to, la 16gica de la intervenci6n y sus nes sociales o caracterfsticas del en hip6tesis. En este capitulo se de torno en el cual se actua. finen tipos de evalua.£i6n y su re laci6n con los elementos que com Por ejemplo, si el proyecto actua ponen un proyecto. Se ha plantea sobre ciertas variables o dimensio do a lo largo del texto un enfoque nes de la realidad -la causa de los don de la evalu ci6n es parte con problemas- y en determinadas sustancia-1 de la vida del proyecto. condiciones -explicitadas en los Hay evaluaci6n antes, durante y des · supuestos externos- se producen pues del proyecto. Cada una de ellas. cambios en la situaci6n problema tiene su especificidad en cuanto a que se desea resolver. objeto, diseno y herramientas me todol6gicas de trabajo. En este ca Cada uno de estos elementos o pitulo se analizan los distintos fo componentes del proyecto da cuen cos o niveles de evaluaci6n al in ta de practicas y de acto res espe terior del proyecto y la importancia cificos cuyas interacciones, al cam que tienen para el aprendizaje y des biar, prciducen efectos en otros arrollo del mismo. campos, practicas y actores. Elmo delo ilustra asi un complejo juego de relaciones entre varios niveles y las mediacione£-tanto internas E"LEMENTOS DEL como e:xternas que inciden y orien PROYECTO Y FOCO tan dichos cambios.
DE LA EVALUACION Losconceptos claves de un proyecto son los recursos, las actividades, los productos, los objetivos y supuestos externos. Estos conceplos, se relacionan entre si de un modo 16gico y consistente dan do origen a las hip6tesis del proyecto. Estas hip6tesis afirman particu-
La evaluaci6n del proyecto debe dar cuenta de los resultados obtenidos como consecuencia de las actividades realizadas. Es decir, verificar los cambios logrados en la situaci6n problema o en los acto res y productos necesarios para lograr tales cambios. La evaluaci6n estudiara, en otras palabras, lava lidez de las hip6tesis y de las re-
---
I
laciones planteadas por elproyec to de acuerdoa criterios e indica dores validados de un modo inter no y externo.
to no realiza todas las activida des y el proceso causal previsto ..
Siesta relaci6n ha sido efectiva se produciran cambios en los indi- cadores o linea de base definida y, se puede concluir, que las relacio nes establecidas han funcionado de acuerdo a loprevisto. Estamos frente a un proyecto exitoso. Si la relaci6n ha sido negativa no se verificaran los resultados espe rados y la evaluaci6n tendra que po ner particular atenci6n en explicar y comprender por que ello no ha ocurrido asi.
• Es falla en l.a teorfa del proyec to cuando, habiendose realiza do las actividades y desencade nado el proceso causal previsto no $e producen los efectos e impactos esperados. Es decir la hip6tesis planteada no ha fun cionado y la relaci6n propuesta no resulta ser efectiva.
En este caso, la mirada hay que dirigirla hacia el diseno op_erativo, la teorfa del proyecto o la factibi- lidad del mismo . -
• Es falla en la factibilidad del proyecto cuando nose logran los cambios esperados porque nose cumplieron los· supuestos ex ternos y condiciones del entor no social e institucional para que ello ocurriera. Si esto es asf ni el proceso causal ni las rela ciones establecidas han podido funcionar.
• Se trata de una falla en el dise no operativo cuando el proyec-
El siguiente esquema basado en Weiss, C.(1992) muestra las rela ciones definidas.
TIPOS DE PROBLEMAS EN PROYECTOS
Exito
Proyecto-> Puso en mo->
Falla en
Proyecto-> Puso en mo > Proceso-> causal --- conduce a esperados
Falla en diseno Opera tivo
Proceso-> esperados
que con-> cambios vimiento causal duce a
que NO-> cambios teorfa
Proyecto-> NO puso en -> Proceso-> movimiento causal
que ->
mien to
cambios conduce a esperados
Diseno y Evaluacion de Proyecros
ELEMENTOS DEL PROYECT_O Y TIPOS DE EVALUACION La r_elaciones que existen entre los conceptos de base de los pro yectos
dan origen a distintos tipos y focos de evaluaci6n. _
El primer foco estudia la eficien cia de los proyectos y tiene como objeto el analisis de los recursos o insumos utilizados para realizar las actividades y obtener los resul tados o productos esperados. Esto es, el analisis de los
costos o recur sos realmente utilizados para ge nerar una unidad de productos en relaci6n con el costo programado para la misma 'Unidad de produc to en un tiempo determinado. Un proyecto es eficiente si hare cibido oportunamepte los insu mos; ha tenido un adecuado gas to y no ha producido deficit en su. operaci6n. Es decir, si ha optimi- - - zado el uso de los recursos mate riales y humanos de los que dispo ne (Martinez, F., 1994). El proyec to es mas eficiente si, minimiza el costo total o promedio por unidad de producto o, si el gasto esta pre fijado, busca optimizar la combina ci6n de insumos para maximizar el producto (Unicef, 1991; Cohen, E., et al., 1992). Algunas de la preguntas de eva luaci6n que se relacionan con la efi ciencia son las siguientes 1 : • z.Se administr6 bien la ejecuci6n del proyecto?
Dis efio y Evaluaci6n de Proyec
z.Se emplearon las alternativas · mas eficaces en funci6n deLces to de administraci6n del proyec to? • z.Existi6 una coordinaci6n.ade cuada con otras inrervenciones? • z.Los recursos se emplearon en las actividades diseii.adas? • z.Los recursos econ6micos des tinados fueron suficientes?
f/1
Para hacer esta evaluaci6n se deben analizar, en primer lugar, los indicadores de actividades y los su puestos externos planteados para ese nivel y que se han descrito an teriormente en la matriz 16gica del proyecto. Luego, el evaluador pue de realizar calculos particulares en torno a eficiencia y productivi dad de las actividades realizadas. El segundo foco es la evaluaci6n de procesos y estudia la relaci6n existente entre las actividades y los productos o resultados alcanzados por las mismas actividades. El objeto de analisis son lo.s resultados de las ac tividades realizadas por el proyec to y que se expresan en cambios en la realidad material; en los co no cimientos o informacion que se tiene sobre un tema o problema; en las relaciones sociales y sistemas de comunicaci6n entre quienes son afectados por el problema y los ac tores o grupos que causan tales pro blemas. Siguiendo a G. Briones (1985) dis tinguiremos dos tipos de procesos. En primer lugar, aquellos relacio nados con el mantenimiento o fun cionamiento en el programa y, los segundos,. relacionados con los
Nos hemos basado en BID/eva (1995)
'
j.·.
b
•----
procesos interactivos a traves de los cuales se transmiten y adquieren ntievos.conocimientos, habilidades y practicas para solucionar el pro- blema identificado.
La evaluaci6n del primer tipo de procesos suele concentrarse €n el estudio de la eficiencia descrito anteriormente. El segundo tipo de procesos se concentra en el anali sis de las interacciones pedag6gi cas y comunicativas
entre los agen tes institucionales; en el manejo y · uso de textos o materiales educa tivos; yen los aprendizajes o ha bilidades adquiridas por lo bene ficiarios en tanto estos forman par te de los productos garantizados directamente por el proyecto (Ri chards, H.,1987; Bezerra, A., et al, 1995; Martinic, S., 1995) El tercer nivel o fo-co lo consti tuye la evaluaci6n dl_a eficacia o efectividad de los resultados o pro ductos del proyect o. Esta sera de finida como l a relaci6 n que existe entre resultados o productos y · Objetivos espe cificos o intermedios del proyecto. Es el analisis de los efectos que resultan de la utiliza ci6n del conjunto de productos en los beneficiarios directos y ac tores que inciden en la soluci6n del problema . Entre las preguntas claves de est e tipo de evaluaci6n se destacan las siguientes: • 2_Se obtuvieron l os productos o resultados d e l pro yecto en la cantidad y c alidad estimada? • Los productos o resultados (_pro dujeron los cambios esperados en los b e neficia rios directos del proyecto? Di seno y E valuaci6n de Proyec ros
•
2_ Que otro tipo de cambios pro dujo el proyecto en el entorno in rri.ediato de los·beneficiarios y'de · la intervenci6n? • 2_ Que incidencia tienen los su· puestos externos y el entorno del proyecto en la consecuci6n o no de los cambios en los bene ficiarios directos?
Para eCanalisis de la efectividad se debe verificar los indicadores y la relaciones establecidas en los ni veles de los productos o resultados y de objetivo especffico de lama triz l6gica de proyectos. Se deben considerar los supuestos externos y las hip6tesis establecidas por el proyecto. La evaluaci6n de la efec tividad da cuenta de la teoria del proyecto y su apuesta central para producir los cambios deseados. La relaci6n que se establece en tre los recursos o costos empleados y la efectividad da origen ala eva luaci6n costo-efectividad . Este tipo de e valuaci6n tiene por objeto el analisis de los costos en relaci6n con l os beneficios obtenidos o cambios logrados en los beneficiarios direc tos y su situaci6n problema. Sin em bargo, la particularidad de este foco o nivel de evaluaci6n es la com paraci6n del sistema o estrategia evaluada con otros sistemas yes. trategias tecnicamente viables o en ejecuci6n dirigidas ala misrna po blaci-6-n objetivo para enfrentar problemas sirnilares. Este tipo de evaluaci6n se ha presentado con mas detalle en el capitulo 7. Por ultimo, el cuarto foco es la evaluaci6n de impacto y que estu dia los cambios producidos en la si tuaci6n problema central y que af e cta a los beneficiarios indirec-
Oiseno y Evaluaci6n de Proyectos
tos y final del proyecto. En otras pa. labras son los resuJtados de los efec tos intermedios iridentificados que estan relacionados co_n los pro ductos y actividades desarrolladas por_ el proyedo (Cohen, E. y R. Franco, 1992: 93).
y
La pregunta central que debe res ponderse en este nivel es que cam biq se haproducido en los benefi ciarios indirectos o de impacto o que diferencia ha construido la inter-
venci6n en la realidad o dominio de trabajo (UniceC 1992:67). En este nivel el objeto de analisis es la contribuci6n que realizan." · los logros obtenidos a nivel de obje tivos especfficos o resultados inter medias a cambios mayores en la si tuaci6n problema o realidad social de los ninos y familias. La siguiente figura muestra los distintos niveles o focos de evalua cion que se han establecido.
ELEMENTOS DE PROYECTOS Y TIPOS DE EVALUACI6N
PROCESO r--
- EFECTIVIDAD r-- -
,
-
ACTIVIDADES
PRODUCTOS
. ..
-
-
..
IMPACTO
-
,
-
EFECTOS
IMPACTOS
EFICIENCIA
COSTOS 0 INSUMOS
-
-
-- -
COSTO/ EFECTIVIDAD
--
..,
Algunos autores no realizan la distinci6n que hemos establecido entre efectos e impactos:En estos casas se habla, indistintament€, de objetivos o resultados. Es cier to que, conceptualmente, ambos te_r minos aluden a efectos o resulta dos. Es decir, dan cuenta de cam bios en la linea de base o situaci6n prQblema. Pero, como lo hernos seii.alado,- estos son de distinta tipo ya que difieren en el tiempo, en los actores involucrados yen el nivel o dominio de la realidad en la cual interviene el proyecto. Por esta ra z6n, es recomendable establecer esta . distinci6n con el fin de dar cuen ta de la especificidad y de las re laciones que existen entre los re sultados intermedios o efectos y los resultados finalo impactos. Noes necesario aplicar todos es tos niveles y tipos de evaluaci6n para analizar los resultados de un pro yecto. La elecci6n del nivel o foco dependera de la etapa en la cual se encuentre el proye cto, de los recur sos y tiempos disponibles y de los destinatarios y fines de la evalua ci6n. Mientras mayor es el nivel ma yor es tambien la profundidad y complejidad de la evaluaci6n . Para llevar a cabo la evalua ci6n, cualquiera seala relaci6n o nivel por el cual se opte, se deben considerar otros dos aspectos. En primer lugar, los indicadores y los instrumentos de verificaci6n que permiten dar cuenta de los lo gros o resultados obtenidos en cada una de la s etapas del proyec to y, en segundo lugar, los facto res externos que estan fuera del
control del equipo ejecutor del proyecto pero que condicionan la o.btenci6.n de los resultados espe rados. A medida que se aumenta en el nivel de la evaluaci6n au men ta tambien la complejidad de los indicadores y la importancia que adquieren los factores externos en los cam bios que espera produ cir el proyecto. _ En sfntesis las relaciones conte nidas en un proyecto sean estas in ternas o externas dan origen a dis tintos tipos de evaluaci6n de acuer do al foco u objeto que se seleccione para el estudio evaluativo. Hasta ahara hemos puesto en fasis en la 16gica interna, es decir, en las relaciones establecidas en las hip6tesis y teorfa del proyecto. Sin embargo, esta vision debe ser com plementada con un analisis de la relaci6n que tiene el proyecto en su conjunto y cada uno de sus com ponentes con el entorno o la rea lidad externa en la cual se desen vuelve . El analisis de los supues tos externos y de la condiciones que afectan el desarrollo del proyecto es un primer paso en dicha direc ci6n. El paso siguiente es realizar una mirada apreciativa o interpre tativa sobre las interacciones del sis tema del proyecto con su entorno o sistema en el cual se inserta. De este tipo de analisis obtenemos elementos que ayudan a compren der mejor los resultados e impac tos obtenidos y verificar, a la vez, cambios no prograrnados ni espe rados y que deben tener un espa cio destacado en la evaluaci6n.
Diseno y EvaluaciOn de Proyecros
Resumen En este capitulo se abordan las relaciones que existen entre los elementos del proyecto entre sf y
de este con su entorno. La defini cion de estas relaciones y la direc cion de las mismas es el objeto de los modelos de evaluacion. Un mo delo es entonces, un modo concep tual de organizar las relaciones que el proyecto establece y -que re presentan los resultados- esperados del proyecto y las facto res que pa recen incidir en
los mismos. Exis ten distintos tipos de modelos de acuerdo al tipo y complejidad de las relaciones que establecen.
MODELOS
RELACIONES CAUSALES: BASE DE LOS MODELOS EVALUATIVOS . Como se ha planteado la evalua cion de proyectos es el estudio de las relaciones que proponen los pro yectos a traves de sus hipotesis y logicas de intervencion . La evalua cion, por tanto, supone que exis ten relaciones causales ode proba bilidad entre los elementos del proyecto y entre estos y los facto res del entorno que inciden en su desarrollo .
Una relacion causal es diferen te a la correlacion que tienen las va riables entre sf. En efecto, podemos demostrar que la calidad del apren dizaje en un taller de capacitacion s.e...c:orrelaciona altamente con la am plitud del espacio ffsico del aula. Si bien es cierto existe correlacion entre las variables no se puede -..afirmar que entre elias hay una re lacion causal. Para que una relacion sea causal debe existir correlacion pero, adema.s, la variable indepen diente debe ocurrir antes que el efec to e incidir, claramente, en ella (Hernandez, R ., et al, 1994:86). De este modo la relacion causal no solo establece correlacion entre dos o mas variables sino que una direccion en dicha relacion. No es objeto de este capitulo analizar en toda su complejidad el problema -tie la causalidad en el estudio de los proyectossociales. Solo explicitaremos algunas nociones basicas que nos ayudan en la cons truccion de modelos evaluafivos. Segun Stichcombe (1969) una causa es un proposicion o un enun ciado que dice que:'/ dado cierto con texto un cambio en el valor de una variable va asociado con un cam bia en el valor de otra variable y pue de producir este cambio sin que es-
I
•
rb
" cion, estarri.o
. ten presentes cambios en otras va L· -i.,•
,·
s £rente a una propo-
I
r
riab les del con fext o"l.
Sixes la causa, y el efecto y (->) indica una relacion de determina-
sicion causal bivariada que se re . presenta de la-siguiente inanera: X-'-
Por ejemplo
>y
..
baja tolerancia al estres y ala frustraci6n Sin embargo, como sefi.alan Co hen, E. et al (1992) siendo x una va riable singular existen otras posi bles fuentes de variacion dey o for-·
mas consumo de psicoactivos
mas alternativas de determinacion. De este modo en y pueden incidir variables v, w, z constituyendose una relacion causal multivariada.
Por ejemplo Baja tolerancia al estres Deficit de asertividad .
Frecuentar amigos consumidores
Por otra parte, es importante considerar que las relaciones cau sales propuestas, por lo generat ocu rren en condiciones necesarias de considerar. Por esta raz6n es con veniente precisar el peso que tie ne una o varias variables intervinien-
tes en la relacion causal afirmada en la proposici6n o en la hipotesis de intervenci6n del proyecto. Est as son las relaciones con va riables intervinientes y que se re presentan de la siguiente forma: -
-
Aprendizaje de oficio
--
-
,
...
Empleo juvenil
lOfert a labor a lj Stichcombe, 1969: 42. Citado por Cohen, E. e t al, 1992:122 . 01 se n o y Evalua ci6n de Proyecros
I
I
Diseno y Eva1ua ci6n dEi,Proyectos
Por ultimo, existen modelos de re laciones causales rnas complejas y multivariados entre las variables que intervienen en los cambios es per dos en una realidad social. El si-
guiente ejemplo de Slavin, R. (1996) rnuestra tin modelo de relgciones que vincula elementos aJterables de la re alidad con ellogro o aprendizajes de. estudiantes de Ensenanza Basica.
Elementos alterables de Ia instruccion y logros del estudiante Insumos del estudiante
Aptitud del estudiante
Motivaci6n del estudiante
Varia bles modifi cables
Eficiencia de la instrucci6n (lagro por unidad de tiernpo)
Calidad de instrucci6n
Nivel apropiado de instrucci6n
LOGRO
Tiernpo corn prornetido (tiernpo de la actividad)
Incentivo
Tiernpo destinado
l!:---!.
;
'rL
t
En resumen, en el campo de la realidad social pueden establecer se relaciones de causalidad pero elias nose reducen exclusivamente a una relaci6n bivariada. En efecto, estas relaciones pueden variar de un contexto a otro, o varias variables pueden incidir al mismo tiempo en los cambios que experimenta la variable dependiente. Asi, como se nalan Conen, E. et al (1992) las cau salidades establecidas no siempre son suficientes y necesarias.
(y = 0) entonces x es una causa necesar ia pero no suficlente . Xi ----->Yi Xi + 1 -----> 0 Xi+ 2 -----> 0
b "SLx.entonces y"se da en lama yor parte de los casos yen otros se da y pero no asociado a x (x= 0) entonces x es una causa suficiente pero no necesaria: Xi
0 0
En las proposiciones sigu iente s se plantean estas relaciones:
b
a "six entonces y"se da en la rna yor parte de los casos pero y no aparece en todas las relaciones
DISENO DE UN MODELO DE EVALUACI6N
----->Yi -----> Yi + 1 - -- · ->Yi + 2
c si siempre que se da x se da y, y -si y nose produce sin que pre viamente aparezca x, entonces xes causa necesaria y suficien te de y (Cohen, E, 1992: 123).
•
.
...... En los programas sociales las re-
1aciones no son lineales y unfvo cas. La sociedad y sus problemas no responden a un funcionamiento simple y mecanico de la vida so cial.Por el contrario, las relaciones son multiples e interactivas. Las relaciones que establece un programa contemplan varias direc ciones. Por un lado la hip6tetica y de causalidad; por otro el feedback o retroalimentaci6n desde ios efec tos hacia las variables de tratamien to; y las interacciones que tienen las mismas variables de causa en tre sf (Monnier, E ., 1992:48) Los proyectos consisten asi en sis temas interactivos de_ relaciones los que, a su vez, estan en estrecha relaci6n con el·entorno, En este sis tema hay variables y dimensiones que son privilegiadas o que adquie ren mayor peso por la teorfa y ex periencia del programa. La presen taci6n de este sistema de relacio nes, las direcciones y valores que se atribuyen a las mismas definen el modelo evaluativo. Un rnodelo evaluativo es un con junto de supuestos, relaciones hi poteticas y preferencias que repre sentan o describen la ejecuci6n y los resultados de los proyectos. Estos se construyen desde una perspectiva conceptual que relaciona la teorfa o marco de referencia del propio pro yecto con el conocimiento especia lizado del evaluador o de la inves tigaci6n acumulada sobre el tema . El objeto que el modelo debe re presentar son las distintas relacioDiseno y E valuac i6n de Proyectos
nes e hip6tesis planteac!as por la teo ria de_la acci6n que sustenta el pro_ yecto y las dimensiones o factores que inciden en la ejecuci6n y resul tados de los proyectos. En ()tras pa lab-ras, el modelo define la clase de efectos que deberia investigarse (Weiss,C., 1992: 66). _ Detengamonos un pgco mas en este punto. Una de las diferencias que existen entre la investigaci6n social y la investigaci6n evaluati va radica precisamente en el modo de construir el objeto de estudio. Para el investigador este proceso se realiza desde sus propios marcos conceptuales. Como senala Mon nier, E. (1992) des de sus opciones cognitivas o te6ricas. Para eleva luador, en cambio, el objeto,las va riables principales, las relaciones es tablecidas tienen como punto de partida la teorfa de la acci6n y las hip6tesis del propio proyecto. La evaluaci6n no se define previa mente en funci6n de la problerna tica te6rica o conceptual del autor sino que en funci6n de la 16gica de la intervenci6n y de las relaciones que esta pone en juego en un con texto determinado.
I
I El tema es de gran relevancia de bido a los cambios que ocurren en las politicas sociales y educativas i en America Latina. En efecto, en to i cfos ! los paises se viven procesos de descerrtralizaci6n y se promueve el desarrollo de proyectos por ins tan cias locales sean publicas o priva das. Por ejemplo, los fondos con cursables de proyectos hacia orga nizacione sociales tales como el Programa Nacional de Solidari dad de Mexico (Pronasol) o el Fon do de Solidaridad de Inversion So cial de Chile (Fosis); los proyectos
+
h
educativos que se promueyen a nivel de establecimientos o cornu nidad; los proyectos de mejoramien to de la calidad n atencion prima ria de salud en
varios pafses, etc. A este proceso se agrega una lar ga trayectoria de las
Organizacio nes No Gubernamentales en el desarrollo de proyectos a nivello cal. Est;l.s y otras iniciativas dan cuenta del desplazamienfo del marco institucional de los proyec tos de un nivel central 0 nacional a otro regional o locaL
Diseno y Evaluaci6n de Proyecros · 1!
Esto es el proceso a traves del cual se operacionalizan las relaciones e. hipotesis propuestas;-el diseno yva .lidacion de los instrumentos; la·de finicion de la muesJra y aplicac16n de instrum ntos; la clasificaci6n y plan de analisis de El desplazamiento requiere los datos. tam bien de un nuevo sistema concep tual o de referenda para TIPOS DE el diseno y evaluacion de los MODELOS proyectos. En efecto se hace EVALUATIVOS · necesario contar con otro horizonte de interpreta cion, de G. Briones (1985) distingue dos criterios y de indicadores que grandes tipos de modelos. Por un sean adaptados y pertinentes lado los modelos analfticos y, por para este nuevo contexto de los otro,los mode los globales. Los pri pro yectos. Eeste cuadro de meros tienen por objeto proyectos referen cia el que permite definir de amplia cobertura los que son los con tenidos, analizar los abordados a traves de distinciones escenarios que perciben los anallticas y desagregacion de sus actores y justifi car los criterios que cornponentes. Buscan relaciones serviran de base a las diferentes de tipo causal y proponen explica practicas de evalua cion2. Por ciones de los hechos observados. supuesto que enfoques y marcos Les segundos, tienen por objeto prode referencia para una eva luacion - yectos mas pequenos 0 hay muchos pero, necesi tamos focalizados de perspectivas que sean y-se preocupan de realiz_9-r una reconocidas y pertinentes para los in actores involucrados en la terpretacion amplia y profunda del evalua ci6n. De lo contrario esta conjunto de dimensiones y de in que inciden en se redu ce a un ejercicio externo teracciones lamar cha y resultados de la y formal. intervenci6n. Analizan las probabilidades de los cambios y Ademas de explicitar un marco comprender las de referencia y relaciones entre buscan que tienen las varia bles, el modelo de relaciones variables con dichos cambios. evaluacion debe describir el Ejernplo de un modelo analftico es procedimiento metodoel modelo Con texto -insumos16gico a emplear para obtener procesos-pro d uc tos (CIPP) de D. y analizar ia informacion Stufflebeam (1985) y ejernplos de requerida. modelos globales son la evaluaci6n "iluminativa" (Ri chards, H., 1987); la -evaluacion "focalizada" (Patton, M. Q., 1978) y la evaluaci6n "sensitiva" (Stakes, R., 1975) entre otras. Pese a est a distincion la tenden cia de la investigaci6n evaluativa es
Es interesante el desarrollo de este tema para el caso de Europa donde se han vivido procesos similares. Ver: Figari, G . (1994)
I
hacia la integracion de los mode- · los·_mas que 0acia la separacion y dicotomizacion de-los mismos.-En efecto, en la practica misma eleva luador o los equipos de evaluacion combinan enfoques metodologicos y modelos evaluativos-en funcion del objeto o problema a abordar. Un evaluador"analltico"puede utilizar un enfoque cualitativo y"global"para ilustrar con profundidad aspectos particulares de la realidad obser vada. Ala inversa,- quien ha reali zado un estudio comprensivo e interpretativo puede formular hi potesis y buscar relaciones expli cativas a comprobar estadfsticamen te y de un modo extensivo.
-
Estas decisiones son de distinto tipo de acuerdo al nivel o imen si6n del proyecto que se compro mete en la evaluacion. Por ejemplo, · decisiones de planeamiento cuando se introducen modificaciones para responder a las discrepan cias observadas entre los cambios d finidos y los resultados obteni dos; decisiones de_ estructura ci6n para elegir nuevas metodos 0 medios para alcanzar los objetivos; decisiones de implementaci6n que obligan a cambiar aspectos de la ejecucion y de los procesos que se llevan a cabo y, por ultimo, de cisiones de reciclaje orientadas a una mejor definicion del tipo y calidad de los resultados esperados.
Para el disefio de modelos eva luativos se sugiere, entonces, defi La informacion para los tipos de nir las relaciones basicas incorpodecisiones proviene de la evalua _rando dimensiones tanto explica cion que se realiza de cada -qno de tivas o comprensivas segun la los componentes del modelo. Es de problematica a abordar. Para ilus cir, de la evaluacion del contexto; trar este tipo de relaciones se pre -de insumos; de los procesos y de sentara el modelo CIPP y la flexi los productos. bilizacion o cambios que introdu cen otros autores a este modelo de La evaluacion de contexto tiene base con el fin de incorporar rela por objeto el estudio de los proble ciones interactivas entre sus com mas o necesidades no satisfechas ponentes y entre ellos y el entorno. en una poblacion determinada y que se desean enfrentar a traves del di EL MODELO DE CONTEXTO, sefio de programas y proyectos. INSUMOS, PROCESOS Corresponde a lo que hemos defi Y PRODUCTOS (CIPPl nido anteriormente como elmo menta de analisis de la situacion Uno de los modelos de evalua problema . cion mas difundido es el desarro llado por Daniel L. Stufflebeam La evaluacion de insumos deter denominado Contexto-Insumos mina los recursos y el mejor uso de Procesos-Productos (CIPP)_ Para los mismos para realizar las acti este autor, la evaluacion es un pro- vidades del proyecto. La evaluacion - ceso que permite delinear, obtener de procesos tiene por objeto el y proporcionar informacion util analisis del uso de los insumos y los para enjuiciar y ponderar alterna factores que pueden estar inci tivas de decision (Stufflebeam D. diendo en las actividades que se He van a cabo. Por ultimo, la evaluaet al, 1985) -- Ois efio y Eva luaci6n de Proyecros
.,
.
Oiseno y Evaluaci6n de Proyectos
cion de productos estudia ellogro . de los cambios o resultados plan teados en los objetivos en el trans C\J.rso o al·final del pr yecto.
la investigaci6n evaluativa. Por ejemplo la OECD y la Internatio nal EducationaJ Indicators Project han adoptado sus componer\tes centrales para la evaluaci6n de proyectos educativos organizando el modelo de la siguiente forma:
Los planteamientos de este au torhan tenido un am plio efecto en
Relacionesistemicas de componentes de proyectos
Contexto
Recursos
t
t
t
,._Procesos
Este enfoque ha sido adaptado por Selden (1990) quien propone un modelo de t'ipo "comprensivo" para dar cuenta de las relaciones existentes entre l-as variables de in dicadores centrales del proceso que impulsa c alquier proyecto innovativo (Oakes, 1986). Por otra parte, en America La tina diversos autores, a partir de ta les conceptos y esquema de rela ciones, han desarrollado nuevas en foques y modelos evaluativos. Es el caso, del modelo de Costo-impac to de Cohen, E. yR . Franco (1992);
._Impactos
el modelo focalizado de G. Briones (1985) y la difusi6n del marco 16- gico de proyectos y del metodo ZOPP, entre otros. En todo estos casos se recono ·ce la importancia de los mismos componentes para elaborar un mo delo evaluativo: insumos; contex to, procesos, productos y objetivos. Aunque se conceptualizan en for ma diferente los conceptos se aso cian y responden a una logic a si milar de relaci6n como lo muestra el grafico siguiente:
Flujo del proyecto y aplicacion del Analisis costo-beneficio y costo efectivi-dad ---------------.-. Analisis costo-beneficio -------------I : ! (Analisi s de la I nsumos Cos:to ..,.. ..,. Pro d uctos ..,. •
•L-- Analisis costo-efectividad
t
'
------i ·;: pa
B eneff.to.os eficiencia)
to
Fuente: Cohen, E ., y Franco, R . , 1992:174 ! :
HACIA MODElOS INTERACTIVOS E 1NTE GRADOS DE EVAlUACI6N
Modelos como los descritos recibido importantes criticas-que incidido en su evolucion. Estas se
han han
dirigen, por un lafio, ala simpleza de la relaciones causales estable cidas y ala falta de discusion teo-rica sobre las mismas. Por otro, se ha cuestionado los instrumentos de medicion y la falta de
consideracion de las relaciones El proyecto A. consiste en la ca recurrentes y las . pacitacion de 25 pr
Oisefio y Evall!f.lci6n de Proyectos
Modelo aditivo
Modelo interactive
Escuela
E
Escuela
Profesor
P
Profesor p
Alumno
F. ext logro
Alumno
E
F.ext
logro
El.. proyecto B consiste _en la ca-: . des sociales y comunicativas dlos pacitaci6n de 20 j6venes monitores j6venes. Los indicadores de resul en torno a actividades de recreaci6n tado verifican estos aprendizajes. El e informacion sobre consecuencias segundo nivel refiere a las acciones del consumo de drogas. Luego sees que promueven los jovenes en su sec pera que estos monitores organicen tor o barrio . Se trata de eventos ar eventos artisticcis y depc:irtivos en los tisticos; reuniones de informacion; barrios de la colonia ode la comu carupeonatos deportivos, etc. Los in na y actividades informativas sobre dicadores verifican la realizaci6n y el tema. En este periodo cuentan con calidad de estas actividades. Por el apoyo de la ONG que promueve ultimo, el tercer nivel, alude al im el proyecto y ev'aluan permanente pacto esperable de estas acciones ex mente los resultados. Finalmente se presadas en una mayor sensibiliza espera, en dos aftos, disminuir el con cion frente al tema y disminuci6n sumo de drogas en el sector3 . del consumo. Los cambios se logran siempre y cuando se curnplan los si En este proyecto se distingue guientes factores externos: inter es como primer nivel el trabajo de y motivaci6n de los j6venes; cola formaci6n o animaci6n que realiza boraci6n de instituciones y organi la ONG con los 20 j6venes. Como zaciones del sector; lfderes apoyan resultado se espera el aprendizaj e la propuesta de trabajo; no hay re de tecnicas de grupo, conocimien dadas policiales ni arrestos de jo to sobre drogas y factores relacio venes sospechosos de consumir nados a su consumo y mejoramien droga. to de la autoestima, de las habilidaModelo sinergetico
Modelo recursive
Forma cion
Formaci on
P1P2 P3 P4 Ps
(ONG -monitor) F
(ONG-monitor) F
Monitor Jovenes
M
Monitor Jovenes
M
Alumna
F. ext logro
Alumno
F.ex t
... logro
Para e l desarrollo de este caso nos hemos basado en el estudio de Alonso, S. y Gutierrez; J.L. (1996) 'I·
Estas relaciones se presentan _en las siguientes figuras:
E n e l m o d e l o s i n e r g e t i c o v a r i o s r e s u l t a d o s l o g r a d o s a n i v e
l de la ani maci6n y formaci6n de los j6venes pueden producir mayores cambios y logros. El modelo recursivo repre-= senta las relaciones interactivas y de apoyo que existen entre los aprendizajes de los j6venes-y la puesta en practica de acciones en su comunidad. El apoyo y z.compa fi.amiento de los agentes externos · incide en los resultados como en la calidad del trabajo que estos rea lizan. Se alimentan mutuamente en el proceso del proyecto.
laciones entre los componentes y las variaoles e indicadores so bre la-s cuales actua y que sta ran en observaci6n durante el tra-·. bajo evaluativo. 2
En sfntesis, es recomendable que los modelos evaluativos que se construyen para dar cuenta de las relaciones, informen de las inter acciones y de las relaciones recur sivas que se establecen ente los dis tintos componentes o elementos del proyecto, tanto internamente como en su relaci6n con el entorno.
La definicion de estas variables centrales tiene por.funci6n,c.ons truir el esquema central de rela ciones. Sin embargo,la evaluaci6n debera incluir otras variables e indicadores que permitai+-ampliar el horizonte conceptual de inter pretacion y de resu_ltados even tuales del proyecto. Mientras se identifican mas variables e indi cadores es posible cubrir con mayor amplitud las distintas di mensiones o gamas de efectos po sibles de la intervenci6n. Este es un requisito que se debe aplicar con rigurosidad en los estudios cualitativos.
PASOS PARA LA CONSTRUCC16N DE UN MODELO DE RELACIONES DE VARIABLES
1 El primer paso consiste en
cons truir un modelo del proceso de trabajoque ejecuta el proyecto. Es decir describir y establecer las relaciones causales o hipoteticas que propone . La matriz 16gica de proyectos es una buena herr a rnienta para dar cuenta del dia gram a de relaciones del pro yecto y de los factores o condi ciones externas necesarias para obtener los resultados. Este diseno del proyecto permi te organizar las hip6tesis, las re01 seno y E valuaci 6n de Proyec ros
El siguiente paso es identificar las variables que, de acuerdo a la teorfa del proyecto, tienen mas. importancia (segun peso estadfstic6 o acuerdo interpre tativo) en las relaciones que es tablece la matriz o diagrama de relaciones.
La teorfa del proyecto, la expe riencia de los equipos y el cono cimiento acumulado en el area o problema de trabajo ayudan a definir el marco de referencia ade cuado-rara seleccionar las varia bles mas importantes y esta blecer las relaciones que sean sig nificativas. 3
Una vez definidas las variables y sus relaciones, explicitar las de finiciones operacionales y los indicadores de cada una de
e l
las. Es < conveniente distinguir indiOisefio y Evaluaci6n de Proyectos
"
cadores internos y externos qel proyecto.
consumo de droga; desarrollo in tegral de nifie>s; mejoramiento de la atenci6n en salud;etc.)
Los indicq_dores internos aluden a: Los ihdicadores externos aluden a: • el proceso puesto en marcha por el proyecto (inserci6n del pro • f ctores · externos explicitados yecto; calidad de la formaci6n y en matriz operacional que con de +a aplicaci6n del metodo, dicionan los resultados (dispo etc,.) _ sici6n de directores, motivaci6n, • los resultados de las actividades condiciones politicas, etc.). realizadas (aprendizajes logra • condiciones contextuales o indos; productos realizados,etc.) . sumos que afectan la calidad de • el efecto de estos resultados en los resultados (la familia, status los beneficiarios directos (mejo socio econ6mico; escolaridad; ramiento de las organizaciones; genero; etc.) cambio de practicas de profeso-res; sensibilizaci6n en la comu El procedimiento planteado con nidad) duce ala construcci6n de una figu • el impacto del proyecto en la si . ra de relaciones como la siguiente: tuaci6n pro ema (disminuci
Propuesta educativa de la ONG
Aplicaci6n interactiva de Ingreso al mercado lab oral
Perfil de educadores Contexto
Autoestima
Perfil de estudian tes
y habilida des sociales
1-----------....,.;
Oferta de trabajo formal e informal · ll .
Cada uno de estos conceptos y categorias agrupan va iables e in dicadores como los siguientes: Propuesta educativa de ONG Experiencia anterior en capacitaci6n Princi pios metodol6gicos expli
citos Rol del animador en proceso educativo Uso de rna teriales Importancia trabajo grupal, etc. · Perfil de educadores Profesi6n o formaci6n Experiencia anterior en capaci taci6n
Tiernpo dedicado ala actividad Satisfacci6n laboral Expectativas de logro de estudian tes, etc. Perfil de estudiantes Capital escolar en la familia Escolaridad Experiencia laboral anterior Expectativas de logro Habilidades y cornpetencias en oficio Autoestima Oferta de trabajo formafe informal No puestos trabajos en oficio ofrecido p o r empresas del sec tor N° contratados en ultimo ano e n ernpresas Ingreso promedio aprendices
Oiseno y E va luac i 6n de Proyecros
Aplicacion de curriculum Pertinencia de contenidos selec cionados Adecuaci6n de metodologia ern pleada Calidad comunicaci6n pedag6gica Uso de textos y manuales-de apoyo Organizaci6n y cumplirniento de secuencias Organizaci6n de evaluaci6n Tratamiento ternas fomaci6n ge neral Logros y rendimientos Medici6n de aprendizajes Medici on competencias en ofi cio Evaluaci6n de practica laboral Autoestima y habilidades so dales Percepci6n positiva de s1 rnisrno Percepci6n de impottancia fren te a los demas Satisfacci6n con el oficio Grado de conocirniento de leyes labor ales Habilidades sociales y de con tacto !aboral Capacidad de comunicaci6n Ingreso al mercado laboral J6venes contratados en puestos relacionados con el oficio J6venes contratados en puestos no relcrrionados con oficio J6venes no contratados y ce santes.
DISENO DE LA
ODOLO I
-
I
R e s
u m
e n Una vez definido que se va a eva luar corresponde diseftar como se va a realizar esta evaluacion. Este es el objeto del presente capitulo. Los tipos o focos de evaluacion y los modelos evaluativos descritos en el capitulo anterior definen el que u objeto de la evaluacion . El disefto, en carrlbio, alude a la es trategia investigativa y seftala al eva luador lo-que debe hacer para al canzar los objetivos de su estudio; contestar las interro_gantes; anali zar las hipotesis del proyecto y las que permiten explicar o compren-· der los resultados obtenidos. El di sefto-deb-e-incluir ademas la estra tegia de recolecci6n de informacion y la organizacion de la aplicacion de los instrumentos.
DEFI NICIO N DE DISE NO El disefto de la evaluacion, de fine las estrategias, procedimien tos y plan de trabajo para llevar a cabo la evaluaci6n. Articula tanto aspectos te6ricos como instrumen tales y explicita los principios que relacionan logicamente las dis tin tas fases de la evaluaci6n. En el diseno se especifican los ob jetivos de la evaluaci6n, el meto do, la poblaci6n, la cobertura, los instrumentos que se requeriran, pro gramaci6n, el plan de analisis, re querimiento de personal y de re cursos materiales, duracion, costo, etc (Isaac, S. y W. B. Michael,1981; Briones, G., 1985; Martinez, F., 1994). En el siguiente grafico adapta do de De Ketele, J. M . (1993) sere presentan los pasos basicos -del proceso de evaluacion los que se=ran definidos y detallados a con tinuacion.
Pasos basicos del proceso de evaluacion
Estrategia de recolec . cion de informacion
ANTECEDENTES Y DESCRIPCION DEL PROYECTO A EVALUAR Describir los antecedentes gene rales del problema a enfrentar; los objetivos general y especifico del pro yecto; productos o resultad.G-s-y ac tividades principales. Se trata de mostrar la hip6tesis central y con sistencia 16 gica, validez y factibili dad de la propuesta del proyecto . La matriz operacional del proyec to o Matriz L6gica constituyen un buen ins trumento de trabajo para e sta presentaci6n .
OBJETIVOS Y OBJETO DE LA EVALUACION En terminos generales los obje tivos de la evaluaci6n son los co nocimientos, interpretaciones y las informaciones relativas a los re sultados, instancias, caracteristicas y otras relaciones asociadas al pro grama o proyecto y que han sido ob jeto de la investigaci6n evaluativa. Segun Briones, G . (1985) los objetivos de la evaluaci6n pueden ser descriptivos y explicativos.
D1 s en o y E va lu a c16n de Pmyecros
· Los descripti os derivan di rectamente <,ie los objetivos deL
proyecto o de los componentes o foco seleccionado para la evalua cion (procesos,
efectividad, Im pactos, etc-.). ejemplo,
Por
• -evaluar los aprendizajes de pro fesores en metodos de resolucion de confli-ctos y reacion de rela ciones de · cooperacion en un programa de educacion para los derechos humanos (Ortiz, M.E. 1996); •
evaluar los cambios de practicas pedagogicas de educadores en el aula de clases al aprender nue vas tecnicas sobre juego y traba jo con ninos Qasso, I., Hernan dez, M.,1996).
Los explicativos refieren a fac tores y dimensiones que explican o dan · cuenta de los niveles de ca lidad y de eficiencia de los resul tados o btenidos por el proyecto o del proceso realizado. Por ejemplo; •
•
evaluar la eficiencia y la efecti vidad de la capacitacion de tec nicos de ONG en evaluacion de proyectos (Linares, M. E., 1996) evaluar en que medida la insti tucion cuenta con una estructu ra efectiva y opera en forma au togestiva en sus acciones de in vestigacion,-educacion y accion comuni aria (Alonso, G. et al, 1996)
En est os casos los objetivos de evaluacion trascienden los o bjeti vos descrito s por el proyecto estu diado y ex plicitan relaciones mas
Dis e fio y Evalua ci6n de Proyecros
"
amplias entre las variables eva luadas o independientes y otras de pendientes o . de resultados del .proye.cto.
DISENO METODOLOGICO Un diseno metodologico de eva luaci6n debe relacionar; al menos, cuatro momentos claves de cualquier investigacion social: la construccion y definicion del objeto de la eva luaci6n; la definicion de hipotesis, criterios e indicadoresi la recolec cion de la informacion y, por ulti mo, el analisis e interpretacion de los datos . Distinguiremos dos grandes ti pos de disenos: experirnentales y no experirnental e s_,_ Los dise fios experirnentales mid e n los efectos sociales o resultados d el proyecto manteniendo bajo control todas las variables menos una : l a variable de tratamiento o de int e r vencion. Los disefios no experime n tales analizan los cambios que pro duce un proyecto analizando el grupo objetivo o poblacion ant es, durante y despues de la interven cion. Miden las diferencias en l as variables en las cuale-s intervi e nen los proyectos Existen distintos tipos de dise fi.os experimentales y no experimen tales. Los que se utilizan con ma yor frecuencia en las evaluaciones son los siguiente s:
"
Tipos de diseiios rn.etodologicos de· aluacion
· Experimental puro Experimental
·Series temporales
[ Cuasi experimental
Grupo de control -no equivalente Modelo "antes-despues"
No experimental
Solo"despues" con grupo de comparaci6n Modelo "solo despues"
A continuaci6n definiremos bre vemente cada uno de estos disenos.
Este modelo requiere la con formaci6n de 2 poblaciones: el grupo con proyecto (grupo xperi mental), que recibe el estimulo, es decir las acciones del proyecto, y el grupo control, que noes sometido a ningun estimulo .
DISENO EXPERIMENTAl .
cste diseno supone que existe un orden invariable entre diversos factores y que la naturaleza espe cffica de ese orden varia si se in terviene en uno o mas de ellos.
La existencia del grupo conhtrc-ror -}permite asegurar que las variaciones observadas en el grupo expe rimental dependen de la variable independiente ode intervenci6n y no de otros factores. De este modo si la diferencia entre a y b es rnayor que la diferencia entre c y del programa es un exito (Weiss, C., 1992:80). Estas relaciones se muestran en el cuadt:G- -siguiente:
En este caso se manipula deli beradamente una o mas variables independientes (supuestas cau sas) para analizar sus consecuen cias sobre un a o masvariables de pendientes (supuestos efectos), dentro de una situaci6n controla da por el investigador. Grupo
Antes
Despues
E x perim enta l (con proyecto)
a
b
Control (sin proyecto)
c
-d
Diseno y Eva luaci6n de Proyeccos
de
Al interior de este tipo dise fto se encuentran
dos grandes ca tegorfas
. Por un lado el disefto ex pertmentafpuro y, por otro, el cua si experimental.
I
-
poblaci6 n objetivo/ 'antes"," duran te" y" despues " de la ejecuci6 n del proyecto . En este caso no hay gru-
Los experimentos puros o verda deros son aquellos que reunen los -dos requisitos seftalados para lo grar el control y la '.la.lidez interncr: grupos de comparaci6n y equiva lencia de los grupos en todas las va riables menos en. las de interven ci6n. Por la na turaleza de la realidad social y de los proyectos es dificil contar condos grupos que coinci dan en todas las variables menos en aquellas propias de la interven ci6n. Por esta raz6n, el experimen tos puro resulta de poca aplicabili dad en el campo social y se reco- · mienda, mas bien, el uso de diseftos cuasiexperimentales para abordar este tipo de proyectos. El disefto cuasi experimental con sidera que los sujetos asignados a los grupos que recibiran trata mientos experimentales pueden constituirse de un modo no ale a torio. En este caso el investigador tiene que establecer la semejanza s:ntre los grupos y hacerlos equi parables en las variables dependien tes e independientes. Al interior de este tipo de dise fto encontramos el modelo de se ries temporales y el grupo control no equivalente. Las series consisten en la peri6dica del
temporales medici6n grupo o
I
Diseno y Evaluaci6n de Proyecros
.
po _de control o de comparaci6n con otra pobl'aci6n. Si lao .las variables observadas evolucionan sin gran des quiebres 0 saltos quiere decir que el programa o proyecto no tuvo efectos en elias.,_ Si, por el cohtrario, estas variables mues tran un carnbio significativo en su evoluci6n natural puede afirrnar se gue el programa tuvo efectos en la realidad observada (Cohen, E., et al., 1992; Weiss, C., 1992}. El grupo control no equivalente, se aplica cuando se define un grupo de cornparaci'6n que no ha sido ex puesto al p-F ecto y que t1ene ca racteristicas similares ala de su po blaci6n objetivo en las variables que se consideran mas relevantes. Se to rnan med-i-ciones antes y despues en ambos grupos y se comparan los re sultados. Las diferencfas observa das seran atribufbles al efecto del proyecto. VENTAJAS Y DESVENTAJAS
Los disefws de .,tipo experimen tal han sido utilizados con. rnucha frecuencia en la investigaci6n eva luativa. Sin embargo, este tipo de disefw tiene varias limitaciones. Pese a los esfuerzos por lograr el con trol y, por tanto; la validez interna del experimento, existen varios factores en el campo social que pue den invalidar los resultados de la investigaci6n (Weiss, C., 1992; Her nandez, R., 1994) . Entre ellos cabe destacar: • la historia: es decir, hechos que ocurren durante el desarrollo del experimento y que afectan la variable dependiente lo que pue de confundir los resultados.
• la maduracion o procesos inter nos de los participants que opern co"mo con5ecueneia del tiernpo y que afectan los resul tados de la investigacion. Por ejemplo la edad, la madurez biologica-, entre otros. • la mortalidad experimental, es de cir, las diferencias en la perdida de participantes entre los gru pos que se comparan. • en investigaciones donde hay comparaciones pre - post pue de ocurrir que la aplicacion de las pruebas tengan efecto en las mediciones subsecuentes. •
el investigador puede incidir di recta o indirectamente en el comportamiento de los sujetos y cumplim_iehto de su hipotesis.
Por otra parte, existe una criti: ca epistemologica ala concepcion de realidad y de causalidad que sos tiene los disenos experimentales .
. :: ;!
Para este enfoque es real solo lo que se observa y puede medir. Se trata de una realidad objetiva y uni ca. Los estudios de las intepreta ciones y sentidos que lo sujetos atri buyen en tanto no son observables no son objeto de estudio. Este he cho impide dar cuenta de una di mension central-de la vida social y qY-e alude, precisamente, a las in terpretaciones y diversidad de sen tidos que los sujetos construyen para organizar y coordinar sus acciones. El in ten to de simular condicio nes de laboratorio conduce a crear una situacion artificial y diferente ala vida real. Incluso mas/'si la si tuaci6n se controlara e x hausti vaDis eno y Eva lua c i6n de Proy e cros
mente, su artificialidad la conver tiria en un ejercicio irrelevante: raras veces los resultados'puros'se pueden generalizar a una realidad .. 'impura'" (Parlett, M. y Hamilton, D., 1992:24) . Por ultimo, la critica sos.tiene que el concepto de causalidad de este tipo de enfoque no responde a la_ naturaleza social o psicol6gica de los hechos que se observan.. En efecto el comportamiento de los in dividuos no puede simplificarse a relaciones estimulo-respuesta y suponer que una variable aislada y delimitada explica el comporta miento observado neutralizando las demas. Por el contrario, existen procesos internos de interpretacion y de evaluaci6n ·antes de actuary, el comportamiento real, es-el resul tado de una simultaneidad de va riables interrelacionadas. DISENOS NO EXPERIMENTALES
Los disenos no experimentales son aquellos en los cuales no exis te una manipulaci6n deliberada de las variables en relaci6n. Estas se observan tal como sedan en su contexto natural y suceden indepen dientemente de la voluntad del 1nvestigador. Las inferencias y ana lisis sobre las relaciones entre va.:. riables se construyen a partir de la observaci6n y no desde la interven ci6n. Existen tres modelos basicos de este tipo de disenos: antes-despues; solo despues con grupo de compara ci6n y solo despues (Briones, G., 1985; Weiss, C., 1992; Cohen, E . et aL 1992) . Estos modelos pertene cen, a su vez, a dos grandes tipos
Disefio y Eva/uaci6n de Proyecros
de estudios: longitudinales y trans versa[fs (Hernandez, R.,1994). El diseno antes-despues consis te en la medici6n de un conjunto de variable_? relevantes para veri ficar en ellas los cambios que pro mueve el proyecto antes y des pues de su ejecuci6n. Mide..la di ferencia producida en dichas variables en dos 0 mas periodos de tiempo en una poblaci6n objetivo o participante del proyecto. Se trata de un diseno longitudi nal que estudia la tendencia de las variables observadas en el tiem po en un solo grupo o en subgru pos o muestras de la poblaci6n objetivo. El diseno solo despues con grupo de comparaci6n compara los resul tados obtenidos en una poblaci6n participante en un proyecto con una poblaci6n o grupo testigo pareci do y que no hie expuesto a los efec tos del proyecto. Este tipo demo delo es recomendable cuando no existe o es deficiente la informacion sobre el estado inicial o linea de base de la situaci6n problema que en frenta el proyecto. Por utimo, el diseno solo desp.ues analiza los resultados del proyec to en la poblaci6n objetivo una vez finalizada su ejecuci6n. Este tipo de modelo es debil ya que no tie ne parametro de comparaci6n que permita evaluar que es lo que real mente cambi6 como fruto del pro ceso impulsado por el proyecto. Por esta raz6n el evaluador debe recons truir la sitiuaci6n inicial del proble ma a traves de informacion apor tada por los propios participantes u otros actores.
6 i
Ambos tipos de modelos perte necen ala categoria de disenos no : experimentales transversales. Es. tos realizan mediciones en un tiem po unico con elfin de describir va: riables y analizar su incidencia e in terrelaci6n en un momenta dado. Pueden abarcar varios grupos o subgrupos de personas, objetos o indicadores y pueden describir el estado de las variables o bien es tablecer correlaciones entre elias en el momenta de la medici6n (Her nandez, R., 1994). VENTAJAS Y DESVENTAJAS
Este tipo de diseno se acerca mas ala realidad que los disenos expe rimentales y, por ello, sus resulta dos -p.ueden tener mayor generali dad. Sin embargo, en este caso, re sulta dificil evaluar la importancia o peso de las variables de contex to en los resultados observados. Por lo general este tipo de dise nos se utiliza cuando no existen me diciones previas o las que existen son insuficientes para dar cuenta del estado inicial del problema. Por otra parte, este tipo de medi ciones puede complementarse con descripciones etnograficas o cua litativas que ilustren los progresos observados y los aspectos del pro grama que parecen incidir en los mismos.
DEFINICION DE CRITERIOS Toda evaluaci6n entrega una opinion o juicio fundamentado sa bre los procesos y resultados de un
•-----
proyecto. Esta es la diferencia prin cipal que tiene con otros tipo? de estudios tales como la sistematiza.:. cion o la investigacion apli<;ada.
I
•
Para emitir esta·opinion eleva luador tiene que explicitar criterios de analisi-s 0 de valoracion de lo ob servado. Los criterios son principios y concep_tos de distinci.On que per miten, precisamente, calificaf, juz gar, estimar, afirmar, etc. Los criterios se ubican en el pla no conceptual del estudio y actuan como referente o eje de organiza cion de la apreciacion y lectura que el evaluador realiza de las eviden cias reunidas. Permiten discriminar propiedades o atributos (algunos ele mentos los tienen y otros no); se ex presan cualitativamente y son ob servables a traves de indicadores. . Por ejemplo, al observar una reunion de trabajo de un taller de formacion de lfderes juveniles po demos verificar indicadores como los siguientes: frecuencia de inter venciones por participante; el acto de habla que realizan a traves de dichas intervenciones (preguntas, peticiones, afirmaciones, etc.); as pectos interactivos (interrupcio nes, silencios, risas), entre otros. Este tipo de analisis describe y clasifi ca lo observado a traves de catego rfas y de conceptos operacionales. Para emitir un juicio sobre esta reunion es necesario con tar con cri terios qu e permitan distinguirycla sificar los indicadores en catego rfas mas amplias. Por ejemplo, la reu nion puede ser clasificada como regular, buena o excelente seglin el grado de participaci6n de los be neficiarios; segun los tipos de in-
tervericiones realizadas 6 segun la eficacia de la conduccion para con cluir en compromisos-de acci6n.To dos estos son criterios que permi· ten juzgar y valorar lo observado. TIPOS DE CRITERIOS
Existen varios tipos de criterios de acuerdo al marco de referencia desde el cual se definen. Entre ellos destacamos los siguientes: Criterios normativos: se cons truyen desde normas predetermi nadas o standards de desempeftos deseados y pre-establecidos. Por ejemplo, escalade desarollo psico motor que define retardo leve, re tardo severo, normallento, normal promedio, etc. de acuerdo al pun taje obtenido. Este tipo de criterios tam bien se usa para evaluar la ca lidad de la enseftanza. Para ello se define un indice .que mide logros de aprendizaje en areas ta1es como: lecto-escritura y matematica. Criterios valorativos o calificati vos: definen desde un consenso interpretativo la calidad de un de sempefto o resultado. Ponderan y definen orientaciones para apreciar comportamien tos, aprendizaj es, aplicaciones practicas de tales aprendizajes, etc. Por ejemplo, lf der positivo; reunion participativa; jovenes en ri-e-sgo, etc. Criterios de pertinencia en rela cion ala mision, polfticas, estrate gias, etc.: de fin en el grado de ade cuacion, adaptacion ode integra cion de los resultados observados a los fines establecidos por la mi sion,las politicas 0 estrategias ma yores en las cuales se enmarcan los proyectos . Por ejemplo, incorpora-
Dis eno y Eva lua ci6n de Proy ecw s
cion de la dimension de genera en las pollticas publicas.
Criterios de eficacia y de eficien cia: la eficacia define el grado de la gro de los obje-tivos del proyecto. Estos se refieren a cambios en la si tuacion problema de los beneficia rios directos e indirectos. La eficien cia
verifica el us9 optima de los re cursos asignados para las actividades programadas. RELACIONES ENTRE CRITERIOS, RESULTADOS, OBJETIVOS E INDICADORES
Con frecuencia se produce una confusion entre el analisis de los resultados y/o de los objetivos de los proyectos con la definicion de los criterios. Es decir, se asume como criteria de evaluacion el cumpli miento de lo prometido a traves de la definicion de objetivos y de re sultados. Definiremos est a situ a cion como cumplimiento o verifi cacion de metas. Sin embargo, el problema sur ge cuando se produce una distan cia o diferencia entre los logros es perados y lo que realmente se ob tiene en el curso o termino de la aplicacion . Esto es lo que ocurre en la mayorfa de los casas. Para resol ver este tipo de problemas reser vamos el concepto de criterios pro piamente tal y que-aiude a los pa ra.metros 0 rangos de logros que se establecen para declarar el exito 0 no de un proyecto. En otras pala bras, es necesario con tar con va lares en un rango de posibilidades que permita emitir un juicio posi tivo o negativo sabre la experien cia evaluada. Tales valores aluden a los criterios.
Dis no y Evaluaci6n
de
Proyecros ·
En resumen: los elementos o componf!:_ntes deproyecto como los descritos en la matriz operativa, in forman del disenQ o de lo qu-e se espera del proyecto; los indicado- res dan cuenta de los elementos que permiten verificar lo esperado y los criterios aluden al juieio oval ora cion que fundamenta la opinion del evaluador sabre los resultados ob tenidos. Otra confusion que suele presen tarse es la existente entre criteria e indicador. Por ejemplo, se utili za como criteria un indicador o, al contrario un indicador cOmo en terio. Conceptualmente esto no es posible. En efecto, existe una cla ra distincion entre ambos terminos. El criteria es una valoracion del in dicador (por ejemplo, buena, malo, exito, fracasopertinen te, alto, bajo, etc.). Este criteria de val ora cion o de juicio, como ya se sen a lo, se fundamenta en un referen cial mayor que puede ser norma tivo; valor a tivo, etc. Los criterios son conceptuales y abstractos. Los indicadores, en cambia, son em pi ricos y observables. Los criterios agrupan, distinguen y clasifican los indicadores. Los criterios entregan un valor a los indicadores.
ESTRATEGIA DE RECOLECCION DE INFORMACION
implicadefinir la unidades de re gistro o fuentes de informacion; di sefiar y validar los instrumentos; de finir la muestra y organizar el pro ceso de aplicacfon o administracion de los instrumentos. A continua
Una vez definidos los criterios e indicadores el diseno de la evalua cion debe explicitar la estrategia de recoleccion de la informacion. Esto cion explicaremos con mas detalles estos aspectos. Las unidades de registro o fuen.: tes de informacion aluden allugar, situaci6n o
contexto en el cual se verificaran los indicadores defini dos. Estas pueden ser naturales o creadas. Segun Deketele, J. M. (1993) la situacion es natural cuan do la recolecci6n de la informacion se realiza en el contexto habitual y familiar de las personas observa das o entrevistadas. Por el contra:.. rio, la situaci6n es creada cuando el instrumento aplicado requiere que estas salgan de su contexto fami-. liar o cree una situacion que no es habitual ni cotidiana para ellos.
"
El diseiio y validaci6n de los ins- · tru·mentos define la calidad, con fiabilidad y validei ae la informa· cion a recoger. El diseiio de un tnstrumento con siste en la elaboraci6n-Hsica de la entrevist-a; la pauta de observa cion; el cuestionario; el protocolo del grupo focal, etc. El disefl.o tie ne- tres aspectos importantes a considerar: el contenido, las instruc..: ciones de procedimiento y la for ma 6 diagrmaci6n del rnisrno. En cuanto al contenido el instru rnento debe incluir las preguntas o itemes definidos por las variables e indicadores considerados en el rno delo de relaciones de la evaluaci6n.
Muchas veces los evaluadores o quipos de estudio elaboran largos y amplios instrumentos para explo _rar la mayor parte de temas asoda das al objeto de estudio o para Las observaciones de las reuniorentabilizar los recursos asignados nes de una organizacion; de lainala recoleccion de informacion. Esta teraccion de profesores y alumn-o-s-se-,ir+tuacion conduce a elaborar ins- o del juego de los ninos en la cotrumentos largos y agotadores que m unidad; la en trevis ta o cuestioafectan la calidad de la informacion narios aplicado al final de una sey aumentan e1 volumen de la mission de formacion o en la casa de rna. El resul tado de esta opci6n es una madre son ejemplos de situala dificultad en tiempo y recursos ciones naturales. Las entrevistas de para procesar adecuadamente lain-opinion en la calle; la organizaci6n formaci6n reunida y la mayor parde un grupo focal; la observacion te de esta se archiva y guarda en una experimental, entre otras, son ejembodega. Para evitar esta situacion plos de situaciones creadas para la es recomendable que lesinstrumenobtenci6n de la informacion. tos sean acotados y respondan es pedficamente a los objetivos, pre En funci6n del tipo de informa guntas e hip6tesis del estudio ode cion a obtener el evaluador puede la evaluaci6n en curso. combinar distintas fuentes o uni. clades de observacion y registro. El Las instrucciones dan cuenta de evaluador debe definir fuentes de la secuencia y direcci6n que debe informacion que sean accesibles y seguir la persona en el caso de un de bajo costo. cuestionario auto aplicado o el inDiseno y Evaluaci6n de Proyectos
Diseiio y Evaluaci6n de Proyecros
vestigadoi en caso que el aplique el instrumento.Estas instruccio nes de ben indicar claramente el or den que se debe·seguir al formu lar la pregunta; ellugar y forma de registrar las respuestas; las tarje tas que debe mostrar el entrevis tador; la pertinencia o no de-una pregunta en funcion de la respues ta anterior; las observacL,ones que se deben registrar, etc. Las instruc ciones deben ser tan claras como las preguntas. Por otra parte, se debe incluir una carta de presentacion de los pro positos del estudio y garantizar la privacidad de la informacion entre gada. El entrevistador, al mismo tiempo, debe agradecer especial mente a las personas que han en tregado su tiempo para la aplica cion del instrumento. - La forma alude ala diagramacion y grafica del instrumento propia mente tal. Si se trata de un cues-· tionario autoaplicado el disefto debe favorecer la claridad del pro cedimiento y de la ubicacion espa cial de las preguntas y alternativas de respuestas. Si se trata de una en trevista abierta el disefto debe de jar espacio suficiente para registrar la opiniones abiertas de los entre vistados, etc. El disefto del instru men to tiene que incluir un espa cio para la codificacion de cada una de las respuestas.
te mide o
ciar una entrevista o cuestionario con.preguntas di.ficiles drespon der o muy directas (Hernandez, R., 1994: 293): Todo instrumento de medicion ode recoleccion debe cumplif, tres requisitos: la pertinencia, Ia confia bilidad y la validez . La pertinencia es el caracter apro piado o no que se atribuye al ins trumento en funcion del objetivo que se persigue. Por ejemplo, para conocer las percepciones que tie nen los sujetos sabre cambios en su autoestima o en las pautas de co municacion con sus hijos es perti nente utilizar instrumentos abier tos de tipo cualitativo. Si, por el con trario, queremos verificar la frecuencia de conductas pre esta blecidas en la interaccion de padres sera pertinente un cuestionario o una entrevista estructurada. La confiabilidad del instrumen to refiere al grado en que su apli cacion repetida al mismo sujeto o a personas diferentes yen dis tin tos momentos produce iguales re sultados (Hernandez, R., et al., 1994; Deketele, }.M., 1992). Exis ten problemas de confiabilidad, por ejemplo, cuando las preguntas se entienden de manera diferente y son reformuladas por el entrevis tador para aclararlas. Na·cl-a garan tiza que la pregunta sea hecha de la misma forma; en la misma direc ci6n yen el mismo campo seman tico. En sintesis los problemas de confiabilidad se producen cuando no se a plica de un modo sistema tico y similar el instrumen to.
Todo instrumento incluye los datos del observado o respondien te; del entrevistador y del lugar y fecha de la recoleccion de la infor macion. En cuanto al arden de las preguntas se recomienda comen Por ultimo, la validez alude al gra zar con preguntas descripitivas y do en que un instrumento realmenneutrales. Noes recomendable inidos con el desempefio real y logros 1a variable que " registra
pretende medir o verificar. En otras _ paiabnis, el evaluado·r debe pregun tarse si el instrumento disefiado y las preguntas formuladas-dan ga rantia de recoger la
informacion que se declara o quiere recoger. Por ejem plo, un test sobre auto estima debe medir la auto estima y no, el cono-
. cimiento que posee el sujeto de sus habilidades comunicativas. . Segun Hernandez, R., (1994) un instrumento puede ser valido en · funcion del contenido; del criterio o del constructo. La validez de contenido refiere ai grado en que el instrumento se di rige y da cuen ta, con la mayor am plitud posible, del dominio o cam po que interesa verificar. Por ej plo, un instrument_o que recoge informacion de estilos de lideraz gos debe incluir varias preguntas y no una sola con etfin de abarcar diversas manifestaciones, ideas y practicas en torno a tales estilos. La validez de criteria establece la validez de un instrumento compa ra.ndolo con alg(m criteria exter no presente (validez concurrente) o futuro (validez predictiva). Por ejemplo, un instrumento que mide el interes de jovenes por temas de sexualidad y relaciones comunica tivas aplicado en una localidad puede va.lidarse en una mas reu niones de jovenes donde se habla de los temas sefialados en el mis mo mes de aplicacion del instru mento (validez concurrente); un ins trumento para seleccionar los jo venes mas adecuados para prepararse como monitores o ani madores puede validarse un afio despues comparando sus resultaDiseno y Evaluac i6n
ne
Proye cros
obtenidos por los j6venes seleccio nados (validez predictiva). Por ultimo la validez de cons tructo relaciona la informacion re cogida y el instrumento con la teo ria o marco conceptual del estudio. Por ejemplo, el instrumento es va lido porque la informacion recogi da se relaciona con lo planteado en el marco conceptual; en las hipo tesis y con lo encontrado en otros estudios similares. Por ejemplo, si conceptualmente el proyecto plan tea que el aprendizaje de un oficio mejora la auto estima del joven y sus posibilidades de empleo, yes tas relaciones· se evidencian en otros estudios el.instrumento debe recoger la informacion que mues tre estas relaciones. Todo instrumento debe ser so metido a p-r:_ueba antes de su apli cacion definitiva. Esta prueba per mite realizar una validacion de tipo concurrente de la in forma cion obtenida y revisar, al mismo tiempo, el lenguaje, secuencia y tiempos empleados en su aplicacion. Los sujetos elegidos para esta apli cacion de prueba cumplen las ca racterfsticas de la muestra del es tudio pero a ellos nose les debe ad m i n i st r a r n u eva m e n t e e 1 instrumento final elaborado. A continuacion y adaptando un cuadro de Hernandez, R., (1994) pre sentamos los pasos basicos para la elaboracion y aplicacion de un ins trumento.
Disefio y Evaluaci6n de Proyecws
-
-
ETAPAS PARA ElDISENO DE UNA ENTREVISTA
Revisi<:Sn de entrevistas aplicadas en otros estudios o experiencias para evaluar las mismas variables o indicadores_ -
•
-
Evaluar la validez y confiabilidad de entrevistas anteriores
-
I
Adaptar una entrevista aplicada en otro estudio
Elaborar una entrevista nueva tomando en cuenta las otras
I
I Definir las
preguntas
I
-
Determinar la codificacion de preguntas cerradas -
-
•
-
Elaborar prim e ra version de entrevista
Consultar entrevistas con expertos o personas familiarizadas con el tema
I Revisar y elaborar una version corregida I Realizar una aplicaci6n de prueba Revisar y
elaborar version final de la entrevista
I Aplicar I
DISENO DE UNA MUESTRA
Una vez diseii.ados- y probados los instrumentos es necesario de finir la
unidad de analisis y la muestra en la cual estos seran apli cados.
ae
Por unidad analisis entende remos las personas, organizaciones, familias, los grupos, etc. a quienes se les aplicaran los instrumentos di seii.ados. Por ejemplo, los manito res capacitados; los padres parti cipantes en la formacion; los niii.os de la escuela, etc.
.
b
cedimiento requiere definir las caracteristicas de la poblacion y el ta mano de la ni.uestra para_luego seleccionar las unidades de anali sis a traves de un procedimiento alea to rio.
La definicion de las caracteris tcias de la poblacion se realiza a tra ves de variables que el estudio- operacionaliza. Como los valores de Si se tra ta de proyectos con una estas variables nose conocen para amplia cobertura sed. diffcil apli el conjunto de la poblacion existi car el mismo instrumento a toda la ra una distancia 0 diferencia pro poblacion participante. Po_r ello bable entre los valores en la sub sera necesario definir una muestra poblacion de la muestra medida y que sea representativa del con los valores que estas tienen en el junto o del universo total. Si se tra total del universo considerado . Esta diferencia es lo que se llama ta de proyectos pilotos ode peque na escala el evaluador selecciona error standard (SE) y fluctua entre ra algunos casos para ilustrar, por 0 y 1. Mieritras mas cerca de 0 me ejemplo, los cambios que ha pro nor sera la diferencia entre los va ducido el proyecto. En este caso la lores observados y lo estimado muestra se apoya en un criteria con para el universo total. ceptual y no de represenfatividad. Este tipo de muestras usual mente son definidas por especia Ambas situaciones dan cuenta de list as a los cuales recurre el evalua distintos procedimientos para la dor una vez establecido su univer definicion de la muestra o del sub so, unidad de analisis e instrumentos grupo de la poblacion a la-cual se a aplicar. le aplicaran los inslrumentos. El pri mero es un procedimiento proba En las rnuestras no probabilisticas bilfstico y el se gundo no probabi- la eleccion de los elementos no de .. lfstico o intencionaL pende de la probabilidad, sino que Las nwestras probabilfsticas siguen del juicio y marco conceptual del un procedimiento que asegura a estudio evaluativo. El procedi cualquier miembro de la po bla miento noes mecanico, ni en base cion o universo definido la misma a formulas de probabilidad, sino que depende de las hipotesis y aprecia posibilidad de ser elegido. El prociones conceptuales que la evalua cion quiere indagar. Oisefio y Evaluacion de Proyecros En estos casos mas que la exten sion o amplitud de los valores de una variable interesa estudiar en profundidad diferentes variables en su actuar simultaneo en un elemen-
Diseno y Evaluaci6n de Proyectos
too situacion de analisis. Este tipo cuestionara la hip6tesis inicial y oblide analisis se orienta hacia el des - gara e.stablecer nuevas relaciones . cubrimiento y no hacia la verifica- para explicar los resultados en un cion de relaciones pre establecid·as. gr!Jpo de jovenes yen otros no·. Es tas relaciones se enriquecen al en A modo de ejemplo citaremos dos trevistar a j6venes que no han par procedimientos no probabilisticos ticipado del programa y que pue de seleccion ae casos o elementos den tener una vision negativa o para un estudio evaluativo: la in positiva del mismo. El procedi aucci6n analitica y el muestreo teo rniento' continua hasta que llega un nco. momenta de "saturacion" es decir los argumentos y relaciones esta La inducci6n analitica es un pro blecidas comienzan a repetirse over cedimiento que se inicia con una balizan de un modo diferente re hipotesis que define y prop onere laciones similares. laciones para explicar el problema u objeto estudiado; Luego se selec El mue-S=o te6rico es un proce cionan casos para probar la inter dimiento metodol6gico sugerido por pretacion propuesta. Siesta no ·se Glaser, B.C. y Strauss, A.L, ajusta a lo observado se formula una (1967) para descubrir teorfas, nueva hip6tesis o se redefine el pro conceptos, hip6tesi&-y blema planteado. El procedimien proposiciones a partir de datos to sugiere buscar casos negativos cualitativos. La seleccion de casos que rechacen la hip.6tesis inicial con se realiza segun el poten- cial que elfin-de explorar relaciones; refor ofrecen para verificar o de sarrollar mular la hip6tesis y el problema para las proposiciones e inter concluir con una hip6tesis proba pretaciones que se han construfdo da y revisada en una amplia gama siguiendo una"estrategia sucesiva". de casos diferentes (Tyler, S.J . et al Es decir, con los primeros casas, d.o (1990). cumentos o situaciones observadas se construyen conceptos, catego Por ejempl-o, si se desea evaluar rfas e hipotesis que se utilizan para los efectos que tiene un proyecto generar criterios que se ocupan de formaci6n social para j6venes se para selecionar los sujetos siguien debe partir con una hip6tesis ini tes y que seran integrados en la cial formulada a partir del mode rnuestra. Por esta raz6n se--denomi lo evaluativo. Se selecionan a]gu na "muestreo teo rico" (theoretical nos casos que perrnitan verificar y sampling) . Cabe sefialar que el ter enriquecer la hip6tesis: se e-ntrevis mino te6rico alude en este caso a ta u observa a los j6venes que han la teorfa emergente o ala interpre permanecido en el programa has tacion que se construye a partir de ta sus ultimas sesiones. Luego el la misma investigacion (Krause, evaluador selecciona intencional M., 1994) mente casos negativos que han desertado del programa o aquellos Patton, M.Q. (1980) sugiere el us.o en qu e, segun la informacion reu de muestras intencionales para la nida, el programa no ha tenido evaluaci6n de programas ya que au menta la utilidad de la informacion efecto observable. Este contraste obtenida . Este procedimiento es aplicable en proyectos con baja cobertura o cuando se intenta de mostrar aimensfones particulares
de un proyecto de amplia cobertu ra. Entre las sugerencias de estra !egia de muestreo esteautor plan tea las siguientes:
• casas extremQ.? o de desviaci6n: ·entregan informacion util-para la _ zaci6n y distribuci6n de casos; sutom a de decisiones sobre di -pervision y re.visi6n d rante la ficultades o problemas a consi aplicaci6n y, por ultimo, validaci6n final del proceso de aplicaci6n. _ derar · • casas tipicos: evitan estudiar un programa cuyos resultados son negativos o son rechazados de antemano ya que se apartan de la regla, estan fuera del sentido comun; se trata de un caso ex trema, etc. •
muestra de maxima variaci6n: re presentan una gama de casos dentro de una cierta dimension o rango comun
• casos politicamente importantes: -----rpn:en-rmiten atraer la atenci6n pu blica sobre el estudio y favore cen la toma de decisiones.
ORGANIZACION Y APLICACION DE LOS INSTRUMENTOS Esta etapa consiste en la plani ficaci6n y puesta en marcha de la aplicaci6n o administraci6n de los instrumentos disenados en la mues tra seleccionada. Las actividades principales que se contemplan son los siguientes: cronograma de tra bajo; preparaci6n de instructivos; capacitaci6n a asistentes; organiDiseno y E va luaci6n de Proyecws
La primera tarea de1 evaluador consiste en la definicion de un cro nograma de trabajo que distribuya en el tiempo todas las actividades _ previstas de la fase de aplicaci6n de instrumentos. En forma simultanea el evaluador debe preparar un flu jo de caja y/o un programa de in sumas y de materiales necesarios para las actividades contempla das. Por ejernplo, contar con los re cursos para el pago de pasajes y per diem a enfrevistadores; copias su ficientes de entrevistas y cuestio narios; cartas y autorizaciones de autoridades cuando se necesiten; etc. Sino se cuentan con estos in sumo_s en el memento oportuno se producen atrasos que pueden obli gar a. cancelar la aplicaci6n de los instrumentos en algunas situacio nes o contextos. La preparaci6n de los instructi vos consiste en la redaci6n de tex tos que aclaran los procedimientos de aplicaci6n de los instrumentos y criterios a utilizar, £rente a respues tas o situaciones no consideradas o dificiles de clasificar en las alterna tivas previstas. Los instructivos, constituyen una ayuda idispensable para la persona que apli'ca los ins trumentos cuando no pued-e-contar en -el momenta oportuno con la ayuda de un supervisor o del inves tigador coordinador del estudio. La capacitaci6n a asistentes con siste en la preperaci6n de las per sonas que aplicaran los instru mentos- disenados. Los asisten tes deben terminar esta capacitaci6n
Diseno y Evaluaci6n de Proyecros
conociendo los siguientes aspectos: objetivos y rnetodologia del estu dio; seleccion yvalida_cion de los ca sos; procedimiento de aplicacion de los instrurnentos; sentido y obje tivos de preguntas e iternes de res puestas; registro de res_puestas y ob servaciones; alternativas y sistema de comunicaciones £rente a im previstos. La persona capacitada debe. ser capaz de resolver autono rnamente y con el apoyo del manual de instrucciones situaciones como las siguientes: ausencia·de la per sona que debe responder la entre vista; rechazo o sospecha por par te del entrevistado a preguntas planteadas; presencia de terceros o perdida de privacidad; interrup ciones sucesivas, entre otras. Para realizar esta capacitacion e recornendable realizar sesiones teorico-practicas que, por lin lado, permitan conucer los aspectos con ceptuales centrales del estudio y, por otror ensayar practicamente la aplicacion de los instrumentos en distintas situaciones. En caso de que se trate de pautas de observacion se debe contemplar sesiones espe ciales para validar los criterios de clasificacion por parte de las per sonas que aplicaran dichas pautas. Es recomendable que los asistentes esten involucrados en el estudio y seguros en cuanto a los objetivos e importancia del mismo. La organizaci6n y distribuci6n de casas consiste en la asignacion de casos ode situaciones a los asisten tes una vez capacitados. Se debe en tregar toda la informacion necesa ria para que este se familiarice con el caso asignado y anticipe adecua damente las caracteristicas de la si-
I
tuaci6n o contexto de aplicacion de los instrumentos. En este pr-oceso de asignacion se debe considerar variables como genero y edad para impedir problemas de "rapport" o que distorsionen la interacion e_n la situacion de entrevista ode ob servacion. Lasuperv[si6n y revision del pro ceso de aplicacion de los instrumen tos es una actividad indispensable para garantizar la confiabilidad y validez de la informacion recolec tada. El investigador o supervisior debe visitar el terreno de aplicacion de los instrumentos; evaluar su correcta administracion; resolver problemas ocurridos con los casos seleccionados en la muestra; revi sar una proporcion de los instru mentos aplicados y aclarar dudas o problemas presentados. Entre los problemas frecuentes que se de ben resolver se encuentran lo-s si guientes: los instrumentos se apli caron a personas distintas y, ala vez, no cumplen los criterios definidos en la muestra; por ausencia o en fermedad se reemplaza a personas definidas en los instrumentos por otras que cumplen los criterios de la muestra; respuestas con clasifi cacion ambigua o mal registradas; entrevistas incompletas; grup05focales con muchos participantes y varios entre ellos se conocen, etc. Por ultimo la validaci6nfinal o a posteriori debe garantizar que lain formacion reunida permita efectuar el analisis en las mejores condicio nes de objetividad y rapidez. Se de ben eliminar los instrumentos in completos o con datos insuficien tes y disminuir al maximo el volumen de informacion adicional con elfin de contar con la que real-
· 1>
mente es pertinente y sustantivo para los fi!1eS del estudio. SegU.n De Ketele, J.M. (1992) La validaci6n fi nal debe responder las siguientes preguntas: • 2- La informacion recogida es ne cesaria y suficiente en calidad y cantidad? (pertinencia de lain formacion) • »La informacion recogida da cuenta o refleja la realidad es tudiada? (validez del instru men to) • »La irlformaci6n recogida sera la misma si es recogida par otra per sona en otro momenta, en otra situaci6n y con otro instrumen toL._(confiabilidad del instru mento).
PLAN DE ANALISIS El objetivo principal del analisis es verificar los indicadores defini dos en la evaluaci6n y relacionar los con los criterios de logros esta blecidos. Al mismo tiempo la estra tegia de analisis debe probar las hip6tesis plantaedas inicialmen te, reformularlas o construir otras nuevas a partir de la informacion reu nida. Estas hipotesis tiene relacion tanto con el funcionamiento de la l6gica intem.-a -del proyecto como con la importancia que tienen los fac tores externos y otros imprevistos en los resultados observados. El plan de analisis es diferente segun el tipo de informacion a uti lizar. Siesta es cuantitativa debe cla sificarse segun los conceptos y ca tegorfas predefinidas. En este caso,
como senalan Cohen, E., et al,. _(1992) el plan de analisis debe ex plicitar la naturaleza de los indica dores, las escalas a aplicar a los mis mos (de raz6n, intervalar, ordinal o nominal) y el tipo de herramien ta o medida a ocupar en el anali sis estadistice (coeficiente de va riacion; media, desviacion estandar; mediana correlacion de Spearman; frecuencia, moda, chi cuadr;do, entre otras). Si se trata de informacion cua litativa (p.e.transcripciones de en trevistas; de grupos focales; respues tas abiertas; observaciones; etc.) sera necesario construir categorias de cla sificaci6n que permitan describir y presentar los resultados, para es tablecer luego relaciones entre las categorias a traves de la construe cion <:{e tipos o de modelos inter pretativos. La construcci6n de categorias o codificacion inicial se realiza con una muestra del material o corpus reu nido (10 a 30%). Estas permiten una descripcion precisa de las caracte risticas mas importantes del con tenido . Las categorias deben estar relacionadas con el objetivo y mar . co conceptual del estudio; deben ser exhaustivas; excluyentes e indepen dientes. Elsistema de categorias de riva de un unico principia de cla sificaci6n, requisito que obliga mantener separados niveles de analisis conceptualmente diferen tes (Garcia, F., et al., 1986) . Luego estas distinciones se prue ban con el resto del material reu nido hasta llegar a un conjunto am plio y preciso de categorias que per miten construir la interpretacion. Diverstos autores nombran de dis-
Dis eno y Evaluac i6n de Proyecros
Diseno y Evaluaci6n de Proyecros
I
-
tinta manera esta fase. Por ejem. plo, para Corbin J. y Strauss, A.L. (1990) se trata de un segundo nivel de clasificaci6n de tipo axial que relaciona las categorfas con ejem plos y conceptos dteorias referen tes al problema. Para Spradley, J. (1980), en este nivel de analisis las categorias y relaciones semanticas
COMUNICA·CION DE RESULTADOS No existe una forma unica de co municaci6n de resultados de la evaluaci6n. La exposici6n del es tudio no coincide necesariamen-te con el proceso de investigaci6n
descritas de ben someterse a un analisis componencial (compo nential analysis) que establece re laciones entre los atributos asocia das a las categorias y los simbolos o principios culturales del grupo es tudiado. Para Remy, J. et al., (1990) una vez descritos los c6digos prin cipales del texto se deben estudiar, en un segundo nivel, las relaciones estructurales que tiene entre si y los principios simb6licos que subyacen en el discurso del actor considera do. De este modo las categorias constituyen tin primer paso de descripcion·de los textos para s_e guir con un segundo de interpre tacion y construccion de modelos simbolios suyacentes y que orien tan la accion yestructuran sus dis cursos. Existen diferentes estrategias de analisis de datos cualitativos. To das elias insisten que este analisis no es la mera presentacion"textual" de la informacion. Por el contrario, este tipo de analisis trata de ilus trar los principios de distincion; los conceptos e interpretaciones que los sujetos producen desde su uni verso cultural al opinar sobre un pro yecto o al dar cuenta de los resul tados del mismo .
realizado. Cada atitor o equipo evaluativo debe encontrar la forma de comunicaci6n que le resulte mas adecuada segun la naturale za del estudio y las carectristicas de su destinatario. Cualquier evaluaci6ny, por tan to, sus informes parciales y finales estan dirigidas a alguien. Este in terlocutor puede ser una autoridad publica; representantes de las agen..:. cias de cooperacion; otros equipos de proyectos similares; publico academico y de investigaci6n so cial; el mismo equipo del proyec to evaluado; los beneficiarios del proyecto, etc. Ellenguaje, claves de analisis y el sentido comun e inter pretativo del destinatario deben ser tornados en cuenta por el autor al elaborar su informe. La tarea del tex to final es la de comunicar clara mente a uno o varios interlocuto. res los resultados y el metodo a tra ves del cual estos se obtuvieron. Si el destinatario es una auto ridad politica o tecnica de organis mos del estado sera necesario sus pender o desarrollar con menos im portancia la discusion academica y conceptual de las observaciones realizadas. Sera necesaraio poner enfasis en los impactos obtenidos yen recomendaciones que ayuden a esta autoridad a tomar buenas de cisiones. En caso contrario, si el in forme se presenta en un publico
academico o a los propios benefi ciarios los enfasis seran dis tin-. - tos. Seguramente el publico o lec tor del-inforrne exigira mayor ex plicitacion de los conceptos; del metoda empleado y de la discusion en torno a las hipotesis del estu dio. Cada lector o interlocutor participa de un dominio de accion y de un lenguaie particular que el evaluador debe considerar al pro- ducir su informe.
ne los capitulos y secciones prin-_ cipales de un informe . ELdesarrollo de estos puede variar en extension y profundidad segun las finalida des de la evaluacion y caracterfs ticas del destinatario. A continua cion presentamos un esquema o guion posible para organizar el informe de ealuacion.
Tomando en cuenta esta reco mendacion sugerimos un esquema basico para la comunicaci6n de resultados del estudio evaluativo. A partir de la lectura de varios in formes evaluativos hemos construf do este esquema sfntesis que reu
Portada y Titulo Titulo y lugar de la evaluacion Autor (es) y colaboradores Institucion patrocinante Fecha del informe
ESQUEMA DE INFORME FINAL DE EVALUACI6N
Resumen ejecutivo Breve relato de una o dos pagi nas describiendo los objetivos de la evaluaci6n, metodo, procedi miento de traba.jo, principales re sultados, conclusiones y reco mendaciones. El resumen sees cribe una vez finalizado el informe. Diseno y Eva luac i6n .je Proy ectos
Introduccion Describir los antecedentes y ob jetivos de la ·evaluacion. lndicar - la importancia del proyecto es tudiado y el sentido de la eva luacion. Explicitar los_ principa les elementos del enfoque eva luativo y del procedimiento de trabajo. Presentar los capitulos y secciones que componeel tex to o informe. Agradecer a todos quienes colaboraron en la elabo racion del estudio. El proyecto a evaluar Presentacion del proyecto a eva luar. Grupos de interes y bene ficiarios; problemas a enfrentar; objetivos; resultados esperados y principales actividades reali zadas. Descripcion de.su funcio namiento, cambios y etapas de desarrollo. Contexto y factores que inciden o afectan su viabi lidad. Diseiio y metodologia de Ia evaluacion Definicion del objeto o foco de la evaluacion (impacto, efectivi dad, procesos, costo-efectivi dad, etc.); presentacion del mo delo de evaluacion, criterios e in dicadores. Hipotesis de trabajo de la evaluacion. Disefi.o meto dologico y estrategia de recolec cion de informacion. Muestra e instrumentos ocupados. Presentacion y discusion de resultados Descripcion y presentacion de re sultados segun el foco y obj eti vos de la evaluacion. Productos de la evaluacion. Graficos, cua dros; rna pas y fotos que ilustran desarrollo del texto . Recuadros con citas y observaciones de en-
Dis eno y Evaluaci6n de Proyectos
trevistados. Breve explicaci6n de procedirniento _de an lisis T cornparaci6n con resultados de otros estudios y proyectos simi lares. Conclusiones y reco111endaciones Conclusiones en relaci6n con los resultados obtenidos y pregun-: tas iniciales de la evaluaci6n. Discusi6n de estos resultados en cornparaci6n con resultados de otros proyectos sirnilares. Lo gros no previstos e hip6tesis in terpretativas. Recomendaciones en torno a objetivos; diseno y pro-
cedirniento de trabajo del proyec- . to evaluado.Aprendizajes y rne didas para mejora:t: el proyecto si _ se recornienda su continuidad Bibliografia Libras, revistas y docurnentos flO publicados, citados segun con venciones. Anexos Presentaci6n de diseno de pro yecto de evaluaci6n, instrumen tos, cronograrna de trabajo; rna pas; cuadros estadfsticos, trans cripciones y otra informacion relevante par.a llector.
LA EVALUACION IN TEGRADA A LA VIDA DE UN PROYECTO En este libro hemos sostenido que la evaluacion es una actividad per manente y central para la vida de los proyectos sociales. En efecto, en las fases de diseno, en el transcur so de la ejecucion y al finalizar sus ?.Ctividades hemos identificado dis tintos tipos y momentos de evalua- · don. El estudio de la relacion cos to-efectividad, de los procesos, y de los impactos, entre otros, son ejem plos de tipos de evaluacion que for man parte integral del ciclo de vida del proyecto.
1
1-1
I
!
Tradicionalmente el enfoque evaluativo que ha predominado se ha centrado en el estudio de las ac tividades de los proyectos ode re laciones como las de costo-bene ficio y costo-efectividad, entre otros (Cohen, E., et al 1992; Mar tinic, S., 1993; Ritchey:.Vance,- M., 1996). Los pocos recursos existen tes para enfrentar los enormes de ficits sociales que afectan a nues tros pafses obligan a tomar muy en cuenta este tipo de relaciones. Sin embargo, este enfoque es in suficiente. En efecto, y como sear gumenta en el texto, los procesos
de descentralizacion y la necesidad de resolver problemas relacionados con la calidad de las politicas so dales requieren de nuevas estrate gias evaluativas. Estas deben cen trarse en los sultados o impactos yen los procesos disenados para lo grar tales resultados.. En este caso la evaluacion se asocia al aprendi zaje y produccion de conocimien t-os para la accion. Este libro es una contribucion al desarrollo de -est a ultima pers pectiva. Se propone un enfoque in tegrado que, para disenar los pro yectos sociales, considera desde el inicio la evaluaci6n de los mis mos. Para ello se definen catego rfas basicas de formulacion de los proyectos y descripcion de las re laciones que estos tienen con su en torno. Se precisa a traves de indi cadores las areas de }2robler:uas y las competencias que se esperan so lucionar o mejorar gracias ala ac ci6n del proyecto. La evaluacion se entiende como una actividad cuyo objeto central es el estudio de las relaciones o hi p6tesis que los proyectos plantean y el efecto de las mismas en los pro blemas relevados. De este modo, no consiste en la mera medici6n de los resultados sino que, ademas de ello, dis cute y emite opiniones so-
· bre 1calidad de los mismos, los pro cesos desencadenaqos y la validez cte las hipotesis que fundamentan .la intervencion de los proyectos. De este modo, -la evaluacion se basa, y enriquece al mismo tiempo, la teo ria o 1narco de referenda que el pro pio proyecto construye para orien tar su ac
,·
·,_:,
: r .'·
Para realizar la evaluacion exis ten distintos disenos los que, si guiendo la distincion cl
EVALUACION Y TOMA DE DECISIONES Como se ha se nalado la funcion principal qu e se atribuye ala eva luaci6n es la de contribuir a l a
to rna de decisiones. A nuestro jui cio, este enfasis merece ser discu tido para relevar con mas fuerz-a su aporte a los aprendizajes y desarro llo del conocimiento de los equi pos ejecutores.Veamos con mas de talle esta afirmacion.
Ll
l 1
En el caso de los proyectos so dales no existe una relacioD direc ta entre evafuacion y toma de de cisiones, En efecto, por razones polfticas o de interes val6rico se aprueban y rechazan proyectos sin considerar los fundamentos tecni cos o el costoy la efectividad de los mismos. Numerosas experiencias demuestran esta tradicional tension entre la racionalidad tecnica y la ra cionalidad politica al tomar una de cision sobre programas y proyec tos sociales. Disolver la tension en favor de una u otra puede_lle var a decisiones tecnocraticas que no consideran los intereses y pre ferencias sociales o bien a decisio nes politicas sin bases tecnicas en la viabilidad y sustentabilidad de la iniciativa. Ambas racionalidades, al no escucharse mutuamente, pue den hacer fracasar hasta el proyec to mas loable. Diversas investigaciones de muestran que los informes evalua tivos SO[l un antecedente para lade cision y solo en muy pocos casos tienen consecuencias practicas. Mac Cormick, R. et..al., (1996) cit an do un trabajo de ABT dice que en los Estados Unidos, se estima que m e nos del 1% de los 1000 infor m es evaluativos que producen los organismos federales tienen una aplicaci6n politica. No contamos con cifras similares para el caso de America Latina p e ro, no es un riesgo afirmar, que existe un a t e n-
D i se no y E va1 uac1 6n d e P royecws
dencia similar. En efecto, la mayor .parte de los informes y estudios eva luativos terminan archivados o circulan entre
asesores y equipos tecnicos que, con muchas dificul tades, intentan aplicar las recomen daciones que emanan de los mis mos. Solo el involucramiento de la autoridad politica en el tema; la ca pacidad de accion y
de rejaciQnes de los tecnicos en el proceso de toma de decision, demuestran ma yores posibilidades de impacto de las evaluaciones en las decisiones finales. De este modo los informes eva luativos forman parte de la cons trucci6n social de la decision pero, en ningun caso, tienen un efecto med.nico y lineal en la autoridad. Los evaluadores e investigadores sociales son un actor mas de este proceso social e interactivo de construccion de decisiones para ac tuar en el campo social. La evalua cion contribuye ala formacion del juicio, de los criterios o de la ar gnmentacion que sustenta una de cision. Pero esta ultima guarda para si siempre un terre no de au tonomfa y libertad con respecto a los informes tecnicos del proyec to en cuestion. Por esta raz6n creemos que la evaluaci6n no debe descuidar otras de sus funcio nes y que, en el mar co de lo planteado, nos parece central. Esta es el aprendizaje que realizan los equipos, tecnicos y participantes sobre el diseno y r e sultados del proyecto.
Diseno y Evaluaci6n de Proyectos
LA EVALUACION COMO APRENDIZAJE El aprendizaje de los profesio nales, de los tecnicos o equipos de_ trabajo de los proyectos sociales-con siste en cambios que experimentan sus interpretaciones y logicas de ac ci6n como fruts> de la reflexion y ana lisis de su pnictica. A traves de las actividades de eva luacion los equipos y profesiona les formulan preguntas a la ac cion, y a las interacciones que tie nen sus proyectos con los ·grupos de interes y problemas que inten tan transformar. Las respuestas e indagaciones so bre las mismas pueden afectar las interpretaciones pre existentes y producir conflic tos cognitivos que necesitaran de nuevas sistemas interpretativos y de accion. La persistencia de este tipo de conflictos inciden, a media no y largo plazo, en la cultura de la institucion y de los equipos pro duciendo cambios en sus conoci mientos· y principios de acei6n . De este modo, un principia cla ve de estos cambios o aprendiza jes es la relaci6n que se establece entre las estructuras conocidas y aceptadas de interpretacion y la nue va informacion propuesta por la eva luacion. En efecto, el a-]3-Ie-Rdizaje se logra cuando las nuevas distin ciones e informaciones transforman o se integran en las antiguas estruc turas de conocimiento. El siguiente esquema, basado en Forss, K. (1994) nos ayuda a com prender estas relaciones .
""
Esquemde proceso de evaluacion I Estructuras de conocirniento y de acci6n predorninantes
...,...
III Resultados
II Acci6n (proyectos)
IV Carnbio al interior de estructuras de conocer y de actuar
..__
y aprendizajes
...
-v Evaluaci6n Feedback
VI Cambio de las estructuras de conocimiento y de acci6n
El gr.:Hico rnuestra que en cual lidad en sus resultados. Para garan quier equipo de trabajo o institu. tizar este tipo de reflexi6n y de cam ci6n existe un saber compartido o bia se necesita la participaci6n y coo una cultura institucional predo peraci6n del equipo ejecu tor del rninante. Esto es estructuras de proyecto en la evaluaci6n de su pro pensamiento y de acci6n que se tra pia experiencia. Sin estas dos con ducen en proyectos ejecutados por diciones dificilmente se podra sus tecnicos orientados ala produc avanzar en el aprendizaje interno ci6n de impactos. La evaluaci6n de yen la producci6n de nuevos co estos resultados inciden, a su vez, nacimiento s (McCormick, J .M., en los aprendizajes del sujeto y de 1996). Por otra parte, la generaci6n la instituci6n contribuyendo are de redes de apoyo y de espacios loforzar ese tipo de acci6n o a cam cales de intercambio y de reflexi6n biarlas en caso que los resultados entre proyectos parecidos contri no sigan la direcci6n buscada. buye al desarrollo de evaluaciones. Estas mejoran las posibilidades de Este proceso es el que contribu aprendizaje al producir acuerdos in ye a generar la evaluaci6n y que, sos terpretativos y orientaciones de tenido en el tiempo, produce apren acci6n similares entre instituciones dizajes, conocimientos, mejores y equipos que actuan como grupo disenos de proyectos y mayor cade referenda o red local de apoyo.
Diseno y Evaluaci6n de
Proyecws
Aedo, C. y Medina, E. (1995). Priorizaci6n en Ia atenci6n en salud y canastas basicas.Santiago, BID, Red de Centros de Investigaci6n econ6rnica aplicada. Alonso, S. y Gutierrez, L. (1996). La promoci6n y desarrollo de las bandas juveniles. Cejuv. Inforrne de Evaluaci6n presentado al Diplornado de evaluaci6n de proyectos de desarrollo Social, Mexico, Cornexani/ Universidad Iberoarnericana. · Alonso, G. y Perez . H. (1996). Proyecto de evaluaci6n institucional (IEPAC), Inforrne de Evaluaci6n presentado al Diplornado de evaluaci6n de proyectos. de desarrollo Social_ Mexico,Cornexani-Universidad Iberoarnericana . Ander- Egg, E. et al (1990). C6mo elaborar un proyecto. Mexico, Instituto de Ciencias Sociales Aplicpdas . - -- Andrade, S. (1995) . Metodos cualitativos para la evaluaci6n de programas . Santiago, CIDE, Octavo Modulo de Metodos y Tecnicas Cualitativas, (rn.s.) Banco Mundial. (1993) .Informe sabre el desarrollo mundial. Invertir en Salud. N. York, Oxford University Press. Bange, P. (1992). Analyse conversationnelle et theorie de ['action. Paris, Hatier/Didier. Beserra, J. (1995)."Participa<;ao do publico no proceso decisorio: a<;ude Castanhao. Urn estudo de caso". En: Revista de Administrar;ao Publica, Rio de Janeiro, Fundaci6n Getulio Vargas, vol 29 No 3, pp. 157170. Bezerra, A. y Rios, R. (1995). "La negociaci6n: una relaci6n pedag6gica posible". En: Dam, van A., et al., 1995, pp. 21- 68.
BID/EVO (1995) _ Evaluation: a management tool for improving project performance. In_ter-American pevelopment Bank Evaluation Office (EVO). Birgin, H (1995). Acci6n Publica y sociedad. Las mujeres en el cambia e5tructural. Buenos Aires, CEADEL Blanchet, A., (1989). Tecnicas- de investigaci6n en Ciencias Sociales. Madrid, Ediciones N arcea. Bloom, B. (1972). Taxonomia de los objetivos de la educaci6n. Bs.Aires, Editorial Ateneo. Blumenfeld, S. (1992). Metodos de Investigaciones Operativas: una metodologia general aplicada a la Atenci6n Primaria de salud. Maryland, Center for Human Services. Bolvinik, J. (1992)."Conceptos y mediciones de la pobreza predominantes en America Latina. Evaluaci6n critica". En: Proyecto Regional para la superaci6n de la Pobreza: America Latina. El reto de la Pobreza, conc..e.ptos, metodos, magnitud, caracteristicas y evoluci6n. Bogota, PNUD. Boltvinik, J. (1993)."Indicadores alternativos del desarrollo y mediciones de pobreza". En: Estudios del Colegio de Mexico XI, No 33, pp. 605640. Bosker, R. y Scheerens, I- (1994) ."Alternative models of school effectivenes put to the test". En: International journal of t:ducational research. Vol 21, No 2,. pp. 159-180. Bourgois, E. (1996). L' analyse Structurale. Bruxelles, De Boeck. Bralic, S., Edwards, M., y Seguel, X. (1989). Mas alla de la sobrevivencia. Santiago, UNICEF/CEDEP. · Briones, G . (1985). Evaluaci6n de Programas Sociales. Teoria y metodologia . d e la investigaci6n evaluativa. Santiago, PilE. Bronfenmajer, G. y Casanova, R . (1986). La diferencia escolar . Caracas, Ed . Kapeluz. Bureau of Programming and Management (1979). Procedures for the design and evaluation of ILO projects (vol.II). June 1979. CEE/Management for Development Foundation (MDF) (1993) . Gesti6rz del Ciclo de un proyecto, Bruxelles. Dis eno y Eva luaci6n de Proyecros
I
I I
t-
Oiseno y Evaluaci6n de Proy ctos
CEPAL/ UNESCO: (1992). Educaci6n y conocimiento: eje de la transformaci6nproductiva con ecfuidad. San-tiago; CEPAL/ UNESCO. CEPAL (1994). Panorama Social de America Latina, Edici6n (LC/G.1S44), Santiagor Chile. CEPAL (_1996 ). Rol estrategico de la Educaci6n Media para el Bienestar y la Equidad., Santiago, (LC/G.1919). · CIENES (1995) Indicadores de-impacto de las poUticas soci"ales., Santiago, de Chile. Cohen, E. y Franco, R. (1992.). Evaluaci6n de Proyectos Sociales, Mexico, S.XXI. Cook, T.D. y Reinchardt, Ch. (1996). Metodos cualitativos y cuantitativos en investigeeett§n cualitativa., Madrid, Morata. Corbin, J., Strauss,A. (1990)."Grounded theory research: procedures, canons, and evqluative criteria". En: Qualitative Sociology,Vol. 13, No 1. Cuenin, S. (1987)."The use of performance indicators in universities: and international survey. En: International Journal of Institutional Manageme-nt in Education, volll, No 2, 1987. Cuenya, B., DiLoreto, M. y Fidel, C. (1991). Habitat y desarrollo de base. Buenos Aires, Informe de investigaci6n del CEUR, No 10. Chacon, B. (1994). Indicadores de impacto de las polfticas sociales. Santiago,CIENES. Chadwick, C:B. (1987). Variables e indicadores de calidad en educaci6n: determinantes de la calidad de la educaci6n. Santiago, CIENES/OEA, CIENES /13148 (40). Dam, van A.; Oiejens, J. y Peters, G. (1988). Educaci6n Popular en America Latina, La Haya, CESO PAPERBACK No 4. Dam, van A.; Martinic, S. y Peters, G. (1995). Cultura y politica en educaci6n popular: principios, pragmatismo y negociaci6n. La Haya, CESO Paperback No 22. De la Lastra, C. (1993). Gufa para la planificaci6n participativa en evalud.ci6n de proyectos sociales. Santiago, Materiales del Curso de Formulaci6n y Evaluaci6n de Polfticas y Proyectos Sociales. CEPAL/ILPES/OEA.
I
j j
!
De Gaulejac,V. yTaboada, Y. (eds) (1994) ..La lutte des places. Paris, Hommes et Perspectives. · .
Deketele, J.M. (1988). Methodologie de robservation. Bruxelles, De Boeck .. Universite. Deketele, J.M. y Roegiers, X. (1993). Methodologie du recueil d;informations. Bruxelles, De Boeck Universite.
J
l
i
I
I i
I
11
Diu ana, M; Jackson, K; Perez,V. (1990). Reformulaci6n, Aplicaci6n -y · Evaluaci6n de un Programa de Capacitaci6n de Monitores de Pareja. j Tesis para optar al titulo de Psic6logo. Universidad Cat6lica de I hile. Dougherty, Ch. (1991) ."Setting health care priorities. Oregons next steps!: . En: Hastings Center Report, vol 21, No 7, pp. 1-16. Egana, R. (ed.) (1988). Una puerta que se abre. Los Organismos No
1
I Gubernarnentales en la cooperaci6n al desarrollo . Santiago, Taller de Cooperaci6n al Desarrollo. Espinoza, 0., et al., (1994). Manual de autoevaluaci6n para instituciones de educaci6n superior. Pautas y procedimientos-. Santiago; CINDA/PROMESUP-OEA. :,;.
··i.
EVO/BID. (1995). Evaluaci6n: una herramienta de gesti6n para mejorar el desempefi.o de los proyectos, Washington, Borrador de trabajo. Figari, G. (1994). Evaluer quel referentiel?. Bruxelles, De Boeck Universite. Filp.
J. y Cabello, A.M. (1991) . Mejorando las
oportunidades educativas de los nifi.os que entran a la escuela. Santiago, UNICEF-CIDE. Florenzano R, Gazmuri C. y Carrasco, E. (1992). Alcoholismo y Farmaco Dependencias Juveniles en--Chile. Corporaci6n de Promoci6n Universitaria, Santiago Chile . F!orenzano,R. (1995). Familia y Salud de los J6venes . Ediciones -UniversidadCat6lica de Chile . Fontaine, E. (1991). Evalua ci6n social de proyectos. Santiago, Instituto de Economia, Universid ad Cat6lica de Chile; Forss, K . et al., (1994) ."Can evaluation help an organization to learn?. En: Review,of Evaluation Vol. 18, No 5, pp. 574-591 Garcia, F., Ibanez, J. y Alvira, E. (1986). El antilisis de la realidad social. Metodos y tecnicas d e investi i6n. Madrid, Alianza Editorial. Disefio y Eva luaci6n de Proyectos
I
I
I
I
Diseno y Evaluaci6n de Proyectos
Garcia, S., (1996). Sistema comunitario de ap_oyo ala alimentf1ci6nEstudio eyaluatio presentado en el Diplomado de Evaluaci6n de Proyectos de desarrollo Social, Mexico,ComexaniUniversidap Iberoamericana . Generaci6n (comp) (1990). Los J6venes en Chile Hov, Santiago, CIDE, CIEPLAN, INCH, PSI, SUR. Glaser, B., Strauss-, A: (1967). The diSI:overy of Grounded Theory, Chicago, Ed. Aldina. i
i
Gomez, S. (1992). La realidad en cifras. Estadfsticas sociales.Santiago, FLACSO
·l
Gonzalez, I. (1996). Evaluaci6n de Ia capacitaci6n te6rico-pnictica y trabajoeducadoras en el Centro de Ia Amistad "Cerro del judfo".Presentado al Diplomado de Evaluaci6n de Proyectos de desarr"6llo sociaL Mexico, Comexani-Universidad Iberoamericana Gumperz, J., (1990). Engager la conversation. Introduction ala sociolinguistique interactionnelle. Paris, Ed.Minuit. HadQrn, D. C. (1991) . "The Oregon priority-setting exercise:quality of life and public poiicy". En: Hastings Center Report, 1991vol21,No 7, pp 11-15. Heged,s, P. (1975) ."Evaluad6n: aspectos conceptuales y relaci6n con la investigaci6n". En: Educaci6n de Adultos y Desarrollo, Bonn, IIZ/DVV N o 44, pp. 69-82. Hernandez S, Fernandez, C ., Baptista, C. y Pilar. L. (1992). Metodologfa de la Investigaci6n. Mexico, Eds. McGraw-Hill Interamericana . Hevia, P. (1989)."Los desaffos de la participaci6n social en el nivellocal". En: Enfoques, Santiago, Vol 4 No 1 Hildebrand, H. (1995) ."Hacia la aceptaci6n de la evaluaci6n participativa". En: Educaci6n de adultos y desarrollo, Bonn, IIZ/DW No 44. Huberman, M, M. B. Miles. (1991). Analysedes donnees qualitatives. Bruxelles, De Boeck Universite Hymes, D.H . (1968) . Vers la competence de communication. Paris, Hatier Credif. !. i
Iban e z,
J.
(1979) . Mas allti d e la sociologfa . El grupo de discusi6n teorfa y crfti ca. Madrid, Ed. Siglo XXI. ·
Ibanez, J. (1991). El tegreso del sujeto. La investigaci6n social de segundQ ·arden., Santiago", Ed. Amerinda·. ·Isaac, S. y Michael, W.B. (1981). Handbook in research and evaluajion. San Diego, Edits Publishers. Jasso, Y. y Hernandez, M. (1996). Programa de atenci6n a niiios refugiados guatemaltecos. Informe de evaluacion presentado al Diplomado de evaluacion de proyectos de desarrollo soci-al. Mexico, Comexani-Uni.versidad Iberoamericana Jimenez, J. (1987). #Buscando la calidad academica en tiempos de recursos escasos". En: La gesti6n educacional y la calidad de la educaci6n. Concepcion, CAE-OEA Jimenez, M., Chaparrro,M. (1995). Introducci6n al analisis de impacto. Santiago,CPU.Documento de trabajo No 16. Johnson, K., Irby, M. (1996). Preventing problems or promoting development: competing priorities or inseparable goals?.Washignton, International Youh Foundation .. Kalina, E. (1988).' Adolescencia y Drogadicci6n. Buenos Aires, Ediciones Nueva Vision. Kalina, E. (1990). La Familia del Adicto. Buenos Aires, Ediciones Nueva Vision. Ke.r
Qrat-Oreccioni, C. (1996). La conversation Paris, Memo, No 25, Ed . Seuil.
Kliksberg, B . (comp) _ (1993). Pobreza . Un tema impostergabl e . Mexico,CLAD/FCE/PNUD. Krause, M. (1994) . La nvestigai6n cualitativa: un campo de posibilidades y desajfos. Santiago, (.rn.s . ). Kru e ger, R.A._(1988). Focus Groups . A practica-l guide for applied research . London,sage Publications. Labov, W. y Fanshell, D. ( 1977). Therapeutic Discours . Academic Press . Linares. M.E ., (1996). Evaluaci6n d e l dipl o mado de Evaluaci6n de Proyectos sociales. Presentado al Diplomado de Evaluacio n de Proyecto s de desarrollo social. Mexico, Comexani-Universidad Iberoamericana. Leii.ero, L. (1992) Sociedad civil, familia y juv_ e ntud . Mexico, CEJUV_
Di seno y Evaluaci6n de Proyectos
Diseno y Evaluaci6n de Proyectos
Lerner, B (1996). America Latina: los debates en polftica social;desigualdad - y pobre.za. Mexico, Ed. Portua. Mager, R. (1989). Objetives para la enseiianza efectiva. Caracas, Editorial · Salesiana .. Martinic, S_ y Walker, H. (1987). El umbral de lo legftimo... Evaluaci6n de la acci6n cultural. Santiago, CIDE-CIPCA. Martinic, S. (1988)."Reflexi6n critica de la educacion Popular. Una"lnirada desde los participantes". En: Dam, van A. et al., 1988, pp. 7192. Martinic, S. y Walker, H. (1987). El umbra! de lo legftimo. Evaluaci6n de la acci6n cultural. Santiago, CIDE-CIPCA. Martinic, S. y Walker, H. (1988). Profesionales en la acci6n. Una mirada critica a la educaci6n popular. Santiago, CIDE. Martinic, S. (1993). Fundamentos de una evaluaci6n cualitativa para prograrhasintersectoriales. Santiago, CIDE, Documentos de . Trabajo. Martinic, S. (199S). "Relaci6n comunicativa y organizacwn de la conversacien en experiencias de -intervenci6n sociali. En: Dam, van A., et al., 1995, pp. 101-122_ Martinez, F. (1994)."Sistema nacional de evaluaci6n educativa". En: Revista Interamericana de Educaci6n, Buenos Aires, OEA, Ano VI, No 17, pp.79-110 · Masias C. · (1993). "Peru : alterna tivas nacionales y regionales en prevencion,la accion de Cedro". En:Centro de Informacion y Educaci6n para la Prevenci6n del Abuso de Drogas: "Drogas: Producci6n, Comercializaci6n, Prevenci&n, Control y Rehabilitaci6n", Lima , Cedro . Massonat,J. (1989). "Observar". En : Blanchet, A., 1989, pp. 27-86. Mayordomo, A. (1991). Democracia participaci6n y Educaci6n, Ponencia presentada en las reuniones de consu lta de la Organizaci6n d e Estados Iberoamericanos para la Educaci6n, la Ciencia y la Cultura. McCormick, E. y Jawes, M. (1996). Evaluaci6n del curriculum en los centros escolares. Madrid, Edicion es Morata. Merino, J . M. (1995) ."El debate cualita tivo /c uantitativo en la investigaci6n
.
.,
social compara va/1. En: PAIDEIA,Revista de Educaci6n, U. de Concepcion, No 18, pp.37-SQ. Milicic, N: (1994). Confiar en uno mismo. Santiago, Dolmen -Ediciones Mingat, A. (1991)."Ls activites de re-education GAPP (Groupes d'aide psycho-pedagogique a!'ecole primaire/1. En: Revue Francaise de Sociologie, vol XXXII, No 3, pp. 457-4-91.· Monnie-r, E. (1992). Evaluations de ['action des pouvoirs publics, Paris, Economica. Morales G. (1990)."Factores asociadas al consumo de drogas: una mirada psicosocial". En: Generaci6n (comp) 1990. Morgan, D.L. (i990). Focus Groups as qualitative research. London, Sage Publications. Munguia, M.A. (1993). Estrategias de desarrollo rural, Mexico, UAM-Educe. Murray, C. et al., (1995) ."El analisis de la efectividd en funci6n del costo y la elecci6n de polfticas:la inversion enlos sistemas de sa1ud". En: Boletin de la Oficina Sanati{aria Panamericana, Vol.119, (1), pp.28-49. Murray, C. Lopez, A. (1994) ."Quantifying the burden of diseability: data, methods and results!. Bull. World Health Organ, 72 (3). Murtagh, R . (1990) . La formulaci6n de proyectos: un aporte des de la practica social a la planificaci6n educativa . Buenos Aires, Ministerio de Educacion y Justicia, Serie documentos No 3. Myers, R. (1992). Early Childhood development programs in Latin America : toward definitio of an investment strategy. Washington, World Bank, Human Resour es Division. Myers, R. (1993) . Los dace que sobreviven . OPS-UNICEF. Myers, B . (1996). Desajros curriculares . para !a educacz6n parvularia . Ponencia presentada al seminario Desafios curriculares para la Educacion Parvularia, organizado por el Ministerio de Educacion de Chile, 5 y 6 Diciembre 1996. Nelson, J. (1996). Analyzing the politics of Pro-poor Reforms in Health and Education. March 1996.
Dis eno y Evaluac i6n de Proyecros
,.
Diseiio y Evaluaci6n de Proyectos
OEA (1987). La Oportunidad de crecer: Educaci6n frente a las Drogas. Informe de expertos reunidos por el Departamento de Asuntos Educacionales_ de la OEA, New York. Ogien, R..y Katuszewski, J. (1981). Les carriEres du pauvre. Universite de Provence, Departement de Sociologie et ethnologie. -
Ortiz, M.E. (1996). Programa de educaci6n para lapaz y los derechos humanos. Estudio evaluativo presentado el Diplomado de Evaluaci6n de Proyectos de desarrollo soc.lal. Mexico, Comexani-Universidad Iberoamericana. Parlett, M., Hamilton,D. (1992). "La evaluaci6n como iluminaci6n: nueva perspectiva para el estudio de innovacioneseducativas". En: Planteamientos en Educaci6n, BogotaEscuela ' pedag6-gica Experimental, Vol 1, afto 1, pp.22-45 Patton, M. (1980). Qualitative Evaluation Methods. Londres, Sage Publications. Paugam, S. (1991). La disqualification sociale. Essai sur la nouvelle pauvrete. Paris,PUF. Pedersen, D (1989). Guia para la evaluaci6n de la pr:zrticipaci6n de la comunidad en los servicios de salud. Citado en : Hevia, P., 1989. Peters, G. (1995). "Modelos alternativos del proceso de la polltica publica: de abajo hacia arriba ode arriba hacia abajo". En: Gesti6n y FoNica Publica, Mexico,Vol IV, No 2,. pp. 257-276. Pettersen, W. (1974). La enseiianza par objetivos de aprendizaje. Madrid, Editorial Santillana. Pimmentel, P. yViveros, M.L. (1996). Sistematizaci6n de una experiencia educativascon mujeres". Informe presentado al Diplomado de Evaluaci6n de Proyectos de Desarrollo Social. Mexico, Comexani!Universidad Iberoamericana . Pourtois, J.P., Desmet, H. (1992). Epistemologia e Instrumentaci6n en Ciencias Humanas. Editorial Herder, Barcelona. Raczynski, D. (1992). "La ficha CAS y la focalizaci6n de los programas sociales". En: Gomez, S. (ed) 1992 pp 29-70. Reimers, F. (1990). "Participaci6n ciudadana en Reformas de Polfticas Educativas". En: Revista de Pensamiento Educativo, Santiago, Facultad de Educaci6n, P. Universidad Ca t6lica de Chile, vol 17 pp.115132.
I
Reinchardt, Ch. y Cook, T.D.(1986). "Hacia una superaCion del enfrent miento entre los metodocualitativos y cuantitativos". En: Cook, T.D. y Reinchardt, Ch ., 1986,pp.25_-S5 ·Remy, J. y Ruquoy, D. (1990). Methodes d'analyse de contenu et sociologie., Bruxelles, Facultes Universitair"es Saint-Louis. Richards, H. (1983). Evaluaci6n iluminativa y acci6n cultural. Santiago, CIDE, Documentos de Trabajo. Richards, H. (1987) ."Programa Padres e Hijos de Chile (P.P.H.). Un caso de la evaluaci6n culturali. En: Martinic, S. et al., 1987, pp 3358. Riecken, W.R. (1974). Social experimentation: a method for planning and evaluating social intervention. N. York, Academic Press. Ritchey-Vance, M. (1996). "El capital social, la sostenibilidad y la democracia en acci6n: nuevas medidas para la evaluaci6n del desarrollo de base". En: Desarrollo de base . Revista de la Fundaci6n Interarnericana, vol 20, N o 1, pp. 2-9. Rockwell, E. (198D). La_ relaci6n entre etnograjfa y teoria de la investigaci6n educativa. Mexico, CIEA-IPN, DIE. Romero, L.A (1989). "Como son los pobres?. Miradas de la elite e identidadpopular en Santiago hada 1870". En: Opciones, Santiago, No16, 55-79. Roulet, E. (1993) . "Vers une approche modulairre de la structure du discourse". En: Cahiers de linguistique francaise, No 12, pp. 5381. Sanchez M, Villa ME, Agudelo M, Pulido E. (1995)."C6mo trabajar con j6ven e s en prevenci6n del consumo de Drogas1. Manual N°1. Corp o raci6n Colombianapara la Prevenci6n del Alcoholismo y d e la Farmaco dependencia, SURGIR, Medellfn, Colombia. SciaraA. (1994). Metodologfa de evaluaci6n-"Jj"Seguimiento de program as y proyectos d e combate a la pobreza . Buenos. Aires, Organizaci6n de Estados Americanos, CIDES, D.T. No 2. Scott, P.B. (1988) . Introducci6n ala investigaci6n y evaluaci6n educativa, Gu a t e mala, Universidad de San Carl os. Schieffelb e in, E . (1990). Elementos para re fl e xionar sabre la calidad de la educa ci6 n en Anu!rica Latina. Paris, IIEB Inforrne de investigaci6n, UNESCO. Di seno y E valuac i 6n de Proyenos
.i;
Disefio y Evaluaci6n de Prpyectos
Selden, R. (1990) 'iDeveloping educational indicators: a state-national . perspec_tive". Ep.: International Journal of Educational Research,Vol 14, No 4, pp. 383-393 Seminario Intetnacional (1993). Drogas: producci6n, comercializaci6n, - prevenci6n, control y rehabilitaci6n. Memorias-del V seminario internacional., Lima, CEDRO, 21-23 julio 1993 _ Slavin, R. (1996). Salas- de gases efectivas, escuelas efectivas: Plataforma de inilestigaci6n para una Reforma Educativa en America Latina. Santiago, PREAL, Documentos. Sojo, A. (1990). "La focalizaci6n en politic a social". En: Pensamiento Iberoamericano, Santiago, No 18., Sardis, M.T. et al (1994) .. Estrategia de fortalecimiento para instituciones de bienestar social. Bogota, Fundaci6n Antonio Restrepo Barrios, p. 97. Spradley, D. (1979). The ethnographic interview. N. York, Holt, Rinehart and Winston. Stakes,R.. (1975). Evaluating the arts in education.-a resvonsive approach. Columbus, ON:Merril. Stichcombe, A. (1969). La construcci6n de las teorias cientificas. Buenos Aires, Ediciones Nueva Vision. Strauss, Ay Corbin, J (1990). Basics of qualitative research. Grounded theory Procedures and techniques. London, s·age Publications. Stufflebeam,D.L. (1971). Educational Evaluation and Decision. Itasca, Illinois: F. E. Peacock. Stufflebeam D. y Shinkfield, A.J. (1985). Sistematic evaluation. Boston, Kluwer Sulbrandt, J. (1993)."La evaluaci6n de los programas sociales. Una perspectiv,9. crftica de los modelos usuales". En Kliksberg, B., 1993 pp.310350. Tsukame A. (1990). "La droga y la doble exclusion juvenil popular". En: Generaci6n (comp) Los ]6venes en Chile Hoy. Santiago CIDE, CIEPLAN, INCH, PSI, SUR. Tyler, S.J. yBogdan, R. (1992). Introducci6n a los metodos cualitativos, Buenos Aires, Paidos.
I
UNESCO/PNUD. (1986.). Metodologia y tecnicas especificas para la formulaci6n y evaluaci6n de proyectos en la esfe:_a de la ducaci6n. San Jose, UNESCO/CAP. UNESCO/PNUD. (1991). Metodologias y tecnicas especificas paralaformulaci6n · y evaluaci6n de proyectos en la esfera_de la educaci6n. San Jose, UNESCO/CAP. . UNESCO (1979). Evaluaci6n de los proyectos de cooperaci6n int-€rnacional en materia-de edu_caci6n. Paris. UNICEF (1991). Guide for monitoring and evaluation. Unicef, Evaluation office, N. York, UNESCO (1992). Medici6n de la calidad de la Educaci6n. Par que como y para que?. Santiago, UNESCO/OREALC. Velasquez de Pabon, R. (1991)."Presi6n del grupo como Mecanismo de Propagaci6n del uso indebido de Drogas".En:Nexo Latinoamericano. N ° 1, Lima, Peru. Verdes-Leroux, J. (1978). Le travail Social. Paris, Editions Minuit Warman, A. (camp) (1994). La politica social en Mexico, 1989-1994. Mexico, FCE. Weiss, C. (1992). Investigaci6n evaluativa. Metodos para determinar la eficiencia de los progranzas de acci6n. Mexico, Editorial Trillas,
---
White, L.G . (1990) . Political Analysis: Technique and practice. California, Brooks/Cole Publishing. Zapata, S. (1993)."La mendicidad y su mundo". En: Revista de Estudios Sociales, Santiago, No 76 pp. 67-94 .
Diseno y Evalua ci6n de Proyec ros
r
