( ~
En la elaboración de este trabajo participa ron las siguientes pe rsonas:
t
Diseño conceptual y metodológico, capacitación y transferencia Coordinación general Irene Novacovsky (Coordinad ora del SIEMPRO) Patricio Cha ves (Consultor internac ional de UNESCO) Investigadores participantes Claudia Sobrón Pablo Pucciarelli Andrea MOl"agues Mirta Botzman Santiago H ynes
n
Colaboración Mariano Martínez de Ibarreta Carlos López Iglesia s María Saguier Corrección y edición de originales Silvina Hirschborn Nélida Ugrin Mara L. Bannon
d ..
Diseño y procesamiento didáctico Diseño didáctico Nora Blaiste in Frida Goldenstein Procesamiento didáctico Frida Golde nstein Graciela Bohoslavsky
Discusión y transferencia teórico-metodológica Brian Tbompson Francisco Guzmán (Oficina de Evaluación BID [EVO] Washington)
SI El Coordinación de edición Cla udia A. Hartfiel
Corrección final Lucila Ga la y
Soc
Gestión Integral de Programas Sociales Orientada a Resultados
Manual Metodológico para la Planificación y Evaluación de Programas Sociales
SIEMPRO Sistema de Información, Monitoreo y Evaluación de Programas Sociales, Banco Mundial, Secretaría de Desarrollo Social, UNESCO Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura
'309 , ~ ~ '3~3 índil
Prese Acere Orien Módu I ntroc
~;i~i en el ! El ide
G~
~~~d~
Primera edición: abril de 1999
Gestión Integral de Programas Sociales Orientada a Resultados es una coedición del Fondo de Cultura Económica y de la Secretaría de Desarrollo Social de la Nación
~1
Ml Mo
SIEMPRO Av. 9 de Julio 1925 13 0 . 1332 Buenos Aires
M ei
Te: (54 11) 4383-2079 E-ma il:
[email protected] http://www.s iempro.org.ar UNESCO Callao 1134 10 . 1023 Buenos Aires
Te: (54 11) 4813-4622 7. Place de Fontenoy . 75352 Paris 07 SP Te: (33) (1) 45 68 1000 E-ma il: cfd@unesco .org http://www.unesco.org
M
MM Intro
Unid~ Aspe de la Intro La Or
© 1999 Fondo de Cultura Económica de Argentina S.A. El Salvador 5665 . 1414 Buenos Aires Av. Pi cacho Ajusco 227 . 14200 México DF La de: ISBN: 950-557-3 19-7
"',
Impreso en Brasil ' Hecho el depósito que marca 1; Ley -11. 72j
índice I 5
aJ q
índice
x.
Presentación
7
Acerca de la Metodología de Gestión Integral de Programas Sociales Orientada a Resultados
9
Módulo 1: Planificación de Programas Sociales Introducción
17
Unidad 1 La metodología de la plan ificación de programas socia les en el marco de la Gestión Integral Orientada a Resultados El punto de partida para la planificación de los programas sociales: identificación y delimitación del problema sOCIal que da origen al programa Guía para la identificación y selección del problema social
19 19 20
Unidad 2 Los momentos metodológicos de la planifi cació n de programas sociales Momento metodológico 1: Descripción del problema social Procedimiento metodológico para la descripción del problema Momento metodológico 2: La explicación del problema Procedimiento metodológico para la explicación del problema social Momento metodológico 3: Construcción de la visión del programa social Procedimiento metodológico para la construcción de la visión del programa Momento metodológico 4 : Identificación de los componentes del programa social Procedimiento metodológico para la identificación de componentes del programa social Momento metodológico 5: Diseño de las actividades del programa social e identificación de las instancias responsables de su ejecución . Procedimiento metodológico para el diseño de las actividades del programa social e identificación de las instancias responsables de su ejecución Momento metodológico 6 Formulación del programa social Procedimiento metodológico para la formulación del programa social
23 23 24 29 29 35 36 38 38 41 41 45 45
Módulo 2: Evaluación de Programas Sociales Introducción
51
Unidad 3 Aspectos conceptuales y metodológicos de la evaluación en el marco de la Gestión Integral Orientada a Resultados Introducción a la evaluación de programas sociales La evaluación en el marco de la Gestión Integral de Programas Sociales Orientada a Resultados ¿Qué es la evaluación de programas sociales? ¿En qué consiste la evaluación de un programa social? ¿Para qué se evalúa un programa social? ¿Cuándo se realiza la evaluación de un programa social? ¿Quién realiza la evaluación de los programas sociales? La evaluación en las fases de planificación, ejecución y final izac ión del desarrollo del programa social Evaluación de la planificación del programa Eva luación de la ejecución del programa Evaluación de la finalización del programa
53 53 55 55 55
56 56
57 59 59 60 61
I
ra l de Programas Sociales
Los momentos metodológicos para el desarrollo de las eva luaciones de programas sociales El d iseño de la evaluación Consideraciones genera les Pasos metodológicos para el diseño de la evaluación de programas sociales
63 64 64
Pr
65
Unidad 4 Los instrume ntos para la eval uación de programas socia les La evaluación ex-ante Características y finalidades Tipos de viabilidad para el trabajo con la evaluación ex-ante Procedimiento sugerido para el trabajo con la evaluación ex-ante El monitoreo Características y finalidades Procedimiento sugerido para el diseño del monitoreo La evaluación diagnóstica Características y finalidades Procedimiento sugerido para el trabajo con la evaluación diagnóstica La evaluación desde la perspectiva de los beneficiarios Características y finalidades Procedimiento sugerido para el trabajo con la evaluación desde la perspectiva de los beneficiarios Elementos metodológicos a considerar en el diseño de una evaluación desde la perspectiva de los beneficiarios La evaluación de resultados Características y finalidades Procedimiento sugerido para el trabajo con la evaluación de resultados La evaluación de impacto Características y finalidades Modelos metodológicos aplicables a la evaluación de impacto Criterios metodológicos Procedimiento sugerido para el trabajo con la evaluación de impacto
73 74 74 74
lo
nu
75 87 87 87
da o pe luc
93 93
las la eql
95 97 97
ne
de 99
soc"
des
100 101 101 102 106 106 108 llO III
Anexo 1 Metodologías para la construcción de muestras
ll5
Anexo 2 Técnicas cualitativas de recolección de información
ll9
Anexo 3 Términos de referencia
121
Anexo 4 Ejemplo de programa social para el trabajo de taller
129
Bibliografía
135
Glosario
139
rJr()g
Presentación
63 64 64
Presentación
65
73 74 74 74
75 87 87 87 93 93 95 97 97 99
100 101 101 102 106 106 108 110
111
115
119
121 129 135 139
Entre otras reformas, el Estado ti e ne pendiente la construcción de un nuevo mod elo de política soc ial , qu e aco mpañe al modelo eco nó mico. Su objetivo sería lograr una nueva institucionalidad pública , donde lo soc ial sea constitutivo de l Estado , lo que le da sentido , y cuyo objetivo central sea la equidad, la integración social , la igualdad de oportunid ades y la supe rac ión de la pobreza y la vu lnerabilidad socia l. La nu eva inst itucionalidad pública remite al crec imie nto de poder de la a utoridad social , a la que pone e n un pie de igua ldad co n la autoridad econ óm ica para pod e r cond uc ir y ge nerar las cond icio nes del fortalecimiento de los sectores m{ls fr{lgil es d e la sociedad , facilitar la expresi ó n de sus demandas y producir los meca nism os para una di stribu ción m{ls equ itativa de la riqu eza. En este sentido , los procesos de democratización de la gestión del Esta do req ui e re n de la constru cc ión de capacidad institucional e n lo soc ial para fortalecer a la autoridad socia l. Las instituciones deben se r capaces de interpre tar y dar respuesta a las necesidades de la sociedad, con res ponsabilidad por las acc iones que desa rrollan ; ser e ficientes y eficaces e n la as ignación y mane jo de los recursos ; y esta r di sp uestas a re ndir cuenta s de los resu ltados de sus acciones. En este marco , la Gestión Pública Orie ntada a Resultados signifi ca un ca mbi o s ustantivo en la concepc ió n de l funcionamiento del Estado; los resultados se mid en de acuerdo con las de mandas satisfechas y los problemas res ueltos. En el campo de las políticas sociales estos res ultados re miten al logro ele equid ad, la integrac ión soc ia l y la supe ración de la pobreza y la vulnerabi lidad social. La Gesti ó n Pública Orie ntad a a Res ultad os significa un ca mbio e n la co nce pció n, estrategias y metod o logías de planificación y eva lua ció n de políticas y programas sociales: si los programas social es ti e ne n como objetivo so lucion ar y transformar, con efici encia y ca lid ad , los problemas específicos de la població n, e ntonces, la Gestión Orientada a Resultados debe ser e l proceso integra l qu e permita planificar, viabilizar, concretar y eva lu ar los res ultados qu e s upe re n o alivie n, efectivamente, dichos proble ma s. La Gestión Pública Orientada a Resultad os significa fortalecer la función de la evalua ció n en e l Estado, reconocien do la centralidad , la autonomía y la especificidad de la eva lu ación de lo socia l: s upe ra ndo las con ce pciones tradi cional es de eva luació n orig inadas en las me to dologías de costo-be neficio y en la lógi ca de reducci ó n del ga sto social y del ajuste presupuestario, y asumiendo que las eva lua cion es e n e l área social, en cambio , parte n de va lorar en qué med ida los programas sociales potencian a sus be neficia rios mediante la generación o formación de Glpacidades qu e quedan in corporadas en e l capital huma no y social. La Gestión P(¡blica Orientada él Res ultados significa instalar la evalua ción y e l moni toreo en la acción misma de los prog rama s , para constituirse en un proceso de aprendizaje qu e permita mejorar su gestión y resultados, y co nve rtirse e n un e lemento de reflexió n y ca pacitac ión, qu e fom e nte la c ultura y rutinas de autoeva luación y, por otro lad o , que instale co mo e le me nto constitutivo de la eva luació n la pe rspectiva d e los benefi ciarios; es decir, desd e dond e est~l la gente y con la ge nte . En estos años de re fl exión y trabaj o constante he mos ava n za do e n e l desa rrollo y aplicación de metodologías y h e rrami e ntas de planificación y evaluación de políticas y programas social es, conscie ntes de la comple jidad de adecuar instrume ntos (¡ril es para
7
I
una práctica tan especial como son los programas sociales insertos en la institucionalidad pública. Este manual es el producto de un largo proceso de diseño, prueba y retroalimentación realizado por la Gerencia de Evaluación del SlEMPHO. las Unidades Ejecutoras provinciales, el Consultor de la Unidad de Ciencias Sociales de la UNESCO, y su producciém se ha realizado con el inva lorable aporte de los técnicos y funcionarios de los Programas Socia les nacionales y provinciales a través de la capacitación en doce talleres realizados en todas las regiones y para todas las provincias del país. Constituye una herramienta abierta que se comp leta con las contribuciones de todos aquellos que desde la política, la planificación y la gestión tratan de dar respuesta a los desafíos de la construcción de una nueva instirucionalidad pública en lo social. Es nuestra intención que este material suscite en sus lectores comentarios y colaboraciones para futuras versiones. Este trabajo está enmarcado en el programa de cooperación entre el Sector de Ciencias Sociales y Humanas de la UNESCO y el programa Sistema de Tnformaciém, Eva luación y Monitoreo de Programas Sociales -SIEMPRO- de la Secretaría de Desarrollo Social de la República Argentina, con financiamiento del Banco Mundial. El STEMPRO es el instrumento de la Secretaría de Desarrollo Social para emprender un verdadero cambio en la gestión de las políticas sociales. Sus acciones están dirigidas a favorecer la coordinación de los programas sociales; asegurar la disponibilidad de la información necesaria sobre la población en situación de pobreza y vulnerahilidad social, y la ejecución de los programas sociales dirigidos a atenderla: fortalecer a la Secretaría de Desarrollo Socia l y a las áreas sociales nacionales y provinciales en el desarrollo e instalación de sistemas de monitoreo y en la realización de evaluaciones; difundir y transferir metodologías y sistemas de información a las agencias nacionales y provinciales; capacitar a los recursos humanos del Estado en Política y Gerencia Social fomentando la relación entre úniversidadcs, centros de estudios e investigación y organismos del Estado para vincular el sector académico al desarrollo de políticas sociales; construir un {lmbito de an{t!isis de los nuevos prohlemas sociales, así como los programas y políticas para su abordaje. La UNESCO, en su mandato como agencia de cooperación intelectual del sistema de Naciones Unidas, se ha fijado como prioridad proporcionar asistencia técnica para la evaluación de políticas que enfrenten los prohlemas del desarrollo social y de la pohreza . Su objetivo es fomentar y reforzar las iniciativas nacionales , de manera que se consoliden actividades y se obtengan resultados efectivos que den pertinencia a las decisiones políticas. El esfuerzo emprendido por la Secretaría de Desarrollo Social de la Argentina y la UNESCO cumple en forma cabal con estos objetivos. Se trata no sólo de una iniciativa nacional acertada , sino eJe un compromiso auténtico eJe responsahilidad democrática que, de manera rigurosa, permite progresar en el cumplimiento de las metas eJe equidad e integración social. Esta experiencia constituye un ejemplo exitoso de cooperación que la LJNESCO y la Secretaría de Desarrollo Social eJe la Repúbl ica Argentina pondrán en conocimiento de los Estados Miembros de esta agencia de las Naciones Un idas y promover{lI1 como un modelo participativo que refuerza las capacidades naciona les e incrementa el capital social necesario para un desarrollo humano y sostenible.
Ac de
Soci prog 1< gía ~ 1. ¿
les E
de lo •
c(
•
lo vi
•
c(
el •
fa e\
•
C<
la. gr •
c(
la •
al
ac •
ga
2.
Es •
au el
vi
:3. ¿Q Francine Fou rni er Asistente del Director General Sector Ciencias Humanas y Sociales UNESCO
Irene Novacovsky Coordinadora del SIEMPRO
En form a vida.
ra orel<:nar, sistematizar y rrocesar los datos oht<:nielos en la inv<:stigación y definiendo, asimismo. el nivel dl' agregación ele la información.
proceso de planificación de un programa social: imrlica toelo el proceso <:n el cual el <:<.juipo de gestión identifica y delimita el rrobil'ma que da orig<:n al rrograma social, concr<:la los factores l'srecÍficos de l rrohlema sohrl' los cuail's quiere illlervenir y operativi za una propuesta de in tervenc ión que enfrellle dichos factores.
población beneficiaria : es el conjunto ele personas que han sido selecc ionadas. a través ele los mecanismos y los criterios ele focalización. para recihir dirl'ctam<:lll<: los hienl's y Sl'rvicios que p restará el progr~lma
socia 1.
prestación: es d hien o sen'icio (producto) que
gener~1 una actilidad en el marco de
la ejecuci{)n del
programa y que <:s directamente elllregado a LI poblaciún hendiciaria.
presupuesto total del programa social: es la previsi6n final. después ele realizada la <:va l uación ex-allle, dd costo que tiene la ejl'cuciém de la totalidael dd mislllo. Se calcula mediante la suma de los costos de cada uno de los componentes del programa.
problema socia l: es una hrecha entre d ser y e l debl'r ser dl' la realidad. qu<: un actor social idelllifica con la intenc i{m de transformarla. Es un enunciado que <:xpresa la insatisfacciún de un actor con respecto a su realidad social y la intenciCm d<: camhiar esa realidad con la que se encuelllra insatisfecho.
productos: son los hienes o servicios que gen<:ra una ac1iviclacl <:Il el marco ele la CJecuciém de un progranl~l.
programa social: es el conjunto coh<:n.:nte eil' acciones destinadas a transformar una situación inicial )' mejorar las condiciones sociail's de I 'ida d<: una pohlaci{)n clet<:rminada.
rec ursos: son lo,,, insulllos que se requier<:n para gl'nerar una Ixcstaci{m o producto. Los r<:cllrsos humanos s<: calculan por unidad ele tie!llpo / person~1 y los recur;,o;, matuialcs se calculan por unidael de lllatL'rial.
relevamiento de la información: es d mOIlll'1ll0 metodológico en el cual. a partir elel disuio ele la elaIU;lciún , se proced<: ~I la rl'coll'l'ciélll de la infoI'llLlci(lIl. l':,,, dccir que el evaluaelor. elirectam<:nte o a tral'l'S de técnica ,s prl'par:ldas IXlr;1 el efecto, acude a la fu<:nte de informaci{lIl en donde rccolect~1 los datos ml'dianle vi ml'lOclo () instrumento ,,,ekcc ion ~lclo.
retroalimentar la gestión del programa social: l'S propmcionar inforJllaciún para Jlloclilkar o rl,climensionar lo
planiri(,~ldo
I lo
,IClU~lcI().
trabajo de campo: c." 1:1 recok'cci(m cI<:' informaciém en l'l terreno. Sl' dehe pr<:I 'er quién<:s r<:cogcr{ln la infomlaci(m en el t<:'ITl'no. cCJnlO serán capaciladas <:sas 1)L'IVlIlaS y c(¡mo ser:1 ti distrihuci(lIl )' la supLTli,,,i()n del trahajo.
universo de estudio : es d conjunto total cle una población a :-'<:1' anali/ada y pu<:'cl <: estar referielo al
~ím
hito institucional en sus dikrent<:'s nil<:'les jurisdiccionale,s. a los ek'ctor<:s del programa. ;1 los :lClore" soc iales im olucrado,,, l ' a I~I pohlaci(lI1 hendiciaria. <:n la totalidad de las :Ireas de int<:I'\'UlCión o s(Jlo en algunas ele elLls.
valoración y toma de decisiones: l'S el !llomento m<:'loclo]()gico central qu<: permit<:' que la in\'estigacié)ll el',¡]uatil'a alimente la g<:stión del prog¡-aJlla soci~IJ. El eCJuipo de el 'aluaciélll construy<: juicios de valor putinent<::-, \' nl'c<:sarios para alilll<:'ntar I~I toma ele elecisiolll'S que se dirijan ;1 lllejorar la planilkaci())l y/ o la <:jecuci(ll1 cid programa social en cuestiClll.
visión: <:s la imag<:ll o el esc<:'nario futuro d<: la
re~¡]iclael social que el <:CJuipo ek gl'stiún o la institución
ejecutora qui<:re construir con d programa una vez que el prohlelll~1 social que lo origina :-,e tran sforme. La I'isiún se construye clefiniendo ell qué' forma l' e n qué medida camhiar{1ll lo,,, indicaelor<:s y los 1:IClores críticos dd prohlellla una I·el. c¡u<: se Ila\'a <:jecutado el programa.
>
1 1 1 1 1 1 1 1 1 1 1~1 1 1 1 1 1 1 1 1 1 1 ~ -3 9 O 5 O 7 12 2
8 9· E
,
Este lIbro se teollllló de llllpnmir y ellcllddemar en el mes de abril de 1999 en los talleres grúficos de Companhia Melhoramentos de Sao Palllo, Rua Tito 479, Sao Paulo, Brasil Se tiraron 5.000 ejemplares.
