'
10
INDICE DE CONTENIDO
valorar la repercusión, 154. Notas técnicas acerca de las medidas de los resultados, 155. Estrategia "correcta" para valorar la repercusión, 160. Cap. 6. Diseños comparativos para valorar la repercusión Conceptos principales, 161. Valoración de la repercusión de programas con cobertura parcial, 163. El azar en el establecimiento de la comparabilidad, 166. Estudios no aleatorios: controles construidos, 179. Estudios no aleatorios: grupos control estadísticos, 188. Diseño de intercambios, 202.
161
Cap. 7. Diseño de grupos unitarios para valorar la repercusión Conceptos principales, 203. Controles reflexivos, 204. Controles genéricos, 210. Controles espectro, 212. Una nota acerca de la aplicabilidad, 220.
203
Cap. 8. Medición de la eficacia Conceptos principales, 221. Perspectivas en el análisis de la ubicación del recurso, 223. Componentes en el análisis costo-beneficio, 226. Metodología en el análisis del costo-beneficio, 229. Análisis de costoefectividad, 241. Resumen de un campo complejo, 245.
221
Cap. 9. El contexto de la investigación evaluativa Conceptos principales, 247. Cómo interpretar los resultados de la evaluación, 248. Cómo reducir los conflictos entre el evaluador y los evaluados, 255. Tiempo de política y tiempo de evaluación, 262. Papel que desempeñan las evaluaciones, 264. Epílogo, 271.
(7247
Bibliografía Indice onomástico índice analítico
Programas, políticas
273 283 287
evaluaciones La evaluación sistemática de los programas de acción dirigidos y organizados es frecuente en la actualidad. La investigación evaluativa es un área dedicada a recabar, analizar e interpretar información acerca de las necesidades, aplicaciones y trascendencia de las intervenciones con las que se busca la superación de la humanidad mediante el mejpramiento de las condiciones sociales y de la vida comunitaria. Las evaluaciones se realizan por motivos diferentes, a saber: para juzgar la valía de los programas en marcha y para estimar la utilidad de los intentos por mejorarlos; para evaluar la utilidad de los programas innovadores y las iniciativas; para incrementar la efectividad de la conducción de los programas y de su administración, y para reunir varios requerimientos contables. Asimismo, las evaluaciones pueden contribuir al conocimiento teórico y metodológico de las ciencias sociales. Al planear los programas de intervención social, la atención de la investigación se centra en la extensión y gravedad de los problemas que requieren intervención social y en el diseño de programas para aminorarlos. Al poner en marcha los programas de innovación existe preocupación acerca de si éstos abarcan las poblaciones objeto y procuran los recursos, servicios y beneficios que se pretenden. Conforme las intervenciones se realicen, crecerá el interés acerca de si son efectivas respecto de la magnitud de sus alcances. Para la explieación y planeación futuras es importante considerar los costos en relación con los beneficios y comparar el gasto que implica la intervención con aquellas estrategias alternativas para ubicar el recurso. Algunas evaluaciones son integrales y contemplan todas estas interrogantes, mientras que otras están dirigidas hacia algunas de ellas. En todos los casos, se busca la respuesta más válida y confiable posible, dentro de los marcos políticos y éticos, y las limitaciones impuestas por el tiempo, el dinero y los recursos humanos. CONCEPTOS PRINCIPALES
Eualuación integral: Conceptualización y análisis del diseño:
Análisis de la conceptualización y el diseño de las intervenciones, verificación de la aplicación del programa y evaluación de su utilidad. Estudios de: a) la extensión y localización de los problemas en los cuales intervenir; b) la manera de de-
12
Análisis del costo-beneficio: Andlisis del costo-efectiuidad: Sistema de aplicación:
Inuestigación formativa: Eualuación de la repercusión: Interuención: Monitoreo: Eualuación de la utilidad del program a: Población objeto: Problema por resoluer:
CONCEPTOS PR1NCIPALES
finir los objetivos en términos operativos, y c) la posibilidad de la intervención propuesta. Estudio de las relaciones entre los costos y los resultados de los proyectos sociales; el resultado generalmente se expresa en términos monetarios. Estudios de las relaciones entre el costo del proyecto y los resultados; la conclusión generalmente se expresa como costo por unidad de resultado logrado. Arreglos organizativos, incluido el equipo humano, los procedimientos, las actividades y las instalaciones necesarios para proporcionar los servicios del programa. Pruebas de diseño y desarrollo para maximizar los éxitos de la intervención. Evaluación de la medida en que un programa causa cambios deseados en la población objeto. Cualquier programa o acción planeada pára producir cambios intencionados en una población objeto. Valorizar si una intervención opera de acuerdo con su diseño y alcanza la población objeto especificada. Estudio de la efectividad (repercusión) y eficacia (costo por beneficio o efectividad) de los programas. Personas, familias, organizaciones, comunidades u otras unidades hacia las cuales se dirigen las intervenciones. Condiciones, deficiencias o defectos hacia tos cuales se dirigen las intervenciones.
Con el apoyo del Departamento de Justicia de los Estados Unidos, se han dise-
ñado programas para hacer más visible a la policía en un gran número de comunidades, con la idea de que los delitos contra el patrimonio y las personas se reducirán debido a la percepción de mayor presencia del cuerpo policiaco. A partir de un programa se dieron a los oficiales vehículos marcados para que los usaran tanto en lo personal como en horas de servicio, mientras que en otro se incrementó el número de horas de cada policía en su ronda a pie. Estos esfuerzos han tenido poca influencia en el campo de la delincuencia. En cuatro grandes ciudades de Estados Unidos, una importante fundación privada ha costeado la operación de centros de salud en áreas marginadas. Estos centros se han diseñado para reducir el costo de la atención de pacientes externos, que ahora es ofrecida por clínicas hospital y puestos de emergencia, así como para ofrecer una alternativa a la costosa hospitalización prolongada. En otras partes de Estados Unidos se han realizado múltiples esfuerzos para brindar cuidados médicos económicos a la clase desprotegida y para evitar el encarecimiento de la atención médica. Las evaluaciones sugieren que los centros de salud comunitaria tienen una relacíón costo-beneficio más favorable que el de las clínicas hospital. En un país latinoamericano, la educación por televisión se ha utilizado para elevar el bajo nivel de alfabetización. Plaza Sésamo, un programa educativo para la televisión, fue creado mediante la modificación de la serie de tele-
13
visión Sesame Street, y se muestra en horarios accesibles para los niños en edad escolar. En muchos otros países se ha intentado transmitir programas de educación similares. La utilidad y eficacia de estos esfuerzos, en cuanto a costos y beneficios, no se ha determinado. En un centro comunitario de salud mental, en una ciudad de regular tamaño en Nueva Inglaterra, se ha diseñado un programa extensivo que se auxilia con miembros de la comunidad local como consejeros de adolescentes y adultos, para atender problemas emocionales, educativos y sexuales. Comparadas con quienes son tratados por psiquiatras y trabajadores sociales, las personas atendidas por estos trabajadores improvisados parecen estar satisfechas con el centro, en lo que respecta a necesidades de hospitalización y mantenimiento del tratamiento. Estos resultados se mantienen aun cuando las características psicológicas y sociales de la persona se tengan en cuenta. La CETA (Comprehensive Employment Training Act-Acta Extensa de Empleo y Entrenamiento) destina fondos federales a los gobiernos locales para promover el empleo, mediante proyectos de servicios públicos, entre desempleados permanentes. Muchos de los empleos y centros de trabajo son "poco usuales", comparados con las oportunidades ordinarias, disponibles a largo plazo, para personas sin empleo. De cualquier modo, los periodos de empleo de los trabajadores de la CETA suelen ser cortos, pues no duran más de un año. La interrogante medular de una evaluación del U.S. Department of Labor (Departamento de Trabajo de Estados Unidos) es si los empleos de la CETA encabezan o no las oportunidades de trabajo. Dos terceras partes de la población infantil mundial que vive en medios rurales sufren una parcial o total desnutrición que produce comprobadas consecuencias negativas para su crecimiento físico, estado de salud y desarrollo mental. En América Central se ha demostrado la capacidad para mejorar la salud y el desarrollo mental del niño por medio de un complemento alimenticio. Mujeres embarazadas, madres lactantes y niños, desde su nacimiento hasta los 12 años de edad, contaron diariamente con un complemento alimenticio que contenía una alta concentración de proteínas y calorías. Los resultados muestran avance en su crecimiento físico y un cierto incremento de sus funciones cognoscitivas. Una fábrica de manufacturas, en un intento por incrementar la producción de los trabajadores y la calidad del producto, ha reorganizado a sus empleados en grupos de trabajo independientes. En estos equipos, los trabajadores diseñan y asignan tareas, recomiendan metas de productividad y votan por la distribución de bonos con el fin de mejorar la calidad y la productividad. A pesar de que los resultados a largo plazo aún no se conocen, la información obtenida al verificar el programa sugiere que se redujo el ausentismo laboral, los cambios y las demás medidas similares de ineficiencia del empleado. Éstas son algunas muestras de la diversidad de programas de recursos humanos emprendidos y evaluados con el apoyo de grupos gubernamentales locales, estatales y federales, de organizaciones internacionales, de fundaciones privadas y filantrópicas, y de asociaciones y corporaciones no lucrativas y lucrativas. La investigación para la evaluación, en cualquiera de sus tipos, es una tarea difícil. A grandes rasgos, se estima que sólo el gobierno de Estados Unidos gasta anualmente entre medio billón y un billón de dólares en programas de eva-
14
CAP. 1. PROGRAMAS, POLÍT1CAS Y EVALUACIONES
luación. No hay manera de estimar ios gastos internacionales. Únicamente en el campo de la planificación familiar, el Banco Mundial ha identificado más de un centenar de programas de acción social de diferentes magnitudes, que utilizan estrategias empleadas desde la década de los sesenta, en los cuales han participado ciudadanos de cerca de 25 naciones. No hay necesidad de recalcar lo obvio: muchos seres humanos padecen graves deficiencias en sus vidas, éstas existen tanto en los países industrializados como en las naciones menos desarrolladas. Los cambios que se necesitan para mejorar las condiciones existentes, las acciones organizadas (generalmente ayuda humanitaria o programas de acción social) y el inicio de otras nuevas, a menudo se basan en programas diseñados para mejorar las condiciones humanas — sin tener en cuenta la ubicación geográfica y el tipo de patrocinio que conducen a conclusiones erróneas, mal juzgadas, mal aplicadas e inefectivas. Con el fin de distinguir los programas en curso útiles de los ineficaces y para planear, diseriar e iniciar acciones innovadoras que repercutan eficazmente en los miembros de una comunidad y su ambiente, es importante que los políticos, las instituciones, los planificadores y el personal del programa, den respuesta a preguntas como las que siguen: ¿Cuál es la naturaleza e índole del problema que requiere acciones? ¿Qué intervenciones se pueden efectuar para aminorar la magnitud del problema? ¿Cuál es la población objeto adecuada para la intervención? ¿Llega a la población objeto la intervención iniciada? ¿Se realiza la intervención de la manera deseada? ¿Es efectiva? ¿Cuál es su costo? ¿Es compatible con su efectividad y beneficios el costo relativo? Las respuestas a estas preguntas son necesarias no sólo para los programas complejos y amplios — como la planificación familiar en un país o los esfuerzos para mantener los ingresos nacionales—, sino tarnbién para proyectos locales y especializados — como los que ofrecen entrenamiento laboral en medios rurales o los destinados a incrementar la seguridad pública en las grandes ciudades. Ofrecer las respuestas apropiadas es la función primordial de la investigación evaluativa. ¿QUÉ ES LA INVESTIGACIÓN EVALUATIVA? Esta obra se puede iniciar con una definición simple del término evaluación o inuestigación evaluativa (se usarán ambos indistintamente): la investigación evaluativa es la aplicación sistemática de los procedimientos de la investigación social, para valorizar la conceptualización y el diserio, la ejecución y la utilidad de los programas de intervención social. En otras palabras, la investigación evaluativa usa las metodologías de la investigación social para juzgar y mejorar la planificala—efettividad y la eficacia de programas sociales de salud, educación, bienestar comunitario y otros.
BREVE H1STORIA
15
Nótese que esta definición no implica que los estudios de la evaluación sigan uno u otro modelo, o una particular combinación de los diferentes modelos de investigación social comúnmente empleados. La investigación evaluativa forma parte de las ciencias sociales, sus profesionales son reclutados de entre la gran variedad de especialidades de éstas, y sus métodos son aplicables a la extensa gama de paradigmas de la investigación social. Las evaluaciones son sistemáticas en la medida en que emplean las vías básicas para recabar válidamente pruebas confiables. Éste es el compromiso de las "reglas" de la investigación social y la esencia de nuestra concepción del térrnino evaluación. Al describir las actividades evaluativas, Cronbach y sus colaboradores (1980) puntualizaron lo siguiente: El propósito de una evaluación es influir en el pensamiento social y la acción, durante la investigación o en los años subsecuentes. También es razonable esperar influencias a largo plazo. La prueba se obtiene con base en la experiencia de un programa existente o uno establecido para los propósitos de la investigación. Después del análisis, los investigadores publicarán sus conclusiones conforme las obtengan. Éstos deben documentar sus observaciones y razonamientos de tal manera que el lector comprenda cada conclusión. 3. La finalidad del evaluador es proporcionar una interpretación integral y disciplinada. La intención es impresionar a personas con mente clara, incluidas aquellas cuyas preconcepciones o preferencias estén en contra de los resultados. Es más, la información obtenida sirve para quienes indaguen e interpreten en forma independiente. BREVE HISTORIA
La evaluación sistemática basada en datos es relativamente reciente, coincide con el avance y refinamiento de los métodos de la investigación social y con los cambios ideológicos, políticos y demográficos ocurridos durante el presente siglo en Estados Unidos. Durante el cambio de siglo, el compromiso de la evaluación sistemática de programas en los campos de la salud pública y la educación, es diseñar las acciones para alfabetizar y ofrecer entrenamiento laboral, n-lediante medios económicos y efectivos, y para reducir la mortalidad y el padecirniento de enfermedades infecciosas. Desde la década de los treinta existieron científicos sociales que se abocaron a aplicar los métodos rigurosos de la investigación social para valorar los programas (Freeman, 1977). El intento de Dodd para usar el agua hervida como práctica de salud social en las villas del Este medio de Estados Unidos, forma parte de la bibliografía sociológica etnpírica de la preguerra; los estudios de campo de Lewin y las investigaciones de Lippitt y White acerca de la democracia y el autoritarismo en las hegemonías, han sido bien conocidos por los psicólogos durante varias décadas, y el famoso estudio de la Western Electric (Compañía Eléctrica del Oeste) ha contribuido para que el término efecto Hawthorne se haya incluido en la ciencia social desde hace más de medio siglo (consúltense la obra de Bernstein y Freeman, 1975, para más información, v la de Cronbach et al ., 1980, para conocer una visión histórica diferente).
17
16
Surgimiento de la investigación evaluativa Hace más de 40 años, en Arkansas, un profesor de sociología informó de la evaluación de los programas sociales de nuevos convenios del presidente Roosevelt (New Deal) (véase anexo 1.1). Hacia los primeros años de la década de los treinta, e incluso antes, la investigación social aplicada recibió un considerable impulso; su empleo se incrementó durante la Segunda Guerra Mundial: Stouffer y sus asociados trabajaron con el Ejército de Estados Unidos (Stouffer et al., 1949) para verificar continuamente la moral de los soldados y evaluar al personal y la propaganda política. La Office of War Information (Oficina de Información de Guerra) usó muestras al azar para verificar la moral de los soldados. Al mismo tiempo, mediante múltiples estudíos menores, se valoró la eficacia del control de precios y de las campañas para modificar los hábitos alimenticios de los estadounidenses. Esfuerzos similares en el campo de las ciencias sociales se iniciaron en Inglaterra y otros países (véase anexo 1.2).
ciencias soclale_s. Sólo con todos los.4oztólpggs y.los.científicos,dé
á. iOs•ienfizITSOs en el I El entusíasmo actual aceréa delaPlánificacióride'elqUéiiiiisadualmente, descublerto por los organi s mos o las agenClkdel gobieritp,ied.eral.eltadoithidense, dio algqnas ..4per.3pzas..cle que esta deficie.gclá se de esas agencias y el
char sus
atiertmentalel'pátlIol'eleiltífItó<0.11aléS, lOs':édiacadores y los acirilinistrIcIOr .elqiié. Iliíe.dari. alro. Ve-
Investigaciones.. Es.os,laberatorio.s,sitteiin.iticos de las agencias planificador.es de la Nueva Vesigclaci6WP.etM if.9n..-._411.rde'rnodp más efectivo el rnétodo eXp.érimental en los ' PrOW"Ci01 -40-iti.ir. ítjgatOn'tié lOs - cienríficolsociales. Estatr. tvestigaclon.:pqciría ser pienCia,;;„sinótati5bién . ütia-:foiffie: de aUclitóría-social y.41511 .4¡.119&C4t.h.biell esta.
.bleeldos::..enloIprogtamás. tiárijOS$ajos a la gente de barriada ola gente debarriada ifiac e los barnos lia)61i.j...-¿1Odifari'earnbiar genté-áféctada?
ayndar a contestar estas interesantes y desconcertantes preguntas. Los estuclios realizados por los sociólogos resazIan que los barrios bajos son los puntos debiles de la civilízación industrial moderna'zErrlas areas de bárdos bajos de icolcentros,ffirbaros . estadounicienseme localizan grandes .. ..centros.de delincuencia, evasi ón delrriptit,:..enferrileciades, nutriCión deficiente, insalubriclad y condiciones similares, junto con los grupos característicos de bandas de delincuentes y establecirnientos cle vicio. Estos..estable. cimléntos y condictones compendtan la llarnada vida de ViCi0 de los baridos bájos. gente viviéra en conclieiones.saludables;:•¿pódlia -poiextsfir etidériCía.sieriferrnedád?,:ebiritiltIblijii7giiif.14,:detia.tiláda entur.619..... "',:¿klarmenotdoih0000k.IdépénderIcla y
enf errnecli7d?, ¿esta seouro el . lettel? Sin r mh,agnJ,si g,ente...gué.,Vivcj en suburbios no
es parecicla a la que vive ért ble-rics'bájos, vos; gcneralmente;:és má la gentéde barriadá.:, 1profaho podrra L1Wé La rilejor rnanera de resolveiéste problema
que
'1 Welnuos élé clelincuencia, depenclencia, comIsión de"delitos
- ViféirIedid grá.liti;17.é factores similares) característicos de una población dada mientras vtven en la barriada, con los índices sociales ,de LtIld misma población p, una similar después de Vivir er-r -nri áMbier. ite ' rerióvado. ,de úna "cOmuniclad rnodelo.',E.Stó podría significar un
iudio"anteS y.'después.".;-;eri'óil-aS'Palabr,71s, emactas dl enfoqu -e expérsi-rienil lo euál permitirfá:kilee1.4bOts./aCiOneleiátitróla:: das y conocer con mas preciSIón las Illférenéias mtento social que tiene lugar en el arnt-)Iente social at'alterat'lat :elOndiet6néele Graficarriente, se pcdría - tiansferir a una nlasa poblacional del tubo de ensave r‘: líqukio A al tubo de ensaye . 1:40110iditi;OVIO.ieákiiiiéjátiirre. Ctertan-tente, los índicá :lOetáll's'sitedéiiillitieilá:iáiiiilnos nionetarlós términos de costo para el gobierno (costo de la delincuencia, comisión graves;-- dependencia, protecciónpolielaca,.enifermedadV -factores snoilares) y una corripat'actOridelOs.costOS para el obiériió que .0. reden.y siguen alátnudanza deL baritO a uria cornun'Iclád rnOdelo cOn iikriiVeY , SOC161¿Onórrilcó saO9rlóri. Especitica, dé délitos rnenté, tales_prograrnas ptieden ves.•Loá coStbs por'delincúente y Por crimin u ádulto se pueden calcular y la difererh'..cia en , coltos bajós Para el Estádó p,uede sersesultadode.gatluiar el programa. Se puede .cáidúlar 'el costo'social difer.énciai..`enlas.i. Cir:;datás7nt1Was tOrnunIclades, las
cuules: 16g-i¿árriente,-- se socieciad. Tal cuerpo de datoS puede ro para prograrnas funtros.
-góbiernó y Servir--cOrriótáll .pái"aieeábátápóyo financieThe
NetV Dealancl .tutrttiz.trftin dc A. S. Strphan,"Prospect and PosibIllhes Futute: 15,:págk"15 y 518. the NeLti SL n clal I Le,earch", en Sttclal FOrCe nurn. .
t
,
, -
Anexo 1.2. Primeros experimentos en comunicación de masas Para disenar programas de erientaciOn de la Armada astadounldense, un problema f/ecUentemente deb¿Itielo fue el que sigue euando ny:evidencia ápoyaba la tesis principal Oue se preentaha, ¿ere mas efeetiVio preseniki sólb los Materia les que apc . v.lban 1 tema frata,io, o eta mejor iris luir tambien los argumentos opuestos al [ema en cuestián? 1. Los clos pre-,grarilas e.rnpleados _
fin el tiernpoen que Sr2 planeaba el experinientoprinciplos de 1945) la guerra . en Europa est¿ba por , trtninar y se infornló gue la moral de la Armada estadourft-
J. dense era atectacla adv,ersarnente,por.un -gran..oprOnismo-acercIde. uty:ftnal,án 'tiadcl‘de la gúerra' en'el PaCífi'll:Se.Creó`tiria'Cijré,0191:,»)..a'AMiad‘kpala..1M-Wek concepciiiír/ rie la
origin,5 un5?,ntrOyetsía.'1:14j4 pero liii iyoría de los expertos eri álüríteit'irtilltajeS^C)
18
•BREVE HISTOR1A
• uno de los bandos. Por en la preponderancia de los testlmonios que to, se esccgió a urrsujeto adecuado para la experimentacIón. gi;t1 Los grupos estudiados
La investlgaciÓti:prelirnMar se aplicddiír.taryte1arimeia sernana de abril de 1945 a ocho compahfaS cle entrenamlentó .delcOrnisa -riadó . de guerra, Una semana después, ocho pelotoneS:únó- es¿ogido proporcionahnente para-cada una de las'ocho compañías, escucharon el prográma 1 (el cual representaba sólo a un bando) durante sus reuniones'Individuales de . orIentación. r.:Otro grupo , de ocho pelotOnes, escogIdosslmIlartnente, 'escUéhó . el . Prograrnáll (el cual representaba a ambos'argurnentOs). Inrnedlataniente'deSPiiés del programa los hombres Ilenaróri el Segundo cuestioñarlo;cón fin de'pernntir a la gente quechse3 -56 el pro, . . grarna conocer cómo los.hombres'pasaban dicho pro ,grarna, En este segundo cuestIonarlo se Inclutan preguntas transiclonales apropiadas, algunas pertenecientes- a la.Prirnera inyestidáélón, en las que . Se Inquirfa a la tropá c6k»esti maha personalmente el tarnano...de la guerra del:Pacífic- d.',Un tercer grupde ocho tropas sirvió como control; átn recibir nIngún programa. Llenó un cuestionarlo similar durante sus reuniones de orientación, en . las cuales-, adernás de adtnintstrarse los cuestIonarios análogos acéréade la guerra del Pacífico, se formulaban las'mismas interrbgantes-respecto a lo 'que ellos penSaban de , su reunión de orientación y qué ' podr' ían querer respecto . de sUs futuras reunIónes. Para los grupos_control, las últirnas preguntas, en vez de aquellas acerca de las transcripciones, se - Presentbari a la troPa con el InIco proPásito del cuestionario. Resurnen de los resultados
Presentar los argumentos desde ambos lados dc un problerna era más efectivo , que dar sólo los areumentos que apoyaban e1ptinto de vistá hecho, en el caso de individtios.que iniciplmente.:se oponíon al:punto de yista:presentado. .Pátálal.tiOpa convencida del punto que se presentaba la indusión dé argurnentos desde arnbas perspectivas fue menos cf,xthia, - plara elgrtipo corno un todo, que pre. sentar sólo los argumentos que favc.m.ecían la posIción general qüe se-abogaba. Los hornbres mejor educados fueron afectados más favórablernente por la pre,sentaci.bn - de.arnbas. ..perspectivas, • mtentras . , que:igls. menós . edu.cados fueron más afettadós p6r la'écirOiMicación ert la'qUe».16.se usaron argumentos de apoyo. tIon va
FuPnte: Aciaptado, ton aut r ,r1, v-1,5n '1 n ,1( 11/: Studlestn So ial I o h, .› r , ey, 1 ,M9 r5g; 201 z25
Cari 1 Huvland et ul , E,pertuwnt, 5 nk lus, Cnrnrrunicd World WorIi Princeton Univer:at Pi,,,Pr ton rJue
7L'In
El período que siguió inmediatamente a la Segunda Guerra Mundial fue testigo del comienzo de programas de gran extensión diseñados para diagnosticar las necesidades de desarrollo urbano y vivienda, de educación tecnológica y cultural, de entrenamiento laboral de las actividades de salud preventiva. Durante este tiempo también se estructuraron grandes comisiones para diseñar programas internacionales de planificación familiar, salud, nutrición y desarrollo de la comunidad rural. Los gastos fueron enormes y estuvieron acompañados de las consiguientes demandas de "conocimiento de los resultados".
19
A fines de la década de los cincuenta, los programas de evaluación de gran extensión fueron muy comunes. Los científicos sociales se ocuparon de evaluar los programas de prevención de la delincuencia, los proyectos de rehabilitación de reos, los tratamientos psicoterapéuticos y psicofarmacológicos, los programas de vivienda pública y las actividades de organización de la comunidad. Estos estudios se realizaron no sólo en Estados Unidos, Europa y otras naciones industrializadas, sino también en países menos desarrollados; como resultado, se incrementaron los programas para la planificación familiar en Asia, los de nutrición y cuidado de la salud en Latinoamérica y los de desarrollo agrícola y comunitario en África, incluidos sus componentes evaluativos (Levin et al., 1981; Freeman et al., 1980). Así, se amplió el conocimiento de los métodos de investigación social, incluidos los complejos procedimientos estadísticos y las encuestas. Las cbmputadoras hicieron posible efectuar estudios muy extensos y realizar análisis estadísticos complejos. Durante la década de los sesenta el número de culos y libros acerca de las prácticas de la investigación evaluativa, creíó dramáticamente. La revísión de los méto~nvestigación evaluati'(7á de Suchman (1967), la monografía de Hayes (1959ácerca de la investigáci evaluativ países menos desarrollados y elltáf--nado de Campbelld(196) para e ectuar experimentos sociales, son buenos ejemplos. Según Wall-Stre'et, en Estados Unidos y en todo el mundo, la investigación evaluativa a finales de la década de los sesenta se había convertido en una "industria floreciente". En los comienzos de la década de los setenta aparecieron muchos libros acerca de la evaluación: un texto (Weiss, 1972), colecciones de lecturas (Caro, 1971; Rossi y Williams, 1972), críticas a las cualidades metodológicas de varios estudios (Bernstein y Freeman, 1975) y una reseña de la discusión de las limitantes estructurales y organizativas para realizar una investigación evaluativa (Riecken y Boruch, 1974; Wholey et al., 1970). Los dos volúmenes del Handbook of Evaluation Research (Manual de investigación evaluativa) de Guttentag y Struening fueron publicados en 1975. La Evaluation Review, que comenzara en 1976, la leyeron amp/iamente los investigadores de la evaluación; en la actualidad existen otras revistas como: Evaluation News, Evaluation and Health Proffesions, Journal of Evaluation and Program Planning y New Directions for Program Evaluatipn. La proliferación de publicaciones y conferencias, las formación de una sociedad profesional, la Evaluation Research Society (Sociedad de investigación evaluativa) y las sesiones especiales acerca de evaluación de estudios en reuniones de grupos académicos y de profesionales son testimonios del rápido desarrollo de este campo. Los esfuerzos para mejorar y reformar las actividades evaluativas continúan aún. Como lo pensaron Cronbach y sus colaboradores (1980, págsN 12-13), "la evaluación se ha convertido en la frontera viva de la ciencia social i estadounidense". Sin embargo, la historia puede confundirnos; si bien existe un continuo desarrollo de la evaluación, un cambio cualitativo ha ocurrido. Todavía en los primeros días de 1967, la definición de la investigación evaluativa de Suchman (a saber: la aplicación de técnicas de investigación social para el estudio de extensos programas de servicio para la humanidad) era útil y delimitaba eficazmente el área. No obstante, en la actualidad resulta evidente que la investigación evaluativa es algo más que la aplicación de métodos; es también una actividad política y de
20
CAP. 1. PROGRAMAS, POLITICAS Y EVALUACIONES
dirección, el umbral que conduce al complejo mlbsaico del cual emergen las decisiones políticas y el lugar de su aplicación en la planificación, el diseño, la ejecución y la continuidad de los programas para mejorar la condición humana. Debído a esto, la investigación evaluativa también necesita ser extendida, por lo menos en Estados Unidos, como parte integral de la política social y de las actividades de la administración pública. Costumbres sociales y actividades de la admínistración públíca El entendimiento profundo del desarrollo de la superposición de las costumbres sociales y las actividades de la administración pública requeriría no sólo observar el notable crecimiento de la población y la industria en Estados Unidos durante la primera mitad del presente siglo, sino también analizar cuidadosamente los cambios en los valores sociales relacionados con la responsabilidad de procurar el bienestar a los miembros de la comunidad, desde los voluntarios y miembros de la familia hasta los grupos públicos. Por lo menos, sería importante tener en cuenta lo más sobresaliente. Surgimiento del papel gubernamental
Primero, como destaca Bremner (1956), ofrecer servicios humanitarios antes de la Primera Guerra Mundial era visto como una responsabilidad personal. Los beneficiarios de las sociedades locales de caridad, constituidas principalmente por voluntarios provenientes de las clases más privilegiadas, eran la gente humilde, los inválidos física o mentalmente y las familias con problemas. Nuestra imagen de esos voluntarios como damas de edad avanzada o ricas que cuidan a niños en canastas, es sólo un poco exagerada. Junto con las asociaciones cívicas y los "hospitales de caridad", los asilos del condado o del estado, las escuelas públicas estatales, las escuelas normales estatales y los albergues para ancianos, los voluntarios eran el baluarte del "sistema" de servicios humanitarios. En segundo lugar, el gobierno, sobre todo el federal, era comparativamente más pequeño antes de 1930. Había pocas iniciativas nacionales para atender la salud, la educación y el bienestar y, por lo tanto, no era necesario un ejército de burócratas. La sola idea de gastar billones de dólares del presupuesto federal en la investigación de la salud, podría haber desquiciado completamente al gobierno de la década de los arios veinte. El apoyo federal a la educación pública era insignificante; en la actualidad, desde Washington se le destinan, en seis meses, más dólares que durante toda la primera década de este siglo. La extensión y el uso de la información social y económica muestran la poca importancia de las operaciones de los programas de gobierno. Lynn (1980) registró que, aun a finales de la década de los treinta, el gasto del gobierno federal por concepto de investigación en ciencias sociales y estadística, fluctuó entre los 40 y 50 millones de dólares, y hoy día se gasta 40 veces más. Finalmente, los servicios humanitarios y el gobierno operan con normas diferentes. Los funcionarios clave en el gobierno y aun los empleados ordinarios se seleccionaban sin un criterio de competencia objetivo; de hecho, existían pocas
BREVE HISTORIA
21
formas de determinar la competencia de manera realista. Los servicios profesionales civiles eran sólo una parte de lo que ahora son, muchos empleos no requerían conocimientos técnicos y había pocos programas formales de entrenamiento. Más aún, como las actividades públicas eran comparativamente menores, existía poco interés acerca de lo que hacía el gobierno en cuanto a los programas de servicios sociales. La manera de operar de la burocracia hizo más difícil la solución del problema; por ejemplo, el Federal Freedom of Information Act (Acta de libertad de información federal), que permite el libre acceso a los documentos del gobierno, es comparativamente reciente. Desarrollo de los programas
Los servicios humanitarios se incrementaron rápidamente con el advenimiento de la Gran Depresión y, por supuesto, con las acciones del gobierno antes y después de la Segunda Guerra Mundial. Debido, parcialmente, a las dificultades que acompañaron a este acelerado crecimiento, hubo una fuerte presión para aplicar los conceptos y las técnicas de la tan nombrada administración científica, así como para que fuese apreciada por la industria. Estas ideas primero fueron manejadas por la Defensa y luego por otras organizaciones gubemamentales, incluidas las agencias de servicios humanitarios. Los conceptos y procedimientos de planificación, control de calidad, contabilidad y, poco después, las más complejas nociones del análisis de la relación costo-beneficio y los sistemas de muestras, se convirtieron en aspectos importantes en el área de recursos humanos. Al mismo tiempo, individuos con entrenamiento en ciencias sociales, particularmente en ciencia política, empezaron a utilizar los conceptos y procedimientos mencionados para comprender la toma de decisiones políticas, organizativas y administrativas en los departamentos ejecutivos y otras oficinas gubernamentales. Simultáneamente, los economistas perfeccionaron los modelos de planificación y toma de decisiones y mejoraron las teorías macroeconómicas (Stokey y Zeckhauser, 1978). En parte, el interés de los científicos sociales en el gobierno era puramente "académico"; querían conocer cómo trabajaba el gobierno y una explicación de la dirección de sus actividades; sin embargo, sucedió algo más: algunos reconocieron que sus conceptos y métodos podrían facilitar y mejorar las operaciones gubernamentales y las que ellos documentaban. Asimismo, quienes ocupaban puestos de dirección en las oficinas gubernamentales probaban las maneras de relacionarse con sus grandes equipos de trabajo y con sus altos presupuestos, y reconocían la necesidad imperante de ordenarlos de acuerdo con sus responsabilidades políticas, administrativas y de programación y planificación. Finalmente se convencieron de que los conceptos, las técnicas Y, algunas veces, los principios de la economía, la ciencia política y la sociología podrían ser útiles. El estudio del sector público creció y se convirtió en una especialidad que se conoce comúnmente como ciencia política o análisis político. Conforme el gobierno federal se tornaba complejo y técnico, no podía ser manejado por personas contratadas aparentemente por su inteligencia, o por sus relaciones con protectores políticos, parientes o amigos. Muchos empleos administrativos medios y una gran cantidad de puestos ejecutivos superiores requerían habilidades técnicas específicas y quienes los ocuparon necesitaron
22
23
CAP. 1. PROGRAMAS, POLITICAS Y EVALUAC1ONES
entrenamiento o una vasta experiencia para realizar su trabajo competentemente (véase anexo 1.3). Las contrapartes locales y estatales de las oficinas federales se expandieron de manera similar, estimuladas en parte por la iniciativa y fondos federales y porque también necesitaban personal capacitado. Los departamentos de ciencias sociales de las universidades proporcionaron algunos de los recursos humanos necesarios para ocupar los puestos en el gobierno, y también entrenaron nuevos investigadores. Actualmente, en respuesta a la demanda de "tecnócratas" por parte del gobierno, las escuelas de administración, salud pública y trabajo social comenzaron programas para satisfacer las necesídades en cuanto a ejecutivos y técnicos; y las escuelas especializadas, generalmente con carreras de "administración pública", se organizaron y expandieron. En suma, surgió una nueva categoría de profesionales. Anexo 1.3. El origen del análisis político El creorniento estahli:ado en el narnerc>, la vaneclad, la complctdad y la irnportancia social de los problemaspolificos queafrontaba eI gobierrio estadounidense incrernentó las . demandas iriteléctuales dé 'algúnas autoridades y sus subiírdinados:. ¿Qtié pbsición debería tornarse respecto de seguridad nuclear, el ernbarazo en-addlescentes, la declinación urbana, el incremerrto de costbs en hospitales, el desempleo entre la juventud negra, la violencia entre'esposos y hadia los niños, y la disposición de . aguas tóxicas? Mtichósfde los- sujetos qu'e no participaban en eáios problenias no estaban éti la agericia pública-20 años atrás; sin embargo, son problernás Prioritarios ahOra, y algún problema , nuevo d,e cárácter sirnilar surge irttialmente cadá año Para muchos , oficiales electos y para sus eguipos, tales interrogantes escapan a su juicio y experiericia previa Corno la'cuestión no se puede dejar a un lado, las auto/ idadesdii gohkrnc> esperán negOCiar su responlabilidad y eficsencia. Para ayudarlos a pensar y decidir acerca de la rnaterla, las autoriel¿Ides han Llependido de la extensión del conocirniento derivado de Id investsación, el análisis político, la evaluación deprograrnas yla estadística para inforrnar o arioyar sus puntos de'Vista. ,En el pasado; : los oficiales electos en las . diversas'ramas del gobierno, desCle los juzgádoi-federales hasta lós hornbres de piOvincia, citaban eátudios, datos oficiales y su opinión experta en por lo menos justificaciones parciales de sus acciones.' En las últsmas décadas; su personal se ha incrementado en tamaño v responsabilidad, incluidb el creciente núniero de gente entrenada o familiariztadit con-técru cas analíticas para recabar y evaluar- la inforrnación. Se e:t,ta efectuando un mcrernentO el análisis y la Captura de datos. , en la investigación, , Dt_bido a que el poder de influir en la política CSta muy con-iparticlo en el nia de gobierno .estadounidense, las autoridades-buscan marupularla, - o sea, phtcticar bien el juego político, pero' deben ser':muy rierivasivos. Debido al carácter cambiante de IOSProblernas'políticos, es probablé que haya necesidad ser más Persuasivo de lo eomún, El ser accesible, amable e inteligente en el "rodar y negoclar n influye menos, relativarnente, que tener un conocimiento general y pensarmento agudo, tener habílidad para hacer sugerenCias y.dar.soluciones qüe- puedan atraer,una secuéncia amplia, o que téner reputación-de crínco bien infórmado. Los colaboradores del présidente cada día ejercen menos influencia en los clebates políncos, en lo que T10 pueden conseguir beneficios o cuendo sus ideas y argurrkaltos son carnblados e‘ ..itosamelialpoPlós expertos cie
la oposición. De hecho, la orelen cletalladá , y general : e,,Iliproblema Suele ser un rnanclato. Los legisladorelrequieren:ejeciitivos,expeRdSlentOsiprogratnas,yproUleinas bal,) tilliliridi¿éi'O 'n—, ::.á la v e z .qiielóS jUlCi'ciá .:Wqri-iiiln:PrúébaS detallad ás . de las decision:eS administrativas que no sean arbltrarias 9 caprichosas. Por su. - parte, los oficiales del' Oresupuesto demanclan evaluaclones de programas que se.an positivas,st el PUblico déseá rnejores explicadones. Ast, el proceso dlnáml-
1
co . que enfrenta dondegtilera el ..siStema acer ca bleinassocialeS PerCeptiblernente.:(ss nOes'Oue ldrainátleamente) 1.iii4r‘ i- Ci:Iiiiénte: do las exigencias' dela Competencia sustantiva y adminIstrativa en la ejecucióri . de las responsabiliddes-públIcas . , ._ , n,dut o n izac 1 ,5 rd deL aure nce E. 1~ Jr Désign!ng Public PolicY, Sc'Dtt , • .11,(:,pdn:t;, ov, ci ,_,5.0 F ,:,,,,Fu,ill ,,,tnl,naté: • ,•=,--,1, .. ,., ' 1.-'/
La institucionalización de programas de análisis político y de administración pública en las universidades, ha mantenido el impulso de las actividades interrelacionadas de la ciencia política y la administración pública. Los conceptos y métodos de las ciencias sociales se han convertido en la parte medular de los programas educativos que formaron a muchos de los funcionarios públicos y los directivos de la programación; además, estos programas acentuaron el entrenamiento para la investigación evaluativa. La importancia de las evaluaciones es reconocida actualmente por quienes desempeñan papeles políticos o ejecutivos; por ejemplo, la oficina de Contabilidad General, dependencia "guardián" del Congreso, estableció un instituto de evaluación especial, en 1980, en respuesta al interés de los congresistas en la conducción de programas de valorización. La investigación evaluativa empieza a ser algo más que un asunto académico aislado, pues ha tenido éxito en las actividades de la política social y la administración pública. Por último, cabe hacer notar que en los últimos años se ha cuestionado seriamente la continua expansión de los programas de gobierno, ya se han incrementado los requerimientos de efectividad y eficacia (Freeman y Solomon, 1979) y las auditorías de los gastos gubernamentales. Referendums como la Proposición 13 de California (la cual limita la recaudación de impuestos locales) y las leyes sunset (que estipulan la suspensión inmediata de los programas inefectivos) han incrementado la demanda de evaluación sistemática (Adams y Sherman, 1978). Paradójicamente, los políticos y fiscales conservadores, a menudo escépticos hacia los métodos de la ciencia social, apoyan a los defensores de la expansión de los programas de acción social que se necesitan para atender la información que la evaluación puede proporcionar. La evaluación debe reconocer la importancia de la embestida de los nuevos tíempos en Estados Unidos. Los esfuerzos para controlar la inflación y revivir una economía con déficit continúan mediante la restricción de los gastos federales, incluidos, por supuesto, los destinados a los programas sociales. Una postura similar se manifiesta en muchos estados y ciudades; las reacciones estatales y locales contra la inflación suelen ser particularmente severas. Esto no es una simple consecuencia de la desconfianza, de la hostilidad y de las acciones políticas de los miembros de la comunidad, desanimados por los gravosos incrementos de los impuestos sobre los ingresos y las propiedades, sino también es causa del descon-
24
CAP. 1. PROGRAMAS, POLITICAS Y EVALUACIONES
tento que ha producido la larga serie de programas promovidos por políticos, planificadores y funcionarios públicos desde la Segunda Guerra Mundial. Evidentemente, la elección de Reagan para la presidencia, ha sido vista como una medida para reducir, o por lo menos reorganizar, los programas sociales y humanos. Las elecciones recientes en algunos países de Europa Occidental sugieren que esto se ha convertido en un fenómeno común. Dado el curso de los tiempos, cabe esperar un escrutinio de los programas existentes, así como presiones para suspender o desechar aquellos que ofrezcan una evidencia limitada de eficacia y de la eficaz prestación de servicios. Al mismo tiempo, las evaluaciones serán necesarias para valorar las alternativas económicas de los programas reducidos o abandonados y para revisar sus medios de aplicación. Estado actual de la investigación evaluativa El florecimiento de la investigación evaluativa seguramente se basa en los esfuerzos de los científicos sociales comprometidos con estudios técnicos y complejos destinados a lograr un cambio social progresivo (Berk y Rossi, 1976); sin embargo, quienes están cerca de la "línea de fuego" (los legisladores, el planificador, el administrador del programa y el ejecutivo de la fundación) constituyen verdaderamente el vehículo de la investigación evaluativa, pues son los responsables, en primera instancia, del amplio crecimiento de la actividad evaluativa. Su disposición para ordenar su desarrollo político e instrumentación continuará siendo la mayor influencia en la dirección de los trabajos de la investigación evaluativa. No obstante lo anterior, cualesquiera que sean los valores sociales, las metas y los objetivos de quienes ocupan puestos importantes, es indispensable tener información acerca de la eficacia del programa y sus costos para aclarar el proceso de toma de decisiones que dirigirá el diseño y la ejecución de los programas y las políticas sociales. El producto de la investigación evaluativa —su trabajo práctico— ha alentado el crecimiento tan notable de este campo. CONS1DERACIONES GENERALES ACERCA DE LAS EVALUACIONES Las evaluaciones se pueden emprender por varias razones (Chelimsky, 1978): con propósitos administrativos y de conducción, para valorar la efectividad de los cambios de un programa, para identificar los caminos diseñados para realizar intervenciones o para satisfacer los requerimientos contables de los grupos de apoyo. Dichas evaluaciones se pueden efectuar con propósitos de planificación y políticos, para probar nuevas ideas acerca de cómo afrontar los problemas humanos y comunitarios; para decidir si se expanden o suspenden los programas, y para defender un programa que se opone a otro. Finalmente, la evaluación se puede emprender para probar una hipótesis particular de la ciencia social o un principio de práctica profesional (el programa particular estudiado para este caso puede ser, principalmente, un problema de conveniencia).
LAS EVALUACIONES
25
Para cualquiera de tales propósitos, la clave es diseñar y poner en marcha una evaluación tan objetiva como sea posible; es decir, que ofrezca una valorización firme y que no cambie si la repiten los mismos evaluadores u otros. Elementos de la evaluación La extensión de cada evaluación depende, por supuesto, de sus própósitos específicos. Más aún, la forma en que las interrogantes de la evaluación sean formuladas y los métodos de investigación adoptados dependen del programa evaluado de una intervención innovadora, de una modificación o expansión de un esfuerzo existente o de un programa bien establecido para las actividades permanentes de los servicios humanitarios. La evaluación abarca varios grupos de actividades relacionadas. Es útil distinguir tres grandes clases de investigación evaluativa: el análisis relativo a la conceptualización y el diseño de las intervenciones, la verificación de la puesta en marcha del programa y la valoración de su utilidad. Aunque no siempre es posible hacer todo esto, la evaluación de muchos programas sociales necesita incluir estas tres clases de actividades; las evaluaciones que los hacen se Ilaman evaluaciones integrales.
Un análisis detallado de las variaciones en las estrategias evaluativas, relacionadas con los tipos de programas, es el tema cenral del capítulo 2. Aquí se estudiarán, en términos generales, los tres elementosde la evaluación y se listarán las interrogantes más importantes de cada una. Diseño y conceptualización del programa Las intervenciones, sobre todo durante la planificación y durante toda la existencia del programa, se pueden considerat como solución de problemas comunales percibidos o incipientes. El origen un programa social es el reconocimiento de un "problema social" —es decir, rn conjunto díverso de defectos en la condición social y humana— y la intención de realizar acciones objetivas y organizadas para resolverlo. Por ejemplo, la trascendencia de un programa para desarrollar las habilidades educativas, generalmente radica en el reconocimiento de que un número significativo de personas, en una población dada, muestra deficiencias en sus habilidades para la lectura y las matemáticas. Un programa en funciones se puede justificar por la persistencia de algún problema social: en las escuelas preparatorias la educación automovílístíca recibió apoyo del público y está sujeta a evaluaciones debido al continuo y alto índice de accidentes automovilísticos, sobre todo entre conductores adolescentes. En el capítulo 2 se analizan las relaciones que hay entre la ídentifícación de problemas, el diseño y la planificación de programas las actividades evaluativas. A su vez, en el capítulo 3, se examina el "diagnóstico" de las actividades evaluativas, esto es, los conceptos y procedimientos que permiten específicar un problema social y la manera de mejorar los diseños de las intervenciones apropiadas y sus evaluaciones.
27
26
Interrogantes en el diseño y la conceptualización del
programa
¿Cuál es la extensión y localización del problema por resolver, de la población objeto o de ambos? ¿El programa está diseñado de acuerdo con los objetivos?, ¿hay una explicación coherente, que lo apoye?, ¿existen posibilidades de que su aplicación se,a óptima? ¿Cuál es el presupuesto asignado o estimado y qué relación tiene con los beneficios y con la efectividad?
El monitoreo y la responsabilidad por la administración del programa Existen muchas razones para verificar los programas. Primero, la administración y el manejo de los programas de recursos humanos requieren evidencias empíricas acerca de su costo y de las estimaciones tomadas. Cada vez más existe preocupación por la carencia de información acerca de la responsabilidad de los programas, particularmente de los públicos. Segundo, no hay punto de comparación con el resultado de un proyecto particular, a menos que tomara lugar y sirviera adecuadamente a los participantes. Muchos programas no se ponen en marcha de acuerdo con su diseño original. Algunas veces, el personal no se haya disponible o el equipo está descompuesto; otras veces, el personal puede ser prevenido políticamente o por otras razones para abstenerse de actuar. Algunos miembros de los proyectos son negligentes o no tienen motivación, o de plano no saben realizar las tareas encomendadas. En otras ocasiones, aun la estimación errónea del presupuesto o la misma inflación lleva a los integrantes del equipo a modificar sus esfuerzos. Otras veces, los participantes del proyecto no existen en número suficiente, ni pueden ser identificados precisamente o no cooperan como debieran; por ejemplo, en ciertas comunidades, se han aportado fondos para desarrollar proyectos en los cuales los participantes se identifican como niños con problemas cardiacos hereditarios. Sin embargo, para algunos de esos proyectos, la participación de gente de la comunidad ha resultado tan costosa que los fondos son insufícientes para el tratamiento. El monitoreo puede alertar al personal del proyecto acerca de tales problemas, al dar una explicación sistemática acerca de si se efectúa o no el programa, si opera de acuerdo con el diseño, y si alcanza a la problación objeto específica. Como resultado de tal evaluación, el equipo del programa de desayunos de las escuelas de la ciudad de Nueva York descubrió serias deficiencias en sus servicios (véase anexo 1.4). El monitoreo y la responsabilidad se analizan más detalladamente en el capítulo 4.
Anexo 1.4. El repor-te del monitoreo de los programas de alimentación grattata El iiiI del menitoreo tuvo cons htuido pcd- uitint lo on \periuncIJ en clacación; nutrición e invesngación. y los serviciesa la niñez efectuaron yisitas a las cscuelas de la ciudad de Nueva York parad rihir el programa de desayunos gratuitos. seleccionaion 2 1 CSCLICL1S de Ill1CVC dl q tritos y se entreVistóa los integran. delSe tes equipo escolar .de manera informal. Los monitores observaroriel salón de sayunó Y las cotidicioiic de trabajo en la cocina; aciernás Se'ánalizaron 1322 cuestionarlol de los trabajadótes saíóri de desayunos. En marzo de 1975, en Nueva York hubo un total de 1 292 esclielas instituciones que sirvieron un promedio de 537 359 desaYunos diariarnente; de ésos, el .90%era grattiltd. Hasta Unales de 19.75;no se habíariredticido préCios en c I programa de .alirnentacióriescolar de la'ciudad de Ntieva Yóik, "perdya sé há hecho en respuesta a la legislación federal qú lo di. u anda. Cerca del 57% de los niñoS Inscritos én escuelas elemenHés y ecundaririsson elegiblespara el desaYuno gratuito. de ellos, el 87% partic,pa en 1 prOgrarna Cle desayunoS estólares. Si la reclücción de precios estuviese disponible en lós de cáyunoS,los monifores .estirharían que, con base en ercenso de 1970, quedabán ai in elegibies 250 000 rtifiós aspirantesa ella. Cc)n-lo en )unio de. 1975,22 de los 32 distritos escolares comunitarios s' irviewn un promeclio de 63 838 desayunos diarios en-365 esCuelas. Sólo el 13% de los niñós elegibles 'en /a ciudad de Nueva Y ork reCibieron d. elayunb áratuito. Por lo menos-400 000 de los Otros, que ahora ton. Mr1 d. esayuno gtatutto, son elegi. bles para él, pero no se les sírve.n. Administración del prograrna
Los modlitores Cf1C0 ntraron que la distribucrán centralizacia de alunentos no es ri,'oesariamente la más barata ni la rnanefatiliás eficai-cle proporcionar alitnento a niños en edad escolar. Durante sti visita aTas esetielaS,-los monitores observaron qu é el alimento compraclo al rnayóreo por medio delá Oficina de Desayunos Esco lares frecuentemente era más costoso cle lo que podía haber sido en el mercacio por eiemplo, el pullo ccaliprado por medio dela Oficina costó 0.67 dólare.s el medio kilograrno, rnientras que el precio en el ínercadolOCal era de 0.47..clólares. además, las escnelas oficiales se quejaban de,que la Oficina pdgdb¿i por grandes entregas de productoS onlenados o que se podrían Cuíidocl de los alimentos
Erigenexal. los rumlitures estaban poco satistechos con la apaliecia n y el delbs alimentos servidos en esos programaS. Ellós cálificarb¡i la,COMida Lle sólo iieá cil:los 14 prógizimas cle. desayUnoS Yjde‘. 12 deicil'á0.:Prograinal de' alCilátro n-iuerzb viSitáCiós;".cOrno ',`Apetitosa en desaytmos y en 10almuerzos s¿lbía bien. EncOntraron "hot dogs7 corí hongos y ¿Jgrios. los frijoleS; así como mezclas inidentificableS de arroz y carne, rollos antargós, verdüras pqdridas y otros pi itillos poco apietitoSdS.MaChbs :Idé lós proqrarnas cle almuerzos v casi todos los desavurios no ofrecían. álternativas -en el Algunos monitures inform¿Iron que había idna'gran parte dé niños mayo tes gui. iurm cuandof,tio les gv,istaka el ciesayuno,.dejaban pocos residuos. si
11 28
29
Plani,ficacián t distribucián del utenú
Valoración de la utilidad del programa
Las escucla s. no distributan niena ¿Implja o regularniente. Ni los padres ni los niños,conoeian el n lenü _con anticipación, ni I azron consultaclOS,para planificarlo, n111-111Cji:ié aacitaéllOS lo osigieron en algunos escu,z'as r: Los monib9J-éS, „- notar9n .que en una eseuela del lado (301-inferibib'de Esbados Unicios, ios planificáión del ns un conel riáSultadb de gLIC ta.e;euela sers4M . A,, nutritivos,'Nó se hiclercin praviSiones en cuantóa'dietas espétiales.b. p l obJ er,as. „ „ Atinque 10-.trabajadoiéS en el otainedOr -clljerqn Iiii.Oi .frecuentériteritelabían las prefer'encis dé.loá errvéz.dela,¿citadi ia, que o una rt:banada extra cle:Pán paya que hiciesen emparedados—, fueron incapaces de influir en la (21aboraciÓn'fiel
Obviamente, es importante conocer los grados de repercusión del programa y sus beneficios en relación con los costos. El primero es la efectividad o repercusión del programa, y el segundo, su eficiencia (en el capítulo 8 se analizarán el costo-efectividad y el costo-eficiencia). A menos que el programa tenga una repercusión demostrable, es difícil defender su puesta en marcha y su continuación; de aquí la necesidad de valorar la repercusión. Sin embargo, el conocimiento de la efectividad es insuficiente en la mayoría de los casos; los resultados o la repercusión se deben estimar contra los costos iniciales. Algunos programas pueden no contar con apoyo debido a sus altos costos en comparación con su repercusión; por ejemplo, algunas universidades al afrontar problemas de'presupuesto, han finiquitado sus programas de asesoramiento a los estudiantes, debido a sus altos costos y ligeros resultados. Otros programas pueden ser ampliados, retenidos o terminados con base en su costo comparativo; por ejemplo, los resultados acerca de la repercusión del cuidado institucional, en oposición al comunitario, para adolescentes infractores sugiere que los programas comunitarios son preferibles, debido a su bajo costo. La necesidad de determinar la relación de tales costos y la efectividad requiere una valoración eficaz.
Atmásfera en el cornecior Ntuchas escuelas contaban coipócos recursos a qi'andes canti, clades de niños L.Os. comedores y los hórartos de sertitctiti alguvcces rnuchos c'e4tie.,'¿1?ir'élt,y'tért.ritáírié'.10 con sus abrigos (o jimentos y para . salir a recrei ¿orrita réstiltádo que jaranrtkilláornida o dietan_de jutIlr;17tiTSJ:tHir, c nDll lo que la atnaósterá.'re hacia demasiado rüldogi"e inconfo para aquellos que aün comían, Existía Lina cintldad signlficativadebasuraymu --,:txtescuelás:eyan catalog;-tdas 'COMO-dotadas y los plsoS COnio iás áreas alrededor deló é basüil.eá atcstacas, m)entras que en cytras
Sepcirgtián cle gülenés recibían el .gratuíto de /us cierlitís ustucliontes Ekistta evidencia r de'que los-niños•: que recibían gratuitomonte el almuerzu y aqueililue, pagaban porél odlevaban ersuyo sé S-eparaban. De las ecuelas vlsitadas qUe seriiían almuerzos gratuitos y paqados, la rnitad separaban a los niños que no pagzHn, manbanían filas diferentes, rnesas sepandas yío usaban boletos en vez de dinero. Tt 1, 1
5 I
Oç Fi
p
,
s,dniufu us 0111,2 1` /u York CIty,
Iln,1-5t1,n 11,r 1ril d U
Interrc,gantcs dcl prograrna cle verificación (21 programa a la p J. 1 acu nobjetooaJ ra. objetivo es ¿Se:realtzan los csfuer¿os de irderjOri .élti'Cbirilsp'.1s0Cifi el diseño del programa?., ¿Aharcd
Valoración de la repercusión
Valorar la repercusión permite medir el grado en que un programa origina cambios en una dirección deseada, lo cual implica que existe un conjunto de metas específicas definidas operacionalmente y criterios de éxito. Un programa con repercusión permite lograr cambios o movimientos hacia los objetivos deseados. Estos objetivos pueden ser de comportamiento social (como los de los analfabetas funcionales con nivel bajo o las deficiencias nutricionales entre los nirios), de relación con la comunidad (como los que reducen la frecuencia de ciertos delitos) o físicos (como los que reducen la contaminación del agua o incrementan el número de viajes en autobús para conformar un horario). Para realizar la evaluación de la repercusión, el evaluador necesita un plan destinado a recolectar datos, con el fin de demostrar de modo persuasivo que los cambios están en función de la intervención y no pueden ser explicados de otra manera. Los planes específicos para valorar la repercusión pueden variar considerablemente: algunas veces es posible usar diseños experimentales clásicos en los que existen grupos control y experimentales, los cuales reciben tratamientos diferentes y se constituyen por medio de una selección al azar. Las estrategias básicas para analizar la repercusión se encuentran en el capítulo 5, y los experimentos aleatorios se estudian en el capítulo 6. Sin embargo, por razones prácticas a menudo se requiere emplear enfoques estadísticos en lugar de experimentos verdaderos. Los experimentos no aleatorios y los métodos no experimentales se utilizan comúnmente en la valoración de la repercusíón. Con el cuidado y las calificaciones apropiaclos, tales dise'ños no experimentales pueden dar una estimación razonablemente firme de los efectos. Esos diseños se analizan en los capítulos 6 y 7.
30
CAP. 1. PROGRAMAS, POLITICAS Y EVALUAC1ONES
31
Las evaluaciones de las repercusiones son esenciales cuando existe un interés en cualquiera de los casos (comparar programas diferentes o probar la utilidad de esfuerzos nuevos) para reducir un problema comunitario particular. Un ejemplo a este respecto es la evaluacón de un programa para optimizar el desarrollo psicológico en niños (véase el anexo 1.5).
AfleX0 1.5.
Cttidado infantil diurno
¿Asisteii. los infantes a:uri centro grupal
.xesp
de cuidado bien ideado, educativo y
g nsablelos cinco días . dé la sernana, clurante un poco más de 100
áeinandS
qüe muestran:diferentes patrones de,desarrollo psicológico en transcurso o al final de ese periodo, cuando. se Compara con ninos dél rnismo sen.y.anteteden, tes familiares que son relegádos en el context() ,sociar familiar noreste de Estados .Unidos? le Una investigaCión a largo.plazo se di senO para-valurar los efectos psicológic,os. un prograrna experirnental realiza clo acerCa . del rno de niñOS entre lál adades . de y 29 .rneses..-.LOs'sujétos'fueráñ-Chitias'9...Caitásicos defárnilias dela claSe- :frabajadórá' vinediá;-'161. Ctiales ft.jeran Cutdadól:Paitist grüpo de asistenéla ,ocial especial 'en un centro, duránte de la sernana; el grupo control principal estuvo constituido rd1-11MC relegadéks totalmente. a su . casa y comparables cOri los niños experimentales en tii , rminos de sexo, clase socia19 relación étnica. La cuestión central que pr(Y.'0 n16 la investigación se puede contestar COIlclerta , eguridad: atendey ith centro de cuidzIclo cliunto con empleadosaclultos conscientes y educativos duranteios 2.5 a .ños nu;pareciti et , ear ult perfil psicológico 'diferente del crado por la permaneriCia en el:hOgar ,de lOs'nifícis control. Esta concluSión se basa .na ..sÓló . en'la . .vatoración tárribtérferflas pbsertracioná.triforrnales de las'rtiñOS él periddci'de 2 añOs. nci ¿onfirm .— an :I'atias t • rtocto. . . • durarité nes cpriáticlas acerca de Ids grupos de culd¿Rio. Aunque esrazonable presurnir que encúentradiari .o'Con otroSioños durante los pnmerus doS arios podría aCelerar la rnaduraciórt de .las secuenclaS interaccio: tales sociales vistas en nitios de 3 y.4:años, lás datps recabádos riq'apóstaron significatiVamente .e.sta predicción. Las niños de 2ii.y.. 25MeSes de edatinó füerón :Muy'sociablés ni iniciaban juegos con 'otres niñós. LoS . juegos:cooperativos y agresivos no se vieron flenteente roca rri entre arnbos grupóS: Habia nirios tímidos tanto entre-e1; ..grupo de culdado diurno Corno . entre :lps iños de contipi hogareño. De hecho ocasión los -autores sattlficiéróri 1u. ctiriósidad acerca de .uria-niña:. qUe:nolmalmente cra poco tírnida, con una semejante . extraña-énila : Valóraéión para : 20 . inese s y enviaron una pariente al centro de cuidado.dítirno. La niria • Se refügió de inine d,ato con Sll ITIZ1CStro del centro de éuidado penSaba que aúnestaba erisu territorío.:Los niños del centró de cuidá; .do no',fueróri'mas.Coóperativos ni rnás agrestvoS que'14. niñós control en Erí reuine1-1;11á evaluáción:. reki. e. 10 una función de -creCimiento similar entre los nmos contráLdel hogar -ccirrio. :en . los del centro dé cuidado.
,
-
Fuente: Adáptádb de Kagani Devel6pmentr;_ en Eváluatioh Quarté,Iy. .
n 7I n .11
Eilects of de19. 7:7, ; p;Igs 1(19?.1.42
.
Valoraciones de la eficacia
Desde que los recursos presentan problemas constantes que se agravan, el programa requiere valorar la eficacia. Las intervenciones compiten unas con otras para captar fondos de las fundaciones, de los organismos intemacíonales y de los diversos niveles del gobierno. Asimismo, las intervenciones específicas en los programas, suelen competir por fondos y recursos. Frecuentemente, se debe escoger entre programas con fondos y sin ellos, continuos y discontinuos, y amplios o restringidos uno respecto del otro. Por lo menos una de las consideraciones que implican lo anterior concierne a lo económico: ¿un programa produce suficientes beneficios en comparación con los gastos realizados?, ¿es un intento por producir un beneficio particular a un costo bajo, por unidad de resultado, respecto de las otras intervenciones o la entrega del servicio se ha diseñado para lograr la misma meta? Las técnicas para responder este tipo de preguntas, tienen dos enfoques relacionados: los análisis del costo por beneficio y los análisis del costo por efectividad (para un ejemplo del análisis del costo por beneficio, véase el anexo 1.6). Las ideas con las que se destacan los dos enfoques y los ejemplos ulteriores de ellas se presentan en el capítulo 8. Anexo 1.6. Cirugía ambulztnte en un hurnano En años recientes, el sujeto tratado en cirugía arnbulante há llegado a tener un gian interés en el .carnpo del cuidado de la salud. En Estados Unidose1 interes ha do estimuladp por la'apertura del centro de cuidado quirúrgico gratttito a lo largo del país, y por los esfuerzos en incrernento de las ágencias reguladoras de la sdlud para contener'el aurnento tan rápidó .de las costos en el cuidado=de aqUella: El estudio es un exarnen retrospectivo de los datos tórnados de un sistema de cuidado rnedico autocontenido, que incluyó un cambio en los servictos quirúrgicas, de su hOsPital..E1 'servicio dé cirügía ambulatoría queproporciona es sírnilar al ofreido en los centrós de ctiidado quirúrgico de estancia libre. Los cirujanos delKalserPermanent_MediCál Caré Program (PrO§rarna de .Cúidado médico permanente Kater) "dé Poitland,.Oregon, han practicado "Oirugía arnbulatoria durante más de 20 áños. En 1961-,.el . 10%de los pacientes que habían pasado por cirugía en los cuartos peratórioS del-hospital_no fueron admitidos antes o después de la cirugía. A su vez en 1977, cerOa de1419.(Dde los pacientes que habían pasado por cirugía ambulatoria del programano fueron alniticlos en el hospital. AturdisiS del ohcn rro en los
costos
ambulatorias mvestigaron las dderencias dcl prc,ccsot I 14(kitítLtkno se íca()d tt\;-11: 1. 2,7 igt'--s'iifiu nd '- i'a 'sL la interna,'y encontr6 ;. ciúe la única difcrenc costos paralol págetit0.1ittelos), admitieron lós pacientes arribblantes (salva cuartos tielry nternos. Estas ea Olue usaban más tiernrio costo: ci ron cdmol g iáüe : :Pará'hallar tos 'ahorrosen:e la mPdalidad interna a ambulatória'éálátlái.t;hi o)iertos:procedirriientoS ta 143na.rvá en, la presuncton de que ,(excepto I ,.)Igunos casos notados el costodel ,
32
33
.'lisis de los prOceddmientos seleOcIónados) . 1a cirucla ambnlatoria no esiába c1,4ponl. ble y, por tanto, podrían haber sido admin dos Po r ellocuatidio:él . Procedirniento se 7ealizó.corneren , e1 . caso ambulatorio se ala-O rr arortéoltós'd'elnternarló:lOS cnales Meluyen el servicio de rutin por costb de internado y , el'coMO del doetor pár visitar at intérno v son parcialMente influidos pór el costo extra dél llempo en el cuarto de recuperacIón del Pacierrte arnbulatorio, el cua1 s Mayor que paia los Internos. 25raty AhOrros;en los; eostos por caso ambulatorlo medlante proccrlimientos selectos !(basados en loS prócedinnentos arnbülatorios de 1974, áplicadd a -dólares de 1977) i , • total SustracélÓn del Costo total. ór pactenté costo del cihorrado por caso ra ián
113.41ataaión y curációcfeUútekT1,. Etlrpactón y dé,Strude(óri':dé.iél Lven, la piel y el tejido sub-cutkne0 ;_ Ilgarnento lateral y divisl¿n déla trompás de Falopio'y salpingectornía bilaterai Miringotomía (> 131opsia del seno niastectorjifái .pareiál ' •, Extlrpaciórt de la leslón clel muscular y faSclá EX'plórión y neurolisis J:perifiérko ,.Clreuncisión parcia1del I•tráVe'OtO -mía (éoni,iació111 ITOdos los procediMientos . selecciOnaclos (tasa promedgi.: casos
lat
1 54 i, 16 . 2 05 4.32
21.9,
onclusiones . . _ n este ..41.tilfii •sa .'ericoritro-atielá . éttilafá:ár03alaiit . paedé ah"„..<.-iiar-gf-bn-cnriff:• dad de.dinero : para los constmuclí,res de ciii Lidosaii la s¿alud-rl se ejer utara a nivel nacionaLenuna proporelon sunilar ,7)1 estudlo hectio,-se ahárrarían.apttOmádai-nchte'750-nrlit anualtriérite.•'(áSaddeiiigrIf4'.'de-19,1».). -1-árnblén'se encontró que Ids pacrel n tes n,))Ositii-6VééClél-es de cuidados estaban satisfechos con, • la cirugía ambulante y que'-la•cálidad,del , cuidado era muy _ alta. Los resultadoS del estudiO indican clararnente que un- programa de cirugía arnbulante,podriajSer beneficoal , sisteina,:tptaLdeuiliOps , en la salud. Él estudio : tambien rétrela-í. rré tal progranía,se,Todría'gjecutarlácilmer4. .20?'
PuésteY, 'Ad.,-,p-tn-dó, cnri n;o1 xt,111. 1,14 , rer.c, : tle 1 50
;gs:' 127 1,1;0.
Interrogantes acerca de la utilidad del programa ¿Es efectivo el programa para lograr sus metas? ¿Se pueden explicar los resultados del programa por medio de algún proceso alternativo, el cual no está previsto por dicho programa? ¿Tiene el programa algunos efectos que no se planearon? ¿Cuáles son los costos de entrega de servicios y beneficios para los participantes del programa? ¿Utiliza el programa eficazmente los recursos, en comparación con los usos alternativos de los mismos?
ETAPAS DEL PROGRAMA Como se vio en párrafos anteriores, las evaluaciones se realizan para responder a una variedad de interrogantes relacionadas con las listadas en los tres enfoques de la investigación evaluativa: la conceptualización y el diseño
del programa, la puesta en marcha del programa (monitoreo y explicación) y la utilidad del programa (valoración de la repercusión y de la eficacia). Además de tratar estas interrogantes, una evaluación se debe adecuar a la etapa del desarrollo de la intervención que se ubica. Esto se puede encontrar al localizar al programa en un continuo cuyos polos sean los programas "innovadores" y los programas "establecidos", con puntos intermedios en algún sitio entre los polos, y que señalen las necesidades de "refinamiento", "modificación" o "afinación". Mientras que los mismos procedimientos genéricos caracterizan todas las evaluaciones, el estado de desarrollo de un programa —al que se hará referencia como la etapa del programa— determina el nivel de esfuerzo y los procedimientos técnicos seguidos durante la evaluación. Evaluación de programas innovadores Las intervenciones nuevas son relativamente raras. Muchos programas presentados como "nuevos e innovadores" suelen ser modificaciones de las prácticas ya existentes. Lo que hace innovadora a una intervención es que el "tratamiento" no se haya aplicado nunca a la población específica. Puede haber sido probado en pequeña escala, demostrados sus juicios de manera impresionista, pero nunca con el intento de ponerlo en marcha en gran escala. En términos nuestros, un programa innovador es aquel que no ha estado sujeto a ejecución y valoración en los siguientes puntos: 1 La intervención misma está en una fase de desarrollo y de investigación
emergente; es decir, no hay evidencia (o está muy limitada) de que ejerce un efecto en un programa establecido. Por ejemplo, los hospicios, que se instalaron con propósitos no médicos para pacientes enfermos en vías de recuperación, están siendo evaluados como una opción innovadora para la hospitalización prolongada. Aunque los hospicios han funcionado
34
CAP. 1. PROGRAMAS, POLITICAS Y EVALUACIONES
durante muchos años, sólo recientemente se les ha considerado como una amplia posibilidad, la cual quizá deba tenerse en cuenta para merecer el apoyo gubernamental o de fundaciones nacionales. La entrega de sistemas o parte de ellos no se ha probado adecuadamente. Tal programa podría incluir la idea no probada de tener estudiantes de nivel medio y dar educación nutrícional e información a los ancianos. Los objetivos de los programas son nuevos o amplios. Una intervención de este tipo puede ofrecer entrenamiento de lenguaje por medio de cintas grabadas, para escolásticos inmigrantes, quienes no están presentes en gran número para justificar los programas educativos bilingües en escuelas individuales. 4. Un programa, originalmente tomado en respuesta a un objetivo, se continúa o amplía a causa de su trascendencia en otros objetivos; por ejemplo, un programa mediante el cual se proporciona automóviles marcados a la policía para el uso de su personal, puede haber sido iniciado con el fin de disminuir el índice de delincuencia, pero se continúa para restringir la inestabilidad del trabajo y mantener a la policía cerca de sus distritos. Evaluación del refinamiento Una vez que el programa está en marcha, es importante probar las diversas formas de su funcionamiento. La mayor razón para hacer esto es mejorar su eficacia, o sea, incrementar la magnitud de su repercusión o disminuir sus costos por unidad de repercusión. Un ejemplo de lo anterior podría ser un programa de instrucción semanal para niños pobres que mejoren sus habilidades en un grado aceptable, pero que el equipo de trabajo considera que podría ser más efectivo si los niños tuvieran oportunidad de aprender una vez a la semana. De acuerdo con esto, se evaluó e incluyó un programa complementario de "tareas para la casa". Un ejemplo de lo anterior es el programa que comprende tres meses de asesoría diaria para alcohólicos recién salidos del hospital. Como el costo del programa era muy alto, se hizo la evaluación para valorar la reducción del programa de tres meses a dos. Existen otras razones para depurar las evaluaciones. Una es dar los servicios de manera equitativa, esto es, que los servicios del programa se den a la población objeto al mismo tiempo que se proporcionan a las personas de la población en general. En una clínica dedicada al cuidado de la salud, esto implicaría establecer un programa de citas, con lo que se conseguiría abatír el tiempo de espera. Aquí el resultado podría ser si se han satisfecho o no las necesidades del paciente; con un buen sistema de entrega, esto se incrementaría sin pérdida de eficiencia. Otra base para depurar un programa es reducir las deserciones de la población objeto. En nuestra clínica hipotética, esto podría ser un razonamiento secundario por ejecutar después del sistema de citas. Cabe destacar que no existe una división clara entre innovador y depurado, este último también conocido como esfuerzo de modificación. Algunas veces los cambios que se prueban son menores y fácilmentes modificables. Sin embargo, en otras son costosos y pueden estar ampliamente ramificados en la red de servicios; por ejemplo, la depuración que en un principio integró a los centros
¿CóMO SE USAN LAS EVALUACIONES?
35
comunitarios para la salud con los hospitales de enseñanza, no cambia el concepto básico que apoya el servicio de cuidados médicos a personas con bajos ingresos. No obstante, puede tener mayores consecuencias en el costo de tales cuidados, desde el punto de vista nacional, y alterar marcadamente la calidad del servicio recibido.
Evaluación de programas establecidos Los programas que establece la legislación, y aun aquellos con décadas de existencia, pueden estar sujetos a evaluación debido a causas diferentes. Primero, un programa se pudo establecer debido a múltiples razones externas y/o políticas, de modo que es importante, para justificar su continuación, expansión o terminación, tener un programa de computadora y el rango de sus beneficios por costo. Los cambios en la disponibilidad de recursos, puntos de vista, prioridad de los miembros de la comunidad y las declinaciones reales o afirmadas en la magnitud del programa objetivo, pueden originar actividades evaluativas. Quizá más importante al estimular la evaluación de un programa establecido sea la suposición de que los programas son deficientes. Incluso, como ya se mencionó, los programas estatales y locales y el creciente número de los federales deben cumplir los requisitos de la legislación vigente, la cual dispone de un programa regular de revisiones y terminaciones "automáticas" de los programas que no pueden demostrar su utilidad. Las evaluaciones de los programas establecidos pueden enfocarse en los rangos de los efectos y en costo por beneficio; sin embargo, a menudo, las valoraciones se limitan a examinar la entrega de servicios. En tales casos, la evaluación se centra en las interrogantes del monitoreo: si se sirve o no a los grupos objetivo apropiados y la extensión en que el personal del programa y la administración cumplen los requisitos con respecto a la calidad de servicios entregados. El área de servicios humanos es altamente susceptible al cuestionamiento serio y responsable, acerca de cómo se realizan los programas, así como respecto de los ataques políticos o de la publicidad. Los resultados de la evaluación (o sea, los originados por la verificación del programa y los causados al evaluar la eficacia y la trascendencia) pueden influir en las decisiones acerca de la expansión, continuación o terminación del programa, así como en las decisiones de las organizaciones que son responsables del mismo.
¿C(5/§40 SE USAN LAS EVALUACIONES? Efectuar evaluaciones no sólo es diferente de acuerdo con el estado del programa desarrollado, sino también con el uso que se les dé. En el alcance y diseño de las evaluaciones se deben tener en cuenta los usos múltiples; sin embargo, no existe una distinción clara. Aunque el rango de usos nunca se puede describir específicamente, es posible considerar los usos de la evaluación en términos de la forma de tomar decisiones. El uso también se puede examinar en términos de las consecuencias o ramificaciones del esfuerzo evaluativo. Ambas perspectivas son adecuadas con respecto a cómo los evaluadores desarrollan su trabajo.
36
¿CóMO SE USAN LAS EVALUACIONES?
Formas de las tomas de decisiones Como en toda investigación aplicada, las evaluaciones se efectúan para influir en las acciones y actividades de los individuos y grupos que pueden unir sus acciones para obtener resultados derivados del esfuerzo evaluativo. En el caso más simple, los resultados se dirigen a un ejecutivo individual, como un oficial clave en el servicio público, quien tiene la autoridad y responsabilidad de colocar recursos y así establecer un programa de servicios humanos; por ejemplo, dentro de ciertos límites, los jefes de policía pueden decidir cómo asignar a sus oficiales, cómo estructurar la comunicación entre las diferentes divisiones y cómo tratar las emergencias y otros sucesos imprevistos. En otros casos, la situación es más compleja; una gran variedad de partes influyen en la forma de diseñar y ejecutar los programas de recursos humanos; por ejemplo, la iniciativa de un seguro nacional para la salud podría requerir convenios, en programas delineados, para ramas ejecutivas y del congreso del gobierno federal, e implicar la atención de las opiniones y el interés de mucha gente evaluada, incluidos los profesionistas en el área de la salud y sus organizaciones, grupos de trabajo y manejo, aseguradores y agregados de consumo. Las permutaciones y combinaciones variadas de evaluados, así como el rango de influencia y el proceso de toma de decisiones encontradas mediante las actividades de recursos humanos, están sujetas a indagaciones especulativas y sisternáticas. Existen tres posibilidades para la toma de decisiones, las cuales se estudiarán en seguida. Decisión de continuar o no continuar En varios puntos de la programación de servicios humanos se requieren acciones decisivas; por ejemplo, la Secretaría de Salud y Servicios Humanos debe recomendar al Congreso o a la Casa Blanca si se debe o no dar entrenamiento a las distintas categorías de practicantes en el área de la salud, cuáles pacientes admitir en los hospitales auspiciados por el gobierno, los requerimientos para elegir los programas de bienestar, etc. En un nivel local, los superintendentes y las juntas escolares pueden decidir si se impone o no un ordenamiento acerca del tamaño del salón de clases, con el fin de establecer un programa de estudio-trabajo para estudiantes de secundaria o para terminar la instrucción preprimaria. Relativamente, existen pocos casos en los que las decisiones se basan sólo en los resultados de la evaluación, aunque si estos resultados son convincentes y los estudios son defendibles desde el punto de vista de rigor, pueden dominar la toma de decisiones.
Desarrollo de una fundamentación para la acción A menudo, las evaluaciones influyen en la toma de decisiones, a saber; las consideraciones prácticas, políticas y de los recursos, así como la sabiduría y la experiencia de aquellos con influencia. Algunas veces, las evaluaciones afectan directamente la fundamentación esencial de un programa y, en consecuen-
37
cia, las divisiones profesionales, políticas y legales acerca de ello; por ejemplo, la presión para desinstitucionalizar el tratamiento para enfermos mentales y personas retardadas está acompañado de numerosas conclusiones prácticas, políticas y legales. La primera orden dada por un tribunal con respecto a la desinstitucionalización de las facultades otorgadas por el Estado para retardados mentales, fue acompariada por una evaluación pagada, con el fin de terminar las consecuencias de esta desinstitucionalización en las personas severamente retardadas, sus familias y los miembros de la comunidad que viviesen junto a donde ellos podían residir. Los resultados podían tener importantes consecuencias para la legislación futura y para las decisiones legales en varios estados e incluso a nivel nacional. Otras veces, las decisiones tienen un efecto indirecto o diferido. Las que se tomaron para desarrollar el conocimiento o para los objetivos de un programa particular pueden tener una repercusión subsecuente. Esta repercusión evaluativa es referida algunas veces como uso conceptual de los resultados de la evaluación; por ejemplo, hace algunos años mediante estudios cuidadosamente controlados se examinó la repercusión de la psicoterapia en las prisiones. Los resultados demostraron que la psicoterapia tenía utilidad limitada, si existía alguna, misma que estaba disponible desde varios años antes de que existiera preocupación acerca de su eficacia en los programas de rehabilitación con prisioneros (Kassebaum et al., 1971). Los esfuerzos para ampliar la psicoterapia en las prisiones, incluidas las acciones de la corte, resultaron poco útiles ante la evidencia de la ineficacia, la cual contó con la evaluación previa. En este sentido, aunque con dificultad para ponderarlas, las evaluaciones pueden contribuir seriamente en el área de los servicios humanos. Asimismo, las evaluaciones sirven para "disciplinar" el programa de toma de decisiones. Como se verá más adelante, el énfasis de las evaluaciones sobre metas explícitas, los criterios o la especificación de actividades intervenidas, puede influir en cuanto pesen otras decisiones importantes que se hayan dado. Legitimidad y explicación Las evaluaciones también pueden servir a cualquier programa ya sea de oponentes o seguidores, como inicio a los descuidos de los programas. La información acerca de cómo se han realizado las intervenciones, la extensión en que han alcanzado sus objetivos, su repercusión y sus costos pueden ayudar a los seguidores de un problema en particular a tener cuidado de sus oponentes o viceversa. La legitimización se puede requerir en niveles diferentes; por ejemplo, la junta de trabajo de una fundación que apoya el programa de salud en una escuela podría estar preocupada por que se tratara o no a un número de niños suficiente y por el costo del cuidado de cada niño como unidad. La administración estatal de ese programa podría usar los reportes regulares de tal información para estimar la producción y el desempeño de los grupos de trabajó sobre salud en la escuela, los cuales se localizaban en los sistemas escolares en todo el Estado. Por supuesto, las evaluaciones de los objetivos de la legitimización no tienen como finalidad justificar el statu quo con respecto del programa. Más bien, alertan a los financiadores del programa o a los administradores acerca de
38
CAP. 1. PROGRAMAS, POL1TICAS Y EVALUACIONES
..puntos débiles" y sirven como base para la modificación, expansión o reducción de las intervenciones; por ejemplo, en el distrito, los diferentes índices de personas inválidas que regresan a sus labores, podrían sugerir al director de la agencia estatal que se necesita reubicar los recursos humanos o trazar de nuevo los límites del distrito para centrar la atención en los grupos de población con grandes necesidades. La política y los estudios administrativos La bibliografía acerca de la investigación evaluativa, o sea, muchos de los comentarios en las diversas investigaciones aplicadas, se refiere a la "adecuación política" del trabajo en el campo. Las evaluaciones políticas se pueden describir, en general, como aquellas que tienen un efecto potencial en grandes sectores de la población, o que originan cambíos operativos mayores en la estructura y las actividades de los grupos participantes, o que son críticos para ubicar los recursos monetarios, humanos u otros. Marginalmente, es fácil separar a la política de las evaluaciones administrativas; sin embargo, en la práctica la distinción recae en la manera en que los evaluados perciben las consecuencias de la valoración; por ejemplo, es evidente que la evaluación de un programa como P/aza Sésamo se puede considerar un estudio político. Los resultados tienen implicaciones sobre los fondos públicos, los requerimientos para los canales de televisión con respecto a la asignación de tiempo para la transmisión pública, y los tipos de otros programas relacionados con el aprendizaje de la lectura o la enseñanza. En contraste, la decisión de una agencia del gobierno acerca de evaluar "el tiempo flexible" para su grupo profesional (al permitirles trabajar a veces en lo que ellos escojan, conforme cumplan con el número requerido de horas) se puede considerar una evaluación administrativa, aunque pueda influir en múltiples personas, incluidos los grupos de otras agencias, los clientes y las familias de los mismos trabajadores. Ciertamente, conforme las evaluaciones son más generales y permiten tomar decisiones costosas y difíciles (esto es, cuando los cambios que se efectúan influyan chrecta e indirectamente en un gran número de personas), son más factibles de rotularse como "evaluación política". Sin embargo, es importante que la extensión de las evaluaciones políticas no se destaque sobremanera y que la relevancia de la valoración administrativa no disminuya. En muchos programas, pequeños y grandes, la evaluación de la tecnología, de los cambios en los procedimientos burocráticos y de las modificaciones menores en la entrega de sistemas, puede tener consecuencias importantes en la efectividad y eficacia de los mismos. También cabe destacar que la dístinción entre política y estudios técnicos administrativos es artificial. En parte, depende de la perspectiva desde la cual se determine el nivel de evaluación; por ejemplo, muchos podrían considerar que una forma de disminuir el índice de delincuencia de usar autos policiales como autos personales, parece un estudio técnico o administrativo. Sin embargo, para administradores políticos, las materias de costos, responsabilidad del seguro, moral policiaca y aceptación pública aumentan las responsabilidades políticas. La manera en que se percibe un estudio depende de lo que es el programa y de cómo se formula. Existen dos programas nacionales de salud infantil, apoya-
¿QUIÉN REALIZA LAS EVALUAC1ONES?
39
dos y evaluados por el gobierno. Uno, realizado en la UCLA (Universidad de California en Los Ángeles), consiste en desarrollar centros ambulantes de cuidado primario en escuelas públícas, atendidos por enfermeras practicantes (con médicos internos), quíenes dan servicio a nirios de familias con escasos recursos. Si es eficaz y eficiente, podría ser un modelo para el programa nacional que cuenta con apoyo federal. La naturaleza de la intervención minimiza las oportunidades para estudiar los componentes individuales del programa; sólo una interrogante de intervención amplia podría brindar una valoración total. El segundo programa fue evaluado por la Rand Corporation (Corporación Rand) y se diserió para mejorar la salud dental de los escolares; es un experimento en el que numerosos escolares, en todos los Estados Unidos son asignados a programas de tratamíento diferentes. El tratamiento más completo consiste en un curso acerca de educación de salud dental, el cepillado y uso de hilo para los dientes, la fluorhidracíón de éstos y una aplicación anual de un obturador que rellene las cavidades. El diseño del experimento permite estudiar la repercusión y el cbsto por beneficio de los componentes del programa por separado, en todas las combinaciones posibles. Según los resultados, se podrían poner en marcha programas elementales individuales. Por varias razones, esto se podría considerar un estudio técnico masivo; pero el grupo de la fundación apoyadora y los diseñadores en el área de la salud lo consideran un estudio a nivel político, debido al efecto de los costos en el cuidado de la salud dental, incluida su influencia en el trabajo de los dentistas particulares, todo lo cual prueba si es eficaz (Robert Wood Johnson Foundation, 1980). Por supuesto, el nivel de la evaluación tiene consecuencias en su diseño y ejecución en términos de fondos, tiempo para su terminación y sus requerimientos de gente. Los evaluadores exitosos son aquellos que se han clasificado a sí mismos, a sus apoyos y al equipo de trabajo, acerca de cómo debe usarse la evaluación y sus niveles de aplicacíón. Esto es necesario siempre que la evaluación sea un programa innovador, un programa con exigencias de depuración o un programa establecido. ¿QUIÉN REALIZA LAS EVALUACIONES? Los estudios para evaluaciones sistemáticas se basan en las técnicas de investigación en ciencia social, que tíenen aplicación en estudios evaluativos. Por consiguiente, muchos especialistas en evaluación han tenido entrenamiento en ciencia social. A primera vista, las personas poco relacionadas con la investigación evaluativa difícilmente podrían comprender los análisis profesionales de las evaluaciones. Como en otros campos profesionales, los evaluadores han desarrollado su propio vocabulario, sus expresiones taquigráficas y sus reglas para efectuar el trabajo. Uno de los principales propósitos de esta obra es presentar al lector este lenguaje especial que emplea el evaluador. Para facilitar el aprendizaje del vocabulario, al príncipio de cada capítulo aparece un glosario técnico especializado con el nombre de conceptos principales. Parte de la complejidad de la evaluación se debe a la tendencia de algunos profesionales de desarrollar su propío lenguaje, pero parte de esas necesidades, en cuanto a terminología especial, deriva del concepto único y de los desarrollos internos propios de cada campo. En un nivel mayor de complejidad, las actividades
40
CAP. 1. PROGRAMAS, POLITICAS Y EVALUACIONES
evaluativas pueden ser técnicamente complicadas, complejas en su concepción, costo y larga duración, por lo cual requieren la participación dedicada de especialistas altamente entrenados y con habilidad para asimilar la teoría de la ciencia social, los métodos de investigación y las técnícas estadísticas. Estas evaluaciones altamente complejas son realizadas por grupos especializados en evaluación. En el otro extremo, existen muchas habilidades de evaluación que pueden comprender y completar fácilmente personas con poca experiencia. Uno de los propósitos de esta obra es ofrecer a todos aquellos cuyas posiciones actuales, intereses académicos o su natural curiosidad los inspiran a querer aprender la forma de realizar las evaluaciones. El objetivo es ayudar a las personas encargadas de la administración y el manejo de programas de recursos humanos, con suficiente comprensión de las tareas evaluativas y sus actividades, no sólo a juzgar por sí mismas qué géneros de evaluaciones son apropiados a sus programas y proyectos, sino también comprender los resultados de estudios completos adecuados para su organización. Se ha tratado de escribir una obra que sea útil para aquellos que realizan (o planean realizar) evaluaciones, para quienes las contratan, para quienes supervisan personal y para quienes son consumidores de la investigación evaluativa realizada por otros.
Cómo integrar las evaluaciones Cada evaluador no puede ser un planeador y un ejecutor de programas; sin embargo, las relaciones entre el programa y su evaluación requieren una comprensión mutua de las habilidades y del proceso en que participan ambas pa:rtes —de aquí la necesidad de considerar la planeación, el diseño y la ejecución del programa. Cada evaluación se debe integrar a su programa. Las tareas emprendidas por los evaluadores son diferentes en varios sentidos, según la etapa de actividad en que se desarrollan y las necesidades e intereses de los evaluadores, como los políticos, administradores del programa y grupos financieros. CONCEPTOS PRINCIPALES Va/oración de /a eva/uación:
Metas:
Modelos de repercusión: Objetivos: Planeación: Sistema de manejo de la infor-
mación (SMI):
Conjunto de procedimientos para planear las evaluaciones de tal manera que el interés de los evaluados se teriga en cuenta con el fin de optimizar la utilidad de la evaluación. Conjunto de declaraciones generales y abstractas de los estados deseados en las condiciones humanas y del ambiente social. Conjuntos de hipétesis guía que remarcan la planeación y la puesta en marcha de un programa. Declaraciones específicas y opcionales, mediante .las cuales se considera el cumplimiento deseado de los programas de irrtervención social. Proceso de convertir las metas en objetivos, de tal manera que se formulen las intervenciones específicas y se definan las poblaciones objeto adecuadas. Sistema normal de recolección y análisis de datos que permite el cumplimiento puntual para la entrega de servicios y de la información resultante.
La investigación evaluativa es una parte integral del conjunto más amplio de actividades que generalmente se describe como política racional, toma de decisión científica o planeación y ejecución de programas Sin embargo, se debe reconocer 41
42
CAP. 2. CóMO INTEGRAR LAS EVALUACIONES
que las decisiones que afectan los programas casi siempre se originan de una mezcla compleja de consideraciones políticas, de influencias personales de los principales evaluados, de limitaciones económicas y de la disponibilidad del personal técnico necesario, así como de tecnología (véase el anexo 2.1). Por tanto, la investigación evaluativa se debe considerar como una de las múltiples posibilidades de iniciar la investigación, el diserio y la ejecución de programas. Para maximizar su influencia, el evaluador debe comprender los arreglos organizativos formales e informales del ambiente en el que labora. Por otra parte, los políticos y los administradores del programa deben asegurar que la toma de decisiones, la planificación y la ejecución se realicen de manera clara y explícita, de modo que las intervenciones serán para beneficiarse del esfuerzo de los evaluadores. Anc,x0;2:1•:-.:Histotiá-:del experimento,Idel intpuesto negátivo áljháiégiM,Pé -nnsylúaniá-Ntieva Jersey eg, - It I VUS ti / 1,2I"(2Su ,usotuyen lus debienestar . ildtinpuctos LóS'prograrnás , , . . , social,whan;sido;defendijdos por per,ona ,,. tan div. ersaScornp .„Milt91:riedrnan y
43 ,i,ceptabs -irincv; pilqt_)s dr leiew mi v los j‘ jkperiméntalr-_Js•i;Eldirector detpro9e7C4O-ftie cit-)do en la corte N ic n. n 0: jJernsjejy;Y:Se le on-lei'j&JbaCerri iélistros expenUrentaleS. . Aunque el citatclirio do tuvb'él cáraeter de obldátário, se'Vequirió o Mattrernati¿á que conlpens,lra a lo*depaí-tameiitos . de tienestar soclal locales por nl sobiépago otcTg40:1?ápIps,;familiá'.,éxííéririeht¿ilés.
É11969, Cb-nf¿t-tine eflCcingreso tm nusi deroha uná reforrna al bienestar
s¿?presionóal equirio,de.trakájo, Par. ágtie prc;dujeralesúltados dei;exPerirriántó gtie
sár jadecuad¿S párá la legi 1 inc o q1:1,2 se .C. onsideraba:t o's en testl j nortio:, antej. e1.1.0,ou'se WayS -anctMeanS'Corrunittée'(dornIté"de nTaneras y signIticádos de la caSa): ÑC•ijObs: tante, los op. Ositores á lalégislaérón éSiirnaron a los rrperimnentadoresi COrriO defert sores reforrnas, proOueStás> al -bjerlestar' sociI y prestonaiorir--.1a.General Accountin§OffiCe-(Qticina,de Ontabtlid,_n,c1 g rural) - pára gue efeetuara,Unianálisis crítieó-rdel'éPeliner 'litO; irieluida 'Unáth e-t >vi¿jaciórt'aCéjitárdil.lOá.'clatoS'OrigiViále - , „ los reentn35isras.con 1 ujetos experimentalessj:., •
.res sé:coryilíilai. C5i,i;iy ,. -Présentarórt pr,.j .-Ju raciam
n
Es f ritn-77t tol
I 'Ara,i,mac P",
'a.15rk.
Fair, TfiP Nety it i.ágs 4 5'
y
Inc,rit•
otrcS•éConbrnistási-riláTlibjerales. .
..atractiVOJ > 'cle'algáriOs' álljkalés: -Prógrántáá...lf• ;'0V&s• .In's-•, e. Zito. JDébido. . •que no . . .gui.ó, la „aprobáción,,pOlítita,:,,e1 equipp de, la-oro busc6 rnaneras d'prbducir ¿onírin¿érité,'evidericia'de • ,.,.... . , _ - - sn-•factibilidad., En 1 C_) b 'y 1967, se enüiarorr nun-Jerósós planes.de.la ..:0EQ,para-eornenzar pru t Liás de->"C. .árn-po , ácerca‘j.de lOs-diiid"sos.,plárieS`idel>,,iñnpilestb Ingreso. 1.111án rriáS > atráctivO'fue , enviádo pof Mathernatica, una erttpresa09 . 1r.inT , - ce.ton,- 1\f-tib:ra-:-Jerlesr. , ffil-InciarjestkiSrnbeiliciOn, Sargent.':$ ,. .hliver;'•dtrector >. déj11.0E0, éltába-indecikde, _ preSrar:íart §-r:an a0da. á'ea'étripresaJinsisrtó e. n[gLiejel"pro. Yeétose realizartiajó ' - la -jreSPOnsjabilidadj.látj tnCIPal - d' el " InStitnte for ' Re,earchj on Po y erty dristitutó'de I,, in's;iestigáéféin'S'obre`-.1alSóbrei`aj de lá'UniverSic1,-Jd de Wisconsin corno prirner.co,ntratado:y Máthernaticázcomo > subeOntratado. A.j rn-ediadós-dejl.96,7,se,-firrnáron:los:corittd.tos › se consu nlier-on 141rneses..en.,;,,.•
el cliseñó del.estudio, el cual se-ideó cc>rno . un experirnentó cori j üleatbribS en el qiie-los'ia'ago5 ;negátivoS,del,irnpueSto sOre el , ingres9..variaáfissis- •-• , iernáti¿ari'leñie'eri'doS,dirneriSionel-S :21a , gáraritláldé.'iiidreSb rnírl'irrWli;165.6ziejjia: jes`cle_jirríptieSTO:allicabler-Désdkelotqñáikle,-.19613.1-iásta oágo-s,-„ dierón á.f,"fartnliasjériTgrirpos',¿Zier-tinentales,. = Y 1.61f Ofu—IS-61'. taiít'd. eXpneriJ1•_. J2ntrevistas mentales rinnuciu•jaruent„ p.or _, corno cc.ntrol _ •.-•:-. • • personales Dluante todo el espe lunento ocurriel on 5 lOOeventos (11.11: muestran raccic,nes entre los eventoS, p-olítiqbs y la reálización dela actividácIl.ev'áluati nid'El---'
prun„er evento tue 14P cl-un bi9i eri la:políitc • de1bierteStarsocial--en -ebEstadc? d..e:Nue. J é r;'eSi.:71.e`r.é.S. có i ó va _ 'jíláCó 'Clejr>ties'd . cornpub sitiO párCi0;debido á ,. quela, riólítit&de.biénestár.s(pcial actualsólo,abarca-,;b#,'"ájá.p:pládiés'de3fámiliábájólalAIDC:;.(Aiiitó.' Fmiliesvith Dependent.Children farriiliaseón hijos ‘ dependientes-,7 )..Er.¿an-lb:b.tórnó_a las familiás.con cle:biénéStaf:'-'j Nueva .‹.1,2rse.1,7corup j , Ptivas j cjón algunqs,planes, menos generosos.:,--, Nneva--Jerse9,-c'reóiótrób-•pr'obterna::•Lbs:Of El „.. , . .„,.. • .oeieS de:bienestar so¿JiaLlóc.alés se,p,reoeuparon reicir
Cabe hacer dos advertencias. Primera, el análisis que sigue proporciona una perspectiva ideal de las relaciones entre las actividades evaluativas y la planificación, el desarrollo y la ejecución de los programas; supone que existe un acuerdo formal entre las partes participantes para efectuar la ejecución en el orden en que se hará. El lector debe notar que la tarea actual de ubicación y sus secuencias varían marcadamente dentro y entre las áreas de servicios humanos. Segunda, existe una amplia variación en los arreglos organizativos. En un extremo, el evaluador puede hacer su trabajo casi por completo independientemente, o bien puede programar o planificar al personal. En el otro extremo, el mismo grupo de personas es responsable de la planeación, el diseño, la ejecución y la evaluación del programa. Es muy raro que el programa qUede tan bien planeado, diseñado y ejecutado, que el evaluador disponga de tiempo para concentrarse sólo en lo que se puede concebir específicamente como las tareas de evaluación técnica. El trabajo del evaluador suele incluir su: participación, sea parcial o total, en las actividades que idealmente deben proceder del esfuerzo evaluativo, o por lo menos deben ser responsabilidad de otros. De hecho, algunos evaluadores argumentan que esta participación, en un proceso mayor, es una gran contribución al esfuerzo evaluativo (Wholey, 1979). Es esencial contar con una orden compartida para diseñar y tomar programas, de tal manera que maximicen la probabilidad de una evaluación rigurosa. Apoyar estas actividades es uno de los objetivos de este capítulo. PLANIFICACIÓN DE LAS EVALUACIONES DE LOS PROGRAMAS INNOVADORES El proceso de planificación incluye identificar las metas de los gastos de la organización y del inicio de la intervención, valorar la extensión en que las actuales condiciones se desvían de aquellas metas, y desarrollar una infraestructura
44
45
CAP. 2. CÓMO INTEGRAR LAS EVALUACIONES
general o estrategia para lograr las metas deseadas al modificar las condiciones o el comportamiento. Lo segundo requiere especificar los recursos humanos necesarios, así como los recursos financieros, designar las responsabilidades individuales para obtener las actividades de la intervención, y establecer un horario para llenar los objetivos de la reunión. La planificación se considera un deseo de reducir el vacío entre las metas y la realidad; no obstante, en algunos casos la meta puede ser mantener el statu quo para afrontar el deterioro anticipado. El diseño de todas las evaluaciones tiene cualidades genéricas similares. Aunque en la sección siguiente se examinan estas características en relación con los programas innovadores, muchas de ellas son aplicables a las secciones subsecuentes en la evaluación de programas establecidos y en su depuración.
lnve_sttgaciOWS al respecto r velanque et p;cogr9ma s feer1 f es Inmane- jable," j-1;íque n rerine UT10 o más cle los'treritehos, - ,Aunquecada programa fecieral pres-enta di y ersosobjetl y os, &tosgeneralmen. te ha'n definido e ncargados (políticos y administrádoresdelV},,ióátárna)--, - , de mane'ra gire progresenhacia objetl y os quesep,tle'dary'lite.,.seaniítiplotigntes 'para apoyar las presuncidnes de_l programa prob jW0:- U4. 1):0:01rarflátSfáh 5114;;;J.cientemente : definidos Párz-1 ap-Oyarlos, -modo que se logren obleti y os esPecífico's-telatitiOs alasrnetaS irnplicadas-len , 1129iSlación autori2ádá --, En ' táleS proliáM-ái;ttliquler actiVidadiealizada tienl? - ,,• , • . „ ,ser sinónimo de los -objeti y ós; esto es;desdelá perspecttva,,-adrnintstrativa„ , , efectos Intentados se logán cuando las 4. tiViclades del prográma se realtzan_inde . • pendientenierde cie los réultadosdei , prograrna ode la repercUsióri subse'ciíentl' - Y10 los
•
lós,-,probternas afrontaclOpor,
Cómo establecer las metas e identificar los objetivos
t Tainadu, de Na..1; et .ci Yo.0 -"1 1.42 _ Tch ” Then I t _ M dtt "'' ,WIthlWay yuo Go",- én CIC„Abt (chi'.), The EVUILIUtiOn of .Soctal ProlnarpsSpgre POlicati.ortS, bi,verlg
Los programas de intervención social se pueden diseñar sólo en relación con una meta. Para propósitos evaluativos, establecer las metas debe permitir operar con los resultados deseados, una aclaración que especifique la condición por negociar con un criterio de éxito establecido. Los autores y otros investigadores evaluativos se refieren a estas condiciones operacionales como los objetivos. La distinción entre metas y objetivos operacionales es vital: muchos programas, sobre todo aquellos con grandes poblaciones objeto o con efectos lejanos por alcanzar, inicialmente establecen sus metas en términos amplios y vagos; por ejemplo, cada año los componentes de los departamentos del gobierno federal, como el Department of Health and Human Service (Departamento de Salud y Servicios Humanos), disponen "planes futuros" o papeles estratégicos a sus secretarías con metas que reflejen las aspiraciones de su departamento. A menos que esas metas funcionen en objetivos específicos, es improbable que se trace un plan y se trabaje para lograrlas (véase el anexo 2.2). Anexo 2.2. Sino le importa dónde lo consí u ' entonces no importa hacia dónde va Para gue un PrOgrama logré loobjetives, debe s,atIfIt'er los ciiterios 1 , „ Q I ós objetivos rnedibWs , se hayan , esPecificaolo; es decir, gue los encargadbs del prágrama, cgmo los polífieCil y los nclministradores del p'toorarna, hayan COnYenido con los objeti y ós nin'edibles, incluida cualquier . medida necesaria a los costos y la ,s acti yida44,-del piograma, a los resultados intentados a la irifluenOia , Intentada izril-problerrias afroniado's por el prograrna. ,2, 0,'„ ue e,ist-an presunclonlirobables relacionacins orn la aplicación de los ,. recursos a las actividades:del .progr-ama, cOn'lá_'ae,tlyidades del prograrna pnra intentar resultados i íón los resultadólidéVbferarna'rdspdcto delos objetivos de éste— 3. Los encargadps de.1 programa deben tener la motiVacIón,labilidad v autort• '-' ' -• dacl par:a.adMiniSlrarlos, ue
•
.
•
,
Se teconoce que algunpsprogramas, • puoden sér..inás o rnenos rnanejables;de_ actici do con':Iá.extensión'en jiue se satistaeén o no,los tres criterios antriores. Las .
97 MS
•
-
•-
'
El logro de un objetivo absoluto requiere que una condición indeseable se elimine totalmente o que una deseable sea atendida por todos. Un objetivo absoluto en el área de la salud podría ser inmunizar a todas las personas de enfermedades como la tosferina. Los educadores abogarían por otro objetivo absoluto, como la eliminación de los iletrados. Los objetivos relativos establecen estándares de los logros es términos de mejorar de algún modo las condiciones que existen en algún punto en el tiempo; por ejemplo reducir en 50% la gonorrea como enfermedad del aparato sexual podría ser un objetivo relativo. La contraparte relativa del ejemplo educativo anterior podría ser reducir en 75% el número de personas con menos del sexto grado de educación. Evidentemente, establecer metas y objetivos específicos requiere suposiciones o conocimientos acerca de los dos aspectos fundamentales de la situación social: los valores y las condiciones existentes. La meta de lograr la inmunización refleja ciertos valores básicos que favorecen la salud y los rangos de mortalidad bajos. La meta para eliminar el analfabetismo supone la importancia de las tareas educativas en la participación productiva del sistema económico. Ambas metas, como cualesquiera otras, están basadas en la suposición de que hay campo para el mejoramiento; es decir, que hay una discrepancia entre las condiciones actuales y las especificadas por las metas. Aunque una deficiencia se puede reconocer con facilidad, se requiere valorar refinadamente la situación empírica, antes de que se puedan formular las metas y los objetivos y planear los programas para lograrlos. Los procedimientos para diagnosticar los problemas sociales se estudian en el capítulo 3. Una vez que las estimaciones refinadas de las condiciones existentes se han obtenido, las metas y los objetivos deben modificarse. Esto puede ser necesario debido a las condiciones externas referentes a la población objeto o al problema objetivo; por ejemplo, los diseñadores de programas pueden comenzar con el objetivo absoluto de eliminar el hábito de fumar, pero encuentran que la testaruda resistencia de los adictos al cigarro necesita el objetivo relativo de reducir el número de fumadores en algún porcentaje específico.
46
CAP. 2. CóMO INTEGRAR LAS EVALUACIONES
47
La modificación de las metas y los objetivos puede también resultar de las condiciones que intervienen en el esfuerzo; por ejemplo, es esencial que el evaluador, los diseñadores, el equipo de trabajo y los patrocinadores convengan en los criterios que se emplearán para valorar si se han logrado o no los objetivos. Si un programa casero se evalúa parcialmente, de acuerdo con cierta morbilidad, las medidas específicas de ésta (como el número de inasistencias al trabajo o a la escuela debidas a enfermedad) tienen que basarse en los indicadores del resultado. Al fallar en este acuerdo, la evaluacíón se puede afrontar como un conflicto rencoroso entre el evaluador y los diseñadores, el equipo y las políticas proyectados, cuando se presenten los resultados de la evaluación. Algunas veces, si se dispone de recursos adecuados, la solución es incluir múltiples criterios que reflejen los intereses de cada parte que interviene. Otra solución es formar objetivos en adición a aquellos que proponen los evaluados, con base en los puntos de vista comunes, así como, en las teorías relativas, el campo sustantivo apropiado (Chen y Rossi, 1980). De lo anterior se infiere que una tarea inicial del evaluador es trabajar con los diseñadores, los administradores del proyecto y los patrocinadores para transformar los objetivos ambiguos o contradictorios en declaraciones claras, congruentes y operativas. Cuanto más cercanos estén los objetivos a los resultados, de manera que se puedan medir directamente, más probable será que resulte una evaluación competente. En el anexo 2.3 se muestran las reglas útiles para especificar los objetivos. Algunas reglas para espcificar bbjetivos Anexo. •23.
...cuatro técnicas son particularrnente útil, para decrIbIr objetivos,
Velltdi0-
Verbos fuertes;-b) estableeer sólo un próPósitO u objetivO; c)'esbecificar un selP resultadp:ó.procludo final;y d).eSpecifiear ei,tiérritie . éperadp -pará-el lógro
sos: .á)ju. sar
férence Manúdi, Wasbingion,D. C.', 1975, Department of Fksltli. Educa tión and'Welfare, Office.'of-Hurnan DevelopMent).
' Un verbo : "Juerte"'es tiria . aceión orientadá'éri forma cle vc-Tho que describe un coniportamientdibbseliable o;rnedible que ociirriráj por ejemPlo, ,uso . dé los maieriales ,:de.;eduCación una declaráPión.cle,áCción orientada gúée1. CompOr-farniéntó, En cOnti-aste, "Prornover , _ .obseniable: -rná.yor uso de los Matetialés educattyós para la salud" es una declaración más débil y Menos específiea. El térmirío,pr9rriotier se -presta a .rnitchas-,interpretaciones. EjemPlOS.dé Verbos itiertes inéluYe éscribii- reurnr, encontr'ar, . . . de' aCción.Orientada InCrérriéritar y firrriar; rnienita5 -qué ejetriptos-rde YeibiE;:s rio específicOs y dábilés son cnr.prénder, estimular, elevar y prornouer. ',.U. na segunda suglypryekalirtibpara describir'un : .objenvo':.0aro, esestablecer un sob. .:bldhéd:op'roP6110:»IlieSdell116,: rnüchos prPgráinálliendrari,obje061-mtilti--ples, Pere err cádá objetivo sólo, deb delinearse un únieo:proj56ájtO. Un-Objetivo .gue establece dos o más propósitos o re ultados deseadOs puedei'équerir diférente ejénición y estrategil';dé-OloiaPiól; así Porno clifiCialtarétlógro de los objetlyós: por-..eiempi t,: -esfeblee.e?a emb i..a. 7 . 1a.g).W40.. de . trés. -claset .:P..i.'énatalel'ParáM. .ujezn raZadáS-iiique proporCiária-'1eCiP1--de tranSPortáción para-a. Cortiodar.25 nitije‘rs . por e,ue nr re dificultIdes Erte objétivo contieng dos_propósitos: pnvorctonar
clases prel ttanspor'te.Si cm propósitó::ecáiini.1.4d41, n 9 el,otrp. ¿en , que e).cten.sión . se cumplirá el objetivo?"Es.mejOieStablePér un córno "cornenar it'es clAes:Pré:natales para /nujers preñadas - o "propo l c,,n, I r o o de tr,insporte a 25 nuOeres ernbara/.adas pár claSe Especificar uri o pr,,itdcto es la tercer técnica que contribuye a lograrobjetiVOs ,,enta i osos ; P or e i áTl P 10 , -éstab lecer la declaración "Comenzar tres craleS -.Prénatales para mujeres e-mbarazadas mediante un'subcontrato con el City Mernorial : HOspitalOiespital memciriar-citadinor connene dos resultados: las tres Subcontrato. Es mejor establecer'estos objovoliseparadarnente, sobre todo Por- ive uno es un objetiV.6-de rriaYOr orden (cornert:lárlies clases prenatales), ek:cual.depende. yiarcialmente de Li con-IpIctación de un objetivo cle segundo orden
(e.talileCer , .nri-Subcoritrato).
. , Un objetivO claramente a ,:cr n to puée-lé contener un propbsito stngular y un resulta.do.p. -predu.cto., fipal; por.ejernplo,,la dedáración ", Eltablecer_cornúnicáción Healt. t.i;50ern1 'Age Age riciá en-Silternas de Saltid)"indica el propósito pero no el'resUltado firial deSeado. .¿Clué contribuye a eviclenciar la coinunicación: liarnadas telefóniPas, reúniones o inforines? No espPcificar un producto finál cvidente dificulta extremadarnente la valoración, Lo anversoeSequivalente cierto, o sea, pueden existir declaráciones que especifigüen . urt..PredlictO . fiñát pero no un objetivo o PrOpóSito. "Rernitir todos ios extractos descargados menslialmente a la Corntnission of.Prófesiónal and Hospital Activities Iço.misión de actiVidade.s profesionales y hospitálarlásr esun ejemple de una declaiación'con un produetó:finaL , Peró sin.proPó. lito. El proPósito puede serrinejorar Ia4 declaracieries ..del eqUipo Médico, y . la adrninistracióh 0, rne io : la PálidadAel.citidadó médico , pero río- és evidente que rerrntir las extracciones-ra arnplir. I . estos objetivos, ni los objetivos-se Pnedén valorar sin un propósitO o . declaraCión Clé . unarinanera acertada: . . Quienes . escriben y evalúan objetivos deben tener en cúenta,Clos euestionés: a)--¿p6dría alguien ciite'lee el Objetívo, cón o sin conocimientPdetprograma hallar el mismo p ropostto corrió el primero'i tentado 9 b) está-presente come eviden - cia de eue los Ubjetivos se han .CUmplidó? Los pi'dpósitos deScribenlo qué se hará, mientras que el resultado o prOducto .deséribé las evidencias que existirára de lo que se ha fiecho, o sea, as. gurarse lector "conoce uno cilándo. ve uno". especificar.eltiernpo esperado para lograr el otjetivo La ieclaraci6n.dé..-`.'Establecer una - clíniCa • tari--Prónto corno sea posible" no será un bjetivo. a la vaguedad de tan "pronto como sea posible". Es niás útil e;. PéCifiCar.la - feeba. .9,: .en cas. ó. s en. .que . exista duc.r. lírla re: oporción cle fechas. por emplo, `.tín ttia entie maríCil. inatz&-3.0". nn !,,1 5Lep ('
Louic
1,11 5, r.`.1r.
igs 21,
I r )1
R1 ,1-131, -Ht,ft.
P.,Impreso
I
Evuduci(1,,ri T11:
Elut,rt:ac!Cm
Procedimientos formales Existe un número de medios formales para establecer los objetívos, cuyos detalles técnicos son el tema del presente libro. Un procedimiento muy conocido en el campo evaluativo es la decisión del enfoque teorético (Edwards et al., 1975), el cual permite la explicación formal y la categorización de los objetivos
48
CAP. 2. COMO INTEGRAR LAS EVALUACIONES
de los diversos grupos. Cada grupo, primero define y categoriza sus objetivos, además de dar información de aquellos que considera más importantes. Luego, mediante un conjunto de procedimientos conocidos como estadística bayesiana, los objetivos escogidos se analizan y reportan a los grupos. Con base en esto, se reordenan las prioridades. El proceso de dar información, vincular los objetivos con las inferencias y reordenar los objetivos continúa hasta que los grupos Ilegan a una solución en la cual se tienen en cuenta los diversos puntos de vista. Este enfoque es particularmente útil cuando los evaluadores manejan puntos de vista conflictivos y agudos, y los fondos de objetivos potenciales apoyan la reconciliación informal. Otro enfoque formal —valorar la evaluabilidad — busca producir evaluaciones con una utilidad potencial básica. Aunque la valoración de la evaluabilidad es aplicable a todas las evaluaciones, incluidas aquellas que se realizan para programas innovadores, se realiza más a menudo en relación con programas establecidos; por tanto, se estudiará más adelante en otra sección de este capítulo. Escala para el logro de metas Aunque muchas evaluaciones cuentan con declaración de objetivos, que incluyen cambios en las medidas de los grupos objeto, la escala para obtener metas permite reunir las metas en unidades individuales dentro de la población objeto. El resultado se puede resurnir con el fin de dar una estimación compuesta de la repercuslón del programa (Kiresuk, 1973). En este enfoque se usan más medidas relativas que absolutas, una idea que ya se ha estudiado; por ejemplo, en un programa de tratamiento contra el alcohol se emplea el número de días de cada tres meses de ausencia en el trabajo como un criterio de resultado. En el caso del trabajador A, quien es inicialmente un "bebedor de fin de semana", la meta puede ser reducir el número de días por trimestre de 12 a cuatro. Para el trabajador B, quien es un "bebedor exagerado", la meta puede ser reducir el número de días de 12 a ocho. También se pueden diseñar los objetivos para la entrega de sistemas; por ejemplo, la frecuencia con que se pierden las citas para terapias se puede individualizar como en el ejemplo anterior. El evaluador puede calcular luego las anotaciones diferentes y examinar las estimaciones individuales para obtener un resultado compuesto. Las expectativas de la obtención de metas se pueden basar en el punto de vista de los practicantes, ya sea de los propuestos, de los externos o una combinación de ambos. Como la escala para el logro de metas tiene utilidad evaluativa en varias áreas, (enire otras las psicoterapéutica y la de la educación especial), también tiene sus limítaciones. Primero, consume mucho tiempo y es costosa para estudios a largo plazo o en los que se incluyen muchos objetivos. Segundo, se contrapone a los enfoques de las intervenciones de muchos programas relacionados con los resultados congruentes para la población objeto. Tercero, dicha escala puede dar por resultado objetivos deprimidos; por ejemplo, en una clínica, para reducir peso se diseñó un objetivo con el fin de hacer perder 2.5 Kg a un paciente que tenía un sobrepeso de 15 Kg, de tal manera que éste tuvo un "éxito" reducido con un mínimo esfuerzo. Sin embargo, independientemente de tales precauciones, este método sigue siendo atractivo para algunas evaluaciones.
49 Diseño y desarrollo del programa En algunos ejemplos, los evaluadores toman la pauta al diseñar y desarrollar los programas que evalúan; no obstante, esta tarea suele ser responsabilidad de los diseñadores del programa: son encargados por los patrocinadores del programa o por los ejecutivos de la fundación y los legisladores. Sin considerar quién efectúe el trabajo y para realizar una evaluación exitosa, se requiere tener en cuenta ambos aspectos: el del convenio de objetivos y el de la descripción detallada de cómo se lograrán. La susencia de un mode/o de repercusión bien detallado limita severamente las oportunidades para controlar la calidad y efectividad de un programa (Freeman y Sherwood, 1970). Por analogía, el paquete de la información de la computadora (software) no es útil si no ha sido documentado adecuadamente. Aun cuando un programa sea exitoso en su entrega de servicios y en el logro de los objetivos para el que se estableció, sin un modelo de repercusión explícito no hay base para comprender cómo y por qué funciona, o para reproducir sus esfuerzos en una escala mayor, en otros sitios o con otras poblaciones. Si no hay modelos de repercusión (o sólo existe uno incompleto), cuando una evaluación se emprende el evaluador debe inducir al equipo de trabajo del programa o a los patrocinadores a crear uno o efectuar este trabajo él mismo. Elementos del modelo de repercusión Una intervención o modelo de repercusión es un intento por trasladar las nociones relativas a la regulación, la modificación y el control del comportamiento social o de las condiciones de la comunidad, en hipótesis sobre las cuales se pueda basar la acción. Son raros los modelos explicados completamente. A menudo, el "modelo" de la intervención consiste en las presunciones que destacan el funcionamiento del programa. Estas presunciones pueden haber sido diseñadas con base en estudios previos (realizados en muestras pequeñas o en otras localidades) o pueden tener bases deficientes o no empíricas, ideadas en vez de los procedimientos no probados, en los cuales se han basado los practicantes. El modelo de repercusión toma la forma de una declaración acerca de las relaciones esperadas entre un programa y sus metas: establece sucesívamente la estrategia para Ilenar el vacío entre el establecimiento de metas durante el proceso de planeación y el comportamiento o condición existente. Dicho modelo debe contener una hipótesis causal, una hipótesis acerca de la intervención y una hipótesis de la acción. Hipótesis causal. En la esencia de cualquier modelo de repercusión se encuentra una hipótesis acerca de la influencia de uno o más procesos o determinantes del comportamiento o condición que el programa busca modificar. Aunque existen muchas maneras de pensar acerca de las causas, una simple idea de causa es suficiente; por ejemplo, numerosos científicos sociales creen que carecer de empleo entre los ex reclusos, después de un cargo de felonía, resulta en un regreso el delito (reincidir). Múltiples investigadores (Irwin, 1970) afirman que si el prisionero liberado es incapaz de encontrar un empleo legítimo, buscará probablemente modos ilegales de obtener ingresos.
50
• 1! 1'
.1i
1 "I
CAP. 2. CóMO INTEGRAR LAS EVALUACIONES
En este caso, la hipótesis causal podría ser que reincidír es resultado del desempleo; pero, para ser práctico, todas las hipótesis, incluidas las causales, se tienen que establecer de tal manera que permitan hacer pruebas o medidas. Éste es el proceso de operacionalidad. Para operacionalizar las hipótesis, el evaluador puede establecer que el rearresto por delitos es más probable entre prisioneros liberados, los cuales tengan mínimas calificaciones vocacionales o que encuentren mercados de trabajo relativamente pobres. Cabe hacer notar que esta forrnulación no es la única que parece congruente con la hipótesis causal. La reincidencia se puede medir con base en si una persona es convicta de felonía o no; las calificaciones vocacionales pueden significar la historia previa de contratación, el entrenamiento vocacional mientras se está en prisión, o las calificaciones en varias pruebas de aptitud, y el mercado comunítario de empleos se puede medir por la lista de vacantes que emiten las agencías de empleo, por el nivel medido de desempleo en la comunidad, etc. El punto de apoyo importante es que reincidir, las calificaciones para el empleo y las oportunidades para obtenerlo se tienen que medir en la evaluación de cualquier programa diseñado para reducir la reincidencia entre los prisioneros. Por tanto, parte de la tarea de diseñar un modelo de repercusión consiste en especificar las variables causales en términos operacionales medibles. Hipótesis de interuención. Esta hipótesis es una declaración que especifica la relación existente entre un programa, lo que se hará y el proceso o determinante vinculados en la hipótesis causal con el comportamiento o condición que se reducirá o cambiará. En el ejemplo del control de la reincidencia, la hipótesis de intervención podría ser que el empleado ex convicto está relacionado con la terminación exitosa del entrenamiento de un programa vocacional. De esta manera, el modelo de repercusión para reducir la reincidencia podría establecer la hipótesis de intervención de que dar entrenamiento vocacional a prisioneros liberados permite reducir la reincidencia. Otras hipótesis de intervención son congruentes también con la hipótesis causal. Una hipótesis de intervención que da oportunidades de empleo directamente, mediante alguien que motive a los empleadores a contratar a prisioneros liberados (quizá por medio de subsidio a los impuestos), podría ser una opción del entrenamiento vocacional. También sería una hipótesis de intervención la que destaque la asistencia para buscar trabajo a prisioneros liberados. De hecho, una agencia que trate de diseñar un programa efectivo para reducir la reincidencia puede considerar los trel - enfoques separadamente y en combinación para diseriar un programa de intervención más eficaz y efectivo. Hipótesis de acción. Se requiere este tercer tipo de hipótesis, que permita evaluar si la intervención, aun en el caso en que conlleve un cambío deseado de la variable causal, está necesariamente unida a los resultados, esto es, al comportamiento o condición que se busca modificar. Esta tercera hipótesis es necesaria porque, aun cuando un cambio natural en las condiciones existentes puede causar una serie deseable de eventos, la inclusión de este cambio por medio de una intervención puede no resultar en el mismo proceso social o de comportamiento natural. Una acción se puede planear y realizar como una intervención, pero las condiciones deben ser diferentes de cuando tales acciones ocurren "generalmente". De esta manera, la competencia que resulta del entrenamiento vocacional puede no ser la misma que aquella que resulta de aprender lo que sucede durante
PLANIFICACION DE LAS EVALUACIONES
51
las experiencias de trabajo regular; por ejemplo, los ex convictos que han llevado cursos de entrenamiento vocacional pueden no cumplir con el rango de calificaciones requerido por los empleadores o estimarse que no lo poseen. La importancia de la hipótesis de acción se puede considerar como una parte interesante de la investigación reálizada desde hace varios años acerca del decremento de la discriminación racial en los empleos (Festinger, 1964). Los enlaces causales estaban presumiblemente entre: a) la comprensión y el conocimiento de los negros; b) los prejuicios, y c) la discriminación. Al respecto, se ideó un programa por administradores de empleos para incrementar su comprensión y conocimiento acerca de la raza negra, de manera que se redujeran sus prejuicios. El resultado raro del programa fue que los administradores de empleo cuyas actividades cambiaron se convirtieron en sujetos más discriminatorios que antes. Para explicar este resultado, Festinger argumentó que la disponibilidad de nueva información permitió polarizar el . cornportamiento. En otras palabras, el enfrentamiento que provocó el programa, hizo imposible para los administradores continuar comportándose como lo habían hecho. Por tanto, mientras que algunos de ellos se volvieron menos discriminantes, otros incrementaron esta actitud al realizar sus prácticas de empleo: Ni los hallazgos del estudio, ni la explicación de Festinger invalidan las relaciones causales que existen en el curso normal de la socialización. Aun cuando los cambios ocurriesen en un ambiente natural, no se podría inducirlos; sin embargo, la hipótesis de acción es tan importante como las otras hipótesis en las investigaciones eváluativas y se debe estudiar empíricamente. Fuentes de hipótesis. Idealmente, las hipótesis en las que se basan los modelos de repercusión se derivan de los estudios experimentales que permiten hacer inferencias causales, de teorías bien diseñadas o de ambos. En la actualidad, los estudios causales y las teorías del comportamiento social y del proceso social diseñadas con lógica son escasas. Muchosmodelos de repercusión se derivan de impresiones clínicas o de asociaciones estadísticas entre las variables independientes (presumiblemente causales) y las medidas dependientes (o resultados). El estado de desarrollo en el campo y el conocimiento de los resultados de otros programas de acción son determinantes de las fuentes de hipótesis. Desde luego, los programas exitosos en la entrega de servicios y en sus resultados son más probables cuando def inen razonablemente el conocimiento disponible para diseñar un modelo de repercusión. Manipulabilidad y factibilidad
Los modelos de repercusión se basan en la presunción de que las váriables relacionadas con el fenómeno que se modificará son susceptibles de manipulación. Primero, el modelo de intervención debe especificar las variables de intervención que son acciones adecuadas para la población objeto, es decir, las intervenciones que puedan afectar a los objetivos directa o indirectamente. La manipulabilidad se impide cuando existe una condición indeseable, debida a que el objeto se vincula a esa condición de una manera particular en el momento en que se produce la intervención. Éste es el caso, aparentemente, en el área de la realización educativa. Evidentemente, mucha de la variaCión en la actitud de los estudiantes de nivel medio, por ejemplo, no está en función primor-
52
PLANIFICACIÓN DE LAS EVALUACIONES
CAP. 2. CóMO INTEGRAR LAS EVALUACIONES
dial de lo que le sucede en la escuela; en vez de ello, se debe principalmente a la influencia de sus familiares y el ambiente social anterior (Sewell y Hauser, 1975). Si se detecta una asimilación deficiente, se prestaría a que hubiera cualquier intervención cuando los estudiantes son más jóvenes, aun "sacrificando" a los niños de edad secundaria. Desde luego, el enfoque de un programa se debe hacer en las variables, que sean manipulables y que tengan un tiempo adecuado para manipularlas. Segundo, se debe evitar seleccionar intervenciones con poca factibilidad. La baja factibilidad se puede deber a la aceptación del programa por los patrocinadores, los sujetos objeto y otros evaluados, los valores ideológicos y los imperativos de la vida comunitaria, o al riesgo de que ocurran efectos colaterales no deseados. Por ejemplo, en un programa diseñado para reducir la contaminación del aire, ciertas condiciones (como la cantidad de humo emitido por los automóviles) se pueden considerar manipulables; otras (como la reducción de descargas de la industria contaminante) se pueden identificar como no tan manipulables debido quizá a la carencia de técnicas científicas para reducir las descargas de humo o la indisposición de la industria para pagar los costos. Los imperativos ideológicos y políticos se pueden ejemplificar con otro problema. Se ha encontrado que la clase social está correlacionada con las enfermedades mentales, pero un cambio revolucionario en la estructura económica estadounidense es difícil, una intervención que se podría atribuir a un político típico. Los efectos colaterales pueden resultar del uso de grabadoras telefónicas para identificar a ciertos delincuentes como los apostadores profesionales. Dado que en la grabación se necesita incluir las cintas de gente inocente y de la inculpada, su uso significa una invasión de la privacía, un efecto colateral militante , contra este género de intervenciones. Entonces, tanto los evaluadores como los patrocinadores y el equipo de trabajo necesitan diseñar modelos de repercusión que sean sensibles a la manipulabilidad. Dichas personas deben estar preocupadas por el espacio político, por el cual se entiende la congeniabilidad entre las acciones de la intervención que se deben tomar y la factibilidad de la ejecución en términos de los intereses, sus finalidades y los puntos de vista de los evaluados, en los que se incluyen los sujetos objeto. Selección de poblaciones objeto Debe quedar claro que existe una acción entre la selección de la población objeto y el diseño del modelo de repercusión. De alguna manera, la distinción entre ambas tareas es artificial. El modelo de repercusión debe incluir un conjunto de hipótesis acerca de la plausibilidad de un evento que precede a otro. Tales hipótesis se basan en las predicciones respecto de las características de una población objeto relacionada con la intervención. Al considerar la selección de una población objeto el investigador debe tener cuidado de que frecuentemente se desea distinguir entre el grupo que estará sujeto de inmediato a intervención (el objeto directo) y la población total que requiere eventualmente intervención (los objetos indirectos). Algunos modelos de repercusión implican tales distinciones; por ejemplo, cuando el problema consiste en incrementar el ingreso de los desempleados. El gobierno había aumentado los
53
pagos de los desempleados, los objetos directo e indirecto eran los mismos: aqueIlas personas sin trabajo; sin embargo, el gobierno podía decidir convertir a los empleadores en el objeto directo, al permitirles reducciones especiales a los impuestos, siempre y cuando contrataran trabajadores con un historial de desempleo (quienes son ahora los objetos indirectos). Para predecir el efecto de tal intervención, el evaluador debería tasar los datos de estudios pasados o recolectar nuevos datos, y las relaciones existentes entre ese incentivo del impuesto para los empleadores y el incremento del empleo; una tarea tan importante como predecir la composición de la población objeto, —los trabajadores desempleados— en sus características sociales y psicológicas (para un estudio más detallado de los objetos directos o indirectos, consúltese el capítulo 3). Además, debido a la relación existente entre la manera en que están organizados los programas y su aceptación y uso por las poblaciones objeto, los modelos de repercusión necesitan tener en cuenta la forma en que se organiza un programa en términos de aceptación por parte del objeto. El cambio de la salud constituye un ejemplo útil. Los estudios correlacionados sugieren que la carencia del cuidado prenatal, sobre todo durante los últimos meses del embarazo, está relacionado con los problemas subsecuentes en la salud de la madre y el niño — entre otros, una alta probabilidad de que el niño estará retardado mentalmente. Un subgrupo representativo de una población objeto está constituido por madres solteras, particularmente en áreas con bajos ingresos. La solución viable suele ser muy simple: incrementar los servicios médicos disponibles en las áreas con bajos ingresos, las cuales tienen grandes poblaciones de mujeres jóvenes; sin embargo, esto no necesariamente significará que el incremento de los servicios hará más fácil o incrementará el uso de los servicios médicos para las madres solteras. Escoger una población objeto adecuada es una decisión estratégica. El enfoque del programa debe cambiarse rápidamente si las poblaciones objeto no son lo que originalmente se pensó. Por ello, en el capítulo 3 se verá cómo se deben estimar los objetos. Diseño del sistema de entrega Las intervenciones, no importa cómo se conciban, pueden no ser efectivas y eficaces, a menos que exista un cuidadoso y bien diseñado sistema de entrega. Algunos sistemas de entrega son comparativamente simples, sobre todo cuando los objetos están poco definidos. Proporcionar educación para la salud en los salones de clase es una proposición comparativamente simple. Otros sistemas de entrega son altamente complejos. Los cuidados especiales para la salud de madres prospecto, que experimentan "altos riesgos" en los embarazos, pueden requerir médicos familiares, especialistas en obstetricia y pediatría, hospitales generales y centros especializados en el cuidado infantil. Elementos del sistema de entrega Para documentar y valorar un programa se deben explicar los elementos y criterios de representación diseñados y medidos. Entre los elementos generalmente monitoreados, los cuales se estudiarán en el capítulo 4, están los siguientes:
54
CAP. 2. CCI MO INTEGRAR LAS EVALUACIONES
Identificación del problema y de la población. Provisión de procedimientos y servicios. Las calificaciones y competencia del equipo de trabajo. Los mecanismos para reclutar y obtener la cooperación de la población objeto. Los medios para optimizar el acceso a la intervención, incluidas la localización y las características físicas de los sitios de entrega de servicios. Los esfuerzos de referencia y seguimiento. Por supuesto, cada programa tiene sus propios conjuntos de elementos de entrega de servicios. Aquí será útil un ejemplo. Una enfermedad neurológica infantil, rara pero invariablemente fatal, es la de Tay Sacs,* por lo general transmitida y confinada casi exclusivamente a los judíos con antecedentes en Europa del este. En uno de cada cuatro embarazos en los que cada padre potencial Ileva el gene recesivo del defecto, el niño se verá afectado (los objetos están identificados). Fue diseñada una intervención para prevenir tales embarazos, en la cual se ofrecen análisis sanguíneos (prueba de Tay Sacs) a la población con antecedentes en el este de Europa; los portadores son advertidos de los riesgos que corren al tener relaciones sexuales con otras personas que Ileven el mismo gene; las portadoras embarazadas son aconsejadas para que busquen un diagnóstico evaluativo del bebé en el útero, y en el caso de la existencia de un feto con Tay Sacs, se recomienda médicamente la intervención de un aborto terapéutico (procedimientos y servicios). El programa está bajo la supervisión de un consejero especialista en genética, hay enfermeras para tomar las muestras sanguíneas, y un especialista en publicidad es contratado para seleccionar sujetos objeto. Uno de los esfuerzos de la intervención se realiza cada semestre, en los recintos universitarios, en un lugar conveniente (por ejemplo, la confederación universitaria). Los casos positivos se envían al consejero, el cual se encuentra ubicado en la clínica de la ciudad universitaria (reclutamiento y acceso al sitio). Los estudiantes portadores que no buscan al consejero son contactados tan frecuente y agresivamente como sea posible por su doctor y, una vez identificados, son contactados anualmente por correo para impulsar la prueba también en sus parejas potenciales o comunes (retención del objeto). Además, para valorar los diversos elementos del sistema de entrega se deben recabar datos de los costos, si se tiene que efectuar una evaluación eficaz. Los costos en salarios, el trabajo, las cuotas y la propaganda podrían ser adecuados y aplicables al ejemplo anterior (véase en el capítulo 4 lo relacionado con el monitoreo y en el capítulo 8 lo referente a la eficacia de los estudios). Estudios formatiuos
PLANIFICACIÓN DE LAS EVALUACIONES
nadas con el desarrollo del sistema de entrega, con la selección de objetos y con la estructuración de la intervención. Otras veces son evaluaciones de repercusión míníma realizadas para colectar las estimaciones de la magnitud de la repercusión que se espera con una intervención particular. La necesidad de contar con una evaluación formativa es una razón importante para permitir un tiempo adecuado a la planificación y el diseño del programa. Muchos programas fallan en su fase de diseño para invertir suficientes recursos en esfuerzos formativos. La consecuencia puede afectar la importancia del programa. Las evaluaciones forrnativas pueden incluir la prueba y valoración de un programa, ya sea en uno o pocos sítios, o con una pequeña muestra del objeto antes de la ejecución exhaustiva. Por ejemplo, como parte de la planificación y el diseño del programa Sesame Street (Plaza Sésamo), el equipo de trabajo estaba consciente de cuáles características particulares de la televisión debían ser escogidas como los agentes del mensaje por comunicar. Se realizaron experimentos relativamente sencillos. Los mismos mensajes de aprendizaje se transmitieron en caracterizaciones diferentes y en frecuencias distintas. Los grupos de niños que veían las representaciones en las pantallas de televisión eran evaluados en la variación de su atención a la pantalla. Con base en esto se tomaron decisiones respecto al formato del programa (véase el anexo 2.4). , tP.of4nrgt.r. Anexo 2.4. Investigación format Iva de Plaza Sésamo , Ilna parte Unttórt.aritéde h: Investigación formativa $aliz'ada en año y medlo de planificación dePtaii Sáhinci impllc6 lárnedtelón dela aildiencia, y su atencIón era Ull elemento importante para saber si Plaza Sésarno lograba su audiencía y si la mantenía.Pequelos grupolde : nittós.de¡gclad apropiada y con habilidades cognosútiv.al evidentes fueron seleccionados pata que acudieran a los estudios.del Taller de IsphOs cátveiflii:tillier:prograinaS propOestos y 'Partes de estos CiltIrnos:E1,0i-ogrania ssé Proyectá 'étitttiaparatode teleyisión, 'rrtientras que, sobre unapared radyacente, se proyettaron transparencias en angulo para los nIños. Los observadores obtuyteron una proporción cds 7 5 seaundos de que los niños vefan el programa en vez. de las tr.ánOaréri . CIal, ',Provectablas Lb. s.PródjgVores -pu, dieron pimto en el 'grado de pr obada denItios.De: atericiákqué existia sobre el ptitglámá'ci . párte de'la a..lejítar,:‘ii:r. réChazar versiones de prograrnas, se hicieron 41.eiC0.-delaS 'carattérláticas que Itrajerono n0:1A_atención de las n i net.l.é;OnáilnitatpentldesOeittájacióí:12 investilátóri fOrMátiVa desernpeñó un paiiet,-crüciffl,s:seMplo,1 prcidüCtOtéli al reduclr el rIesgo de que Plaza Sésarrio no ic,,nzada iéle: :.„Jtyla . t 105,0;,Tpe rirít,Ylar-63 Sesame Streml The Formanse ,
En el diseño y desarrollo de muchos programas es útil y frecuentemente necesario efectuar actividades evaluativas durante el diseño de la intervención. Tales actividades pueden ser rnuy simples o tan complejas como las evaluaciones exhaustivas. En algunas ocasiones se dirigen a interrogantes específicas relacioEntermedad congénita caracterizada por retraso mental, ceguera progresiva, parálisis y muerte (N. del E.).
55
- '
En otro ejemplo de un estudio formativo, una porción "típica" de la población objeto se seleccionó para partícipar en un proceso de prueba de la intervención. Este estudio se realízó para estimar el número de poblaciones objeto que podrían
56
57
CAP. 2. COMO INTEGRAR LAS EVALUAC1ONES
utilizar un programa comunitario de salud mental con atención semanal. Se mantuvieron registros cuidadosos de los medios para "seleccionar" sujetos objeto, en la proporción de quienes asistieron al curso de ocho semanas y de quienes desertaron. Se entrevistó a los que abandonaron el curso, con el fin de saber por qué no completaron el programa, para encontrar mejores maneras de reclutar a la población objeto. Por supuesto, los estudios formativos varían en el grado en que son rigurosos y en la complejidad de sus recolecciones de datos y de su análisis; sin embargo, en muchos casos aun los estudios más simples permiten examinar los problemas que afronta la intervención y los medios para resolverlos. Es más, en muchos casos los estudios formativos también permiten probar con anticipación los procedimientos e instrumentos de la evaluación, así como la evaluación misma. Los evaluadores comprometidos en estudios formativos deben participar en el diseño actual y en el esfuerzo de programación, pues el énfasis aquí consiste en incrementar el éxito de los esfuerzos de las intervenciones subsecuentes y de sus evaluaciones. Así, el evaluador se convierte en un defensor y partidario participante de las actividades del programa. Simulaciones del programa A menudo, el tiempo, el costo y otras exigencias impiden realizar estudios formativos en el diseño de actividades innovadoras. En tales casos, el equipo del programa y los evaluadores pueden alternar las simulaciones del programa (véase el anexo 2.5). Las slmulaciones también pueden complementar los esfuerzos formativos. Anexo del paciente
ujo Involuntatio
,
r777 - ""
n segulda de las bastantes ,sóliclas experiencias de éxIto én el aeroespacto, la Ibillcta;:lárcórnputacIón y las decharactóri,es:;de he§ticlo,s; ta tolcnica de la simulálk ti¿n Ppr OOputadora aparec-e lasj'aPlidaelOnes de blenest4.i s6cIaL5Aúnque en los últimos Casos el sisterna rnodelado era rnenosestructurado,y-_ las VarTables cle los .reSultádos eran frecuenternente menos. defintdas, ciones se ernprendían por tazones típicas para la técnica: existía un sistema de variables interrelacionado, completamente, en el sentido de qüelas relaciOrre ehtre los ingresos y los egresos no eran Intuitivamente obvlas, perosídifícileSideenki-, car de manera analítica .„ -S I el siStema s'e pue.d er relresentar de modoactecu-adá en un Modelo, los egresos resultantes del patrón particular de ingresos sepodraneSiimanyL., la información ernpleacla en cu,alquier procesp_dejdecisión es-tará,.~nible:r Ehliano de 197 ,se '1:ecabarb n'claíias cle:1'--riodo--de' pe sePtiembje'de 1974 a abril de:1975Sue permItIeron describir los númerOS de pacie ,ntes de aCtierdo .con la áecIsíión;-, sijas' di'strIbúclohes cle los periodos de ^estancialkir cada `segmento eStanCia:1-6Súj¿tos fueron pacientes que 'ingtesaron e.nd pabellón durante .else datos Prirnarlos fue un sisterna de ,dátOS cornputárizado.de-un pertodoTjLá Centró de salud rñe-rital:, eOinunItario relativO, el Cnal durante eSe tiernPótamÚlén incluía a todos lospaclentes que ingre ,:aban .en el,pabellón psiquiátrico. Datos cionales Se -ohiuvieron del regis'tro"del condado.y bPortaron profesionales''en
salud merital qüe conforMbron el ingreso:inicial,de pacientes.pcitenciales rios. Los clatos colectaRicís incluyen fuentes referenciales internas y dIsposiCión fue ra del pabellón, datos de fechas acerca dé adn'ilsión y, desearga, y fechás de cada addi.r2.ncia Cárnbio de estains inlentrás los paciCntes PerMariecfail en et , Cada paciente fue clasificado de acue, do con su estado por cada díaen el pabe„-donde las categorías de estados fueron de bdmisión voluntaria, converttglas voluntariás (adn-iltidas thyoluntariamente,.per9 rn , ,ás tardese ton y lno en que se corvi o ,cde 90 días , -Dado el tuegO de,CláSifiCacir5n pára. pacientes, se prograrnas de cornputadoras que podrián ,resurtur. las fuentes referenciales y las disposiciones den, = - tro-;,;:fuefra de pábellón,-',. tárabjo, seil-"Yel es- tadolde4-,paciente, frecue,ntlay,tipo.s „d. e 1as audiencias legáles, dIstribuclones de las longitiídes de estancias distribuciones d., nürneros , y'fipoS- de adrnisio,nes, y b da tipd de pacientes: t3s ' ne"CUP3 a Cd El par_ tictuarrnenle 1ción acerca'lli -admisiortes,audiencias y cambios en.et: estatus, Una buena reacción natural cle esos materla Í es hetho7de-,.'que fue "¿Qué pasaría mejore,s versIones delaeuestIónIn'eron: b)¿quéliabría sucedido sI la eornbinációry'de los.Paclentes voluntarios e involuritario's:hublesé'' carnbiadó?:V. b. ) . 4ulliábría'sücedieló si lós jueteS -erhpezaran'a Intfeinentár-odet re..meritaretrailIó en-aüchiCiéton cornprórniIós'en l priinera aüdiencia? Esas res son de interés especial debido a su repercusIón en la cornbinación de paciente voluntariosiinvoluntarios (dado que estdafecta'al pr9gre.ama)'proriredIo clo de estadía y proporción de ernpleo de camas. han,Sidó .de , Talés íSibbierilas importaritia par-litular porqüe,la cg, que representa un cat'nblia,raclical moderado en el próCediriiierito, era aúri'relativaniente nueva, y los mét&lás para responder a ella apenas se habían consolIdador , Un estudio cle simulación pareció ,la rnahera 'apropiacia de dirigir las interrogantes. • ' ' El segundo propósito del estudio de simulacIón fue adquitir alguna . , con'la téenica de sImulación en un esfuério por valorar su utilldad para la évaltia"-: isa. ción 11:1 kograina y les.fUnclope,s,de.lainVQ.spgacI5n
Álgunas simulaciones son altamente cuantitativas y formales, e incorporan modelos complejos elaborados en computadora (incluidos los estudios de eficacia anteriores, examinados en el capítulo 8). En otras se aplican enfoques cualitativos, como en las consecuencias de cada manera de identificar, delimitar y reclutar poblaciones objeto. Asimismo, varios niveles de repercusión son estimados Por programas de intensidades diversas. Finalmente, los evaluadores suelen simular los resultados de estudios de programas similares para que los patrocinadores, los planificadores y los diseñadores puedan confrontar el tipo y la magnitud *de resultados que logren. Mucho del trabajo de simulación que los evaluadores efectúan durante el diseño de un programa y durante toda la evaluación es similar al realizado en todos los estudios de investigaciones; por ejemplo, un anexo comúnmente requerido en los diseños de evaluaciones es un conjunto de "tablas falsas", las cuales muestran lo que los resultados de una evaluación deben parecer y en cuál rango
58
CAP. 2. COMO INTEGRAR LAS EVALUACIONES
de uso y estimación de la repercusión se debe incluir. Las "tablas falsas" deben alertar al equipo de personas, a los patrocinadores y a los evaluadores acerca de si se plantean o no las interrogantes apropiadas para la evaluación, sugerirán las estimaciones razonables de la repercusión y, de este modo, formarán expectativas de acuerdo con la adopción del programa en una base más amplia, o si se continuará apoyando en cualquier nivel. Resumen de las actividades innovadoras de la evaluación Cabe recalcar que el evaluador, al planificar, diseñar y probar los nuevos programas, debe ser capaz de emprender un arnplio rango de actividades. Éstas varían de acuerdo con el tipo de programa puesto en marcha, las exigencias en recursos y políticas y las tareas particulares del equipo del programa y de los grupos evaluativos. En muchas evaluaciones de programas innovadores, el evaluador participará por lo menos en alguna de las tareas examinadas en este capítulo, a saber: Identificar y describir el problema o la preocupación. Operacionalizar los objetivos del programa. Desarrollar un modelo de intervención. Definir una población objeto. Diseriar el sistema de entrega y los procedirnientos para verificarlo. Valorar la repercuslón y estimar la eficacia. EVALUACIÓN DE PROGRAMAS ESTABLECIDOS Mientras que la evaluación de programas innovadores representa una importante actividad para el campo, la mayoría de los recursos de los programas (y, por tanto, de los esfuerzos evaluativos) recae en la valoración de los programas comunes establecidos. Los esfuerzos evaluativos relacionados con programas establecidos son menos evidentes que aquellos vinculados con prograrnas innovadores. Primero, la mayoría los realizan "en casa" equipos asociados con las agencias operantes. Segundo, parte de la evaluación de programas establecidos se relaciona con asuntos administrativos de mantener y mejorar la efectividad del programa. En este sentido, las reglas de campo son diferentes. Los programas establecidos suelen ser una respuesta histórica a preocupaciones sociales; muchos han surgido de esfuerzos tradicionales, permanentes o mejorados, y sus estructuras básicas rara vez son susceptibles de cuestionamiento. El valor de los cosejerosguía en las escuelas, los programas vocacionales para impedidos, la supervisión de la palabra de honor para ex convictos y la educación cornunitaria en la salud para prevenir enfermedades se consideran cuestiones resueltas. El público espera no sólo que esos programas sean vigentes, sino además que involucren a defensores y empleados, y que una proporción significativa de la fuerza de trabajo nacional intervenga en su continuación. Así, las presiones para mantenerlos resultan fuertes.
EVALUACIÓN DE PROGRAMAS
59
Al mismo tiempo, en muchos sectores de recursos humanos existe un escrutinio continuo e intensificado de programas establecidos. Muchos se basan en valores y modelos de intervención que no son adecuados, mientras que otros han perdido sus fundamentos aparentes y sus objetivos. También, como ya se hizo notar, existe una comunidad creciente e inconforme acerca de la proliferación y la redundancia de los programas. El costo en espiral de los programas y las limitaciones incrementadas de los recursos, sobre todo de los fondos públicos, requiere escoger lo que se apoya y su magnitud. En consecuencia, se han planteado interrogantes serias acerca del grado en que el programa funciona eficazmente y se apega a los requerimientos ftscales, legales y operacionales. Finalmente, los distritos electorales y los seguidores de cada prograrna están preocupados por su repercusión y su relación costo-beneficio, en cornparación con los prograrnas con los que compite por patrocinio y financiamiento. Por todas estas razones, los encargados de la política y responsables de ubicar los recursos, los administradores del programa que defienden su puesta en marcha y los grupos de seguidores irnplicados reconocerán la necesidad urgente de evaluar los progrannas establecidos. En el anexo 2.6 se describe el cuestionamiento común de los programas de educación acerca del alcoholismo.
educación 'acerca deralciShol, ¿previene IpCproblemas del aleoholismo? Una premka razonable es que la prevenoón de los problemas de alcoholismo y consumo de drogas entre los jóvenes debería empezar con enseñar entre los , nthos y adolescentes ei conocimientode la realidad acerca de la naturaleza, el co. nsurno, y los éféctos dé.aquellas sastantias que son bbjeto de abuso. No obstante, :eyldenclás-ieelentes sugleren que los programas de educación contra el consumo `de drogaS- tiuf?dn aumentar en vez de disrnInuir las achtudes prociroga y el c.onsurno de"droqas ha incrementado las críticas a los esfuerzos actuales de ectUcaclán contra el aicobol y las drogas y ha permitido a algunos buscar una mórátoria a los enfoques de -preiP encIón pnmaria R e -.pecto dela educación contra el alcohól, este papel examina críticarnente las evidencias acerca de esta falla en la edueaólón como una InedIda preventiva y c.onsidera st una acusaciáncontra empleo cfe , , estos rnE:todos se g¿,trantiza en este tiempo. Adernás, se examin,an varias características nCcesária;s7dé una'prueba'adecuada de efectividad den la edueactón'eOntra el•Atifique 'eSte docurnento se retaciona con la educacl6n contra el alcoholkmo, se ha incluido información de la bibliografía acerca de cclucación contra el consurno de drogas más abundante cuando sea pertinente.
Efectividucl ambigua de la e ikación contru ei alcoholisalo
Auncitle.:lás.:Inttlínico_ -,édnlati!;4'.:en Estados Llnidos reclben aprobaciones corcliáy colinOZIrderiVel'Ireler'ithiCIrlifinar-lOW.: 1110i:lin:a.;,aftaIncia de que virtualmerliltOdos lcil:.10418i:rellgeten. ltistrIcCIÓnAjelaCIO`ii:15g1/ alcohollárnO en las e sc u c I a s'Príhlióál; ;.11.éjeltielória .Ctithl,de:104ilOgilihállfiltitIctivos generalinente se :ahlaItiCi6hsf,MérflOat Gicitietil. entre Otros: lha , sugeri, ha„ phriciad4iijg-hallai4i, .,.„.,.., .„. , . ..:,, .., , :... ...„ ,,..- .....-. dó.que ,. .„ .:... ..:1¿:Iiréséhté"Iihi InfliteriakdélOs de rnode. grupos . , ...a, éi6h'se ..,,..,. drigth6Círándóil ,--‹ ración:(15Or : e)priiplo, i.élr..DeP :. 5.1,q,..nt:Oti; so'mrI. s1 e.nitiérariCe ,Departavinento de
60
EVALUACIÓN DE PROGRAMAS
.......I'v,....?•7,111 ~.. ddél:któii.: :Ciério
....:;:-.'".:.7..
.,
- -
, .
,.
. - • . - irnetos, esfuerzos-de esos'grw, . 40.1i.1¡ • Ilitirpo*.. ; ., .':1.,ral,s6.1451.12-1--' ,. p9.1..rd, 4.:4;bli._e-ra'cl.,ón.. .......tenj4.ó.... 1 ...9 ....., .Çgyr:•4..;".14.....ed..110.¿..I.i5.n ...1Có.nti-a üill.Párte:iinpili,tánte de(picig-r."ainá¿ini-10.4ri;i:lklaS:es'Cuejal:PúblIali..S!.¡Srnátéríal . ....e¿IúCáíitTói..:Tnéixini.,altiicad01..C:Oiiii>5'..tlilnyliónaélólY,:baIlidós.sPfiliielnáliri'erite:InTiol Séliiiinieritós'ile.:Wiledólj.:Z141.C:iíti401aIejld-a's-,'"pón.:,el' d.Verii.fnIeri.tól.51:.:IbrOgICIO.I.:,. ‘7.1e',11Pinhibleián, dañareki'd etta.hiddelenfitiáne..:CleinneleYalÓ.n.y:'llejátón'Itnutind.!..-'" .11001:ecímreglarnentos-enlIn¡..que:S.e;‘¡:e0nría,11(illir,11:90.1.esol..0,41.9,911:00.i6.:i.
.:. riciii•:'1.1•;:.-ílilion ningún : .ffiétime.táltfletitio.::40 ..:teoppioárá • lá•oiétlát,. :ciorlii. • :;.......,wiliiie' .ilabit..Éilfrelit,401 c...dn'eSte.`41erini:;:leiS'..édi4a4.14;e1r.patec.éntiabli-.011.. difi ere l'.;..t.IrnIi';.::E't inetlá yniétnClót;;:-.E.c11: 111teo.010:410 04,..s'4•pto-lii'd14..1é...011.10ii-en Is..1)3-Ci..liá ¿:1-..i.áléial'éiái .1.-oliketI. tá.ii.:.cki 1.4...,.."..6ith*. él:iétiíá'.e14.'éducácin ¿cintie .',.'ll'smciY,lell'efec.t.OICenclüctUaIgl. .:S.• • * . ilt41-clela,ICOJi.011tOn njituna até ". 44:Illiii1044té'. t ." x .ti" . • , . ''''adOé-Icebtes: •• '''.-'•Unaideclárációri r:11: -'4:'..1) :1 ›.'. .9.,1-. 3. . .,, .,... . . .. , .. .. . • ,,.. Ltna forrna necesar: -„.. 'm.édibleá",'es ciAl.r,ul.p.t9glatna'.'1:1491 .L,....... ,flia..re.9.„- . ,003.1 , signi0c4tiva, aun cuando.:-.yarists hari .a(?:Itá'c00 -1:•¿$" 'iéiilki .t.án: 'i. leei:¿¡ité szle.'ine.aí,'érilos prograrriA' de'éduca contra'eraltitiOliátntiMúchtisIilogtoriá0. 14 -rietpoi.isin una'clai-a,d'efintciÓn.d _filosoff430'..esul:i iilre0,:e.ii , p.áitoi.:. 1«,:;e1..,ke:11501S4ble de la ausenC1A de estudios bien c6Vrtídiá'cid s. . ádétcáifela-efecfivIdad . détatéli-biógr.alnaS. En 196 -6, Fre eman y SCOtt infornlaron que muchos de los prOgrátnas'de..;edn.lación contra el alcohollsnió,::r. glfeiifei;:: .0.iét:ál: . eltiP.d.f.I.F:e'l,íi. ef I cierecle .:...OFjáii;.e.,Pefct..1.5; ó n y que poco SC ' eiMa subsiste, después de i_-)dría,..ti'a¿'.. --. — - ' - ititáción, El -. . Dg Alc.:,hol Education P-re--• up
Educovon, vot, 25, ntIm. ,
Perspectiva de la evaluabilidad
La idea estudiada en esta sección parte de las experiencias de un grupo en el Urban Institute (Instituto Urbano), cuyas actividades evaluativas les permitieron llegar a dos conclusiones relacionadas (Wholey et al., 1970; Wholey, 1979). Primero, encontraron difícil y algunas veces imposible poner en marcha evaluaciones de los programas públícos porque los adrninistradores y otros evaluados se resistieron, fueron poco cooperativos o fallaron en centrar los propósitos de los estudios. Segundo, encontraron que, a menudo, los resultados de la evaluación no se utilizaban para refinar o rnodificar los programas. Esto fue dirigido desde el punto de vista de un enfoque sistemático, lo que Wholey Ilamó valoración de la eualuabilidad, que debe preceder cualquier esfuerzo evaluativo tradicional. Las valoraciones de la evaluabilidad o evaluación previa están diseñadas para dar un ambiente apropiado al trabajo futuro de la evaluación; además, como una consulta de la administración sisternática, tales esfuerzos en sí mismos pueden ser utilizados por el equipo de trabajo antes de las actividades evaluativas (Schmidt et al., 1978; Rutman, 1980). La valoración de la evaluabilidad también puede revelar si la puesta en marcha oorresponde al programa tal como la definieron aquellos que crearon su política y los procedimientos operacionales; en caso con-
61
trario, cualquier evaluación que se emprenda será probablemente poco útil. La valoración de la evaluabilidad requiere la disposición incondicional del personal y, en muchos casos, la colaboración del patrocinador y de quienes se encargan de la política, para explicar los objetivos, la descripción del programa y decidir las tareas evaluativas. Mientras se puede argüir que el equipo de trabajo del programa debía, de acuerdo con su propio convenio, realizar las actividades descritas como valoración de la evaluabilidad, el evaluador encontrará que esto ocurre rara vez. En consecuencia, estas evaluaciones se convierten en una responsabilidad del evaluador, por lo menos en términos de liderazgo, el cual es necesario para efectuar el trabajo. Valoración de la evaluabilidad
Realizar la valoración se puede considerar como una serie de aproximaciones sucesivas. El especialista en evaluación usará cada encuentro con el personal de trabajo para ampliar sus conocimientos, identificar a los nuevos informantes, verificar la información recolectada y probar los diversos escenarios de las futuras actividades evaluativas y las opciones de programas alternativos. El método está reconocido como uno que requiere un juicio detallado de parte del especialista en evaluación. Se han hecho esfuerzos en varias descripciones del método (Rutman, 1980) para codificar los procedimientos, con el fin de que proporcionen una valoración reproducible por otros asesores. En general, se han seguido los siguientes pasos repetitivos: programa. Esta descripción se basa en documentos formales, como los de los propósitos de los fondos, los folletos publicados, los manuales administrativos, los infornnes anuales, las minutas y los estudios evaluativos cornpletos. Se incluyen las declaraciones que identifican los objetivos del programa y los clasifican en forma entrecruzada con los elementos del programa. En otras palabras, como el estudiado rnodelo de repercusión para prograrnas innovadores, la descripción del programa compara cómo se supone que funciona actualmente la intervención. Entreuistas con el personal del programa. La gente clave es entrevistada para recabar descripciones de las rnetas del programa y de sus fundamentaciones, así como para identificar las operaciones actuales del programa. De esta información, los modelos de las intervenciones de las operaciones del prograrna se diseñan y verifican subsecuentemente con las personas entrevistadas. Exploración del programa. Aunque la valoración de la evaluabilidad no incluye una investigación forrnal, en el sentido de una recolección de datos a gran escala, suele incluir visitas para obtener impresiones prirnarias acerca de cómo funciona actualmente el programa. Estas informaciones se confrontan con la inforrnación de los documentos y de las entrevistas. Diseño de un modelo de progr-ama eualuable. A partir de los tipos de inforrnación variada, los elernentos clel programa y los objetivos se explicarán para induirios en los planes evaluativos. Preparación de una descripción del
62
63
CAP. 2. COMO INTEGRAR LAS EVALUACIONES
Identificación de los usuarios de la eualuación. De acuerdo con los
Re ,,d,aron cerca de 4() piiCsJr documentaciór, consideracla esencial para . rnprender los,,objetivo, y ars actividades ,de la comtsión,. del congreso,•del e,ta o en relación con ei proyecto incluidos la autortzación de la legtsla 1:-)s audiencias'del congresdy. ‹-etinforrne del coinitI;los_dckUrp:entoldéplári1 fIcación estatab9.1a .-a¡alica¿Cn 11.2S cle perraiscrs il proyet Jj" Revisaron entié 50 si 60 piezas dc documentación,'Incluidos 1(35 Orm'elst los cont‘ratos, ARC; lós- docilmTltos'.-..„. de planes locales, los rnateriales proyec, taclos;-7 1a" dbCurnentación CSPit,-11- Vlós p roy cc tos de investigación: Entrevistaron aaproximaidmcnte . 75 personas de los equlpos congresiona- les; del Cúarter.de la corm siún, del,OersOnal de los prograrnas de salud y -arrollO;del estado de la ARC de otros dos . nnidades. . . . p'anifIcación local y de los proyectos locales Participaron en los tattcies con aproximadarnente,Z,QprIcticanteláctiltdr rs de saluel clesarrolk) del uulo perso nal estatár de laARCy analiaaS.ext
propósitos de las actividades evaluativas y con los evaluados clave, en seguida se identifica a quién se dirigirá. En reciprocidad, se decidirán los cambios por efectuar, respecto de las nuevas decisiones (esto es, administrativamente o por medio de la legislación). Logro del conuenio para continuar. El paso final es revisar el plan evaluativo con varios de los evaluados. El proceso de acopio de la información durante la valoración de la evaluabilidad incluye, típicamente, diálogos con los individuos clave y con los grupos importantes. Para este punto se han aceptado la mayoría de los componentes del plan. Antes de que los evaluados "firmen" el plan, es importante que se llegue a un acuerdo explícito en lo siguiente: Los componentes del programa que se analizarán, el diseño de la evaluación y las prioridades para iniciar el trabajo. Entregar a las fuentes requeridas y convenir acerca de la colaboración y cooperación necesarias. Un plan para utilizar los resultados de la evaluación. Un plan de los esfuerzos requeridos por el equipo de trabajo del programa para reforzar el potencial de la evaluabilidad de los componentes del programa, los cuales generalmente no son manejables por la evaluación, y un enfoque a la ulterior integración de los mismos en el esfuerzo de la evaluación. Al final, la planificación de las evaluaciones para programas establecidos no es muy distinta, cualitativamente, de la que ocurre en las intervenciones innovadoras. Quizá las dos distinciones clave en el estilo son: el énfasis incrementado para incluir el modelo del programa de evaluación desde las actividades existentes del programa y la atención más deliberada a los puntos de vista de los evaluados, así como a sus responsabilidades y sus influencias. En el anexo 2.7 se muestra un ejemplo de la valoración de la evaluabilidad. Anexo . 1,7. Appalachian Regíonál Conamission (Cornisión Regional de los "Apalaches) „. En la Appalachian Regional Conunission (ARC), los e, valuadores trabataron administradóreS" ylós pOlítipas, pára lograr un'consensp acerca del diseno f" d acl - at e ectivi m rat e escmpeno ce un nuevo Prograrria rnaS . verosímll . P ara eos La-Valoración clé la evalaabilida'd de loS progra'rnas de salud y desarrollo del niño de Ikha'organizaCián c" nipezo'con una colocción de'datos acerca de las íntenslond, los dtlyInistrádores v la confnhiliciálpor.'éitirbáta lnstitute (instituto urt;ano), lOsevalua ie .ron io sIguiente- • Revc=c1 rca) los clatos de la cornisión en cada uria de las 13 ARC estatales fun dadas y rcspeuy dc lo's:progrartilas-de salucl-y desarrollo delos niños, la Visitaron duiante, un ' día crldauno de los cin.co estado-s para' a yndar , ue ba-rticip-andn_en la evaluación de sisterna cle s• cd_y:ción de dos siaclos, cj
' 110 S
nródiajetóri:.01,1"M.
qn preSentába laS actIVidades y IOS-pbietiy n)s elel progfa arcoo ls yeiátjo:e -clusále'asunildás'entrellábáCti.vidadés,det-prórán'iá -rláynedición, y,faCtibilidad délds:Obietivos'cletotlpgranía redefiniCIOneS.del d. iSeñó del , PrOgiárna. 'Aqní los evaluádores, influtdosorlas5cri cas estériles'alprograrna y s-u .diseño, sugirieron córnoloS políticos y , cloresP,Odrían estableder objetivosfealistas y inedibles, a"dernááde ciatoS de-, ejecucjón'creii=Prográtna 'para-rnejOirai'.'n'actuación. „ ma tótárde jEl- jnforine se pi'esehtó ,de dosrnaherás:,como modelo serieS indiVidualéde "friódeldCada uno coneerniente con'im objétivo identifieadó del Prbdrainál ' El'infortne'séñal >atia'una serie'de opciones en'la información; eOresadas en;:términóS de Modelo;Cualesquiera de los cuales se podría desarroltaren uii estudioespeCífico o sisterria.z‘,clé-"evalaad6n:',At ieyisar el informe, et , 'eqüipo de la . ARC tus,›:0 que esco j et explícitarnente -entre,10C-iirm - -ás alternativos delá accióri11 . pi.dceso-de reciiáión.empleadó, fue una serie ,s de discusiones intensivas _ _ Cdn los;-egUibOá:pay'fiCipánt'á de la ,ARGydel Urbárv-IriStmate;centradas en .„ tiVo y un ificidelo:del .:PXograi-na á- lá _vez..10-cacla sesión; se intentó llegar ci un acuere-lzdp acerca dé .1á validez del niodelddeflujo:p .rescntadd,éTVei informe la atenSi."4: eruque„cullligíti_e'ZI:d1 - '14-1;e-lOnét-41 inforrnáción, se' podíaperSegiiir. I u,áblbdádse - corn _ p, eto ,en,apto xima , , de 50 000dolares Otros dos rheSeside"trabajO'Cai :la Ápi3aighian: CorniSSIon Con'lás,rupOs'estatales yllóCáles'PiOdujeton decisloriede .-lFIC 'siltémátiCas para,,mOnítorear;lár eje'C'CiCióit'.Cle'ródíSicis:Iroyectós desárr011o de la niñez de la ÁÉC, aí c- 6mO -pára idehtifieáf-Y -evalual. la 'efectividad de proyec.tós'::Inno` - -,-6Aiil'13, - estádál;:delafÁRCT 7-1'hah'adoptado voltirn taidaiWit;l'érliátéma rhónitoreó de;la,ejecución:=Dhiersós representi,mtes mfOrman que,en la áctualidad los diseñOS del - proveCto rst iii mas cl¿Ii¿Irnente artieulados y creen quelosproyectos Se han ri-iej¿írádo e -Jt1
Adaptaciój ic119::S.,Wytqley;,.."Ustng Lvaluation to
Piógram
eiís
Reseaji-h aricl, F:ractic¿.:Climp¿ratiue óridInterilcrtióni21 Perspect.Iues S V-;
64
EVALUACIÓN DE PROGRAMAS
Estudios explicativos Por cualquiera de las dos causas, como consecuencia de los mandatos externos o con base en la valoración de la evaluabilidad, los estudios explicativos tienen como finalidad proporcionar los hallazgos adecuados a las exigencias de cada tipo de preocupaciones para explicarlos. Los patrocinadores, el equipo de trabajo y un amplio rango de grupos comunitarios pueden estar preocupados por uno o varios de los puntos que se enumeran a continuación: Explicación de ia repercusión. Los administradores del programa están interesados por la repercusión por dos razones: las internas de operación y para justificar los programas externamente. Explicación del alcance. Se refiere a las cuestiones clave relacionadas con el número y las características de las poblaciones objeto, el grado de la penetración (esto es, qué proporción de poblaciones objeto potenciales son servidas), los rangos de deserción, etc. Explicación de la entrega del servicio. Generalmente, es necesario valorar la operación actual del programa conforme a los planes de éste; por ejemplo, los centros de salud mental comunitaria pueden incluir en sus planes tratamientos de emergencia durante las 24 horas; la explicación en cuestión implica si éstos proporcionan o no. Asimismo, muchos planes de intervenciones especifican las calificaciones para los proveedores; de esta manera, la extensión de la entrega del servicio por un grupo de trabajo calificado es otro problema digno de explicación. Explicación de la eficacia. Obviamente, la repercusión relacionada con los costos del programa es importante de dos maneras: internamente, en términos del juicio de los beneficios relativos y de la efectividad contra el costo de cada elemento del programa, y externamente, al competir por los recursos. Responsabilidad fiscal. Los programas tienen una responsabilidad clara para explicar el uso de los fondos en sus informes fiscales; sin embargo, además de lo que es una responsabilidad estricta explicativa, pueden surgir pertinentes cuestiones anexas; por ejemplo, el costo por cliente y el costo por servicios son datos que no se pueden abstraer de un informe fiscal. El incremento de los costos o los costos marginales son también pertinentes, dado que los programas varían en tamaño, o porque se incluyen diferentes pob/aciones objeto, etcétera. Finalmente, los costos diferenciales pueden estar en función del sitio, la época y el inicio de programas competitivos. Responsabilidad legal. Todos los programas, públicos y privados, requieren de reglas para cumplir sus responsabilidades legales. Éstas incluyen el consentimiento de información, la protección de la privacía, la representación comunitaria en las juntas para tomar decisiones, la equidad en la provisión de servicios y el costo compartido. En los programas públicos una adecuada complacencia con los requerimientos legales es un requisito previo, el cual a menudo se debe cumplir para seguir contando con el financiamiento.
65
El enfoque de las actividades explicativas de un programa está determinado por dos tipos de requerimientos: externos e internos; por ejemplo, muchas leyes, incluida la legislación reciente, requieren un informe de la repercusión del programa antes de la aprobación de su financiamiento para años ulteriores. Los administradores y ejecutivos del programa, a quienes se informa, están conscientes de la información explicativa, para que se mejoren y modifiquen los esfuerzos y para administrar sus intervenciones eficientemente. De muchos modos, la valoración de la evaluabilidad se considera un medio para diseñar una estrategia aclaratoria que se integre a las necesidades actuales y futuras de la intervención. Al diseñar las estrategias explicativas existen dos consideraciones importantes: las evaluaciones continuas en oposición a las entrecruzadas y las valoraciones internas en oposición a las extemas. Evaluaciones continuas en oposición a las evaluaciones entrecruzadas En muchos programas extensos se utiliza el monitoreo y el sistema de información, a menudo referido como sistema de administración de la información (SAI), que permite valorar en una base continua el trabajo y los resultados de los programas. Este sistema registra la información de cada encuentro, de la entrega de servicios y de los resultados y costos. Los sistemas continuos frecuentemente se critican porque "frenan" el impulso; sin embargo, como representan una entrega permanente de recursos, necesitan justificar su uso constante. No obstante, al mismo tiempo, en los estudios individuales o entrecruzados de vez en cuando se realizan gastos excesivos en los costos y pueden ser erogados por el equípo de trabajo, pues no se consideran parte de las operaciones rutinarias. Es más, pueden no ser oportunos y deben tener menos utilidad en las decisiones administrativas dignas. Otra vez, aquí no hay modo de aportar las reglas; en su lugar, se debe juzgar en términos de costo por beneficio un sistema continuo de monitoreo. En muchos programas se usa una mezcla de monitoreo continuo con el fin de valorar el proceso con evaluacíones entrecruzadas para estimar en varios niveles la repercusión y el costo por beneficio. Evaluaciones internas en oposicIón a evaluaciones extemas Las evaluaciones explicativas agravan tajantemente el problema de si el personal de los programas debe emprender sus propias evaluaciones o contratarlas en el exterior. Por una parte, es evidente que en el caso de esas evaluaciones, el evaluador debe conocer muchas operaciones del programa, con el fin de diseñar la evaluación y abocarse a la consulta, la educación y el diálogo requeridos para optimizar su utilidad. Por otra parte, existe el riesgo de que el evaluador, quien forma parte del programa, sea acorralado y que los patrocinadores y los evaluadores que están fuera del grupo de trabajo sospechen de la autenticidad de los resultados. En programas extensos en los que los evaluadores pueden trabajar en
66
CAP. 2. CóMO INTEGRAR LAS EVALUACIONES
grupos serniautónomos, probablemente es más benéfico y económico para las evaluaciones explicativas que éstas sean internas. En programas pequeños puede ser mejor tener asesoramiento externo, próximo a los métodos de las auditorías fiscales. En algunos casos, una combinación de ambos, en que se emplee a consultantes para proporcionar asistencia técnica inadvertida, es más ventajosa. DEPURACIÓN DE PROGRAMAS ESTABLECIDOS Frecuentemente, como se señaló en párrafos anteriores, existe un sutil límite entre lo que se Ilama intervenciones innovadoras y la sintonización del programa de ejecución, mediante su depuración. Asimismo, la depuración de las evaluaciones comúnmente traslada las evaluaciones de programas establecidos. Con base en la información de evaluaciones actuales, los administradores del programa pueden efectuar camblos, día tras día, en el aspecto tanto administrativo como técnico, bastante extensivos y sujetos a una evaluación sistemática. No obstante, la parte medular de la depuración es la modificación del programa que repercute de manera notoria en los esfuerzos de la intervención. Su esencia la denota el término inicianua, el cual se aplica a menudo en los esfuerzos de depuración en las intervenciones nacionales o a gran escala. Típicamente, la depuración de programas ocurre porque los patrocinadores y el equipo de trabajo no están satisfechos con la efectividad, con la eficiencia de las intervenciones o con ambas. La base para efectuar tales cambios se origina en los hallazgos de los estudios de la evaluación sistemática de monitoreo o repercusión tipo, en los resultados de la valoración de la evaluabilidad o en una evidencia más notoria, fundamentada en la nula satisfacción de la manera como se han realizado los esfuerzos. Algunos ejemplos serán útiles. En el campo de la salud mental, los centros comunitarios de salud mental en áreas donde existe una población sígnificativa de habla hispana, han llegado a tener cuidado con las barreras que estas personas afrontan por problemas con el lenguaje. Se ha tornado una variedad de enfoques diferentes con la finalidad de agilizar el acceso a personas de habla hispana. Uno de ellos ha sido incrementar la proporción de personal de habla hispana para transmitir las características del centro por medio de un lenguaje dual en signos y material educativo acerca- de la salud, y mediante el empleo de personas de herencia hispana para contactar a grupos religiosos y culturales que sean clave dentro de la comunidad hispana. Un segundo enfoque ha sido establecer programas "nutridores" satélite en las comunidades altamente pobladas de hispanos; aquí, el personal, el material y las relaciones interpersonales reflejan la característica específica cultural de los residentes, el diagnóstico a corto plazo y el tratamiento están disponibles y los pacientes se refieren a sus centros originales. Por supuesto, el problema es si esos enfoques incrementan el acceso a la población objeto y cuál de ellos es más efectivo. Otro ejemplo de depuración se relaciona con el gran número de iniciativas vinculadas con los centros comunitarios de salud, muchos de los cuales comenzaron como organizaciones gratuitas. Aquí, los grupos extemos al centro comunitario de salud, incluidos el gobierno federal y las grandes fundaciones, han adoptado una variedad de programas para relacionar a los centros comuni-
DEPURACIÓN DE PROGRAMAS
67
tarios de salud con los hospitales y las escuelas de medicina. Mientras que las características básicas del cuidado médico no han cambiado en los centros comunitarios de salud, las iniciativas se consideran mecanismos que reducen la sobreposición indeseable de los servicios entre las instalaciones hospitalarias y los centros mencionados. Asimismo, tales afiliaciones incrementan la continuidad en el cuidado del paciente, lo cual da mayor satisfacción al cliente. Similares tipos de esfuerzos para reducir la fragmentación del cuidado han tenido lugar en los centros vecinales individuales que ofrecen, a quienes reciben ingresos de beneficiencia y a otras personas con ingresos marginales, una variedad de servicios previamente disponibles sólo en oficinas separadas una de otra por escasa distancia. La depuración requiere básicamente, por parte de los patrocinadores del personal del programa y de los evaluadores, tres juegos de actividades relacionados, los cuales se examinarán a continuación. Reestimación de los objetivos y los resultados Los esfuerzos de depuración y los programas innovadores constituyen una respuesta a las condiciones existentes; sin embargo, en el caso de la depuración, la acción se centra en las condiciones inherentes al programa, en vez de aquellas relacionadas con el problema nuevo o poco tratado. A menudo, la advertencia de que un programa no ha resuelto los problemas comunitarios requiere modificar los objetivos del programa y los criterios de los resultados. Al respecto, considérese el problema de los centros comunitaríos de salud mental y de la población hispana. El objetivo original de los centros puede haber sido proporcionar un rango de diagnóstico, emergencia y tratamiento en sus programas a corto plazo para atraer a los residentes del área. El objetivo, como se estableció originalmente, no incluía considerar de modo especial las cuestiones éticas y los pasados culturales de la población objeto. Al afrontar el error de proporcionar acceso a personas particulares por sus pasados sociales y culturales, se hacía clara la necesidad de mejorar los objetivos. Asimismo, el programa de afiliación de los centros comunitarios de salud con los hospitales locales refleja un mejoramiento de objetivos; se han redefinido y operacionalizado los objetivos para incluir la máxima continuidad en el cuidado. La necesidad de redefinir los objetivos suele ser evidente conforme se estabiliza el programa innovador y surge como especulación establecida en el campo de los servicios humanos. Algunas veces, la redefinición de objetivos se ramifica del diálogo que casi siempre acompaña a las actividades administrativas cotidianas. Otras veces, el evaluador realiza estudios especiales, ya sea como contratista independiente o como miembro de un equipo de trabajo, para obtener datos que ayuden al personal del programa a revisar sus objetivos. En otros casos, el evaluador y el personal de trabajo tienen a su disposición (como se vio al estudiar los programas establecidos) la administración actual y los servicios del sistema de información que aportan datos acerca de los problemas referentes a los objetivos comunes y el grado en que se satisfacen. Cada vez más, se han empleado nurnerosos enfoques formales para auditorías continuas.
VINCULACIÓN DE LAS EVALUACIONES
68 Valoración del prestigio El término valoración del prestigio se emplea con el fin de denotar el esfuerzo sistemático para obtener de los evaluados (sobre todo de las poblaciones objeto) opiniones y datos acerca de la experiencia, mediante lo cual se enjuiciará el grado de éxito del programa para lograr sus objetivos. Valorar el prestigio consiste básicamente en obtener datos del banco de información. Algunos programas contienen cuestionarios para el cliente con el fin de obtener información de ellos para conocer su satisfacción con los programas. Esto se puede hacer mediante un estudio especial o como parte de un esfuerzo común de monitoreo. La investigación podría incluir preguntas acerca de varios aspectos del tratamiento tales como tiempo de espera, realaciones con los practicantes, costos y cuotas, etc., así como buscar expresiones de los servicios deseados y de las necesidades no satisfechas. En resumen, sobre todo para programas extensos, el evaluador puede investigar al proveedor de servicios. Tanto las personas que ofrecen servicios como el cliente tienen sus proplas desviaciones y riesgos en el programa, pero pueden percibir las fallas y deficiencias susceptibles de corregir mediante una depuración; por ejemplo, los datos regulares y sistemáticos se pueden obtener de maestros, acerca de varios tipos de servicios especiales ofrecidos por una escuela, como el proporcionado por consejeros que tratan problemas emocionales y el de las guías vocacionales (en el capítulo 4 se abundará acerca del monitoreo). A menudo, la valoración del prestigio señalará los esfuerzos de depuración comparativamente simples, como dar retroalimentación a los maestros acerca del tema que tratan con los estudiantes, áreas en las que fallan los programas especiales y la manera de colaborar eficazmente con el fin de entender los problemas del estudiante. Otras veces, la información puede resumir la necesidad de hacer considerables modificaciones del programa. La información menos formal incluye las presiones de los que abogan por los evaluados y los grupos comunitarios, y la dan personas de clase media y en la vida política. Cuando la valoración sistemática del prestigio se realiza antes de estas presiones, el personal del programa de administración puede tener intervenciones mejores y evitar convertirse en sujetos de juicio.
69
base informal en cursos de inglés y matemáticas, para someterse a los exámenes de la junta del colegio. Si se puede demostrar a la junta de la escuela que esos estudiantes obtienen más altas calificaciones, las sesiones preparatorias formales se pueden incorporar en el currículo regular de la secundaria, sobre todo porque optimizan las oportunidades de los estudiantes de elegir la profesión y el plantel que prefieran, lo cual es un objetivo congruente con una de las metas generales de la educación secundaria. Al mismo tiempo, tal modificación curricular puede incrementar el vacío que hay entre estudiantes con aspiraciones y aquellos que no las tienen, lo cual requiere el énfasis de otros aspectos del programa educativo e interfiere con los planes del maestro durante el curso. Así pues, en términos de depuración, el evaluador debe participar en las tareas siguientes: Revalorizar los objetivos. Usar los datos de evaluaciones previas, así como la información acerca del progreso del programa, conseguida como parte de la entrega de servicios, con el fin de buscar la manera de modificar el programa. Comprender y usar la valoración del prestigio. Participar en la replanificación del programa y en su rediseño. e) Planificar y poner en marcha los diseños de la evaluación para realizar el monitoreo de los cambios del programa y su repercusión. VINCULACIÓN DE LAS EVALUACIONES CON LOS PROGRAMAS En este capítulo se ha expuesto cómo la evaluación se ajusta al desarrollo de las intervenciones innovadoras, dentro del conducto de los programas establecidos, y en el mejoramiento y la depuración de los programas. La primera lección que se podría transmitir es que la evaluación.se debe vincular con el programa (véase el cuadro 2.1). Cuadro 2.1. Revisión de las actividades de evaluación
Replanificación del programa y rediseño Evidentemente, poner en marcha la depuración y el mejoramiento requiere revisar los diversos pasos y las actividades examinadas con algún detalle en la sección de evaluación de programas innovadores. Es necesario que el problema se halle bien identificado y descrito, que los objetivos estén operacionalizados, que se diseñe un modelo de repercusión revisado, que la población objeto sea redefinida, que el sistema de entrega se diserie de nuevo y que se hagan los planes, por si se requiere revisar la repercusión del monitoreo y la eficacia. Cabe destacar que no sólo los esfuerzos de depuración son más comunes que las intervenciones innovadoras en el campo de los servicios humanos, sino también que las consecuencias de esos esfuerzos son extensivas; por ejemplo, en muchas escuelas secundarias, algunos estudiantes son preparados con una
Programas innouadores Conceptualización
1. Descripción del problema Funcionamiento de objetivos Desarrollo del modelo de intervención
Programas estableciclos Determinación de la evaluabilidad Desarrollo del modelo de evaluación 3. Identificación de las oportunidades potenciales de modificación
Depuración Estudios de la repercusión Redefinición de objetivos 3. Diseño de las modificaciones del programa
70
Cuadro 2.1. (Continuación) Progra mas innouadores .
Programas establecidos
Definición de la 4. Determinación extensión y de distribución de la requerimientos población objeto de contabilidad Especificación del sistema de entrega 1. Investigación formativa y desarrollo 2. Ejecución de la verificación
Ejecución
Vaioración
1. Estudios de la repercusión 2. Análisis de la eficacia
3
Depuración
1. Verificación del 1. Refinamientos R programa y y D al programa estudios contables 2. Cambios al programa de verificación 1. Estudios de la 1. Estudios de la repercusión repercusión 2. Análisis de la 2. Análisis de la eficacia eficacia
Por supuesto, de ninguna manera se pretende restar importancia a las actividades ténicas de evaluación y a sus procedimientos que siguen de la conceptualización de los estudios. De hecho, esto es lo que se pretende en esta obra. Más aún, es importante reconocer que los programas y las evaluaciones son "dinámicos" en el sentido de que la experiencia adicional al programa, la retrolimentación de la evaluación preliminar y los turnos en los contextos políticos, económicos y sociales en que los programas y las evaluaciones ocurren, pueden requerir modificaciones y ajustes para diseñar las evaluaciones. Al mismo tiempo, a menos que las evaluaciones comiencen por ser detalladas y que sean congruentes con las operaciones del programa y sus requerimientos, los estudios sistemáticos exitosos probablemente se suspenderán. Mientras haya límites con respecto a cómo completar el proceso de enlace —pues esto implica no sólo la formulación ordenada y el mejoramiento de ideas con la integración de los datos, sino también el diálogo, la discusión y la interacción con los evaluados—, el mensaje debe ser claro. La comprensión y participación máxima del evaluador para ajustar las evaluaciones a los programas es esencial para emprender con éxito las evaluaciones sistemáticas.
Procedimientos de diagnóstico Como parte del desarrollo de las actividades evaluativas y la aphcación de los métodos de investigación social en el área de servicios humanos, los enfoques sistemáticos y reproducibles se han proyectado para identificar los problemas no tratados y las condiciones que no se ajustan bien a los programas existentes. Estos procedimientos de "diagnóstico" algunas veces constítuyen el paso inicial en la identIftación del problema, mientras que otras veces siguen la impresión del evaluado y la valoración de las necesidades para diseñar programas de acción social organizados. En ambos casos, la documentación sistemática de la necesidad del programa se debe realizar de tal -nanera que se puedan planear, mejorar, ejecutar y evaluar los esfuerzos para la acción social. CONCEPTOS PRINCIPALES Incíciencía: Indicadores: Medición de necesidades: Población en necesidad: Población de riesgo: Predominio: Rango: Inuestigación:
Número de casos nuevos de un problema particular o condición identificados u originados en un área específica durante un periodo determinado. Medida que refleja un problema o condición del cual existe información por series de tiempo. Valoración sistemática del tipo, la profundidad y el alcance de los problemas como fueron percibidos por las poblaciones objeto o por sus defensores. Unidad de poblaciones objeto potenciales que comúnmente manifiestan una condición determinada. Segmento de una población que tiene una probabilidad significativa de desarrollar una condición. Número de casos existeMes con una condición dada en un área particular en ur. tiempo específico. Ocurrencia o existencia de una condici6n expresada como proporción de una unidad en la población (por ejemplo, la muerte de mil adultos). Colección sistemática de información de grandes grupos de estudio, generalmente por medio de entrevistas o cuestionarios administratívos a una muestra de la unidad de población. 71
72
CAP. 3. PROCEDIMIENTOS DE DIAGNÓSTICO
Si viviéramos en un mundo utópico, donde casi siempre se tuviera buena salud, no hubiera diferencias sino un equilibrio social completo, amplias oportunidades para participar en las actividades culturales y socioocupacionales y existieran programas de servicios humanos eficaces relacionados con las deficíencias individuales, interpersonales y comunitarias (lo cual, por supuesto, podría ser menor), no habría necesidad de efectuar evaluaciones, ni nuevos programas ni depuración de los existentes y tampoco sería útil verificar los esfuerzos establecidos. Así, la evaluación se puede considerar como una respuesta al esfuerzo de encaminarse hacia un mundo perfecto; los múltiples problemas actuales y anticipados en los campos humano y social, y la gran presión para diseñar, ejecutar y depurar diversos programas que los reduzcan y controlen son el objetivo fundamental de la evaluación.
EL IMPULSO PARA INTERVENCIONES Y EVALUACIONES En una concepción global, la contribución del evaluador en identificar y escalonar las deficiencias sociales y humanas y en la innovación y el mejoramiento de programas que las traten es realmente modesta. Los investigadores evaluativos deben ser modestos acerca de su influencia en esta materia a la luz de las acciones de los grupos políticos, de las corporaciones de abogados, de los ponentes y de las personalidades carismáticas. La atención del mundo posterior a la Segunda Guerra Mundial con respecto a las enfermedades mentales se debió en gran parte a un congresista singular; los prograrnas con subsidio federal para ayudar al retardado mental recibieron un gran impulso durante la presidencia de John F. Kennedy porque él tenía un pariente retardado; el mejorarniento de la seguridad automovilística se puede acreditar en gran medida a los abogados de la guía Nader; y los esfuerzos para controlar la prestación impropia e ilegal de los servicios de salud y bienestar a menudo se deben a los riesgos a que está expuesta la clase media y a las actividades de interés y presión de ciertos grupos, incluidos los esfuerzos de organización de los clientes. Sin embargo, los evaluadores desempeñan un papel (reconocido como parcialmente responsable) en la identificación de los parámetros de los problemas que requieren atención y en las deficiencias y limitaciones de quienes realizan esfuerzos comunes. Lo que el evaluador agrega (por lo cual se hará referencia a esto como procedimiento de diagnóstico) son los enfoques sistemáticos y reproducibles para identificar los problemas comunales y para aclarar su alcance. La importancia del diagnóstico de la información no se puede exagerar. Mientras que las informaciones especulativas, impresionistas —y aun las desviadas— pueden acicatear a los políticos, a los planificadores y a los patrocinadores o a sus organizaciones para iniciar acciones, es esencial tener una información totalmente confiable acerca de la población objeto potencial del programa y respecto del contexto en el que una intervención podría actuar antes que el programa comience. Así también, antes de afinar una iniciativa existente o de abreviar un programa actual, se debe estimar la magnitud del problema. En seguida se dan algunos ejemplos de los que sucede cuando se ignoran los procedimientos de diagnóstico adecuados:
ESTIMACIÓN DE LAS 1NTERVENCIONES
73
En una intervención social diseñada para rehabilitar a delincuentes juveniles en un suburbio de la parte oeste se descubrió, después de terminar el programa, que virtualmente no había delincuentes juveniles en la comunidad. Los planificadores creyeron que como la delincuencia juvenil era un problema general de la sociedad, podría encontrarse también en esta comunidad. Los planificadores de muchos proyectos de renovación urbana realizados durante la década de los sesenta creyeron que las personas que vivían en edificios "en ruinas" y consideraban sus casas como defectuosas, podrían pagar la demolición de su hogar y aceptar la relocalización de nuevas casas. De ciudad en ciudad, los residentes de las áreas urbanas renovadas presentan una fuerte oposición a los proyectos de renovación urbana diseriados por los planificadores. La media de los programas diseriados para motivar a la gente a buscar un examen físico con el fin de detectar los primeros signos del cáncer, hizo que los centros de salud se vieran saturados al enviarles más pacientes de los que podrían atender, pues muchas personas hipocondriacas sin indicios de cáncer fueron estimuladas por el esfuerzo medio y creyeron que estaban experimentando síntomas. 'En un proyecto de televisión educativa diseñado para mejorar las habilidades de los adultos urbanos en una ciudad poco desarrollada, se encontró, después que el programa había comenzado, que la mayoría de los adultos sin habilidades educativas no tenían acceso al aparato televisivo. 5. Un proyecto de control natal se amplió para reducir el alto rango de abortos reportado en un gran centro urbano. El programa falló en atraer a muchos participantes adicionales, y después se descubrió que muchas de las pacientes potenciales ya eran atendidas. Para la mayoría, los pacientes potenciales eran mujeres jóvenes que llegaban a la ciudad procedentes de áreas rurales; una alta proporción de residentes urbanos practicaban ya el control de la natalidad. En todos los ejemplos anteriores, la investigación diagnóstica podría haber proporcionado información que permitiría prevenir los problemas de la ejecución del programa. Cabe señalar que en los ejemplos en los que la intervención no falló, fue simplemente porque la investigación no se realizó debido a que la población objeto no existía, o porque no se procuró el programa previsto, o se identificó incorrectamente, o se plantearon demandas que la intervención no pudo cumplir. ESTIMACIÓN DE LAS INTERVENCIONES NECESARIAS El paso crítico en el diserio de un programa innovador es verificar que un problema actualmente ígnorado o que se ha tratado sin resolverlo, sea tan grave que requiera una intervención nueva o una adicional. La justificación posterior de los programas comunes y de los esfuerzos para depurarlos requiere la evidencia de los defectos persistentes o no resueltos en las condiciones sociales o en el sistema de entrega del programa. La acción de veríficar y medir la magnitud
74
CAP. 3. PROCEDIMIENTOS DE DIAGNóSTICO
y localización de un problema y de su población objeto intentada se ha llamado valoración de /a necesídad. Valorar la necesidad es indispensable porque tanto los profesionales como los miembros de la comunidad, en su celo por mantener y ampliar los programas en los que ellos tienen algún interés, pueden sobreestimar el tamaño o la característica de la necesidad. En algunos casos, aunque un problema -por ejemplo, el predominio de incapacidades físicas- puede ser obviamente grave y tan difundido que requiera una intervención, puede ser necesaria información acerca de sus características de distribución. Entonces, si las incapacidades físicas son predominantemente un problema de personas de edad avanzada, originada por enfermedades relacionadas con la edad, el tratamiento será diferente de aquel que se aplica a las incapacidades entre las personas jóvenes. Así pues, las valoraciones de la necesidad se realizan para estimar el número y las características de la población objeto en el programa. ¿Qué es una población objeto?
Las poblaciones objeto suelen estar constituidas por individuos, aunque pueden ser grupos (famílias, grupos de trabajo, firmas, establecimientos, etc.), áreas relativas geográficas y políticas (como pequeñas comunidades de una región particular) o unidades físicas (casas, sistemas de carreteras y similares). Cualquiera que sea la población objeto, al principio del esfuerzo de diagnóstico es imperativo definir claramente la unidad de análisis. El criterio de definición varía. En el caso de indivíduos, las poblaciones objeto generalmente se identifican en uno o más de los siguientes puntos: a) características sociales y demográficas; b localización, o c) problemas, dificultades y condiciones de la población. La población objeto de un proyecto educativo en el que los individuos reprueban se podrían especificar como niños del sexo masculino, cuyas edades van de 10 a 14 años, quienes residen en un distrito escolar y se encuentran entre uno y tres años por debajo de su grado normal en la escuela. Cuando las poblaciones objeto son conjuntos (grupos y organizaciones), a menudo se definen en términos de las características de los individuos que los constituyen, de sus propiedades colectivas formales e informales y de sus problemas comunes. Una población objeto organizacional podría ser las escuelas de enserianza elemental con por lo menos 300 alumnos, de los cuales el 30%, como mínimo, provenga de familias con ingresos inferiores a la línea de pobreza. Poblaciones objeto directas e indirectas
Como se mencionó en el capítulo anterior, las poblaciones objeto se pueden considerar como directas o índirectas, según si los tratamientos se dan a las poblaciones objeto ínmediatamente (directamente) o eventualmente (indirectamente). En la mayoría de los programas se especifican sus poblaciones objeto dírectas. Esto sucede claramente en las intervenciones médicas, en que una persona con una aflicción directa recibe la atención del médico; sin embargo, en algunos casos ya sea por razones económicas o factibilidad, se intenta establecer programas que afectan indirectamente a las poblaciones objeto, haciendo como sus objetos inmediatos a las poblaciones o condiciones que influirán en aquellos
ESTIMACIÓN DE LAS INTERVENCIONES
75
que recibirán los beneficios. Por ejemplo, en un proyecto de desarrollo social se seleccionó a los granjeros influyentes de las pequerias comunidades y se les proporcionaron programas de entrenamiento intensivo. Después de un tiempo regresaron a sus comunidades y comunicaron sus conocimientos a los otros granjeros. De nuevo, un proyecto que identifica a sus poblaciones objeto como las unidades de habitación subnormales puede influir indirectamente en los ocupantes de esas habitaciones. Si la población objeto se define corno indirecta, la efectividad de un programa dependerá de la gran extensión en los patrones, principalmente del inmediato a la última población objeto. La efectividad del prosiecto en el que se emplea a los granjeros influyentes depende de las habilidades y de la motivación de aquellos granjeros para comunicar sus conocimientos a otros miembros de su comunidad. Asimismo, si existe una relación estrecha entre la calidad de la vivienda y la salud de la familia, la investigación e inversión para mejorar físicamente las habitaciones se puede justificar; pero si la correlación es tan baja o esencialmente nula, tal inversión podría ser inefectiva o de desperdicio. Especificación de las poblaciones objeto
La especificación del tamaño y la distribución de las poblaciones objeto puede parecer simple en primera instancia; sin embargo, casi no existen defectos humanos y sociales que se puedan estimar fácilmente, sólo por contar a los individuos u otros componentes de un problerna o una condición particular. Considérese un ejemplo sencillo: ¿cuál es la población dé personas con cáncer en una comunidad determinada? Primero, depende de si se cuenta o no a los residentes permanentes o si también se incluye a los residentes temporales (lo cual podría ser extremadamente importante en Miami Beach, por ejemplo). Segundo, ¿se cuentan los casos "recuperados", o aquellos sin una recaída, digamos en los cinco últimos años, se eliminan de la estimación? Tercero, en la estimación se deben tener en cuenta los propósitos para los cuales se usa. Si se utilizará para diseñar un programa especial de cuidados de enfermeras en casa, las personas con cáncer en la piel no se deben incluir, pues su condición rara vez requiere cuidados. Un ejemplo de las consideraciones que consisten en especificar poblaciones objeto se muestra en el anexo 3.1, tomado de un artículo que influye gratamente en el desarrollo del concepto línea de pobreza, una definición de pobreza que aún se emplea en la actualidad. _ Anexo 3.1 Cómo se mide la pobreza .- ,Contar la pptylza elun ejercicio detartgde 1922..,11. posible. Para decidir quién es ' ' *la. Pobteza , como la ' q' tiébbt -- 01- 1bn'rnákirrlábt-tantel ' éá . lands ,P9Mu , ti.re. ,.las:plegar éti l5Oltézk. ..éstá . in i ói'V na p-94 0t1n1;1_Zin1 c.iütaic.sti:Su-dgve_vs'iliO°nr,'alu°nn'cnocnattig° fieár .111:17.: é:1:41ép::1Pn.: 111 -tiiI.T',s,,,.... é-,",p111. ‘a.e.all'cl:étti 9,21t v ...,'¿4:it Pii°I ,a,jfagé. :"_". Cli:- 1994 9 n9r.:P991:kii1 119:1-.. pbbi'l.eitáe.locla Clálé d1 táibres de juicios: El.con..:: tiOs. :00- pnSpite's 4.leinflu'itárt- é-hla definición Nb exis ;:...cpp.tb.,:debe: ser inu9 liriiitác1.6›, páro,oritár.la pobreza,.a:Menol'qüese. hacta alqó'Por evitart-d. una rdzon part ~1. :Caélyglitiéral son diversas. cuando Si 1710511,i I des de la ilaittig"a-ción - •
76
77 yaea a clehnir I pobreza; solo se puecle ser subjetivo o me.nos que eso, pc-ro no ser SW
.C)c finición de.I piobliVii
. : En la Administraerón d•el Seguro5Ocial, la pobreza 'se defir0 primero ,en términos. de , problerna o ¡.)olítieIá i `pUbliéa:- ¿a cüántaL getite y a cuáLqtieremos dirigir la preoCupaeicM cle una po a irec a? Aun cuandci se tehga en.IC4enta.esto,',.eknivel de \.ida emPleaclo para separIar el - tener" del "no tener" podriIaI S'ertan rigUtIOSo : geniruso como quisiera LI nivel se Pódría" eStablecer;deltalinaleni .que en¿rlquieo ra güe sIe c-ontara edél de Ioó quie rkitienennl'eallítériteribienga bastanté. Si se hizo lo Contratid; se Corierá el riesgode contar a alguten qüe no debiese eStar ahf.: En resu rnery nO-aiste un esquerna perfecto ni uno de"valorlibre. Iny41 Dado quease intenta mOS-brar el,nIVe1 de r preocupaelárIpPillco,se quiere-estar rséguro de que cada fámilia o únidad deconsunio tenga lá OPOrttInidaIdeseiContado entre aquellos que Se consideran con necidaddeatención:De-beetiOI,-Precisarnent_é..; , para asegurar la Inclusión dé las noCr2sidadés defamIlias grancl e:YI1 c11-!e.fiás , . , - gente joyerti-,y:gt-andeil. se.tnejorartkn ,lás'inqrtnas.mlciale_s,diseñadoSPór'el Conntil Econorriíe-:Ádl-iiPers-.'-(ef3ticiliOde cualquier familia cle dos o rnaS Integrantes comingresos menores111.00(5d-rolare-S :anual; así corno cltalquier . :rsona que viviese sola , coMli5G0 dólares; Se',Pddrían , pc _ cOnsideiar pobres par¿a efectbs de la•plánificaciótidel prGgrarna dé antipObre:?_a, pero no par¿lelegtbiliclad-de este Esta original norma permitió . la irrégülaridad reSultante de que tina'pareja.ddedad'¿on,2•900.'dólares dé ingre_so al año se íitielféracánsiclerar - pobre, peroAne uno famili -agan'tin mando, espoSa yetiatr9 hijospe . queños com3 100 dólares dé ingreso anuar ' Es risas, cuando en las distribuciones derno- gráficas -pobres , _ sé . cornpara 'Con la PobláCiOn tbtal, se-efectúart .des:Ctibrimientos im, POrtanteS; por ejernplo, el porcentáje de 'farniliás clásifiCadaS cOrrió'PrObres -qúenditerien hltós éra mas'alto que el • de la-'151-Obla¿fánlotal; y - para haCeilo-Poco realista, el porcentaje de :farnilias pobres eOn:cuatrOhijos pequenos o tnasfer :a menor que la representaciómcle tales farrailiaS;:endipOiilkeión. Co,inOresto'iti>era c-tirt é. cto, se trzttó de váriar bá„línea de-": pobrez-a nece,sano- de, 1-re-rcur:-.'COrtel'farriaño y la eórnposición de la familia. La razón dé que estb pp.ló hict tos.datoo,estaban••• . : disponibles para ellos en e_sétiem
_
porestas medidas. La Administración delaSegtiri_ adiSocial no establecia la rinea 0 -liobreza. Tanto I Of ficje of E.conomiCOPPorttintriji(0,ficipa de Següill'ad la Colitejl of tenfári la responsábilidad 'de'Seleteitariat- -•--ár rítás bajo en las dos inedldás'y decidtt de decir ta - medida es cuál irsar conlo instrumento de trabajo . - -Liamejor ,que se pue que cuarldo,era útil estatia;ahí, :Es interetanteadyertir que pocas personas, con ' Seguiro,Sociatl'qutsiela_ eXCeptin'. ,-dellás',Perteneciéri liáblar'aCerCáliélarnay-orde láliriedidás:-,TodbldeéabanliablaUe lá cual produjo c.asi los mismos números de.gente pobre brada . línea de pobre'iája _ excepto- que unaS Pocas familias- con muchos hIjos que • de . 3 000,dólares, - - , la Orlginal fueron sustituidaS Por- farnilias de mayor edad, peío-sin ; Urnbrales de la pobreza urrIbrales de la Pobreza, que corresponden a los Ilarna- Se han diseñado dia0:Éppres y los cerca de„Ip. :ppbreza._.Esjc>s.utTibr:4)11:ton conjuntos,séparado0e,:,2,,-menores de 18 años el núntero de adultóSytilet familia vive o nra umbral se clefine como tm intento de 'espleifIcat ettnininto ingreso.ci:;h.qu'epú de vivir una fanulia promcclio de compostción dada.;',a1 más bajklri1sie1 9git.tentrl,,,,. con b:;,s,cStándare . S5je.:ülda prOálecientes entlpals;.estábásado uná dletanutriélonéCésttan la gifarroliáSde-difererites tarnañO`Stlipoparatbrriprar „, nal adecuada, ante la pruslmción de que no se uSa.más de un terelO[del ingreso farnifiar para corrrprar corriida". Los , dos urribraleIs<1;idesarrollaron-cleinvcstiga: _ ciories acerca del consurno de alirnentos, que reyebban que el prorne,diO ,gast.ad,o en cOrnida póIftedas láSfamilías fue de aprO)drnadátrie-nte un tetcio del'Ingresd;-' -Se supuso.que los pobres podrían terverlarniSrna;flexibilidad de. --übicíar el ingre= só córno.eliestO de la población-, pero, obilairtente';,:Sti-- rnargen de sele41-6it Podiía ser menbr: LaTcantidad nbicadá Para cornIda-del Pnl'prnédiagastado ff.ie,re'Cdrt,-;da al mínirno que ell:512partamento de agriCulturadijópcIdila seMfa las fatnibas estadou' nidenses para satisfacer una dieta adecuada. Sé-ajalj-c4e1 plaribajo de costos para caracterizar a los cercanos a e_Star pobres, y pa - -réalínefite7Pubres uno aún.na4s bajo: el plan económico de alirrieritación.2, t :
,M. Orsba.nskyl.zr,Irsiwetves
Floruhly Ldber Ecuiew, núrn. 92, iebrero de 1969, págs. 37-41. Relinpres-o c¿n autoriz.adón.
. ,
- Cómo esta b - lecer la inarC'Un Coricepdó que puede influir en el pensarnicnto público debe ser social y pOlíticarnente, - crediticio. Se néces-itan rn'aréas Pará diStinguir i grupo de la población diii upar. Flsa rriarc,a no debeseleccionar a ungrirPo-tanpégüeño:-irespet,O,de tbda.1á peblaciOnIeqUe parezcz difícil que sin'a para un programa 9,renera/, nl tári-gr-a-nde: oíre la SoluciOMa Sus prOblemas Pareca . irnposible-, pOr ejeinpló, eh lá , dec",:- adadélos treinta el préSid -énte ROOSevelt'dijo `32éo délante de mí a un terelo de la riación, Sincasasin ropa y sin comida Esta ,fraCCión es ahora parte de la hiltp r ia estadeUItiideriSel",WIMPOritalíttl nún-i-eros sé tefiganahora; si Más dé un teráll.de la pOblaciárl Se Ilarna pobi-éj--Terclerá yalor como Puntó ,de referencia Pública, .En.,--la,/drninistraciórúdei„SegUro . SociaLse-,decidió-,,que se podrían idéat-dos ri-Kidida_S!de 1¿-1 nece ,--(clád y declarar con bals;e enla Mar, -tra de ingresos.de -aciOn-Actual d -P¿'1:1-Jetói;-,'éuantos_O quét¿itétds (le :tánultIs cirin delineados
-
Límites de las poblaciones objeto
Una adecuada especificación de las poblaciones objeto establece límites, o sea, reglas de inclusión y exclusión. Un riesgo al especificar a la población objeto es hacer la definición muy amplia o que incluya demasiado. Considerar a un criminal como cualquier persona que ha violado una ley o regulación administrativa, puede ser de poca utilidad, pues sólo los individuos más honestos no han (de un modo u otro, en algún momento u otro) violado marcadamente o de otra forma una ley o regulación. Los individuos comisionados para evaluar la pobreza pueden describir a sus poblaciones objeto como personas o familias cuyos ingresos no permiten tener un estándar de vida razonable. Evidentemente, tal defini-
78
CAP. 3. PROCEDIMIENTOS DE DIAGNÓSTICO
ción no puede ser el punto de partida para valorar la necesidad útil o para diseñar un programa, pues no proporciona un criterio lo bastante específico para determinar al grupo objeto adecuado. Por tanto, una definición que incluya demasiado puede resultar en una sobreestimación de la necesidad y causar una inversión nada económica, en una intervención cuya población objeto se beneficiará poco de ella, o en una malversación del programa con el fin de servir a un grupo objeto excesivamente grande. La definición también puede resultar muy restrictiva o incluir poco hasta el punto de que casi nadie forme parte de la población objeto; por ejemplo, en un programa diseñado para la rehabilitación de presos liberados en la ciudad de Nueva York, se decidió excluir a aquellas personas con algún historial de drogas o de abuso en el consumo de alcohol. El predominio de abuso de las sustancias fue tan grande entre los prisioneros liberados que sólo uno de cada 10 era elegible para ser incluido en la población objeto.
Factibilidad En resumen, las definiciones útiles son aquellas que pueden tener aplicación. Una especificación en la que se basan algunas características de personas difíciles de observar, por ejemplo, una actitud favorable hacia la investigación evaluativa, es virtualmente imposible de poner en práctica. Las definiciones complejas que requieren mucha información detallada son muy difíciles de aplicar en la selección, por lo cual se deben evitar: los datos requirieron buscar poblaciones objeto definidas, tales como granjeros que hubiesen plantado cebada por lo menos dos temporadas, y que tuviesen dos hijos adolescentes que fueran miembros de. una cooperativa de productores, lo cual podría ser difícil, aunque no imposible, de conseguir. En general, cuanto más criterios tiene una definición, más pequeño es el número de unidades que pueden calificar para incluirlas" en la población objeto (los granjeros que satisfacen el criterio anterior podrían ser sólo unos cuantos). Por tanto, las especificaciones complejas pueden ser parecidas a las estrechas, y conllevan los mismos riesgos. Variación de las perspectivas en la especificación de las pobláciones objeto Otro problema aldefinir los problemas y las poblaciones objeto se origina en las diferentes perspectivas de los futuros profesionales, así como de los políticos o de los beneficiarios de los servicios. Lo que parece un problema humano o social para un grupo puede no ser percibido así por otro. Así, los diseñadores de un programa orientado al mejoramiento de la calidad de la habitación disponible para personas pobres, pueden tener conocimientos profesionales acerca de la calidad de las viviendas que difieran del criterio de aquella gente que viva en ellas. Por ejemplo, en el Experimental Housing Allowance Project — Proyecto de asignación de vivienda ex -perimental— (Abt Asociados, 1977), se consideraba una norma en la construcción de los edificios lo referente a la proporción del área del piso y del área de las* ventanas en las recámaras; se consideraba inadecuada la
ESTIMACIÓN DE LAS INTERVENCIONES
79
vivienda cuya proporción era inferior a 10. La perspectiva de los propietarios e inquilinos era muy diferente, ya que estimaban que tales hogares eran suficientemente adecuados. Las discrepancias también pueden existir entre los puntos de vista de los políticos y los de los otros grupos. El congreso puede tener planeado aliviar la carga del gobierno federal al reducir la ayuda especial a las víctimas de los desastres naturales. Un medio para lograr esto es estimular a los gobiernos estatales y locales para que inviertan en diversas medidas preventivas, tales como la administración y el uso de las riveras de los ríos y los códigos de construcción para disminuir los riesgos de daños y perjuicios. Los gobiernos estatales, y en especial • los locales, pueden objetar fuertemente al plan con el fundamento de que como las crecidas de los ríos ocurren en su propio terreno, tales medidas pueden perjudicarlos. Ciertamente, se ha confirmado que sólo ocurren 100 crecidas por ario, en cualquier lugar, una vez cada 100 años (en promedio); sin embargo, desde la perspectiva federal, las 100 crecidas de ríos pueden ocurrir tan a menudo como una vez cada pocos días, pues, en Estados Unidos, el gobierno federal tiene que responsabilizarse de todas las crecidas (Wright et al., 1979). Obviamente, mientras que la investigación no puede establecer el problema acerca de qué perspectiva es la "correcta", puede eliminar conflictos que podrían originarse en los grupos que discuten entre sí. Planificar la investigación puede implicar obtener la valoración de la necesidad desde varias perspectivas. En el anexo 3.2 se describe un método diseñado con el fin de valorar la necesidad de salud mental para la comunidad, al interrogar a cinco grupos de evaluados, cada uno de los cuales contribuye con su punto de vista particular. En el anexo 3.3 se muestra un ejemplo de servicios juveniles e indica que se puede requerir una variedad de fuentes para expresar los puntos de vista de la agencia, de la juventud y de los padres. Anexo 3.2: Valoración de las necesidades de salud mental voluntaria del yirograma tín máodo paral :. • El modelo cle.consumo pre.senta ,valorar las necesidade. 1 ..de.sáltid incntal comunitaria, para ló cual se ernpleá al con;',..tt surnidorcomo , uen e e ingreso. El consumiddi_;_Se -define como cuaiquier . mayor en un á rea geografic:a detertninada. El módelo-:;. miernbrorletlacornuniciad que aporta infobnaci6n cle las priorici.de rS'en las flecO dudes de serviciOs ptor pi oblerna t5Idjetivo,:grupo det_dadesu area geográfica. Dentro del rnoclelo, • co grupos de consurnidores fuerori - investtgados: 1 Agencius de Se/illd MEntal: at_tencias o inclividnos que tratan gente directa IndircctarneMb7?. con prottlermas de =2...ttfigencias,,securtdarius relocionacias: agencias que hacen referencla a.los±;: ertiiCioS -.de-szlud mental. a su cornPortamien0Y ' que, débklo c¿n riesgo§ altos indiciduos „ td i dit;idtios 3. Ir' ; pdsado o presente, usan o hatí US,71do serviciol-'dé , sakid 4 Grripos círticos ricbrnurtitariost grupo.. en la comunidad que edos dIre(_leclor de una meta común o de un propOsito específico.' -5 1_,(9 rnayoríd u,munitaria.u ira selecctunadá:;.dejesident de. un ,rt. ue Pueden est,tr asociadós o no cot i cualqureradelcloiroscu%tro -grxr,Pos.,
81
80
' . ;
A•fin cfe deterrninar la factibiliclad clel moclelo y stritso,se invéstlgárórafflaríosfg rupoS.pertenécientes-al area s'ubregional'cle. la Me-saKearny'del Conda. do de ' Sa. n Diego:bé-laS42 -arM I:suhregionalcs en el coildado, se eSco q i151 a- '-flesa Kearny ' pnrque Se aproxima._estrechamente alas caracten2stic.as'sociodernograficas cle la pobla-
ción total
CueStionatió1V-0-10-euistas Agencias de sá ud mental.-Se n úna-escuelá, 111--pettut nalniente, un centro,de erists familiar y de personas que e_seapaban, un hospital ps1qutátrieo privado, un centro de servicios familiares, VarioS ceñtros , de entrenarnientó para retardados, clínicas de consulta - externa y'facilidades ,de tratarniento.resiclenT cia!Para ruños. DelaS-13 agenclas qUe reeible,ron el euestiOnárlo, tddaS lo llenaron y regresaron. Agencias, seeundarias ielacionadas. Se incluían varias escuelas el - departarnento de vigllancla; el meclico forense, la sala jüvenil, un hos¡attal-generaLuna'casa de cómj alecencia, un centró cle'serviciósjlegaleS, uba clíni dd ció yaúdición una oficiña- de desínpleoi De las 33-1-Jgenclas'que-recibleron el cueStiOnario, 22 (66•6%)'»lo lleriaronsY regfes_aron. ' _ El cuestionario pedía , _ . a ambos grupos que graduaran.los-problemas objetivo que regiterían la primera, segUnda. Jytercera rpás:OrnédiatáValebtlopés en tres pos de edad: jóven es Vn e n n r es'ejllayibS);'aclújtOS(delaiSIM'eriatras (de 60•' o inas) Además, se buscó infortnaéjárrco tíaSe en la - cantidac(si,-eljtipo:de progra mas j existerites en el^afea de la Mesa,KeártlY. ,;,le,-plúntearonOteriritas acerca del Máinértó de persórias . serviclas, tratad¿Sjaltsta de esperay. la edad; lá rai,ét.,•y el - area, gc gr ifica Se rs ida' Grup(aS,cfrticós y cornunItarióS. Seineluían las mujeres auxibiárdélas aoencias Públicas, un club'sbcial de darnas, una asóciación de paclre_s y rriaestre, . zaciones de serYicios para bombres. una YivICA (Asociación de:jóveneS'eriStiafiOs")• y un clülápára niños. pe los 10 grupos a quines se enviótin cueStlbriaraó' ;.cinecares---: . • requería del respondietiteIltve-,Vei'tfieWtalcil;etkltósYlié'd ' rian eStar disyaonibles para un mayor número de gente en el área de la Mesá-l
- ,1
Fuenfe:Tfirni¿lo chli n .-T El`d osis 5, t,_.1 -2. 1975 u e
e tonsumer 1.1,1 71 Rei 'mprécr' .c ó' ri p€rne,
.
Anexo 3,13. VálOraCión de . tas-
áeeesidadés dela jiis-Jentúd ra El mas reciente y completo intento por clesarrollar una , metodOlogía y unosloInss Béhav• 1 'truirientós para valorar' las necesidades en los jó\; ; eneS lo Research and Evaluation Corporátion (Corporación p-ara la Eváliiáél&tie crón Conductual -BREC-).11:álatirneraestrategla recornendada,era'uh ahállsis derMformacián acerca de,las.,caiá¿terisficas ociul;; e1.-cpaipropgrcióna fáreal,i, • • ; . • . ,. . - - , dernégráfWas'yeconó miCas r de.la comuniciad, con énf¿Isis eSpecial:tantO en la ' tud, córno en la estoktura y organización de la bornuniclad ,. 'Aquí se recolectaron da Lr ás-áis-pOnibles déteenso_de los iegistroS de la Oorte.Vla policia, los datos res, los d.é la seguriCtá&lOCiál, los del clesenipleo, etc., y se analIzardrapara prender la naturaleza d la comunidad y la extensIón en qtte e_staban preSentes categorías de próbléffias,ntu d" que BRÉdtta La "valoradó:n de las necesidades de la fuVe - intento por resufnír iras.„peciclacles de toda la .ju y entud enla poláláél6n, en forma oputa OPTil los jók;ens que 'reciben ' servIcios, La rnetodolog'ía implicaba tin tnuestreo ai azar éii Iás Ocuelás g un muestreo agrupádOen lás esctielasi. o casas..Se cliseñaron cliátro,t1p -c cle;ártícJüléj s del resurrien: des y.neeesidades, especificéndo lafrecuencia de su presencla- y Seriedad; 2. sentis •", _. rnientosi--achtucie:s;wcpmportannentos, en que se consideraban cuatro factores: "c1)1, oporttinidades percibidas para lograr as metas persbnales .y los paPeles soclales deseados, b) marcado negátiYól3éI.ibiclo por padres, rnaestroS y arnijOsí_ic) :nile.ntes de, soledad y recha-z¿a:Y -c4,Mjvolucración autorreportada en conditCtas ti y as-‘7; 3 percepctón y és;álúrzlcióii -del jOVCilieSpeeto de los servicios disponibles y de " las age,néias, y 4, Antecedeptes'PersonaleS y,datos socloeebn6rnItial,cle)6140, m i›Cládéklio —1 'd.-1 s , 1 d' t . una datos base para valoraciones de la.repercusión subsecuentesy Lás percepciones del equipo cle la agencia en que se consideran las neceslda7des de los jóvenes se pneden medir con el másrno instrumento ernpleado - por los jóvenes, donde las agencias personales sbn Mterrogadas para astiMar.:el:p.orcenta de jO y enes con problerna.,y,yalori.,,,ar,ta:SértédIr'.de-e..StOsitíltiM'Istr"•-Fuente::11,urne,-;', con arid Fecubock InstrumenLs, vot 1,
íle ry-
ricititrokfórCorybnprotpfip ,a1 ke,c31-<_h In-titufz, EGfilder,
C.C4drac.1, 6¡1
'
La información colectada de los diversos puntos de vista acerca de la necesidad puede permitir considerar de nuevo el problema, la prospectiva de la intervención o la posibilidad de abandonar el programa (sobre todo si cada punto de vista pierde validez por manipularse excesivamente y ser altamente contradictorio). La consecuencia de proceder con la idea de que existe un consenso cuando lo que hay es un conflicto considerable, se puede ver en el destino del programa de renovación urbana (Wilson, 1966). Este programa se estableció después de celebrar un convenio en el que se consideraba el importante criterio de la dilapidación y obsolescencia de la vivienda por los diseñadores, los residentes y las instituciones. El criterio seguido por los diseñadores a menudo no corresponde con el de los residentes. En consecuencia, los proyectos de renovación urbana en cada ciudad crean conflictos con rencores, tantos que en muchos casos los programas se abandonaron gradualmente.
84
85
CAP. 3. PROCEDIMIENTOS DE DIAGNOSTICO
Otra vez, mientras que todos los adultos analfabetas están en el grupo de los que requieren un programa educativo vespertino, sólo aquellos que tienen disposición o que pueden ser persuadidos de participar se consideran la población objeto (esto es, aquella con demandas). Evidentemente, las distinciones entre población en riesgo, con necesidades y con demandas son importantes para estimar el alcance de un problema, anticipar el tamaño de la población objeto y diseñar subsecuentemente, así como evaluar y poner en marcha el programa. Incidencia y predominio Otra distinción útil es la diferencia entre incidencia y predominio. La incidencia se refiere al número de nuevos casos de un problema particular identificado u originado en un área geográfica durante un periodo específico. El predominio se refiere al número de casos existentes en un área geográfica particular en un tiempo específico. Aquí, de nuevo se han derivado los conceptos de los esfuerzos en el área de la salud, donde las distinciones entre los términos son agudas; por ejemplo, la incidencia de la gripe durante un mes determinado podría referirse al número de casos nuevos detectados durante el mes. El predominio de la gripe podría ser el número de gente afligida en cualquier momento en un mes específico. Al planificar proyectos en el sector salud, generalmente existe interés en la incidencia cuando se relaciona con alteraciones de corta duración, como las ínfecciones del aparato respiratorio superior y los accidentes menores. El predominio es un concepto importante para aquellos problemas que no se pueden erradicar rápidamente, sino que requieren administración a largo plazo y un tratamiento exhaustivo. Esto incluye diversas enfermedades crónicas, como el cáncer, y las enfermedades de larga observación clínica (por ejemplo, la disentería y la desnutrición severa). Los conceptos de incidencia y predominio se han adaptado al área de los problemas sociales. Algunas veces su uso obvio; por ejemplo, al estudiar la trascendencia de los delitos en las víctimas, el problema crítico es la incidencia de casos nuevos que ocurren por intervalo de tiempo en un área dada. Proporcionar servicios para prevenir el abuso por mes hacia los niños en una ciudad sería una medida acertada de la necesidad de intervenir para resolver ese problema. Para otros problemas sociales, a menudo no es claro si se debería definir o no a la población objeto en términos de incidencia o predominio. Al relacionar el problema del desempleó, es importante conocer el número o las proporciones de la población total desempleada en un momento dado. Sin embargo, cuando lo concerniente se basa más en la provisión de apoyo financiero para los desempleados, no está claro si la definición se debe referir a las personas desempleadas en un tiempo particular o a aquellas que se convierten en desempleadas en un periodo dado. El principio implica centrarse en el problema de si uno está interesado en detectar y tratar los casos conforme aparecen, o en detectar los casos existentes en una población, cualquiera que sea su tiempo de origen.
Rango Además de estimar el tamaño de un problema grupal, es importante conocer el rango de un problema específico. Muchas veces es difícil expresar la incidencia o el predominio como un rango: el número de casos nuevos de desempleo o por debajo del desempleo en un área en la que se experimente una recesión se podrían describir con la base por 100 o por 1 000 de una población (por ejemplo, 133 de cada 1 000). Los rangos o porcentajes son especialmente críticos para identificar las características de una población objeto; por ejemplo, para describir el tamaño y las características de las víctimas de delitos, es importante tener estimaciones por grupos de edad y sexo. Aunque casi todos los grupos de edad están sujetos a ser víctimas de algún tipo de incidente delictivo, la gente joven es mucho más susceptible de ser víctima de robo y asalto, mientras que las personas de edad madura o avanzada quizá hayan experimentado más asaltos y hurtos en su hogar; el hombre parece ser menos víctima del abuso sexual que la mujer, etc. Poder estimar a las poblaciones objeto por medio de varias características permite planear y desarrollar el programa de tal manera que maximicen las oportunidades para incluir a los particípantes más apropiados y vincular al programa con las características particulares de los grupos medibles. Las estimaciones de las poblaciones objeto y de sus características se pueden hacer en varios niveles de fragmentación; por ejemplo, los rangos de analfabetismo, calculados al dividir el rango de iletrados funcionales en varios grupos de edad entre el número total de personas en tales grupos de edad, permíten estimar la población objeto que se puede obtener si se relaciona un proyecto con series específicas de periodos de edad. Las técnicas estadísticas más eficaces se pueden emplear para tener en cuenta simultáneamente las variables sociodemográficas adicionales. En muchos casos no sólo es tradicional sino también útil especificar los rangos por edad y sexo. En las comunidades donde existen marcadas diferencias culturales, así como variaciones en el pasado racial, étnico y religioso, también son importantes estos denominadores para dividir las características. Otras variables útiles para identificar las características de la población objeto pueden ser el nivel socioeconómico, la localización geográfica y la movilidad residencial (para un ejemplo de los rangos de víctimas por delito divididos por edad, sexo y raza, véase el anexo 3.5). Un conjunto final de rangos se puede referir a los problemas relacionados con la habilidad para participar en el programa y con las medidas relativas a la ejecución del programa. Así, en varios programas de entrenamiento técnico puede ser ventajoso estimar los rangos por grupos que requieren 15 minutos, media hora o más de una hora para llegar a los centros de entrenamiento. SELECCIÓN DE LOS OBJETIVOS DEL PROGRAMA Los programas son más eficaces y efectivos cuando los objetivos alcanzados se limitan a las unidades que necesitan la intervención; es decir, en los términos señalados en la sección acerca de los límites de las poblaciones objeto, no hay inclusión excesiva ni inclusión deficiente.
Anexo 3.5. Rangos de victimizacion criminal
87 Inclusión excesiva
Delitos peisonales: rangos d e_yictimización por edad de las personas cle 12 atíos O más, por raza, sexo y edá'd de lás y tipo de delitos (proporción por 1 000 residentes de la población envíctimas, cada grupo) Raza, sexo y eclacl
Ilomicidlos con uiolencia
Homicidio pcir robo
Blancos Masculino 12-•5-(14100)
16-11 05,700) 20-24 (28.100) 25-34 (29 100) 35-49 (26.700)' 50..-64 (27.-700) .65 .b . rnás (19.900)
129 157 139 112 51 54 38
69 133 164 150 93 69 66
Fernenino 12-15 (13.100) .1619 (19.200) 2024 ,1 (133.400) 25-34 (31.400) 35-49 (29.7.00) 50764 (36.500) 65 o más (34.400)
64 65 73 62 34 31 14
56 187 229 190 131 81 59
Negros Masculino 42-15„(4.200)
(3.6b0) (4á00) 25-34 (5900) 35 19--(5.8b0) 50-64.(3700) - 650 más (1.800)
71 113 173 59 65 56 15-4
148 97 160 131 100
47 102 67 64 46 30
56 94 82
Inclusión exceSiva y evaluación de la utilidad de un programa
191
Femenino
1245 15.0P0) 16.19:(4.500) '20-24•(7.000) 2534 (10...100) 35 ,19. (8.200) 50 64 (5.100) 65.o rnás:(.,?,po)„..,...
tefletéla:/a . población en eT grupo, e,staciísticarnente poco
, . significatisiá,q
. Ncitioritit:Olíne.
Sun., ' Reltrirf
114 114 123 '66
O
.
. D" -
Las implicaciones de tal deficiencia suelen ser serias para el esfuerzo total del programa; por ejemplo, en términos de costos, es cuestionable exponer a comunidades enteras a programas educativos, culturales, de vivienda y médicos, cuando sólo un pequeño porcentaje de esa población está "en riesgo". Es más, desde el punto de vista de estimar la repercusión del programa, fallar en definir efectivamente a la población en riesgo disminuye las posibilidades de detectar efectos positivos. Éste es el problema de tener demasiados "positivos falsos" en el grupo objeto en una evaluación de la repercusión (véase el capítulo 9). Considérese un programa diseñado para incapaces de aprender, en el cual se incluía a todos los escolares de una comunidad en la que sólo el 5% de los niños presentaba esta anomalía. Si el programa es eficaz sólo con el 5%, las diferencias en el aprendizaje de las prepruebas y de las pospruebas probablemente no son reveladoras (a menos que la población de escolares sea grande), pues la mayoría de los niños a quienes se dio tratamiento no lo necesitaban y, por tanto, podría no esperarse beneficio alguno. Inclusión deficiente
. Ii;i
Especialmente en el caso de proyectos en los cuales los recursos son insuficientes para abarcar a todas las poblaciones objeto potenciales, se considera a la selección como más eficaz si el tratamiento se da principalmente a poblaciones objeto con las más altas probabilidades de resultados exitosos. Tal enf oque hace máxima la probabilidad de contar con rangos favorables de costos por beneficio, y la probabilidad de que la trascendencia positiva se pueda demostrar; por ejemplo, un programa diseñado con el fin de reforzar el contenido nutritivo de las dietas para niños, a quienes se dieran almuerzos escolares a un precio bajo, podría ser ineficaz si alcanzase a una gran proporción de nirios que ya tienen dietas adecuadas. Éste podría ser el caso si todos los niños con deficiencias nutricionales también fuesen beneficiados por el programa. Así, si en el programa se incluye a todos los niños con deficiencias nutricionales, pero el 90% de beneficiados no sufren esa condición, una gran proporción de los recursos que llegan al programa se podrían "desperdiciar". Tal inclusión excesiva a menudo resulta en intervenciones poco económicas. Sin embargo, cuanto más exacta y precisa sea la selección de las poblaciones objeto más costosa será la selección de los procedimientos implicados. Un procedimiento de selección en un proyecto para combatir el analfabetismo funcional de poblaciones objeto específicas por medio del sometimiento de múltiples personas a pruebas elaboradas, sería muy costoso por cada caso de analfabetismo no incluido, agotando de este modo los recursos que se podrían usar para proporcionar los servicios.
A
1977, ros 26 -
•
La inclusión deficiente no sólo niega oportunidades al programa y a la participación de poblaciones objeto con necesidades altamente en riesgo, sino que
88
CAP. 3. PROCEDIMIENTOS DE DIAGNÓSTICO
también existe una negociación entre los costos de selección y los recursos disponibles para la entrega del tratamiento. En un programa'preventivo diseñado para cuidar la salud será posible identificar, mediante pruebas de laboratorio, a aquellas personas en la comunidad que no hayan desarrollado una inmunidad a la polio, y dar la vacunación sólo a este grupo. Sin embargo, tal procedimiento podría ser ineficaz, pues los recursos necesarios para realizar este fin son mayores que el costo de proporcionar vacunas contra la polio a todos los miembros de la comunidad. Asimismo, un proyecto en el cual se abastezca de agua desde la central por medio de tubos para todos los hogares de la comunidad, incluidos aquellos que ya disfrutan el líquido potable, puede parecer muy complic,ado; no obstante, los costos de enlazar el proyecto para eludir las viviendas, la ulterior contaminación que sufre el agua potable y la dificultad para que el público acepte un proyecto selectivo son argumentos válidos para restringir a las familias objeto a sólo aquellas que tienen pozos contaminados. Algunas razones psicológicas y políticas permiten definir aisladamente a la población objeto, en vez de la exclusiva de población con necesidades o en riesgo. Primero, la identificación eficaz de la población objeto con una condición que pueda estigmatizarlos aumenta - seriamente las condiciones éticas: un estudio efectivo para localizar a niños medianamente retardados para un proyecto especial, puede resultar en un señalamiento hecho por compañeros y maestros, con la consecuencia de que cualquier beneficio del programa selectivo es opacado por los efectos negativos del proceso de señalización. Así, podría ser mejor abrir el proyecto a todos los niños (o por lo menos a aquellos que parezcan experimentar menores efectos por el hecho de ser señalados). Segundo, cuando en los programas se incluyen oportunidades, bienes y servicios valiosos para todos los miembros de la comunidad, y sólo aquellos con características particulares o que vivan en determinadas circunstancias son admitidos, tanto el personal como los políticos del programa pueden tener que afrontar antagonismos considerables y pérdida del apoyo comunitario. Esto se puede explicar porque los proyectos son poco cuidadosos para identificar a las poblaciones objeto y para seleccionar a aquellas que tengan una alta y definida probabilidad de tener necesidades o estar en riesgo. PROCEDIMIENTOS PARA ESTIMAR LOS OBJETIVOS Para estimar el alcance de los problemas que requieren nuevos esfuerzos de intervención y la población objeto de manera que permita el empleo más efectivo de los recursos y el personal disponible, se pueden utilizar una gran variedad de técnicas, las cuales varían en su complejidad y costo. Las listadas a continuación se describen en orden ascendente de complejidad y costo. Acceso al informante clave El acceso al informante clave es un término que denota una técnica de investigación poco costosa e informal, la cual incluye a los líderes y expertos conocidos que pueden identificar, seleccionar y cuestionar de tal manera que se construyan estimaciones de los problemas y poblaciones objeto. Esta técnica facilita una imagen amplia de las necesidades y los servicios percibidos como importantes y las
PROCEDIMIENTOS PARA ESTIMAR LOS OBJETIVOS
89
características de la población que lo requiere; además, tiene la ventaja adicional de que desarrolla el apoyo de las influencias de la comunidad, las cuales pueden ser necesarias para diseñar el proyecto y continuarlo. La mayor limitación de este tipo de procedimiento es que tiene una desviación interna de los individuos y de las organizaciones investigadas; descuida la posibilidad de que las características, el predominio y la incidencia de los problemas de las poblaciones objeto puedan ser percibidos incorrectamente por los líderes y los expertos. Es más, las perspectivas de los líderes y los expertos se pueden caracterizar tanto por su carencia de conocimiento profundo de los segmentos que constituyen una compleja y ampliamente distribuida sociedad, como por sus "intereses"; por ejemplo, el punto de vista de un terrateniente con respecto al problema de la habitación puede ser diferente del de los inquilinos. El acceso al informante clave funciona mejor cuando los líderes y los expertos son cuestionados acerca de la información concreta y específica. Así, se arriesga la perspectiva de desviación al preguntar a los líderes acerca de cuáles son los problemas principales de su comunidad. En contraste, si se identifica cuántas familias se localizan en el bloque de transportación de líneas públicas, lo hace menos propenso de desviación, ya sea hacia arriba o hacia abajo, especialmente si se consulta a quienes están familiarizados con los servicios locales de transporte público. Cuando se usa este procedimiento, es buena estrategia diseñar una lista de entrevistas potenciales antes de iniciar la investigación. Si el evaluador conoce muy bien a los líderes y a los expertos de la pequeña comunidad, podrá elaborar una lista de hasta 25 líderes clave. En caso contrario, un enfoque alterno será comenzar con un pequerio número de informantes (por ejemplo, de cinco a 10) y luego usar una técnica conocida como bola de nieve, la cual consiste en solicitar al informante que mencione dos o tres nombres al final de su entrevista, que sepa que conocen el sector de este problema particular. Esta técnica no se debe emplear en más de 50 entrevistas. Los dos principales criterios para seleccionar a un informante clave deben ser: a) el conocimiento de la comunidad, su gente, sus necesidades y los patrones del servicio recibido, y b) su liderazgo potencial. El primer criterio permite exarninar la entrevista con profesionales locales y expertos (maestros, doctores, enfermeras, expertos locales técnicos, empleados civiles y similares) quienes, por virtud de sus ocupaciones, se relacionan con un rango de personas, propietarios y condiciones en el área. El segundo criterio está comprometido con el punto de vista de los posibles beneficios políticos para el proyecto. El uso de líderes puede permitir a los administradores del proyecto obtener su apoyo, en el mejor de los casos, o por lo menos la neutralidad. Esto facilitará la etapa de ejecución del programa, si el proyecto reúne cierta oposición potencial entre las poblaciones objeto. Otro criterio puede incluir accesibilidad con los administradores del proyecto, si un informante potencial representa a un subgrupo o población particular, y si la persona es un consumidor o un consumidor potencial del programa. Con esta técnica es útil construir una guía de datos por adelantado; es decir, una lista de reactivos que cada informante plantee para completarlos o que se conteste ulteriormente en una discusión informal con los informantes clave (para un ejemplo, véase el anexo 3.6) El uso de una guía de datos facilita
90
CAP. 3. PR OCEDIMIENTOS DE DIAGNOSTICO
una rápida recolección de las respuestas de los informantes clave y ayuda a estandarizar la información de todos los informantes. Una vez que todos los informantes han sido contactados y entrevistados, la información se debe resumir y, si es posible, poner en forma tabular. Muchas veces, después de tabular los datos es valioso proporcionar una ret roalimentación a los informantes clave, un paso que permite verificar la información y los resultados recolectados. También es un medio para que los informantes clave sigan participando en la planificación y el desarrollo del programa.
nexo 3.6. Guía de entrevistas sugeridas para et'enfoque del inforrnante clave, a fin de valorar las necesidades en salud mental comunitaria Posibles temas por discutar con cada persona entrevistada: 1. Problemas c-ornunitanos (general) En orden de prioridad de la importancra. Recursos extstentes ,.para ayudar a cada problerna, Necesidades y p ró6lernas rio reunidos. por grupos. - ¿Quién abandona mas consistentemente los sei vicios? ¿Qué problemas no son evidentes? , 2. Problemas de salud mental Una Ilsta prIontaria de serjeclad incluido ci predonanio). Fuentes easi,pentes de ayuda á cacla pioblerna. Actitudleeamitarias hácia el usb de los servie.íos de s ilud mentai público-s. Grupos que toman mús SCrViCi05 de salud mental, Grupos que están más desfavoreCidos. 3. Actitud bacía los centros de salud mental comunitaria. ¿Quién solicita ayuda a • los centros?
, ,.Qué otros tipbs de recursos dé ilud
mental usa la gente en la cornunitlad?, ¿qUién los tra? Qt0.(..,'n no uud. adira a Ios centros y por ¿Q0é.gli:Ipds—oknetelidades de.servicios de'sálud mental son menos ?"-(1,-;17élt7-2 un mapCi cie la cornurudad). Fúéát1::Adá D. C . 1976, p.. 107.
-
át tó jjályiitiiiité c>f Worki7?q Manud of Slu g ; , le Pr,lururn /4'ilini101'.;1¿7(tri '/F-1,2,-,101Cen t ,.rs GJVC. Fs m rut Print inq DffIce. 1ru un ton,
91
Acceso al foro comunitario Este tipo de enfoque asemeja una asarnblea abierta, esto es, una recolección de miembros de una organización comunitaria designada o aun de grupos informales. En esta técnica se obtiene la participación del ciudadano, aunque también es una manera de obtener estimaciones de una variedad de individuos acerca de la incidencia y el predominio de los problemas particulares y respecto de las características identificables de las poblaciones objeto. El enfoque también se puede usar para recolectar datos acerca de qué tan bien se percibe el trabajo de un sistema. La utilidad del acceso al foro comunitario depende principalmente de si la atención a tales reuniones abiertas constituye una representación equilibrada de los miembros y las poblaciones objeto de la comunidad considerada, y de si los participantes se sienten libres para expresarse abiertamente. La técnica puede ser superior a la anterior —el acceso al informante clave — para obtener información clave válida acerca de si el evaluador tiene éxito al efectuar una junta entrecruzada de los evaluados. A menudo, esto se puede hacer cuando se tiene en la junta un representante de las personas influyentes o un patrocinador de las organizaciones respetadas. Por tanto, esta técnica algunas veces se utiliza como de seguimiento para los accesos a los informantes clave. Este tipo de acceso es económico, pues permite aprender las percepciones y los diagnósticos de un gran grupo de personas a un costo relativamente bajo. Las limitaciones son bastante obvias. Un foro puede restringir los géneros de información que las personas deseen revelar. También puede esconder los puntos de vista de aquellos quienes es más probable que participen, y probablemente se desvíen y no obtengan información ni perspectivas de los individuos que se perciben a sí mismos como menos influyentes en la comunidad. Un foro puede convertirse en el escenario en el que los resentimientos políticos locales se manifiesten, de modo que produzcan más rencor que datos. Esta técnica del foro es más efectiva cuando los objetivos del programa y las operaciones del sistema de entrega se pueden establecer explícitamente en términos de accesibilidad al grupo que integra el mismo. De otra manera, la información recibida puede ser valiosa en términos de necesidades de valoración general, pero puede no estimar la extensión de un problema particular y las características de las poblaciones objeto. Algunas veces, con el fin de obtener un entrecruzamiento más amplio que el que se pueda esperar al tener un foro general, se hace un esfuerzo para realizar varias juntas del mismo género, pero con poblaciones variadas, cuidadosamente definidas y seleccionadas; por ejemplo, en las comunidades con varios grupos religiosos se pueden manejar juntas separadas para cada iglesia, bajo el patrocinio de los líderes religiosos locales. Las restricciones en uso y aplicadas al acceso al informante clave también se aplican a este tipo de acceso. El potencial de estructuración de la desviación para las necesidades, el tamaño y la extensión de la población objeto es considerable. Esta técnica se debe usar sólo como complemento de otros métodos, con el fin de estructurar el consenso patrocinador de un programa, o en ausencia de bastantes recursos para emplear alguno de los otros métodos mejores, los cuales se describirán en las secciones siguientes.
92 Acceso a los porcentajes bajo tratamiento Este acceso, tan comúnmente usado, estima a las poblaciones objeto mediante los servicios utilizados para el mismo problema objetivo en una comunidad similar. La suposición que subraya este acceso es que las características de la población objeto deseada y su tamaño están relacionadas estrechamente con los atributos que presentan aquellos que ya han recibido tratamiento. Algunas veces, sobre todo en las comunidades donde no se han efectuado intervenciones previas, las estimaciones se pueden derivar de una o más áreas geográficas que se asemejen al sitio propuesto para el proyecto. Si se pueden encontrar áreas en las que las propiedades sociales y culturales de los individuos se reflejen iguales a aquellas en las áreas proyecto, se podrán derivar estimaciones de las poblaciones objeto en términos de tamaño y características. Casi seguramente, las estimaciones derivadas de los porcentajes bajo tratamiento tendrán una desviación hacia abajo. Los proyectos rara vez abarcan totalmente a una población objeto; por tanto, cualquier cliente dado al proyecto será un subconjunto seleccionado de la población objeto. La selección puede ser forzada por la escasez de recursos o por fallas de la población objeto para usar los servicios ofrecidos. Esto puede tener sentido en ciertas circunstancias para considerar tales estimaciones, como en los límites más bajos para estimar el tamaño de una población objeto y para ajustarlos de manera coordinada; por ejemplo, los Reportes uniformes de criminalística, publicados por el Department of Justice (Departamento de Justicia), se basan en los delitos informados por la policía. Las gráficas y figuras se trasmiten luego al Federal Bureau of Investigation —Oficina Federal de Investigación— (FBI). Los porcentajes de delitos impresos en esos reportes son, en principio, índices de los "porcentajes bajo tratamiento" y expresan los "casos" que han recibido algún tratamiento (o se,a investigación) por los departamentos de la policía local. Cuando estos delitos se comparan con los delitos informados en las investigaciones (en las cuales las personas son interrogadas acerca de los delitos que han sufrido), esto hace obvio que dicho reporte no estima significativamente (pór un factor de cerca de cuatro) el número total de delitos en los cuales una víctima está involucrada. Esta baja estimación ocurre, en parte, debido a que algunos delitos no son informados a la policía y, en parte, porque la policía no pasa fielmente al FBI las gráficas correctas elaboradas por todos los delitos informados a ella. De muchas maneras, el uso ecle las estadísticas del servicio y de las oportunidades para sustraer información de los registros de las poblaciones tratadas parece proporcionar un rnodo atractivo de estimar a la población objeto. Los porcentajes bajo tratamiento también se usan para estimar el rango que abarca cualquier programa existente; por ejemplo, si la información acerca del desempleo proporciona una estimación de 5 000 personas desempleadas entre los 18 y los 25 años en una comunidad particular, pero las estadísticas revelan sólo 250 personas de esa edad que participan actualmente en los programas de entrenamiento para el trabajo de la comunidad, esto hace evidente que el programa se debe modificar. No obstante, cabe señalar un buen número de precauciones importantes. En muchas intervenciones los registros del servicio y las estadísticas derivadas de ellos son poco confiables. Es evidente que muchas agencias consideran que man-
PROCEDIMIENTOS PARA ESTIMAR LOS OBJETIVOS
93
tener registros es una actividad que tiene poca prioridad, sobre todo cuando se exige la prestación de servicios. Asimismo, como el proyecto recibe apoyo económico y político cuando demuestra que hay una población de clientes grande, muchos se esforzarán en exagerar las necesidades de su servicio yfa extensión de los servicios ofrecidos. Algunas veces esto es a propósito y muchas otras esto aparece más o menos inconscientemente, debido al entusiasmo de los proveedores de servicios por su proyecto particular. Acceso a los indicadores Muchas oficinas federales, estatales y comunitarias mantienen buenas estadísticas que se pueden usar como base para estimar a las poblaciones objeto. Estas estadísticas incluyen datos tales como tendencia a la fertilidad, a la mortalidad y a la incidencia de ciertas enfermedades; los indicadores económicos tanto del desempleo como de los ingresos personal y familiar, y la información acerca de delitos, pobreza y delincuencia juvenil. En Estados Unidos se encuentran disponibles datos valiosos acerca de la población y la composición de las casas en las jurisdicciones estatales, locales y políticas (ciudades, pueblos, condados), y las pistas de los censos en las áreas urbanizadas. Dichos datos se pueden obtener ya sea publicados como resúmenes o en cintas de computadora para uso público. Para los problemas sociales definidos en térrninos para los cuales los datos del censo son apropiados, el censo decenal puede aportar excelente información de las necesidades de la valoración y para ubicar las pollaciones objetivo; por ejemplo, se puede usar el censo para ubicar a personas y familias de acuerdo con su raza, edad, estatus socioeconómico y condiciones de vivienda. Para las áreas estadísticas estándares metropolitanas (AEEM, definidas como las ciudades y áreas principales que tiene una población de 50 000 habitantes o más) están disponibles los datos por área de censo, o sea, superficies con promedio de 13 km 2 y que contienen un promedio de 4 000 personas. En el anexo 3.7 se muestra el uso del censo de 1970 para producir estimaciones de la población objeto para los programas denominados límite superior e ínvestigación del talento. Anexo 3.7. Estímación,de lawoblación de los prOgranias en busca del talento educ.atilki y brnite superior, con datos de14censt„ „ sitos del estudio fueron esti mar el tarnaño p .• Los propd -educativo».de lá•pobl3ción=6bjetci:ydesd-ribirlsW:•:, en laIBTE composición 'dón, r espetiolde las caracteilstiéas persenalés y demográficas En , este estucho, lalpobla.cióiY:elbjétodefinió paráinclu,todas las,personas.de,14 a 24 1970, Oyo. lradOsnpertor cursado enla ec'uélá--ésttivieraeiitté-étS0xto,yel de.cirricendC?)IradiSS:derlducacrón; y:cuYbs-ingre_scs,familiáres en.1969;:fáéran inferiCreárniel da pobreza Las personas incluicLAs,enjá ppbl'adón (Oficina de Offtcof Llicaion:dá$Ciá'¿le regi.ohir 'y-.Jsratai 'Según EduCaajend.é.:ES'tad. 9.2X0; . arif&.-edéntes:ctriori-Seia l es y estatus escolar, 1._(5.-:'daidsr,registraclos en el Cé.nsó CIC'pOblaCión cle 1970 revelaron queJas -
94
95
-poblaciones objetoppra , L5 y BTE incluía. ná'3,8130:000 personas„ó„. páblacióri de Estack,s pnid-c.)s en 1970 La población objeto seael 2c1;de ' ábardába a 2.1 millones de rnujeres y 1 8 millémede,hornbrés;y:sírcolnposiciórán-Oii-acIO-nal incluvi5 1:1'1:,7_1c` blaneos36T,;_.de n Idt4-:1.:(5,111.:.d¿keS'eeridléntes de...e'sbaotes metiosf-cieLlyde personas con otros antecedentes etnorraciales:-EnU976;e-1 2. ilráélJ- POSIOcióii:6b5to estaba'inscrita e'tála , , - escuela entre.elsexiOde . „ ." eirno‘ segundo grados. y no lo estaban. Ge o g ráíicarnente,..erniayor núme- • ro de:persolias:n lá-, población . objeto esta,ba en la reglón IV de la USOE la cual incluía a 1 0 .5 .1.S200. 1er sonas (o sea .el 27;(i,de la poblati6rilObTáitOtáWeguiela 6 (o Sea, e11.6% de la po6lación objetO'idtal): VI27 200 .de lá regióttYeon , La polalacip'n"objeto se estirnó de'uno en 100 muestraS de IplregistróSibáslcos del eenso -de l pb-bláCión de,1970, pero la estimación agredada rmáneceálid en térr ytinos de,-,..1objettyos que el tamaito de.la población óbjetiy naáónal d eelin 6 . -enÁláV:de'l70'a
•
l'- Fttentel 'Art l.MA,-cen .pri-rn176';'& rr FI:-Stri71-riits CiiilzéS;t1rhateso thé.T for Upward Bnund und Taent Search 1?ro9rams, Re_seai-c 1.~é)01011. atO.DiaianV
'
Si se pueden usar o no los datos del censo, ya , sea en su forma publicada o no publicada, dependerá de qué tan rápido éstos se vuelvan obsoletos conforme pasa el tiempo o de qué tan adecuada es la serie de ellos. En áreas que han experimentado considerable crecimiento y cambio en la estructura de las poblaciones por medio del aumento de la inmigración, los datos del censo pueden ser extemporáneos en pocos años y, por tanto, de poca utilidad para estimar a la población objeto. Sin embargo; los indicadores tienen otro valor: como series de tiempo. Los datos de series de tiempo derivan de observaciones hechas a intervalos regulares, de tal manera que la pista de la incidencia y del predominio de problemas particulares se puede evaluar (Sistema Estadístico Federal, 1976). Los cambios repentinos y agudos en esos indicadores generalmente señalan la emergencia del fenómeno que requiere los programas de acción; por ejemplo, dado que hay una correlación coriocida entre el desempleo y el rango de suicidio, y los datos de las series de tiempo del punto del desempleo hasta un aumento máximo en el número de trabajadores desempleados, también se puede anticipar que habrá un incremento marcado en el número de personas que requieran los servicios de la unidad de intervención de suicidios. Se pueden obtener muchas series de datos de interés para personas relacionadas con problemas sociales, pero principalmente se definen para unidades geográficas muy grandes, a veces la nación en su totalidad, los estados o las AEEM (definidas anteriormente). Los datos indicadores sociales para áreas dentro de ciudades o'condados, se pueden elaborar mediante el acopio de datos provenientes de las agencias encargadas de recolectar esa información (en este caso, el Departamento de Salud Citadíno). A menudo, la comparación de esos rnateriales y el cálculo de los rangos de varios periodos son muy costosos y consumen mucho tiernpo. Por tanto, a menosque las séries dé tiempo estén publicadas, no será posible reconstruirlas en una locálidad particular y comunitaria.
Investigaciones y censos El medio más directo y generalmente más seguro para tener datos exactos acerca de los problemas objetivo y de las poblaciones objeto puede ser realizar censos especiales o investigaciones de la muestra, en las que se empleen las mejores técnicas de medición y que las estimaciones se deriven en las condiciones más rigurosas. Un censo se puede definir como una enumeración completa de las unidades poblacionales (individuos, familia, firmas, etc.) respecto de las cuales se obtienen las características adecuadas de la unidad. En contraste, una inuestigación de la muestra se puede definir como la medición ampliada a una muestra de la unidad en Una población, y la muestra se sortea de tal manera que minimice la desviación al seleccionar la unidad. Evidentemente, existe una relación estrecha entre los censos y las investigaciones de la muestra, pues unos y otras comparten los problemas y se esfuerzan en dar estimaciones acerca de las poblaciones. Las investigaciones de la muestra son preferibles a los censos por dos razones: 'Primero, son considerablemente inenos costosas y segundo, cuando se realizan apropiadamente proporcionan estimaciones de las características de la población en cualquier grado de precisión deritro de los límites calculables de error para la muestra. Además, las investigaciones de la muestra se pueden efectuar con mayor cuidado y minimizar los errores de medición. Cabe señalar que las investigaciones no se deben limitar al estudio de individuos. Las investigaciones de la muestra se pueden realizar en familias, grandes grupos organizados (como en unidades) o entidades físicas (como en hogares, negocios, parcelas agrícolas y caminos). La ciencia y el arte de examinar la investigación de la muestra los explican bien Rossi y sus colaboradores (1982) y Sudman (1976). Existen las metodologías para los muestreos cuidadosos y la entrevista apropiada de los instrumentos para la construcción. En la investigación se usa la medición estándar para medir el predominio y la incidencia de ciertos problemas. Por ejemplo, un esquema de la investigación podría incluir una lista de las habilidades funcionales medidas en los miembros de la familia, en tanto que los artículos y las pruebas para hacerlo incluirían una lista de las características de la vivienda, los niveles de incapacidad en la salud, etc. Estos géneros de medidas, junto con las características de duración de la residencia y los ingresos familiares, permiten estimar a las poblaciones objeto con gran exactitud. Los requisitos mínimos para realizar adecuadamente una investigación de la muestra incluyen un buen procedimiento de muestreo, un bien preparado y probado esquema de entrevistas o guía de observación y entrevistadores o tabuladores capaces que conozcan las áreas que se investigan o que se consideran implicadas. Debido a que las investigaciones pueden ser costosas y de mayor demanda técnica, deberán emplearse sólo cuando exista una justificación adecuada de los costos implicados y cuando esté disponible el personal entrenado adecuadamente. Muchas investigaciones de la muestra, aun las de pequeñas poblaciones, requieren meses de preparación, y para proporcionar información útil y predictiva, necesitan ser en gran escala. En general, pocas investigaciones de menos de mil entrevistas u observaciones serán de utilidad; las investigaciones en gran escala suelen ser necesarias para estimar la incidencia o el predominio de fenómenos relativamente raros.
96
97
cAP. 3. PROCEDIMIENTOS DE DIAGNÓSTICO
En el anexo 3.8 se ilustra el uso de investigaciones de la rnuestra realizadas entre familias con niños de menos de 13 años que aún viven en el seno familiar. El propósito del estudio era estimar las necesidades en cuanto a facilidades para el cuidado del niño, así como el uso de los diversos tipos de arreglos para el cuidado infantil en las familias de esta . clase en Estados Unidos en .1975. Mientras que pocos investigadores evaluativos necesitan estimar las poblacionés objeto para Estados Unidos como una unidad, los .mismos principios se aplican a investigaciones .de la muestra en, pequeñas áreas o aun dentro de instituciones. En el anexo 3.9 se ilustra ei uso de investigadonesde la muestra para áreas Pequeñas (en este casóBrookline, Massachusetts).
Ariexo' 3.8.'Estudio riacional acerc del -cOnsumidor del cuidado al;niñ Los datos Colectados en esta inVestigación representan el e -xain e. n: Mas comple•: haaja_teehalle los patiOrieS aiTtuales del u5o clel cuidado al niño en EStados Unidos. niuesira dC2 Probabilidad estratificadanaélon'al:de:= aprox" ínádarMente 4 600. fanallias . cOn niños de13 aflos o menores. Ni lo5 niños . familias con baj oslii, g-resós.:,fueron sobtirpt!' eitreados para garannzar-,-,su La 1n si estidá 'éb¿ri'if"derit1f1éj5 las n-iliCigdés'Slgulerítes réspect&del Ouidado- iarni casá por un pariente b) en casa por 'un desconotido', c) co otra . caSa por un desConóelcio; enfermeras . cuidad a preascolar,f) centros dé :reiii. dado q) programas dé cbp'perativas;.h) progra: Mas de'cuidado t)- _ rhaefici::Tambien sé:hizo una distiriCión entre el ctif.dé'clOdét.-i-nercade,;' por medio det cual se paga ep . efectivo'ci'él .'gobierno aportá un subsidio; y el euida0o slirmercado, el cual r es proporcicirk-ido. -sin cuota o en intercamblo: . , , Niteve de las ,10„ casas con niños cle, mynos de 14 , años iriformaron usar tina de Mencionaclas. : No valía el múltiple arreglo 'qUe para el Una cle cacla tre_s caRas us,5 sólo Lin metódóldétuidado írás . que' los dos tércioS restanteS usaroh por lo Menos Ej estudio nacional,acerca cleb„consuiniciori-cletp.lidadója,LñiDO..e.Sjaarti4iIáv,;,. rnente_aniplio z11-eriurneMr lS factiaíje.S-'cli:e'.,11-ffIlyenTliláqéleCCIÓdde :í çobre el modo del cuidado Ls rnportancia "de lol.diyersos tipoS de cuiclado pre;Pora I te tiV(D' S:" (0 „_. 'e.rí marOo .c1 la dermariclá)las , caracterfStitás _ _ del bien inflnyen.en la se2.1_e"ción y se exarnlnan con alqún detallé. , El inforrné tainbién "s:e lirnita propiaMente a-recolCar qüe las a 'étitüdelas de los cOnsu-: , micioreS suelen carecer de lo c , ancreto, sobrébodó - eitando algunaS'ele'las cuestiones las interpretan ecnnó hipo . tencas alguno de los respenclentes.,Dadelta advertencia , cOn el„heelao -,clé que los datos nca se anal4an de tal manera qué,influ9an ealos.Otrow:V.:,í1 factore[ConstIllteS, de nada ilc quer fiuchos corisumidores cuida dd .d i a:IJs-preescolárés-pkii raignes propias . del niño, en vez de Por su pr4"1- eonv é n ienCiaHlá ..VálldéZ.: .-del'esie cuc,,siionatnientd permánece'en dadá, peró si se cdnfirma P-Or mas vigerosds;arkíliSk de datos -junto con el resultadó delqtre nincl-raS' í familías risan n un ' estilo-d e'C'Ubdado,-'sm--,rpercado—darauna eVidentiljt:Ié có rno se f o rrnanlas: Preférencia : ;"v loS • éjeteOs'en eirriei'cadei-dereüidadOdel.4 -
Anexo 3r9. Una nwestigación d un rnuestra para un área p-equena Una rnuestra de familias con bajos ingresos que y Ivian en Brookline, Massaf,! .chuSetts dnrante 1965 y,qUe ,,terilap.porilo.,rnÇ n ou n híjo en la escuela secundartav,,, de lds regIstroS-'d0,k: local públIca o eaviarrOclúlát,Se'tó4Trile dl an ie' el- er-npleo . ón prelImInarde . ..___lal famillas' , saludmanterudos en las escuelas en cuestión. La seleccI . , _ 'escuela, y uría l lS í _ deterrhina.j.4.j' se hízo con bás-é en la inforrnación de los reg1stros de eídel crédIto-':-.; ción final se tomó de_spues de var .las entrevistas y algunalverifIcación a famIlia y de la ocupacióddellefe de fárnk:"zi: l bajóSjingresCis'de .1 acerc_a de'su estatus cle . - lía. Se usó una muestra - de 806'.,fámílias, famIllas que pudie,serm,.; , : : El propósíto de la inve stIglOnfue,obtener un grupo de necesitar lós serilic ios de la clíni¿á elental"PúblIca. Se emprendleron entrevIstas.ebriV ..cada farnilia para asegurar lospatz'Ories del culdado dental de los mlembros de lall, en es- cuelas de adOlescentes.para -:;farnilía. Los exámenes desitálésse'reafizarem ,. gurar la necesidad del cuidado dental de las farnilias con bajos Ingresos, suponlendellb , que los adoleseentes implicadoSrepresenta ba n razónablemente el'estatus de Culdaí 1 do de la salucl de y.akfarnlltal:dejalque provenían., .,, ...¿.,.--„,--.1..„.-1.,--::44 ....,?, ubit:Cotiege and Fuente: Re,,,. uvnen; loh'i peryrtrip:,`iide.l.ar, n bert;::J.i.:yrylE;Iréérnan, The clin. [ íUniv,-rsity Pre-,s, Nekkr
05iii
' '
' ' r;:1,,!..:
1 L --- s
El establecimiento de las características del objetivo debe estar basado en una combinación del conocimiento de las investigaciones prevlas y la práctica, la experiencia y la información, obtenidas cuando se determina el tamaño de la población en necesídad, demanda o riesgo. A menudo, después de decidir los criterios, se pueden adoptar procedimientos adicionales para verificar la utilidad de tales decisiones en cuanto a la selección característica del objetivo; por ejemplo, un proyecto educativo para entrenamiento intensivo puede tener como definición de objetivo apropiado a todos los miembros de la comunidad que tengan entre 16 y 60 años y que hayan cursado menos del cuarto grado escolar. Una estimación del 10% de analfabetismo funcional en una comunidad de 2 000 adultos puede provenir de la investigación de un informante clave. Una investigación de la muestra puede proporcionar datos acerca de si se debe usar o no una definición del cuarto grado que produce una población potencial de cada 10 entrevistados. IMPORTANCIA DE DIAGNOSTICAR LAS EVALUACIONES Evidentemente, la especificación y selección de la población objeto se debe basar en mediciones de las características, las cuales sean fácilmente detectables y exactas. Desde el punto de vista de la administración de un programa, sin tal especificacíón es virtualmente imposible realizar una intervención exitosa. Después, a menos que el diagnóstico esté bien establecido, ni la verificación ni la utilidad de la evaluación tienen probabilidad de ser usadas. Como un buen pescador
98
CAP. 3. PROCEDIMIENTOS DE DIAGNÓSTICO
sabe, existe poca probabilidad de capturar un pez, incluso después de seleccionar bien la carnada y el aparejo, a menos que se conozca bien qué tipo de pez existe y cuál es la profundidad adecuada para hundir el anzuelo. Asimismo, la mejor intención para mejorar las condiciones humanas no será apropiada, a menos que el personal del proyecto y/o el evaluador puedan especificar precisamente los objetivos y seleccionarlos adecuadamente.
Monitoreo del programa contabilidad El monitoreo del progranna tiene por objeto resolver dos interrogantes principales: a) si el programa alcanza o no a la población objeto apropiada, y b) si la entrega de servicios es congruente o no con las especificaciones del diseño del programa. Existen varias razones para que se requiera el monitoreo de un programa. Primero, el monitoreo generalmente se requiere para propósitos de contabilidad; el manejo del programa y los patrocinadores buscan continuamente información para contestar la pregunta siguiente: "¿Quién está haciendo qué y cómo?". Segundo, el monitoreo de las evaluaciones generalmente es un auxiliar necesario para valorar la repercusión, pues los errores en el programa a menudo se deben a ejecuciones incompletas o defectuosas de las intervenciones, más que a la inefectividad del tratamiento. Tercero, el monitoreo de la información puede ser la base de la valoración de utilidad o un complemento de ella; por tanto, es un medio que interviene en la decisión de continuar, ampliar o terminar los programas en curso. CONCEPTOS PRINCIPALES Estrategia de acceso: Contabilidad:
Desuiación: Cobertura: Estudios del proceso: Elementos del programa: Entrega de seruicios:
Plan para alcanzar y proveer de servicios a una población objeto. Responsabilidad del personal del programa para aportar evidencias a los patrocinadores y a las unidades de superordinados, de conformidad con la cobertura del programa, su tratamiento, su legalidad y sus requerimientos fiscales. Medida en que los subgrupos de una población objeto participan diferencialmente en un programa. Grado en que un programa alcanza a su población objeto intentada. Término generalmente referido a las actividades relacionadas con la identificación del objetivo y con la valoración de la conformidad del proyecto., Actividades identificables y discretas de la intervención. Procedimientos y arreglos de organización empleados actualmente para proporcionar los servicios a las poblaciones objeto apropiadas.
100
CONTABILIDAD DEL PROGRAMA
CAP. 4. MONITOREO DEL PROGRAMA
Después de firmar una nueva ley, se atribuyó al presidente Kennedy haber dicho a sus colaboradores "Ahora que -está hecha la ley de la tierra, esperamos tener a nuestro gobierno abocado a llevarla a cabo". Si el presidente de Estados Unidos se pudo expresar escépticamente en lo relativo a la ejecución de la ley federal, ¿cuánto más vacilante e incierta es la complementación de los programas específicos? Por cierto, realizar o no cualquier programa con total interés en la ayuda de sus patrocinadores y de los integrantes del programa, es siempre prorip lemático (si es que alcanza a la población designada para que resulte beneficiada con el programa y la entrega de servicios ordenados). En este capítulo se estudiará el problema que se refiere al monitoreo de la puesta en marcha. Por monitoreo de la puesta en marcha se entienden ciertos intentos sistemáticos para medir la cobertura del programa, o sea el grado en que el programa alcanza a la población objeto designada, y por proceso del progra ma se entiende el grado en que el servicio por prestar concuerda con lo que se intentaba proporcionar. Tanto la cobertura del prograrna como el proceso del programa se conocen frecuentemente como producción del programa, esto es, los productos y servicios que se prestan a los beneficiarios apropiados. La producción no se debe confundir con los resultados, pues éstos se refieren a los efectos de la producción en las poblaciones objeto, es decir, la repercusión (para un estudio más extenso de los problemas y de la investigación acerca de la puesta en marcha, consúltense Williams y Elmore, 1976; Williams, 1980, y Pressman y Wildavsky, 1973).
101
detallen los procedimientos administrativos, la entrega de servicios, las calificaciones necesarias del personal, etc. El resultado de monitorear el programa en la etapa de desarrollo, se puede aprovechar en la preparación de tales manuales. Para programas que están más allá de la etapa de desarrollo y en funcionamiento, su monitoreo sirve para satisfacer las necesidades de la administración al proporcionar información acerca del alcance y el proceso y, por tanto, retroalimentar con respecto a si el programa cumple con las especificaciones. La depuración del programa se puede requerir cuando la información del monitoreo indica que los objetivos no se han alcanzado o que los costos de la producción son mayores que los planeados inicialmente. Los administradores del programa que descuiden verificar un programa sistemáticamente corren el riesgo de administrar un programa que sea muy diferente de sus mandatos. Los programas en gran escala en los que se incluyen unos cuantos sitios y gastan grandes cantidades de recursos, pueden formalizar el monitoreo del programa al establecer un sistema de administración de la información (SAI). Esfuerzos sistemáticos y continuos suelen generar datos acerca de lo que sucede en el programa al contestar interrogantes tales como ¿cuántas personas abarca el programa y cuáles son sus características?, ¿cuántas "unidades de servicio" son entregadas?, ¿cuánto del fondo se gasta?, ¿qué tanto permanecen las personas en el programa? Los objetivos de un sistema de administración de la información bien diseñado son proporcionar a los administradores del programa y al personal reportes detallados y periódicos acerca de qué tan bien funciona el programa y alertarlos en la entrega de problemas conforme se originan, de tal manera que se pueda emprender una acción correctiva.
USOS DEL MONITOREO
Realizar el monitoreo de la puesta en marcha del programa es una actividad que se realiza en diferentes momentos del programa en curso y en la administración de programas establecidos. El monitoreo de la ejecución del programa es fundamental para desarrollar el proceso cuando los programas se han probado y depurado. Los diseñadores necesitan conocer cuáles problemas se encuentran en la ejecución, de manera que se efectúen cambios en el diseño del programa, con el fin de resolver tales obstáculos. Los resultados inesperados y los efectos colaterales indeseados aparecerán rápidamente en el curso de la prueba; por ejemplo, una clínica médica destinada a ayudar-a las madres trabajadoras y que está abierta sólo durante el día, descubrirá pronto que la mayor demanda será para la prestación de servicios clínicos y que tales horas no son adecuadas para madres que trabajan durante el día. En un programa establecido para resolver severos problemas psicológicos en el comportamiento de los niños en la escuela, se encontró súbitamente que muchos de tales niños no tienen alteraciones profundas, sino sólo superficiales; por ello, el programa se debe modificar. Los resultados del monitoreo del programa también son esenciales para recabar datos con el fin de difundir el programa. De esta manera, se pueden reproducir las características esenciales de una intervención en sitios diferentes de donde se originó. Se debe describir el programa en detalle operacional. Los puntos críticos en la ejecución necesitan ser identificados, las soluciones a los problemas administrativos bosquejadas, las calificaciones del éxito del personal del programa documentadas, etc. El buen desarrollo del programa incluye elaborar manuales que
CONTABILIDAD DEL PROGRAMA
Por supuesto, la información del monitoreo del programa es también crítica para quienes apoyan y patrocinan los programas, los niveles diarios del programa anterior de manejo. En esas circunstancias, el problema es la contabilidad. ¿Se emplean adecuadamente los fondos del programa?, ¿se incluyen las poblaciones objeto designadas?, ¿cuánto del servicio intentado se presta? Por cierto, para el Congreso, por lo menos tanto como a los programas educativos nacionales concierne, la información del monitoreo del programa parece tan importante como la información de su repercusión (Raizen y Rossi, 1981). Desde una perspectiva del monitoreo, la contabilidad adopta varias de las formas mencionadas en el capítulo 2. Contabilidad de la cobertura: ¿son las personas beneficiadas aquellas que fueron diseñadas como objetivo?, ¿hay beneficiarios que no deberían ser? Contabilidad del servicio de entrega: ¿se entregan las cantidades propias de la producción?, ¿son los tratamientos entregados aquellos que el programa suponía entregar? Contabilidad fiscal: ¿se usan los fondos apropiadamente?, ¿se facturan adecuadamente los gastos?, ¿se usan los fondos dentro de los límites establecidos por el presupuesto?
102
CAP. 4. MONITOREO DEL PROGRAMA
• Contabilidad legal: ¿observa el programa las leyes vigentes, incluidas
aquellas que conciernen a la acción afirmativa, la seguridad ocupacional y la salud, así como la privacía de los registros individuales? Los problemas de la contabilidad legal y fiscal deben resolverlos los profesionales especialistas en esas áreas. Seguir los procedimientos propios de la contabilidad y cumplir las condiciones de las leyes estatales y federales son cuestiones que implican conocer la contabilidad y el derecho, y arriesgarse al tratamiento inexperto de trabajadores sociales entrenados en la investigación social, pero que trabajan aisladamente. Por tanto, los problemas de cobertura y el tratamiento de la contabilidad son comunes en el monitoreo de la puesta en marcha, desde el punto de vista de la investigación social. Aun cuando el monitoreo orientado a la administración (incluido el uso de los sistemas de información) y los estudios de contabilidad del programa se refieren a menudo a las mismas interrogantes, se diferencian por los propósitos a los cuales va dirigida su evaluación. Los sistemas de información administrativa se diserian, típicamente, para detectar las fallas que deben corregir los miembros del programa. Los estudios de contabilidad primero proporcionan información que los patrocinadores y el equipo que toma decisiones necesitan juzgar con respecto a la pertinencia de las actividades del programa y para decidir si debe o no continuar, ampliarse o limitarse. Los estudios de contabilidad generalmente se realizan con un espíritu más crítico, mientras que las actividades orientadas al monitoreo de las actividades se relacionan menos con efectuar juicios decisivos y más con incorporar medidas correctivas como parte regular del programa de operaciones. Algunos comentaristas de las actividades evaluativas (Crobach et al., 1980) sostienen que los resultados de la repercusión son producto no de la administración del programa, sino del diseño del mismo, lo cual generalmente no está al alcance de los administradores del programa. Por tanto, su punto de vista, es que los administradores deberían ser los responsables primarios de la integridad fiscal, la cobertura y el tratamiento. Estamos de acuerdo en que los administradores del programa deben ser explícitos en la entrega de servicios a la población objeto; además, aceptamos primero los procedimientos para monitorear la cobertura y luego a aquellos que se emplean en el proceso del monitoreo.
POBLACIONES OBJETO
103
cios de los centros comunitarios de salud mental, después de su alta, a menudo fallan en hacer contacto con sus centros (Rossi, 1978). Selección de poblaciones objeto En general, cualquier intervención o tratamiento que requiera participantes para aprender nuevos procedimientos, cambiar los hábitos existentes o tomar instrucciones, puede encontrar dificultades para atraer a los grupos objetivo. Por consiguiente, para saber si en un programa se incluye o no a las unidades objetivo, aquellas con las características apropiadas y específicas, se necesita monitorear las evaluaciones. El problema del grado en que la población objeto participa en un proyecto concierne tanto a los administradores del proyecto como a los patrocinadores del programa. La administración eficaz del proyecto requiere contar con la información. adecuada y oportuna de la participación de la población objeto, especialmente en los casos en que la modificación de los procedimientos del proyecto se puede requerir si la participación de la población objeto no se encuentra en el nivel esperado. Desde el punto de vista de los administradores del programa, la participación de la población objeto es una medida crítica de la vigencia del proyecto y de su efectividad última. Los problemas de participación de la población objetivo, a menudo se descuidan en el desarrollo de los programas nuevos, cuando se asume que las poblaciones objeto están necesariamente motivadas para participar, sin embargo, éste puede no ser el caso: en los experimentos de la demanda de la vivienda disponible (Kennedy, 1980; Struyk y Bendick, 1981), menos de un tercio de las familias elegidas participó en uno de los tratamientos, el cual exigía a las familias que rentaban casas que cumplieran ciertos requisitos. Asimismo, un programa diseñado para proporcionar información a los probables compradores de casas podría revelar que pocas personas se interesan en los servicios ofrecidos. De aquí se infiere que los diseñadores del programa deben preocuparse por dar los mejor con el fin de motivar a las poblaciones objeto potenciales para que busquen el programa y participen en él. En algunos casos, podría requerirse que los esfuerzos alcanzados se integren al programa, mientras que en otros sería necesario ubicar especial y geográficamente al personal del programa, etcétera.
POBLACIONES OBJETO Y COBERTURA DEL PROGRAMA
Cobertura y desviación
Como se vio en el capítulo 3, es esencial definir cuidadosamente a la población objeto; pero esto será úttl sólo si existe un procedimiento para determinar la extensión en que la actual participación de las poblaciones objeto tiene lugar. Esto es particularmente esencial para múltiples intervenciones en las que la aceptación del programa y la participación son voluntarias; por ejemplo, los centros comunitarios de salud mental diseñados para prestar un amplio rango de servicios suelen fallar en atraer a un número razonable de personas que puedan beneficiarse de esos servicios. Aun muchos pacientes recientemente dados de alta en hospitales para enfermos mentales y que han sido alentados para usar los servi-
El problema de la particípación de la población objeto consiste en aspectos de cobertura y desviación. Por cobertura se entiende el grado en que mediante un programa se obtiene la participación de la población objeto, como se especificó en el diseño del programa. La desviación es el grado en que los subgrupos de una población objeto designada participa de manera distinta. Una desviación en la cobertura de un programa significa simplemente que algunos subgrupos son cubiertos de modo más extenso que otros. La desviación puede quedar fuera de la autoselección, debido a que algunos grupos participan más frecuentemente que otros. También puede derivar de las acciones del programa; por ejemplo, algún miembro del personal puede mostrar favoritismo hacia algunos grupos y
104
POBLACIONES OBJETO
CAP. 4. MONITOREO DEL PROGRAMA
rechazar a otros. Finalmente, esto puede resultar de influencias imprevistas, como la ubicación de la oficina del programa, lo cual puede estimular mayor participación de un subgrupo, o sea, para quienes el acceso a las actividades del programa es más conveniente. Al probar los programas, la desviación suele constituir un obstáculo serio para la validez de la valoración de la repercusión. Especialmente crítica es la participación diferente de los grupos experimentales que reciben el nuevo tratamiento y de los grupos control o testigos, quienes son observados con el fin de valorar la repercusión de la evaluación. En muchas valoraciones de la repercusión los miernbros del grupo control renuncian más frecuentemente que aquellas que reciben el tratarniento en los grupos experimentales (véase el capítulo 6, donde se estudia con mayor detalle el problema de la cobertura durante la prueba de programas). La cobertura y la desviación son relativas, de manera muy clara: un programa que incluye a todos los participantes proyectados, obviamente, no se desvía en su cobertura; pero como pocos programas sociales tienen una cobertura total y exacta, la desviación se convierte en un problema típico. Generalmente, se estima deseable que un programa sirva para una gran población objeto. La excepción, por supuesto, se presenta cuando los recursos del proyecto son limitados para dar el tratamiento apropiado a todas las unidades objetivo potenciales; sin embargo, en este caso, la definición del objetivo durante la planificación y el desarrollo del programa probablemente no fue lo bastante precisa. Para corregir este problema se puede dar una definición más ajustada a las características de la población objeto mediante el empleo de recursos más efectívos; por ejemplo, establecer un centro de salud que proporcione servicios médicos a personas sin fuentes regulares de cuidados médicos puede resultar en un desconcierto de la demanda de servicios, que limite al recurso y que las facilidades sean imposibles para muchas personas que deseen recibir este beneficio. En tales circunstancias, si se agregara el criterio de elegibilidad que considera la severidad del problerna de la salud, el tamaño de la familia, la edad y los ingresos, se podría reducir el tamaño de la población objeto a proporciones más manejables. El problema más común con respecto a la cobertura en intervenciones sociales es que no se ha logrado la total participación de una población objeto, ya sea debido a la desviación al seleccionar participantes de un grupo específico o porque los clientes potenciales rechazan el tratamiento. Por ejemplo, los experimentos de la demanda de la vivienda, que se realizaban correctamente, han tenido rangos de participación bajos: sólo del 30% al 40% de los grupos elegidos han participado, en oposición a la aparente obviedad de las ventajas que tendrían al seguir el experimento (Carlson y Heinberg, 1977; Struyk y Bendick, 1981). Sin embargo, también existen ejemplos de sobrecobertura: el programa Sesame Street (Plaza Sésamo) ha logrado reunir consistentemente audiencias que por mucho han excedido el número de poblaciones objeto designadas originalmente, a saber: preescolares en desVentaja. Otras audiencias, incluidos niños que no están en desventaja y aun adultos, han sido atraídas por el programa. Afortunadamente, como tales audiencias se han logrado reunir sin un costo adicional, esta cobertura inapropiada no es un desperdicio financiero. También se ha descubierto que los niños aventajados que ven el programa se benefician mayormente que los espectadores en desventaja (Cook et al., 1975). Como una
105
de las metas del programa era llenar el vacío existente entre los niños aventajados y los niños en desventaja, el éxito del programa para abarcar a una audiencia mayor que la planeada ha exagerado un problema que se buscaba remediar. En otros ejemplos, la cobertura inapropiada puede ser costosa. Los programas bilingües patrocinados y dotados de recursos económicos por el Departamento de Educación de Estados Unidos incluye a muchos estudiantes cuya lengua natal es el inglés. Los sistemas escolares que gastan el presupuesto del programa y que dependen del número de niños inscritos en clases bilingües, han inflado las listas de asistencia al registrar a más niños que los necesarios, incluidos los estudiantes deficientes (Raizen y Rossi, 1981). En algunos casos se ha demostrado que las escuelas han empleado la asignación para instrucción bilingüe como medio para tratar a algunas. clases de "niños problema" e impartir las clases bilingües con saturación de casos disciplinarios. Medición de la cobertura Los integrantes del programa y los patrocinadores deben relacionarse con los fenómenos de cobertura excesiva y cobertura baja. La cobertura baja se refiere a la proporción de grupos objetivo de un programa, con necesidades, en el que participen. Por su parte, la cobertura excesiva se emplea algunas veces para referirse al número de participantes de un programa que no tienen necesidades, comparado con el número total que no tiene necesidades de una población dada; mientras que en otras ocasiones se refiere al número de participantes que no tienen necesidades, comparados con el número total de un programa. Generalmente, esta última figura es la importante; el uso eficaz de los recursos de un programa requiere minimizar tanto al número no servido de quienes tienen necesidades como al número de quienes son servidos aunque no tengan necesidades. La eficacia de la cobertura se puede medir mediante la fórmula siguiente:
Eficacia de la cobertura = 100 x
ÍEI número con necesidades de servicio El número total con necesidades
—
El número de los que no tienen necesidades de servicio El número total servido
La fórmula produce un valor positivo de 100 cuando el número actual servido equivale a la población objeto designada con necesidades y que no se sirven a poblaciones objeto inapropiadas. Un valor negalivo para 100 se da sólo sí sirve a poblaciones objeto inadecuadas. Los valores positivos y negativos entre + 100 y — 100 indican el grado de eficacia de la cobertura; por ejemplo, si en un área geográfica particular se ha éstimado que 100 inclividuos objetivo necesitan un programa, pero del actual grupo de 100 servidos sólo 70 son individuos objetivo apropiados, el valor obtenido mediante la fórmula anterior podría ser de + 40. Si 100 individuos objetivo necesitan un programa y sólo 10 de los 100 son individuos objetivo apropiados, el valor obtenido podría ser de — 80. La fórmula produce un medio de estimar los intercambios de un programa, incluidas las poblaciones objetivo inapropiádas y las apropiadas. Un programa podría imponer un criterió de administrativo confrontado con un valor de —
106
107
CAP. 4. MONITOREO DEL PROGRAMA
selección adicional al eliminar a 70 de los 90 individuos objetivo inapropiados y, por medio de una campaña de reclutamiento intensivo, asegurar 70 reemplazos apropiados. Entonces, el valor para la eficacia de la cobertura podría ser de + 60. Si el programa fue poco costoso o poco inteligente desde el punto de vista político o muy difícil de imponer un criterio de selección adicional para eliminar la cobertura baja, el administrador podría ampliar el programa para incluir a todos los individuos objetivo apropiados. Sl suponemos que la misma proporción de individuos objetivo inapropiados son servidos, también el número total de participantes podría ser de 1 000. El problema de medir la cobertura es casi siempre su incapacidad para especificar el número con necesidades o la magnitud de la población objeto. Las actividades descritas en el capítulo 2, si se realizan como parte integral de la planificación del programa, generalmente minimizan este problema. Además, se pueden usar tres enfoques para valorar el grado en que la población objeto apropiada ha servido para un programa particular. Uso de registros
Casi todos los programás requieren mantener registros acerca de las poblaciones objeto servidas. Esta información es útil, en términos generales, en la contabilidad del tiempo del equipo de trabajo y de los recursos gastados. Existe una gran variación entre la caliclad y extensividad de los registros y en la complejidad inmiscuida con su almacenamiento y mantenimiento. Aún más, la factibilidad de mantener sistemas de registro completos y al corriente para todos los participantes del programa varía con la naturaleza del tratamiento y con la disponibilidad de los recursos; por ejemplo, la administración compleja por computadora y el sistema de inforrnación al cliente se han diseñado para sistemas de salud mental y médica (Gall y Norwood, 1977). En el anexo 4.1 se muestra el uso de los registros para describir a los participantes en un programa de vales alimenticios. Un sistema de administración de la información para un proyecto pequeño de demostración se describe en el anexo 4.2. Mientras que, inicialmente, este sistema se puede diseñar con el fin de describir las actividades del proyecto para propósitos de la evaluación, el administrador del proyecto también empleó los resultados para reentrenar a los trabajadores del servicio, de modo que éstos pudieran entregar la producción más apropiada a los problemas presentados por las poblaciones objeto.
1• ' --- .' Los niariufacturerbs gne reckeron estampillas alimentanas tuVlerán rriejor,es., t - dletas; fanHilias mas grandes y nlasicir, es ingresos qüe quienes participardn eriel pra- :-.-, drarna de diStdb.Lsciemi 'aliinentiCta -o'gueaquelloSelegibles, perclque no partiCiparon' `1 'en el prOgrama de --a, 9stencia':,áln-rregtria. .. ::. _ .: ..: 'ffl,,,-..''.':,:-. lOs progra,.z":' 4: 7 :Apróxlmádáme -dte, el 37(V.i'delas' finIlia 'St> 11.-n1 E-frp141416•Vd ' Mas de alstencia-a1ii-nentafiá‘.de...lá'TISSE1.4::ért,111I,1,,I'23% eStaba l tistado eil ii ç):14 'éc1b14gstamptIlas alimentarias, : -. P rograrna de clis,fribución al entaray. ( Uha de cada cuatiO far'inilias .éian elegiblel.';'Petó,rió'plr'ficIpabanenelprograrna;:: r mieri"tras que 2 -3.,..%'erári -in-eTégiblesdebid4 1,1t¿ilá esos o at ' tainaño.famtN'''', ,- '."' ,''• ..'4•T•nts . 1 i. llar reducido, ••-,-,1'::-', ,.. ,A., amilia pa'rtletpan.,-,. •• Las caractetísticas socióeconórMcas se comparaban pará : ‘ tarnpillas alimentarlás : y dé distribuchán dé álirnentos,::',,, , tés en los programas l:des parano parncipantes elegibleIy -Para no participantes lnelegibles durante 1969:, En . ' toclos los ,gmpos,lals-fa'n'illiobtenían pocOS Ingrescrs,- vlvfan'prinetpalment e eni,, are_as:_urbanas, tenian antecedentes einicó ,j :,y racIales minoritarlos y nlveles edu7: - ba. ride seguridad. cativos relativameriq.bajOs.Pereade s ditteídode las fam111Q¿g -Oza Social. El'grliPo cl14cii'iiii,?¡5"OiÉt6ilitó :faiit1llas nerásy deresidentes urbanc _fue el de ao particiPaiiteS : elegiblel. I,os nlveles educativos fueron bajás (rnenós cle .octicianos de esColarlda c` I) :en lo -g-tiapós de distribuffin dealirnento Yde nó Pártict:*,:i• -pin-re.'S:elegibles;La participacióh cle.1 seguro socla1 entre las familias asistldas fue -sustanel:alrnente_ mayor que para,las-farrillia.s . nO participantes, ...','..'-.•,':;:5.`,,- ' -1 .' :: I EiProMedlb de i 'ngfesos p gi: . fa'Inilia'¿;:iá de 'cerca de 200 dólare g Por rnes Para . los asiStenteS',ál progranla de i estarripillas y dei 65 dólareS para los programas de farnillato:PartIgpaptes relegtbles y déclig,rilSución alímentaria: Annque-los,partIcl„panteSen ' éj,áiiijitáté7éáiiíhiltáOüviero'ri - riiáyo-i:és-:áastos en alimento,-.16;S"óclasio-: familtas elegilp:Who`Partt:': c •nados fueron . equivalentesa aquellóS de las. . _ , por Personas e -Jrilresbs en participantes elegibles gastai-oItnáld4 ` no ' clpant;:s. 1.1.15s aliffientos -un porcentajealto en coMparación con u:,:ilq.,: „ pal ms 6t15 -Elingresci de : lat . familias ineleglbles ex:cedi6--,ilú,300:416 7".1,estabía afiliado'ala Seguridaá soCial, y et.j:iiiirriedlódelliná n o farniliar fue de:„.r., , ,, ,-, I, c:iiatirOffnien-lbros. Comparados cón otras farnilas, los Melegibles fueron m-ás urba-,: ,nOteníamr.nertos negros y:se afiliaban menos'a la Seguridad soClat: 1 as.- ventajas : ' ' ....'., ..:Icónárnital ':de, l'sas familias se áeflejaban en sus mayores ingresOs y gastos en. . alt,.:25mentatión,Taíntmén gastaron una:rnenor proporcion del mgreso, famillar en comt-— a. 51-..teníart,knejorerSjOr'áenca s allnienticias.• - . . -, . , < in the Evanciéd Foad and Nutritiort iltel'Resuinea :de J.,G7Feuster v G ES PerkIns, ' d Dtstributfon Progran Participa nts arxi Non, Educuttbn .Prfiigrcirri: Compariti. .bf Fr d Sta 11tp and Fcvo ['.rtle-Ir.,-,7ts.
•
S'ner',-3-í-1-rneñt'Cl'Agnculture, Washirnteri:,-D. _ , C., 1973. „
r Aner 4.1..Degcr1pcOn de los participante en un progirarna d'e tipo - L1na muestra naCional (de-naás de. 10500) se torn6,dé : rnanufacture ,ros en ,- S, :_Dpat'frnent o f'./1 2 r icultureOSDAY:.'--DepartarriéntO de'Agricultura:de.E.S.tados.,' ExteMdon Sél'y' 1Ce's Exp:34-rdát de . Extensióri de;Sers.itieiC,Icle EciireatiCamen Allinentati6n Jel pregran-la'eraelrkre rioctmienfo dé la . nutriefe5i0 la'dieta de fa 'rniliaS Pobres e ii-npnisar el prograina de familras,pará que se listén en dC ilW5tencia 'ainnent4ria. -
1 ,. -25:"riekol 4.2," '1..in''s-ís- tverna dezaár;'-ilálir'áCión , -='-'' -.-, tiO reddos,,-, 1 ' dé lá, irlfórmaciónipará pi - ogramas' , -
. , 1.,,...--,--, Uh prograrnade 'demóstraclOn , di-eñado Con el:fin-,&.;P.ro.4ár-la_viabiltdad de-_, lega- ;" ., entrenamiento'de subprof c'S . lontStás parálegales paraldentlflOak.Tól'proble rnas a lUid Mental deiltro de los hosPilalls:delE.Siad41;quejlan_stdo i láde -pa-Cientes cie: s ' --áts'áéreh'ri-s'LtOtal. 1.: desiiistitución..dizados; y para á - ,udar a los pac'e tés cilSterser por-el Natioaal I nstitute of Mentaltlealth:ffinsíitütbiKactOnal :: r 1 n-lente, flie financiado :i cle Salud Mentálr a'fin'de operar en lá régiOn desattid trintat deitiéiáé:IklqS10¿Ñl-: -'-'...--11.--.Á..._:.~-- • ------_-___,.--''--------------„,'''—'-,--"''--- 2____ 1----;«.---'41
108
POBLACIONES OBJETO
.,setts Los trabajactores paraleesdes (sobre todo estudiantes) - son entrenadosjpara,. conoccr lisp,u . tes pet tinc ntes de las leyes federales - y estatales, así cOrno de las regLilaciones, son euviactos'a contactar pacientes mentales,a r sea a hóspltales o a centros cie tratarniento c(Traniitarnof Pára podet identificat'loSiptoblernasle-gáles presentados pordOS-Axacientes (y, Portanto, ajustar su entrenatnle,nto , de 'aeuercló con'esto), scnis15 un sls. tJma de adrUíntstración de la- inforrnaCión que proporciot nara f tchas ‘ resurntdas'acerca de Ihs eUcuentros entre el perseiñal parálegal pacientes Despnes ducada encuentro con un pactente; los trabajadore.s paralegalesf: inicIban el ilénadó'doicasá'én el cual se registrat,a la inconformidad del paClente, las acciones tomadas • por el . personal.paralegal- las fechas los tiernpos y las referen, ciáscí- izadasa otras fichas de In stituciones y centros de.contacto': Asf, era posible idéntifiear áteaS de problemas leeales, para las que se había putólnucho'enfasis'ety.::, el entrenarniento y para las que se dn o,poco énfasis. Además, el sisterná.'donformla ción pernutió calcular la.entrega de serviciOS:j.1149t<
,lohn Hornik si :ár.f:3:éch'niccd P.ItichtsA s Prc n ert, West;Gnipils'llchuétti con Jsiltortzación,
Al medir la participación de las poblaciones objeto, la principal preocupación es que los datos sean seguros y confiables. Existen múltiples procedimientos que se pueden efectuar para asegurarse de su confiabilidad. Quizá el más importante es diseñar un sistema de registro que sea lo bastante simple para no volverse una carga al personal del programa y lo bastante comprensible para satisfacer las necesidades de la evaluación. A menudo existe mucho riesgo al diseñar tanto un sistema de registro demasiado extensivo como uno que contenga poca informacióri. Al no pensar en todos los requisitos de la información, un sistema puede ser parcialmente ignorado debido a su connplejidad, por tedio o porque consume mucho tiempo al aplicarse. Por otro lado, es importante no sólo que las formas apropiadas y otros instrumentos de registro se construyan, sino también que el personal reciba un entrenamiento adecuado acerca de las habilidades y técnicas relacionadas con su uso; por ejemplo, si la ocu pación, en el tiempo de la admisión del programa, es un criterio importante para definir a la población objeto, entonces las instrucciones para registrar la información detallada ocupacional son esenciales para registrar y guardar datos. Aún más, el continuo entrenamiento y reentrenamiento, así como la instrucción inicial, suelen ser necesarios para mantener al personal informado de los desarrollos que afecten a los registros y para mantener sus habilidades. Esto puede implicar verificar las muestras de registros con sus fuentes autoritarias y denotar los errores de comisión omisión. Otro procedimiento para asegurar la confiabilidacl implica las pruebas de control de calidad de una manera simple. Para hacer esto se puede pedir a varios miembros del personal del proyecto que completen registros independientemente y que verifiquen la congruencia de la información codificada. Finalmente, la información obtenida de los registros del programa se puede comparar con otros datos disponibles; por ejernplo, un programa de planificación familiar puede comparar sus registros con los de una clínica local o de un hospital.
109
Cabe señalar que todos los sistemas registros están sujetos a un mayor o menor grado de confiabilidad. Algunos registros contendrán información incorrecta o anticuada y otros estarán incompletos. La extensión en que los registros poco confiables se pueden usar para tomar decisiones depende del género y el grado de su confiabilidad y de la naturaleza de las decisiones en cuestión. Obviamente, las decisiones críticas que implican resultados significativos requieren mejores registros que las decisiones triviales. Una decisión para continuar o suspender un proyecto no debetía basarse en datos derivados de registros parcialmente inconfiables, mientras que una decisión para cambiar un procedimiento administrativo se puede tomar con base en datos derivados de esos registros. Si los registros administrativos desempeñan un papel importante en la toma de decisiones o problemas de gran alcance, será deseable hacer una auditoría a tales registros. Los datos del sistema de registro, sobre todo de los sistemas de información administrativa diseñados para programas en gran escala e instituciones de servicios humanos, se pueden usar para estimar la cobertura del programa y la desviación. La información acerca de los diversos criterios de una población objeto se puede tabular para determinar si las unidades servidas son las especificadas en el diseño del programa; por ejemplo, el registro de participantes de un programa de planificación familiar, cuya población objeto está constituida por mujeres con una edad menor a los 50 años y quienes han sido residentes de una comunidad particular por los menos seis meses y tengan niños con una edad menor a los 10 años, pueden ser examinados para ver si las mujeres a las que se sirve actualmente están dentro de los límites de elegibilidad, y el grado en que los participantes están representados en una edad particular o grupos de paridad. La desviación en la participación del programa en términos de las características de la elegibilidad, observadas singularmente o juntas, podría ser evidente de tal análisis. Asimismo, la cobertura y la desviación se pueden determinar por hospitales que normalmente mantengan registros completos de las personas admitidas, del diagnóstico del paciente, de la cobertura del seguro y de las condiciones de su alta. Estos datos los tabula y luego los consolida la American Hospital Association (Asociación Americana de Hospitales) de acuerdo con el estado o la región. Muchos departamentos de seguridad estatal también tienen excelentes sistemas de administración de la información. La cobertura del programa se puede estimar del sistema de registro utilizado en combinación con otra información disponible. En un programa preescolar ideado para satisfacer las necesidades respecto al cuidado del niño se podría estimar la cobertura mediante la fórmula dada, si en una investigación previa se hubiera estimado el número de niños en edad preescolar en la región del programa y con ambos padres trabajando lejos de casa. Tales cálculos eran importantes cuando el valor del programa dependía parcialmente de si se prestaban servicios en cierto nivel a personas con necesidades (generalmente designado por área, nivel socioeconómico, antecedentes étnicos y criterios similares). Cuando los programas son de larga duración, como en muchos de los esfuerzos para desarrollar la educación e intervención en la salud, puede ser necesario actualizar los datos con cierta regularidad. Menciones como tamario familiar y composición, ocupación, ingresos y lugar de residencia cambian frecuentemente, y las estimaciones de la población objetivo, cobertura y desviación deben
110
CAP. 4. MONITOREO DEL PROGRAMA
seguir el paso de esos cambios. En resumen, un sistema de registro útil debe ser confiable y actualizado. Inuestigación de los participantes en el programa Una alternativa para usar los registros de servicios y de la administración es realizar una investigación especial acerca de los participantes en el programa. La investigación de muestras es deseable cuando no se pueden obtener los datos requeridos rutinariamente como parte de las actividades del programa, o cuando el tamaño de la población objeto es muy grande y resulta más económico y eficaz emprender una investigación de muestras de la población para obtener los datos de todos los participantes. Por ejemplo, un proyecto educativo espeCial realizado primariamente por los padres de una comunidad se puede emprender sólo en unas cuantas escuelas. Los niños son examinados en todas las escuelas y enviados para educación especial a sitios especiales, si obtienen notas bajas en las pruebas de lectura o aritmética. El proyecto puede aceptar a todos los niños enviados, pero el personal del mismo puede no tener tiempo o entrenamiento para administrar las pruebas de habilidades educativas apropiadas. Más bien, un grupo de evaluación, probablemente de una base simple, puede efectuar lo anterior para estimar la adecuación de los procedimientos de selección y para valorar si cubre o no a la población objeto servida por el proyecto. Inuestigaciones de la comunidad Cuando los proyectos no están dirigidos a grupos perfectamente seleccionados y definidos, sino a una comunidad entera, la más eficaz y algunas veces única manera de examinar si la población presumidamente en riesgo es cubierta, consiste en realizar una investigación de una muestra de la comunidad. La evaluación de Feeling Good (sentirse bien) es un buen ejemplo del uso de las investigaciones para aportar datos de audiencias de tamaño y composición nacional. Este programa de televisión fue una producción experimental del Children's Television Workshop _(Taller de la televisión para niños), productores de Plaza Sésamo. Dicho programa se diseñó con el fin de rnotivar a los adultos para emplear prácticas de salud preventiva; aunque el programa era accesible a casas de todos los niveles de ingresos, su principal propósito era motivar a las familias de escasos recursos para rnejorar sus prácticas de salud. Gallup efectuó cuatro investigaciones nacionales, cada una con aproximadamente 1 500 adultos, en momentos distintos durante las semanas en que el programa se televisó. Los datos proporcionaron estimaciones acerca de las audiencias que lo veían, así como las características demográficas, socioeconómicas y la actitud de los espectadores (Mielke y Swinehart, 1976). El resultado mayor fue encontrar que el programa fallaba enormemente en abarcar al grupo de objetivo. Además de la televisón educativa, muchos programas de diversos tipos (entre otros de salud, educativos, recreativos y de servicios humanos) suelen ser comunitarios, aunque las poblaciones objeto designadas pueden ser grupos
POBLACIONES OBJETO
111
selectos, como los delincuentes juveniles, los ancianos o las mujeres en edad reproductiva. Las investigaciones son el mejor medio para valorar si los objetivos se han alcanzado. Para medir la cobertura de los programas del Department of Labor (Departamento de trabajo), como aquellos de entrenamiento y empleo público, el Departamento comenzó una investigación periódica y racional de las muestras (Westat Inc., 1976-1980). Por medio de entrevistar con el personal, esta gran investigación interna comprobada si cada adulto era o no miembro de las familias muestreadas, o un participante común en cada programa del Department of Labor. Al contrastar a los participantes con los no participantes en el programa, la investigación proporcionó información acerca de las desviaciones en la cobertura del programa. Además, también se generó la información de la población no cubierta, pero que es elegible. Utilizadores del programa, elegibles y desertores Otra forma de valorar la población objeto consiste en detectar la desviación de la participación en el programa, y aun a aquellos que lo abandonan, a aquellos que son elegibles pero que no participan del todo. En parte, el promedio de deserción o de abandono de un proyecto puede ser el indicador de la poca satisfacción por parte del cliente con las actividades de intervención. También puede indicar condiciones en la comunidad que prevengan a las personas para realizar una participación total; por ejemplo, en ciertas áreas carentes de transportación adecuada, esto puede prevenir la participación de aquellos que en otras circunstancias serían elegibles y estarían dispuestos. Es importante identificar a los subgrupos particulares dentro de la población objeto, quiénes no son los participantes iniciales o quiénes no siguen el tratamiento con una participación completa. Tal información es no sólo valiosa para estimar el valor del esfuerzo, sino también necesaria para desarrollar la hipótesis de cómo se puede modificar el proyecto para atraer y retener a una gran proporción de la población objeto. Así, los aspectos cualitativos de la participación también pueden ser importantes para planificar los programas subsecuentes. Como ya se señaló, la información acerca de los abandonos y la de la no participación en el programa es esencial como forma de documentar y modelar la naturaleza de la autoselección de la desviación. Aún más, y en especial problemático 15ara examinar longitudinalmente los nuevos programas, la pérdida en la participación debida al abandono o a datos omitidos, es de daño potencial para la validez de la valoración de los resultados de la repercusión (Watts et al., 1977). Los datos concernientes a los abandonos puede provenir del servicio de registro o de las investigaciones diseñadas para ubicar a quienes no participan. Las investigaciones comunitarias generalmente son los únicos medios factibles para identificar a las personas que no han participado en un programa. Por supuesto, la excepción tiene lugar cuando existe una información adecuada acerca de la población total elegible antes de ejecutar el proyecto (como en el caso de los datos provenientes de un censo o de las entrevistas). En las comparaciones con cada dato recolectado para planificar el proyecto o para efectuar las investigaciones comunitarias, realizadas durante la intervención o después de ésta, se
1.
112
113
CAP. 4. MONITOREO DEL PROGRAMA
emplea una amplia variedad de enfoques analíticos, desde los puramente descriptivos hasta los modelos muy complejos. En el capítulo 8 se describen los métodos de análisis de los costos y de los beneficios de un programa, para Ilegar a medir la eficacia económica. Evidentemente, las estimaciones del tamaño de la población con necesidades o en riesgo, de los grupos que comienzan un programa pero que lo abandonan, y de aquellos que participan hasta su terminación, son importantes para calcular los costos. Dichos datos son también la base para estimar los beneficios. Además, son muy útiles para estimar la importancia de un proyecto, su continuación o expansión en cualquier caso, ya sea con la misma comunidad o en otras localidades. Ulteriormente, dicha información es esencial para el personal, ya que por medio de ella reconoce sus responsabilidades administrativas y de contabilidad. Mientras que los datos de la participación del proyecto no son sustitutos del conocimiento de la repercusión para estimar la eficacia o la efectividad de los proyectos, existe poca base para adelantar si se tiene un análisis de la repercusión sin una descripción adecuada acerca del grado de participación de la población objeto. MONITOREO DE LA ENTREGA DE SERVICIOS: ESTUDIOS DEL PROCESO El monitoreo de la e\ntrega de servicios es importante desde el punto de vista de las decisiones relacionadas con la continuación y expansión del programa. El grado en que las especificaciones del programa se reúnen actualmente en la entrega de la intervención deben ser, desde luego, totalmente documentadas por los diseriadores de la política. Además, la investigación en la entrega de servicios es valiosa para determinar los niveles de desemperio de los miembros del equipo (véase el anexo 4.3 en el cual se describe el reporte de la repercusión de un programa de televisión en los maestros en El Salvador). Sin embargo, antes que nada, los evaluadores de la entrega de servicios buscarán determinar si la producción actual de una intervención se aproxima suficientemente a la producción intentada. n programa ár-te
na reform lic tis u 1 1 ior se emprenclid un esfuerzo serio para r¿entreriar. a todos lós i rriaestros ele tercer grado, de tal ruaní2ra que pudicsen trabajar efectiízamente cbrütodas laS irínovaciones propuestas Por tanto. las aCtitudeS de los maestres 1-161cia la reforma se convirtierOn en un importante cle ewíluación y de ives tigación. A continuación se expol. nen :bres'iénienfd;Iós:.i"esUltados.• in ser
Olháll¿lzgos en los estudiantes, hubo una declinación entuslusmo en 1969 con respecto a la TI (teleIii 0 1 6211riil'iriiltS)'lia01.áctitudempenorgs en . quantoolaOipositivisrno en .ma, estr.O .s.....téri:dierop más ' á geilcríticos varios arit:iii. aritelí;dela . ínclusión cle la TI U l progrtirna -de refcarna. Sin embarOkitros . prOhletnas, mas gue la la televisión instructiva o la
confianza en la retorma,-contribuyeron a las actitudes negativas de maestros. 2. E. n parOcilla-031,01aestroljnp , estat»01011íg rrries con sus.condiclones
rias. kle al 1nr
ñtóIen.listdoS y sus corieSpondlentes
gas de trabajo, con clases matutinas y vespertínas des-de las 7:00 hasta
11:0Ohngs.1NgXCeppi(5.11,det tzgao ,extrá,- .1ps,salarlas y sus niVeles no ban'zidéCuadaniente. :MejOradóI ,:svr:;kegUiatS l en dó poco atractivos,Dadas elf41' ;OriCliOdnes; :::tiffer4',sciffifOidente.1 14 u e ocurriesen dos huelgás -
-410 acerdddeVhIpélilue' ,itlenttid en el nuevo sistema de culiflcactóny promoción y inadecuadarnente preparado pára , iikar tat sistéma.;Eiti:IsterikksbnávOc; requería que los rnaestros esttiviesenpreparados pára sus clasesStpar4i0s; nzarmveltigaciones, así corno pará - lnvertir su tlempo en diversal adv)1.í--
3, Existía una confusión general
dadegí.:11e'éliklilión fuera-del horario norrnal Al mismo tlempo, el núev15-: un estudiante sisteina de^caliírcátión disminuia Ikpostbgidadde _ ue , de
sér considerádo al no aprobái
fib "de
"Reconsidettng the, Use of Televislon tor EducationalFtlform:1h47t.' Fuente:Tomado de H Case of El Salvadot", en R. F. Arnove (d1r),-EdúCatioñal Teleuislon: Policy Crnique and Gulde Cuuntrles, Prmgex Publishers: 1975, H:g -130, Rorrpresocon perrnisdeHoit, Rinehet,; WInston
-
¿Por qué falla un programa? El monitoreo de la entrega de servicios, para evaluar la ejecución de un programa, se realiza debido a múltiples propósitos. Una gran proporción de programas que fallan en demostrar su repercusión, son así porque fallan en entregar las intervencíones de la manera especificada. Existen tres géneros de fallas en las ejecuciones: primero, se entregan sin tratamiento o no se tratan de modo suficiente; segundo, se da el tratamiento de modo erróneo, y tercero, el tratamiento no está estandarizado, no se controló o varía entre las poblaciones objeto. En cada ejemplo, la necesidad de monitorear la actual entrega de servicios e identificar las fallas y deficiencias es esencial. Los "no programados" y el tratamiento íncompleto de los mismos Considérese primero el problema de los "no programados" (Rossi, 1978). McLaughlin (1975) revísó la evidencia de la ejecución del Título I de la Elementary and Secondary Education act (Acta de evaluación de la Educación Elemental y Secundaria), la cual programaba un billón de dólares anual para ayudar a las escuelas locales con el fin de vencer las privaciones educativas de los estudiantes asociados con niveles de pobreza; sin embargo, las autoridades escolares locales fueron incapaces de describir con algún detalle sus actividades para su Título 1; por tanto, pocas actividades se podrían identificar como servicios educativos entregados a los escolares, aunque los fondos sí se gastaron.
114
CAP 4. MONITOREO DEL PROGRAMA
En la bibliografía se han documentado otros numerosos programas como ejemplos de fallas en la entrega de servicios. Datta (1977) revisó la evaluación en los programas de carrera educativos y encontró que los ojetivos diseñados rara vez participaban en las actividades planeadas para el programa. En un intento reciente de evaluar un programa diseñado para motivar a los estudiantes de niveles secundarios y desaventajados, con el fin de que lograran niveles más altos de realización académica, se descubrió que el programa consistió principalmente en distribuir botones y bibliografías exhortiva y poco más (Murray, 1980). Aunque el programa recibe gran apoyo de la publicidad, pocos de los estudiantes de nivel secundario de las escuelas participantes, o quienes se suponía serían abarcados por los conocimientos del programa, sabían de su existencia, y menos habían participado en cualquiera de las actividades que se suponía formaban parte del programa. En vez de no entregar servicios de modo alguno, un sistema de entrega puede diluir el tratarniento de manera que sólo una cantidad eficaz alcance la población objeto. Aquí el problema puede ser una falta de compromiso de la parte principal del sistema de entrega, que resultará en una entrega mínima o "cumplimiento ritual" hasta el punto de no existencia (Rossi, 1978). Por ejemplo, las leyes afirmatival de la acción han requerido al cornercio anunciar la apertura del trabajo al público; sin embargo, las organizaciones suelen poner anuncios públícos cuando las posiciones han sido ocupadas formalmente. Tratamiento incorrecto La segunda categoría de fallas en los programas, Ilamada entrega del tratamiento incorrecto, puede ocurrir de dos maneras. Una es que en el modo de entrega se niegue al tratamiento; por ejemplo, un experimento al azar para probar la efectividad de un grupo, que dictaminaba en prisión, tenía que recurrir a guardias de ésta sin entrenamiento y a veces hostiles como líderes del grupo (Kassebaum et al., 1971). En el experimento de representación contratado, en el que se contrataban firmas privadas para enseñar matemáticas y lectura, y que se pagaba en proporción a la realización obtenida por los alumnos, la compañía enfrentó dificultades extensivas para operar el programa. De hecho, en algunos sitios el sistema escolar saboteó los experimentos, y en otros las compañías se encontraron con fallas del equipo con la hostilidad de los maestros (Gramlich y Koshel, 1975). El tratamiento incorrecto puede resultar también en un sistema de entrega excesivamente complejo. Puede haber una diferencia considerable entre los proyectos piloto y las producciones dirigidas a tratamientos complejos. Así, la intervención que podría funcionar bien en las manos de entregadores de servicios altamente motivados y entrenados, puede finalizar en forma incorrecta cuando la administra el personal, para el sistema de entrega en serie, cuyo entrenamiento y motivación sean considerablemente menores. El campo de la educación es un ejemplo: los métodos de enseñanza (por ejemplo, el aprendizaje asistido por computadora, la instrucción individualizada) que han funcionado bien en los centros de desarrollo experimental no han funcionado tan bien en los sistemas escolares ordinarios.
MONITOREO DE LA ENTREGA DE SERVICIOS
115
La distinción hecha aquí entre un tratamiento y su modo de entrega no siempre está definida claramente; por ejemplo, la diferencia es bastante clara en los programas de mantenimiento de ingresos, en los cuales el "tratamiento" es el dinero que se otorga a los beneficiarios y los modos de entrega varían desde depósitos automáticos en cuentas de ahorro o cheques, hasta la entrega personal del efectivo a los receptores; la entrega del mismo por transferencia electrónica o manual ejerce poco efecto en el tratamiento. En contraste, un programa orientador se puede manejar mediante el reentrenamiento del personal existente, ya sea al contratar a consejeros o emplear psicoterapeutas con título profesional. En este caso, la distinción entre el modo de entrega y el tratamiento es poco clara, pues generalmente se sabe que los tratamientos de orientación varían según el consejero. Tratamiento no estandarizado La categoría final de fallas en los programas se debe a la ejecución de un tratamiento no estandarizado o no controlado, en algunos casos que implican "variación planificada" por diserio. El problema es que la discreción en la ejecución del programa suele ser relegada al sistema de entrega, con el resultado de que el tratamiento puede variar significativamente a través de cada sitio. Los primeros programas de la Office Economic Opportunity (Oficina de Oportunidad Económica) proporcionan ejernplos pertinentes. El Community Action Program (Programa de Acción Comunitario) dejó considerable discreción a las comunidades locales para emplear una variedad de acciones que sólo requieren "la máxima participación factible" por parte de los pobres. En consecuencia, es casi imposible documentar qué programas se completaron (Vanecko y Jacobs, 1970). Asimismo, el Project Head Start (Proyecto Head Start) financió a las cornunidades locales con el fin de establecer proyectos de enserianza preescolar para niños no privilegiados. Los centros diseminados por todos los Estados Unidos variaban debido a las agencias patrocinadoras, a la cobertura, al contenido, a las calificaciones del equipo, a los objetos y a un sinnúmero de otras características (Cicirelli et a/., 1969). Conceptos del sistema de entrega Algunos programas son tan simples y directos que la evaluación de su puesta en marcha requiere sólo un rnínimo de recursos; no obstante, otras son excesivamente complejas. Una combinación de los métodos evaluativos se debe emplear para valorar adecuadamente la puesta en marcha del proyecto. Antes de analizar las diversas metodologías puede ser útil revisar un conjunto de conceptos que se emplean en la valoración de la entrega del programa. Durante la planificación del programa es necesario formular hipótesis acerca de esas características del sistema de entrega. Como parte de la planificación, se aconseja efectuar pruebas de las decisiones para la puesta en marcha. El sistema de entrega de un programa consiste frecuentemente en un número de elementos separados. Como regla general; es prudente valorar todos los elementos; sin embargo, en algunos ejemplos, las experiencias previas con cier-
116
MONITOREO DE LA ENTREGA DE SERVICIOS
CAP. 4. MONITOREO DEL PROGRAMA
tos aspectos del sistema de entrega hacen poco necesaria la valoración de algunos elementos. Se puede pensar en sistemas de entrega como una combinación de patrones y acciones realizados de manera que se proporcione una intervención (consúltese la obra de Wholey, 1977). En el anexo 4.4 se muestran los elementos de un programa público de servicios humanos. Acceso El acceso se refiere a los arreglos organizativos y estructurales que proporcionan oportunidades y que facilitan la participación en el programa. Todos los Anexo 4.4. Un rnodelo simple del sisterna de servicios hurnanos
Elementos del
unc tón
, Publacián serVida
-EspecifICICt Meca sijades
ddhe
Adrninistrador del sIstcma Evolución del chente
Agerité••de •
Sh, terna:de infounación
tiupo de rniernbros comunitarios en un area 'eográfica reducida, que re¿ibe serviclos del y tlene. sus necelciades e interees ...r:épresentacios por rnedio dék.gc„,biemo n grupo '''de rniernbrial '; eohntinitarios que"t.:epreseratara las necesidadeS'yclós itítéresaés ciej.„ á p oblactdn. .servicla ' na, definiCión 'dé laS necesldáles ctela oblación servida,• establecida en terminos - . ' .,:•• •••:•Idn rnk_, dio de registrar la extensión en-que las neces,icladeS''de la poblacián por servir han sido sansfecha. sisgema Al g ún Ihdividuo o g rupo contable respecto de los doctos 9,=c6s'tós'clelsiSterna tin'conjuntodé`-:-. ftíncióries del sisterna pór rnedio cle las cuales el cliente pasa desde su mgreso hasta su alta cuando ha sansfecho sus. rieeesiciades' fin punto sinLttilar de contablidad acerca del prbgreso clel cliente por rneclio delsisgema Un rneccausmo para proporcionar• datos al , personal de entrega y a drni nistración¡coni'et fin de ayudar a los'clientes,fáCilltár.'laS'aeCiones Earrectiyas que e deben ernprender_si . el cliánte-:-Mene, clificultádes '
117
programas necesitan tener una estrategia para suministrar los servicios a la población objeto adecuada. En algunos casos, el acceso más simple puede consistir en abrir una oficina y trabajar bajo la presunción de que los participantes designados llegarán "naturalmente" y usarán los servicios de intervención proporcionados en el sitio. Sin embargo, en otros casos, el acceso puede incluir campañas activas de alcance para reclutar participantes, dar transportación de tal manera que se traslade a las personas al sitio de la intervención, y en esforzarse durante la intervención por minimizar las deserciones. Numerosas interrogantes de la evaluación se originan en relación con el acceso, algunas de las cuales son relativas sólo a la entrega de servicios y algunas otras están relacionadas directamente con (o tienen implicaciones) los problemas examinados previamente acerca de la participación de la población objeto. Primero, las operaciones de acceso establecidas ¿son congruentes con el programa y su diseño? Segundo, ¿permanecen los participantes en el programa y terminan como fue planeado? Cuando los rangos de abandono son excesivos, no sólo las poblaciones objeto son alcanzadas mínimamente por la intervención, sino que los costos por población objeto potencial pueden volverse excesivos. Tercero, ¿existe acceso para las poblaciones objeto potenciales a los servicios apropiados? Por ejemplo, se ha observado que los miembros de la comunidad, que originalmente usaron los sistemas del cuidado médico de emergencia para propósitos apropiados, pueden utilizarlos ulteriormente para el cuidado médico general. Este mal uso de los servicios de emergencia puede ser muy costoso y estorbar su disponibilidad a otros Miembros de la comunidad (National Center for Health Services Research —Centro Nacional para la Investigación de los ServiciOs de Salud—, 1977). Cuarto, la estrategia de acceso ¿adopta la utilización por las poblaciones objeto en forma diferente para los diversos grupos étnicos, culturales y sociales o existe el acceso equilibrado para todas las poblaciones objeto potenciales? Finalmente, hay proyectos en los que es importante, como para el acceso, evaluar la satisfacción de la participación en el programa; por ejemplo, si un proyecto preescolar es visto con poca satisfacción por las macires de los niños participantes, puede fallar en seleccionar a otros niños de esas familias en años sucesivos, o de las familias vecinas influidas por el informe de la madre. Especialización de los servicios Es crítico especificar en términos operacionales los servicios actuales que se proporcionan. La primera tarea es definir cada género de servicios en términos de las actividades y acciones que tienen lugar y/o en términos de los tipos de participación de los diversos proveedores. En el anexo 4.5 se investigan los lineamientos para examinar un programa educativo. Las unidades de servicio, o elementos del programa, se pueden definir en términos de tiempo, costos, procedimientos o productos; por ejemplo, los elementos del programa se pueden referir a las horas de tiempo de orientación suministradas en un proyecto de entrenamiento vocacional, en un esfuerzo por mejorar la vivienda; una unidad de servicio se puede definir en términos de la cantidad de materiales de construcción proporcionados; en un proyecto de la in-
118 MONITOREO DE LA ENTREGA DE SERVICIOS
Anexo 4.5. Especificación de fos eleneentos ' de un prdgrama edticátivo _ _El lcctor puede comenzar a clescial-nr el pro g ramaii'déltal manera que_ Çubraye los eenle:no. e'ns tbs del conte rto del proqra arn -las caracten stic asangi tbles ,es e9 s esc
,
1
i-.
....., •, '. E:ip s salones de'c asps, esClié,/as;IO• distritos''dóéll é' , elpr.ogranWse ha Instalado Él personal del.prograrna. ihCluiddslcas.adrillnisfia" , . ,deek:16s • . ....,... , , .,.., pi4eltios,,áwd ,.. , . liares los padres volüntarios y las- secretarias. ."'",111,,,i,. " - ••• : . ,., - : •• Lo§ recursos utilizados incluidos los rnatriales deTi li's lifos o comprados, el ,equipo, particularmente aquel comprado para el,.prpgrapa. . , . Los estudiantes inclu idos las características par ti:dila:1_451i.11.:¿)s hieieró.lete. .gibles'al programa, su número y us nivel decorn ,•-:: . ..... ' - '1ii- '''''' iniciadeill.'"
` Dlchas'características del contexto tonstituyen el cii , erpo del programa y deben IncluIrse en cualquier infornie resurnen:,, Listarló kgeneralMenteriorequie1 re Mucha captura dé datos, pues no son el g énelb'íle',dátás 'cju'iá"tínii-eSp .era" qu --cambien o se , veán cort escepticismo. A menos'_citieeljlector t engá ,duclas ,aCerc#14 ,de la entreg adé,materlál e` l„6. piense que el g riiTiOr de' trabajo o estnálántes' 'neo p articipará, no es rnuy neéesarlo contar con datos antecedentesisju ea0y0i.'1-..:.1 "su déscripción... ppn - Además de la descripcíán de cieltontexto, el ledt -nece.sitará ener algti n,tlempo'para'examinarlasy características reportar las activicláCle en las que los particintesi wel eqüipei de tratii)jo tornarán parte. Describir laS-acttvidades importántes¿.1.,: irnplia contar con y contestadOs , citestionarios formulados . ,, éj51rj'Sé
cutú;,11progr 1-11
• ¿Se utilizaron los rnateriales?-é, se emplearcm ¿Qué pi-ocec-limientos prescribieron.los maestros,,pAta,,..legülis ie,.:.g0Sii;.ertse ñanza y otras interacciones con los estuchantes.?,:,1.1.ggitiét_Omestós;151.4¿erlb mientos? ¿En qué aCtivtda1e4 se supOrla . ue los estudiáil lIdefPl. rantá. 4:rti011han? . lo hicieron7 ¿Qué actividacles fueron ' indiCadásv- Por los otrill;Váifícipliité§,: padres y tutores?, ‹.. -se ájustarcini' a 7 e as r-auxillrési ¿, Qué arreglos adrninistrativos incluyó el Progranía 9 , ,qué líneas de autoridad tuvieron que -emplearse_para tornaf decisiones imPoi rtantÇ,,s? ¿que cambios ocurrieron eiii- éItás ' á rregi_ors o libes.de'or Decir detallado sIgiáifica que tcauriettelc eiets odfiirdclón lás pec ica paranpertnitille4isé.gár)E1' , _FiiiisteAdÍptácki cie
Progrdrn Eualuation
.1.)fid uir;una prescri
Gibbon HototQhf,lásuié f?ublicatx,ss„Bévelly':11
16
rtt Implernentüttóri ‘id
119
dustria del queso, un elemento del programa se puede referir a una actividad, como entrenar a la gente para operar las máquinas cortadoras, y en un programa educativo un elemento puede consistir en especificar los materiales curriculares utilizados en los salones de clase. En todos estos ejemplos lo importante es que haya una definición explícita de lo que constituye un elemento o unidad. Existe una negociación entre especificar un gran número de elementos del programa simples y específicos y tener sólo algunos pero complejos; por ejemplo, si un proyecto que proporciona educación técnica para desertores escolares incluye entrenamiento literario, tareas de carpintería y un periodo de por lo menos un trabajo como aprendiz del oficio, será deseable que se separen éstos en tres conjuntos de servicios, en vez de una combinación de actividades. Para estimar los costos de un programa mediante un análisis del costo por beneficio y una auditoría fiscal, es importante anexar los valores monetarios de los diferentes elementos del programa o de las unidades del servicio. Esto es más importante cuando se comparan los costos de varios programas y cuando los programas reciben una reinversión con base en la unidad de servicios proporcionados. Simplemente, los elementos específicos son más fáciles de identificar y contar, así como entrenar personal para registrarlos; sin ernbárgo, los elementos complejos suelen corresponder más estrechamente a los objetivos del programa. Por tanto, la cuestión estratégica es cómo se procura un balance, mediante el uso de los elementos del programa identificables y contados confiablemente, y al mismo tiempo ser significativos, tanto como las metas de los programas pertinentes. Especificar los elementos del programa o las unidades de servicio también ayuda en la administración del programa. Un monitoreo minucioso de la actual distribución del programa en cuanto a las unidades del servicio entregadas a los participantes puede ayudar a los integrantes del programa y a la administración a mantener los programas más apegados y alineados con los intentos originales. Por ejemplo, algunas unidades de servicios pueden parecer más atractivas al personal del proyecto que otras, el simple provisionamiento de ingresos que apoyen los pagos se puede intentar más fácilmente que entregar una variedad de servicios sociales complementarios, y el personal del proyecto puede tender consciente o inconscientemente a favorecer las unidades de servicios más simples. Describir los elementos de servicio del proyecto en términos de las actividades y acciones es preferible a describir en términos de las características de los proveedores. En el anexo 4.6 se muestran los elementos del programa. Desde luego, el esquema mostrado en este anexo es congruente con cada incidente de la interacción entre maestros y estudiantes. Por lo general, los elementos del pograma podrían no ser medidos con este grado de refinamiento. Se da el ejemplo en este momento para mostrar el grado en que se pueden describir los elementos de un programa en circunstancias apropiadas. Evidentemente, si se puede ofrecer una extensión concisa y una descripción detallada de los elementos del programa, será posible ampliar y duplicar los programas. Aunque las descripciones de los elementos del programa en términos de actividades concretas son preferibles, en muchos proyectos la naturaleza de la intervención permite una amplia opción acerca de lo que tiene lugar. En tales situaciones, por lo menos en el comienzo, se pueden describir los elementos sólo en térrninos de las características generales de las actividades y de los entrenamientos y habilidades • de los prestadores de servicios. Por ejemplo, los artesanos maestros se pueden ubi-
120
MONITOREO DE LA ENTREGA DE SERVICIOS
FAexu11.6 Medlción delo que,sucecie
en los salones de clase j En'r un-eSfuerzo por relácIonar qué - sucede en los salones - de clase don él arnenchzáje,delcis. alurnnos de:esctlelas elementales„19s InvestIgacfpres fílmori 1,1 IndíVldalles ,de salón cbarairi:SelmpattíaSésioneiFcte, instruCC16.1é matemáticas y lectura. Las películas se cgiiiflcaron Para móstrar lae;triCide'ri'eiajj ':-Ide'ciertos tipos de interacclones-ma'estrolalurnno que se creían Inipottánies;Para,lograr un- aproVechamlento én dichas Materlas, A continua(5`ri'á'já_it4Ic'én algún6t7dé"161'cód1§11-dlléñado s' paí'a los evehtol'instruétivo§ a'C'elones féli'adáS -porelmae s VestiOnh n" omésde los-estudiantes: - - ' ' Mandatos Inclividuales . dé rnanejo (establecidos1 los estuchantes para normar su comportamietilci R9r.éjlerhiip: tórne,aslérítol"-),, Manclátos cognoscittvos Indlvicluales (manclat , rIal InstructIvo dirigido a un estudiante en Mandatos cognoscItIvos a todo el salón (el do a la clase por entero): " El código esquernátIco total, contenía literalrherité' que las pelfculasse codIficaron, fue necesário resumír las cIntas en.`' y por cada'eltúdiante y relaeidnar los resultados en resurrien resültante conta, Ontldájd, de aprendlzaje que tuvo lugar .en lal,elases . _ un totary con cáda estudiante.' , „ Fuente: Tomado de W, W ' CocIesi3. LeIrn hardt, iThetriitiiic1tc-1131.11riTimsíans Stuifyl;e1EcilicatIonai EualuatIon and Polici; Analysls 2, Ainerkan Eduqgt19. 941{1.1110. Allpelation, 1.4110,1101,.. D C„ enero de 1980.: F',eirnp -reso con autorIzaci6n. _ : I ' . , .
car en una comunidad con bajos ingresos, con el fin de que instruyan a los miembros de la misma acerca de los diversos métodos para mejorar sus unidades habitacionales. Las actividades que pueden desarrollar los artesanos varían gradualmente de una familia a otra. Así, aquéllos puederi asesorar a una familia acerca de cómo diseñar y colocar las ventanas, y a otra darle instrucciones sobre cómo levantar los cimientos de su casa. En tales casos, las actividades sólo se pueden describir en términos generales y con ejemplos; sin embargo, es posible describir las características requeridas por los proveedores. De este modo, se puede establecer que las personas seleccionadas para esta actividad tengan un mínimo de cinco años de experiencia en la construcción y reparación de casas y que posean conocimientos sobre carpintería, cableado eléctrico, cimientos y construcción exterior. Por supuesto, durante el proyecto es importánte ser capaz de documentar las actividades actuales y tareas que este asesor realice. Como un lineamiento general, el monitoreo es más exitoso cuando los programas se mantienen lo más simples posible. Los programas que ofrecen muchos servicios diferentes y en los cuales existe una integración minuciosa de
121
las intervenciones para los individuos objetivo, pueden ser' difíciles de monitorear, dado el problema para desembrollar las modalidades de la intervención par-
ticular, que influyen favorablemente en términos de las metas del proyecto. Al mismo tiempo, es evidente que muchos programas ofrecen elementos de servicio alternativos debido a los requerimientos de los individuos objetívo, a las condiciones en las que el programa se ofrece o a la competencía y experiencia de los proveedores del programa. El monitoreo requiere que las alternativas se identifiquen y especifiquen tanto como sea posible. La fase de planificación incluye la depuración de los conceptos del sistema de entrega, el desarrollo de las especificaciones operativas y una anteprueba del sistema de entrega. Durante la ejecución del programa, es aconsejable para el administrador de éste efectuar un estudio periódico y continuo del proceso de ejecución (véase el anexo 4.7).
Anexo 4.7. Evalnaciones corninuas - versus evaluaciones rápiclas
Slos adrrunistradores- consIderan como una de sus responsabR.-- , a la evaluación . lidades principales están aptos para creér que la evaluación debería ser un so constante y continuo. En laJpractica, esto ha permindo destacar-el ingreso y procesó déeyaluación. En loS,P,regrarnas sociales, el desarrollo clk.?,s1 m ; emas estacIíS,f' a Menü06-,..,bastantecorriPlérk :y.:Cle¡prnéháS:eStariclariz_aclas OnlóS:se_jernplo-l' más sign'ifiCatiY6S.' Los siliernS - eStadístleOs'-riéflejah'irn'Cleseo y uría neéésidad 1 . parte del:adruinistrador para cohocer algo acerca de los:'clientes que son servIdo,:jL por sus progre-iMas y, además, alcO acerca de lo que,sucede a eStos Clientes y 'Ibs iniernbros del ecjinpO.gastan , su tien-Mo. Cüando tales sIstemas están razonab)le mente bien dlSehadóSpropoicionanjbüenalnfOrmación detállada acercá de características cle.má:qráficas de cliis, or 12- mcjnos alguna indicacIón de4 '. . 'IOS`Clientes se turnan para p'artiClpar:cín el programa (Por ej.ernplo, árit c de'rrfer6ncia), 'cI una asignaeión categóricIde j por qué erelle,nte parhcipo p grarria (por ejcInplo, cliagnosns) ei?"rno gdStd l Cquipó de tratiajo su tlenipo entre - las • diversás aótiYidacles,(analls1S ,:de tiernpoithabajb) ,,y f_;rectr ratiee rsnent isn te citjtji adelberi e.9 i tn fá ' ser el p¿lso' (disposieión);.1`..,:tenos frecuentcm.c.n . b .;prj pbrcidnan infOrmación al _rastrear alellentc un sistema o.programa 7--_ servl: ' cios prOporcienaclos, en transferencias, , éte; jTípieamente, nu sistema estaclístIcc17i' pro¡-,orclona algunos cie esos ,Upos deinforrhaeitáh,.lo ctial depende de las referen.:: cias de 105 idriiinistrador es y de la dispaibilidád cle rectirsos, y los sistemaS eStadís=, hcos prc4,bleniente son tosincj ores • c_1_1-1 l . S-15~ d0. 5 y OS corno forma de evaltnción cüritlilua en' los pro, _alilaci55,n,-,rapfda i,es HIrnas lí_iónea c9tno , respuesta a una:crisllyerelhíd a,--, una-;declión,POlítiea partieülarrnente dIfícile o quizá la,perceP-eión 1 . - so. ' Por naturaleza, la. in\lestigación, evalqailv. a es de un Solp golpe, Porqu.e _ plicar un estu,clio. Por cualquier razón, una evluación de un solo golpe' siri'e responder una cuestión e c,pecífica ,acerca de LITI prograrna particular 0 et életnerd&r• de un prograrna et-On n-lorne:nt ,o dado. Las fuéntes de criSls son íniiumerrableS:pero, genen, men e resu lt' and e necess.(1_ snmechata-de contar con información acerca. Existe "¿Ina fúerte- tenáencia,- á menudo L1J-' Un .un fuera CH_conceprqdecc ifiabilid ida emplear evaluadores externrOs en situaciones " de crisis, aultcuie - ró„"qué cc,r1Itittwe "fuoia - depencte--Cle-:i¿s
122
RECOPILACIÓN DE DATOS
co4Initerell.netekintei'venir 'en..e `stdcasibá. V.las.CórnpañíaS .deitensulto'reli'llniiii;StratíVOYSIsbafflrn. ., ....4.:S71e-vatnalCi.Orie'S'7.-P'ertókbea's .,,.100.:itn.ptirttwrkted(cirntiy.'..útif . en:tre las e y aluacan-lbaan otrós
son-. 1entos en .cle§..4i;i:O11:0,,r.0:156.í:..16:iné.IOS.711.'efeCtO::eictirr./;IO'n.Ientitud.--1.:StO:' .eS'Particntarínenfe
123
En algunos casos puede ser útil al observador convertirse, por lo menos durante cierto tiempo, en participante parcial o total del programa; por ejemplo, Reiss (1971) situó en los carros policiacos a observadores que Ilenaban reportes sisternáticos de cada encuentro entre los policías y ciudadanos de una muestra de rondas de guardia. Un enfoque similar se dio en el experimento de la policía preventiva de Kansas City (Kelling et al., 1974). En el anexo 4.8 se describe el uso de observadores en ese estudio y algunos de los problemas encontrados.
adernás;-Muchos de los instru,
sens.itivoS sólo a can-Jblos que requieren medición ni la-evalnactOn rapida . ni .1a monitóreo Perii5. dito:-es;faCtibIé y descanso al evaluador no nry coMpromete a el ni a la
etVi. FulitteAda
hirition, John
1,_ FnralinyJ F1 T5 In4r !n
Nor'j
iork, 1979. 1. , ;/( 1 s, 26 29.
JutIr to
Pr,,grani
RECOPILACIÓN DE DATOS PARA EL MONITOREO Una amplia variedad de técnicas se pueden utilizar singularmente y en combinación para recolectar datos de la ejecución del programa. En los enfoques particulares se deben tener en cuenta los recursos disponibles y la experiencia del evaluador, como en todos los aspectos de la evaluación; sin embargo, existen restricciones adicionales, una de las cuales concierne a los problemas de privacía y confiabilidad. Los servicios del programa que dependen de los métodos de entrega de persona a persona, sobre todo en áreas como las de salud mental, planificación familiar y educación vocacional, no son rápidamente susceptibles a la observación directa de las actividades del programa sin violar la privacía. En otros contextos, los cuestionarios autoadministrados pueden ser un medio económico para estudiar la ejecución del programa, aunque el analfabetismo funcional y las normas culturales limiten su uso. Cuatro fuentes de datos se deberían considerar al evaluar el monitoreo: la observación directa efectuada por el evaluador, los registros de servicios, los datos del equipo del programa que presta el servicio y la información de los participantes del programa y de sus asociados. El enfoque utilizado en la colección actual de datos y los procedimientos de análisis se sobreponen de una fuente de datos a la siguiente. Una evaluación del monitoreo integrado debe incluir datos de todas las fuentes. Datos observacionales En muchos programas, el enfoque preferido para recabar datos para propósitos de monitoreo es la observación directa. Los métodos observacionales son factibles siempre que la presencia del observador no resulta obstructiva.
Anexo 4.8. El programa del observador participante en el experirnento de la patrulla
preventiva de Kansas City . .
LOS observadorcs enirenados fueron asignados a vlajar en can-os patrulla con , los oficiales clurante, las- . tepéticlonesdel experimento. Se crefa que talc,s observado. rm r,1112cirían ser valiosps al.obsei-vw:y regittlar las consecuencias ine_speraclas de, tal c:(perirnento; propOrCiOnarret.roalimentaCiÓnvallbsa refactonada Opri la-extensión enque había un eXPerirnento, régisaar dé -ifíangra segurayPropbrddriar datoS ton, cernientes a las activiclecles rcalizadas por los oficiales mientras se encontrahan en su Patrulleje preventiyo de rutina (Para la expediCión de análisis de tiempo no pactados) y servir'conio'itecanisrno priricipal de recolección de datós en el tiernpo dé restitieStayférvitis .gn¿úentros policía7cludadartos del experlmento. ii . .-i'f;i-ig'Zá difícultad Sederivó de las objeciones acerca de la habilidad pa r a Utllizer obsen r edores. Vatios miernbros expresaron miedo que los ofictales de policía pudieran,modificar dutpnválicarnente su comportamiento con la presencla de obsetVadores, de küje Plidieián :Igt,fiós.tiles allégr4no, de que hubiera constante rnonitorep pqr Pártedg fos'iSartICibarrtesque nó son potiofas y deb105:a. que pudiesin_lentlrSe re.sponsableS dé iiiá'obleiVadores; lOS Ofictales de Olicía pódrían poner ennligro SU propia seguidad erj situaclones de pe igro. La discusión eventualmente'TeaMbi6:4e la habilidad 40 iáholtilidad ala precaúdón abierta y a la aprobación y el intekés";aiinque'la babilidad:Se r'élervó el clereclio de suspender el uso de particlpantes ohservadores ellos: d ' eherían juzgar una descontinuaclón que este en el tnejor it -iterC, s del experirnento. Uno cle los conflictos mayores cra el mCJtodo de_ colecclón de datos. El prirner paÇo en el acopio..de-datos por parte dekpbservadgr , inclula la captura de cuentas fenotn'endlógicas'IdefinidaicOino rma , de.S.Criti¿Idil Sitf1cíentemente - COrnpleta que una defintda irnagen- de los eventos generados enla menti, det rleCtór qOlen eácapaz de inferir ét humor de-los particmantes acerca del cornpOrtaraiento registrado) En el curso del w_cperimento, el metcdo se camibló por un medio más altamente estructurado de recolecciowde datos, Una secJunclalál-ée cle conflicto incluyó la cooptatividad por el poltcía de muchos k_le 10,, J ,bservedoreSjpartjc Mantes. Debe notarse que este problen-ra nunca se l nrnitó á l'OSobserv¿I(lores, ni fue prerneditado por el departamento de ' policía. El abajo delJposcs,a tlene r -nuchoá:,áspectos excitantes, atractivos y que deducen a cluienel no••éltán i.direc tamerite 'relaÇionadosiCón:lei.:organWatiOnZ Pomo resplado, : OS aboqados son fácllmnvnte convencidos'.1.111.'el`likint6;i:fg..11ista del P91111.álátmos dé lo.s. ebsérliadlf1.1,fir4i. lighaládos Pa-ia. „-de' féñtili.,1:),,ii.:;15)ida SiC.CtrdiétiCidos de
.'Sénoclijal!i:Ila - ,1*:..4..-e-',',rii ,. :51-1, aV.P9r el ' eilic lainfoirnh0511rICOlé` 4. qelf,154 . 01.e—::: departarneñfó'<'ClklibliOál: ' ..fíltlidálitf,11.014;ae.1105,1'.14.1 t. 'bP15,4:elét écitlipo, Aláiiiiollililiáin.ladólég 'Illlezari,:11..á irliátiperi.,
124
RECOPILACIÓN DE DATOS
nedadde roecoismos. Prirnero, un Pr7Ir i reSOIsiei : este . PrObleiria:Sé .ü ••• ••• • • • . Iccióriá-t:10'páVal-evisar regularmendélabílidn oficial cie policYá g e , y dicutir con ellos naturaleza te láltifórrhación recotee„ . tádá , por lOs ObserVadóre.s . . y sülHihilided_de los,dátOs.'Segundo, se realizaron reuntones resi.ularrnente con los ub-crv idores párá artalilaisis trábajo, sus hallazgos y problernas encontrados en el carnpo. Tercerp, los observaclor,..s-del experirnento fueron puestos bajo la directa supervisión'de un . mie.mbro del eginPo de tiernpo cornpletp para reforzar las funcioapoyo acin-linitátiv0f-en curso. nes .5 !rntnistrativas yiprr orcioncir p Los obs,2rv¿)dores ro aL si on datos de grzin valor pai-a el ex- P:e'rirnento y hubo 14)roblernas expemucha conficlencia en la calidad dÇoo .11,4c)s. En 4..spech9 de rim j ntuclos LlurzInte las ctapas iniCtale§:de .: 111 programa y cle I At: ficultacks de la investigaciónletriornetodológie0, ha habldó .Y . habra . tiri olio nivet se regresos en terminos; de- rééolécción de. d - atds-y . lát forinw de usarl os . Fltente: 5 t it con T :c. tnnso, cleG 1-1.'SIru et al The K,:lri&as Ctiv Police Er ,uncidl:Gn. W..35/ung[on, D. C., 1974, 1010. 60 62-
Patro F_9,v;inerit:
Los investigadores que deseen emplear los métodos de observación de los participantes encontrarán que generalmente es posible explicar al personal del programa y a los otros participantes los propósitos servidos por medio de la observación; sin embargo, el grado en que la presencia del observador participante puede alterar el comportamiento del personal del programa, de los otros participantes o del sistema de entrega, como una unidad, no es del todo claro. La evidencia impresionista de los estudios en la policía indica que los observadores no afectaron al sistema de entrega, pues la policía en los carros patrulla se acostumbra fácilmente a ser observada. A pesar de todo, los métodos de observación por un participante deben ser sensitivos a los problemas surgidos de los efectos de observar. Una parte esencial de cualquier esfuerzo observativo es un plan para registrar sistemáticamente, la observa-Erdn, hecha (consúltense las obras de Schatzman y Strauss, 1973, y de , Patt , 980, para una guía de los métodos de la investigación en este campo). Los observadores deben ser entrenados acerca de cómo efectuar observaciones y cómo registrarlas uniformemente. Las observaciones sistemáticas se pueden efectuar de tres maneras típicas. El primer enfoque implica la última imposición de un esquema de conjuntos para clasificar los eventos: el observador es requerido para que anote los eventos con tanto detalle como sea posible y en el orden en que ocurren. Esto también se conoce como método narratiuo. En su forma más extrema, no se dan guías al observador acerca de cuáles eventos registrar y cuáles ignorar. Sin embargo, típicamente, se ha encontrado útil proporcionar al observador una lista de actividades importantes respecto de las cuales debe centrar su atención. El segundo enfoque es proporcionar al observador una guía de datos, un conjunto de preguntas para las cuales se requiere una respuesta del observador acerca de sus observaciones. Una guía de datos puede semejar un instrumento de investigación en el que existen espacios en blanco entre las interrogantes, los cuales deberá llenar el observador; por ejemplo, la guía de datos para observadores que atienden clases de entrenamiento técnico puede incluir preguntas diversas,
125
como: "¿cómo usó el instructor las ayudas disponibles para el entrenamiento?, ¿cuándo y dónde se usaron?". El empleo de un instrumento de registro como esta guía simplifica considerablemente el análisis. Existe también mayor probabilidad de congruencia en la información entre los observadores, que con el reporte narrativo; sin embargo, supone más específicamente acerca del diseño del programa y es difícil de manejar si hay múltiples intervenciones alternativas para aplicarlas a los participantes individualmente considerados. El tercer enfoque consiste en usar alguna forma del esquerna de proporción estructurada. Algunos de los porcentajes pueden ser puramente descriptivos, como una lista que especifique el lapso dedicado a diferentes géneros de actividades. Otros esquemas de porcentaje son normativos o actitudinales, como un esquema del porcentaje para medir la claridad de la presentación de un instructor o la escala para valorar la naturaleza del encuentro entre los participantes y el sistema de entrega. Aunque los métodos de observación directa parecen simplemente atractivos, no debe suponerse que son fáciles para los observadores no entrenados; además, consumen mucho tiempo y producen datos difíciles de resumir y analizar. Estos problemas son particularmente complejos cuanto menos estructurado es el método de observación empleado y más complicado el programa de servicios. Más aún, como ya se serialó, la observación puede cambiar el comportamiento del personal del programa y de los participantes. En algunas circunstancias es posible reducir los problemas de la observación y desarrollar enfoques de muestreo apropiado, de tal manera que algunos observadores puedan registrar las actividades del proyecto en forma más económica. Para hacer este muestreo, algunas veces se selecciona al azar un número adecuado y estadístico de periodos para observación. Otro enfoque para proyectos en los que se incluye a individuos es muestrear a los participantes y luego observarlos conforme desempeñan las actividades del proyecto. Algunas veces es práctico y aconsejable combinar la observación directa con otros enfoques del monitoreo, pues la experiencia sugiere que la observación directa es difícil de completar con un alto grado de confiabilidad y está sujeta a las limitaciones descritas en párrafos anteriores. Datos del registro de servicios Los datos del registro se examinaron en la sección en que se medía la cobertura. De la misma manera que las características de las poblaciones objeto se pueden valorar de los registros, la entrega de servicios proyectados puede ser monitoreada por ellos (en el anexo 4.9 se describe cómo en una revista gráfica de medicina se evaluó la entrega de servicios pediátricos). El registro de servicios varía; puede ser equivalente a un informe narrativo o una forma de datos- altarnente estructurada sobre la cual el personal del proyecto revise silos servicios se prestan o no, cómo se recibieron y los resultados observables (Cernea y Tepping, 1977). Su nivel de detalle está relacionado con la complejidad del proyecto y con el número de alternativas que se puedan identificar y especificar por adelantado (véase el anexo 4.10 para un ejemplo de procedimiento simple en una evaluación de la nutrición). El registro de servicios también
127
CAP. 4. MONITOREO DEL PROGRAMA
126
varía en cuanto a la complejidad en el almacenamiento y acceso; por ejemplo, dentro del contexto clínico, los sistemas de información computarizada se han diseñado con base en los principios del manejo científico. An exo 4.9. Uso cfr7efrosTara —
evaluar un sistema de entrega
Anexo 4.10. Ejecucilm de un programa en un experunento nutricional eic mplo de un_proyecto en el que cxi te una rnedicIón precisa de la de un prograrnzl la'evaluación del fecto de la altas caloríasy:delt:5-1Cornplemen-. tos ,t1e , álta. s prctcírias del Institute for Nutrition.,,oWentrát,Arraldail'and-.Panarna para la biutries u de ArnIrieá,eéntralypa'n-arn0?e-n rnientdfíSleó y,eld&.arrello de I ,s funcic,nes ci hgnóseitivasitle'ia ihos e'lledádi k cunpleinentos de calOríaS se pr'oporciónarón'clós yecis al colár. ,En día ldurante los misrnos periodos a toclos los ocupantes que lorécibteion.-E1Ingai., para la alitnehació cncontr,lba eer ca ele la ebcuela de la vi115.'F'it iaS otras de control" se proporcionó un complernento menos integradd, pero . _ beneflco.' 1.110 5.1"1. Todas las personas--escogidas bahían siclo venficada.s érrilbsta dél eensó de los .' miembros de la villa. Cada persona recibía su complemento, en una táza estandar cdanclodo ilabían behIclo tanto cornd habían desé.9do, la taza.era devuelta' a quiLmes poLlían rnedir la .eánticlad ingerida, al sustraet miembrós total de la cantidad que sobraba én la taza. Corñó se lt..;piérrnitta beber tántas tazaS''' colno desc asen, no había razón para que hicieraritranipa'al pasarla taZa a otras „ sonas, aunque fueron observados ctudadosamente. • , Esos registros diarios cl n-_ spués se enviaron al INCARy, por medió de trin sist& rna computarizado, se integraron participaba en el estudio. p
,
El n,Vatts Health'C'éñter,(Centro de Salud !!,, atts),es ur-lt,e1itro de salud vecd,nal (_1e orsentaelón faMillár.e'ra•t.4 comuniclad prederninantemente défeolor '¿?Peráció.ri.09s09»,§7, -.0i0acg 9 sivos y arnbulat6rios y 'aProxirnadárin'éntéS100,0:1érsláriaá qúe viven en ét á'rea tivo de 5 lilOtnetros Criadraclos y éuYos ingresoSsop Inferiores alos de lálínea fédeI
1.1
r s o
`
En el'registró de paclentes Se mantenía una fila . perrhanente iniciada por el 'Oliente y por todós los miembros farniliares, Este Proeso de reglstro, aun cuando facilithha el cuidado continuonOcomprornetía al reiStiante a utillZar el centro. - En clklembre cle 1970, inia rmtéstra de 2":5%',(2 14'familias) de i-.total registtada:de 11 721 famihasdue selecclonada;rrid)anteeu.so de,una.tabía 7. n •
-
-
2
latrNylaj edacl cuando'- fue registrado la estudial,131. • ' • ' ' una:forma resuMida.. Él cuicládo "pedlatricd,rde altá calidad e_staba pre ,registraba en el hytorial_del ; pácieri té;:porií:i !nen9s uri*,servicio OtíPiltjii..11 ; -
- --"yd
'
y
-
-
l
'
:
`
‘
-
,
,
-
;
Ftiertte: R n
rican Acadeoy.. ,Of:Pediátries (Aeadernia estadounicienál.,:cle pecliatras), la atenCIOn pres:'enta'd, la todós lolnforni de labo rátorio a'norrnale,lás visltas subsecuentes apropladas'lPaia todás lasltondíciónes clínicas signIficativasdeíectaáas. " Un'Ciiárto áe los niños esal
tbil 1f I
Ru 'r.-11 GIIMCI11.113 "
H E . C/1 Artit,IC ,7r7 j
eumul
lát1456i PubliSérgt/i7ilak.
'
.
7
'
l
-
'
-
-
'
•
,
-
-
-
:
'
•
l
'
-
•
:
-
e
?.
v
-
Muchas veces, el sistema de registro de servicios es tan complejo que no se puede usar para los propósitos del monitoreo (un problema, como ya se señaló, que satura los registros de las poblaciones objeto). Esto ocurre debido a que los sistemas primero se diseñan para satisfacer las necesidades admínistrativas y de manejo del personal del programa. En tales casos, las formas del registro no se llenan correcta o completamente o las partes que se cree no son adecuadas para los miembros del proyecto se completan al azar. Por un lado, existe el riesgo de que al reunir los componentes del monitoreo se tornen demasiado molestos para el personal del programa, se limite la cooperación del equipo de trabajo y, por tanto, se rinda un informe de datos resultantes incompleto y poco confiable para los propósitos del monitoreo. Por otra parte, el registro de la información es poco costoso y muy eficaz. Evidentemente, su uso depende del adecuado entrenamiento del personal del programa para optimizar su confiabilidad al proporcionar motivación a dicho personal, y controles de calidad para asegurar su terminación oportuna y apropiada. Como con el registro de poblaciones objeto, unas cuantas series de datos recabadas de manera congruente y confiable suelen ser mejores para propósitos de monitoreo que una serie más comprensiva de información, pero de dudosa confiabilidad y de recolección incongruente. Una segunda regla es que, siempre que sea posible, será útil estructurar las formas de registro como listas, de tal manera que el programa y su equipo de trabajo
128
puedan verificar varias series de datos en vez de proporcionarles una información narratíva. Tal procedimiento no sólo reduce el tiempo de trabajo requerido por el personal, sino también es más conveniente para el análisis ulterior. La tercera regla consiste en revisar tan minuciosamente como sea posible los registros completos para verificar su congruencia y exactítud, lo cual se debe realizar lo más pronto posible. La oportunidad para editar y los procedimientos del control de calidad pueden señalar las omisiones y 'las congruencias. Es importante destacar que existen riesgos al usar el registro de servicios como única fuente de datos. El personal del programa, con o sin intención, puede exagerar el grado en que los diferentes elementos del programa son entregados a las poblaciones objeto. Algunas veces, éste es el resultado de intereses muy celosos para mantener las apariencias de eficiencia y responsabilidad; otras, esto se puede deber al desencanto por parte del personal con respecto a los procedimientos para proporcionar ciertos servicios proyectados, aunque haya un requerimiento formal para que se apeguen a ello. Finalmente, en otras ocasiones la interpretación"del personal del proyecto respecto de un servicio de intervención particular diferente de aquella presentada por el diseñador del programa o por el evaluador. 1
Datos del proveedor de servicios
1 a., di
ai c
n 711ii
En vez de confiar en la información anotada en los registros administrativos y de servicíos, los administradores del programa pueden requerir del personal información especial para propósitos del monitoreo (en el anexo 4.11 se muestra cómo el personal obtiene datos para el monitoreo de un programa de educación familiar en la tribu Choctaw). Algunas veces, los reportes narrativos son requeridos al personal del proyecto en forma de diarios, mientras que otras, el personal puede requerir al evaluador que llene o codifique formas porcentuales de la información diaria. Los diarios se usan generalmente sólo para información de apoyo.
et]
rii, s<1
tcr ái tc t t
ti
129
CAP. 4. MONITOREO DEL PROGRAMA
A —'nexo
.s.-71';ítadó-res Caseros fuente de iriforrnaCión para el monítoreo proyecto de iriforrnación familiar
El'F'royecto ‘ de educación tamul mu centrado'iyunt . iilciráo Linuliárje"li±p,Ct01;.. dernós,trO;. la existencta cie un rnocielo..de educación tei`npraiidfuncionai po niral de una reervación..Elpecíficarrienté, pbjetívOftte ernplear:átin visitante:',1 cascro Choctaurpara que traba)ara con la madre o con sus sustttutos a fin de establecer 'un medto que esnroulara el desarrollo cognocitivc3/441:14tniñosChoetav, , des- i-ento ha-sta la edad de cuati- '6 años. de su nacirn .La iita al hOgar in strucci o nal fue élcornponente princlpaluttlizadoparamantener contaao con los chentes faMiliarel EheEte enfoque, la intéración entre la rfiadre y el niño fne el enfoque centiál, El visitador casero clemostraba las tecnicas. _ instruccIonale_s; su comportarniento-,sirYró .i,cornp_ modelo de aquellas actitucle_s-y práctIcas' que se'Comunicaban a las rnádres.-gl y lsitadOr casero y las madres fueron etirnuladOs para'adaPtar la in-_--tru'cctón a los tiLiteriales cas.eros u al estilo _ de la madte La . estimulación co g noscuiva propuesra ocumo como parte oei pro-
grama diseilady paraIpdos los , n1Dos: lenguaje, motor, sgn.sybIlidad, peLr' social e r Mt7leCtual: LOs visltadores -caS- er6 -s'-dleion entrena-mlato'enlastaPas. ,secuencias de todas esas áreas _ de desarrollo, además de la dlnámlc `a dela conítin.Y dad, instrucción e.n la infancia temprana, , admIntstracIón del coírlpprtémiento aprendizaje:-Los visltadoreS caseros,planeáron, ejecntaron y evaluarorfl antervri , ción para cada`familia. Las visitas alas 'casas se planearon cop tina base Sernana! erv un tiernpo corwenlente para las ' rnadres. ' Además de las funciones y los papeles del -litsltadoí, 'se'pldt6 lós '‘krisitzidór Choctaw de_senlpeñar funcloneS de,evalua, ción del programa..Tarnbién se les p9111. que graduaran b situación del hogár para su estimulactón potenclakpará probár: Ios niñbs y para recahar cúálqiner infdirriaciffivadiclonatillerldkPor Tos éva,lu , r o valorar . el proyecto,,-;[.?./...,,:,,...,,,,¿.,,,,,,--',T.,;:i.,.-1 ,--1-7 ,dore.s para documenta cin con permiso. de P. Quigley', L. Mor ns vG,arnrilJt It F t .iente: Atado, i:Thii ..é-h'e,c.10-1.Htirrulr ehavtor ARoctete3,,Tuczon:Alrzona,,i976, Fo.7 ily Educatio,n atiorr
.".,1: 9 4;4egn.tesred.
z
,
Un compromiso entre una entrevista altamente estructurada o cuestionario y una narración completa es algtina forrna dé entreVista 'semiairecta o cuestionario semiestructurado. Este enfoque es análogo al de la gula de datos estudiada con el rubro de métodos observacionales; permite profundizar más en la información, pero al mismo tiernpo acorta el tiernpo y el esfuerzo del personal del prograrna. El enfoque niás eficaz es el uso de un instrumento de investigación altarnente estructurado que se pueda completar con una entrevista o por el personal únicamente. Los instrumentos estructurados prestan ayuda por sí mismos para la tabulación. Como en el caso de los esfuerzos observacionales, a menudo es Prudente muestrear ya sea los periodos o los encuentros con las poblaciones objeto, de tal rnanera que se reduzca el trabajo del personal. Al hacer ésto es importante emplear imé rnuestra representativa y dejar que el personal escoja entre los periodos o las poblaciones objeto particulares para sujetos de investigación, ya que de otra forma se corre el riesgo de estimular al personal para desviar intencionalMente la explicación'de la ejecución del .proyecto. Datos de los partícipantes en el programa El último enfoque para colectar inforrnación con fines de monitoreo es obtener datos acerca de la entrega del programa de los participantes. Tal información es valiosa no sólo debido a sus diferentes perspectivas desde las que se ofrece, sino tarnbién, entre otras razones, porque puede ser el único medio para conocer lo que actualmente se entrega. Los datos de los participantes pueden servir a los proveedores para conocer lo que es importante para los clientes, incluidos su satisfacción y aceptación de la intervención. Puede haber disparidades en muchos programas entre los servicios y las intervenciones proporcionadas y aquellas actualrnente recibidas o utilizadas, como se ha demostrado en la bibliografía acerca de planificación familiar; por ejemplo, como parte de un programa cle eclucación técnica, los participantes
130
131
CAP. 4. MONITOREO DEL PROGRAMA
pueden recibir guías de estudio, ejercicios, manuales y equipo para utilizarlos fuera de clases. Mientras que el personal del proyecto puede creer que éstos se emplean como se planeó, reahnente éste puede no ser el caso. Para tales proyecto "s, puede ser crítico inquirir a los participantes para conocer si ciertos servicios se usaron o incluso si se recibieron. , Tales- datos de los participantes pueden también ser generados por medidas que indirectamente prueben si los servicios se recibieron, tales como asignaciones extraescolares consistentes en calcular las distancias y convertirlas a los valores estándares. En ese caso, no sólo se podría entrevistar a los párticipantes de modo que se considerara si usaron o no los servicios de la manera asignada, sino también se podría probar si pueden o no cumplir razonablemente con las tareas quienes al aprender tenían 1111 mejor desempeño en los servicios en cuestión. El análisis previo acerca del acceso destacó que a veces la satisfacción del participante hacia un programa 'es un indicador clave para la ejecuCión del programa de monitoreo. Evidentemente, los participantes son la fuente de información única y apropiada. En el anexo 4.12 se proporciona un ejerriplo de estudio de la satisfacción del cliente con respecto a los servicios médicos, y en el anexo 4.13 se muestra cómo se empleó una investigación cornunitaria en el experimento de Karisas City, cán el fin de examinar su efecto en una comunidad grande. i1nexo 4 12. sátisfacción del' cónsumicior con respecto a un grupo practicarite pagado
-0óri T- S,. E:C-rótiaPláeériCia'',,deLdaetdr -para PaCien'teáCerea'idé-sii,-Sálud • FuentTomackrde mparative -
, prgso cerks,autorizacsén.
s,.titá¿t147-, w'ñd: Soc ia I Behai;Jor:ndlikl,16-; :e-4.1th
.
'Teas.2f..m •
Anexo 4.13. InvestigaCión comunitaria en Kansas City para determlnar los efectos ' -de runalinte 'ención aleatoria de las familias se diseñó para exarninar sels tos;génerale'clé.-19s posiblelt..etectdtall experimento sotgre té corpunIdad:„; Percepción del cludadartO-a¿eica de la px-obab11144,de'ser:Mcttn-la de-'t rapto, asaltb, robo de autO '',5ae'CrUnen V'solen't6Y.MP"-eé'tó'dé yeaeral del yecsndarlo. .9:_pledades Grado'éri:qUé:los citidadanos'se Protegena_sl junto con. las rnedlclas protectoiallomadá 3. Los ciudadanos percibieron las neceslclades de-oficlales .d. e policra,.dg „ - - rondas efectaadas por patrullas de policiay dé patrullas de policía agre, - tatle 4; Las percepciones de los ciudadanos acerca de las reputacio ,neS de-ios etó de 15s ciudadanos p"Cdles de policta, de la efects yldad ' ,los pohcías 5. Las pertepckinei'de los ciudáctIOS :ac-er4*. e a conducta'de de la beindad"si tíatarniento hactalo ciudadanosLás percepciones y satisfacciosils'.' . • .
satIsfáCCión del paeienté con la""entrega , prAttco gruPal.pagado, y los datos„.cortsparatiyOs,de_tírifiálanaltenOW.dese,guro 13 I u'e:Cross:(Clu :2_,?Az3.11) ; , se obtuVieerOn,:iaediante,,lnV0.1gl'ciót111-4 :resaltadb.s- (seuiclos del -problerna ctiet'ionado) •se r'esumen
..t'411.1:,-,11111:415:11111,11filffiblás11:1-t111411!:1:'j11:210-1'ir, e
„Con calidad del culdado rnéclicó recibid0"
Y't
ólIcla ',11-f¿di-cji5h
cusail acet VS--r
Proporclbrrde,encUesta oS1-1191141,1111ilisb,11.111tio:1-14..áfíiti ,i pasacio tPorcentaje maYrIattlféttidléfitre.jol'enuelta ,:-<1,1-,"." ro—rt:sery- ic-los; el año pasádii'lrf' 1 Conaha cantSd,-.1d,cle pri yáCía é.thlay.;Oficjpg;... el:'.¿Ilopy:::. -CO:iltierta cantidacl. de , tiempo .: 5.301.:,;'.4.),fillgOI:diillt paciente pon preocupacIót?4déktfoc >' tor por la sa- lud del pacite, iCon.atención fina'y:persónal . interé en él paciente , : ,Con,,cderta cantidad -de información dada al paciente acerca,.'",'' . 1.,-cle su salud-: león entrenaíniento .del doctor y.competencia técnica --, :-'• Con la arnistad dél.-doctor - ' .... -, Con atenclón arnistosa de recepclonistas, eaferméras,
70 67..' 64 .81
Finalmente, Nicholson y Wright (1977) han demostrado que en intervenciones que implican tratamientos complejos es importante asegurar que los participantes comprenden tal tratamiento, las reglas operativas del programa, etc. En resumen, es necesario establecer no sólo que los servicios diseñados han sido entregados, sino también que fueron recibidos, utilizados y comprendidos como se intentó. La información proveniente de los participantes se debe obtener mediante cuestionarios autoadministrativos o por medio de entrevistas. Los participantes deben ser muestreados de alguna manera sistemática o definitivamente realizar un censo completo.
132
ANÁLISIS DE LOS QATOS DEL MONITOREO En general, el análisis de los datos del monitoreo muestra los problemas siguientes: la descripción del proyecto, la comparación entre los sitios y la conformidad del programa. Descripción del proyecto Una cuestión importante es en qué grado el programa puesto en marcha se asemeja en los detalles cruciales al programa diseñado. Una descripción del actual proyecto derivada de los datos del monitoreo podría abarcar los temas siguientes: las estimaciones de la cobertura y desviación en la participación; los tipos de servicios entregados y la intensidad de los servicios prestados a los participantes de géneros significantes, y las reacciones de participantes a los servicios entregados. Las manifestaciones descriptivas podrían tornar la forma de explicaciones narrativas, especialmente cuando los datos del monitoreo se derivan de fuentes más cualitativas; sin embargo, los análisis cualitativos son más útiles. Además los métodos y las medidas de análisis complejos se han diseñado más seguido (consúltense Miley et al., 1978; Heumann, 1979). Comparación entre los sitios Cuando un programa incluye más de un sitio surge una segunda cuestión concerniente con las díferencias de la ejecución del programa entre los sitios. La comparación permite comprender la diversidad de las fuentes del proyecto, como personal, administración y diferencias entre las poblaciones objeto o entre el ambiente contextual del programa, y también puede facilitar los esfuerzos para lograr la estandarización. Además, las diferencias entre los sitios pueden proporcionar pistas acerca de por qué los proyectos en algunos sitios pueden ser más efectivos que los de otros. Conformidad del programa Desde luego, el tercer problema es el grado de conformidad y convergencia entre. el diseño del programa y su puesta en marcha. Las discrepancias entre ambos pueden conducir a especificar de nuevo al diseño del proyecto o a esforzarse en centrar el inicio del proyecto más en su diseño. Tal análisis permite juzgar la adecuación de una evaluación de la repercusión y, si es necesario, optar por una evaluación formativa, de manera que se desarrolle la convergencia necesaria. RETROALIMENTACIÓN DESDE EL MONITOREO Como ya se mencionó, los datos del monitoreo tienen múltiples usos, lo cual depende de quién ha financiado el monitoreo y del estado del desarrollo del prágrama. Cuando se realiza como parte de una evaluación más comprensible, los
RETROALIMENTACIÓN DESDE EL MONITOREO
133
datos del monitoreo proporcionan lineamientos acerca de la congruencia entre el diseño del programa y su ejecución. A menudo se recomienda que sean recolectados antes de la firma de un compromiso, para realizar un análisis de la repercusión, aun cuando puede ser necesario que se realicen de forma paralela con el análisis de la repercusión, pues un estudio del monitoreo llevado en avance no puede proporcionar evidencias válidas de la conformidad del diseño una vez que el proyecto se efectúa. Las evaluaciones del monitoreo realizadas para proyectos administrativos y de contabilidad suelen ser retroalimentadoras para los administradores del proyecto y para el personal en una base continua. Para un proyecto establecido que conlleva un conjunto continuo de evaluaciones emprendidas, la fluctuación y los cambios en el tiempo pueden permitir rediseriar o depurar los programas y revalorar la extensión en que el conjunto de objetivos y la ejecución del proyecto necesitan una modificación. Sin embargo, el evaluador no puede asumir que el mero hecho de proporcionar información asegura su uso. Así, como se verá en el capítulo 9, se requiere estar relacionado con la máxima diseminación y el empleo del monitoreo, cuestiones que por sí solas implican una evaluación.
Estrategias para evaluar la repercusión La evaluación de la repercusión tiene por objeto establecer, con tanta certeza como sea posible, si una intervención produce p no los efectos intentados. Dada la naturaleza de las actividades científicas, dicha estimaPión no se puede hacer con mucha certeza, sino sólo dentro de los límites de error y con diferentes grados de factibilidad. Para reducir dichos errores y aumentar la factibilidad de las estimaciones de efectividad, la evaluación de la repercusión se debe emprender tan sistemática y rigurosamente como sea posible. Sólo de esta manera el evaluador podrá identificar los efectos de una intervención. Las consecuencias de los programas sociales son valoradas mediante la comparación de la información disponible acerca de los participantes y de los que no participan, antes y después de la intervención, o mediante otros diseños de investigación menos eficaces. Sin embargo, las consideraciones esenciales implican el rechazo sistemático de las alternativas, explicaciones competitivas para otros resultados observados que no forman parte de la intervención. CONCEPTOS PRINCIPALES Factores de confusión: Efectos resultantes brutos: Efectos resultantes netos: Medida aproximada:
Confia Efectos estocásticos: Medidas válidas:
Variables extrañas que resultan en efectos significativos que disimulan o exageran los "verdaderos" efectos de una intervención. Medidas totales de la repercusión encontrada en una evaluación, sólo parte de la cual se podría deber a la intervención. Repercusión de una intervención, después que los efectos o factores de confusión se han retirado. Variable empleada para "sustituir" a otra difícil de medir directamente. Grado en que las marcas son reproducibles en administraciones repetidas, con el supuesto de que todos los .factores adecuados son iguales. Medidas de las fluctuaciones atribuibles al azar. Medidas para las cuales existe la evidencia o presunción que refleja el concepto que se intenta medir. 135
136
CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN
Los obstáculos para valorar la repercusión se originan en fuentes diversas, a saber: primero, el mundo social es complejo, y muchos fenómenos sociales tienen múltiples orígenes y causas. Con tantas "partes cambiantes", la severidad de un problema social puede estar influida por numerosas circunstancías, además de aquellas que contiene el programa. Segundo, las teorías y las generalizaciones empíricas de las ciencias sociales son débiles e incompletas. Es difícil diseñar modelos de los fenómenos sociales que sirvan adecuadamente corno marco dentro del cual las valoraciones de la repercusión se puedan emprender. Tercero, no cabe esperar que los programas sociales tengan más que una repercusión poco signíficativa en el mundo social. Un programa de bienestar no se puede ver como la solución para erradicar la pobreza, ni un programa de rehabilitación criminal puede ser totalmente exitoso para cada caso. Más a menudo, cabe esperar que los efectos sean pequeños y difíciles de medir o detectar. Por último, algunos programas sociales son especialmente difíciles de -valorar, debido a que han funcionado durante un periodo largo. Los programas actuales que abarcan a vastas poblaciones objeto sólo se pueden valorar si se efectúan presunciones heroicas que frecuentemente afectan la credibilidad de los contribuyentes. Existen dos puntos en el proceso de evaluación total en los que es especialmente importante valorar la repercusión. El primero (y tal vez el más significativo) está en la prueba de nuevos prograrnas propuestos o en los cambios propuestos a los ya existentes. La cobertura en esos programas suele ser parcial, y a menudo es imposible realizar experimentos que proporcionen estimaciones parciales definitivas de los efectos del programa. El segundo punto es la revisión de los progr.amas actuales. Aun cuando parezca que un programa establecido funciona bien o por lo menos sin fallas evidentes, los evaluados o el personal del programa generalmente desean estimaciones plausibles acerca de qué tan bien el programa cumple con los propósitos. Por otra parte, las cosas no son siempre conno aparentan ser: las observaciones sistemáticas y objetivas frecuentemente contradicen la impresión general. Los políticos quizá necesiten resultados de las evaluaciones de la repercusión para justificar la expansión de lo que puede ser un recurso en expansión, obligado por la competencia persistente en cuanto a fondos o por las presiones políticas de los diversos grupos interesados. Los administradores del programa necesitan contar con los resultados de la repercusión para aprender a mejorar sus programas e incrementar su efícacia. Como se destacó en el dapítulo 2, los requisitos previos para valorar la repercusión de una intervención son los siguientes: primero, tanto el proyecto debería tener sus objetivos lo suficientemente bien articulados para permítir identificar la obtención de las metas, o el evaluador debería establecer sus objetivos; segundo, la intervención debería haber sido lo suficientemente bien ejecutada para que no quepa duda de que sus elementos críticos han sido entregados a las poblacíones objeto apropiadas. Obviamente, esto podría ser una pérdida de tiempo, esfuerzo y recursos para estimar un programa que carece de metas medibles y que no se ha ejecutado propiarnente. La tarea de elegir los objetivos o de alcanzar un consenso con ellos se puede manejar con una o varias de las técnicas descritas en el capítulo 2. Díscemir acerca de un conjunto de objetivos para un programa dado no es una tarea imposible, aun cuando los evaluados no convengan en las metas o incluso níeguen que haya
RELACIÓN DE LAS INTERVENCIONES
137
cualquier meta. Todos los programas efectúan algo más que sólo dejar ingresos a sus diseriadores y administradores. A menudo, como Chen y Rossi (1980) sugieren, el científico social perceptivo, en su conocimiento general del trabajo de la sociedad actual y de sus organizaciones, puede hacer deducciones razonables acerca de cuáles efectos se pueden esperar y formular las presunciones de trabajo del programa y el adecuado conocimiento de la ciencia social; sin embargo, el principal serialamiento que cabe hacer aquí es que tales metas se deben especificar antes de valorar la repercusión. No se puede soslayar la dificultad de emprender evaluaciones de la repercusión. Mientras las reglas fundamentales para realizarlas estén bien establecidas, el evaluador deberá fomentar constantemente la cooperación del equipo de trabajo y de los particípantes objetivo, además de presionar para obtener resultados oportunos y no ambiguos. RELACIÓN DE LAS INTERVENCIONES CON LOS RESULTADOS El problema de discernir la efectividad de un programa es semejante al de establecer que el programa es la "causa" de algún efecto específico. Por tanto, al determinar las cantidades esenciales de repercusión se establece la causalidad. Muchos problemas espinosos y graves se relacionan con el concepto de causalidad. Aquí se aceptará que el rnundo es una entidad ordenada y llena de leyes, y que "A es causa de B" como una regla válida. En las ciencias sociales, las relaciones causales se establecen generalmente de una manera probabilística; así, la regla de que "A es causa de B" suele significar que si se incluye A, B será más probablemente el resultado que sí no se hiciese de ese modo. La regla por sí misma no implica que B siempre resulte si se incluye A, ni significa que B sólo ocurre después de incluir a A. La frase "es más probable que ocurra" significa que la probabilidad de B, dada A, es más alta que la probabilidad de B, con A ausente. Considérese el ejemplo siguiente: la inclusión de proyectos de entrenamiento voluntario para el empleo, para adultos, puede reducir la cantidad de desempleados entre la gente con pocas habilidades, por lo menos en un corto plazo; es decir, es más probable que el desempleo decline con la presencia de tal programa que con su ausencia. Sin embargo, ningún programa de entrenamiento, por más bien diseñado que esté, erradicará por completo el desempleo. Algunos adultos simplemente rechazarán aprovechar la oportunidad ofrecida; otros serán incapaces de beneficiarse (debido a enfermedad, incapacidad, inhabilidad u otras obligaciones) , aun pensando que están deseosos. Aún más, los niveles de desempleo son influidos fuertemente por las vacantes. Desde luego, si no hay trabajos, los desempleados no podrán ser abarcados por la fuerza laboral, no importa qué tan bien entrenados estén. Un programa de entrenamiento no es también la única manera de reducir el desempleo de trabajadores poco habilidosos. Las oportunidades de entrenamiento en el trabajo deben estar disponibles, los trabajos especiales de "refugio" pueden ser creados para que los trabajadores capaces adquieran experiencia mientras trabajan y aprenden, etc. Por ello, la valoración de si un proyecto de entrenamiento para el empleo específico puede incrementar o no
138
CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSION
OBLIGACIONES AL VALO1RAR RESULTADOS
los empleos se complica porque las direcciones del empleo responden a muchos factores, entre los cuales el programa de entrenamiento específico es sólo uno. De lo anterior se infiere que el problema crítico al evaluar la repercusión es si el programa produce o no más de un efecto o resultado que podría haber ocurrido sin la intervención o con una intervención alterna.
El punto de partida para valorar la repercusión es la identificación de una o más de las medidas de los resultados que representen a los objetivos del programa. Así, al estudiar un programa diseñado para incrementar la cultura en el adulto, los objetivos del programa se pueden representar como aquellos que aumentan las notas de lectura con base en una prueba estándar de habilidades educativas. El programa se puede considerar exitoso si, después de aplicarlo, las notas de los participantes son más altas de lo que cabría esperar en los que no participaron en él (la manera de medir los resultados se estudiará más adelante, en este capítulo). Se debe efectuar una distinción entre resultados brutos y resultados netos. Los resultados brutos son aquellos cambios en la medida de los resultados que se observan después de que un programa ha estado funcionando. Así, los resultados brutos medidos en el programa de cultura para adultos son el incremento en las notas de los participantes en su nivel de lectura, lo cual resulta del programa y de cualquier número de otras influencias (por ejemplo, la introducción simultánea de la televisión educativa en las comunidades en cuestión). Por otra parte, los resultados netos son los que se atribuyen a la intervención, libres y claros de los efectos de otras causas en el contexto del programa. En términos simbólicos, la relación que existe entre los resultados brutos y los resultados netos se puede expresar como sigue: =
Efectos de la intervención (resultados netos)
esto, el evaluador deberá aclarar los efectos de los resultados brutos mediante la depuración de los elementos contaminantes, conocidos como factores de confusión o factores combinados. Éstas son las "causas" extrañas que se completan con los esfuerzos de una intervención para explicar los cambios en la población objeto o en el problema objeto después que el programa se ha puesto en marcha. Factores combinados extrailos
RESULTADOS BRUTOS EN OPOSICIÓN A RESULTADOS NETOS
Resultados brutos
139
Efectos de los factores de confusión
Así, un beneficio detectado en las medidas de la cultura en las observaciones anteriores y ulteriores de un grupo de personas que hayan participado en un programa de cultura para adultos (resultados brutos), está constituido por dos partes: por los efectos del programa (resultados netos) y por los efectos de los otros eventos, experiencias, etc., que influyen en el aprovechamiento durante el periodo en cuestión (factores de confusión). OBLIGACIONES AL VALORAR RESULTADOS NETOS Como los resultados brutos reflejan no sólo los efectos de una intervención, sino también los de otros procesos que ocurren al misrno tiempo, al valorar la repercusión se deben estimar los efectos netos de la intervención. Para realizar
Los factores de confusión varían de acuerdo con el fenómeno social en cuestión. Así, cabría esperar que una intervención diseñada para mejorar los hábitos nutricionales de las familias podría competir con procesos distintos de aquellos que afectan al programa para mejorar las habilidades ocupacionales de la gente joven. En despecho de las características idiosincrásicas de cada programa y de las características especiales de la población objeto por abarcar, ciertos procesos son lo bastante generales para ser identificados como competidores potenciales en cualquier intervención (Campbell y Stanley, 1966; Cook y Campbell, 1979). A continuación se describen varios de estos procesos. Cambios endógenos Los programas sociales funcionan en escenarios en los que las secuencias ordinarias o "naturales" de eventos influyen en los resultados; por ejemplo, muchas personas que se recobran de condiciones agudas lo hacen así "naturalmente" , un cambio endógeno al que los médicos y los investigadores llaman remisión espontánea. De este modo, los experimentos médicos que prueban la validez de un tratamiento para algunas condiciones patológicas (por ejemplo, la gripe) deben distínguir su efectividad del hecho de que numerosos pacientes se recobran espontáneamente sin tratamiento. Asimismo, al probar los efectos de una intervención social se debe tener en cuenta que la condición para la cual la intervención se ve como un remedio puede cambiar su propia espontaneidad. En consecuencia, un programa para entrenar a los jóvenes en habilidades ocupacionales específicas debe competir con el hecho de que alguna gente obtendrá las mismas habilidades de maneras no contempladas por el programa. Igualmente, un programa para reducir la pobreza tiene que considerar que algunas familias e individuos podrán mejorar su posición económica sin ayuda del proyecto. Vertíente secular Relativamente, las tendencias a largo plazo en la comunidad o el país en cuestión pueden producir cambios que mejoren o enmascaren los efectos de un programa. Por tanto, en un periodo en que el rango de nacimientos de una comunidad declina, puede parecer que un programa diseñado con el fin de reducir la fertilidad en esa comunidad es efectivo, pues la tendencia natural de la fertilidad es hacia abajO. Otro programa diseñado para mejorar el grado de calidad de la vivienda puede parecer adecuado, debido a que la tendencia nacional
140
OBLIGACIONES AL VALORAR RESULTADOS
CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN
respecto al ingreso real capacita a cualquiera para obtener más recursos en su vivienda. Tal vertiente secular puede también enmascarar los efectos del programa; por ejemplo, un proyecto para incrementar la producción de la cosecha puede parecer que falla, debido a que las condiciones del tiempo permiten desarrollar condiciones de crecimiento pobres durante un periodo del programa. Asimismo, un programa diseñado para proporcionar oportunídades de empleo a ex convictos puede parecer que no es útil, debido a la coincídencia de un periodo de depresión en el mercado laboral. Euentos de interferencia Al igual que las vertientes seculares a largo plazo, los eventos a corto plazo pueden producir mejoramiento o enmascaramiento de los cambios. Un temblor de tierra que interrumpe las comunicaciones y dificulta la entrega de productos ali menticios puede interferir con un programa nutricional. El pacto de guerra con otra nación puede hacer aparecer a un programa como mejorador de la comunicación local y de la cooperación (o sea, efectivo) cuando la potencial crisis fortalece la unidad de los miembros de la comunidad. Tendencias de moduración Los programas diseñados para personas en vías de cambios durante su infancia, niñez o adolescencia (de hecho, cualquier población objeto de cierta edad) tienen que enfrentar el hecho de que, con el tiempo habrá cambios significativos en las vidas de los individuos. En consecuencia, la evaluación de un programa educativo diseñado para incrementar la capacidad de manejo del lenguaje de niños pequerios tiene que estar compensada por el hecho de que tales capacidades se incrementan con la edad. Asimismo, la efectividad de una campaña para incrementar el interés en los deportes entre jóvenes adultos se puede enmascarar por una declinación en el interés que ocurre cuando los jóvenes adultos ingresan en el mundo laboral. La tendencia a la maduración puede afectar también a los adultos: un programa diseñado para mejorar las prácticas de salud preventiva puede parecer ineficaz, debido a la declinación de la salud con la edad. Autoselección Tal vez la obstrucción más seria para valorar la repercusión de la intervención es el hecho de que las porciones más fáciles de alcanzar de una población suelen ser también las que cambian en la dirección deseada, debido al potencial diferente del objetivo por cambiar. Desde luego, los proyectos basados en la cooperación voluntaria de los individuos, familias u otras unidades probablemente son más afectados por los procesos de autoselección. Así, un proyecto diseñado para mejorar las habil idades vocacionales parece más atractivo a personas interesadas en mejorar sus habilidades ocupacionales. Tales personas son, probablemente, las que administran el mejoramiento de sus habilidades, sin importar si se inscriben o no en el proyecto.
141
En algunos programas voluntarios, la autoselección puede ocurrir involuntariamente, desde el punto de vista de los participantes, como resultado de las acciones políticas o administrativas. Considérese el caso de una comunidad que por medio de su gobierno municipal busca "voluntarios" para un programa de mejoramiento de la tubería de desecho, mediante la instalación de una infraestructura apropiada y técnica. Aunque los miembros de la comunidad no participen voluntaria e involuntariamente, todas las personas que viven en el área serán sujetos a "tratamiento" y por tanto, podrán beneficiarse con el programa. Asimismo, en la adopción de una nueva (y presumiblemente no probada) versión del libro de texto para los niveles elementales escolares, los alumnos individualmente considerados no son voluntarios para usar el libro. En este caso, el "voluntariado" lo efectúa la escuela o el sistema escolar. Procesos similares en el trabajo, pero en dirección opuesta, llevan al abandono diferenciado. Así, rara vez se da el caso de que la participación en un tratamiento la realicen hasta el final todos los participantes. Los abandonos en su proporción varían de proyecto a proyecto, pero casi siempre son inquietamente significativos. Los sujetos que abandonan un programa pueden ser diferentes de aquellos que permanecen hasta el fin. F'or una cosa, aquellos que se benefician en forma clara de la intervención probablemente permanecen o son estimulados para quedarse, mientras que quienes hallan poca recompensa o dificultades con el proyecto probablemente lo abandonen o se desanimen de seguir participando en el programa. Aunque varios autores han identificado adicionales factores combinados (consúltense especialmente Campbell y Stanley, 1966, y Cook y Campbell, 1979), éstos se aplican primero a condiciones de laboratorio o se encuentran rara vez. Los factores de confusión extraños que se acaban de mencionar son sólo aquellos a los cuales un evaluador debe estar alerta, particularmente al diseñar la investigación de la valoración de la repercusión. Erv-or en la medida
Los factores combinados que se han examinada no están equivalente ni uniformemente distribuidos en todas las evaluaciones de la repercusión; están presentes o ausentes según el área implicada. Así, quizá no se tenga mucho que ver con los efectos de maduración en un estudio de incipientes trabajos potenciales por beneficios del desempleo, pues generalmente se dan a adultos que empiezan su vida laboral durante periodos relativarnente cortos. Sin duda, los efectos de rnaduración son más importantes para éstudiar la repercusión del desarrollo intelectual de programas dirigidos a niños preescolares. • POr otro lado, los errores en la medición están siempre presentes. Afortunadamente, el conocimiento de esos "efectos del método" es más completo que el conocimiento de los factores combinados. Por tanto, es posible estimar y algunas veces compensar tales errores, mientras que la extensión de los efectos cornbinados extraños siempre es problemática. En el apartado siguiente, el énfasis se centrará en dos de los errores rnás prevalecientes en la medición: los efectos estocásticos y la no confiabilidad.
142
OBLIGACIONES AL VALORAR RESULTADOS
Efectos estocásticos En cualquier esfuerzo para medir, la fortuna o las fluctuaciones al azar denominadas procesos estocásticos, pueden hacerlo difícil de estimar si un resultado es lo bastante significativo para garantizar la atención. Estas variaciones resultan del hecho de que cada serie de observaciones son una muestra de una población objeto o de todos los posibles ensayos de ese proyecto. La teoría del muestreo aplicada apropiadamente describe cuánta variación cabe esperar y cuán a menudo se debe esperar de una magnitud específica, dados numerosos muestreos extraídos con métodos probabilísticos (Kish, 1965; Sudman, 1976). Al aplicar los resultados de pruebas estadísticas apropiadas, se puede estimar cuán a menudo puede ocurrir un resultado dado sólo por azar, aun bajo el supuesto de que el resultado verdadero es cero. De este modo, un efecto dado (por ejemplo, una diferencia del 5% en la producción de una cosecha para granjeros que han adoptado una nueva fórmula de fertilizante) se puede ver como un resultado improbable del programa en el cual el "verdadero" efecto es cero. La significación estadística de un resultado particular se estima al compararlo con lo que cabría esperar por azar, cuando se muestrea de un conjunto hipotético de ensayos en los cuales el "verdadero" efecto es cero. No confiabilidad Los procedimientos de acopio de datos siempre están sujetos a cierto grado de no confiabilidad. La confiabilidad de una medición está definida como el grado en que marcadores idénticos o los valores se pueden obtener como medición en colecciones repetidas de datos con los mismos sujetos. Una gran fuente de no confiabilidad son los instrumentos de medición; por ejemplo, muchas mediciones actitudinales revelan baja confiabilidad cuando se aplican al mismo sujeto o a sujetos similares. La prueba o situación de medida, la confiabilidad en el entrevistador u observador o aun el humor variable del sujeto también contribuyen a la no confianza. No existen reglas precisas o rápidas de aplicar acerca de los níveles aceptables de confiabilidad; sin embargo, las mediciones generalmente pierden su utilidad cuando su reproducibilidad decae debajo de 75 u 85% (consúltese Blalock y Blalock, 1968, con el fin de conocer los medios para estimar la no confiabilidad). Nótese que la variación estocástica y la no confiabilidad están separadas y tienen distintos efectos en el diseño. El empleo de mediciones no confiables de resultados disimulará cualquier efecto real que un proyecto pueda tener. Cuanto más poco confiable sea una medición, mayores serán las diferencias actuales para indicar un resultado significativo. Como la confiabilidad es un problema constante al medir resultados, se examinará con mayor detalle al final de este capítulo. Fórmula para valorar la repercusión Un resultado bruto es el derivado de todos los elementos estudiados con anterioridad más los efectos netos o "puros" del proyecto; el resultado bruto está siempre en función de los efectos netos del programa y de los elementos combi-
143
nados. Al obtener nula desviación y precisa estimación de los efectos netos del proyecto, es necesario tener en cuenta a los elementos de confusión. Otro rnedio para resumir los problemas examinados en esta sección es mediante la fórmula siguiente:
Efectos netos = [Resultados brutos] —
-Cambios endógenos Vertiente secular Eventos de interferencia Tendencias de maduración Autoselección Efectos de no confiabilidad
+ [Efectos — estocásticol
La valoración de la repercusión se delinea por esta fórmula; es necesario mejorar las medidas de producción bruta, para lo cual se deben estimar la magnitud y dirección de los procesos de confusión posibles. De hecho, cada efecto de confusión puede ser positivo o negativo numéricamente. Por fortuna, no siempre es necesario estimar la magnitud de cada uno de los siete factores de confusión por separado. Más bien, mediante el uso de diseños de investigación apropiados es posible desarrollar buenas y adecuadas estimaciones de ra repercusión combinada de los efectos que la enmascaran. Investigaciones relacionadas con factores enmascaradores En este resumen del estudio de las necesidades para valorar la repercusión, se considerwl algunos de los efectos enmascaradores que se podrían originar fuera del esfuerzo evaluativo y en la medición de la repercusión misma. Especialmente en evaluaciones que requieren esa medición especial y que se lleve más allá de lo que se genera comúnmente, existe el riesgo de que esos factores enmascaradores adicionales sean una inquietud; no obstante, cabe señalar que tales efectos son significativos. Efecto Hawthorne En un experimento famoso, un intento para determinar los efectos de la variación en la intensidad de la luz sobre la productividad de mujeres que se dedican a ensamblar pequeñas partes electrónicas (Roethlisberger y Dickson, 1939), se descubrió que cualquier cambio en la intensidad de la luz, ya fuese positivo o negativo, incrementaba la productividad de las trabajadoras. El efecto Hawthorne (nombrado así por el sitio donde se realizó el experimento) fue interpretado por los experimentadores como resultado del experimento, lo cual incluía observaciones continuas de los miembros trabajadores. Roethlisberger y Dixon razonaron que los trabajadores tomaron el hecho de que habían sido señalados como un grupo experimental y consíderaban a toda la atención mostrada por los experimentadores como una serial de que la empresa estaba interesada en su bienestar personal. Su respuesta fue desarrollar un alto nivel de trabajo grupal e incrementar su productividad. El resultado medido por el experimento fue una combinación de la intervención (iluminación incrementada), la entrega de la intervención
144
CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN
(concerniente, por una parte, a la administración y a la presencia de los experimentadores en el sitío de trabajo) y la observación constante. El efecto Hawthorne no es específico para experimentos sociales; también puede estar presente en cualquier circunstancia en la que los sujetos a ella sean humanos; por ejemplo, en los experimentos médicos, especialmente aquellos que implican tratamientos farmacológicos, el efecto Hawthorne se conoce como efecto del placebo. Los sujetos pueden ser afectados tanto por el hecho de saber que reciben tratamiento como por el tratamiento mismo. Así, la evaluación de la efectivídad de un nuevo analgésico (destructor del dolor) generalmente implica tanto un control con placebos, consístente en un grupo de pacientes a quienes se da esencíalmente medicación neutral (píldoras de azúcar), como cierto control de píldoras "estándar" comúnmente prescritas. La efectividad del analgésico es medida por cuanto más consumo se reporta para la nueva droga, en comparación con el informado para aquellos que consumen el placebo o las píldoras estándar. Una análisis reciente del experimento Hawthorne (Franke y Kaul, 1978) despertó serias dudas acerca de si el trabajo efectivamente demostraba cualquier efecto Hawthorne, un hallazgo que destacó el hecho de que el efecto es raro. Contaminantes del sistema de entrega Otro factor enmascarador es que el tratamiento rara vez se da en forma "pura". De este modo, la terapia guía para jóvenes que han sido delincuentes implica generalmente la participación no sólo del terapeuta, sino también la presencia de otros factores (por ejemplo, el encargado de verificar las entradas), un escenario en el cual se realice la terapia, las reacciones de otros jóvenes que conocen la terapia, etc. Por tanto, el sistema de entrega de la intervención, incluidas la plantilla física, el personal, las reglas, los ordenamientos y la denominación de las poblaciones objeto, afecta de tal manera los resultados de una intervención planeada que el monitoreo de la entrega de las intervenciones casi siempre se debe hacer junto con la valoración de la repercusión. Cabe destacar que los efectos enmascaradores de la intervención y de la medición están más relacionados cuando el programa es incompleto. Una intervención eficaz que produce resultados significativos tiende a superar a aquellos que provienen de los efectos de la entrega y medición. Así, cuando una intervención es deficiente, uno debe preocuparse particularmente acerca de si los efectos o su carencia son resultado de la suposición, de la confiabilidad y de otros errores en la medición. OPCIONES EN EL DISEÑO PARA VALORAR LA REPERCUSIÓN Otra vez, el problema estratégico al valorar la repercusión es cómo obtener estimaciones acerca de cuál podría ser la diferencia entre dos condiciones: una en la cual la intervención esté presente y otra en la cual esté ausente. En teoría, la condición ausente debería ser idéntica en todos los aspectos a la condición presente, libre de intervenciones. Existen varios enfoques alternos que varían en
OPCIONES EN EL DISEÑO
145
efectividad, aun cuando todos implican establecer "controles". A continuación se mencionan estos enfoques y se analizarán detalladamente en los dos capítulos siguientes: Controles aleatoríos. Las poblaciones objeto se dividen al azar en un grupo experímental, y se les administra la intervención y los "controles aleatorios", los cuales no están sujetos a la intervención. Controles construídos. A las poblaciones objeto que se da intervención son confrontadas con un grupo "equivalente", llamado de controles construidos, apartados de la intervención. Controles estadísticos. Las poblaciones objeto partícipantes y no participantes son comparadas, y se asientan las constantes diferencias estadístícas entre ambos grupos. Controles reflexívos. Las poblaciones objeto que reciben la intervención se comparan entre sí, medidas antes de la intervención. Controles genérícos. Los efectós de la intervención entre las poblaciones objeto se comparan con normas establecidas respecto de los carnbios típicos que ocurren en la población objeto. Controles espectro. Las poblaciones objeto que reciben la intervención se comparan con los juicios de expertos, los administradores del programa y/o los participantes en quienes los cambios de la población objeto son "ordinariamente esperados". Nótese que las alternativas señaladas no son excluyentes mutuamente. Los controles aleatorios se pueden comparar con grupos experimentales, mlentras que los controles estadístícos también se pueden emplear; a su vez, los controles construídos y los estadísticos, al margen, son difíciles de distinguir unos de otros en la práctica. Las altematívas no se mencionan en orden estricto de preferencia. Mientras se usan los controles aleatorios como el rnejor método alternativo por seguir, los controles reflexívos algunas veces son mejores que los construidos, y el uso de los controles estadísticos puede ser inferior al de los controles genéricos. Las sutilezas de tales juicíos se describen con mayor detalle en los capítulos 6 y 7. Cobertura parcial en oposición a cobertura total La más severa restricción al escoger la estrategia es si la intervención en cuestión se da o no a todos (o virtualmente a todos) los miembros de una población objeto. Para programas con cobertura total (como los programas totalmente patrocínados, comunes y de largo alcance), generalmente no es posible encontrar un grupo que no reciba la intervención, en el sentido esencial, comparable con los sujetos beneficiarios. En resumen, no es posible definir a un grupo control; en tales circunstancias, la principal estrategia disponilDle es usar controles reflexívos y comparaciones antes y después. En contraste, las intervenciones que se deben probar con base en una demostración, generalmente no se entregarán a todos en la población objeto. Por tanto, en la fase inicial, los programas nuevos son, casi por definición, con cobertura parcial.
146
147
CAP. 5. ESTRATEGIAS PARA EVALOAR LA REPERCUSIÓN
Con toda probabilidad, ningún programa ha alcanzado nunca la cobertura total de su población objeto intentada. Aun en el mejor de los programas, algunas personas rehúyen participar, otras no son advertidas de que pueden participar y aun otras son declaradas inelegibles técnicamente; sin embargo, muchos programas logran una cobertura casi total. La Social Security Administration (Administración para la Seguridad Social), en sus pagos a los retirados, logró más del 85% de las porciones elegibles de la población. Como regla general, cuando los programas alcanzan cuatro o cinco unidades elegibles (80% de cobertura) se dice que tienen "cobertura total" para propósitos del presente estudio. Cuanto rnenor sea la proporción de quienes no son alcanzados, mayores serán las diferencias de estar entre aquellos que abarca el programa y aquellos que no la abarca. Para todos los intentos prácticos, casi todos los nirios entre los seis y 14 años asisten a la escuela; aquellos que no lo hacen así sufren incapacidades permanentes o temporales, reciben enseñanza en casa de los padres o de un tutor privado o acomparian a sus familias migratorias cle sitio en sitio. De esta nnanera, los niños que en cualquier momento no están inscritos en la escuela probablernente serán distintos de aquellos que sí lo hacen, de manera que ninguna comparación del empleo de controles estadísticos producirá la misma sernejanza necesaria para el diseño mediante el uso de controles estadísticos, aleatorios o construidos. Afortunadamenté, bastantes programas con cobertura total no son uniformes con el tiempo o en las localidades. Las políticas cambian y los programas con ellas. Un administrador de la intervención también puede establecer modificaciones con el fin de reunir nuevas condiciones o para hacer más fácil la adminístración. Así, de vez en vez, los beneficios de la seguridad social se han incrementado para tener en cuenta las nuevas condiciones o para agregar servicios nuevos (por ejemplo, cuidados médicos). Asirnismo, se puecle dar suficiente autonomía local a los estados y a los gobiernos locales para que un programa (por ejemplo, el de ayuda a las familias con hijos depenclientes) varíe de lugar en lugar. Con las precauciones apropiadas, tal "variación natural" puede proporcionar un punto de apoyo para estimar los efectos del programa. Para programas con cobertura parcial, está disponible una serie de estrategias. Si el programa se encuentra bajo el control del evaluador (como en programas nuevos o prospectivos), la solución ideal es usar controles aleatorios: un conjunto de sujetos objetivo y potenciales se seleccionan de alguna manera y se sortean al azar en grupos experimentales y de control. Este proceso aleatorio asegura la equivalencia probabilfstica de los beneficiarios que reciben la intervención, en oposición a los que no la reciben. Cuando un evaluador no puede emplear el azar para formar los grupos experimental y de control o sus condiciones, los grupos de control construídos adecuadarnente pueden ser formados por los sujetos objetivo no cubiertos, si se tornan las precauciones adecuadas.
0
O .— sco z
0 C
Q)
o
."-ES "C3
cs
w
o
>
8N
e
-oó>
o
0 ,":j.): -CS C 0 00)
m-7„-
t)
E ,o)
C1) "10
cr)
CS)
o
U
0
9.
o o 1.)
orCi
o
-C)
s-.
o
E o o.
0.1
(/)
y«j c res o
o
0 0
o
szs.
o
us ps
us
11> -13 co)
o s..
cn 0
9. Ci)
o
cls
o
"e' 1). —
o 1. o
-c
iii
o
1 21
cn 0
C--,
o
o o
0 1.)
cv 0
2
.E w 0.) tkl
*0 fTf
o
o O
n7 0 0 -(3
o (1)
.0
"co' ,o c c w > o Cn
sc"v
<
o
0
o c 00
u
-cy
•s7) <
-11 w
cr,
o o
para valorar la repercusión
1.0
El entrecruzarniento de las estrategias de recolección de datos y las características de la intervención producen una clasificación esquemática, rnostrada en el cuadro 5.1, cuyos conceptos se estudiarán a continuación.
o
o
o 1. o
o
o. (0
cCI
O
, ‹)
..c) 0 0
o
.15. 0)
co
w > 73
"cs
-o
C
cn /i
o
co
Tipología de los diseños
cr, o—
.0
o
C ‘13 ?.; En" <
CIS 10 0) u.
o o
.0 0
o
c.
o
CO
E
0.) C 0 U
>
.1••• 1/1
148
149 Experimentos aleatorios "yerdaderos"
Este tipo sólo se aplica a programas con cobertura parcial. La característica principal de los experimentos verdaderos es la asignación al azar de los tratamientos a las poblaciones objeto y el manejo aleatorio de los que quedarán fuera de ellos, constituyéndose en el grupo experimental y el grupo de control, respectivamente. Los experimentos aleatorios verdaderos pueden variar en complejidad como lo ilustran los ejemplos siguientes (consúltese también Boruch et al., 1978, para una lista relativamente completa de experimentos sociales aleatorios). 1 Para medir la efectividad de las técnicas educativas de las películas de entrenamiento usadas en la Segunda Guerra Mundial, se mostraron versiones alternas de películas de entrenamiento para tomar al azar a las tropas cuya comprensión de las /ecciones fue medida antes y después de la exposición. Después se compararon las versiones (Hovland et al., 1949). Para probar si la provisión de ayuda financiera limitada podría ayudar a prisioneros liberados de las cárceles estatales a adaptarse a una vida civil, 400 prisioneros liberados de la prisión de Maryland fueron divididos al azar en tres grupos experimentales: uno tuvo elegibilidad para tener 13 semanas de beneficio como desempleado; otro recibió 13 semanas de beneficio y auxilio de trabajo, y otro más recibió ayuda de trabajo únicamente. Un cuarto grupo no recibió nada. Los 400 ex convictos fueron entrevistados periódicamente en los años siguientes a su liberación (Rossi et al., 1980). Para valorar si reducir la ansiedad de las madres en cuanto a la cirugía practicada a sus hijos resultaba, en una secuela posoperatoria, mejor para éstos, aquéllas fueron separadas primero al azar en grupos de control y experimental. El grupo de control recibió el cuidado "común", mientras que el grupo experimental recibió asesoramiento y reaseguramiento cuando se admitió a los niños (Skipper y Leonard, 1968). Para probar cómo manejar mejor los casos de abuso de la esposa, la policía de Minneapolis convino en participar en un experimento al azar en el que los casos de abuso a la esposa reportados fueron manejados al azar en tres formas: el esposo abusivo fue arrestado y mantenido en la cárcel toda la noche; se le solicitó abandonar el dornicilio y no regresar en 16 horas, o se intentó conciliar a los esposos (Sherman, 1980). En el experirnento de la demanda de la vivienda disponible, una muestra al azar de familias pobres en Pittsburgh y Phoenix se puso aleatoriamente en uno de los 23 grupos experimentales o en el grupo control. A los grupos experimentales se les ofreció una variedad de planes mediante los cuales se subsidiaban los costos de la vivienda. Los planes variaban en generosidad y en las condiciones bajo las cuales debían hacerse los pagos. Cada familia participante fue estudiada durante cuatro años, con entrevistas periódicas e inspecciones de la vivienda (Kennedy, 1980). De acuerdo con la complejidad, los costos de los experimentos descritos varían ampliamente; el más costoso fue el último y el de menor costo fue el experimento realizado con los soldados de la Segunda Guerra Mundial.
Pormenores en el acopio de datos Los diseños de la evaluación que se pueden aplicar a la valoración de la repercusión también varían en los planes del acopio de datos que se emplean. Esto se divide en dos categorías: los diseños longitudinales y los diseños de obseryación posterior. Los primeros son aquellos en los que por lo menos se hacen dos observaciones: una antes y otra después de poner la intervención en su lugar. Idealmente, los datos de las observaciones adicionales en cuestión también se usan. Los diseños de observación posterior son aquellos en los que se hace sólo una observación después de tener lugar la intervención. Los experimentos verdaderos más elaborados, así como los de otros diseños (que se estudiarán en la sección siguiente), consisten en observaciones de los grupos experimentales y control tomadas en distintos momentos. Muchos de los experimentos de campo en gran escala emprendidos durante las dos décadas pasadas con el fin de probar los programas propuestos han sido experimentos longitudinales aleatorios; por ejemplo, en los experimentos acerca de los ingresos y su gravamen se han empleado los mismos diseños longitudinales básicos, pero varían uno del otro en los géneros de tratamientos probadoss, en la longitud de tiernpo en que se dan los tratamientos de la intervención. El experimento del mantenimiento del ingreso en Nueva Jersey (Kershaw y Fair, 1976; Rossí y Lyall, 1976) se diseñó con ocho grupos experimentales, cada uno de los cuales fue ofrecido a planes de mantenimiento del ingreso ligeramente distintos, y un grupo control. Las familias elegibles se designaron al azar a cada uno de los nueve grupos. Cada familia participante fue estudiada durante un periodo de tres años, tiempo durante el cual se ofrecieron beneficios a los grupos familiares experimentales. Experimentos de mayor aleatoriedad se diseñan con las medidas de resultados anteriores y ulteriores. La principal razón es mantener constantes los detalles iniciales al principio en las poblaciones objeto en el análisis ulterior de los efectos experimentales (la razón estadística de esto se explica con más detalle en el capítulo 6). Sin embargo, en algunas circunstancias, las mediciones de las intervenciones previas suelen ser indefinibles; por ejemplo, los experimentos para la rehabilitación de prisioneros, diseñados con el fin de evitar la reincidencia, se pueden basar sólo en las mediciones de la intervención posterior, pues este fenómeno no se puede medir ni definir antes de abandonar la prisión. Asimismo, los esfuerzos de la intervención hechos para reducir la incidencia de enfermedades o accidentes tienen medidas de los resultados de la intervención previa indefinidos. Varios ejemplos de experimentos de diseño exclusivamente posterior se dan en el capítulo 6. Experimentos no aleatorios con controles construidos y/o controles estadísticos Una gran clase de diseños para valorar la repercusión consiste en enfoques no aleatorios, todos los cuales tienen como denominador común las comparaciones entre los grupos experimentales, creados de las poblaciones objeto seleccionadas (de alguna manera) para participar en el programa (o seleccionadas administrativamente como participantes) y de "controles construidos",
150
CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN
grupos de no participantes, que de alguna manera crítica son comparables con los participantes. Tales comparaciones se pueden hacer mediante la construcción de grupos de individuos objetivo no participantes (de aquí el término controles construidos). Relacionados estrechamente con los controles construidos están los controles definidos mediante el análisis estadístico. Ambos son esfuerzos para aproximar a lo ideal a los controles aleatorios. Las personas que no han participado en un programa son comparadas con las que lo han vivido, para lo cual se utilizan técnicas estadísticas que manejan las diferencias constantes conocidas entre los participantes y los no participantes. Por supuesto, los controles estadísticos se pueden usar con medidas posteriores únicamente, en cuyo caso el diseño es en realidad el de una investigación seccional cruzada, sin embargo, los controles estadísticos se pueden utilizar con medidas anteriores y posteriores de los resultados en relación con los grupos control construidos. En resumen, la relación entre los experimentos no aleatorios con controles construidos e investigaciones de una tirada aún no está bien definida; sin embargo, el punto importante, es que el razonamiento implicado en ambas es el mismo: ambas intentan estimar los efectos netos mediante la creación de grupos control que presumiblemente representen a los individuos objetivo potenciales que no están expuestos a la intervención. A continuación se exponen varios ejemplos de grupos control construidos. Para estimar el efecto de la disponibilidad de viviendas en la oferta de éstas hecha por los constructores y los terratenientes, se pusieron en marcha programas diseñados con el fin de demostrar su disponibilidad en Green Bay (Wisconsin) y South Bend (Indiana). Después de varios años de demostración, los precios de las casas en ambas ciudades se compararon con los de ciudades del Medio Oeste estadounidense (Struyk y Bendick, 1981). Los estudiantes que asistían a escuelas secundarias públicas, en una muestra al azar de tales escuelas, fueron comparados con estudiantes que acudían a escuelas privadas religiosas o seculares, para lo cual se manejaron factores socioeconómicos constantes. La comparación se hizo para ver si el tipo de escuelas al que se acudía tenía algún efecto en el nivel promedio de calificaciones en áreas específicas y críticas (Coleman et al., 1981). 3. Las familias seleccionadas para admitirlas en la vivienda pública en Baltimore se compararon con familias que lo habían solicitado, pero que no fueron admitidas en la unidad. Tanto las familias de la vivienda pública como las de control construido fueron entrevistadas en un lapso de cinco años (Wilner et al., 1962). ¡
Algunos de estos diseños implican muchas medidas de los resultados obtenidos antes y después de las intervenciones; por ejemplo, un estudio reciente mediante el cual se compararon los porcentajes mensuales de delitos en Boston, antes y después de promulgada la ley sobre control de armas, con direcciones en jurisdicciones comparables en los estados vecinos de Nueva Inglaterra, así como en toda la región (Pierce y Bowers, 1979).
151 Investigaciones seccionales cruzadas En la columna derecha del cuadro 5.1 se define a las investigaciones seccionales cruzadas, que son investigaciones de una muestra de las poblaciones objeto, algunas de las cuales no han recibido tratamiento (o han recibido una variación de éste). Las poblaciones objeto que han recibido el tratamiento se comparan con aquellas que no lo han recibido en las medidas de los resultados de la intervención posterior, para lo cual se utilizaron técnicas estadísticas con el fin de manejar las constantes diferencias entre ambos grupos. Aunque los diserios seccionales cruzados son de los menos costosos para estimar la repercusión, también son de los más adecuados para completarlos rigurosamente. Por tanto, se deben emplear con todas las precauciones que se examinarán en el capítulo siguiente. Cuando las investigaciones seccionales cruzadas se emplean en programas de cobertura parcial, se debe considerar una variante de los grupos control construidos; no obstante, su uso para medir la efectividad de programas de cobertura amplia, que varían de lugar a lugar, constituye Sll única aplicación. Así, en varios estudios se intenta medir la efectividad de la legislación sobre el control de armas, mediante la comparación de los niveles de restricción para obtener licencias y el uso de las armas en estados diferentes (Krug, 1967; Geisel et ai., 1969; Seitz, 1972). En este caso, el estado constituye la unidad, con las observaciones Ilevadas a un porcentaje en varios tipos de delitos en un año específico. Nótese que valorar la repercusión permite estimar cuántos de los efectos netos de una variación en el tratamiento se han comparado con otros. Por tanto, se puede valorar si los planes de asistencia médica en diversos niveles de generosidad afectan o no el uso del cuidado médico, pero no se puede decir si esta asistencia médica por sí misma ejerce algún efecto en el consumo de cuidado médico. Los grupos control constituidos con medidas posteriores son también muy frecuentes. Una evaluación controversial del proyecto Head Start (Cicerelli et ai., 1969) se basaba en la comparación de los niños en el primer grado que habían participado en el programa a la edad preescolar con nirios de primer grado con antecedentes comparables en la misma o en una escuela cercana, pero que no habían participado. Al evaluar los efectos de las clínicas de planificación familiar con apoyo del gobierno (Cutright y Jaffe, 1977) se siguió el mismo plan, y contrastaron los porcentajes de nacimientos en los cOndados que tenían clínicas muy activas con aquellos que presentaban clínicas menos activas. Los problemas implicados en el diseño propio y en el análisis de investigaciones de una sola vez acerca de programas existentes de cobertura total con tratamientos variables para cada sitio son complicados, por lo cual el tema se estudiará con más detalle en el capítulo 6. Análisis de series de tiempo Los programas de cobertura total presentan problemas especialmente difíciles para valorar la repercusión, debido a que carecen de una población objeto no cubierta que pudiese servir como control o producir observaciones control; no obstante, si existen observaciones extensivas, extraordinarias o de contrato previo al trabajo, acerca de las medidas de los resultados, se podrán emplear enteramente las técnicas eficaces del análisis de series de tiempo. Con esto será posible estUdiar
152
CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSICIN
el efecto de decretar la ley sobre control de armas en una jurisdicción particular, pero sólo si el evaluador tiene tiempo suficiente para estudiar estadísticas de delitos que permiten examinar aspectos relacionados con lesiones con armas. Desde luego, para muchas intervenciones comunes tales medidas de términos largos no existen; por ejemplo, no existen largos términos en series de tiempo detalladas con respecto a la incidencia de ciertas enfermedades agudas, lo cual dificulta valorar el efecto que ejerce el cuidado médico o la ayuda médica en ellas. Aunque los procedimientos técnicos del análisis de series de tiempo es bastante complicado, las ideas que lo sustentan son enteramente simples. La tendencia es que el tratamiento se analice antes, de manera que se obtenga una proyección de lo que podría haber sucedido sin la intervención. La tendencia después de la intervención se cornpara luego con las proyecciones resultantes y las pruebas estadísticas se emplean para determinar si las tendencias observadas en la dirección a la intervención postertor son diferentes o no de la proyección para inferir que el tratamiento tuvo efectos positivos; por ejemplo, los efectos de cambiar la política de precios en el consumo de agua se pueden estudtar rnediante el análisis de series de tiempo, al investigar la dirección del consumo antes que la política del precio cambiara; al proyectar la dirección del consumo del agua sobre esta base, y al comparar el consumo actual con las proyecciones gráficas (Berk et al., 1981). Algunas de las limitaciones del análisis de series de tíempo se detallarán en el capítulo 7. La más seria limitación es que se necesitarán muchas observaciones en intervenciones previas, de manera que se modele la dirección en el tiempo de dichas intervenciones de un modo seguro (se recomiendan más de 30 puntos en el tiempo). Por ello, el análisis de las series de tiempo generalmente se limita a lo concerniente con los resultados, para lo cual el gobierno u otros grupos recaban inforrnación rutinariamente y publican estadísticas. Estudios previos y posteriores de la cobertura tota/ Para muchos programas de cobertura total, las series de tiempo previos y posteriores al programa o a su decreto pueden no estar disporales; en su lugar, puede existir sólo una serie anterior al decreto. Con la adición de una medida tomada después de que la intervención ha ocurrido (con las precauciones adecuadas), aún se puede valorar la repercusión; por ejemplo, sí los oficiales del gobierno estatal anticipan una limitación legislativa sobre el estado real de los impuestos, pueden realizar una investigación acerca de la valoración por parte de los residentes estatales de los servicios locales, quienes están afectados por bajas tarifas estatales, las más de rentas públicas. Después de que la reforma ha afectado o influido en los desembolsos para servicios locales y estatales, se podría ernprender una seguncla investigación para medir los cambios en los niveles de satisfacción de los residentes. Existen muchas dificultades con los diseños anterior y posterior, como se verá con mayores detalles en los capítulos subsecuentes. El princípal problema es obvio y parte de la posibilidad de confundir los factores que enmascaran la repercusión del programa en cuestión.
153 Controles genéricos y controles espectro Finalmente, en el cuadro 5.1 se muestran diseños en los que se pueden usar controles genéricos y espectro, con el fin de desarrollar estimaciones de lo que podría suceder sin la intervención. Debido a que no existen medidas de intervención previa, no se pueden utilizar los controles reflexivos; y como todos están cubiertos por el programa y éste es uniforme en cuanto a lugar y tiempo, no se pueden usar los controles construidos ni los aleatorios. Los controles genéricos consisten en estimaciones basadas en estudios de lo que generalmente sucede en el tiempo; por elemplo, se sabe que el promedio de edad para contraer matrimonio en Estados Unidos es de aproximadamente 22 años para el hombre. Para evaluar un programa diseñado con el fin de cambiar los incentivos antinupciales de leyes sobre impuestos a los ingresos, se debe observar cuántos cambios ocurren en el promedio de edad para contraer matrimonio por parte del hombre después que las leyes han cambiado. Muchos constructores de pruebas psicológicas publican "normas" que indican cuántos carnbios cabe "normalmente" esperar en, por ejemplo, el mejoramiento de la lectura cada año conforme el niño aprueba los ciclos escolares elementales. Asimismo, en la Current Population Survey (Investigación de población actual) de la U.S. I3ureau of the Census (Oficina de censos de Estados Unidos) se podrían buscar datos acerca del promedio de ingresos de las personas que desernpeñan trabajos partículares, de manera que se estimaran los ingresos de aquellos que atienden a un programa de entrenamiento, si no hubiesen participado en dicho programa. El uso de grupos control genéricos está Ileno de peligros. Algunas de las normas publicadas por los diseñadores de pruebas no están basadas en investigaciones realizadas cuidadosamente. Los reportes del censo publicados pueden no ofrecer información suficiente para destacar a los individuos que serían comparables con las poblaciones objeto que experimentan una intervención. También se pueden usar los grupos control espectro, que consisten, a juicio de los expertos, en los administradores del programa o en los participantes y pueden producir estimaciones aún más frágiles acerca de si los resultados se interpretarán como efectos netos. Mientras el juicio de los expertos puede ser suficiente en algunos campos, el conocimiento preciso de un conjunto de necesidades no está disponible para muchos programas sociales, aun para el más experimentado de los expertos. De este modo, mientras por un lado puede tener algún sentido confiar en la valoración de un ingeniero acerca de la seguridad de diseño de un puente, puede tener poco sentido confiar en el juicio de un penalista acerca de la efectividad de un programa de rehabilitación para un prisionero en particular. Los grupos control genérico y de espectro son los únicos disponibles para programas uniformes de cobertura amplia, para los cuales no existen medidas de la intervención previa. Esta clase de programas incluye programas establecidos por muchos arios (por ejemplo, los pensionados bajo administración del Seguro Social o la educación elemental coactiva). Por tanto, las estimaciones acerca de lo que podrían ser los efectos de abolir tales programas se deben tratar con cautela, pues son grandemente especulativas. Más aún, debido a, que los grupos control genérico y de espectro hacen estimaciones relativan-iente poco costosas y requieren poco tiempo, es muy tentador '
154
NOTAS TÉCNICAS
CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN
usarlos. Esto se puede hacer con relativamente poco riesgo en algunas valoraciones de la repercusión: los grupos control genérico se pueden emplear para estimar si un programa educativo es exitoso o no, para lo cual se comparan las calificaciones de los aspirantes después del programa de lectura con las normas nacionales para niños del mismo grado y que son publicadas por el diseñador de la prueba. Asimismo, con el fin de valorar la eficacia de un programa de entrenamiento vocacional para adultos, se podría consultar a los expertos; sin embargo, los grupos control genérico y de espectro se recomiendan sólo como último recurso. Las razones para esta recomendación se dan en el capítulo 7. TIPOS DE DATOS ÚTILES PARA VALORAR LA REPERCUSIÓN El análisis en la sección previa acerca de los diseños 'de la investigación ha sido casi exclusivamente en términos de estudios cuantitativos. Si los datos recolectados deben ser caulitativos o cuantitativos es un problema por separado. Los datos cuantitativos se pueden definir como observaciones que rápidamente Ilevan a sus representaciones numéricas por sí mismas: respuestas a cuestionarios estructurados, registros de paga compilados por personal de oficina, cuentas de las interacciones habladas entre los cotrabajadores, etc. En contraste, los datos cualitativos, como los protocolos de las intervenciones no estructuradas y las notas de las observaciones, generalmente se resumen con menor facilidad a la forma numérica. Obviamente, estas distinciones no son rígidas ni firmes; la línea divisoria entre ambos tipos de datos es imperceptible. Aún más, los datos cualitativos se pueden transformar en datos citantitativos mediante un análisis del contenido, mientras que los datos cuantitativos se pueden tratar como cualitativos mediante la disgregación de los valores numéricos (por ejemplo, aquellos que dan como respuestas a entrevistas estructuradas, y cada entrevista programada se trata como una unidad). Las ventajas y desventajas relativas de ambos tipos de datos se han debatido extensamente en la bibliografía de la ciencia social (Cook y Reichardt, 1979). Las críticas hechas a los datos cuantitativos desacreditan las tendencias deshumanizadoras de la representación numérica y afirman que se puede comprender mejor el proceso causal mediante la familiarización estrecha con la gente y con sus problemas y mediante las observaciones cualitativas resultantes. En respuesta, quienes defienden los datos cuaniftativos replican que los datos cualitativos son costosos para recabarlos, si se supone que deben tener una base extensiva; son objeto de gran confusión, y por lo general contienen información que no está uniformemente colectada a través de todos los casos y en todas las situaciones. No se pueden solucionar aquí todos los debates acerca de la preferencia de datos. Como se indicó en capítulos anteriores, las observaciones cualitativas desempeñan papeles muy importantes en ciertos tipos de actividades evaluativas, particularmente en el monitoreo de programas actuales. Sin embargo, es verdad que los procedimientos cualitativos son difíciles y costosos de usar en muchos de los diseños descritos en el cuadro 5.1. Sería imposible reunir un experimento con alto rango aleatorio con observaciones cualitativas a un costo razonable; asimismo, las investigaciones a gran escala o las series de tiempo generalmente no se basan en tales observaciones cualitativas.
155
En resumen, mientras que la valoración de la repercusión de una variedad estructurada como se muestra en el cuadro 5.1 se podría realizar cualitativamente en principio, las consideraciones de los costos y el capital humano por lo general desechan tales enfoques. Valorar la repercusión de tal manera que sea científicamente plausible y que produzca estimaciones relativamente precisas de los efectos netos, requiere datos que sean cuantificables y sistemática y uniformemente recolectados. NOTAS TÉCNICAS ACERCA DE LAS MEDIDAS DE LOS RESULTADOS Tradicionalmente, la seguridad en la medición se considera como dos problemas separados: la confiabilidad y la validez (Bohmstedt, 1970). Para que tenga alguna valía, la valoración de la repercusión debe reunir ambos requisitos. Cómo seleccionar medidas válidas de los resultados Es difícil solucionar el problema de la validez. Una medida es válida en la extensión en que mide lo que se intenta medir. Mientras que el concepto de validez es fácil de comprender, se dificulta probar si un instrumento particular es válido, pues muchas variables sociales y de comportamiento no concuerdan con las pruebas estándares existentes; por ejemplo, la validez dé una medida que permita estimar el riesgo en los negocios, si se formula como escala de actitud, podría requerir como prueba de validez alguna meclida del comportamiento en el grado en que un individuo eStá dispuesto a tomar acciones que podrían ser lucrativas, pero que tarnt;ién implicarían gran riesgo. En la práctica, hay muchas formas de medir tales actitudes; esto es, existen muchas cuestiones diferentes que se podrían argumentar como relacionadas, por lo menos conceptualmente, con la idea de correr un riesgo. Si hubiera una o algunas maneras de aceptar los "mejores" métodos para medir los riesgos, las medidas potenciales se podrían comparar con las "mejores" medidas; sin embargo, en ausencia de esa medida ideal, la interrogante de si una medida particular o un conjunto de medidas son válidas suele ser, materia de argumento caso tras caso. Evidentemente, una medida válida también debe ser confiable, concepto que se estudiará al final de esta sección; no obstante, la confiabilidad, si bien se requiere, es un criterio insuficiente de la validez. Una medida válida debe demostrar lo que a menudo se nombra en la bibliografía acerca de la evaluación como construcción de la validez (Campbell y Stanley, 1966; Cook y Campbell, 1979). En relación con la confiabilidad, ésta incluye los criterios siguientes: 1. Congruencia con el uso. Una medida válida de un concepto debe ser congruente con el trabajo que ha emPleado este concepto. En consecuencia, una medida de la "adopción de la innovación" no debe contradecir las maneras usuales en que el término "adopción" se ha utilizado en los estudios previos de innovación.
156
CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN
Congruencia con las medidas aitemas. Una medida válida debe ser congruente con las medidas alternas empleadas efectivamente por otros autores; debe producir aproximadamente los mismos resultados que otras medidas propuestas o, si éstas son diferentes, deben tener buenas razones conceptuales para ser de este modo. Congruencia interna. Una medida válida debe ser congruente internamente; es decir, si se utilizan varias cuestiones para medir un concepto, las respuestas a ellas deben estar relacionadas unas con otras como si fuesen medidas alternas del mismo tema. Decisión de medir Es muy crítico y a menudo no fácil decidir qué tipo de medición usar de modo que sea válida (Blalock y Blalock, 1968; Bohrnstedt, 1970); por ejemplo, en un programa de planificación familiar se podrían considerar las alternativas siguientes para medir los resultados, cada una de las cuales cumple con los criterios señalados en líneas anteriores: La proporción que adoptan las prácticas contraceptivas efectivas. La proporción de niños deseada. La proporción de niños nacidos para completar una familia. Las actitudes hacia familias numerosas. Estas cuatro posibilidades no agotan todas las medidas que se pueden revisar razonablemente como adecuadas respecto de las metas para disminuir la fertilidad. Aún más, varían en términos de la facilidad para medir y en los costos para su recolección de datos. Así, aunque la reducción en el promedio del número de niños que nacen para "completar" una familia (esto es, los sobrepartos pasados) pueda ser la mejor expresión de la meta eventual cle un prograrna de fertilidad, el uso de esa medida para definir los resultados implica una evaluación a largo plazo, lo cual representa mucho costo y complejidad. En contraste, parece más fácil medir la actitud hacia las familias numerosas, para lo cual se supone que un programa efectivo diseñado con el fin de disminuir la fertilidad se refleja en una baja aprobación hacia este tipo de familias. Las medidas alternas de los resultados se pueden considerar como expresiones más o menos directa-s de las metas del programa. Dado lo que se conoce acerca de las pequeñas y erráticas magnitudes de las relaciones entre la actitud y el comportamiento, una desviación hacia abajo en el promedio del deseo de tener una familia numerosa probablemente es una medida remota de las metas del programa para disminuir la fertilidad. Los cambios en este tipo de actitudes suelen ocurrir sin una variación correspondiente en cuanto a las prácticas de la fertilidad. En otras palabras, una buena medida de los resultados es aquella que es factible de emplear, dadas las limitaciones de tiempo y dinero, y más o menos relacionada directamente con las metas del programa y, por tanto, válida. De las cuatro alternativas mencionadas para medir la disrninución, los cambios en las prácticas contraceptivas pueden ser, en balance, la rnejor opción para una medida; se pueden estudiar durante periodos relativamente cortos; existen amplios antecedentes para adecuar las medidas en la bibliografía acerca de la investigación previa,
NOTAS TÉCNICAS
157
y, en términos de lo que se sabe respecto del comportamiento de la fertilidad, los cambios en las prácticas contraceptivas están relacionados directamente con la fertilidad (consúltese el anexo 5.1 para estudiar cómo una variedad de medidas de los resultados se han establecido para un programa diseñado con el objeto de mejorar el uso de las clínicas de salud pública en cuanto a las prácticas de salud preventiva en niños). Medidas aproximadas La medida de un resultado empleada como sustituto de una meta no medida directamente se Ilama medida aproximada. La selección de una medida aproximada es una decisión crítica. Idealmente, una medicia aproximada debeAnexo 5.1. Medición de los resultados del programa En an prognima para incaemlentar el uso de las clínicas de salud pública 'por ,.personas jóvenes para el ctuclado preventivo de la s alud en vez del cuidado episódtco en cpndiclones cle emef gencia, los resultados se inidieron de manerasdiversas, a Sater: 1. Medidas clel xito clel programa cie inmunizzlción de la clínica: Promcclio de edad en que el paciente recibió cada una cle las siete Mmunizaciones distintas. Porcentaje (le pacientes que recibieron su primera inmunización contra la pollo antes de los tres meses de edad. Porcentale de pacienteS qup recibieren sus inmunizaciones totallnente antes de las - 30rnéses 'de iedád. 2. Mecficlas clel éxito clínico para reducir l incidencia de acc dentes y enferme-
dades: Porcentaje cle incremento o disrninución en episodios aguclos.de accidentes y enferineclades, descle el priniero hasta el segundo años de inscripción en la clínica. 3 1\le,lidas en la continuidad ciel cui(L)do jaidico de la salud:
al Rango de citas cancelaclas por ef paciente con la clínica. Rango de launtualidact. Yc) Eango de retorno del paciente para seguir con sus visitas después del tratarniento inicial. Eft..1,
Sf.
Hu c iirteliCt n periiI,11e E. StnY, ns y O. Hicks "An E yii,itorl,f the of el fdren 1 \'outh;EIrcij: 5 1 rut r fn 1973 e0"' en Ekifith Serf q ,ns.f,:,,fort, ru
158
CAP. 5. ESTRATEG1AS PARA EVALUAR LA REPERCUSICIN
NOTAS TÉCN1CAS
159
Detectar tal efectividad requiere una gran muestra, lo cual no sería el caso cuanría estar relacionada estrechamente con una medida "directa" de la meta de un do se usan medidas más confiables. proyecto, pero también debe ser más fácil de obtener. En la práctica, es frecuenEl efecto de la no confiabilidad se indica en la tabla 5.1, en la que dos medite aceptar que las medidas aproximadas son menos que ideales. Mientras no das de diferente confiabilidad se comparan en una muestra hipotética de una haya reglas firmes para seleccionar las medidas aproximadas pertinentes sólo intervención educativa diseñada para aumentar los niveles en los logros cognosexistirán lineamientos. citivos en nirios con un pasado desaventajoso. El resultado "verdadero" del proPrimero, para las metas y los objetivos medibles en principio pero muy grama hipotético-se muestra en la parte I. En el grupo participante, 40 de los 50 costosos de medir, la investigación previa puede incluir estudios que prueben sujetos (80%) alcanzaron un aprovechamiento de nivel alto para el fin del prola valía de las alternativas; por ejemplo, se puede estar preocupado con resgrama, pero sólo 25 de los 50 (50%) de los que no participaron alcanzaron esos pecto a si los trabajos obtenidos por personas que completaron programas de niveles. Estos resultados "verdaderos" se podrían observar si se hubiese tenido entrenamiento son mejores que aquellos que los entrenados pudiesen hallar una medida perfectamente confiable del aprovechamiento cognoscitivo. por otros medios. En principio se puede medir la calidad de los trabajos, mediante alguna combinación de ingresos, proporciones de salarios, estabilidad en el empleo, condiciones de trabajo u otros atributos medibles del trabaTabla 5.1. Ejemplo hipotético de efectos de atenuación en las medidas desconfiajo. Varias medidas aproximadas razonables se pueden emplear en vez de este bles de los resultados de una intervención procedimiento largo y costoso: los ingresos y el porcentaje de salarios son buenas medidas aproximadas, pues investigaciones previas han demostrado I. Resultados verdaderos sin la medición del error: que tales atributos del trabajo están correlacionados altamente (esto es, los Participantes No participantes trabajos mejor remunerados tienden a tener mejores condiciones de trabajo, Asimilador alto 40 (80%) 25 (50%) más seguridad en el empleo, etc.). Asimilador bajo 10 (20%) 25 (50%) Segundo, las metas y los objetivos que se espera alcanzar en un futuro lejano Efecto verdadero del programa = 30% se pueden representar por medidas aproximadas que constituyan pasos intermedios hacia esas metas; por ejemplo, mientras que el objetivo de un proyecto acerComparación de porcentajes correctamente clasificados sobre la medición de la asimica de la fertilidad familiar es disminuir la proporción del tamaño familiar, la meta lación que varía en confiabilidad: Medición observada se puede medir definitivamente sólo ddspués que las mujeres de esas familias han Medición observada para la medida A pasado sus años con posibilidades de tener hijos. Las medidas aproximadas que para la médida B Alta Baja Alta Baja se centren en la adopción de prácticas que reduzcan la fertilidad completa son Asimilador alto 60% 40% 90% 10% razonables sustitutos (por ejemplo, la adopción de prácticas contraceptivas y los Asimilador bajo 40% 60% 10% 90% cambios en el deseo expresádo hacia un tamario fanniliar). La selección de variables aproximadas en primera instancia debería ser guiaIII. Medición de resultados mediante las mediciones A y B: da por el criterio de validez señalado en líneas anteriores; además, las variables Medición A Medición B aproximadas y otras medidas deberían ser confiables; este tema se estudiará a No particiNo particiParticipantes pantes continuación. Participantes pantes Asimilador alto 28 (56%) 25 (50%) 37 (74%) 25 (50%) Asimilador bajo 22 (44%) 25 (50%) 13 (26%) 25 (50%) Efectos de la medición = 6% 24% Confiabilidad de las medidas de los resultados Una medida es confiable en el grado en que la aplicación de esa medida a una situación determinada produce los misMos resultados repetidamente, si la situación en cuestión no cambia entre las medidas. Así, la medida de la altura y el peso entre los adultos mediante el uso de aparatos estándares se considera más confiable que la medida de la inteligencia. Esto es, el uso de aparatos de medición para la altura y el peso, en manos de personas competentes, producirá menor variabilidad en las medidas de una administración a otra, cornparada con la que resultaría de la repetida aplicación de varias pruebas de inteligencia. El efecto de la no confiabilidad en la medida oscurece las diferencias reales cuando existen. Una intervención verdaderarnente efectiva cuyos resultados se miden de manera poco confiable, parecerá ser menos efectiva de 16 que es.
La confiabilidad de dos medidas, A y B, se compara en la parte II: la medida A es menos confiable que la medida B. Nótese que cuando un niño verdaderamente asirnila en un nivel alto, la medida A muestra al individuo correctamente clasificado el 60% de las veces; cuando un niño asimila en un nivel bajo, la medida A lo rnuestra como tal sólo el 60% de las veces. En contraste, la figura correspondiente a la medida B, la medida más confiable, es de 90%. En resumen, la medida A produce error en la clasificación en el 40% del tiempo, mientras que la medida B lo hace sólo el 10% de las veces. Los diferentes efectos de la aplicación de dos medidas no confiables de los resultados de la intervención hipotética se muestran en la parte inferior de la tabla 5.1 (parte Ill). En la medida A, se encuentran 28 asimiladores con un nivel alto, 56% del
160
CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN
grupo de participantes: (60% de 40 = 24) + (40% de 10 = 4) o 28. Con la medida B se pueden obtener 37 asimiladores con nivel alto, o sea, 74% del grupo experimental: (90% de 40 = 36) + (10% de 10 = 1) o 37. Mediante el empleo de la medida A se tiene un contraste entre los participantes y el grupo control de sólo 6% más de asimiladores con nivel alto en el grupo participante, mientras que con la medida B el contraste es de 24%. Evidentemente, la medida B es más confiable, pues se apega más a demostrar la extensión en que el programa es n-iás efectivo. Nótese que ni la medida A ni la B dan una estimación segura de los efectos del programa hipotético; más bien, ambas subestiman los verdaderos efectos considerablemente. Este problema se conoce como atenuación debida a la no confiabilidad y está bien documentado (Bohrnstedt, 1982; Nunnally y Durham, 1975). En muchos casos, no es posible erradicar completamente el error en la medida, aunque se pueden efectuar ajustes en los resultados que tengan en cuenta tales errores, si el grado de no confiabilidad se conoce. Con el ejemplo mostrado en la tabla 5.1 interesa destacar la importancia del cuidado tanto para la construcción como para la aplicación de los instrumentos de medición. ESTRATEGIA "CORRECTA" PARA VALORAR LA REPERCUSIÓN Aunque en este capítulo se ha destacado que los experimentos azarosos proporcionan las mejores estimaciones de los efectos netos del programa, es necesario insistir en que el enfoque preferido en una circunstancia particular depende de múltiples factores contextuales. Para algunos programas, los experimentos aleatorios son sencillamente inaplicables. En otras circunstancias, el tiempo, los fondos y las habilidades harán imposible un enfoque experimental. Con el cuidado apropiado, los otros diseños descritos en este capítulo se pueden usar con considerable confianza. En los capítulos 6 y 7 se dan ejemplos de todos esos enfoques y se detallan sus ventajas y sus limitaciones.
6 Diseños comparativos para valorar la repercusión Aunque los experimentos aleatorios y controlados se presentan en este capítulo como los mejores diseños de investigación para valorar las repercusiones netas de las intervenciones, también se reconoce que los controles estadísticos y construidos son frecuentemente los diseños prácticos alternos que pueden producir estimaciones útiles si el evaluador es cuidadoso en reconocer sus limitaciones. En este capítulo se dan muchos ejemplos de los usos de los tres enfoques comparativos, las circunstancias específicas en las cuales cada uno es más aplicable y se identifican algunos de los riesgos asociados con cada uno; se pone especial atención al empleo de los controles estadísticos, un método apropiado para valorar programas en curso recomendado en combinación con las evaluaciones en las que se emplean controles aleatorios o construidos.
CONCEPTOS PRINCIPALES Grupos control:
Grupos control construidos:
Estudios seccionales cruzados: Grupo experimental: Igualación:
Coberturas parcial y total:
Grupo de individuos objetivo potenciales no tratados que se comparan con los grupos experimentales en cuanto a las medidas de los resultados al valorar la repercusión. Grupos de individuos objetivo no tratados que se seleccionan por métodos no aleatorios comparables en aspectos cruciales a los individuos objetivo en los grupos de intervención. Estudios en los que los datos se recaban en un punto del hempo. Grupo de individuos objetivo potenciales a quienes se da una intervención y cuya medida de los resultados se compara con la de los grupos control. Construcción de grupos control mediante el método de hallar individuos que sean idénticos en ciertos aspectos a los de las personas en los grupos experimentales. Grado en que un programa abarca a alguno o a todos los individuos objetivo intentados.
161
162 Sorteo:
VALORACIÓN DE LA REPERCUSIÓN
Controles estadísticos:
Selección al azar en la asignación de individuos objetivo potenciales para los grupos experimental y de control. Uso de técnicas estadísticas para mantener constantes las diferencias entre los grupos de tratamiento y de control.
Los objetivos de este capítulo y el siguiente son describír de manera más detallada los diseños para valorar la repercusión mencionados en el capítulo 5 y demostrar córno se usan en la valoración actual de la misma. Como el evaluador siempre trabaja con limitaciones de tiempo, presupuesto, contexto dentro del cual el programa realiza y limitaciones técnicas, las soluciones actuales alcanzadas en situaciones específicas siempre son cercanas a los compromisos entre lo ideal y lo factible. No se pueden escribir reglas rígidas y firmes acerca de cuándo y cómo comprometerse, aunque se pueden establecer algunos lineamientos generales: primero, cuanto más importante se considere un programa, mejor deberá ser el diseño de la investigación. Por cierto, puede no tener ningún sentido evaluar con cierto cuidado programas ideados con el fin de no tener la menor repercusión o costos bajos relacionados con él (Cronbach et al., 1980; Rossi, 1979). En contraste, los programas que se espera sean muy costosos y potencialmente peligrosos a los grupos objetivo u otros se deberían evaluar con tanta precisión como sea posible. En el pasado, algunos comentaristas, incluido uno de los autores (Rossi, 1979), han establecido que la valoración de la repercusión no se debería hacer si la información resultante probablen-iente no sea usada en la toma de decisiones ulterior o en la administración del programa. Entonces, si cierto programa ha sido ampliamente apoyado por quienes toman decisiones, lo cual hace muy improbable que los hallazgos al valorar la repercusión puedan cambiar la magnitud o la dirección del apoyo, no se justifica la valoración de la repercusión, sólo por el interés de conservar el recurso. Mientras que generalmente no se acepta por completo esta posición, la posibilidad de conservar los recursos es bastante persuasiva. Corno quiera que sea, el evaluador debe reconocer que el uso que se debe dar a la valoración de la repercusión condiciona el cuidado y los recursos que deberían dedicarse a la misma. Cabe señalar un aspecto importante acerca de las unidades de análisis. El lenguaje empleado en este capítulo permitirá al lector creer que las valoraciones de la repercusión se realizan sólo con personas, como individuos objetivo de la intervención intentada. No se desea dar tal impresión, como el lector pudo darse cuenta en los capítulos anteriores. Es fácil escribir como si sólo los individuos fueran las poblaciones objeto, pero, como se señaló en el capítulo 3, las intervenciones también se pueden dirigir a las viviendas, familias, vecíndarios y comunidades, empresas y otras organizaciones, condados, estados y aun naciones. La lógica de la valoración de la repercusión en general, no cambia conforme uno actúa de un género de unidades a otro, aunque las dificultades para realizar investígaciones de campo pueden incrementarse con el tamario y complejidad de la unidad; por ejemplo, los factores de confusión que afectan a los estudiantes individuales también influyen en las clases, por tanto, el mismo diseño formal puede ser necesario
163
para eliminar las influencias de confusión en los resultados brutos. No obstante, mientras el tamaño de la muestra en dos casos está constituida por estudiantes y clases, respectivamente, la recolección de datos en una muestra de 200 estudiantes suele ser más fácil y considerablemente menos costosa que acumular datos similares en 200 clases. La selección de unidades de análisis no es arbitraria, sino determinada por la naturaleza de la intervención implicada. Así, un programa diseñado para efectuar a las comunidades (por ejemplo, mediante libretas de concesiones a las municipalidades locales) requiere que las unidades estudiadas sean las municipalidades. La valoración de la repercusión de las libretas de concesiones realizada mediante la cornparación de dos municipalidades tiene una muestra doble, completamente inadecuada por muchos motivos, aun si se supone que las observaciones se pueden hacer en muestras muy grandes dentro de cada comunidad. Al evaluador que intenta diseñar la valoración de una repercusión se le advierte que comience por identificar las unidades designadas como objetivos de la intervención al respecto, y que, por tanto, se especificarán como unidades de análisis. En algunos casos, definir las unidades de análisis no presenta ambigüedad; en otros, la decisión puede requerir evaluar cuidadosamente las intenciones del programa y las de los diseñadores. En otros casos, las intervenciones pueden dirigirse a varios tipos de objetivos: un programa de subsidio de la vivienda puede ser diseriado para aumentar el grado de la habitación de familias pobres y el mercado de vivienda de las comunidades locales. Aquí, el evaluador quizá desee diseñar la valoración de la repercusión de tal manera que consista en muestras de casas individuales dentro de muestras de las comunidades locales. VALORACIÓN DE LA REPERCUSIÓN DE PROGRAMAS CON COBERTURA PARCIAL Por programas de cobertura parcial se entienden aquellos que deben probarse con base en el juicio o que no abarcan (por cualquier motivo) a todos o virtualmente a todos los miembros de la población que se intenta beneficiar. Principalmente en estas circunstancias, es posible hacer comparaciones entre los grupos de personas que reciben los servicios de la intervención y aquellas que no lo reciben. Grupos control y grupos experimentales Se pueden conceptualizar los resultados netos como las diferencias entre las personas que han participado en un proyecto y los individuos objetivo comparables exactamente que no han participado. Como la misma confusión se podría presentar en ambos grupos, los dos podrían estar sujetos a cambios endógenos, a la deriva secular y a los otros factores de confusión mencionados en el capítulo 5. La única diferencia entre los dos grupos se podría deber a la intervención y a los efectos de suposición. Comúnmente, el grupo contrastante se Ilarna grupo control, mientras que aquellos que participan en la intervención se denominan grupos experimentales.
164
CAP. 6. DISEÑOS COMPARATIVOS
Con base en la fórrdula descrita en el capítulo 5, la estimación de los efectos netos de un proyecto en términos de los grupos control y experimentales se puede demostrar como sigue: Efectos netos = [Resultados brutos de un grupo experimental] — [Resultados brutos de un grupo control] + [Efectos estocásticos] Desde que los efectos del proceso estocástico se pueden estimar mediante el empleo de pruebas estadísticas" apropiadas, utilizar los grupos control junto con la estimación de los efectos estocásticos proporciona aproximaciones cercanas a los efectos netos del proyecto.Un elemento crítico para estimar los resultados netos es la identificación y selección de grupos control y experimentales comparables. La comparabilidad entre los grupos control y experimentales significa, en términos ideales, que ambos deben ser idénticos, excepto en lo que se refiere a su participación o no en el programa por evaluar. En términos más específicos, la comparabilidad requiere: Composición idéntica: los grupos control y experimentales deben contener combinaciones similares de personas u otras unidades. Experiencias idénticas: los grupos control y experimentales deben experimentar sobre el periodo de observación el misrno próceso relacionado con el tiempo: la maduración, los cambios o "derivaciones" en el tiernpo, etcétera. Predisposiciones idénticas: los grupos control y experimentales deben estar equitativamente dispuestos hacia el proyecto; esto es, las tendencias de autoselección deben ser idénticas en ambos grupos. Ejecución de las evaluaciones a los grupos control Idealmente, la comparabilidad de la clase más precisa se podría lograr si se comparara cada individuo objetivo en el grupo experimental con un individuo objetivo idéntico en un grupo control, lo cual, desde luego, es imposible. No hay dos individuos, familias u otras unidades que sean exactamente comparables en todos los aspectos. Afortunadamente, la comparación uno a uno no es necesaria. Sólo se requiere que los grupos experimental y de control sean idénticos en términos de agregación y en los aspectos pertinentes para los efectos intentados del programa que se prueba. De esta manera, al valorar la repercusión no importa que los miembros de los grupos control y experimental difieran en cuanto al lugar de nacimiento o varíen ligeramente en edad, pues dichas diferencias no son estadística ni sustantivamente significativas. Una de las implicaciones más importantes de exposición es que la valoración de la repercusión requiere más que sólo unos cuantos casos. Cuanto mayor sea el número de unidades estudiadas (dado el método de selección se estudiará en los párrafos siguientes), más probable será que los grupos control y experimental sean estadísticamente equivalentes. En resumen, ios estudios en
VALORACIÓN DE LA REPERCUSIÓN
165
los que sólo una o pocas unidades están en los grupos control experimentales rara vez, si no es que nunca, son suficientes para va/orar la repercusión. Mientras que en el caso anterior los grupos control o de comparación están constituidos por individuos objetivo que "no reciben tratamiento", no es éste generalmente el caso. A menudo, los individuos objetivo en los grupos control reciben programas de tratamiento existentes o tratamientos alternativos; por ejemplo, una evaluación que prueba la efectividad de un programa de nutrición puede tener un grupo control o de comparación constituido por personas que sigan una amplia variedad de prácticas nutricionales, algunas de su propio proyecto y otras dirigidas por su doctor. Todo esto significa que la efectividad del programa bajo evaluación se estima en relación con si el tratamiento o la combinación de tratamientos son experimentados por los individuos,objetivo control o de comparación. Otra variación en el diseño consiste en comparar de manera más sistemática dos o más programas. Puede haber varios grupos experimentales, cada uno de los cuales siga un régimen nutricional particular, con los efectos netbs de cada estimación relacionada con los otros que son probados. Al respecto, cabe señalar lo siguiente: mientras una distinción útil entre los grupos control y de comparación se hizo en párrafos anteriores, en muchos de Ips"siguientes estudios la distinción no es pertinente. Por tanto, se empleará el término grupo control para hacer referencia a los grupos control y de comparación, excepto en los casos en que la distinción sea importante. Existen varios enfoques para construir o identificar a los grupos control comparables y a los grupos experimentales, que varían en factibilidad, costo, claridad y validez de los hallazgos. Desafortunadamente, los mejores enfoques, desde el Punto de vista del criterio científico pueden ser los más difíciles de ejecutar. En términos generales, tales enfoques siguen una de las cuatro estrategias o diseños de investigación: 1 Hay varios diseños experimentales en los que las poblaciones objeto se asignan por sorteo, ya sea los grupos experimentales que reciben la intervención o a los grupos control a quienes se niega la intervención —método de experimentación al azar (Mendenhall, 1968; Namboodiri et al., 1975; Riecken y Boruch, 1974; Winer, 1971). Los participantes en el programa pueden ser contrastados con los que no participan que son seleccionados por comparación en aspectos importantes —método de comparación de grupos no aleatorios. Los participantes pueden ser comparados con los que no lo son mediante el control estadístico de las diferencias conocidas entre los participantes y los que no lo son —método de cqntrol estadístico. Se puede seguir una estrategia mixta en la que los grupos control aleatorios y los que no lo son y los grupos control estadístico se empleen juntos. - En las secciones siguientes se estudiarán los diseños de la evaluación en los que existe sólo una intervención que se pruebe en su repercusión. Como se kridicó-en párrafos anteriores, esta restricción no es inherente al diseño, sino slrnplemente se hace por conveniencia para la exposición. El diseño se puede ampliar fácilmente para incluir simultáneamente la prueba de las diversas intervenciones alternativas (o la combinación de intervenciones). En realidad, -
166
CAP. 6. DISEÑOS COMPARATIVOS
hay mucho que ganar en cuanto a la manera de contar con información útil para los políticos y administradores del proyecto si se emprenden evaluaciones de las intervenciones comparativamente, de tal modo que una intervención dada se compare no sólo con la condición en la que no se realiza una intervención, sino también con intervenciones alternativas. La valoración de la repercusión de intervenciones -múltiples proporciona más información en problemas como de qué manera mejorar los tratamientos, solos o en combinación, para maximizar los efectos en cierto nivel de fondos, lo cual se estudiará con mayor detalle en la sección siguiente. EL AZAR EN EL ESTABLECIMIENTO DE LA COMPARABILIDAD La comparabilidad entre los grupos experimentales y control se establece mejor si se coloca por sorteo a los rniembros de la población objefivo a los grupos. Si una persona (u otra unidad) se ofrece al tratamiento o se deja sin éste es una cuestión que se decide al azar. Cabe señalar que "sorte,ar" no significa capricho; más bien, el sorteo de colocación de las personas a los grupos experimental o control requiere extremo cuidado para asegurar que cada unidad en una población objetivo tenga la misma oportunidad que cualquiera otra de ser seleccionada, ya sea para los grupos experimental o control (Fisher, 1935; Rieken y Boruch, 1974). Como los grupos experimental y control resultantes sólo difieren de cualquier otro por fortuna, cualquier proceso puede competir con un tratamiento para producir resultados que estén presentes en los grupos experimental y control en la misma extensión, excepto por las fluctuaciones de la fortuna. Por ejemplo, las personas que más probablemente buscasen el tratamiento si se les ofreciera con base en una elección libre quizá estarían equitativamente en los grupos experimental y control. Por ende, el factor de confusión en la autoselección tiende a estar presente tanto en un grupo como en otro, y no puede afectar si se observan resultados diferentes entre ambos grupos. De lo anterior se infiere que el sorteo es la manera más segura de obtener comparablidad entre los grupos experimental y control. Por supuesto, aun si se piensa que las personas sean colocadas al azar, los grupos experirnental y control nunca serán exactamente comparables en cualquier hecho particular; por ejemplo, las fluctuaciones en la fortuna pueden ubicar a más mujeres en los grupos control que en los experimentales; pero si la ubicación por sorteo se hiciera varias veces, estas fluctuaciones podrían tener un promedio de cero. Además, la proporción esperada de veces que una diferencia de cualquier tamaño se puede encontrar en una gran serie de sorteos es factible de calcular de modelos estadísticos apropiados. Cualquier diferencia en los resultados entre los grupos sorteados experimental y control se puede comparar con lo que se espera con base en la fortuna (esto es, generada sólo rnediante el proceso de sortear). Así, se puede formar un juicio acerca de si una diferencia específica se debe simplemente a la fortuna o si podría representar los efectos del tratamiento. Como en el tratamiento de experimentos bien conducidos la fortuna es. la única diferencia entre los grupos experimental y control, tales juicios pueden Ilegar a ser la base para discernir la existencia de un efecto neto. Los procedimientos estadísticos para
EL AZAR EN EL ESTABLECIMIENTO
167
efectuar tal cálculo son muy accesibles y se pueden encontrar en cualquier texto relacionado con la inferencia estadística (por ejemplo, Namboodiri et al., 1975; Hanushek y Jackson, 1977). También se estudiarán en relación con los controles espectro, reflexivos y genéricos en el capítulo siguiente. Significado del sorteo Es importante no confundir el sorteo, en el sentido que se le dio en el apartado anterior, con el muestreo al azar. Sortear significa tomar un conjunto de unidades y ubicarlas en un grupo experimental o control, mediante el empleo de algún procedimiento fortuito. El muestreo al azar consiste en seleccionar unidades de tal manera que no haya sesgos para formar la muestra de una población (Sudman, 1976; Kish, 1965). Se puede usar el muestreo al azar para seleccionar a un grupo de estudio de la población objetivo y luego, por sorteo, ubicar cada miembro de la muestra resultante ante las condiciones experimentales o de control, con base fortuita. Aunque el uso de muestras al azar para formar un conjunto de individuos objetivo que luego se sortean para formar grupos experimentales y control es un procedimiento altamente recomendado, en muchos experimentos aleatorios se emplean grupos de individuos objetivo que no son el resultado del muestreo azaroso (esto es, no representa necesariamente una población determinada). Procedimientos para sortear El sorteo es técnicamente fácil de realizar. En muchos libros de texto elementales acerca de estadística o muestreo se incluyen tablas de números al azar. Muchos paquetes de computadoras estadísticos pueden generar rápidamente núnneros fortuitos. Incluso, algunas de las mejores marcas de computadoras presentan generadores de núrneros fortuitos incluidos en sus sistemas. Los clásicos volados o los dados también pueden utilizar como medios fortuitos, siempre y cuando no tengan sesgos (consúltese Riecken y Boruch, 1974, para un estudio de cómo ejecutar el sorteo; para procedimientos alternativos, consúltense . Conner, 1977; Goldman, 1977; Roos et al., 1977). Un diseño típico de un experimento al azar se puede representar mediante la siguiente modificación de la fórmula de valoración básica de la repercusión: Efectos netos = Puntuaciones de los resultados y sus medidas después de efectuada la intervención para grupos experirnentales sorteados — Puntuaciones en las medidas de los résultados después de la Mtervencion en grupos control sorteados (no tratados) + Efectos estocásticos Nótese que la fórrnula incluye sólo las medidas ulteriores o los resultados. En otra sección de este capítulo se considerará lo que áe puede ganar o perder al emplear sólo medidas ulteriores o por tener medidas múltiples antes y clespués de la intervención.
168
CAP. 6. DISEÑOS COMPARATIVOS
EL AZAR EN EL ESTABLECIMIENTO
En el cuadro 6.1 se muestra el diagrama de un experimento sencillo con control al azar anterior y posterior, indicando la lógica que apoya la estimación de efectos netos que se pueden calcular. Por supuesto, las diferencias entre los grupos experimental y control, E — C (E menos C), contiene necesariamente los efectos estocásticos descritos en el capítulo 5. Por ello, se podrían aplicar pruebas de inferencia estadística con la finalidad de estimar si, en un caso particular, E — C puede ser tan grande que probablemente no sea un error estocástico, o sea, si E — C es mayor que uno, cabe esperar fluctuaciones en la fortuna cuando el verdadero valor de E — C es cero. Las pruebas estadísticas convencionales para antes y después de los experimentos incluyen el análisis de la varianza y las pruebas de t (por ejemplo, consúltense Namboodiri et al., 1975; Hanushek y Jackson, 1977, y Winer, 1971, para detalles acerca de la computación e interpretación de pruebas estadísticas estándar).
Cuadro 6.1. Representación esquemática de un expenmento aleatorio
Grupo experimental Grupo control Donde:
MedicIón de los resultodos Antes del Después def programa prograrna
E2 C I C2
Diferencta E E2 C = C2 — C,
Efectos netos del programa = E — C = medidas de la meta de la intervención antes de instituir el programa, de grupos experimental y control, respectivamente
E2,2 C E, C
= medidas de la meta de la intervención después de completar el programa, de grupos experimental y control respectivamente = rnedidas del producto bruto para los grupos experimental y control, respectivamente
Nota: El componente estocástico que representa al azar está siempre presente y puede incluir diferencias entre los grupos experimental y control; es declr, E,— C pueden no ser cero, con base en el azar. La significación estadística en forma de prueba valora si E — C es tan grande para ser generado por el azar cuando el valor verdadero de E — C es cero.
Nótese que la presentación esquemática en el cuadro 6.1 define los efectos corno las diferencias entre las medidas anteriores y posteriores de los resultados. Mientras más experirnentos se diserien de esta manera en las ciencias sociales, no será esencial obtener medidas anteriores y posteriores. Para algunos tipos de resultados no es posible definir una "intervención previa", como se vio en otros párrafos. Existen algunas ventajas estadísticas de obtener medidas anteriores y posteriores; se puede tener mayor precisión al estimar el efecto cuando las medidas previas se usen para mantener constante a cada individuo objetivo y a su punto de inicio antes de la intervención. Por supuesto, las medidas críticas son las n-iedidas de los resultados de la intervención posterior para los grupos, los experimentos y control.
169
Las diferencias estocásticas generadas entre los grupos experimental y control dependen casi enteramente del número de observaciones (esto es, de las poblaciones objeto) en los dos ,grupos y de la variabilidad en los resultados entre las unidades participantes. Esto significa que cuanto mayor sea el núrnero de unidades en el experiniento, menor será el efecto estocástico y más probablemente se detectará cualquier efecto verdadero de la intervención, así corno que cuanto más uniformes sean los efectos entre todas las poblaciones objeto, más probable será detectar tales efectos. Por tanto, para intervenciones que tienen pequeños efectos probables, los grupos experimental y control deben ser lo suficientemente gandes: por ejemplo, en los experimentos TARP, mediante los cuales se probaba la repercusión de la elegibilidad para el seguro del desempleo sobre el hecho de reincidir entre ex convictos, había cerca de 1 500 personas en los grupos experimentales, mientras que en el grupo control casi 2 500 eran todos ex convictos (Rossi et al., 1980) (véanse los textos estadísticos estándares para abundar en detalles acerca de cómo planear el tamaño apropiado de los grupos experirnental y control; por ejemplo, Namboodiri et al., 1975; Hanushek y Jackson, 1977). En el anexo 6.1 se clescribe detalladarnente un experirnento al azar efectuado con el fin de probar la efectiviclad de un programa educativo televisado por niños mexicanos de edad preescolar. La atención del lector se dirige hacia varias de las características del experirnento. Prirnero, nó' tese que se empleó el número cle la producción total medida, de manera que se abarcaron los multiples objetivos del proyecto educativo. Segunclo, obsérvese el cuidado tomado para asegurar que el grupo control de niños no fuese expuesto al programa de televisión. Tercero, las pruebas estadísticas se utilizaron para auxiliar el juicio de si los resultados netos (en este caso, la superioridad observada para el aprendizaje del grupo experimental) no eran sencillamente una diferencia de la fortuna. Nótese tarnbién que la medida de los resultados se tornó antes, en el transcurso y después del experimento.
Anexo 6.1. Experirnento de grupos control aleatorios acerca del efecto de un programa de televisión preescolar en México En 1971. se _, disetiú en México un prograrna , completarriente nuevb de Sasame Strcct, Ilarnado Piaza Sésarno, C tilj éCialileñtedOtljád0 para la cultura latInoame, ricana.. F?artFiciparon edu c. adores, 2sicÓlOgIllsiqUiátráS y 'etros especiallstas en la: y - realización de los . ? studlos de naturaleza formativa para asis=tir a loS Producteres de l'1112:u el) el desarrollo del programa. DichOl'experirnentós se realizarPn en niñós . preescolares en, centról; de cuidado diunió déialtiiidactd e Mexico Un iotal dé 221 niños (de 3, 4 y 5 atiol : cie edad) y cle ti:. 4.C.éntros de cuidado diurno clisnittoss dividleron equitativamente por edady sex(3.é,;'-s'e 3 ..signat' on 1 a ¿ar a gruPos expenmenfalA y control. Los ninos en los grupos Xpet imentales sieron Pictza,SéSarnd ciurante periodos de 50 n-linutos, cinco díás de lá sernana,'hasta • cjtie la serll de un total de seis meses de verlo ContiOuamentelrim mismo tlempo los niños en el grupo connal eicron C ricatui as y etrc,s prolafiiáIti4"1001S.Owtio.;édu'éatii,os c.nales de,, trasmisióruy en_quartos •, ePjradoS. . C E n 11- 111 n lelativarnente nuevo, ninguno,de
170
171 _ •
•
--
_ rtto brecha ontre los grupos e4ental control.chntinuáverecie:ndo diarante los seis meses. 6 Derin o del grupo, eii.periMentalVonlbsna ej-grado de•atei4Ié i S("jsurno se correlájCión¿iba idositivamente „ (0:59) -en seis 'de las nueve rnedi-:- das posprueba, lb ciíaliinniicñha citic> 16S níriOís.7. 411é regularMente atendíanal prograrna cle Plaza'Sé:samo adelantaron n-15-1:qüe aqn-ellos cuya atención era vaga 7.- Los niños . experimentales con muchas , ausera'cial'S respondieron rnenos bién do pi nebas postratamiento que los niños que as- istían regularmente.
TiiñÓS contrOVIO había visto ante.s. Se efoctuaron effuérzos Intenscis para prevenir a
loS niñbs Oontrol de que vieran SL's'arno.,ep.otrO canal ctiando era trasrmhdo cada tade de las 18 . 00 a las 1900 . horas. In4Siigaciones- posteriores efectuadas fin del experimentoirevelaron que sbi lo un pequeno nciméro de niños dontrol vieron F7lazá,'. Sésamó_ctiaildó ,,sé-.enolitrabáfi ausente:s . detiiiii5 a étaferineducl. Enirningún caso pareCió qUe„:"el:Cli652p:éinnental estuiviese cornpriát-nétidói de cualquier maera. I_a ii,i percuSIÓVi` dé P1dib'S,_",c;rno en los ninos que lo 'edercindue evahtádá mediante unS serieclepruebas ,acliniinistraclas fndlv-Itlualineñtezsí, a i . los grupos experimcntly;contrpl en:tres etaPás:tar antesi de,la-,Pruebalrirnediátamente:antes de la expb"sfCión aPlari Sésár'nuo a láS-pélicul-astiantról-; b) dárante el tratarniento, .slete semanas despues de lnlciado el experimento, y c) después de la prUeba, al finaddel experimento: Las desercibnes fueron relatia . amente pocas. De los 221 niños que participa, ron en la muestra inicial, 173'cómpletaron el experimento. No se puecle deduclr una desviaciOn debicla • , a las deSerciones. e .Con el firude medlt la .canildad del aprenclizaje para-wda n 'tño despties del . periodo cle sels rneses, se emplera'ron nueve pruebas, individuales. Tre's -de esas bas;,C6nocIrnientos generales, Núme,ros y:Letras y pálabiras...constitáyén rriediclas de criterlo de las habllidacics específicarnerite .aprenclidasdurapte. .19. S. Obár- arna's de Pluza Sésamb:_CincO de las otiaS p ruebas,- .,Rél •aclories, ParieS de untodti; Flábilidad para Separar, Clasificación de babilidades y Figuras sobrepüestas éátárt inclirectamenteirelacionadas .cOffPlázá 'gésamo, pero noson criterlds'de'rneditla'eSPecífIca. La nátieria Pruebá,. Ccim`prensión . oral, no_. .tiene . réla-ción ton lás-rnetás eStablecidas par-a F;lazá Séamo, aunque su medida tOristift.iYeurlatrnpbrtariti? habilidad cognoscitiva vinculada con la lectura escolar entre igs ñiños preescolares. para cornprobar•st les niríos espectadorcls deflain-SéS'brno sabían rnas o no que los niños que vieron-sólo caritatáras, se cmprendleron pruebas'estadísticas.-En ge, rteral, los iliños en el-grupo e*perlmental rnostraron mayores-adelantos en soltición cle la prueba despues clel periodo de seis meses que los del grupo control. Lbs principales resultados se pueden resumir corno sigue: IndependlenteMente de laedaddel'grupo; los niños que vieron Plqzcr.Sésamo durante‘seis meses lo hitierbn niejor.Significativarnente en pOr ld trie'nos cuatro d'e las innev re pruebas de criiteri g-70e,. ,Orno. lo hlcieron lps niños .trol . que sOlo s,, ieron caricaturas-dúrante:éSte.perlodo. , Los mayores lnciernento'S de espectacloreSde •Plazo Sésamo..ocurt-terdn en . las tres pruebaS relacionbdas estrecharinchté con las metas eS"ta6letidaS'Ia'ra Plaia,'Sjsarno: . Conoci ñtientos :generales, NúmeroS.y' LetraSY JialabraS. 3-. La prueba de comprenSión oral, que rio estaba relaciónucla corii .Plazá-Sása, ttio, tarinhien reveló signifitativos adeiantos para pro•i grarna que pará los niños del grupo cond .rol en los fres grupps 4. LoS- niños de euatro cinco años n-lestraron las Mayóres adclantoái'Ver S mientras que los cle,tres de.1,.g'rt1P9 exPerirnetifál„'.f0aca1álíció2:'na P sighificativamente„'de;losniños contreil'en'cinco . de losnueve interrOgatoriois.-Las correlacionesde:pn_lebaltrepruchasidurart ostra-rOn estabiliclad sátisfactoria para,cnatro4:sd ielaSp vs-e c - pisrrgup,1 Pl,..,e..rils. 111 -ConoCimientoS generales, Nñrrietbs,J.F.:iiguras.:sob.iitc..pucs ' bilidadi.érilá:Cinco)proebas iistant es eSa.s einco pructiaS'.; lOS positivos favorecen. a Plaza S,i'sürno SUS á' pectaclores. , ;I:iNuriqueilipsiatlefai-dos maktppidos para losi:niños, é)CpjetitaientaleS set , re los rápót-tOritrcil oeurrierorvenlas prinierassiete:séroiiás :Cté ver Plü ym SiJsa-
,
Fuente: Al pl el,. con pot mi,o L R Diar-Guorrero, Isabel Reyes - Lguncts, Donalcl B. WItzke y• :Vliásrn01 .:'H or ltzrrian, SeS,I10 Jr1 N1. , siLO An JOL1/71Cli "nrnuntcutIon, ve,I 26, -
'
En el anexo 6.2 se describe otro experimento de control aleatorio mediante el cual se probaba la efectividad de un grupo consejero como una rnedida de rehabilitación en las prisiones de California. El grupo expetimentador aptovechó una prisión, que se establecería en breve tiempo, para asignar a todos los prisioneros a uno de los dos programas o al grupo control. Las características arquitectónic ras" de .1a prisión facilitarori el eMierimento; hubo-cuatto . unidades autocontinuadas, cuyas comuñicaciones 'eStaban - debidametité controladás. Por tanto, los prisioneros en cada cubículó cletedificio no podían comunicarse con .los de los otros cubículos-respectO del Irátarnientó que habían recibido. Nótese que los sujetos del experiinento te'Séletciónaton dentro de la prisión, por lo cual se débía ejercer un gran contról sobre ellos'. Los experimentos de campo con poblaciones no institucionaliiadáscennó-objetivo son más difíciles de realizar, pues requiereri la cooperación -Voilúritaria-y el tnantenimiento de la integridad experimental , durante tódo el tiempo; además, hay más exposición a la interferencia por eventos externos.
Anexo 6.2. Experimento de grupos contro1 , aleattal ios rnediante la y aloracion de l a repercusio que tiene la palabra de honor cle un grupo de, intenent ión para conciliar en una prisión de C,alifornia 14 Dura-ntela décadriMe'lbs'7r.‘7rintibie lá (>1iforrlia--;iAdulti,Atitoiijky.,Ji-,Autoridia4.04 Ad i l California (la a;eneia de la prisfóñ) nes estzitales un programia de un unipo cle alies'orarrfien-brivoitrUfrálo,Comel"ti.iál. Se"-'7"' intent,A-Ga ayildar alos prisioneros a cornpreVidei.--,SUIS'iñO1itratiOner.S:pár'ala;áctiii'ir dad crirnMal,-mediante su participación en•-gtitOpS'-d iáic.tallsejo sernanales. resumiblerne' nte, cornprencler las rnotivaciOnes .P-. ., odría 'redUtir,lá ádherenÇia aszupos, de. norMasi scmejantes dentro de 1 Prisión. y por tantiá'í•ittéjC^St.át'illihábtlidlidlpár..a ackiptarse ciiicitoisarnente a la vicla de cíVil y asiténer é>tItoensitipliabra de Los autores rec i1-1Cron permiso y apoyd.dela ai gen .cia delÑprls16n de'eálifor, • nia para en-iprerider un e y perimiiiito i ecirirgittlibcbittrol aleatorios en lá nueya prisiOin Li carcel o Cl1 n2Stiói119, e --coritpi:ida --ép , 01:;fCtilos,rhás o : nienos aislados, lo cuales e lialdana..stinado7Para-recibii'yárias
172
173 .
p.p•IpétlüseriOkygiargles;a1n:..tiC'ecjilciálii:Se..,a11.§nif,kgrjítíliSr".COhlr,11:,a.q1.11neS,ricy,'.. s á "dáría...asesoramiento y el 4(árt«Clibfc:U1O';fiie ves pióbleinas nde la'Prisión razones d co;-1 , CuandOlos prisioneiol:ilelOS,InÁlds:.'éXperirnental::9,:controF-füétónliberadcis t)Ijo palabras,2. exarninarojiliikOlistiol c.19: ¡ialabra'S anierloO:S.diíráríté...uri:periddo do dc,s ark, 5 para triton cliferencias entre los. gruPó.á'e>Irt elrupocí u sen y jero dr intervenci,5n se Ptstjri Trecit.n, nt arict
Fuente; F'Grole
NuM..-Vork, 1971.. -
En el anexo 6.3 se describe un experimento para 1..terminar el trabajo del efecto desestimulante de proporcionar pagos de apoyo a los ingresos a los pobres, representados por familias íntegras (esto es, sólo los dos esposos). El estudio fue el primero de una serie de cinco, cada uno de los cuales variaba ligeramente con respecto al otro, efectuado por la Office of Economic Opportunity (Oficina de oportunidad económica) y el Department of Health, Education and Welfare (Departamento de Salud. Educación y Bienestar. Social) para probar varías formas de ingresos garantizados y sus efectos en el esfuerzo del trabajo de los pobres y las personas que están por serlo. Todos los experimentos se realizaron durante periodos largos, el mayor de los cuales tarcló cerca de cinco años; todos tuvieron dificultades para mantener la cooperación de los grupos iniciadores o las familias involucradas; y todos encontraron que los pagos e ingresos creaban una ligera pérdida de la motivación hacia el trabajo, sobre todo en adolescentes y rnadres con niños, quienes representaron la fuerza laboral secundaria (Rossi y Lyall, 1976).
cuyos rlau/tOs',vai'one'S`Aiiiérzlii .entre,11b8 años •. Los ocho tratarnientos
e-ercarlos.a lo•que entonce • era el cle robreza cobitín y los runqos en los que los pagos eran ajiistados a fas percepciones Tecibidá por lasfamilias por ejemplo para una familia en uno Cie tratarnientos cón un ingreso caránti7iado'clé1251,Edétiiive1 de Pobreza común, algún rniernbro obterlía cutilitner gananela, la familIa pocla reciblr la canticlad, garantÍa. NO obstante,.i.4,11 , an tenia un rango.,i11impuesto del 50`,X, y algúrr rniernbro de la farnilia re'cibfa el ..ingreso ganado-,- érti—á§li.".débiP:teducirse a u na Prc> centavol'dé::.d610.',...10r:.Cád4ll•!ciálar ganado;:ihasta que ios pagós 9. Otro tratamiento consistia et3.:1.14gps déli .n. ip.uestos qüe varibban de la línea de p ron nrn, :
a 1,111;3¢isey y en una uffidacle4.,. cárritirit. dad :dé,PenksyliVatifa`.S .e' eóf41 _ tifieadás. a-laS éjé'jible.S.., Las familias iderififitacia„S fueron - 10"itadaS - 1. participar después , de lograr un conu sOlo las faritília::.11.dilii"-i.Stil_i.it.'4IrZá...c.:44'npói-experts inéritals:y"repOrtaban sus ganancr4.9, • eStablecidas.., • indlcaban leghilidad para transfercnCla cle pagos, se en yiába un cheque por correo a la Las familias fueron entrevistacias con gran detalle antes de su allstamiento-. en el ptOg,rarnrflrfirlai decada trilülStie . :440'101, áflos dele':-.:perirnento. Estas entrcuistall4Iniaron- emPleó, las ganan el . C.onsurno, la'salud y:Yarias mudidas ps1cológlc socialos Despti é- s se 10syciatcy.s jütito.cCin jos reportes.:.delnItes41:iiioiris" .uatés, corr el fin de detertninaliMiquiene-S •reciljían pagos.cle. •C'.úáltlül0a0TICIVZ(..411iiii. huían . sus esfuer. zosen trabajar .(rnechdo.e,rihoras por trabajo) . en relaciórrcon las faniilias comparalles de los gruPos control. . , Atmque se ,seleccionaron inícialnlente cerca de 1 300 ,familias, para el finat ciel expetünento.el 22 había dejado de cooperar Otros habían perdido una o _ mas entreviStas- 0,deser ta dó, del de 700 purrnanecieron iSard rtic".ipantes continuos. v6I. 1, Aelde'ruie. u
Anexo 6.3. Experimetito del rnanterMitiento del ingreso de Pennsylvania-Nueva Jersey los últimps arici 'delaidé,eada ,dé toh-lesenta, cuanclo los oficiales federales preocupado,s por . la pobreza empezaron a considerar cambiarla polítiáá del bienest¿Ir con el fin de prátítit:cii5ne .a,idún itillésti.ahUargatantizado para todas las amilias;la Office of ..E O. ‘p'íj. in.il''OP15.151-1.iiii(ty,'S,.7.0.fi0i,-il::d ,p. pórtu.nidad econOtnica14,;5(9E0)':10o.0 mas triáIgrayes de ityá.reiet-.7CC;n:tplété1-114::1141iiílfia p§li.re:s;j51.01.0:10.1'ü.rila154jeliVe r est ara do p IF,Matherna tica
reabió Inc e rh¡if dáa:.;:ide.;;Piiht0c"
investigaeión,,yspdrelInStlite.fori.Res.elith:Ori.P0V,ei'ty,(Institilió:c:le:ih
-
u Volk. 1976.
1,7J. f,n, The NeLL, • '
Inceme Mairitcrwnce
En detrimento de su eficacia para permitir conclusiones válidas acerca de los resultados netos de las intervenciones, los experimentos aleatorios aún cuentan con una pequeña y relativa proporción para valorar la repercusión. Las consideraciones políticas y éticas pueden retardar la aleatonzación, sobre todo cuando la intervención no puede ser manejada (aunque la idea de experimentar no excluye la entrega de algún tratamiento alterno al grupo control). Independientemente de los diversos obstáculos para evaluar el diserio del sorteo, existe un consenso hácia su realización (Cook y Carnpbell,, 1979), una bibliografía creciente acerca de córno mejorar las oportunidades de éxito (Bennett y Lumsdaine, 1975; Riecken y Boruch, 1974) y una documentación en aurnento en cuanto a su factibilidad (Boruch, 1975; Campbell y Boruch, 1975; Boruch et a ., 1978). Algunas de las condiciones que facilitan o impiden emplear expenmentos aleatorios para valorar la repercusión se estudiarán en la última sección de este capítulo.
174
Sustitutos para la selección • aleatoria Médio más segurdpara Seleccionar grupoS ,,control y .Aunque el azar experimentalesequivalentes; . algunos métod. os.Iarnbiéniiiiieden satisfacer el criterid de equiValériCia.-La:. SelééCióná iri sé sgd(rió . cónfundir con el SeSquqUe se tratd len el capítuló 4) .réquiere lá PrObabilidád'de que Ciiálquter indiVidUaSelec: idén. . ciónadó nara'él qrtiPd cóntrao bara él : eXPérirnentat térigai.ina" rneiribrekla tica . paralódos los objetiVoS . én..el. estudio....CórrespOndientemeritei la s eleccion CUaliddalgilnoS individuos tienenúria.altl .d..un.a.m. enór próbacon séágo.óciirre . •- • • bilidad de ser selecCipnadós .. pará lóS'd4rerités grápoS; • • . • La asignación. , siStemátiCa,.:de una lista seriada suele cumplir los rniSmos fines . que la . aSignáción'aleatória; cbn el. 'supúeáto. de .cffie la liSta.nó. esté ordenada dela misina Maneraqúe los restiltádds'del seSqp;' . por.- éjemplo,:al i ubitár': a los estudiantes . dé .sectindaria . . . . en .grüpós eXpérirnentalés iy cóntrol;rse podría:objetar poner a todóSiós queteriganlétraS -,121:nones ,en .los.,. gruPós:exPerinientaleá y a todos IOS que .tengan'IétraS.DI:par . enló S'qrup:OS contról. Desde luegó; tórno los núineról- . nd:.sé .aSigriardri . óriginalinénte 'para . diférenCi. ár • . a...los. • estudiantes "nón eS" de. IdS.. .eSindiantel'"¡Saiét" .;'él iéSnliadd. puédé ser el triís'i-nd.(átádísticamente) qu. e para la-asignaCiónhécha.al a . zar; sln . embárgo, si pcir algún MotiVO la , esciielá. 'en CUeStión• . ' n—és .'á.eátUdiantes• del . seXO fenienino, . .:Vío. . " 616. 1aS létraá'bIl . did . resérvando las parespara1Os. v. aróries,.éStadeSviación sisterriáti .a.pédría relUltar en . grUPós. eZ.Peritrientalé.S . y. ..Córittót de.diferente.CóMpósiCión.s-ekuals,Por:tárito, antes de usattaleS ProCediinientos .deseleCciónlisternátiCa .es neeesatio entender • • • córrio. ta. .agenCia:qtieelaboró la lista llevo a cabo la seriación; .-kinenudó,11.staSeriórdén .derioblaCionés- objeid pUedengenerar .desviacioneS sutiles difíCileSI.de detectar;.p. or . ejempló, una .111ta-alfabetica . ptiede-tentar a selécCiónar a tódás— las-.-beiS.dnat ::óuyol ,apellidos'Pa tertiOS'cOmieriC en cón D paralóS . qrtipos. exPerimentalés y. ..a aqüellas. :CuyoS apellidós Seartéori H cómo cOntrólf Eri'xina• ciUdáddel áté,.'esió . riódría ler'iiria'Serec—Ción'›desv'iada. • rnenté:'mtióhOs . nómbres. franceSes . córnienian'cón : la létra . D (Pór ejernplo Deneur) -; mientras,. qttecasi no existen.nombres hispanos. . que Comience.n con la letrá H. Las lisiaS:nuinerada .S:revelan .frecüentemente desviationes réspecto de la, edad: comalo.SgObiernós:federales aSignan • Secuencialipente los. números del séguro social,'aquellos .,cón les niírnerOS rnektóre'sOn - génte de Más edad que . quienes tienen los númerps inás altos (consúltese Sudman, 1976, para conocer mayores precauctones.,por ,p?niAr ..en las .estrategias de ,selección, sistemática). En algunas;,.ocasiones,'• la. lcasualidad'.ocurre: "naturalrnente"„jparaalqunas intervenciones sin,planificacióniales situaciones se pueden considerar equivalentes a un ,experimentp .aleatorici...Un.éjemplp .de .unéStUdio. proPUesto de :los efectos.de ,laSinundációnéSinuestra úri "„verdadero" eXPerirnentóaleatório cau. , de la sal: Ips ingenieroS,en hidrOlogía,hábían . rnarcado • los„planos . ....... delntindaciórt mayoría delos:ríos, en.reglones caracterizadas porel tierripo esperadoderetorno de be.esta,.iorma, los . 10 arios . . planos de.inundaCión_ para.,cada „ una inundación, . señalaban . aquellas? regióneseriel.cauCe..cle un :.rip,enlas-que Se.esperaba,que,éstas ocurriesen. ,cada-10 . añosen prornedio„,Aunque,cáda,año lasáreas dentro del pland.de inundaciónde:Cada-:10. años . ..Ienían,urtay.oportunidad entre , 10..de eXperimentar Una inundacion si oCurríaló nó unainupdación .:e.n..:.un,punto.dado..en un añó espe.Cíficos. e. podría cónSiderar:u. neventO;de la.casualidad,,Los.vecindarios
EL AZAR EN EL ESTABLECIMIENTO
175
cercanos a los planos de inundación se pueden dividir en "experimentales'', aquellos en los que las inundaciones ocurren, por ejemplo, cada dos arios, y en ‘`controles", aquellos en los que no ocurrían inundaciones. Lasdirecciones de crecimiento en los dos grupos comparan luego para descubrir la influencia de las inundaciones en el crecimiento de los índices de población y vivienda. Por supuesto, las inundaciones son eventos quesepueden definir como originados por el proceso natural específico. Como-este proceso no "selecciona" un plano de inundación más que otro, las inundaciones se consideran, para el propósito de este libro, como eventos azarosos. La validezde este enfoque dependeprincipalmente de si los ingenieros, marcaron de modo . correcto o no los planos para cada 10 años. Tales mapas se basan; principalmente, en las direcciones históricas y, , parcialmente, en el conocimiento de cómo los ríos fluyen en ciertos terrenos. Con todo y esto, los planos de inundación están sujetos a algún error. Si los eventos naturales o no planificados proporcionan o no los sustitutos adecuados para los controles aleatorios, se debe estimar con un escrutinio minucioso acerca de las circunstancias de esos eventos. Si existe cualquier motivo para sospechar que esos eventos probablemente afecten a algunas unidades (como personas, comunidades, etc.) más que a otras, entonces las condiciones para un "experimento natural" no existen. Por ejemplo, las comunidades que tienen complementos de agua fluorados no se pueden considerar como un grupo experimental para ser constrastadas con . los que no la tienen, pues las adopciones de un sistema no se pueden estimar como eventos aleatorios en el sentido empleado aquí. Asimismo, las familias que han.comprado vivienda en el pueblo no pueden considerarse como controles apropiados.para quienes han comprado casas independientes, pues el mero acto de efectuar tales compras es un indicador de las diferencias potenciales entre ambos grupos. Estrategias en la recolección de datos para efectuar experimentos aleatorios Aunque en ciertas condiciones se requieren las medidas posteriores de los resultados (véase el anexo 6.2), las medidas de los resultados anteriores y posteriores generalmente se consideran mejores. Dichas medidas incrementan la confiabilidad de la medida y proporcionan más información acerca de la cual se p3.1eden hacer estimaciones de los resultados netos. Las medidas tomadas antes de que comience una intervención proporcionan estimaciones de los estados preexperimentales de los sujetos al experimento, las cuales son útiles para ajustar a los grupos experimental y control y para medir cuánta ganancia fue producto de la intervención. Por ejemplo, las medidas de la intervención previa respecto;dé las ganancias de grupos experimental y control en un proyecto de reentrenamiento vocacional, proporcionan mejores estimaciones acerca de cuánta ganancia se obtendrá como resultado de entrenamiento y, al mismo tiempo, ofrecen una variable constante en el análisis de los resultados. Las medidas periódicas tomadas durante el curso de una intervención también son útiles; tales series permiten a los evaluadores ver cuánto de la intervención funciona. Por ejemplo, si un programa de reentrenamiento vocacional produce muchos de sus efectos durante las primeras cuatro semanas de las seis de duración, el acortamiento del periodo podría abatir loS costos sin alterar seriamente la efecti-
176
CAP. 6. DISENOS COMPARATIVOS
vidad del proyecto. Asimismo, las medidas múltiples y periódicas quizá permitan comprender por completo cómo los grupos objetivo reaccionan a los tratamientos. Algunas reacciones pueden ser lentas al princípio y aceleradas después, mientras que otras pueden ser fuertes inicialmente y de pronto caer a niveles de intervención previa; por ejemplo, la respuesta a los límites de velocidad de 90 km por hora tuvo un inicio de disminuir la velocidad y su promedio en la rapidez, seguida por un retorno gradual a los promedios de altas velocidades. Ser capaz de trazar las reacciones a la intervención permite al evaluador mejorar los tratamientos para una efectividad más cornpleta. Para algunos tipos de intervenciones, sólo están disponibles las medidas de intervención posterior (como en el experimento de los consejales de la prisión de California, descrito en el anexo 6.2). Asimismo, un programa diseriado para ayudar a estudiantes pobres de secundaria a asistir al colegio sólo se puede estimar definitivamente por el hecho de si el grupo experimental asiste a la escuela con más frecuencia que el grupo control, una medida que sólo se puede tomar después de la intervención. Sin en-lbargo, si se hacen a un lado estos casos, la regla general establece que cuantas más medidas se puedan efectuar antes y después de la intervención, la estimación de los efectos netos se medirá mucho mejor. De lo anterior se infiere que existen dos razones para tomar muchas medidas antes, durante y después de una intervención: a) cuantas más medidas se tomen, menor será la no confiabiidad de las medidas compuestas y b) cabe esperar que las intervenciones tengan su efecto después de terminadas: por tanto, las series de tiempo (véanse los capítulos 5 y 7) puden permitir a los evaluadores reconstruir las formas de actuar de la intervención. Experimentos aleatorios complejos Varios de los ejemplos dados en párrafos anteriores (véanse los anexos 6.2 y 6.3) son pruebas de diversos tratamientos considerados simultáneamente, una estrategia que mejora de modo significativo el valor de los hallazgos. En el experimento de mantenimiento de los ingresos de Pennsylvania, Nueva Jersey se probaron ocho tratamientos, cada uno diferente en la garantía del ingreso y en los castigos en forma de impuestos sobre la ganancia de los miembros de la familia. La variación entre cada tratamiento se incluyó en el experimento de manera que se pudiera probar la sensibilidad del esfuerzo del trabajo en varios grados de incentivos negativos resultantes de cada pago. Una interrogante de la evaluación relativa fue si el trabajo respondía o no al pago y si podría variar con la cantidad de pago ofrecida y en el grado en que los ingresos se redujesen con el pago ofrecido. Asimismo en el experimento de la demanda de la habitación disponible (Kennedy, 1980) se emplearon 23 grupos experimentales. A cada grupo se le ofreció un subsidio diferente. Algunos de ellos requerían a las familias que obtuviesen casas que cumpliesen ciertos requisitos, mientras otras que simplemente fueron rebajadas a las rentas condicionadas al pago de renta en los mercados de valores actuales o más altas. Los experimentos complejos junto con los anteriores son especialmente apropiados para probar nuevas políticas, pues puede no ser evidente qué forrna exacta de política nueva tomaría. Aquí, las pruebas a las variaciones pueden ofrecer información que perrnita guiar el programa hacia la efectividad económica,
EL AZAR EN EL ESTABLECIMIENTO
Ç.
177
por ejemplo, en el experimento para la demanda de la vivienda disponible -se demostró que cuando se relacionaba la disponibilidad con la ocupación de casas en renta que cumplían ciertos requisitos se reducía considerablemente la participación; en consecuencia, sólo cerca de un tercio de familias elegibles recibleron su pago. También, las simples disminuciones a las rentas (los pagos equivalen a algún porcentaje de renta pagada) perjudicaban a aquellas familias que eran cuidadosas o afortunadas compradoras de casas y ocupaban domicilios "oferta". En algunas circunstancias, cabría mostrar preocupación porque los métodos considerados para administrar un programa nuevo pueden comprometer seriamente el tratamiento que se prueba; por ejemplo, en el experimento del grupo de terapia de la prisión de California (anexo 6.2) un evaluador sería capaz de anticipar que el uso de guardias de la prisión como líderes de los grupos de terapia podría haber mínado el valor de la intervención. Esta posibilidad se podría probar mediante un tratamiento experimental en el que se empleara a terapeutas entrenados ajenos al sistema de la prisión. De hecho, si en el diseño se hubiese contemplado este componente, las críticas posteriores acerca de que el diseño no ubicaba el problema de la efectividad de la terapia se pudieron evitar. De la misma manera, los experimentos de impuestos a los ingresos tan negativos fueron criticados (Rossi y Lyall, 1976) por requerir informes de ingresos mensuales para cada familia participante. Como el sistema de bienestar social no requiere informes frecuentes de las familias que reciben los pagos, la estipulación del experimento parecía contener criticas porque requería más que las regulaciones del bienestar social cornunes, y se le catalogó como una "prueba" estricta y potencialmente sin valor. De nuevo, si los evaluadores hubiesen proporcionado un grupo experimental que actuara de acuerdo con las reglas del informe ordinario de los ingresos, las críticas se pudieron haber evitado. Por supuesto, no se pueden realizar indefinidamente tratamientos experimentales para probar situacíones relacionadas con los programas propuestos, sin tener un grado de restricciones. Algunos evaluadores han propuesto el concepto de espacio político (Kershaw y Fair, 1976) como una regla para determinar las variaciones del programa que podrían estar sujetas a investigación. El espacio político, como se señaló en otros párrafos, incluye las alternativas del programa que es probable se acepten políticamente, si los propósitos son efectivos y luego los consideran los políticos y administradores para ampliar la ejecución. Los experímentos debe centrarse principalmente en las variaciones del programa que son claras para el espacio político definido por los políticos y administradores, tal vez con más amplitud, pero no demasiada. En el experimento de mantenimiento del ingreso, los requerimientos de elegibilidad no incluyeron a farnilias de estudiantes de tiempo completo en los campus que el Congreso probablemente hubiese hecho inelegibles, aun si se estima que sus niveles de ingre, sos podrían ser inferiores a los del nivel de pobreza. Tampoco pareció probable que los experimentadores en la demanda de vivienda hiciesen elegibles, mediante la disposición de viviendas, a los propietarios de casas. Limitaciones en el uso de los controles aleatorios Independientemente de lo atractivo de las características técnicas de los experimentos aleatorios, existen limitaciones para emplearlos en la evaluación
178
CAP. 6. DISEÑOS COMPARATIVOS
de programas sociales. Los diserios aleatorios se formularon inicialmente para utilizarlos en el laboratorio o en el campo de la investigación agrícola, y se pueden adaptar a los programas sociales con sólo algunas dificultades. Primero, los experimentos aleatorios no son muy fructíferos en las etapas iniciales del desarrollo del programa. En tales circunstancias, frecuentemente es necesario cambiar las características de un programa con el fin de perfeccionar el tratamiento o su entrega. Aunque un experimento aleatorio se puede adaptar a tales cambios, se pierde algún grado de precisión y se dificulta el análisis final para saber cuál de todos los tratamientos o de sus combinaciones produjo los efectos observados; por ejemplo, en un programa que comienza con un grupo terapia y finaliza con consejeros individuales, es difícil decir si un tipo u otro de tratamiento produjo los efectos observados. Por tanto, los experimentos de campo, longitudinales y costosos se reservan para probar tratamientos diseñados firmemente. Una serie de experimentos aleatorios en pequeña escala se podría recomendar para desarrollar las etapas de los programas sociales, como en los esfuerzos ejemplares de Fairweath-jr y Tornatzky (1977) con respecto al diseño de casas de media distancia para gente interna en hospitales para enfermos mentales dada de alta. Segundo, algunas personas tienen escrúpulos éticos acerca de la aleatoriedad, y la ven como una manera privativa arbitraria y caprichosa para privar a los grupos control de los beneficios. A menudo, el razonamiento de tales críticas es como sigue: si resulta valioso experimentar con un programa (o sea, si es probable que el proyecto ayude a las poblaciones objeto), constituye un perjuicio positivo limitar los servicios a algunas unidades. Hacer esto no sería ético. El contraargumento también es obvio: por lo común no se sabe si un tratamiento es efectivo; de hecho, por esta razón se desea experimentar. Algunas veces, una intervención puede mostrar alguna posibilidad de perjuicio positivo, y quienes toman decisiones deben ser parcos para autorizar el sorteo sólo en esos grupos; por ejemplo, en algunos de los experimentos realizados para valorar las utilidades hubo la oportunidad de que se incrementaran los bonos utilitarios de los poseedores de casas en algunos de los grupos experimentales. Al calcular este argumento, los diseriadores del experimento prometieron a los poseedores que sólo se reembolsaría el incremento después de terminarse el experimento (desde luego, este reembolso cambió el carácter del tratamiento y posiblemente alentó el uso irresponsable de las utilidades). Tercero, en muchos-de los experimentos a gran escala se usan pagos de dinero (por ejemplo, los experimentos de impuestos a los ingresos negativos y los experimentos de la disponibilidad de vivienda). Con tales tratamientos estandarizados y de fácil entrega, se puede estar relativamente seguro de que la intervención experimental será similar a la de un programa totalmente puesto en marcha, pues existe sólo un número limitado de modos de verificar que se entregue; sin embargo, para intervenciones de labor más intensiva y altas habilidades (servicios de acomodo de trabajo, consejeros, enseñanza y similares), los tratamientos dados en los experimentos de campo probablemente se proporcionen con mayor fidelidad a las intenciones del diseñador que cuando se ralizaron como programa. De hecho, el real peligro del deterioro en la puesta en marcha es una de las razones para verificar los programas, como se vio en el capítulo 4. Además, tal posibilidad es argüida por lo rnenos dos veces en los
ESTUDIOS NO ALEATORIOS
179
experimentos: en la primera, los tratamientos se prueban en su forma más pura, y en la segunda, los métodos efectivos de la entrega de servicios se prueban y comparan por medio de las agencias públicas. Cuarto, los experimentos aleatorios son costosos y consumen mucho tiempo. En general, no se deberían emprender para probar programas que nunca se analizarán y que salen de cualquier espacio político concebible, ni deben realizarse cuando se necesita información rápida. Para subrayar este último punto, cabría señalar que el experimento de mantenimiento del ingreso de Nueva Jersey, Pensylvania, costó 34 millones y tardó más de siete años para diseñar los hallazgos publicados (Kershaw y Fair, 1976). En resumen, los experimentos aleatorios de campo se reservan mejor para probar servicios que se pueden estandarizar y transferir fácilmente a las agencias operantes. ESTUDIOS NO ALEATORIOS: CONTROLES CONSTRUIDOS Cuando los diseños experimentales verdaderos o aleatorios no se pueden ejecutar, el evaluador debe escoger una o algunas de las combinaciones de los procedimientos para aproximar la equivalencia de los grupos experimental y control lograda al sortearlos. Estas alternativas se refieren, genéricamente, como cuasiexperimentos (Campbell y Stanley, 1966; Cook y Campbell, 1979). Este término no implica que los procedimientos descritos sean considerablemente inferiores a los experimentos aleatorios controlados y, de hecho, se,an inapropiados para valorar la repercusión. Ciertamente, sin el hecho de sortear, la equivalencia, como se describió en párrafos anteriores, no se puede establecer con tanta certeza. Siempre permanece la posibilidad de que el resultado de un programa realmente se deba a una variable o a un proceso que no se ha considerado explícitamente en el diseño o análisis; sin embargo, los cuasiexperimentos efectuados de manera apropiada pueden brindar información acerca de la repercusión que esté libre de la mayoría (si no de todo) del proceso de confusión mencionado en el capítulo 5. De hecho, los hallazgos de un cuasiexperimento bien ejecutado y de su diseño pueden ser más válidos que los de un experimento aleatorio ejecutado deficientemente. Más aún, los cuasiexperimentos pueden ser el único enfoque factible en muchas circunstancias. Grupos control construidos En los enfoques de selección de los controles construidos, el evaluador Intenta identificar y seleccionar un grupo de individuos objetivo potenciales, comparables en los aspectos esenciales con aquéllos expuestos a tratamiento. Varios ejemplos ilustran el uso de los grupos control construidos o grupos de comparación: En un intento por valorar los efectos que ejercen los complementos nutritivos en el intelecto funcional de los niños, aquéllos se dieron a todos los niñós en algunas villas, mientras que en otras villas donde no se administraron tales complementos también se hicieron observaciones (Freeman et a/., 1977).
180
CAP. 6. DISEÑOS COMPARATIVOS
Para valorar la repercusión del entrenamiento de la mano de obra de desempleados, las historias subsecuentes de trabajo de los participantes en el programa fueron comparadas con las de los parientes y vecinos de los participantes que también eran desempleados. La racionalización para utilizar a amigos desempleados de los participantes fue que tales amigos probablemente eran de la misma edad, de la misma localidad, tenían actitudes similares, tal vez motivaciones parecidas de sus amigos participantes y, de hecho, eran similares a los participantes en muchos aspectos pertinentes al programa de mano de obra (Main, 1968). En un estudio de los efectos de asistir a escuelas relacionadas y subsidiadas por la iglesia, los católicos que asistieron a tales escuelas fueron comparados con un grupo control de católicos que habían asistido a escuelas subsidiadas por el gobierno (Greeley y Rossi, 1966).
La fórmula básica para valorar la repercusión, mostrada en seguida, superficialmente se parece a la mostrada para experimentos aleatorios, sólo que esta similitud superficial enmascara importantes diferencias: Resultado neto = [Resultado del grupo en el programa] — [Resultado del grupo de control construido] + [Error estocástico]
Si funciona o no esta fórmula depende sobre todo de cuán estrechamente el grupo control construido se asemeje al grupo de la intervención en todos los aspectos esenciales. Un grupo control construido de distritos agrícolas, diseñado con el fin de concordar un conjunto de participantes del distrito en un programa para incrementar el uso de fertilizantes, puede diferir del distrito en el programa de una variedad de formas difíciles de detectar. Aunque los grupos control construidos de los distritos pueden concordar con respecto al promedio de lluvia, al tamaño promedio de la familia en la granja, a la cosecha plantada y al promedio de capital invertido en equipo por familia, pueden existir otras diferencias (casi desconocidas) relacionadas estrechamente con la producción de la cosecha. Algunos distritos que participan en el proyecto pueden ser más "progresivos" en lo referente a las innovaciones (o que simplemente tienen mayor propensión a correr riesgos). En el grado en que los voluntarios de los grupos proyecto (o que son escogidos como voluntarios por los oficiales) estén en el grupo de intervención del proyecto, el proceso de autoselección puede funcionar de manera que tienda a encubrir o mejorar los efectos del proyecto, como resultaría al calcular mediante la fórmula anterior. Como argumenta Cain (1975), es esencial que el proceso de autoselección sea investigado e incorporado dentro del modelo de análisis para asegurar los efectos del programa (consúltese también Heckman, 1980). La autoselección no es el único elemento posible dédiferencia entre el grupo de intervención y el grupo control construido. Los administradores encargados del proyecto pueden hacer la selección y maximizar la oportunidad de mostrar los efectos positivos del proyecto mediante la selección de distritos que, por su propia experiencia, saben que más probablemente adoptarán con estusiasmo las nuevas prácticas agrícolas. En tales casos, los efectos, como se calcularían mediante la fórmula mostrada anteriormente, podrían sobreestimar los beneficios potenciales de la producción de la cosecha, del programa diseñado para incrementar el uso del fertilizante.
ESTUDIOS NO ALEATORIOS
181
Proyectar un control construido apropiado no es una tarea mecánica (Cook y Reichardt, 1976). La base para tal construcción es anterior a la comprensión teórica y al conocimiento del proceso social en cuestión. Tal conocimiento instruye el evaluado acerca de cuál es la manera específica en que un grupo control construido debe tener semejanza con el grupo experimental; por ejemplo, con base en el conocimiento anterior acerca de los factores que afectan la producción de la cosecha, se podrían seleccionar los distritos agrícolas de un grupo control construido al estucliar un proyecto diseñado para efectuar tales producciones. Asimismo, si hay interés en estudiar los efectos de un programa para incrementar la competencia de estudiantes de secundaria, el conocimiento anterior se relaciona con las características de los individuos y los escenarios que afectan al aprendizaje y si se podrían ernplear para construir grupos control apropiados (por ejemplo, la medida de la inteligencia, antecesores, el sexo, la edad y la organización escolar). El conocimiento necesario para construir los grupos control se puede obtener si se lee la bibliografía publicada para áreas adecuadas y sustantivas. Un evaluador en educación debería consultar la bibliografía acerca de lo que afecta el aprendizaje en esas áreas sustantivas; la bibliografía acerca de la fertilización se debería consultar para cliseñar un estudio de una campaña de planificación farniliar, etc. Debe tenerse cierto cuidado al constituir grupos control mecliante el empleo de cualquiera de los factores mencionados en la bibliografía científica apropiada. Usar sólo algunas variables para seleccionar los grupos control construidos no suele ser eficaz, ni necesario. En general, los candidatos para integrar grupos control construidos y sus características tienden a estar interrelacionados estrechamente. Si se seleccionan grupos control para una intervención educativa con base en las medidas de la inteligencia, también se deberá incluir un grupo control sobre los antecesores, pues la inteligencia y el parentesco tienden a esár relacionados estrecharnente. Igualacion
El procedimiento empleado para seleccionar los grupos control construidos se ha referido con-io el método de igualación o equiparación. La igualación se puede complementar mediante la selección de grupos que se asemejen en sus características apropiadas mayores con las del grupo expuesto al programa; por
ejemplo, si los niños de una escuela particular son la población objeto que participa, el grupo control construido deberá ser una o más de las escuelas cuyos perfiles demográficos de los estudiantes reflejen los de la escuela participante (véase el anexo 6.4). Una alternativa es seleccionar de una o más escuelas aquellos niños que sean , imilares con los participantes objetivo. Las opciones son los individuos o la igualación agregada. En la igualación individual, la idea es encontrar un "compañero" para cada estudiante objetivo, del conjunto de estudiantes no expuestos; por ejemplo, si la edad, el sexo, el número de parientes y la ocupación del padre se estilnaran corno las variables adecuadas, la lista de niños no expuestos podría ser motivo de escrutinio con el fin de localizar el más cercano equivalen-
182
CAP. 6. DISEÑOS COMPARATIVOS
te para efectuar el pareo. El criterio de cercanía se puede ajustar para hacer la igualación posible; por ejemplovla igualación entre los niños expuestos y no expuestos está dentro de los seis meses de edad, aun si se supone que una pequeña diferencia en la selección de pares puede ser más deseable (para un ejemplo de la igualación individual, consúltese el anexo 6.5). AnexO 6.4..Uso'de controles conStruidos enla demostráCión.„del- doáitneáto fiadár. de eduCae.164.
" del documento ladeilde'ldriCactórise La'.-demostracion ,
ceptos de ia libre ernpresa .en, el picideS6,-edu¿aliVoBajó eICOnceptó déliió6urrient6 •' fiadorf, LOs padres eligen lit4érriente una escuela pai-asus hijos'y reciben tin creditá o dOcurtíá'to fianza euivaIente al costo de la -educación del niño qUe'es-Pagada-direc, tarnente:áltaeScüela,bajo,liStadS:e suPtrso que esta fOrma de financiar la edúcáCióri -pOdría alentati1IC-ornPetencia entre las , e§cuelálitriefórát- la Calidaddela'iedúearet6i0,., bacer_a I aS'eSctielals más respOnsables,r,esPICió de láS,necOdadll'de • tés. Sin -embargo, en una evalua jón eftenia hulciala la conclus1ón del -'escolar se ,encOntrOmna jaérdtdarelativa'cle(CapaCidad pará la lecturá ,en estudiánte seis esCúelás . públiCasiclíe•Participaron cr( . 143cmostracIón:del:'clocumento fiaddr. El pref;ósitó de'eSte -eSitUdio fué -reexarninar escis hallazgosl4de el primer anb de la ' ' , dembS'iracióndei'd&u«inento flador. Se diseñó un grupo-controLeonstruiclo eorño stgire. : Las escuelas fu'eron traclicio trés`JruLp-os: a) eScUelas fiadói-,cOn:="unár-orientIción.,4cadernica , „ nal brecuela's flador con una orientaCiÓn.ifirioVattsia,1:.1):0,teitélasnO',fladóraS,de ; comparación,'La escuelas de cOMparación se selecciónaron dkí:'10.rnisrhos ,toS y fueronicórnia'a'rábleS en terminoS de composición étnica si,sóCioeconórritcá, ' estatus 'del blénestar social; etc,Los . rnarcadOres d análiSTs de la-gánariela anúlisis de l la vártánza se érnplearonpará.estudiar‘ loS datós. -can que . eLdetérioro en lós efeetbs,de lecturá de la-demostraciOn.detdocurhento fiadOr'elinnitabari ásólo unas pocas escuelas'Con Prograrnas de .caracteríStIcaS _tradiCidnale4; -con.curtícu19npvad -, , Réle haidt 'y R- G . St , P terre' l l'he'fIrst Yeia' r of the EdilciblIr Fuente: , Ada pta J.r., clv P titóit'llart.7 zesj,:én Ethaluati Dc.n Vouciter D'en-lostratiori • A 5162inciarij'AitoiStütleiitWthléVélníiripT '''',?'''' . una'yo . d.e z 19711't tr, - Quurf• erty,- ,. ralm..2' -.;. , - - c,.,:t1.1.,...:11:1...-_ ......
AneXti-6:5:-Tvaltiation de los efectos de la Vivienda _Pub, lica medtan'te'„eV,etnple0 ,,dé ,,grupól:, control consfrilidp
te', Icu'41expertmenteG-se dlset para, vato-rar,„ :repWcirl en:la familia, mtidarle . á":VIVIelidas'01511C:as de buena calidadde:barrióS1Tajos, , . salud„ellogro estudiantil,' las obten .ciones ocupaclonales,yja satisfaCción , de laLos,autores aproveeharon la aperturade un nueVo:proyecto cle vivienda en Baltimbre.y , escogieron farniliáS-Y;qtré'i-fiUdiesen ser:-Confrontadas res- p)ecto de 26, ¿aractelísticas y qué, fueron zldrhitida g,-efi-elmuevo próyeCto de vivienda, con fami--.
183 lias.,c-le la lista dgespera queno serían ad ltidás, En el progtama del proyecto de vivienda sé adrniberon'396 famillas y 633 flieronhiPOá r dontro} construldos: en" et -,: excedente se anticipabá un rango de desgaste alto entre laslamillas control, : - I-:,' 1,1 . To:clas.las farnillas - fueron entrevistadas 11 veCes entre 1955 y 1958',"Erila,11:17, ,,‘ F, , entrevistas se incluyeron inventarios de enfermedades expe.rimentadas por las famP..11, lias,' SU ajuste sociopslcolágtcof y el desempetio en-la escuela de los nIllos eri eda . ' escolar. Además, con laslárnillaS participantes y con las contiorsereallzó uná entre ; -, . _ „„Ita iniciaLantes de la adinisión_al proyecto de . viviencla pública,::,,,-,.',„;„ ,S , Sólo Se'.encontraron diferenclas men' ores entre los partIcIpantes t,ilos gru , ,. .,c9ntrol:lOs dela vivienda pública estában Mas satIsfechos con su casa y querían -,kz-s.,..,,:.::::::,,ype .. ro habíatif. efectos dIscernibles., ,, a, un:7 .e.,, p7os, re ,spe :c.t0 de ,lv.1,3,' enfermedad . o la aetuaclón d los niños eri la escuela.'-', -':,, ' ''' -. ' - —
1
Fuete men, con autorización, de D "i Vuilrr R. P. Hoilsiiih:pisiii-onment and Forffily Life, Je t ,n9ielikttl::,l105,t, érnty Pres, Baltimore, 19677;-,
,
El segundo enfoque es la igualación agregada. En este caso, los individitos no son confrontados, sino que la distribución total :de-cada variable confrontada se hace corresponder entre los grupos . experiMental y 'control. La misrña lpropor, ción de niños por edad y sexo se podría encontrar en los grupos experimental y de comparación„pero para , obtener el resultado sé incluyeron a una niña de 12 años y a un niño de ocho con el fin de balancear la distribución agregadadel grupo experimental, en la cual se incluyó a uriniño de 11 años y a una niña de nueve (véanse,los anexos 6.6 y 6.7 para ejemplos de igualación agregada). ••••••:•.• •
'Anexo.6.6. Evaltiaci6n:dé,la en El' Salvador mechante el empleo , de grupos , controt construidosIde:, ,confrontación agregada
rdlo
-P-
Como parte de un ProyeCto de la reforma e ducativa el sistema escolar ›eri Salvador decidió incluir la televisión Instructiva effiros,grados séptlmo a noverip _ - , , Para evaluar él efecto del'proy'ecto sobre el aprendlzaje, un tornité mixtcid investiládofils:idk.E. I SalVadói.:.y,d,O,UniVerSIcla.etde Stanford admInistró prxt bas acciVé.álálhálilldades ge6erálds Yi¿grós - enlaletura, asf.cornoCuestionarIO.4resurnidos (en los que se medían diversas variables, como las aspiraciones.ocu::4 paciOnales) a tres muestras de estudiantes, eorno se describe en.los párraf97, siguientes. Los estudiantes fueron p ‘ robados e investigados iniervalos res:.tiara raStrear los cambios en el tiempo. Los grupos -probados e Investlgado0 uct on.ciaiño:sigue: -TOnjun to A: 902.esiddl`MrqiiVrinresaron:enetsep.tirno,giacloerk1969;,_ estudiantes (en 28 ClaSes) experimentartüri,:prbáráma cuffilt!WcfeiYetói inclúlda la instrucciéri télevislva; 114 (en cilátr n;.tlales) fúeron madel Programa currit-ular, pero sin las instrútclones té/évisadas:-Si 207 (érrnti clases),recibieron el programa curricular tradltiori'át-(prerreforrna) , LOS doS ,rolgruji,ofuereerscogidos por e1 Ministerio delEdúcación, rnientraS que el tercerQ,
üri
'
-'-"
184
ESTUDIOS NO ALEATOR1OS
(en.19.clases) que . in j 1 aen . cf:.éii..-.1970í6i111.¡1-,......, .11- 1-0:45giáml. .1.6áttlwlá-•éxp`éiWenfül. curiktilán. • Ireforrna; . ..........,. .11.82Mil.:5;;Chsti,.>C1491):i e. leilkáéritarbn las .iii'sttúeciórieliáliiViladaÑi,shillntí.ás.'0.te lOs no lo hIcieron. estigliántel,ery33:cles.',exporpoptarop.p1;pogrTona.:otirrio. e'r)
• ,aélltld e p s. ,ca . • Los resultadósindicañ -.éti meiar n .e refor,,' iol... stüdlliit.el. áciitiii;11.5511.-. iii1.1,1.i.ábilidád :gene.ra qne -áque ps : que experi-r ír) entlr óri. n07. qntenes no las recibieron. Se hicleron en el conjunto C y luego tresdlICileti--.1.0,thiiilii;i:+1,4:50,1i,s11.1 :-e.inlIidnp, los resultados para niechr las prue-,-,, fUeron rnetlOS fayorable.9-:fueron más positivas trones ' ptes.r.31.. inostrarei 611E.:
ente
, k y E G.McAnanY;EduccyttóryffiRcIonn
e COIS
El sahhudii'Ex"p.'ériehoe; ptInford_Pliversit3i. P TC59. Si,31-1190,,C,attfonila, 1976, -
inetá.s :C1 Programación del• pac tleron;.pr mercii,, me orát...liefec I v ., gleUrt;próg.tama plí qUiátriCO':Ii104éntel Internos por medio de una reti:O. Olítéritá0lbii régUlár Cuente para , 100shijpósdé' Lti:040eiii1):,V1édOdei:‘ ririlpOitiOriát Irán Seáürldad, a , , á ': ca a personl para .q110. .en91,40.:P.O . grAT áli11.81"It . ramente estáblé0d1.5' . Con el fin de evaluar el IPP,elenfóquese c'entró:ely.n.ná —ünid.•;de..., pacientes Yktár: ñizi -s de un hospital psiquiátrico y én uná linidád.Slinlleeketniísr0.hospital - Se usó en un grúpo,contról Construldo. „ , . útildáCtélrfireipiiSirni‘laies:ert.tkrninos : , : , de capacidacl, lugar-de orígén, tlpos de'Pa:c.terlies,e0,101:1'AinbOS.Si.(01;:perrodo medlo de estancla .ritImerode soclodemográfic4V-allaliVierites, Se analizaron tres varlables clependientes del proceso (el repol,t1d-IVISIKábl.tos delRe.rs9,nal,10,,atruQsfer pabellón y la satis-. facción del cllente) y dos variábles déplrídtérit_e;S:c1,11:Vet.,: ü1.f. sde,descarga I poster. 191:y ajustweotnunitart&;11.rántdp:':4-r.khaipítálízá-ci Los resültád§111d14n:1>titO,Iiá'iCiál',0.11p`rosrárii
plb11.101103satli:;pocyeriwi,iiiáítúliriris Fuente; állunietaéks Evalun I on and F2eégSICIfjcii.1-1.11,im.Nittglitisr.;:ri 557
Poéiit
185
La igualación individual generalmente se refiere a la agregada; sin embargo, la igualación individual tiene varios inconvenientes: es más costosa, consume más tiempo y es difícil de ejecutar para un gran número de variables. Otra posibilidad es concordar las características individuales y agregadas, como ejemplifica el anexo 6.8. Los métodos empleados para concordar varían en complejidad. Al respecto Sherwood y colaboradores (1975) documentaron una técnica de variación múltiple y la equivalencia resultante de los grupos experimental y de control confrontados. Las abreviaciones de los diseños de confrontación para evaluaciones se han explicado cuidadosarnente (Campbell y Boruch, 1975; Campbell y Erlebacher, 1970). En esencia, lás aplicaciones inapropiadas ocurren cuando la confrontación se realiza con base en mediciones previas de las variables de los resultados empleadas para valorar la repercusión. Cuando tales medidas no son confiables y tienen fallas, los hallazgos de la evaluación se pueden desviar o carecer de validez, debido al traslado de las medidas no confiables obtenidas en dos puntos (conocidas como regresión hacia la media). No obstante, el acto de concordar con base en otras varíables es factible y deseable (Sherwood et al., 1975).
Anexo 6.8. Experimento no aleatorío con un grupo control construido y medidas anteriores y postertores a la investigación El expetimento de planificación farnsliar de DacCa fuetind evaluación ranva de los prograrnas de planIficación familiar,dtrigidos a hombres y mujere_s, El propósito principal fue analizar los cambios diferenclales en las prácticas de control.Ü dess.i la nataltdpd resultantes de los tres entóqu'es- educativos para la fámiliar Idáadón dijaá- á ips rnaridoS eSicliisivamente, educación 41recta a esposas_exchisisiamente y educacián direOta a ambos, Para medir la efectivIdad cada uno_de estos enfoques educativos, se tomparó cada uno de los cuatro los c uaíe,s recibieron servicios de contrel natal pero no el prograrna e*.perimentar-;,': educativó (el control). I-á población estuchada se representó por indivIcluos que aún no usaban. rn,-Itodos cie contVol n,nal en extensión fija. Las poblactones estudiadas se seleccib=r1!::, narori-de'éüatr, o_colonias de kOsíiendas rnantenlds por el Gob 'lerno Central Pakiliá'n'para sus e npleados en .bacca;EftiPO 'cle sAvIenda proporclonado se baGb-is. en el Salario delos empleados, elasificaclos . en cInco categorías, Los grupós diados se defini6on como aqUellos ¿itte teníari niveles bajos en el goblerno (catef,:gorías 111 y lv, de trab;ajadores que iban desde mozos hasta oficinistas cOn'nive). )ó)y:que vivían en vivienda.s:separadas, pero s)rnilares a las colonias, Las grupos de estudio sefiltraron Para elimmar a los Inelegibles según tos cr te iio 1 Ui iii e un esPoso qüe , no o_sidiera en el nrea en el tiernpo anterlor la inve..,t 1 ;ación; parejas_-que 11 0, :ppdran cnt,nder bengalí (el idiorna que se'usa4:,, durante las ritrevist,ls); los QS , SOscon mjis de una esposa antes de la ción;-parejas . q4e. ,habían'estadli -aásadas durante menos de dos años; si tenía Mas de 50 años de edad, y si c‹ iiaidiriera dé los cányuges. se había esterilizadó».. Los datos se recabaron por medio ,de Ids-estudios anterior y posterior diante registros tanto-clínicos , _ . - corno de las _ visitas -al hogar. Ambos esposos en tres'grupós experimentales füeron entrevistados antes y despus de ción.-..Elfgrupo contról sólo fue entrevistado de. spués cle ta' nes. y desp ilil ".''¿Ontenían- Pregunfas acerc3'-'ellt,)s tern s-stitt entesin:_‘c'ara e-s ticgtaecr:
186
187
ca..1.'dertí mteritada.;:lscrdel.contr
fertilid10::fultira átátY 'a>cfliír-dialiSeakide'atirerider'.élbáli'.1.Itürin'Clétc 0 lian más efec-
,tivos que otros que reunir metas multiples entre muchos tipos
dé •-poblaclones
por muehd, una
idclos los cr,,te'i'le,tá¿ 0)ptei'-clOpipláln;;iiielítiel0111 7.,14:joraniiento de Lis aCtitudes cjue consideran la aceptacióh de'Ciliáktíérs¿tiál . Paia Irriplear la planificaCión farroliat- Este entoqué y cOnopmiento " jóvénét i.el.Wayores och crájl"superior y en honitwes 090 é,11PrIlárall4;01.1.11d¿vo :i.iri:10,10 sexp tírl Mayb.r • efecto (en este ejerriplo , los ítii'& tuivjeron utl m yor efecto). Parece que los es• ue4151 -édire4tiypS:diiigid0; ..1'iirilás Sexos Pueden seinás efectívospara lograr el ¿Ugritiktitivos, actitudiñalel y de Comportamiento en gode másampll. de L W Gr..on mw-rsIty o
omia,
of
Docca F(111111y,
Ing Experlmoot,
1972.
Estado socioeconómico (ganancias o ingresos familiares, riqueza, ocupación seguida, etc.) Arreglos familiares Etnicidad Características de las unidades organizadas (escuelas, clases, uniones, etc. Diferencia de tamaño Niveles de autoridad Niveles de subunidades Número de papeles distintivos y diferentes (ocupaciones) Clase de industria Rango de crecimiento Presupuesto Características de las comunidades (unidades territoriales organizadas): Mezcla industrial Organización gubernamental Tamaño de la población Tamaño del territorio Rango de crecimiento Densidad de la población Localización respecto de otras unidades territoriales (parte de un área metropolitana, ciudad independiente, pueblo, etc.)
Selección de los grupos control construidos
Siempre que exista aunque sea el menor conocimiento a priori del área sustantiva de una intervención, se deben seguir algunas guías basadas en lo que los científicos sociales han encontrado en las pasadas decadas para generalizar las características de los individuos, las familias, las comunidades u otras unidades que afectan muchas áreas del comportarniento hurnano. En el cuadro 6.2 se muestra un breve linearniento de tales variables del control. Cuadro 6.2. Características útiles para dividir grupos control construidos 1 Características de los individuos: Edad Sexo Nivel educativo Estado socioeconómico (ingresos, riqueza y propiedades)
Tenencia (tierra y/o casa en propiedad) Estado rnarital Ocupación (prestigio ocupacional) Etnicidad (raza, grupo cultural, lenguaje del grupo ,y origen nacional) Funcionamiento intelectual (CI, habilidad congnoscitiva y conocimiento) Fuerza laboral de pariicipación II. Características de las familias (o casas): Etapa del ciclo de vida Número de miembros Número de niños
Nótese que las características mostradas en la tabla son "conjuntadas"; es decir, las características de los individuos se pueden usar también para caracterizar unidades mayores al formarlas en promedio, medidas de dispersión u otras medidas de descripción agregada. Un individuo puede ser caracterizado por su edad cronológica; una familia, por el promedio cle edad de sus miembros; una fábrica, por el prornedio de edad de sus empleados (o la proporción entre ciertas edades), y una ciudad, por el promedio de edad de sus habitantes (o por la proporción de personas que constituyen el grupo de edad económicarnente productiva). Tal vez la mejor manera de usar las características mostradas en el cuadro 6.2 es considerarla una lista diseñada y revisada para recordar al evaluador las características de los que son probables candidatos para formar los grupos control. Para valorar la repercusión de una carnpaña educativa contra el tabaquismo dirigida a jóvenes escolares, se podría confrontar a un grupo experimental de escuelas con un grupo de escuelas de control construido, unas comparables en cuanto al estado socioeconómico de los padres, el desempeño intelectual de los estudiantes, el tamaño de la cludad y el lugar de residencia. Sin embargo, las características mostradas en el cuadro 6.2 no son un sustituto adecuado para tener un conocimiento previo apropiado al fenómeno que se estudia. Generalmente se ha encontrado que las características mostradas en esa tabla han sido útiles, pero no necesariamente apropiadas para todos los problemas sociales; por ejemplo, un programa diseñado para disminuir el promedio de fertilidad entre los adolescentes solteros se puede evaluar mejor si se emplean grupos control construidos cuya elección se basa en alguna comprensión teórica de las motivaciones de algunas adolescentes para aceptar quedar embarazadas, implicadas en un comportamiento sexual, etc.
188
Estrategias en la recolección de datos para diseñar grupos control construidos Las consideraciones estratégicas que entran en el acopio de datos y los diseños con grupos control construidos no son esencialmente distintas a aquellas estudiadas en relación con los experimentoS aleatorios. La recomendación general es que cuantas más medidas -anteriores y posteriores a la intervención se tomen, mejor será. Las razones de esta recomendación, en el caso de los grupos control al azar, son: a) cuantas más medidas se tomen, más confiables serán las lecturas que se hagan en los resultados previos y posteriores, y b) el proceso mediante el cual la intervención puede funcionar probablemente se rastree con más cuidado sobre el tiempo. ESTUDIOS NO ALEATORIOS: GRUPOS CONTROL ESTADISTICOS Al valorar la repercusión mediante el empleo de grupos control aleatorios o grupos control construidos, se sigue una estrategia en la que los participantes en un programa son confrontados de uná manera designada con los no participantes. Esto puecle irnplicar muchas medidas de los resultados, incluidas las anteriores y posteriores a la intervención, o ambas. En esta sección se examinará la estrategia en la cual sólo se usan las medidas posintervención, y se utiliza un enfoque diferente para comparar a los participantes con los no participantes; se realizan investigaciones seccionales cruzadas, las cuales perrniten - hacer comparaciones entre los participantes y los que no participan, y la comparabilidad entre ambos grupos se establece mediante el manejo de los factores adecuados constantes estadísticamente. Por ejemplo, para estimar los efectos de la asistencia de adultos a escuelas católicas, el evaluador compara a aquellos que han asistido a escuelas parroquiales con los católicos que no lo han hecho así (Greeley y Rossi, 1966; Greeley et a/., 1976). En este caso fue posible emplear grupos control construidos debido a que existen muchas parroquias sin escuelas parroquiales y, por tanto, algunos católicos no tienen oportunidad de asistir a tales escuelas. Dado que los autores tenían interés en medir la accesibilidad ocupacional en - los adultos (entre otros resultados), sólo las medidas de la intervención posterior (accesibilidad ocupacional medida en una muestra de la investigación de adultos católicos) eran disponibles. Por supuesto, habían muchas maneras adicionales en las que los asistentes a escuelas parroquiales pcdían ser diferentes de sus contrapartes que asistieron a escuelas seculares. La asistencia a escuelas parroquiales podría haber representado una obligación más fuer-te hacia el catolicismo entre los parientes de tales adultos, una obligación expresada : mediante el acto de inscribirlos en parroquias que tuviesen escuelas parroqúiales. Los parientes de lbs asistentes a escuelas parroquiales tarnbién deben haber sido afluentes, pues por lo general sólo las parroquias con suficientes inscripciones pueden esforzarse por establecer escuelas, y sólo los parientes relativamente ricos pueden esforzarse en proporcionar los cargos de enseñanza que son exigibles. Después de efectuar numerosos estudios, se sabe que el estatus económico está relacionado con
GRUPOS CONTROL ESTADISTICOS
189
el aprovechamiento escolar. Estas posibles diferencias en la riqueza familiar se deben tener en cuenta para aplicar los controles estadísticos apropiados. En esencia, la valoración de la repercusión seccional cruzada depende principalmente del uso de métodos estadísticos para puntualizar las diferencias entre las personas que han experimentado una intervención y aquellas que no. Un estudio seccional cruzado es aquel en el que las observaciones se hacen desde un punto singular en el tiempo, de manera que se compara a los participantes en el programa con los que no participaron (o aquellos que han participado en varios grados). Generalmente, la población objeto es muestreada y se realiza una investigación para recabar información acerca de un gran ,número de posibles variables-de confusión. Las diferencias entre los niveles de exposición a una intervención se observan de tal modo que se manejan costantes por medio del análisis estadístico, y se observan también las otras diferencias apropiadas entre los participantes y los no participantes. Debe notarse que la valoración de la repercusión con grupos control construidos y que usa grupos control estadísticos son idénticas conceptualmente. La diferencia principal radica en la filtración de las poblaciones objeto no participantes por medio de una selección deliberada (grupos control construidos) como opuesta a la filtración de la población mediante técnicas estadísticas (grupos control estadísticos). Parece que mediante ambos métodos se obtiene comparabilidad entre los participantes y quienes no participan y que ambos dependen del conocirniento anterior acerca de cuáles características podrían distinguir a los dos grupos. Si se hace una valoración de la repercusión con grupos control construidos o con grupos control estadísticos, podrá centrarse en la distribución de los participantes objetivo y en los no participantes de la población por estudiar. Para citar un ejemplo obvio, tiene poco sentido intentar usar una investigación de la población general para hallar participantes y no participantes que se encuentren en programas de rehabilitación dentro de una prisión, porque aquellos que podrían ser individuos objetivo serían relativamente raros en cualquier investigación de la población. Por ello, las investigaciones no deberían ser un medio eficaz de estimar la repercusión de cualquier programa .que sea apuntado a un conjunto estrecho y definido de -población. Una consideración adicional es si resulta factible o no obtener mediciones anteriores y posteriores. Si, por una razón u otra, no es posible obtener o recabar mediclas anteriores sobre grupos control y experimental construidos, las investigaciones serán un excelente medio de proceder; por ejemplo, para medir los efectos de los programas GI del financiamiento y de la enseñanza sobre los veteranos de la Guerra de Corea, es probable hacer sólo una investigación de los veteranos sobrevivientes, con la esperanza de que será posible mantener constantes las diferencias potenciales entre aquellos que usaron sus beneficios y quienes no lo hicieron. Ajustes estadísticos sucesivos La lógica para mantener constantes a las variables se muestra en la tabla 6.1, una valoración de la repercusión hipotética de un programa de entrenamiento vocacional para desempleados entre las edades de 35 y 40 años. El programa se
190
GRUPOS CONTROL ESTADISTICOS
CAP. 6. DISEÑOS COMPARATIVOS
diseñó para aumentar las habilidades del trabajo de los participantes, al permitirles obtener mejores (mayor salario) trabajos. Para evaluar el programa se tomó una muestra de 1 000 participantes y se les estrevistó un año después de que completaron su entrenamiento vocacional. Además, otros 1 000 hombres de la misma edad fueron muestreados de la población general de la gran área metropolitana en la que el programa funcionaba. Como el programa era pequeño, casi todos los hombres enfocados a la entrevista en la muestra general no habían participado en él. A ambas muestras se les pidió información acerca de sus ingresos, y para ambos grupos se calculó una proporción de salario por hora. En la parte I de la tabla 6.1 se muestra la comparación de estos promedios de salario por hora. Aquellos que participaron en el programa ganaban, en promedio, 3.75 dólares por hora, mientras que para quienes no participaron, el promedio correspondiente fue de 4.20 dólares. Era evidente que quienes parTabla 6.1. Ilustración de los ajustes estadísticos en una evaluación hipotética de un proyecto de entrenamiento para el empleo Medida del resultado = promedio de salarios por hora en un año después de completar el programa de entrenamiento I. Comparación bruta entre hombres de 35 a 40 años que completaron el programa de entrenamiento con una muestra de hombres de 35 a 40 años que no tuvieron programa de entrenamiento: No participantes Participantes Rango promedio $4.20 $3.75 del salario (1000) (1000) N= Comparación después del ajuste para el nivel educativo: No participantes Participantes
Rango promedio del salario N=
Con menos de la preparatoria
Con preparatoria
Con menos de la preparatoria
preparatoria
$3.60 (700)
$4.10 (300)
$3.75 (400)
$4.50 (600)
Con
III. Comparación ajustada para el nivel educativo y empleo al inicio del programa de entrenamiento (o datos equivalentes para no participantes): No participantes Participantes Con menos Con menos Con de la Con de la preparatoria preparatoria preparatoria preparatoria
Rango promedio del salario N=
Todos desempleados
Desem- pleados
Emplea- dos
$4.10 (300)
43.50 (100)
$3.83 (300)
$3.60 (700)
Desem- Empleados pleados $4.00 (100)
$4.60 (500)
191
ticiparon en el programa ganaban considerablemente menos que aquellos que no lo hicieron (sólo 89% de la proporción de salarios de los no participantes); sin embargo, estas comparaciones desajustadas son muy engañosas, pues los participantes y los no participantes podrían ser diferentes en el número de variables relacionadas con el salario, y otras que no son las de su participación en el experimento. En la parte II de la tabla 6.1 se muestra una de tales diferencias y se presentan los promedios de salario separadamente para dos niveles educativos: quienes no habían completado la secundaria y quienes sí lo hicieron. Adviértase que el 70% de aquellos que participaban no habían completado la educación secundaria, en oposición al 40% de los que no participaron. Cuando se comparó el rango de salario de las personas con logros educativos comparables, los salarios por hora de participantes y no participantes se aproximó uno a otro, respectivamente: 3.60 y 3.75 dólares para quienes no habían cornpletado la educación secundaria, y 4.10 a 4.50 dólares para quienes sí lo hicieron. Obviamente, manejar la constante de los logros educativos disminuye las diferencias entre los rangos de salarios de participantes y no participantes. En la parte III se muestra otra diferencia. Como todos los participantes eran desempleados en el momento de participar en el programa de entrenarniento, es apropiado comparar a los participantes con aquellos no participantes que tannbién estaban desempleados. L.os no participantes se dividen en aquellos que esában desempleados y aquellos ciue no lo estaban. Esta vez, quienes participaron en el proyecto ganaron más en cada nivel educativo que quienes no participaron y que estaban desempleados durante el MiSMO tiempo, respectivamente: 3.60 y 3.50 dólares para aquellos que no completaron la educación secundaria, y 4.10 y 4.00 dólares para quienes sí lo hicieron. Nótese que la inclusión de ajustes estadísticos sucesivos (controles) no fue mediante un proceso casual. Hubo justificación para incluir cada control, con base en el conocimiento anterior acerca de las determinantes de lo ganado. Por supuesto, en cualquier ejemplo real se podrían haber considerado grupos control adicionales, tal vez la ocupación previa, el estado civil, el número de dependientes y la raza, factores conocidos porque se relacionaban con los rangos de salarios. Otra vez, la valía de ejecutar la valoración de la repercusión por medio del control estadístico depende fuertemente de ese conocimiento a priori. También debería señalarse que en tal diseño de la evaluación generalmente no se pueden contar por completo los efectos de la autoselección y removerlos de las estimaciones de la repercusión neta del programa. En el ejernplo presen, tado en la tabla 6.1, las personas desernpleadas que participaron eran, por este hecho, diferenciadas de quienes no lo hacían, tal vez por niveles de nnotivación más altos, una diferencia que no es posible medir retrospectivamente en un alto grado de confiabilidad. El ajuste hecho en la tabla 6.1 se realizó de un modo muy simple con el fin de ilustrar la lógica de los controles estadísticos sucesivos. Métodos más complejos v sensitivos estadísticamente están disponibles para realizar simultáneamente diversos ajustes. Las técnicas de regresión múltiple y el análisis de la covarianza, como múltiples funciones discriminantes de análisis y modelos de logaritmos I meales son especialmente apropiados (deben consultarse textos avanzados; por Hanushek y Jackson, 1977).
193
192
Métodos complejos multivariados
15t=0 6.9. Reoresión del número de sernanas desde la posliberación hasta el primer empleo, con selección cie las características de preliberación y el estatus de la palabra de honor para prisioneros liberados de una prisión de Texas
"
La uariable dependiente es el
' Var10:e.
rulmero de serapncis:ontes del primer trabajo en el GñO de posliberackin
!riclependlente
SE
Liberación bajo lialabra Edad (aflos) • Masculino Negros Chicanos., Educación (años) Casados Núrnero de recluslones p :Dinero de entrada • Desventajas de la clasific I...lberado a. . Hcustori
ración
-3.45** 0.01
1.25 0.08 2.72 1.53 2.07 0.34 1.89 0.09 0.00 2.25 1.44 0.06
2.81*** -0.03 16.68* 0.25*" (397)
0.76 0.02 6.50
-- 14.454.45" 4.33" -0.16 -0,01 0.011 0.00 7.36" - 4.67" -0 20"
la
C.0.111
isión R2 N
' EstadistIcaínente sigracatIvo en 0.05 '• Estadisticarnente signIficativo en 0.01 EstadísPcarnente sIgnificativo
Cil Ü.001
Nntá: Ios re,sultartós'el 'iégiest¿rirriostrados en lfneas aMterlores se calculan del grupo control en uno de it3S peririrentoá TARK,hiálese que . comtala tabla mostrada se refiere sOlo a los rniembros del grupn contrcl InvestigacIón seecional cruzada y es eqüivalente átener una rriuestra al azar de todat, las 1, ,r gfilklá.510;er4dá:s de las prIálones estatales de Georgia en un pericadde sels meses en 1975. (Los detallas de I natamierlto c,i crIn n cnt31 (1.1,1c, en ci,,crIben en ci unucrj b 14 )
Fuente;I:lbulmione, mi"pi.4.1D11c,rfis del grupo control en los experimentos TAiilPenfcc (p,lra una consübetc P. H. Ross1, R.- A. BerPey fu. J L rutan, 1980),
1cs-nix1 n7n
Para ejemplificar el empleo de métodos multivariados complicados, en el anexo 6.9 se muestra el resultado de un análisis designado para estimar la repercusión neta de la libertad bajo palabra en el empleo de liberados de una prisión de Texas durante los primeros seis meses de 1976. La ecuación mostrada en tal anexo indica el número de semanas desde la fecha de liberación hasta la fecha del primer empleo durante el primer año de liberación del convicto, como una función de la libertad provisional y un número de variables que se pueden estimar afectadoras del trabajo o de la palabra recibida. El coeficiente mostrado en la columna b es el coeficiente de regresión no estandarizado, que expresa el número neto de semanas para el primer empleo para cada unidad de cada variable independiente. El coeficiente por haber sido liberado bajo palabra es de - 3.45 semanas, lo cual significa que las personas liberadas bajo palabra encontraron su primer trabajo 3.45 semanas más pronto que otras, y rnantuvieron constantes todas las otras variables en la ecuáción. En efecto, el coeficiente de regresión de la libertad provisional es un efecto neto estimado para el estatus provisional, lo cual indica que las personas liberadas bajo palabra trabajaron más rápido que aquellas que fueron liberadas incondicionalmente. Las variables restantes en la ecuación fueron incluidas porque hubo buenas razones para creer que las condiciones que representaban afectaban el empleo o el estatus de la libertad provisional. Así, la edad, el sexo, la raza, la educación, el estado civil, ser un impedido físicarnente, haber arreglado un ernpleo antes de la liberación y haber regresado a Houston (un mercado de trabajo prirnario en ese tiempo) fueron factores que se incluyeron en la ecuación. Todas fueron variables disponibles en un conjunto de datos y se esperaba que afectaran rápidamente la obtención de empleo por parte de los ex convictos. De hecho, se observó que algunas de ellas fueron útiles: los varones trabajaron más rápidamente que las mujeres (cerca de 14.5 semanas más rápido); a los irnpedidos físicamente les tomó más tiernpo; quienes regresaron a Houston trabajaron más rápido en ese buen rnercado laboral, y quienes fueron contratados antes de su liberación trabajaron todavía más rápido. Se incluyó otro tipo de variables, para mantener constante la tendencia de la libertad bajo palabra dada y, de hecho, representar el proceso de selección utilizado por el tribunal de la palabra de Texas: el número de reclusiones previas y el código de comportarniento en prisión (actualmente, una' especie de sistema de puntuación en el cual cada incidente o mal comportamiento en prisión lleva a un incremento en el marcador). La valía en el análisis presentado en el anexo 6.9 depende fundamentalmente de cómo la variable utilizada (o modelo) captura completamente los factores de la no palabra implicada en ir a trabajar con rapidez y los géneros de factores tomádos en cuenta al dar la libertad provisional.
,
Ejemplos del uso del control estadístico En los anexos 6.10,6.11 y 6.12 se muestran los diversos niveles de complejidad estadística en el análisis de datos seccionales cruzados para valorar la
194
195
CAP. 6. DISEÑOS COMPARAT1VOS
repercusión. El anexo 6.10 es principalmente de interés histórico, pues se elaboró al principio del desarrollo de la investigación social, antes que las computadoras hicieran posible efectuar los cálculos fácilmente ybaratos; es un estudio de la repercusión de la disgregación en la Armada de Estados Unidos .durante ei conflicto de Corea en la década de los cincuenta. Valorar la repercusión consistió en comparar a los soldados en las unidades íntegradas con aquellos que servían en las unidades segregadas. Los controles elaborados estadísticamente no fueron practicados, porque las técnicas estadísticas apropiadas difícilmente se podían aplicar en ese periodo, y porque la autoselección se convirtió en un factor (la Armada puso soldados en sus unidades y el intercambio de unos a otros era muy difícil).
• AneXo 6 ibÉfectos adát.défÉ.,stádóá' PlActs unidad,e.s'de la
--En:generabr,-los'negrOs' 9' los blancOs cie'lla'S.Unidades mn
175
Funtc TcrradodeL Bo.cfart, Socialnes.ea con autoriza-clán
En el anexo 6.11 se describe un intento por discernir si los cambios de moneda en Chicago perseguían diferentes políticas de precios en los barrios negros, en oposición a los barrios blancos. Se usó el servicio de cambio de moneda como una variable del resultado y datos del censo que caracterizaran las composiciones raciales y socioeconómicas de las pistas en las que el cambio se localizaba como control estadístico, para detectar, mediante el análisis, las diferencias de precios indicativas de una política discriminatoria de precios entre los cambios de moneda.
os e,n losn e tadOs . pnLos autóretliieron coniisiona os or a _ éca'Cla de los cinCuenta pará vaiorar la repercu.siónridela integraCión
los ,negrós :enlaunidades preViamente formadas Sólo por blancos que ser-vían en Corea dtirarite'et.": conflicto" coreano. El estudi6 estaba basado'en entrevistas cuall- nItIvas conjOs_oficiales.ylós hombres listados, asicorno en cuestionarios autoadmintstrados a una gran mu -eStra-de soldadoS ,,La repercusión • Seévaluó ppr?rnedip,clg.,' respuéstas compáradas, dadas.Por cadauncide lOs,grt.ipol„siguientes ...bláncoSde las. ,unidadeS formadasSólo Por blariCO, negrdS enlaStinidadeStnIxtasrecién integradaS.: Él análtsis se=preenta en la-tabia'Slguiente, en la 'atailóssei/lados en los cuerpos: del "caártelleneral son comparaclos en súSrespuestás á laS cuesde d e ' qu éett.el' •dérfüttiti5;' dé . ,/al, rel ac I orieyraciales'Onliti tt o -" : - EstadnkUrildOs.7 , , Cómo contestaron los soldados del cuartel general la pregunta: "Conforme el tlempó tr.anscurre, ¿piensa que los blancos y la gente de 'color en EstadoS Unldos tendrán mejores relaciones jttntos_ que las actuales, que no son tan buenas, o serán bomo.,haáWáhoya
Anexo 6.11. Discriminación racial en los mostradores de los bancos de Chicago L El principal objetivo de los camblosAimoneda en .16s, bancos, de -Chicago: es servir a los residentes en área — sde la cludád tan pobres que . no pueden interesar a ios servictos de upSanco. En ü ingyoría, al efectuar camblos de rnoneda se deli;a12%;s'Obre_iacantidacl de cheques en efectivo.y. órdenes escritas de d1nero,9 de 0".20 3á 0:30 ientávos de dólar,:tior repptir,pásos cle.utilídades. El Prapósito -' eric" iales en ' rdife/ extenstóií'y..„,:f_p- is m - a :de: .11-sprecIóS de mo'neda de Chicago, de actierdo con la co -rnposición ractary étnica de ias areas la q q ue sirven " . ' - Se seleccionOlu e n,krrniestra de-43 cambios 7ioneda:c1111 póginaS de la sección arharill jáérdirectorió telefónic011e escógió la déclya ,Parte)'. La corn-:»: posición racial del'c'enso enque lbs cárñblósestabart übl¿adól.se - obtuvó pors dicotomización del eenso en dos grupos: "3% o menós" "7% o tnás7.E1 anái113',.; de regresión t-nültiple seernpleó para analizar los datos. El cargó on el servicio, variable dependiente-, se regresó en la . cantidad de servicto,,el-porcentaje negros en el censo yetporcentaie de personas de hablá hispana en el censo,'07'.1, ..4 . 0.rs ie cey ncan último tarnbién se analiz6COMOun término.c.t.tadradotajj: cle negros v cantidad de servicio, e interaCárlifillenin
a' su _
tidad,(.1e sersicio encontró que cada porcentaje cantbia
Ispliesias1 tarárn'rnejor tarán . lgual
1n1C¿s4arántan ln
1.
repuesta -
hastaahor
cos a negros, tual originaba un incremento en el cargo por servicio de centavoS . de dOlár eAunque es ta cantidad es triviat e setra nsforma ''0 7a ' . brecargo páracksítoda el áre-á negra. Los autóre'Oncluyeron explotan la_ se.g"regáCIón resídencial racial'ep ChiCagO al»,.rglr,r90.94',¡?rICISS los negros; aunq-tie aclaran-gue sus liálláz oS-sOn., ,eithIorttlpfioS.9 se-.débett\totnair;,-" con precauci¿n, J O p eSom Racial Discriminatio. n Ftle.nte: ' R.-sUmen de W R e iyc enrEValuarten -Quarterly, núrn. 1, febrero cie 1977, pflgs. 159 171.
-
196
GRUPOS CONTROL ESTADISTICOS
CAP. 6. DISEÑOS COMPARATIVOS
En el anexo 6.12 se muestra un intento para discernir si los programas de planificación familiar federales tenían alguna influencia de la fertilidad. Los autores aprovecharon la existencia de la investigación de todas las clínicas de planificación familiar en Estados Unidos que incluían medidas del servicio entregado en cada unidad, con el fin de relacionar esa información con las estadísticas vitales para la misma área. Los autores modelaron los rangos de fertilidad y agregaron la participación en las unidades de planificación familiar como un elemento del modelo para encontrar una influencia significativa de las unidades de planificación familiar en la fertilidad por condados. El efecto que encontraron es proporcional al nivel de actividad de las unidades de planificación familiar en cuestión. Nótese que este estudio de fertilidad fue una evaluación de un programa de cobertura total. De acuerdo con la legislación federal vigente, todas las áreas del país eran elegibles para sufragar fondos que podrían apoyar a las clínicas de planificación familiar. Por diversas razones, algunas áreas elegidas no participaron, y hubo alguna variación en el esfuerzo entre el gobierno local participante y stis unidades. Esta variación permitió discernir los efectos de los esfuerzos de tales clínicas. Por supuesto, se debe suponer que los factores que se mantienen consAnexo 6.12. Influencia de los programas de planificación familiar en la fertilidad en Estados Unidos El objetivdprincipal de I()s progr.anlas clrlicos cle plantficación familiar en Estados l_Unidds en 19684969 fué.:`,`capacitar.;a lókestadounidenses para: qúe décidiéi-an libre- Wentéel:rálin ' de-Sús hi)OS:, élóiiPii)Orida-cipara servir a Persona'seóribajOS'Ingresos", ..Médiarité,Otééstudfci;se .elialüó'llcilchoS:Programas tuvieron_tiria inflitenela 7-va eli `lafe'ffiliclaacIfe'.7qüiénesPI;t1o'ire,iien ellcis. Las fuentesClé datOs se .fonWrOn del ésiadístieas del National Center for Flealth'-.Statisties.4,Centró. y del Alan Guttrnacber Institute -Institato P`dan Gutt'rnaherla _ (eStadíStiCaS dc.„, serylcio al,progmrna). Las urMdes, de apálisis se Ila níaron unid F?e/es de ueullsls estuditié.07(VA:), las cuales fueron urrCpileía,dó o un númerb de cOrnúnidades pequeñas..bltilio',7710AE,de:Ybjancos" (cada -únidaá . 114E luvo por Io,menos 20 000 uiujres,blnas) y 237. UAE ele ."nc_,grc>s" rnUje' res negras). - La PrineiPáNa'riable d` elprogi'.4)-rlia. fdllserlpéln .én las clínicas de planificación-farniliár (de'lOS :.-serVielOS-. reglstraclOS):y la: .‘'ffariableresultante fue. el rango de fernI n da (ciél censo, medido de mmieras,diferentes): Los grupos cpntrol estadrsticos se inclbyerówpor déiísidad de 1.-)Oblaei5n,',.éducaef6tVírilgr8ción eStado rnárital, estado escolar, raza, fuerza de trabajo, edad y paridad en modelos de regresión . Imerdes, addivos v multmles. autores encontraron que progdama tuvo marcados efectos negativos Los . _ . - en los rangos dé fetilidad en ambos trpos de múteres casadas negras y blancas de todos los subCtr-tt-Pos defintdos por edad irstzlclo socioeconómico, despues de. 'controlar los' otros factorels , análisis del'eosto POr beneflcro del proglarna produjo tangos favorables y se resume en cl anexo 8, .
Fi ele O
1.1.er4/1/ty.
u ri cc,r)
rt-nP_o, de P. Cutl
Ight y
1,-I11e,11x?p-act ,
of Famlly Pinnifing F5-ogrurn e, on
197
tantes en el análisis estadístico también mantienen constantes las variaciones locales acerca de la buena voluntad para comenzar con las clínicas de fertilidad (esto es, el proceso de autoselección). Todos los estudios mencionados requirieron a los investigadores buscar el conocimiento a priori de la intervención en cuestión y el fenómeno concerniente. Para Bogart y sus colegas fue esencial conocer qué soldados tenían poca posibilidad de seleccionar la unidad para la cual servían. Para Bridges y Oppenheim fue importante concebir el cambio de moneda como una respuesta mayor a los niveles socioeconómicos de sus clientes; esto les permitió ajustar tarifas de servicios de manera que discernieran si la composición racial de su clientela era también un factor en las políticas de precios. Finalmente, Cutright y Jaffe delinearon en su investigación cómo las variables demográficas y socioeconómicas influían en la fertilidad. En resumen, el control estadístico es un procedimiento excelente por aplicar cuando no se pueden incluir como controles las variables y condiciones que tienen en cuenta las explicaciones competentes acerca de los resultados del programa. El procedimiento es especialmente importante para problemas en los que no es posible emprender experimentos aleatorios, o aun para afrontarlos. Nótese que Cutright y Jaffe (anexo 6.12) no usaron una investigación de la muestra en el sentido tradicional, más bien, es seccional cruzada, ya que está constituida por las medidas de la fertilidad y del programa de servicios; usa los resultados de la investigación de las agencias de servicios, pero relaciona esa investigación con los datos de los censos y con las estadísticas vitales. Limitaciones en el uso de estudios seccionales cruzados Los enfoques seccionales cruzados para valorar la repercusión tienen algunas ventajas y ciertas limitaciones. Por el lado positivo, estos estudios se pueden completar rápidamente y, por tanto constituyen un método de costo efectivo para estirnar los efectos netos del proyecto. El enfoque también es útil si se puede tomar el tiempo necesario para efectuar medidas anteriores y posteriores. En algunas circunstancias, especialmente cuando los experimentos aleatorios o los cuasiexperimentos son completados fuera de la cuestión, los estudios seccionales cruzados pueden ser el único enfoque por emplear al valorar la repercusión; no obstante, se debería tener cuidado de que en los estudios seccionales cruzados se confíe plenamente en el conocimiento a priori del proceso involucrado. Por el lado negativo, los estudios seccionales cruzados son susceptibles a los errores de especificación (para usar el término econométrico), que son aquellos cometidos al especificar la estructura teórica apropiada que puede desechar las explicaciones pertinentes; por ejemplo, en el análisis de los efectos que ejerce la libertad bajo palabra en la reincidencia subsecuente (mostrada en el anexo 6.19), si el analista ha fallado en considerar un factor importante acerca de cómo el tribunal de la palabra juzga si un prisionero es o no elegible para la libertad provisional, el análisis presentado en la tabla puede estar mal. Para ser más específico, si el tribunal de la libertad provisional libera sólo a prisioneros que llevaron entrenamiento profesional vocacional en prisión, el efecto por el que clama la libertad provisional en el anexo 6.9 puede simplemente reflejar que
198
CAP. 6. D1SEÑOS COMPARAT1VOS
los empeñadores de su palabra estaban mejor preparados para obtener empleos; por tanto, los efectos de la libertad provisional simplemente enmascaran los efectos del entrenamiento vocacional que nada tiene que ver con la palabra per se. Tal vez el error de especificación más común en el análisis de secciones cruzadas es tener un modelo inadecuado del proceso de autoselección. El riesgo es particularmente grande en cualquier estudio seccional cruzado cuyos beneficiarios hayan decidido participar o no en el programa. Varios econometrónomos (Barnouw et al., 1980; Heckman, 1980) han invocado recientemente el uso de datos seccionales cruzados al prevenir que el proceso de autoselección se puede modelar apropiadamente. Dichos investigadores sugieren que la investigación en el proceso de autoselección permite diseñar modelos bien ejecutados de autoselección, y han trabajado en condiciones en las que tales ajustes de autoselección se pueden hacer apropiadamente. En algunas circunstancias poco comunes es posible modelar el proceso de selección por medio del cual las personas (u otras poblaciones objeto) son expuestas al tratamiento; por ejemplo, en la desmovilización que siguió a la Segunda Guerra Mundial se pudo diseñar un estudio de los efectos del anticipado fenómeno de liberación de la Armada, en oposición al tardío. Los soldados fueron liberados de acuerdo con un sistema de puntos, en el cual se tenían en cuenta la duración del servicio, el tiempo de estancia en el otro lado del mar, las condecoraciones y el número de dependientes. Como la orden de desmovilización fue determinada principalmente por los puntos ganados por un soldado, se podría usar la variable en un estudio de control estadístico para most `far si ser o no liberado antes o después de septiembre de 1945 ejercía cualquier efecto sobre qué tan rápido y en qué nivel los soldados obtenian empleo. Realizado en forma adecuada, este estudio hipotético podría ser tan eficaz como un experimento aleatorio en el hecho de proporcionar la base para hacer estimaciones sin sesgo de los efectos de una demovilización anticipada o posterior (este enfoque también se conoce como diseño de regresión discontinua; consúltese Cook y Campbell, 1979). Aunque se pueden poner medidas que parezcan considerar tal autoselección, las medidas empleadas suelen ser inadecuadas o deficientes, de rnanera que resulten en un ajuste bajo de la autoselección y, por ello, en una sobreestimación de los efectos netos del programa. De hecho, la controversia acerca del resultado de la evaluación del programa Heacl Start y sus centros (Campbell y Erlebacher, 1970) radicó en el hecho de si los analistas de la Westinghouse habían ajustado adecuadamente o no las diferencias entre los participantes en este programa y los no participantes. Los diseños seccionales cruzados se pueden emplear en los programas parciales y en los programas totales en su cobertura, pero sólo en algunos de sus tipos, particularmente donde el tratamiento ha variado de algún modo conocido. La valoración del centro de planificación familiar realizada por Cutright y Jaffe (anexo 6.12) es un buen ejemplo de un programa de cobertura total que variaba de actividad en cada área, incluidas algunas regiones donde las actividades de las clínicas de planificación familiar eran esencialmente nulas. Se estimaron los efectos de cada nivel de la actividad clínica, de manera que el estudio pudo registrar cuánto de esa actividad estaba relacionada con los nacimientos impedidos. De la misma manera, se ha intentado estimar los efectos que ejerce la legislación estatal sobre control de armas en los rangos de delitos relaciona-
GRUPOS CONTROL ESTADST1COS
199
dos con armas de fuego (por ejemplo, los asaltos con armas de fuego y los homicidios con este mismo tipo de arma). Debido a que en los 50 estados de la Unión Americana varía la legislación sobre armas, por medio de permisos y registros, los investigadores intentaron relacionar el nivel de regulación con los promedios de delitos graves (véase anexo 6.13). Anexo 6.13; Úsd de estinfios seccionales cruzadós las variaciones• intereStatales de la legislación acerca control de armas, para discernir los efectoS de;lit restricción en la posesión dé arrnaS sobre los tkilátIS Debido a unavarleclad de razones histOrka,s; ítadot de Eltados dos.vartan-arnpllamente en la extensión en que etdsten letieljacerca del registr'rini-) de pó SeSiÓn de armas y erilál reltricelóries iffiluestas al prOpletarto y para usat, ál. árma. Con-lo eStablecer st tales legIslaclones_afectan o nOttprOmedio de tos'es máteria de, grancontroversla, se han efeetuado varlol anállsIs para estiraaeu j los efectos netoS en la incidencia de chelltos déia.s'varlaciones-eri tales nes,-tomo álguer, , , , CelSel y'sárs colaboradores 1969) intentarott refacionar un conjunto deltó cidios, accidentes.y suicicitos, así como sus pórcentajes':que implicaran el ,üso arMa$ de fuego con un índlceOrnbInado cp.teer .;presarar la eldeisióri-enStre:„cada-,.„ legislaCión estatal vIgente erí l ,19101-eStringiilaria posesIón 17 :"/é. . :ritáifel árrna l :,Sé ; . = r, señó iirtrnodelo de regresIón para tener en cuenta el promediri".estatai'ddirtgresos Pér caP1ta, el nível educativo obteniclo por los residente_s adultds,ielreirigO'de.sexos, totpolicías por cadá 1 000 residentes, la propOklón de negros eiléedaTestado, ' derálldad de población, la edád mdd, tá y,los cizadores ¿ón Iltenediíeicapita en -estado. La variable dependiente consistléren los rangos de hoíráldlacenpistolá,l,X'LrVi incidenclade asaltos con dIchó-t1pó:'sle arrna, los t-angos-de accidentdconlpIstoky' y los rangos de suicidío crin -arins e de'firego. El reguLa. ciones acerca ddarmas inienta dernostrar que cuanto más estrictaS lac ioneS, tuerdítmenores ios prontedios delos-incidentestieladonaddlebri'el arrnas de :fuegó:PCiltérierrinente: •los autdie's,';é:Silínarori Tg: r tal-se llevara a su mayor rigot. como lai ey„ e Iueva1 ita1yiflyarlOs. cientos de muertes por año, _ •.- , en.un estuaso que cuestiong los .1-/sIlita,414:-.., Murray (1975) eXain1nról'el misnio proilerna, con los, mIsmos datos; sin embargo; tisr5 una . especificaeión'alternativa del rnodelo cldregresión: la legIslacIón,estatalSe--, mide mediante la presInpa o ausenciá de provls1dneS regulatortas veZ de ITIC-diante la reStrietividad total.,Se usaróri, 161'datostlehcertso de 1970 1, YlOrt,5, ringas del mismo año ,clios, accid0t0'wsitIcichos, y se érriplearon . . ¡-)árá;hornIcl _ _ . , c¿Iracterísticas estatahes,ádicionales, incluidO eVpóreentaje de desempleo, el porj centr-rje de l;POblación ticir :debaj6, l de la línrra , de Pbbreza y el indlce de la población,&l innálgrante„ El afi6li sWdélkilrelidili" -ilehlurra9 -HO:PrOdítja coeficlentes slgrtí tiv o s 't5ar ala . le g islaciat'aCere,a:del:Cónirote..statardéárirálde Jo cual Murray at t . Mentó-rqueidícha legIslaCiórirnOlafe5i.a : á los homicisiin.51',: iitá ios suicidlo-relailvosr , Fuenté:_,1. D. 1,1411.4, 19,'Ff4.10:sj;T.. ric ü Se;c).:11 amd D JlcJr 1k Rl in Ii In,t,tut e . Arnn
200
CAP. 6. DISEÑOS COMPARATIVOS
Si se concluye que los resultados son susceptibles de errores de especificación, en algunos estudios se encontró algún efecto y en otros ninguno. La diferencia principal entre los estudios fue la característica de que los estados eran manejados de modo constante en el análisis, lo cual muestra dramáticamente el error de especificación inherente a los diseños seccionales cruzados. Entre los estudios seccionales cruzados de programas de cobertura total mejor conocidos está el Reporte Coleman (Coleman et al., 1966), en el cual las variaciones entre un conjunto de escuelas en cuanto a los niveles del profesorado, finanzas, composición estudiantil y plantas físicas se valoran según su repercusión en el aprendizaje estudiantil. La valoración original de Coleman fue que las diferencias en esas variables entre las escuelas de Estados Unidos al principio de la década de los sesenta no estaba relacionada estrechamente con los logros del estudiante. Coleman manejó aspectos como las variables de los antecedentes estudiantiles constantes, para encontrar que los estudiantes no aprendían más en escuelas que gastaban gran cantidad per cápita en educación pública que aquellas cuyos gastos eran considerablemente menores. Hubo resultados similares al manejar los rangos de estudiantes a maestro, la adecuaci6n de las plantas físicas y el entrenamiento de los maestros. A pesar de lo anterior, el reporte Coleman no fue reconocido universalmente como una valoración definitiva. Muchos educadores e investigadores educativos refutaron los hallazgos de Coleman; además se celebró un seminario de dos años de duración, en el que se hizo un análisis y se probaron las especificaciones alternas en los mismos datos. La vulnerabilidad de las investigaciones de una sola captura en la crítica de los errores de especificación se muestra de nuevo. Por tanto, los estudios seccionales cruzados de la repercusión se relacionan con los cuasiexperimentos para tener una invulnerabilidad contra las críticas. Como puede haber sólo un caso persuasivo, no uno definitivo, para especificar de modo correcto el análisis para contar con explicaciones adecuadas de los efectos del programa, los estudios seccionales cruzados . están siempre abiertos a la crítica, en el sentido de qué análisis alternativos podrían conducir a resultados diferentes. Uso complementario de controles estadísticos Aunque un experimento aleatorio o un cuasiexperimento en el que se empleen grupos control se pueden analizar propiamente sólo por comparaciones directas entre los grupos experimental y control, a menudo los evaluadores también emplean los grupos control estadísticos en su análisis. Algunos programas pueden ser más efectivos con algunos tipos de beneficiarios y menos con otros. Por ello, al analizar separadamente a hombres y mujeres se puede encontrar que el programa ha sido diferencialmente efectivo con ambos sexos; por ejemplo, en el experimento TARP (Rossi et al., 1980), el análisis separado se hizo para ex convictas de tal manera que se esperaba que cada situación de ambos sexos (los hombres y las mujeres son recluidos típicamente por géneros de ofensas bastante separados y regresan a distintas circunstancias en el hogar) permitiría apreciar repercusiones diferenciales desde la intervención experimental de la elegibilidad para el seguro del desempleo sobre los liberados de prisión. En este experimento se encontró que la elegibilidad del
GRUPOS CONTROL ESTADISTICOS
201
beneficiario tenía un gran efecto de desincentivizar el trabajo de las mujeres de convictos, porque éstas eran más responsables del cuidado de los niños dependientes y, aparentemente, preferían cuidar a sus hijos pequeños que trabajar fuera de casa. El uso de grupos control estadísticos en experimentos aleatorios también ayuda a incrementar el poder estadístico de tales experimentos. Al mantener constantes los factores de la intervención previa relacionados con los resultados de interés, los efectos de la intervención se estiman con menor error en la medición. En términos estadísticos, la suma de error de los cuadrados disminuye, de tal manera que resultan errores estándar más pequeños al estimar la intervención; por ejemplo, mientras que la comparación de un grupo control directo con un grupo experimental en el experimento LIFE (Rossi et a/., 1980) mostró que el grupo experimental tuvo 8% menos arrestos que los que tuvo el grupo control, la diferencia se cubrió en un 0.05 del nivel de significancia. Un análisis de regresión en el cual un número de características preexperimentadas de los prisioneros liberados que se emplearon hicieron disminuir tanto el error estándar de la intervención como el nivel asociado de significancia a 0.02. La ventaja final de usar grupos control estadísticos en experimentos aleatorios es el potencial para detectar los efectos de las interacciones; por ejemplo, al analizar la intervención de la justicia se encontró que el programa produce simultáneamente dos efectos que tienden a impedirse uno con otro, un hallazgo completamente oscurecido en la comparación directa de una manera, entre los grupos experimental y control (véase el anexo 6.14). Alexo 6.14. Combinación de un experimerito aleator10.,y un enfoque de grupos control est¿idístícos para anallíztt una intervención de justicia criminal Dos experimentos aloatorios itiénticos se diseñaron para probar el efecto en la reintidencia'de,elegirloS : pag. ds:deFg'éguro del deseinpleo a prisioneros iiberadOs. En-16- eXpéritriéntos ,. - realizadoS- en;Georgia y Texas, parbeiparon c4verz 2 009,,,, prlsiorici liberados. Cos prisignerokliberados de las PrIsiones — estiqes alguppl.51kperimén(4011. (qüe'ófreeían ,, p- leO) o a- grupos..conti. q1;_(los.eúales fueron.s.-equidos chlrante. un aiío despiles de su níbIr¿Ción1 -.:- 14,rriedida'-réultáriteeóriktittóa'rrestos solurecarQos.relac1d.liádo..£911„, la prOpiedad uri imo elespués-icle Las-eOriiparaciones directglient.,11.2" grUpgs contrOl,TY'l.experimehtall,Pei.m ..:10 ron -COnClu'irqUe'el trala!-nientdrtió éjéttídefeefoS-discérnibles:enlósbaairoref t de-caraos relaciolhlt-los con la propi,dad, no obstante, la inclusión di r ,<'1 ,;,';:ulp2, óss-.e P c corit".12 - - n „ el,ta-elís=t, aclaró un „complejo,proce...594 tr tuyierán n 2fectó ppltd)‘.. ,?'"d-YreCta, ai.tre—dUclad-Saiiá.tóS,'-0,triíefectO el en:IpleerOgór tantO; • al Incrementar los árt.,,00.s. .És`titig,TddIléfectose aancelaban',u-no—aótroVderiábali'a)OI'gr--upo;s.„te-xperimntáles' con el IniSrrlo ntiinero de arrestos que 1c)s grupos•contrOlp'... . Latnalusión;Cle:un control, estaciísticco.:.ety este exp,erirnentb-laleatbríok?roé) ultadds _ nnTitnPórtál: I té délt161rni e ' ntO . _ - eaS'Clue Proporcionan áPOyo fiijaricierb modest i es prisioneros podrían reducir la -.reincidenaia Si étOs nb:desarfbIlába'n'áítnissino nerrip un.tiabajo desincentivizado:
202
7
, Como c beneficios por seguro de desempleo generalmente son sólo para quienes están desernple4dós , tótho condición de elegibilidad, este prOcedimiento, si se modifica, podrá prngrama cotiberieficios positivos e,n la'reducción de delitos sobre el patrimonio. Fuente: Re, ulnei) de P. H, Russh, R. Belk K Lenihan. Mr;nee. Work and Cre-ne, Acdderrec, Y,,rk. 1g:30
N1_112,:c1
EI uso de técnicas de control estadístico en estudios seccionales cruzados, en cuasiexperimentos o en experimentos aleatorios requiere una comprensión profunda del proceso sustantivo que subraya la intervención y su resultado presumido, además de un método estadístico multivariado completamente maestro. Mientras que una comprensión general de la lógica en que se basan los controles estadísticos puede obtenerla casi cualquiera, el empleo apropiado de técnicas implica un considerable entrenamiento técnico, un conocimiento sustantivo y el acceso a computadoras de alta capacidad.
DISEÑO DE INTERCAMBIOS En este capítulo se han descrito tres enfoques de investigación para estimar la repercusión neta de un programa. El más riguroso enfoque es el de los experimentos con controles aleatorios, el cual se recomienda en circunstancias apropiadas; sin embargo, para muchos programas los diseños experimentales aleatorios son impracticables o inapropiados. De hecho, en muchas circunstancias los enfoques de control construidos o los controles estadísticos utilizados en relación con las investigaciones seccionales cruzadas son preferibles y más prácticos. No se puede destacar la importancia del conocimiento a priori en cualquier valoración de la repercusión. Sin el conocimiento válido del proceso social en general y del proceso implicado en el programa particular, es fácil cometer errores graves en los diseños del estudio de la repercusión especialmente aquellos que involucran controles construidos o estadísticos.
Diseño de grupos unitarios para valorar la repercusión En este capítulo se estudian los métodos para valorar la repercusión con diseños de grupos unitarios; esto es especialmente adecuado para programas de cobertura total con tratamientos constantes. En tales circunstancias no es posible usar controles aleatorios construidos o estadísticos. El primer enfoque que se examinará es el uso de participantes como sus propios controles, lo cual constituirá una opción si se ha observado a los participantes durante algún tiempo antes de la intervención. Un uso eficaz de controles reflexivos es por medio del análisis de series de tiempo, de manera que antes de la intervención se den instrucciones para el proyecto que podrían haber sucedido sin la intervención. Los dos enfoques restantes se basan primordialmente en el juicio: la comparación de resultados con estándares existentes o normas (controles genéricos), o mediante el juicio de expertos, administradores o participantes (controles espectro).
CONCEPTOS PRINCIPALES
Controles genéricos: Controles reflexivos: Controles espectro:
Análisis de series de tiemPo:
Medidas establecidas del proceso social, como normas de pruebas publicadas utilizadas como comparaciones con los resultados de la intervención. Medidas de los resultados tomadas antes de las intervenciones a las poblaciones objeto participantes como observaciones control. Juicios de los expertos y de los participantes formulados para establecer la repercusión neta. Series relativamente largas de mediciones sobre los resultados utilizadas para predecir conjuntos de resultados futuros.
Al evaluar programas establecidos existen muchos ejemplos de total o casi total cobertura que impiden identificar y seleccionar grupos de comparación para propósitos de control. Aun cuando es posible identificar tales grupos, a veces el presupuesto del proyecto evita hacerlo. Aunque en las evaluaciones en que se usan grupos únicos en sus diseños se dificulte estimar los efectos netos, 203
204
CAP. 7. DISEÑO DE GRUPOS UNITARIOS
con salvaguardas apropiadas, esto puede proporcionar un conocimiento útil de la repercusión del programa. En algunos casos, tanto los datos suficientes y adecuados como el análisis justo resultan en evaluaciones relativamente rigurosas. CONTROLES REFLEXIVOS Como se señaló en el capítulo 5, usar las medidas de los resultados anteriores y posteriores de las poblaciones objeto participantes, en sustitución de los grupos de comparación, es un proceso conocido como acción de usar los controles reflexiuos. Este término es simplemente una manera de describir el uso de las poblaciones objeto como sus propios controles. Estudios anteriores y posteriores Para programas de cobertura total en los que es imposible describir o definir a los grupos control aleatorios o construidos, o localizar a la gente que no participe en una investigación, usar controles reflexivos puede ser el único enfoque disponible. Evaluar con controles reflexivos puede tarnbién ser un paso económico, especialmente si no hay razón para creer que los datos obtenidos de las poblaciones objeto al medir los resultados podrían haber cambiado sin la intervención; por ejemplo, cuando las poblaciones objeto corresponden al salario mínimo o a un nivel superior, antes de la intervención para incrementar los ingresos, la repercusión de un programa para aumentar los salarios se puede estimar mediante un estudio de controles reflexivos, aunque quizá no se conociera con certeza si los cambios reflejan la repercusión neta: La razón primordial de usar un diseño de grupos control reflexivos es que las poblaciones objeto permanecen idénticas en sus aspectos apropiados antes y después de la participación; en otras palabras, los registros de resultados de las intervenciones previa y posterior podrían ser los mismos sin la intervención (esto es, la repercusión neta podría equivaler al impacto bruto). También debe ser obvio que los diseños de grupos control reflexivos son altamente vulnerables a la subestimación de los efectos netos. El mayor problema con las poblaciones objeto como grupos control propios es que, por definición, los grupos reflexivos se obsetvan en momentos diferentes. Las observaciones de la intervención previa se hacen sobre unidades más jóvenes de lo que serán cuando la intervención se haya realizado. En la medida en que las variables de los resultados sean influibles por la edad o por las experiencias de la intervención extra que estas unidades acumulan después de su exposición al programa, no se aconseja emplear grupos control reflexivos. Cuando se valoran los efectos de un proyecto de reducción de la fertilidad diseñado para mujeres en edad de tener hijos, el simple conocimiento de la conducta de la fertilidad en periodos anteriores es simplemente inadecuado. El comportamiento de la fertilidad en cualquier momento no es independiente del comportamiento anterior a la fertilidad. Más aún, muchas mujeres en las observaciones del grupo reflexivo podrían estar por terminar su periodo de fertilidad y, por tanto, no esperar tener hijos en periodos subsecuentes.
CONTROLES REFLEXIVOS
205
Sin embargo, pára muchos procesos, los efectos de la maduración no son importantes, sobre todo en periodos cortos; por ejemplo, en una campaña educativa para cambiar las creencias de los adultos en cuanto a los componentes nutritivos de ciertos alimentos, es probable que no se compita con el proceso de maduración de la gente. Un seguticlo problema con los grupos control reflexivos radica en las diferencias potenciales de la dirección de la tendencia secular durante los dos periodos implicados. Si se observa al grupo de control reflexivo durante un periodo de depresión en la producción de la cosecha, una comparación con la producción de las cosechas durante un periodo de producción más normal originará un engaño. Asimismo, un programa diseñado para reducir el índice de delitos parecerá más efectivo si coincide con otros esfuerzos para incrementar la protección, o un programa de entrenamiento para el empleo será ineficaz si se acompaña por un periodo prolongado de incremento del desempleo y de condiciones de depresión económica. Un tercer problema resulta de las diferencias de los eventos de interferencia entre ambos periodos. Un euento de interferencia, como se definió previamente, representada una ocurrencia poco común que afecta la medición de los resultados. Entre los ejemplos cabe citar los desastres naturales, la crisis política y las epidemias endémicas. Cualquier evento que pueda afectar la medición de los resultados interferirá con el uso apropiado de las observaciones de los grupos control reflexivos. Un ejemplo poco común del uso de los grupos control reflexivos se muestra en el anexo 7.1. Shlay y Rossi (1981) obtuvieron datos acerca de una muestra del tratado del censo en el área metropolitana de Chicago, con el fin de valorar los efectos de las regulaciones zonales en la población y el crecimiento de la vivienda en la región. Se aplicaron leyes y disposiciones por zona vigentes en 1960 a cada región para formar una medida de cómo se limitó restrictivamente cada región. Mediante el empleo de las medidas adecuadas del censo de población y vivienda de 1960 para predecir por análisis de regresión cuál podría ser la existencia de población y vivienda de 1970, y al registrar las medidas restrictivas de las zonas, los autores estimaron los efectos de las restricciones en la división por zonas sobre el crecimiento de la población y vivienda en las regiones del censo. Nótese que el análisis mostrado en el anexo 7.1 depende principalmente de las variaciones de las regiones del censo a las regiones del censo de 1960, con sus regulaciones de la zona. Por ello, cada región sirve como su propio control para predecir el crecimiento en los periodos intercensales, y las regiones se contrastan de acuerdo con la cantidad de restricciones fijadas para el uso de la tierra en cada una. Las direcciones maduracionales en el crecimiento de la región, como los cambios relacionados con la edad de los individuos, se tienen en cuenta con el fin de estimar tales direcciones para el conjunto total de regiones si se considera dividir por zonas las causas de las desviaciones de tales direcciones maduracionales, como lo representan los valores predichos para los haberes de población y vivienda en 1970. Los estudios previos y posteriores de las intervenciones de cobertura total son relativamente raros, sobre todo porque las medidas anteriores a la intervención en los programas de cobertura total, por desgracia, no están disponibles, y porque su análisis apropiado depende fundamentalmente de la variación en
206
207
CONTROLES REFLEXIVOS
, . _ , . . de loS efectos.delas-regulacíones _ Anexo 7.1 - EstimaC.ión de zonificación-en , e1 crecimientó de la vivienda y,rde los, . '' ' A de:Chicagn 1-9.60,1979." ' niVeles de población en tin SM S . .. teI I c a g o y del resto , Shlay y Rossi usaron , muestrás del -censo de la ciudad de la,MSA de Chicago para conocer, según los registrós niti-nicipales locales, las reguláaóries de zonificación Vigentes pará cada censo en 1960. S e cons ruy un conjiantb • clé Indicesipara,cáda se_ccl6n del censo i,elscuakreflejába,e1.grado en que las'regálácibnel-ácereádé Iliioniflcaci¿n restrlágiál¿liilo réSIdéricial lie la nerra que variab-an desde el tmtrón de uSo exclus19O, en el que SEllo se perrnitieron casas .. J. para familias, hasta-el urnenOs exclusivo; en el que se perrnitía'-, ! , . , : indi ,so .. ,... yidíliales ,. . las comerciales e industriales. , ,.-: d, , cualquier unlización del suelo, Jncilidas : 1970'para-viviendal ycy,ácterístl.pas ,e LOS valores de los censos de 19 t;láctón se ernplearon con ei fin ,de e_taYbOrárUna ecuáci6n de'redieli¿n cj.1.1éT1ecl s Pcícá las Caractertsticas del censg, de,:1970, con bas'-e,'en los s:faloresd99,60sli_zelínCli es e„ ..nífi,,, »,:encontraróri -e¡ue las regulacion 1 dezonificación. Los invesugadt Válori los rangot'dO. recTmlento de lo que cabría esperar con .a.s.e,eri'in.,, -Ç '-ii bIllá:tr lb..déSda, - dis Hlelás , leza ' On la natura a rl - normal, y afectar enio ' creein i6 cl ..,, , y SOc.ioeconómicas de lá,ligilación del cen14.;=='-'-' " ''.. 4,- - v,•.:-.-,.-...:1-. _: ih6od Est1mati NetEfferts Fuente: Tornado de A.. Shlay y 1; FURcissl, "Keep.Inghip ,the N apt4,1.;;Ii,.., - res9. 0.,,olool Rei,teul, Dicie'n,hre^de:19_8-1;L o ciologicat '26 nin g " , en America7-1 S. . , ,
o
variaciones estacionales. También se puede aceptar lo anterior según el grado en que cualquier valor o anotación de una medida se relaciona necesariamente con las medidas previas (técnicamente referido como autocorrelación); sin embargo, también cabe señalar que lo implicado en el procedimiento es muy técnico y requiere gran complejidad estadística. Los anexos 7.2 y 7.3 muestran el uso de series de tiempo existentes en evaluaciones para valorar la repercusión de una ley sobre control de armas y de un proyecto para la conservación del agua, respectivamente. En ambos casos, la evaluación es posible debido a la existencia de series de medidas relativamente largas (con aproximadamente 120 puntos en el tiempo) sobre las variables de los resultados. Así, en el anexo 7.2 se muestra información recolectada durante varios años en cuanto a delitos cometidos con violencia reportados a la .policía (como homicidio, asalto y robo a mano armada), con el fin de establecer una dirección esperada para tales delitos ante la ausencia de una ley sobre control de armas vigente en 1975. La comparación de los rangos experimentados después del decreto con los rangos esperados ha proporcionado una medida del resultado neto. En el anexo 7.3 se muestran los mismos procedimientos, en los que se emplean los rangos del uso del agua antes y después del decreto sobre regulaciones para disminuir el consumo del agua. También cabe señalar que en ambos estudios se usa un conocimiento anterior respecto de los factores que afectan las
Í , Anexo 7.2."Análísis de series de tiempo del efecto .- -.:_: :-."-_, ' --- .de" la ley acerea del control de armas' ..de Mass'achusetts' el tratamiento (como se muestra en el anexo 7.1). Existe tendencia a valorar los programas de cobertura total con tratamientos constantes mediante el empleo de grupos control genéricos o espectro, como se verá en otras secciones de este capítulo. Análisis de series de tiempo de programas de cobertura total Para numerosos hechos de preocupación pública (por ejemplo, la fertilidad, la mortalidad y el delito) o de preocupación administrativa (por ejemplo, la proporción de estudiantes que desertan al final del primer grado) existen a menudo series de tiempo, medidas de resultados tomadas semanal, mensual o trimestralmente, o en intervalos más largos. Tales series de tiempo proporcionan bases relativamente firmes sobre las cuales hacer estimaciones de lo que podría suceder en ausencia de una intervención. Cuando se utilizan series de tiempo relativamente largas de las observaciones de la intervención previa es posible modelar las direcciones a largo plazo del grupo de objetivos, proyectando tales direcciones mediante la intervención y observando si el periodo de la intervención posterior muestra o no desviaciones significativas para ellos. El uso de tales procedimientos de modelado de las direcciones en el tiempo, como ARIMA (McCleary y Hay, 1980; Pyndyck y Rubinfeld, 1976; Cook y Campbell, 1979; Hibbs, 1977), permitió identificar las direcciones que más se ajustaban, para lo cual se tuvieron en cuenta los patrones lineales y las
-,'
. En abili:de 1975; el estado cle Massachusetts puso forrnáltriente en:vigor„b ley r adercá"dél cofitrol de armas que:r disponía un año de,sentencia 'epitit±-mlill para quienes resultaron responsables-de p ortat'arrnaSsinlleericia espiátNie-dr : te este estudio se evaluó el efecO,di,süá,-Skú,zilde láley.11..ápfensasrelacionaclaS eodet,'"i''.1 - honlicidio corrie tidóéOriá r ma alíúé g. &:e1WWto--édt4'árrnasy el robo'a rrian6arrri•:,,-,---,' cia", én lá ciud¿I ¿" t del.Bostón, fucron'exarninadóde acuerdo con lOs can-ibios en stillM nlifigi es rcluranté :'el -. "Peri-OdO antertor, ac tuáVy Posrerior-Akti.ggretode'-dicla''..10É, Los rribdelos esto-aSsticos enipíriC6á iriiiltip liOtiVOá'Oálin,láráffietro_,-. e.cálnW ..:. blo'SI:ernplea:rsiti : Pára'áhalizárI lás:Sgi-Igs dé t i eni'llii'Iri ;4iiiit111.1utos ine — es d
tlincidencia'de hbriiIddió, a'salto,9 r.bbo'á, rnano arinlélit'intáliTeÉliclad de B&.oh de-,•-•":1','' -de enero de 1966 . hasta octutifejde :•' - ''-, 1975., ' - '..---- . '•' . : - -., . 1 .Los autores,cncontraron nFitigIla;. jey acerca del ebntrof de . armas ha afectado:-."::' haSta un nivel'eStadrstiCO:en clectéMento tanto los robos a mano armadil'coM6 et.:_. . -asaltó con pistola eri.: el tiernpo de, su elgencia; Si n erniiárgo, en el rango derhomic.t-,,,l,. 1 dios se observaron'caint n tós poco signifiCativós, descW0p!„í, t*i-de.y.l. , díst.0 _.,:."--Los autpres atribuYeron la carencia de efectos sOlire_el:',hOrniOdlóléri, ',P.Op_.411. los,hornictclios cornetid ?S' gr-i 'taSas-habitád&ri:ai hh-,O, dg cjue la repel. ",a-, '[-' 5jci ón-e :, ;,...1Siárvfutur' a:elerciántrol de arrn aj s,p.tiré::01-lornicidió.4ri'..11,hergl puédé M..)delcubi'l lalliilários añoPii suclil' " "'''' -1''''' '''''''''''' ''''"...kl. '37,-,l: J3' Fuente: Resumenrde'I.91D ,
ntt91 05,
_
208
209
Anexo 7.3. Análisis de series - de tiempo acerca de la repercusión de una canMaiia para ahorrar agua
Anexo 7.4
de :Jgria de Goli_ta) declaró una En 1972, la Goleta Water Board moratoria para las nueVas tomas de efo, ua, en 1111 r.bfueczo por mantener ,21 nivel de demanda dcmtro de los Iírnites de surninistro hasta que se pildieran valorar fuentes de agua alternativas. Además, se tomaron otras . medidas de cOnservación para reducir ci consurno cle agua, incluido el decreto /de leyes locales qtae prolilbíán el desper clicio y las campañas de educación. El Propósito de este estuclió fue valm ar la distrito de agua del condado de Goleta en cuanto a su efectividad del prograrna esfuerzo por reducir el consurno de agua. La efectividad del plograrna sé rnidió rnécliante dos variables pendientes: las ventas domésticas y comerciales y la producción. A fin de rnejorar la valoración de la repercusión del programa, .7idernás de la ternporada de lluvias retrasada y la gent e, éstas se tornaron comp vanables exógenas-en modeIci . de regresión:Los datos mensuales de estas variables ettivieron2diSPonibles desde 1966 hastá 1976. Los autores mantuvieron coristantes otras variables adecuadas para dernostrar que la vigencia de la moratória tuvo una influencia estadísticamente significativa en el uso del agua. Los resultados mdican una reducción det 15% en el consumo agua durante los tres años siquientes a la ecución de lá rnoratoria.
, En 1967, el gobierno ingles decretó una nueva•polítI4ulperypittlzillpglIct obtencr pruebas del un iii 1 lel aliento en editigarldél:4041-11044.:;14161..:/soid nb-dir la presencia del alcohol en la sangre del,SospecnOicI:Se'establééliórt-P severas pára responsables de manejar de la nueva ley, la crial entró en vigo t ..t ;; lerí'ejót4ij0 .4096 — En la siglitente ,tigura se rnuestran164 :fp. Icil.41 - 40 4 . iltos9ehleu ,ares dit varios periodos de la serriana anterlor y pOtterlót en:qüe en vigor. En puede observ ar,;ilii:OsjiiIntiCilllii i'eti los accIdentes dos después d lá leqlslación, lá Cual al5aí.¿6'1'nnti- ddfa:"I'de la serharra, pero especialmente efectos dramáticos en el fin de semana.
Fuente: Resumen cle J. E MI, D M ut a Water Conserv.mon
Irripact
nalisis del efecto en accidentes de tráfico en las pruebas del analizador de aliento para manejadores implicados en accidentes
o
Horas y ctlas tonf.
uf the A. Berk, "A TlIne Setl, A Quartt rle, num 2, t, brero 1 , 72 pflg,
H,f(TIlan sR.
107.1.18.
1
mediciones de los resultados, con el fin de reglamentar las posibles explicaciones competentes. Como en otros grupos control estadísticos, los análisis de series de tiempo son susceptibles de errores de especificación; por ejemplo, el análisis presentado en el anexo 7.2 ha sido cuestionado por Hay y McCleary (1979), quienes argumentaron que el modelo ARIMA empleado por Deutsch y Alt era incorrecto. Hay y McCleary usaron un modelo ARIMA alternativo para encontrar que algunos de los efectos de la Ley sobre control de armas de Massachusetts, valorada por Deutsch y Alt, desaparecían cuando se aplicaba un modelo "más correcto" (consúltese también Deutsch, 1979, para conocer la continuación de este debate). El punto que se debe tener en mente es un viejo refrán: los controles estadísticos, ya sean los análisis seccionales cruzados o aquellos utilizados para modelar las direcciones de las series de tiempo, no son mejores que el pensamiento a priori implicado en su construcción. Métodos más simples para examinar los datos de series de tiempo, antes y después de la intervención, pueden proporcionar pistas superficiales pero útiles de la repercusión. Si se conocen las influencias que confunden una intervención y hay certeza de que sus efectos son mínimos, las series de tiempo sirven para establecer los efectos netos del programa. La carta mostrada en el anexo 7.4 presenta los rangos de accidentes automovilísticos en Gran Bretaña antes y después de la promulgación y el reforzamiento de las leyes, cambiadas drásticamente de acuerdo con el tratamiento de personas involucradas en accidentes y
Noches de fin de semana
1111111111111.111-1111- ÍL1 111-1111711111
FirIAHJJASONDE_FMA"MJJASON.DEGHAMJJA5G,C9 1 ck-rty I h5 7 1539
Fllent,nT,m3do
torrn. The B n insh 1‘ , 70. atj 000
H.E 11
D. T C ,,rnr 5,11 y G y
cf
Gla ss,"DetermlnIng the Sotial Effectsof a Legal cn Americon BhaubDral ScientIst, nürn. 13, marzc.abrIl de
210
CAP. 7. DISEISIO DE GRUPOS UNITARIOS
sancionadas por manejar en estado de ebriedad. La carta indica que la legislación tuvo un efecto discernible: los accidentes disminuyeron una vez que estuvo en vigor y, sobre todo, la disminución fue más dramática para accidentes ocurridos en fines de semana (el análisis estadístico verificó que los efectos evidentes también fueron significativos). Cuando hay series de tiempo para las intervencione,s, en tiempos y lugares diferentes, se debe hacer un análisis más complejo. En el estudio de los distritos para conservar el agua descritos en el anexo 7.3, Berk y sus colaboradores (1981) emplearon múltiples series de tiempo sobre el consumo de agua, con el fin de comparar la eficacia relativa de valorar las políticas contra las campañas educativas para reducir el consumo de agua doméstico e industrial. El análisis de series de tiempo es eficaz para diseñar las estimaciones de los efectos de un tratamiento constantes, en programas de cobertura total. Se recomienda dicho análisis para circunstancias en las que existen series estadísticas apropiadas. CONTROLES GENÉRICOS Todos los enfoques hechos en el capítulo 6 y en la primera parte de este capítulo, están basados en observaciones especialmente realizadas para estimar lo que podría suceder sin la intervención que se prueba. Estos procedimientos se recalcan porque en muchas situaciones se tiene un firme conocimiento acerca de lo que sucede generalmente en el curso de una acción social. En contraste, en diversos campos de las ciencias físicas (por ejemplo, la química) se publican grandes manuales que proporcionan valores estandarizados para una amplia variedad de procesos físicos; por ejemplo, no es necesario para el químico industrial especificar el valor UTB novo típico para varios combustibles, pues existen múltiples manuales en los que se listan tales valores, basados en la serie de experiencias que pueden registrar los investigadores. No obstante, para el investígador social existen pocas complicaciones comparables; por ejemplo, no se conocen las experiencias típicas de personas en los mercados laborales urbanos; aún más, no se sabe que tales experiencias "típicas" cambian de estación en estación y cada año, de manera que fluctúan con el ciclo de negocios y con la participación de los trabajadores en el mercado. En despecho de la ausencia general de tales valores estandarizados, existen algunas áreas del comportamiento humano en que tales controles genéricos están disponibles. Como se vio en el capítulo 5, los controles genéricos son medidas del proceso humano y social reconocido generalmente como bien establecido. Los controles genéricos existentes incluyen medidas del proceso vital (por ejemplo, rangos de muertes, nacimientos, sexos y proporción de personas en las varias categorías de las fuerzas laborales) y los derivados de esas medidas; además existen estándares publicados o normas de las pruebas psicológicas variadas (incluidas las de inteligencia, la asimilación de diversas habilidades, la personalidad, etc.). La información proporcionada mediante los controles genéricos, con las excepciones propias, se puede usar para estimar lo que habría sucedido sin la intervención. Por ejemplo, para descubrir los efectos del agua fluorhidrada sobre la caries dental, se notó que la incidencia de malestares dentales variaba entre la pobla-
CONTROLES GENÉR1COS
211
ción de cada localidad y que tal variación se correlacionaba con la cantidad de flúor encontrado en el agua potable. Esta correlación se descubrió porque los epidemiologistas dentales tenían una firme noción de los rangos normales de la formación de la caries. Asimismo, la detección de los restos epidemiológicos radica principalmente en el conocimiento que tiene el epidemiologista sobre los rangos de incidencia ordinaria para cada enfermedad; además, la eficacia de las medidas de salud ocupacional se estima en comparación con los rangos de muertes esperadas en los diversos casos para la población general. Al considerar las intervenciones educativas, suelen seducirnos las normas publicadas de pruebas de aprovechamiento escolar como controles genéricos; sin embargo, hacer esto puede originar errores serios; existe tanta variabilidad entre la asimilación relacionada con un nivel socioeconómico, antecedentes étnicos y factores similares, que las normas publicadas suelen ser tan generales que carecen de utilidad. Así, al evaluar si un nuevo programa de enseñanza educativa es o no eficaz, lo más recomendable no es comparar lo benéfico de las pruebas de aprovechamiento escolar de una muestra de niños citadinos con las normas publicadas por el diseñador de la prueba. Los rangos comunes de aprendizaje para tales niños probablemente difieren mucho de tales normas generales. Asimismo, probablemente es un error comparar los ingresos de los hombres de 34 años de edad, como los reportó el Census Bureau's Current Population Survey (Censo de la Oficina de Investigación de la Población Actual), con los de aquellos de 34 años que sólo han completado el curso de entrenamiento vocacional. En resumen, los controles genéricos están disponibles o no, por lo general, con el suficiente detalle para que los evaluadores puedan confiar en que las normas en cuestión son apropiadas para un uso particular. Las normas son una forrna especial de control genérico, cuando son absolutas, algunas veces aplicadas en circunstancias en que las metas son explícitas; por ejemplo, una meta por alcanzar en un programa de mantenimiento del ingreso se puede ver también para que cada persona con más de 18 años de edad reciba un ingreso mínimo mensual de 500 dólares. Se puede pensar que esta meta tan específica represente también un "control genérico", y un programa se puede valorar según se logre o no la meta. Del mismo modo, el objetivo de un programa de rehabilitación de prisioneros puede ser reducir la reincidencia a cero, lo cual también constituye un logro medible; sin embargo, pocos programas son tan eficaces para alcanzar metas absolutas y tampoco es probable que cualquier meta se especifique tan absolutamente que se pueda conseguir mediante una intervención. Cabe recalcar que los controles genéricos se deberían emplear sólo en circunstancias en que otros controles no estuvieran disponibles. Se puede considerar su uso en otros contextos evaluativos. Ciertamente, los controles genéricos no son costosos y no requiere mucho tiernpo recolectarlos, sobre todo en comparación con los gastos hechos al usar controles aleatorios o construidos; sin embargo, aun cuando los controles aleatorios construidos o estadísticos no se puedan recolectar, se deberían usar los controles genéricos con la mayor precaución, con un intenso escrutinio acerca de si los controles genéricos en cuestión son comparables o no con los participantes de cada manera crítica.
212
CONTROLES ESPECTRO Para muchos programas sociales es difícil encontrar observaciones acerca de los controles genéricos. Simplemente no hay normas para el entrenamiento vocacional, para el mantenimiento de los ingresos o para los programas de consejeros, por ejemplo; no obstante, existen personas con experiencia en varias áreas de serviCios humanos, sobre cuyos juicios se pueden confiar cuando se construyan estimaciones acerca de si un resultado bruto es o no prueba suficiente de una repercusión significativa. Además, también es posible considerar a los participantes para obtener valoraciones de si un programa ejerce o no efectos significativos sobre ellos. Los juicios de los expertos, de los administradores de los programas y de los participantes se llarnan controles espectro, nombre escogido para reflejar su común carencia de evidencias sustanciales. En despecho de que los controles espectro, por lo general, se pueden usar sólo con precaución extrema, a veces su uso se justifica. Una de estas circunstancias es el caso de un programa extremadamente exitoso, como se verá en seguida. Un programa de entrenamiento vocacional de dos meses de duración diseñado para contratar a choferes de camiones de uso pesado, fue seleccionado por el 90% de los candidatos (de entre las personas sin tales habilidades) para obtener la licencia de manejo. Tales hallazgos sugieren que el programa fue exitoso, pues se alcanzaron sus metas al impartir mayores habilidades vocacionales. Se puede emitir tal juicio porque parece improbable que tan alta proporción de cualquier grupo de personas sin habilidades que desean convertirse en choferes de camiones sea capaz de obtener tales licencias en menos de dos meses. La valla de este juicio depende principalmente de conocer algo acerca del manejo de camiones y de las habilidades especiales inherentes, así como de tener algún conocimiento acerca del examen para obtener la licencia de manejo. Un conocimiento a priori de su alta validez es importante en tales juicios. Los resultados principales pueden permitir tarnbién reafirmar los juicios. Si todos los participantes en el prograrna de manejo de camiones fallaran en el examen para obtener la licencia, este hecho podría ser evidencia de la falla del prograrna; aun así, tales juicios no se pueden hacer sin tener algún conocimiento acerca del manejo de camiones y el examen de manejo. También puede ser que todos los aspirantes se equivoquen en la primera prueba y que la prueba crucial dependa de si obtienen o no éxito en el segundo intento. Por supuesto, los restiltados pueden ser ambiguos: puede haber sólo un 30% que aprueben el examen para obtener la licencia. La típica forrna de resultado origina la cuestión de si un grupo comparable que no recibiese tratamiento habría pasado la prueba también. Generalmente, la simple medición anterior y posterior de los participantes objetivo sólo documenta el hecho de que un proyecto influye en los participantes, de manera congruente con las metas del proyecto; sin embargo, esto difícilmente puede ser una prueba definitiva de la repercusión neta. Por ello, para resultados típicos de un programa es riesgoso usar los controles espectro.
213
Juicio de los expertos Si los juicios de los expertos se van a usar como controles espectro, su valía dependerá de las habilidades y del conocimiento de los expertos en cuestión. Quienes conocen el campo de la educación vocacional para adultos y los resultados típicos del proyecto de intervención en ese campo, pueden ser interrogados en cuanto a su experiencia en lo siguiente: si el 30% descrito es mayor o menor de lo que sería el resultado exitoso para un entrenamiento vocacional de adultos. Desde luego, la utilidad y validez de tales juicios y, por tanto, la validez de las evaluaciones en que se formulan deperiden totalmente del juicio de los expertos y del desarrollo de un conocimiento firme en el carnpo. Si el juicio de los expertos (o cualquier control espectro) se va a emitir es esencial que sea de modo explícito: es decir, las bases sobre las cuales los juicios se formulan deben describirse tanto como sea posible. Si un experto emite un juicio basado en su propia experiencia, la extensión de tales experiencias y la variación de instancia en instancia se deben revelar. Cuando sea posible las referencias explícitas para otros estudios evaluativos se deben dar para que se compruebe si las circunstancias de otras investigaciones son comparables o no con aquellas en las cuales se emite el juicio. . Frecuentemente, el control espectro es una conclusión o construcción basada en el conocimiento de los expertos acerca del proceso implicado Así para un experimento en criminología puede ser "obvio a la razón" que una intervención sea efectiva, pues se apega estrechamente a los paradigmas principales en el campo concernientes con la rahabilitación de ex prisioneros. Mientras que el juicio de un ingeniero industrial concerniente cón la efectividad de un proceso de producción puede basarse en el medio de acción, el de un criminólogo acerca de la rehabilitación no se apega al rnismo lineamiento. Desafortunadamente, la verdadera razón de emplear diseños rigurosos de valoración de la repercusión en el área de progt-amas sociales es ciue el estado del conocimiento en cada campo es inadecuado. Aunciue la "razón obvia" es que rnuchos programas serán exitosos, a menudo no pasan las pruebas más rigurosas de los mejores diserios de valoración de la repercusión. Los procedimientos que actualmente emplea un experto para llegar a controles espectro pueden variar en alto grado. Típicamente, se contrata a un experto bien conocido (o expertos) en el carnpo (con-to un consultor) y se le envía a conocer el sitio del programa con el fin de examinar detalladamente si funciona y para escribir un informe en el que resuma las experiencias y valoraciones (en los anexos 7.5 y 7.6 se proporcionan ejemplos típicos de tales valoraciones y sus juicios). La visita del experto puede servir para examinar los registros del proyecto, observar el proyecto en operación, efectuar entrevistas con los participantes, hablar con los administradores del proyeCto, con el equipo de trabajo y con otros oficiales y realizar entrevistas con los primeros participantes. En resumen, se pueden emplear todos los rnedios de la investigación social inforrnal. La validez de la valoración mediante los juicios de un experto, depende de las consideraciones siguientes: Primera, se debe considerar el estado de conocimiento del campo sustantivo. En un campo en que el conocimiento de cómo lograr un resultado particular es avanzado, la apreciación de un experto será muy adecuada. Si se conoce poco en un área (como rehabilitar delincuentes), el juicio de un
214
CONTROLES ESPECTRO
Anekó' 7.5. Uso del julpio de los experto H - par. a e -valuár lá inilúencía de la partiCipaCio ctudadana en lá, 4 ieriovaéiónurbana . _ . ;
y asrldlipatttIP " autoreefectuárán:-,éni,illst ron--"dátós' Cle'la'S,11Stas de r -rnieOrp`i:cle; „1o, rgánlaciones citidadanas, a; fln de ' y alOráriá;efe'étividad deldS»ntentót,para?uSarun proceso oei jieltti c t pcy5n en el,_ cliseño de,tift:Oan de reribvactÓri'úrban -a`difigido al área deláthiiversidád de Chi.cago..1.17valoraeión tómó y arias formas: prIrhera, se snterregó a los planiflCadore's acer'ea-delascaracteríSticas del,pian terminado gue . fuesen afectadaS Por ef - proCesó- deParit-CtlabiZn; segu' nda; l eeXarrit0i-ion los registios docuMentales cimnio á lás relittlórie.entre planificadoiá y cládadanos;y terdera3e'-hteleroti'1-7‹ 'estudlos detallado cleTlas característical-eSpectft d pIart;;,e0.trifitteritd,cliscerntr.cómo selormaron los planes final
úalaraCión- del Anexo mediárrte-,e1,ernplewide : estadístic.as adrninistrativás. anterlgrelj ,,,p:o,s t e!-,155'0.1s1,álf . . • •
-
-
en un centro para prisioneros liberados ayuda o no a los enjuiciados a obtener empleo, debería conocer a fondo los estudios acerca de rangos de empleo para ex Convictos realizados durante los meses previos a la liberación. Asimismo, el conocimiento de que muchos estudios influyen en el tamaño del salón de clases con respecto a la asimilación a pesar de los efectos positivos en los rangos de satisfacción de los maestros, deben hacerlo a uno escéptico de que un programa basado principalmente en tal estrategia contribuya a la asimilación de los estudiantes (aunque puede complacer a los maestros). Segunda, uno debe darse cuenta de que es natural-para el administrador del proyecto intentar presentar éste de la mejor manera posible. Así, se debe esperar que el estado del proyecto en el momento de la visita anunciada sea mejor incluso que en otros periodos, de rnaneras proporcioriales, desde el aseo del local hasta las posibles buenas referencias manifestadas de lbs participantes. Debido a que en tales'Circunstancias las valoraciones mediante juicios émitidos por los expertos son sólo géneros de valoraciones de la repercusión, es importante que tales expertos sean seleccionados cuidadosamente de acuerdo con su habilidad para analizar la comunicación y su conocirniento de la disciplina implicada. Como mínimo, los expertos deben Considerar las siguientes fuentes de datos: 1. Registros administrativos. Los expertos deben recabar información de tales registros administrativos (o tener tabulaciones hechas) acerca de diversos temas, como:
-
op cómd,_ a:;.kildáTfarn at:tntegráda, fue un prctijecto La e'dulact6rt ' ;un Intento'.0árit,".séducar-a'lbs , adttlitiS ácerca i'dejas prácilbá apropladas en nutrieión, agrIcultüra, Planifkaadit sé úsaron clases cón nitittia.S - Mateilas intruetiYas'cUidadd4triénte'é.' stüi anteprobadas, sóbre tódo'para la población John Pet-tit, un éyalliadOrpdern0;htIO,IMktrts t tald1,93: TP9,4; i0s s s Oel. yeetd -, -ditrunte tres semanas usó las eSiadí;1311.S:adiningliáleleri4elál'.,11ts rnedidas ariterlores y posteriores de alfab;etismo, suscripción:a practicas áProPteitias, etc., para dernbstrar güe los a y ances sIgnifleatiYos habían slclologracló, poi loS,Participantés del programa. Se emprendieron entreyistas c,on tes; con loSlíderes'.,cle lá cornimidad y con los-emple,gdos del egutpd dé trabajd, 12-1' , nledielas antetior4 -Y,'-ddSterlbreS: se hirCie-rOii = pará:Tbropioi.cfnnaiprnerdretrda " '.ide Irn forrnación a lostra adores del proyecto, yparajtç' limentación en for.1-a' fueran útileS'en la éváittación; por ejeMplo, en Ur!a,pequeña villa, los participantes," comiléno del progi-a-' gue realizaban praCticas'familiares apropiadas (r4.0'el „ „ ma . y 32% al final del ciclo de entrenaMierítilv; Crone: Fuente: Re-surnen, con-11.1.0406n, t . ....Edil,cation"Reportgrsir)Cnrn. 'ae 1977 i P 5 5. 1.13
L.
215
-
experto acerca de la efectividad de un proyecto particular no será más valioso que el de cualquier otra persona. Los expertos deben conocer también los hallazgos de otras evaluaciones, incluidas las más sistemáticas, de programas similares; por ejemplo, un experto a quien se interroga si un tratamiento comunitario 4
Tamaño del proyecto. Tipos de participantes seleccionados. Experiencias en la deserción de los participantes. Experiencias posproyecto con los participantes. e) Costo en el proyecto por cada participante que completa el programa. Medidas anteriores y posteriores de los cambios en los participantes adecuados para las metas del proyecto. Obseruaciones acerca de la operación del proyecto. Los proyectos que requieren trabajo activo de parte de los participantes (por ejemplo, visitas familiares, sesiones de salón y presentaciones a los medios) deben observarlos directamente los expertos visitantes. Entreuistas con los participantes. En las entrevistas informales con los participantes y/o con los primeros participantes, por lo menos algunos de los cuales son espontáneos, se pueden considerar problemas tales como: La selección de, los particípantes. La motivación de los participantes. La satisfacción del participante con el proyecto. El progreso del participante en las metas intentadas con el proyecto. 4. Entreuistas con los contextos adecuados. Las entrevistas informales con los oficiales locales, con los administradores del programa competente, con los administradores de instituciones locales importantes (por ejemplo, superintendentes escolares y jefes de policía) y con individuos de la
216
217
CAP. 7. DISE190 DE GRUPOS UNITARIOS
localidad poderosos o representantes de las instituciones locales influyentes (por ejemplo, grandes terratenientes, banqueros y autoridades políticas) deben abarcar los temas siguientes:
Anexo 7.7. Analisis de los efectos de gran proporción en un programa de reforma de la tierrá de la nueva negociacion
Validez del proyecto. Extensión en que el proyecto es considerado como una ayuda o tratamiento para la comunidad. c) Interés en la continuación del proyecto cuando ha terminado el periodo de demostración
En la década de los treinta, durante la nueva negociación, se decretó una serie le rofcm:Mas'agricolas, rnuchas de las cu,des fucron (-1e corta duración. Una de leformas irnplicaba la ,coinpra de til ra ' su venta a pequeños granjeros para trulr hogares a bctenos piEclos y con ¿Ielecuados tórmmos financteros„ Algunos de los proyectoS específicos cornenzaron ante protestas do los intereses de e.stableci-
En compensación con la debilidad del juicio de los expertos, a veces este enfoque puede ser el único por hacer, como en el caso de intervenciones de larga duración, cobertura total y nivel constante. También, la urgencia de la necesidad para valorar la repercusión puede forzar la confianza acerca del juicio de los expertos; una carencia de recursos quizá impida hacer valoraciones relativamente costosas y con amplia escala en las que se empleen grupos control o un enfoque seccional cruzado. Aún más, otros controles pueden ser factibles al principío, pero tediosos para ponerlos en prácticas. En el anexo 7.7 se muestra un estudio poco común en el que el tiempo empleado desde que el programa se estableció fue de más de tres décadas. Salamon (1974) valoró la eficacia de la política de reforma de la tierra de la década de los treinta al examinar los títulos de propiedad para ver si la gente a la que se dio originalmente la tierra aún tenía su posesión. Salamon encontró alguna continuidad en el tiempo, por lo cual concluyó que la política era eficaz para crear una clase media entre los negros respecto de la tenencia de la tierra. Por supuesto, tal conclusión es resultado de un juicio acerca de si la proporción de colonos o de sus descendientes aún perrnanecía en poder de la tierra era mayor o menor de lo que podría esperarse respecto de la tendencía general de los poseedores de la tierra a cambiar de generación en generación. Ese cualquiera de los poseedores originales o de sus descendientes que aún permanecen es evidencia de alguna repercusión, pero el problema es sí esta repercusión es diferente de aquella que cabría esperar en cualquier evento íntermedio en tres décadas o más. El caso de Salamon acerca de la repercusión de los programas de la ley de reformas de nueva negociación se podría reforzar para demostrar que parcelas similares de tierra en la misfna parte del sur de Estados Unidos no muestran un cambio comparable de pertenecer a negros durante el periodo, y/o que el programa no ejecutado de la tenencia de la tierra entre negros tendía a variar a la tenencia por blancos. Indudablemente, las dificultades para asegurar las razas de los dueños de las parcelas hace 40 años obstruían el uso de esta estrategia. Juicios de los administradores del programa Los administradores del proyecto son rutinariamente interrogados con el fin de valorar su progreso para alcanzar las metas del proyecto. En muchos casos se duda que se dé mucha confianza a tales reportes como valoraciones de la repercusión, por razones obvias. Primero, es difícil realizar un juicio de la valoracíón de la repercusión en las mejores circunstancias. Es mucho esperar de los adminis-
mientes agrícolas y originaron la cancelación del programa. Durante la década- de FoS setenta, e/ autor efectuó una evaluaciOn de la de Reforma cle la Nueva Negociación y de su programa, al examinar a los propie, trios de laS inicelAs. -que fueron vendidas a terratphtentes negros en ocho pro : , yeciOs de ieübkáCióh de la tierra en cinco eStadoáRtás regIstros de los terrate-:,..2 mentes o nsstigaron para.determinar si la tiorra en cuestión permanecía manos ,cie las personas relativas o 'deScendientes de las famihas a quienes se venWeron ' en la década cle los treinta. ' Satunon concluyó que el proyecto fue exitoso para crear una clase media:negra permanente, dadó que rriucha de la tierra estaba aún en manosde los asenta-In Inientos unglnales y de sus descendientes, Fuente:ri 1 fe i con autc/izan6n, 2 iehn 1 in Policy Evaluatio Nrw . . .n . Th, Cas,
Dinlen5ion
27, núm,
- -
,
and SID n s Iner, áe L M 5,,.lanlen, 'The Tsner.".." LzInd Reform Experlments", en PublIc Pohcy,
1979.
tradores y de sus responsabilidades diarias en la realización de un proyecto, ya que suelen estar sujetos a la carencia de calificaciones técnicas apropiadas, para -dedicar mucho tiempo y cuidado en la valoración de la repercusión. Segundo, una valoración de la repercuslón realizada adecuadamente se basa en la hipótesis de que el proyecto no tiene efectos, una situación exactamente opuesta al principio que debería guiar la administración de un proyecto, sobre todo que la intervención no ejerce efectos importantes en los particípantes. Esperar que los mortales comunes crean en ambos tipos de hipótesis es poco realista. Tercero, existe una tendencia comprensible de los administradores a poner sus proyectos en la mejor de las perspectivas, una motivación que puede suprimir activamente la información negativa o ineficaz. Con todo, lo mejor que se puede esperar del juicio de valoracíón de un administrador es una exposición descriptiva razonable y segura acerca de los procedimientos operacionales. Por ello, los evaluadores deben buscar en el adminístrador estadística confiable y exposiciones descriptivas acerca del proyecto, lo cual requiere un buen conjunto de registros administrativos, Los géneros-de registros necesarios se han descrito oportunamente en este capítulo y en el 4. En el cuadro 7.1 también se muestran los registros administrativos útiles para valoraciones de la repercusión. Evidentemente, porciones de estos registros no son apropiadas a todos .los proyectos, por lo cual el cuadro 7.1 se debería consíderar una lista verificada de registros sugeridos y no esenciales.
218
Cuadro 7.1. Registros administrativos útiles para describir proyectos y como ayuda en la valoración de la repercusión I. Registros de los participantes: Datos socioécOnómicos de los participantes: edad, sexo,localizacion cornposición de lá familia, ingresos, datos ocupacionales -Dátos CrítiCósí fecha:. de ingrelo én el proyecto, registro de asiStenCia fecha de Salida del proyecto . 3." "Registros dél tratarnientó: exposición de lol-participarites del proyecto,:áyuda dada, etc. 4. Dátóál"dé seguimiento direCCión de lós partiCipanteS; incluidas direcciones futuras y los contaCtbs para ayticlar al rastredIráS la pártiCipaCión, 5 Registros CkítiCos dél eyentó:"í reSgiStio 'deíránnbrieS aptilos participanteS, ei;entds iinportantes enlat vidas de 1oS pártiCipánieS :,:. (Por ejernplb, náéimiento; rkinerté,. Cambics residenciales, de tiabajó, .etc, II. Registros del proyecto: .1. Eventos críticoSíen la hiStoriá del proYecto: feChas de inició de Partes limportantes del proyecto; encuentros con oficiales ámables u hostiles,. partés importantes deíla:suspensión -del programa 2:: PerSoñal dél,:prOyecto: datoS biográficos del personal, cambios en el peksOnál, ejernPlcis dé entrenamiento : del personal á. Úarribios en la ejectición del proyecto: problemas encontrados para los cambios en la ejecución del proyecto establecidos en las operaciones del ;proyecto (incluidas fechas) III. Registros financieros: No se intentará describir tales registros, pues se puede asumir que los procedimientos fiscales locales típicos, requeridos por los financiadores del proyecto se podrían aplicar. El problerna principal es que el registro financiero se clebería mantener de tal rnanera que facilite la efectividad del costo o el análisis de costo-beneficio, como se describe en el capítulo 8.
Juicios de los participantes Debido a que los participantes en programas sociales son quienes reciben los servicios del programa, se podría estar tentado a buscar los relatos de los participantes con respecto a qué tan bien fueron servidos por los prograrnas, como una aproximación de la repercusión neta. Mientrás que los participantes pueden relatar muchas cosas útiles, es bastante optimista esperar conseguir de ellos lo que requeriría bastante esfuerzo a un hábil investigador social. El problema es que a cualquier individuo se le dificulta valorar imaginativamente lo que cabría esperar de él si algún evento específico no ocurriera. Esto se debe a que los relatos de los individuos acerca de CÓMO " es c og en a sus cónyuges o carreras generalmente parecen ser resultado de eventos fortuitos. Los individuos no tienen las diversas experiencias para ser capaces de disponer por sí rnismos las condiciones control
I
ríl'í
I
.
CONTROLES ESPECTRO
219 '
apropiadas o para "mantener constantes" sus características particulares. Nótese que ésta no es una imagen del ser humano como alguien ingenuo y deficiente, sino un reconocimiento de que la valoración de la repercusión neta es una tarea comparativa y que muchas personas no tienen ninguna experiencia para efectuar tales comparaciones. Sin embargo, el porcentaje de satisfacción de los participantes con un programa o con sus servicios es interesante por sí mismo. En primer lugar, algunos de los programas establecen la satisfacción de los participantes como una de sus metas. El refinamiento generalmente se diseña para librar a los programas de las deficiencias que irritan a los participantes: en los programas de beneficio a jubilados se intenta entregar ingresos de jubilación de tal manera que sean más satisfactorios para los beneficiarios, incluidos los depósitos bancarios automáticos o el goce de provísiones especiales. Los programas de servicio público pueden preocupar al cliente o presentar un índice del funcionamiento unitario. En el anexo 7.8 se muestra un resurnen de un estudio realizado por la Kerner Commission on Urban Disorders (Comisión Kerner de desórdenes urbanos). Mediante el estudio se íntentó encontrar cómo los ghettos de negros en las grandes ciudades se relacionaban con la policía y con los departamentos de bienestar social de esas ciudades, conlo cualse demostraba'que estós niveles de
ns tisfacción • ,• 'unciói de una agencia., ,
-
•
_
Como párte ce un estudio cle sistemas de entrega cle, servIcloS urbanós,en á reas rne.tropolítanas, se tomáron ,MU9StraS cferesidentes, se les Inter,r96 Si elta InscrítoS en el seguro social y sé les pyeáunt4:su Invel de sat nsfacci6n1Con lornahát de ser tra' tados por trabajadore -Y'ófíCiales*:.-Ademas se entre"vistaron alçistrabaa"," dores sociales eq las agencias lbeáles del segtito 'social con respecto á sus actítudes,-,,, hacia el `client'e y'-aciérca dela informaCIón obtérvIA—ren,sus:ganancias ,de.trabajci y otros asPectos cle su empi o :y Se encontró grán-variaCiókireritre,las -clUíztadel-ekptiarító a los.'niveles de,"¿ satis.accIón f expresa_9,ppy c.lentes cl 1 .a segu .6'j s0 fl acI a'susd epá amen-' „, tos locales de benefick'sácial.:-íFue xnuyjn ,l1rtsitilte:éj k411azgo r- tes defleguro s octal eStaban inülátilféChOlc4"áiá"de¡ti-artamentb-1.:debénefit sociáren cuanto„ a'tiue sus cárgas,eran mu¡altas y en `los caso's en que, los traba,::),:' jádoreS tenían;11-6:–có- contacto c"Oki-el cllent La correlaciósi á lo targo de las 15'7,1 1 C tidá-140:fue d O .66, lo cual quíz'a- indíca 'qUe el cOntacto 'a menudo con los baj ado're-s í,er.1.1;i:ina-:(uentecle el cliente . Ervel;rrisinó-éstu'dici'íSé'ob'tuvierdii, Porcentajes de negios residentes con res-"t.: pecto al rnaltrato político:,Un índíse de quejas por maltrató (Insultos, arrestoslnde biClos,,etC.),tuip una coribilá6ri-álti:cpn lo aulorreportes de la pólicrá aceica las accicaes- jpótérícialrnente agiesivas ernprendldaíCon filcuencla, stigterel,fAúélli.¿Iénte„y.',10.ralcii-á-éión de los serViabs- puden ConVe`dirse-en fuente
r
,
•
220
CAP. 7. DISEÑO DE GRUPOS UNITARIOS
satisfacción eran la razón de la existencia de los desórdenes sociales urbanos de la década de los sesenta. En segundo lugar, las investigaciones acerca de los participantes pueden proporcionar una serie de pistas sobre cómo se incrementa la participación de las poblaciones objeto, especialmente cuando participantes de programas totales son comparados con las deserciones de un programa. Las valoraciones de los participantes en un programa ofrecen información útil, pero no reemplazan la valoración de la repercusión realizada de acuerdo con los diseños de investigación descritos en los capítulos 6 y presente. En el presente capítulo se ha dedicado mucho espacio al uso de los controles espectro en la valoración de la repercusión, debido principalmente a que este enfoque se usa bastante bien y suele contener considerables precauciones. En programas de evaluación social es difícil que los expertos efectúen más que los resultados brutos establecidos. Las estimaciones de la repercusión neta hechas por los expertos parecen ser frágiles y altamente sujetas a error. En resumen, no se recomienda este enfoque, pues sólo es el segundo mejor. UNA NOTA ACERCA DE LA APLICABILIDAD Los enfoques examinados en este capítulo varían ampliamente en su rigor. Las valoraciones de la repercusión mediante el empleo de controles reflexivos, sobre todo en estudios de series de tiempo, pueden ser tan rigurosas como el mejor de los enfoques descritos en el capítulo 6. En contraste, el uso de controles genéricos o espectro para estimar la repercusión neta está rodeado de incertidumbres. En realidad, los últimos controles mencionados sólo se deberían usar cuando otros enfoques resulten imposibles o tan impedidos por las demandas de tiempo y presupuesto, que la elección realmente se haga entre casi nada o mediante métodos de juicio.
8 Medición de la eficacia El conocimiento de la ejecución y de los resultados del programa es indispensable, pero en muchos casos es tan crítico como justo informar acerca de los resultados del programa comparados con sus costos. Valorar la eficacia ,(análisis de costo-beneficio y del costo-efectividad) de un marco de referencia para relacionar los costos con los resultados del programa, los últimos medidos en términos monetarios o según resultados actuales. Un análisis útil se puede emprender para decidir la localización de los recursos y para influir en los encargados de la política, en los grupos planificadores y en las constituciones políticas que determinan el destino de los esfuerzos de la intervención social. Los estudios costo-beneficio y costo-efectividad se pueden realizar durante la fase de planificación del programa. Tales esfuerzos ex ante tienen gran utilidad, aunque la información empírica requerida y las estimaciones necesarias para emprenderlos no están disponibles. Mientras que las oportunidades para realizar análisis ex ante están limitadas por consideraciones prácticas, se pueden emprender análisis costo-beneficio y costo-efectividad como parte de la valoración de los resultados del proyecto. Estos análisis ex post son importantes y eficaces en la planificación y toma de decisiones.
CONCEPTOS PRINCIPALES Perspectivas de contabilidad: Beneficios: Rango de costo-bene icios: Costos: Ancílisis costo-bene icio:
Perspectivas que subrayan las decisiones para clasificar los bienes y servicios con el fin de incluirlos como costos o beneficios en un análisis. Resultados netos del proyecto, generalmente monetarios. Pueden incluir efectos directos e indirectos. Beneficios totales descontados divididos entre los costos totales descontados. Ingresos, directos o indirectos, requeridos para .producir una intervención. Eficacia económica de un programa, expresada como una relación entre los costos y los resultados, generalmente medida en -términos monetarios.
Nota de los autores: este capítulo fue escrito originalmente por Sonia Rosenbaum, con modificaciones subsecuentes para la segunda edición revisada por Peter H. Rossi y Howard E. Freeman.
221
PERSPECTIVÁS EN EL ANÁLIS1S DE LA UBICÁCIÓN
222 Análisis costo-efectividad: Descuento:
Análisis ex ante:
Ancílisis ex post: Rango interno de retorno:
Beneficios netos: Costos de las oportunidades: Precios espectro:
Eficacia de un programa para lograr los resultados de una intervención determinada en relación con los costos del programa. Tratamiento del tiempo al valuar costos y beneficios, esto es, los ajustes de costos y beneficios a sus valores presentes, que requieren efectuar un ajuste o rango de descuento en el marco del tiempo. Análisis emprendido antes de la ejecución del programa para estimar los resultados netos en relación con los costos, generalmente como parte de la planificación del programa. Análisis que se realiza después de conocer los efectos de los resultados netos. Valor calculado del rango de descuento necesario para un programa de beneficios totales descontados, equivalente a los costos de un programa de descuentos total. BeneficIos totales descontados menos el costo total descontado (también Ilamado retorno neto). Valores de las oportunidades predeterminadas debido a un proyecto de intervención. Costos atribuidos o estimados de bienes y servicios cuando no se han valuado en el mercado actual.
Los encargados de la política deben decidir cuál variedad de programas educativos destacarán: la educación primaria y básica para niños, la educación vocacional para adultos o la educación secundaria para adolescentes. Todas éstas tienen y han demostrado tener un efecto sustancial neto al completar las evaluaciones. ¿Cómo deben ubicarse los recursos de la nación en cuanto a educación? Una agencia gubernamental ha revisado los programas nacionales de control de enfermedades, que se encuentran en función. Si se desea invertir fondos adicionales a un programa de control de enfermedades, ¿cuál programa dará la mejor retribución por los gastos? Las evaluaciones en el campo del Derecho penal han establecido los efectos de varios programas alternos para reducir la reincidencia. ¿Cuál programa es más efectivo según su costo para el sístema de justicia? Dadas las políticas de elección, ¿cómo podría el patrón de gastos actual maximizar la eficacia de alternativas correccionales? Los miembros de un grupo de capital privado debatían si era conveniente promover un programa de préstamos con interés bajo para construir casas o iniciar un entrenamiento para mejorar las habilidades en mujeres casadas con el fin de incrementar el ingreso familiar. ¿Cómo decidir? Estos ejernplos muestran los dilemas en cuanto a la ubicación de recursos que afrontan algunos planificadores, grupos con capital y los encargados de política, dondequiera. Estas personas deben escoger continuamente cómo ubicar los recursos escasos, de manera que tengan un uso óptimo, aun en el caso afortunado de que dos o tres proyectos piloto han demostrado ser efectivos para producir los efectos netos deseados. Para decidir a cuál proyecto apoyar en una escala
223
mayor, se necesita tener en cuenta las relaciones entre los costos y el resultado de cada uno. Si bien intervienen otros factores, incluidas las consideraciones políticas, el programa preferido suele ser aquel que produce la mayor influencia en más poblaciones objeto por el mismo gasto. En este principio tan simple se basan los análisis costo por beneficio y costo-efectividad, técnicas que proporcionan enfoques sistemáticos para ubicar el recurso. PERSPECTIVAS EN EL ANÁLISIS DE LA UBICACIÓN DEL RECURSO La aplicación de técnicas para ubicar el recurso según decisiones de programas sociales es comparativamente nueva. Los procedimientos básicos y los conceptos que denotan el análisis de la ubicación del recurso se derivan de los trabajos emprendidos en la década de los treinta con el fin de establecer criterios de decisión para las actividades de inversión pública. En Estados Unidos, las primeras aplicaciones fueron para el desarrollo del recurso hidráulico, y en Inglaterra para las inversiones en transportación. Después de la Segunda Guerra Mundial, estimulado por el Banco Mundial, se aplicó el análisis de costo por beneficio a las actividades específicas del proyecto y a los programas nacionales de países menos desarrollados e industrializados. La idea de estimar los esfuerzos de intervención y los programas sociales en términos de su eficacia (utilidades, en el sentido de negocios) ha ganado arnplia aceptación. A pesar de ello, en la aplicación de programas de desarrollo técnico e industrial de ingeniería (por ejemplo, caminos, presas y redes de comunicación) y en los esfuerzos económicos (por ejemplo, impuestos y leyes de importaciónexportación), el análisis del costo por beneficio es todavía un campo inexplorado. Los conceptos y las técnicas constantemente se revisan y mejoran, y existen controversias no resueltas de las presunciones que destacan los diferentes marcos del análisis del costo por beneficio. Los evaluadores encargados de analizar el costo por beneficio o de estudiar la efectividad del costo de intervenciones sociales, deben estar alertas de la etapa del desarrollo del campo sustantivo apropiado y reconocer las limitaciones de ambos enfoques. Eficacia del programa Los análisis de costo por benefício o de efectividad del costo se pueden ver como perspectivas conceptuales y como procedimientos técnicos complejos. Esto mantiene el énfasis de que en muchas evaluaciones, el análisis formal y completo de la eficacia es impracticable o impertinente. Primero, los procedimientos técnicos requeridos pueden apoyar los recursos del proyecto de evaluación, requerir complejidad técnica no disponible entre los miembros del equipo o ser innecesarios, dado su mínimo o extremadamente alto grado de eficacia en la intervención. Segundo, las controversias políticas o morales que podrían resultar de poner los valores económicos en medidas de resultados o en entradas particulares podrían encubrir la pertinencia y minimizar el potencial del estudio que, de otra manera, podría ser útil y riguroso; para algunas personas estas consideraciones pueden negar la validez de emprender un estudio de la eficacia. Tercero, al
224
CAP. 8. MEDICIÓN DE LA EFICAC1A
expresar los resultados de los estudios evaluatorios en términos de eficacia se pueden requerir diferentes costos y resultados que deben tenerse en cuenta, según las perspectivas y los valores de los patrocinadores, de los evaluados y de los evaluadores, en oposición al encubrimiento de la pertinencia y la utilidad de una evaluación. En resumen, no existe un análisis de la eficacia que sea úníco, simple y "correcto". Las limitaciones de esos estudios son reconocidas incluso por quienes defienden con vehemencia el análisis de costo por beneficio (Thompson, 1980; Stokey y Zeckhauser, 1978). Al mismo tiempo, es innegable la pertinencia del análisis de la eficacia. Los programas sociales, casi sin excepción, se realizan con limitaciones del recurso. Casi invariablemente funcionan en circunstancias tales que mantener la continuidad del apoyo requiere convencer a los políticos y a los beneficiadores que la "línea base" (esto es, dólares por beneficio o su equivalente) justifica el programa. A menudo, las elecciones entre los programas competidores se basan, por lo menos en parte, en los pagos relativos en términos económicos. Aunque n -o se emprendan los estudios acerca de la eficacia, las decisiones del programa en el que se tíenen en Cuenta los hallazgos dé aquélla generalmente se enmarcan en términos de los resultados de entrada-salida. Uso del análisis de eficacia El empleo de técnicas de costo por beneficio o eficacia del costo puede ser apropiado, debido a dos puntos básicos en los esfuerzos para ejecutar programa. En las fases de planificación y diseño, se puede hacer un análisis ex ante del costo por benefício, con base en los costos anticipados y en los beneficios del programa. Por supuesto, en tal análisis se supone que el programa será exitoso en la entrega de las intervenciones implicadas y en el logro de resultados netos positívos de magnitudes estirnables. Dichas estimaciones no tienen que tener una base empírica. En la fase de valoración de la repercusión, después de que un programa ha demostrado tener una influencia significativa, se pueden emprender valoraciones del costo por benefício y de la eficacia, ambas ex post, para apreciar si el costo de la intervención se justifica por la magnitud de los resultados netos. En el análisis ex post, los costos y los resultados se basan en estudios del tipo descrito en los capítulos previos de las evaluaciones de planificación, verificación y repercusión. Costo por beneficio y eficacia del costo Un análisis integrado del costo por beneficio requiere estimaciones de los beneficios de un programa, ya sea tangibles o intangibles, y los costos de emprender el programa, ya sean directos o indirectos. Una vez especifícados, los beneficios y los costos se trasladan a medidas comunes, por lo general unidades monetarias. Obviamente, muchos factores paralelos a la eficacia económica se consideran apoyos de la política; la planificación y la - ejecución del programa,- pero las consideraciones de dicha eficacia casi siempre son críticas, dada la universal escasez de recursos.
PERSPECTIVAS EN EL ANÁLISIS DE LA UBICACIÓN
225
El análisis del costo por beneficio requiere adoptar perspectivas económicas particulares; además, se deben hacer ciertas presunciones, de manera que los ingresos y egresos del programa se trasladen a figuras económicas. Como ya se señaló, existe un desacuerdo en el campo acerca de cuál procedimiento utilizar. Más aún, las presunciones apoyan definiciones y medidas de los costos y beneficios que afectan seriamente las conclusiones resultantes. Todos los datos requeridos para calcular el costo por benefício están disponibles; por ejemplo, Noble (1977) ha sido capaz de documentar, mediante nomerosos estudios de rahabilitación, modelos inadecuados analíticos y conceptuales, insuficiencia en el acopio de datos y una extrema susceptibilidad de resultados del costo por beneficio para sus presunciones de apoyo, pero, por desgracia, sin prueba. En consecuencia, las prioridades políticas sensibles no se pueden basar en cálculos del costo por beneficio en el campo de la rehabilitación.' Aunque las aplicaciones específicas y las conclusiones del enfoque se puedan cuestionar, son irnportantes en la disciplina con que se fuez-za al evaluaclor, político, planificador y al administrador a formular consideraciones económicas que, de otra manera, permanecerían implícitas o inestablecidas. El análisis de costo-beneficio es menos controversial cuando se aplica a proyectos técnicos o industriales, en los que es relativamente fácil establecer un valor monetario a los beneficios y al costo. Los ejernplos incluirían proyectos de ingeniería diseñados con el fin de reducir el costo de la electricidad para los consumidores, autopistas para facilitar la transportación o programas de iffigación para incrementar la producción de la cosecha. Sin embargo, estimar los beneficios en términos monetarios suele ser más difícil en programas sociales, en los que, en la mejor de las circunstancias, sólo una porción de los egresos de los prograrnas conocidos se evaluará razonablemente; por ejemplo, es posible trasladar las ganancias ocupacionales futuras de un proyecto educativo a valores monetarios. Los problemas son rnás complejos en intervenciones sociales como los programas de control de la fertilidad y los proyectos de servicios de salud, pues se debe tasar un valor para la vida humana de tal manera que se puedan calcular en diriero los beneficios del programa totalmente (Zeckhauser, 1975). Debido a lo anterior, el análisis de costo-efectividad, rnás que el análisis de costo-beneficio, a n-tenudo se considera -una técnica más apropiada. El costoefectividad requiere calcular en dinero sólo los costos del programa, mientras que los beneficios se expresan en unidades de resultados; por ejemplo, el costoefectividad de la distribución gratuita de libros para niños de escuelas primarias rurales se podrí.a expresar como sigue: cada 1 000 dólares proyectados incrementan los niveles de lectura en un promedio de un grado por nivel. De ese modo, en el análisis de costo-efectividad, los egresos o beneficios se expresan en térrninos de costos de los resültados actuales sustantiVos; esto es, la eficacia de un programa para lograr sus metas se valora en relación con el valor monetario de los recursos o costos incluidos en el programa. Considérese otro ejernplo: para analizar las intervenciones de diversas opciones educativas se pueden medir las ganancias educativas, expresadas en marcadores de las pruebas, y luego relacionarlas con los costos del programa. Un análisis de costo-efectividad permite hacer comparaciones y graduación de opciones entre los programas potenciales, de acuerdo con la magnitud de sus efectos referentes a sus costos.
226
CAP. 8. MEDICIÓN DE LA EFICAC1A
De manera diferente, la comparación se establece en términos de unidades de efectividad para lograr resultados particulares. Las operaciones y la repercusión de programas actuales, y de egresos e ingresos, reemplazan en un grado considerable las estimaciones y presunciones. Aún más, el análisis restrospectivo puede producir experiencias y discernimientos útiles o procedimientos metodológicos aplicables a programas futuros. El análisis de la eficacia, en su mayor parte, se puede considerar una extensión de la evaluación de la repercusión, no una alternativa. Es imposible emprender cálculos de costo-beneficio o de la efectividad para programas cuyos efectos se desconocen por completo o no se pueden estimar; es insensato realizarlos para programas inefectivos, esto es, cuando evaluaciones de la repercusión no descubren efectos netos significativos. Cuando se aplican a programas eficaces, los análisis de eficacia son útiles en las decisiones de política, para proyectos con planeación amplia y en revisiones de programas en mornentos diferentes. Más aún, el análisis de costo-beneficio puede ser útil para determinar el grado en que cada nivel de las intervenciones produce diferentes niveles de beneficios (Shortell y Richardson, 1978). COMPONENTES EN EL ANÁL1SIS COSTO-BENEFICIO En términos simples, una intervención es eficaz si sus beneficios son mayores que sus costos. Por tanto, un analista eficiente debe calcular esos beneficios y costos. •
COMPONENTES EN EL ANÁLISIS COSTO-BENEFICIO
valía de las opciones determinadas previamente. La actual estimación de los costos de oportunidad es muy compleja. Además de los costos de oportunidad, el costo del programa incluye gastos para el personal, la administración, el equipo, las facilidades, la herramienta o los materiales y cualquier otra labor y costo operacional en que se incurra; no obstante, conocer los componentes específicos que se induirán en los cálculos y saber evaluarlos depende de las perspectivas de contabilidad que se consideren. En otras palabras, la lista precedente de costos del proyecto es una sobresimplificación de los cálculos requeridos. Un resumen de los costos y beneficios de un estudio, de límite superior se muestra en el anexo 8.1
Anexo 8.1. Lista de costos y beneficlos para la evaluación del límite su erlor ..., , , Ellírnité rogram . ., . sup ... . , . . • . n, , etemedio . ., •.. ...-. eciúeativro•" en el nislel aé esclá,,7.„, a,sectíndaria;"diselldó en la década de/ciSsésénta:E1 propósito fue identlfIcar zl. IOSittlyénéS„Ciánirán, potenclalidad d- e desventaja para cir ulenes sen. 'a'posible rid asIStli-Ilá,-ésétielá.:St proporcionarles eclucación preparatorla espec14 Los'dato4r, de una evaluación de estudiantes que se inscribleron en el pxograma en aPSOS dife,`. én Información acerca de ,I rentes est aban dIsponibles. La eval .uación . _ incluy5 tambi-, r consanguíneos rnáS ViejOs, de los reSpondentes qúé no particíparon. Desde el punvís lpántes, los costos y beneficios se definleron como sigue; .
Beneficios Los beneficios de un programa son sus resultados netos, ya sean tangibles o intangibles. Por ejemplo, los beneficios de un proyecto de salud pública pueden incluir la disminución de enfermedades y de mortalidad, e incrementar la productividad económica; los beneficios de un programa de entrenamiento vocacional pueden incluir ganancias en lo futuro y productividad económica de los particípantes, así como valorar el trabajo hecho por el entrenamiento y durante él, y los beneficios de un proyecto de vivienda pueden incluir el incremento de su calidad y cantidad y la disminución de los riesgos contra la salud. Costos Los costos son fáciles de calcular; constituyen los ingresos del programa, directos o indirectos, o sea, los recursos requeridos para realizar el programa. Para determinar los costos del proyecto es importante la noción de los economistas acerca de los costos de oportunidad o el valor de las oportunidades perdidas. Desde el punto de vista de las obligaciones objeto, participar en un programa (por ejemplo, el entrenamiento vocacional), significa contar con ingresos precedentes regulares y, por tanto, se trata como un costo. El concepto de costo de oportunidad refleja el problema de los recursos limitados, ya sea dinero o tiempo, cuando los individuos o la comunidad deben escoger sólo una de varias opciones. El costo de la elección se puede medir por la utilidad o
227
del Jrnpue,sto, medldo conbas-e. de los partielpante,s corno 3. Ail:in'eiitát:141.11.
rante el p‘' rograrnar. , te,ncIón del coleglo a los estudiantes clé
TTi réquerida a los t _ s po ., estudiantes . . de, Imit it. ti. O.,rp..0.i.,pOrt..,,,,11....0:) .1Cn.,. légici.J,1 1'.débido a los alto s, rangos.. de asistencla astOS:adIcícitílIes.,;p0r:Parte‘de ro's estudiantes de Iírnite superiór mientra •-. . ,- ; ,_ i .„-: ,. .:. .T .,,,: - - ..,.--, - -1..tIvierakietl.:0-.¿,,,4019:; 3 Ingreses predéféririkiadiAs . 1;1:42rEestudiantes de limite superior nlientra ,.otuv, ieran en'ét-crHg 0. . ..-,-, ,....lrigrOso transferido sobre el tiernpo de vida predeterrninado Por lós est, diaiitekijr tte: stiperi.ttit ejéniPlo, deserripleo ,y blenestar socli.1):-':.-
228
229
Comparación de los costos y beneficios Después de listar exhaustivamente todos los beneficios y costos del programa, el problema siguiente es relacionar los valores monetarios con ellos. En el análisis del costo por beneficio, el factor tiempo se debe tener en cuenta. La técnica para efectuarlo se conoce como descuento, la cual se examinará más adelante. El cálculo final consiste en comparar los costos y beneficios totales, ya sea de-mOdo directo para asegurar los beneficios netos o, de manera más general, como un rango de beneficios por costo. El resultado del análisis del costo por beneficio se puede expresar en términos de rangos diferentes, lo cual depende de los criterios implicados para tomar las decisiones de un programa y los objetivos y valores de quienes las toman (consúltese Thompson, 1980, capítulo 5). Opcionalmente, se puede calcular el porcentaje de retorno en forma anticipada. Una cornparación de los rangos de costo-beneficio (o de su resumen de medidas) mediante los programas diferentes proporciona los datos necesarios acerca de la eficacia relativa de las opciones del proyecto. Véase el anexo 8.2 para un ejernplo de un estudio de costo por beneficio en un programa de planificación familiar. Una vez revisados los marcos que subrayan el análisis de costos por beneficios en particular y de eficacia económica en general, se examinarán ciertos problemas técnicos•y la elaboración de los conceptos. Anexo 8. 2. Costos y bene cios de un programa de planificación familiar: porcentajes del costo-beneficio .:resúmenes4el:feto Mediante un analls15 de,Costo;. benefícioTdetprógrarna deibknificación en la República Árabe Linidá',,24'esttrtiai-onlais benefícias y edliés dela prevención , - - de nacimientos como sigue: Beneficios 1. Efecto principal:Gastos de consumo que sepodrían requOr para un naciIntento evitado, que están ahora disponiblél a lá pablaei6n. 2 Efecto de la órida cle PrOductividad: Incremento en_prOducción resultante de una ntejdr nutrición' en familias de tamaño reductdo. 3. Incremento en ahorro público total lesultante de la divsstún de recursos que e-..13" . 0-.1a4ii'relüerjr ... pareducar acerca del controK11.1a natálida
' • 3 a .contiiinádisá0e'I'er uce arbl recen eír.uría:05. 11-.1. .rriP a • reflejan presltriCiáriesalte -
uán4O,
de descuento 15% de descuento Bcrwficios
COnsumo fecto de la ontla de productividad Ef&to ctel ahorro ptúttico Total
•
222 351 16 21 37 275 409
109-206 9-14 24 , 142-244
Costos
,Doductividad Servictos de planificación farniliar tótár'
79-91 4-20 83-111 -
1/ife' rencias entre los costos y los pefieficlos
(hilera 4 menos hilera 7) Rangos de beneficíos costo (lailera
164-326 2,5
24-31 4-20 28-51 91-216 2.8-8.7
Fuerde: TC n 111,10 de G. C. Za slsfl, 170C:.-:ts and Benehts of Family Pl q nning Pro;2rarris, Werld Idenk, n,,:adengten, 1971, ; rIcls 2 y 45. R mpreso ;:en p.erneso dci poseeder de los dereebos de autor ,
METODOLOGÍA EN EL ANÁLISIS DEL COSTO-BENEFICIO , Para realizar un análisis de costo-beneficio, primero se debe decidir cuáles perspectivas tomar para calcular los costos y los beneficios. ¿Qué punto de vista debe ser la base para especificar, medir y calcular en dinero los beneficios y los costos? En resumen, ¿costos para quién y beneficios para quién? Los beneficios y los costos se deben definir desde una sola perspectiva, pues combinar puntos de vista causa especificaciones confusas y una sobreposición o contabilidad doble. Esto no quiere decn- que el análisis de costo beneficio de un programa único se pueda emprender desde varias perspectivas. El análisis ,eparado, basado en perspectivas distintas, frecuentemente proporciona información acerca del costo-beneficio conforme influye en los evaluados. Perspectivas de la contabilklad
MágnItadde,13144áiltejkoducci ,5 p res1,1tante de una pequeña fuerza '
Librus c[2, IPcfes por nacintiento euitadó
-
Para analizar los proyectos sociales se pueden emplear tres perspectivás a) las de los individuos objetivo, b) las de los patrocinadores del programá y c) las de los agregados comunales o las de la Socledad implicada; La perspectiva de contabilidad indiuidual tonna su punto de Vista de la tinidad que es el objeto del programa, esto es, la persona, el grupo o la organizáción que recibe la intervención o el servicio. El análisis de costo-berieficio mediante la pers-
230
231
CAP. 8. MEDICIÓN DE LA EFICAC1A
pectiva individual del objeto suele producir mayores beneficios por rangos de costo, que aquéllos en los que se usan otras perspectivas. Otro medio de establecer esto es que si el patrocinador o la sociedad sostienen el costo y subsidian una intervención exitosa, los participantes individuales del programa se beneficiarán más; por ejemplo, un programa educativo requiere relativamente pocos costos por participante. El costo para los grupos objetivo es primordialmente un gasto de tiempo en el proyecto, pues los libros y materiales generalrnente son donados. Los beneficios de los participantes pueden incluir mejoramiento de los ingresos como resultado de una educación mejor, así como opciones ocupacionales incrernentadas, mayores satisfacciones en el trabajo y pagos transferidos rnientras se participa en el proyecto. La perspectiva de contabilidad del patrocinador del programa toma el punto de vista del recurso del fondo para valuar los beneficios y especificar los factores del costo. El recurso del fondo puede ser de una agencia privada o fundación-, de una agencia gubernamental o de una firma de beneficencia. En estas perspectivas, el análisis de costo-beneficio puede semejar lo que frecuentemente se ha denomidado análisis de beneficencia privada. La perspectiva de contabilidad del patrocinador del programa es más apropiada cuando hay claras opciones políticas que incluyen los programas alternos que un gobierno u otros patrocinados pueden apoyar, y en condiciones presupuestarias fijas en las que rentas nuevas no apoyarán a proyectos adicionales. Por ejemplo, delde el punto de vista del patrocinador del programa, los beneficios de un proyecto educativo en términos de golDiernos federales, estatales y locales constituyen decrernentos en el gasto que ya no tendrán que hacerse, tales como asistencia pública u otras formas de gastos gubernamentales directos. Otro beneficio mayor del patrocinador (gobierno) está representado por las rentas incrementadas como resultado de los salarios mejorados de los participantes subsecuentemente al entrenamiento (esto es, si el entrenado obtiene mejores trabajos y gana rnás, tendrá que pagar impuestos más altos). Los costos del goblerno son por la operación, la adrninistración, la instrucción, los rnateriales, las facilidades y los subsidios adicionales o pagos transferidos a los participantes durante el entrenarniento. En el anexo 8.3 se muestra un cálculo del costo por beneficio en términos de beneficios resumidos para el gobierno, de acuerdo con nacimientos evitados por los programas de planificación farniliar. La perspectiva de contabilidad comunal toma el punto de vista de la comu. .
•
Anexo `.13,.:Ánálisis aljcp ,r9r los prograrnas de planifica
-,..Uná...e'Valuaciónrpaelónátreciente de los p,, gramas-: prolbrCiónádos,pgr.114.0.0111.15111iigicIpl;O:ffill :de-g t.404:: po blIti
... -..--.1.---._---r-T7',t-.-. ,. , . ..
didj¿ljá?l enefIcló se estImaron - . .. , ....
lilliá›-Z, .
. to-deliíst d b. r o 9 'éba‘,-..-arán en nacim entos evitados, Indeseables y'-. trs iritdifaclós. Tódas las graficas de costos y beneficlos reflejaia gastos Y ahorrcís. para el gobietno en te/minos de nacimientos evitados.--, .--, ,,,...... . Los c¿ilculos utiltzados para establecer la repercusIón del prograrna sugIriero gue durante los seis afiós eStudiados, la particIpación en las clínIcas de planlfIcaclóe familiar originó Uh-total de . casi 1.1 rnillones de nacIrnientos evitados: es deCIrk aumentó deSde:72 "000 en 19.70 hasta 324000 en 1975. Esto representa los efectcyl directos del programa por mujer servida, y no Incluye los efectos secundarlos pos1,,(' bles para personás..no servidas que también podrían beneftclarse. ':. ". - -- - :-.',.'•• '3:". "' Los datosdísponlbles se emplearon para medlr los siguientesbenefictospara etil t, gobiemb,-loS cuále.s. se . lIstan como costos ahorradoS al gobierno mediarite el trnpe dltnento denacírnientos Indeseados..a) el cuidado rnIcilco relácIonadd 'bón el emba:y razo y el nacirniento, lo cual apoya toda clase de programas gubernamentales y el todos los niyele,s para lapo .blación gan bajos I ngresos; b) la asIstencla pública durarite el prirner año de nacimiciito ddriblo para las mujeres triscritas en lá asistenpublica, y c seleceionar los servictos sociales para receptores de asistencla públtcá y:"-;,1.;', sus neonatos durante un ano. . . ' .-- ,i -,-'-, '' . . .4 . , .' !- - _ ,. Los autores argumentan que estos costos subestiman sertamente los ahorrbá. t en terminos de costosacorto'plazo denacimientosindeseados, así como tasforrnat. adiclonalel-de asistencia públIca y serviclo Social y ytylenda p'úblIca, también.eorriCt; costos de oportunIdad de pérclida del Ingreso, delDiclo a las ausenclas delempleo pox paite,clekkakádredurantedi y ezsos moinetttos del embárazo y en lps prirneros perból ddslido Ninfáficiá de É. hijo. EStascategorías , Se excluyeron porque'no había dat . IiiibillicífeiPara ei/Sc ificat las proporctone.s"cle mujeres con bajos tngresbs que se,„,, bic.afárt‘eriestaicategorías Y los gastOs-resultantes por Parte del goblerno, En e.stimaciones de los costos nacionales por la asistencia pública para las tres categj rías menctonadas en líneas anteriores se tuvo en cuenta el,hecho de que durante et periodo en cuestión, del 16 al 19 % . de los pacientes en las clínlcas de plantficact familiar bajo recibían asistencia públIca. Así, el ahorro estimado ep los. . ekialuación - , . gastds det gobleino para estas categorías d4, _costos varlaba de_sde 639 dólares ert,*. 1970 hasta 1 238 dólares en 1975 por cadályiklmiento evitado. Estos ahorros estf.;;." mados se rnultiplicznn por el número 'esfrn?aclo de nacImlentos ImpedicloS por.' cacla ano, luego Itilizado para los seis años. Los ahorros estImados fueron d milloneS . . de d(;lares, en una grafIca gue representa benefic(crs totales, : ._'' os costOS' fueron sln-Iplernente la conveniencla de;les ser ylclos de las clínIcasanificación farniliar, disponIble en los registrOs'.del goblerno, que totalizaba,_.__ XI .. millones cle,dólare..T(que iba desde, 33 millonesIt 'asta 260 mIllcines de dólares'n árante el pettriclo 'de Seís meses). .-•-= ' -. El rango de costo beneficío de ahorro total estimado para los costos tota1eál-1;', el progiama es cle 1.8 (1 07/584), Si se calculan separadarnente para cada aríO,,,V.-' 1 rango más bájo es de 1.3, y el más alto de,2,5 én 1915.:Zsto s. einterpreta comb'4' tie:por cada . dókir invertido por el gebIerno feliql en la planificación famIltar en'Z' n'ahtb, lbs-gobfernos locales, estatales y federales ahorran aprOxIrnadamente .80 dólares un año después. Estos ahorros son además dé los ahorros a largo piar p y.de IOS beneficios_demograficos; looales.y.de sálud páia el gobterno y losindw ‘$ Idimás -..con la ,Pt'évéíisfótv dsá : ilitirniérifólnd'deseidos o no intentados:, ' , ':' -,,, de el
IS-5,..;:'
^
.
. , Of
Fam uy Planning ProgrornsoL{4,
1
232
CAP. 8. MEDICIÓN DE LA EFICAC1A
nidad o sociedad como un todo, generalmente en términos de ingresos totales; por tanto, es el más completo, pero también el más difícil de aplicar. Desde el punto de vista de una sociedad, implica que se deben hacer esfuerzos especiales de contabilidad para contar con proyectos secundarios. Por lo general, un programa ejerce efectos en un grupo que no interviene directamente, lo cual se deberá considerar al examinar la mayor economía. Aún más, en la bibliografía actual, el análisis del costo por beneficio comunal se ha expandido para incluir consideraciones equitativas o el efecto distribucional de los programas entre cada subgrupo. Esas consideraciones implican que los cálculos del costo por beneficio son necesarios para ser distribuidos entre los subgrupos, o que algún criterio o esquema de peso apropiado se emplee para asignar mayor o menor valor a los beneficios, de acuerdo con quien los recibe (por ejemplo, consúltese Squire y van der Tak, 1975). En el anexo 8.4 se muestran los costos comunales y los beneficios de un límite superior, el cual se puede comparar con la lista del anexo 8.1, que contiene los costos y beneficios individuales. Aunque los componentes de un análisis del costo por beneficio comunal parecen incluir muchos de los costos y beneficios que también aparecen en los cálculos en que se utilizan las perspectivas individuales y del patrocinador del programa, las partidas se valoran y calculan en dinero de manera diferente; por ejemplo, el costo comunal de un proyecto incluye el costo de opotunidad en términos de inversiones alternas determinadas por la comunidad, de tal modo que se apoye al proyecto de cuestión. Obviamente, éste no es el costo de oportunidad en que un individuo incurre como consecuencia de su participación en el proyec-
METODOLOGÍA EN EL ANÁLIS1S DEL COSTO-BENEFICIO
to. El costo comunal también incluye desembolsos para las facilidades, el equipo y el personal, por lo general valuado desde una perspectiva diferente de la de los patrocinadores del programa. Por último, estos costos no incluyen pagos de transferencia, pues también se podrían ingresar como beneficios a la comunidad y simplemente se cancelarían unos a otros. En el cuadro 8.1 se muestran algunos de los componentes básicos del análisis del costo por beneficio para perspectivas de contabilidad díferentes (en el ejemplo, el patrocinador del programa es una agencia gubernamental). La lista no debe considerarse completa, sino sólo como un ejemplo. Los problemas específicos incluyen un análisis de varianza real. Cuadro 8.1. Componentes del análisis de costo-beneficio para perspectivas diferentes Individual
Beneficios Incremento en las
agencias (netas de impuestos) Recibe beneficios adicionales (por ejemplo, transferencias directas, franjas y beneficios no económicos)
comunales béMicioir .-In1131 , 41ÁM
BenefIclo 1, Incrementar los ingresos de por vIcla antes del irnpuesto para los par-tic,3pantes del programa (los ingtesos de antes del in-ipuesto se utilizan para refIclar
la piOdtictividad socIal), „ Costos costos directos del programa del límite supetior para el gobiemo mcluyen todoslos recurs,os gastados, excepto los ' gueldos de los estildiantes. Los costos directos del Prograrna para los colegios participantes. El costo extra de la cducación ineurtida pur sodeclad debido al alto rango de asIstencia al colegio porlos estudiantes ' del Iírnite superior. Los costos extras cle rnanutencIón requendos por la asistencia al coleglo atribulble al programa. 5 Las ganancias de antes del Impuesto adelantadas a lo. estudIantes del superlor rnlentras están aún en el colegio.
Costos
Costos de oportunidad (ganancias predeterminadas libres de impuestos)
Los
Fuente: Ad71t-dado con perrrd,D, de W. I. Garms, A B,tnefe , Coet Anth,d, of the l iptkard Bound Pre ,gram', en J,Jun,al of idw-retr. ResGurces, oCre 6, prn-n,,,,r,, do 1 971, 't2t. 206 220.
233
Pérdida de subsidios directos no más aplicables (proyectos alternativos) Costos extraordinarios relacionados con la participación (por ejemplo, cuotas y materiales)
Patrocinador Comunaies Incremento en Incremento en retornos de impuestos ganancias (en bruto de impuestos) Decremento en Incremento en otros gastos de asistencta ingresos (por pública y otros ejemplo, beneficios subsidios de franja, excluidas las transferencias directas) Valoración del Decremento en trabajo ejecutado en gastos de proyectos el proyecto alternativos no aplicables Valor del trabajo realizado Pérdida de impuestos Costos de oportunidad (brutos en impuestos) Costo del proyecto .(por ejemplo, capital administrativo, instruccional y subsidios directos) Costos del proyecto (excluidos los subsidios directos o los pagos de transferencia)
234
235
CAP. 8. MEDICIÓN DE LA EFICAC1A
En la tabla 8.1 se proporciona un ejemplo simplificado de los cálculos de costo-beneficio para un programa de entrenamiento desde las tres perspectivas de contabilidad. Otra vez, las figuras monetarias son sobresimplificaciones brutas, dado que un análisis real podría requerir un tratamiento más complejo de los problemas de medición implicados. El ejemplo sirve para ilustrar el éstudio previo. Nótese que los mismos componentes pueden ingresar a los cálculos como beneficios desde una perspectiva y como costos desde la otra, y que el resultado del cálculo , (en este caso, el rango de beneficios por costo y las diferencias entre beneficios y costos, o beneficios netos) variará de acuerdo con la perspectiva de contabilidad utilizada.
Tabla 8.1. Ejemplo hipotético de un proyecto de entrenamiento y sus cálculos de costo-beneficio desde diferentes perspectivas de contabilidad Costo-Beneficío°
Mejoramiento de las ganancias de los entrenados (antes de los impuestos) Mejoramiento de las ganancias de los entrenados (después de los impuestos) 3. Valor del trabajo ejecutado en el proyecto de entrenamiento 4. Costos del proyecto en facilidades y personal Costos del proyecto ,en equipo y provisiones Sueldos de los entrenados (pagos de transferencía directa) 7. Ganancias anticipadas por los entrenados (antes de los impuestos) 8. Ganancias anticipadas por los entrenados (después de los impuestos) 9. Impuestos perdidos: (7) menos (8) Individual
Beneficios
Costos
Rango B/C Beneficios netos
Patrocinador
$100 000 80 000 10 000 $50 000 5 000 12 000 11 000 9 000 2 000 Comunal
20 000 10 000 30 000
(1) 100 000 (3) 10 000 110 000 (4) 50 000 (5) 5 000 (7) 11 000
9 000
(4) 50 000 (5) 5 000 (6) 12 000 (9) 2 000 69 000
92 000 = 10.22 9 000
30 000 = 0.44 69 000
110 000 = 1.67 66 000
83 000
— 39 000
44 000b
(2) 80 000 (6) 12 000 92 000 (8) 9 000
(1) -
Medición de los costos y los beneficios La especificación, medición y valoración de los costos y los beneficios son procedimientos fundamentales en el análisis de costo-beneficio que origina dos problemas distintos: a) identificar y medir todos los costos y beneficios del programa y b) expresar todos los costos y beneficios en téminos de un denominador común, esto es, trasladarlos a valores monetarios. El problema de identificar y medir los costos y beneficios es más agudo para apreciaciones ex ante, en los que existen pocos o ningún dato para hacer estimaciones; sin embargo, los datos.frecuentemente son limitados también en los análisis ex post. Para muchas intervenciones sociales, la informacíón de una evaluación (e incluso de una serie de evaluáciones) puede proporcionar insuficiencias para lograr un análisis retrospectivo de costo-beneficio. Así, las evaluaciones proporcionan frecuentemente sólo alguna de la información necesaria, y el analista tendrá que usar recursos adicionales o juicios complementarios. El segundo problema para muchos programas sociales es la dificultad de trasladar los beneficios y costos a unidades monetarias. Los programas sociales frecuentemente no producen resultados que se puedan evaluar con seguridad por los precios del mercado; por ejemplo, muchos podrán argüir que los beneficios de un proyecto de control de la fertilidad, de una campaña de alfabetización o del entrenamiento de prácticas de salud, no se pueden calcular en dinero de formas aceptables para cada evaluado. En el anexo 8.5 se ejemplifica el problema de la medición de un programa de metadona; por ejemplo, ¿cuál valor debería darse al miedo y la angustia (problema 1)? En tal caso, el análisis de la efectividad del costo podría ser una opción razonable, dado que los beneficios no tienen que ser valorados en términos de dinero, sino sólo cuantificados de acuerdo con medidas de los resultados. Debido a la ventaja de expresar los beneficios en términos monetarios, se han especificado diversos enfoques para calcular en dinero los resultados o beneficios (Thompson, 1980; págs. 149-151).
Anexo 8.5. Medición de lo piodrán31á-del tratamiedki 13,-mc.fIctos directos del tratarniento con rnetadona
66 000
° Debe asumirse que estas figuras representan los valores presentes: véase la sección subsecuente. b Nótese que el benefício social neto se puede partir en beneficio neto para entrenados, más los beneficíos netos para el gobierno, el cual es negativo en este caso: 83 000 + (— 39 000) = 44 000.
1. Berteficius a víctirnas
Decrernento en los gastos de protección privada. QlsrpinuciC,n del valor de los darlos a los recursos de las víctimas cl::::1541erile'ras en el valor de las transferencias forzadas. do y la angusllavental, neg4
mos adictos a los narcóti- '
237
236 Cuestiones hipotéticas
3. Benefielos a los pacientes de metadona Decrernento en los eastos de Increnlento en las eanancias legareViii cias
ICTItnentó en las ganan-
Medictdn ernpfrica clel benencio clirecto del tratarnIentp con unetadona Disn-anución de los gastos de justicia critninal. Decremento en los gastos méclicos para enferrnaa ,ticos. DIsminución de los gastos en herorna. Incrernento en las gananclas
clativas a narcó-
Fuente: Trtrnsdn de T. Hanrttn, "The Bertefits ,Jrvi Costs of Methadone MaIntenttnce en Public Poncy,111161. 24, Itninaveld 1 1976, tt•Sgs 200 201. R,..,impro con antortzaci6n.
Medición monetaria El enfoque menos controversial es la estimación de los beneficios monetarios directos; por ejemplo, si mantener abierto un centro de salud durante dos horas después del trabajo reduce la ausencia de las poblaciones objeto de trabajo (por lo cual no reciben salario), entonces, por un promedio de 10 horas por año, desde una perspectiva individual, para calcular el beneficio anual se puede multiplicar el promedio de salarios durante 10 horas por el número de empleados objetivo. Valuaciones de mercado Otro enfoque relativamente poco controversial consiste en calcular en dinero las ganancias mediante su valoración en el mercado de precios. Si el delito se reduce en 50% en una comunidad, se podrán estimar los beneficios en términos de valores de las viviendas, para lo cual se ajustarán los valores actuales con base en tales precios de comunidades que tengan índices de delincuencia más bajos y con perfiles sociales similares. Estimación econométrica Un enfoque más problemático consiste en estimar el valor supuesto de una ganancia en términos de rnercado; por ejemplo, el incremento en recepciones de impuestos de los grandes negocios se debe al reducido temor a delinquir, que se podría determinar mediante el cálculo de rentas apropiadas de comunidades similares con rangos de delincuencia más bajos, y luego estimar las clevoluciones de impuestos que ocurrirán. La estimación puede requerir esfuerzos analíticos complejos y presunciones problemáticas para hacer óptimas tales valoraciones tentativas.
Un enfoque aún más problemático consiste en estimar el valor de los beneficios no monetarios intrínsecos mediante el cuestionamiento directo de las poblaciones objeto; por ejemplo, un programa para prevenir las enfermedades dentales puede disminuir el índice de cavidades de los participantes en un promedio de una a la edad de 40 años; así, se podría efectuar una investigación acerca de cuánta gente piensa que es valioso tener un diente adicional intacto, en oposición a tener dientes obturados. Tales estimaciones presumen que el valor monetario obtenido relistamente expresa la valía de un diente intacto. Por supuesto, los valores hopotéticos de este género son susceptibles de un gran escepticismo. Alternativas de observación política El enfoque más tentador consiste en estimar los beneficios con base en acciones políticas. Si los estados son congruentes y están dispuestos a ofrecer fondos adecuados a programas con alto riesgo de medicina infantil a un rango de 50 000 dólares por niño salvado, esta figura se podría usar como estimación del beneficio monetario de tal programa; sin embargo, como las alternativas políticas son complejas, transferibles e incongruentes, este enfoque suele ser muy riesgoso. En resumen, para que los resultados de un análisis de costo por beneficio sean válidos y confiables y reflejen totalmente los efectos económicos de un proyecto, se deben incluir todos los cornponentes adecuados. Cuando no se consideran beneficios importantes, debido a que no se puedan medir o calcular en dinero, el proyecto parecerá menos eficaz de lo que es; si se emiten ciertos costos, el proyecto parecerá más eficaz. El resultado será engañoso si la estimación de los costos o beneficios es muy conservadora o muy generosa. Métodos de valoración Los beneficios y costos se deben definir y considerar para valorarlos de manera diferente, según la perspectiva de contabilidad utilizada. Cuando se adopta la perspectiva comunal, los efectos del proyecto (y, por tanto, los beneficios y costos) se deben valorar de acuerdo con la repercusión en la comunidad entera, la región o el país. Para muchos programas, los egresos no tienen precios en el mercado (por ejemplo, la reducción de la contaminación o el trabajo de una ama de casa), pero debe estimarse su valor. El procedimiento preferido es usar precios espectro, también conocidos como precios contables, con el fin de reflejar mejor el mercado de precios actual, el costo real y los beneficios para la sociedad. En otras palabras, los precios espectro son derivados de bienes y servicios que reflejan los beneficios y costos nacionales.
238
Consideraciones de distribución Tradicionalmente, la efectividad de realizar intervenciones sociales se estima en razón de que la realice por lo menos una persona mejor que otra, sin embargo, éste puede no ser el caso; por ejemplo, disminuir el salario mínimo para adolescentes puede incrementar su empleo, pero reducir las oportunidades de trabajo para los adultos. El significado básico de incorporar equitativa y distribucionalmente las consideraciones en el análisis de costo-beneficio implica la existencia de un sistema de estímaciones en el que los beneficios se valoran más si producen el efecto positivo anticipado. Si un salario mínimo disminuido incrementa los ingresos de familias con mayor desventaja, pero reduce los ingresos familiares de los desaventajados moderadamente, los dólares ganados y perdidos se podrán estimar de modo diferente, según el grado de desventaja de las familias. Algunas realizaciones son más valiosas para la comunidad, por razones equitativas y debido al incremento del bienestar; por tanto, se deben examinar con más profundidad. Las estimaciones por asignar pueden determinarlas los tomadores de decisiones apropiados, en cuyo caso tendrán que hacerse juicíos valiosos; sin embargo, también pueden derivarse de la aplicación de ciertos principios económicos y presunciones. Existen múltiples enfoques formales (estudiados en el capítulo 3). En cualquier caso, es obvio que las estimaciones no se pueden aplicar indiscriminadamente. Sin duda, los analistas diseñarán refinamlentos posterioies conforme continúen con los problemas de los efectos de distribución. Una solución intermedia a las consideraciones de equidad en el análisis del costo por beneficios consiste en efectuar cálculos de subgrupos separados de sociedad, en vez de calcular una medida agregada única. Las disgregaciones se han realizado para grupos de ingresos (por ejemplo, Hansen y Nelson, 1976) y para los niveles de asimilación (por ejemplo, Wolfe, 1977). Tales problemas de distribución en el análisis de los efectos en las escuelas se han examinado profundamente, sobre todo debido a que los costos de la educación subsidiada los sufragan, en parte, quienes pagan sus impuestos y no tienen hijos en la escuela, y los beneficios los reciben personas con grandes recursos económicos (Ribich y Murphy, 1975). Finalmente, se ha sugerido tener en cuenta la equidad considerada de los regresos en la educación (Conlisk, 1977). Efectos secundarios (externos) Los proyectos pueden tener efectos externos o de derrame, esto es, efectos colaterales o consecuencias no intentadas que sean benéficas o perjudiciales. Como tales efectos no son resultados deliberados, se pueden emitír de los cálculos de costo-beneficio y si no se hicieron esfuerzos especiales por incluirlos. Un efecto secundario del programa de entrenamiento es, por ejemplo, el entrenamiento a parientes, vecinos y amigos de los participantes. Entre los más comunes efectos externos negativos de proyectos técnicos o de la industria están la contaminación, el ruido, el tráfico y la destrucción de plantas y de la vida animal. Para muchos proyectos son probables dos efectos: el de desplazamiento y el de vacío; por ejemplo, en proyectos educativos o de entrenamiento, un grupo de personas entrenadas que se incorporen al mercado de trabajo pueden competir
METODOLOGIA EN EL ANÁLISIS DEL COSTO-BENEFICIO
239
con los empleados que están trabajando y desplazarlos (esto es, que los obliguen fuera de su puesto). Los participantes del proyecto pueden dejar vacantes sus puestos, con lo cual dejarán un vacío que otros trabajadores llenarán. Los efectos externos pueden ser difíciles de hallar o medir (consúltese Klarman, 1974, quien revisa las dificultades para especificar los beneficios índirectos o intangibles de servicio de salud); sin embargo, una vez identificados, el análisis de costo-beneficio podría intentar incorporarlos en los cálculos. Descuento El último elemento principal en la metodología del análisis de la eficacia se refiere , a1 tratamiento del tiempo para valorar los costos y beneficios de programas. Esta técnica se conoce como descuento y consiste en reducir los costos y beneficios dispersados a lo largo del tiempo en una base común monetaria, o ajustarlos a sus valores presentes. La intervención de un programa varía en duración, y los programas exitosos en particular producen beneficios derivados en el futuro, algunas veces mucho después que la intervención ha ocurrido. Se espera que el efecto de muchos programas perdure para toda la vida del participante. A menudo, el evaluador tiene que extrapolar el futuro para medir la repercusión y asegurar los beneficios, debido especialmente a que los beneficios del programa se miden conforme el proyectado ingreso cambia para los participantes; sin embargo, los costos son más altos al principio de una intervención, cuando muchos de los recursos se deben ampliar, y cesan o disminuyen cuando la intervención termína. Incluso un costo fijo gastado en dos momentos diferentes o un beneficio constante derivado en tiempos distintos no se pueden considerar equivalentes. El análisis de costobeneficio ex post, y no sólo las valoraciones ex ante, a menudo se extrapolan hacia el futuro para lograr un análisis completo. De otra manera, la evaluación se podría basar sólo en un periodo restringido, para el cual los datos del desempleo actual del programa estaban disponibles. Los costos y beneficios ocurren en momentos diferentes y deben someterse a una medida común o hacerlos conmensurables. En otras palabras, los patrones de tiempo por costos y beneficios de un programa se deben tener en cuenta. En vez de preguntar "¿cuánto más valdrá mi inversión en el futuro?", la práctica económica común es preguntar "¿cuánto menos valdrán los beneficios del futuro de aquellos derivádos en el presente?". Lo mismo sucede con los costos. La respuesta depende de lo que presumamos que es el rango de interés o el rango de descuento y del marco de tiempo escogido. En el anexo 8.6 se muestra un ejemplo del descuento. La elección del tiempo en que se base el análisis depende de la naturaleza del programa y de si el análisis es ex ante o ex post. Todo lo demás es equivalente: un programa parecerá más benéfico cuanto mayor sea el tiempo horizonte escogido. La elección del rango de descuento se relaciona con la perspectiva de contabilidad. No existe enfoque autoritario, aun cuando uno consiste en establecer el rango con base en el costo de oportunidad del capital, esto es, qué cantidad se debe esperar ganar si se invierte en el mercado privado o en el sector público. Otro enfoque, bajo la perspectiva comunal, es usar el rango de descuento social, que presumiblemente refleja una preferencia de la comuni-
ANÁLISIS DE COSTO-EFECTIVIDAD
240 17 .7
114 Co stos y ta:válórT csente ontados
.que es preferible tener cierto
El docuéilt1:1',U,
pitplen . elpréSente qué...tenerloen'él:flitUrCt:sTatto:jo..cternás,elequtvalente:,..11.c.z .se..pUléclé:,atiCirrar;eiüríi.lariCCI:liai,:a...a‘cUrn0far.:trite110éIa:Utilízársé.:.Par•-dalI VerSibti›.Ytitárk:EStkirló'.:ViáráltrOgraiid.e'::éri.-e144.,trCi:IPUI:sfa'sdiferéigleiline ftifurey:IárrienlaS:Vali64::4áelal'uOrria'¿aritjcIC1 rétérité:: eIlr'évele.cltáritd.sé..débeilá.l:artaisparaptOdiliCiftitia'antlaáC1.:fija.-eít..é.Fft;. el descuent . s- a í. .ca . ¿ci iiitorscompues o
Áli + rr . de . d. és.00nto y t nluestra el nürnero de años. Por tark,...:para:abténer.la Cat.'• rterite-lOtai : debeijeftCios (y colós) dé Un trograrna epreso.: agrecian oss. valores deWtdrItádoliSma c:ada anO. Un` or,p0.,sgatesi , . se: 3ii .oi:COfikáI
(s i..' lli,:v1 eintilti. 1-1416.116 -.ét'él:,siguiente: . , . de 1 000 , .. . , incrementos . : ., . . , produce ..„ ..... . iá. de entrenamlento é'.. :0 .0 glesiin, Pt.ldrIn las gananclas e n mejoras anté: Las .ga ,prtici para cad garianct4s . .... yd1:13,cir , Oc, _ .40 .. „., . ,.. . , .. - , 4é1C-tientaii a sitt,tialórel,. iireselitel 'en ui. .roporclon de descuento del 10%• --:-::•----''"''', riráhte Clácd'áñbs; .-"'' ,------:'''
Año
$909.09
iS'26 45
$1000 (1 + 10) 3
$1000 '(. 1-t- 10) 1
$751.32
$683.01
Los resultados de un estudio son así susceptibles de la elección de un rango de descuento. Por tanto, en la práctica, para resolver este problema complejo y controversial, generalmente se calcula el descuento con base en varios porcentajes distintos. Finalmente, en vez de aplicar lo que parece ser un descuento arbitrarío, se puede calcular el rango interno de retorno o el valor que el rango de descuento tendría que tener para hacer los beneficios del programa equivalentes a los costos del programa.
s•
a tidad
$1000 , $1000 -(1 + 10) 1 (1+ 10)
241
Cuándo efectuar los análisis de costo-beneficio ex post Es importante considerar un número de factores para determinar si se emprende o no un análisis de costo-beneficio. En los contextos de algunas evaluaciones, la técnica es factible, útil y un componente lógico de una evaluación comprensiva; en otros, su aplicación puede recaer en presunciones dudosas y tener una utilidad limitada. Los requisitos óptimos para efectuar un análisis de costobeneficio ex post de un programa, incluye lo siguiente: El programa tiene fondos independientes o separados. El programa rebasa el estado de desarrollo en cuanto a su certez.a de que los efectos netos son significativos. La repercusión del programa y la rnagnitud de la repercusión se conocen o se pueden estimar en forma válicla. Los beneficios se pueden reducir a términos monetarios. Los tornadores de decisiones consideran la aplicacIón de programas alternos, en vez de simplifícar si se continúa o no con el proyecto existente.
$1000 (1
10)5
$620.92
a Después de cmco años, los beneficlus descontacios 000 tor • 7.90.79.. Así, las mejorías de $1. 620.02 o , $3 $909.09 + $826 45 i $5 000 , u o sólo 3 790.79. En un rango de descúeri.io anono.v.aken, henc,1,clocss de $4 329.48. En general, presálte.jet¿Il pndria eáltuladó-Snlediante el empleo bajos rangos de 'descuentos parecel,in iii c¡-tié-los-catáuládáS . ton a tos lanyos, todo_la demás es equivalente.
dad en el tiempo. También, el patrocinador del programa, como un grupo gubernamental, podría decidir, administrativamente si un rango específico se puede usar en los cálculos. Manuales recientes recomiendan que se calcule un rango de interés de la contabinclad más complejo, relacionado con el rango de salarios espectro (Little y Mirrlees, 1974) o tener en cuenta el efecto distributivo (Squire y van der tak, 1975).
ANÁLISIS DE COSTO-EFECTIVIDAD El análísis de costo-beneficio permite comparar alternativas o prograrnas alternos de eficacia económica, aun cuanclo las intervenciones no se dirijan a metas comunes. No obstante, después de los intentos iniciales a principios dé la década de los setenta, para usar el análisis de costo-beneficio en el campo social, algunos evaluadores pudieron, de forma no 'fácil, comparar directarnente los cálculos costo-beneficío de, por ejen-iplo, la planificación familiar, la salud, la vivienda o los proyectos educativos. Como se serialó, algunas veces no es fácil obtener convenios, por ejemplo, acerca del valor monetario de la vida prevenida por un proyecto de control de la fertilidad, o de una vida salvada por una.carnpaña de salud, y luego comparar los resultados. El análisis de costo-efectividad no requiere que los costos y beneficios se reduzcan a un común denominador. En vez de ello, la efectividad de un programa para alcanzar las metas dadas se relaciona con el valor monetario de los recursos que se incluyen en el programa (Levin, 1975). En el análisis de costoefectividad, los programas con objetivos similares se evalúan y los costos de programas alternos para lograr la misrna meta se comparan. Se pueden comparar programas diseñados para disrninuir el rango dé fertilidad con los diferentes
cr . ,1 ) .6,, a, (0 ,..,, ifi 0 8 g .z , 2, -14m .... ,2 ; w .., --- , , fa. - > to' ,,,, , Cv - 1 .6,3 -,,:grt_4 0,135.-cla,a_ ,-, --,-3,F,,y,j,„oz: co a-wr .0,9F,,zi, 0 n-
n n
111 Cv o
uz 1), u,
<;" cr
cl.) rz) 0
..,,o.,.o F, , 0 :"élle "-Z 9 .„:,t3,,,,:p,. - E l'i-S•f:(7,'z :af. o. c, ,-, -ald,--., n' 2u ; ;C).:•,Wi-1.— l 5 . 1.1- ''' c' ..:5,'
s ,
5, .... ,", j-- , 51' cv F,,' —.• n E'o ,„,' '.2.: ta'ee:1'....V(,(nr_.= c„, ..¿ , - Q.: C, r-, c -±' CL.
cv
-1 T , n. -o. ,
u>
1:3
r)
5. 11' IS)
•-••
n
.1). -.r., r, 'fzi ,-,' ",,"„0 - , g,' Ç•h- .,•,...,,,I• . j 1. 9 1 i' l' "z: `' 1 .„1-2:11.',2
P-1
c9"'
w o cv 3 n o n cs 14, n ci. (x) 0 0, 3z cL
n L t,
"
o, g cv
(f)
5. cy„g = cr
co
'1
g_ m o
.,12,i'.°•.ci
`1)
0 0 (1)
‘-‘ v,
<",, a'r- .
o .. -:a•-•d n 'cr Fe-, o z ,,, tA ell'0,-..,..,.;r1) , , n-i nr , n.c 6-' v. 0 ;'.. - L 'ilk „ , ,-., , _11.9., 1,;_.-, 70'2.-,9-..,,..., 1-•-,. ,-. ,2, . :., :,,.-,--.. ,,.. ,.• ,1_, g , A,321 1:',„ 1 u,-,9:,;.,:r,E7 2 L.:,',).,...,-_1..,:, .',,,,,..5-1: 1;•.‘,I.,i,P.; z, ,2,,,.,,,,,:,,I, ‹,-„›,-17._.,,,,,,..8. ‘.:- - :.-..,_ - -.0...to — z -0 ,n- . 15_ E:-, -;..• . ,V., 1 ''"-to.al n ro c , E ,,, _ ' '; '.'-' a 'c'i, g. --r1 3 '-` c . ,1.1-.17, 2, • ,'" -, -4:,9....,..z.':'. 2 . 2, 0 9 w • `°n-l'o'.-9.-',0 •n"5. 'ti-c 1-, m.‹,
In)
wOMO (1) 0
1
': .0 -. ' ' CZ
ca.
8- • g . a ,
o — ' 0. (9 0 1n n
0- 3 c„ < o 0
n•
w
110
n
0 .(57 cz , cr, g ..-' " CC) .-: L-1 •• 1,-2 9 '5,. , g >
3 ' 0..59,, C -rt '
3
.oo
o o
n 0 a'l z, a. , á- 1
9
o. o
«, 0 1,1, -n (9,
r -4 414;2 >
c
3 o 0 co 1,1
tif
a' co co
oo o
° v.
41. t.3
CAP. 8. MEDICIÓN DE LA EFICACIA
244
245
de asegurar el valor o mérito de una intervención dada, ni comparar cuál de dos o más programas en diferentes áreas producen mejores retornos. Sólo se puede compararla eficacia relativa de las metas del programa unas con respecto de otras, en que la eficacia es una función del costo mínimo. En el anexo 8.8 (pág. 243), se resume un análisis de costo-efectividad de programas reformados alternos en términos de costo por reducción en la reincidencia. El costo-efectividad se puede ver como una extensión del análisis de costo-beneficio para proyectos con metas múltiples y no conmensurables. El costoefectividad se basa en los mismos principios y utiliza los mismos métodos de análisis de costo-beneficio y su análisis. Las presunciones en el campo del método, así como los procedimientos requeridos para medir los costos y el descuento, por ejemplo, son los mismos para cualquier enfoque. Por tanto, los conceptos y la metodología introducidos previamente en consideración del análisis de costobeneficio se pueden tener en cuenta también como base para comprender el enfoque del costo-efectividad. En el anexo 8.9 se muestra el uso del análisis de costo-efectividad para comparar un programa de televisión experimental educativa con una reforma propuesta para un sistema escolar existente. En términos sencillos, muestra el uso de los rangos del costo-efectividad para comparar proyectos alternativos en términos de costos para producir ganancias cognoscitivas medibles.
1
sto-- 7 7e 7eCiáírl l' iia- cralproye Ane-xo. 8,9. AnaTsis 7delsle o-----1' editCatIva : de teforma educativa y television .., , , . , , , ..-. - - =. .1-;:.:1,,:l -Olátós de'utia
evalua,ciórx. eXperImental'azIa-teleúlsiói-t _
Ganancia-,de cid kíha cias-¿s.--171;e7i' m—"entaTes... Ganancia TVE
-
-Ganancla de grupos control exp Mentalcs. (refOrmá sin-TV.É). Clencla Gananc1a de clasestti-aclibonales1
soc".Iales
(3anancias de clases tradIclonales., (3ariancia de clases exPerinie"i-ltre's , • , IE
rjmianca de gruPos control experlnriefitales (reforma.sin,IVE)
s , porcentaJes ciex-oltozelectOldad-pqra kcada sufeta son
slgu orniO sola
Sóló'enTós estitcllo's sociales está el poreenta....:e mayor qüe larefdima sola. Por ello, el autor argumerita que se InvestIgue el pr granria eircular y las reformaS a la enseñanza, , y implaniar, la TVE: ". Ion-- en
e-541" fry. E ) y de . ,
en esté casó,-, en,¿, I nlYel,,dersérátirnp:gradof Las'anántiaseelueativ á- „s semillieron .., pe.i:üleclid:rde Piruebas'de. astrilllaéiSiVeStándar ad,ffiirifstradai'al -e4rn-leirizó -Yral f i nít.l. del,año esecilar dé---1972'.., Lás refóri-Nas ed{leativasifícItiíáíiiiipgrayi'válcurriallElres : a-IMPIlós-,Y,.rna-tertar les y mar'es—,t' ros reentrenaclOs,.,c-On' y siti'tel,e, v_ isiáiVeducal‘V-a. Se - 17,9E:'el cols4O'anual. c.11:eitlat:Ori'lós'¿ostos actuaiá de la reforrna y clelól -Prograiiiás por,estucllánte_del,prograrna,de reforma sin33/Effile de 16.',51(51areS:sr el costo cle la . IVEsolafikde 22.dólares. En la tabía sigulente -se'resuMe `el resultado del análisiv , - -- ' ' ' . ..,-..- - dé,C.O11"6. .,:lie:c.i1Vid'a
_
EstudIos
0.
, . "Iti n P ro ára tn-dé i"éfoiiii á ll¿li,icatIVa Irnplantados en El Salvador por AID Perrnitló comparar el costo - efectistidad de dos alternativas para ampliar la escolarldadbáslca
'1 . ternjtIcas-
Gapancia de clascs 1.exp,efirnentales TVÉ Ganancia dé gruposleólid mentales (reforma
RESUMEN DE UN CAMPO COMPLEJO En este capítulo se ha examinado de modo general el análisis de costo-beneficio y estudiado su lógica, sus supuestos, sus conceptos y sus procedimientos. El análisis de costo-beneficio requiere que los costos del programa y los beneficios se conozcan, cuantifiquen y transformen a una unidad de medida común; que se proyecten hacia el futuro para reflejar la vigencia de un programa, y que los costos y beneficios futuros sean descontados para reflejar sus valores presentes. El análisis de costo-beneficio se ha sugerido como una altemativa factible en los múltiples ejemplos en que los beneficios no se pueden estimar en unidades monetarias. También se ha recalcado que el análisis ex post es más apropiado que los estudios ex ante para evaluar los programas de prestación de servicios humanos. En términos de estimación de la eficacia ex post, los análisis de costo- beneficio y de costo-efectividad se podrían ver como componentes de una evaluación integral, pues la evidencia sólida de la repercusión neta es la base para formular los beneficios y la efectividad. El análisis competente puede proporcionar información extremadamente valiosa acerca de la eficacia económica del programa, importante no sólo en su planificación y ejecución, sino también en el proceso político. Como se muestra en el anexo 8.10 los análisis de costo-beneficio y de
246 i:ile Noexo 8.10.. Efectos y costos dé los seicio. cuicli-icto diurnó para CróniccisnIr'"' . - . Establecimicntos de cuiclado diurno para adultolisiryc9, -se,csfudiardn eri un exí->erinientó aleatdrio' rosultados,en,los pacleIrtes y los costos dé usar estos nuevós . senifcld1. : ÉllYrés-oterA, .1i-tículirifiSi4riá'de los halla'zgos' del culdádo . ctiur'nó. Las fundones físicas, pslcosry 'Sáluctelel . pástente se valoraron.trnpestralinente y se obtuvieron los regls-. trOS' .de..ré'nicl-ad6';inéditó. Los datos déaYtida„médica se obtlivieron en nurnerosós pai; ientes,'Pe/ o pocos usaron lo incluido en la ayudáinédiC,áYjot,ervicios de cuidá, El anólisis do ctapas:inUltiPléS sé -:r2liZ4:Pará'niitigar los eféctos''cle., partir dé! diseño aloatorio. Los pacierttesjiclé , cuidado,d).itrno: n o mostraron benefiestudiii,lomparados con el grupo' ids en la 13abilidad funclonal físicá coCrtróL ,l,,Lá:pstitucionalización ' d e lai.s'.fC1114de41 l cuidados habilido'Sbsftiernas baja párá el,árup-b exper-inkntal que pará el control, Pé' rO otros factorádiférentes.:; cleláVAriáblé'del.Uatarniento piarcep,xplic.ar muchO déla varianz$. Hubo qUeise: . Prulongara lá vidáCfe`algunoS 4C1entes dé Cuidado diurno. Los -.. nu 'évOs' ser .vidos prOjnediaron . 51,d4lárés:potydía'3 . 0 j 5 dólares por año. Cuando los : cbstos ér o' gados Pára los seV)Clii-S"détilicllab'í'il- édiCCn é;:iciItentés sésumaban, el costo anual del -grUpo experimental fúe de 6 50,1 dólar&:, cornparado con lOs 3 809 (dólares dcl - grujp o ccintrok›Tun incrernento de 11 2 dólares o 71%. „ - , claWtlitam Wessert,'-ThornzisWanj3a irOi-á 1.1v-Wrát.,:11,911.t Fuctnte: tyl,ptado, con aukt rtzaci of DaP.:C-3re Sertitt'e,-s for the CtiOrti-MIW"t1IP.Art'lliditplonylzedtExperinseriti,'„Irt K Care, vol 18, núrrt 6. 1:-.)50, patis 567.584
otz, "Ettfects 'and
costo-efectividad frecuentemente proporcionan importante información no disponible a partir de valoraciones de la repercusión. Se ha proporcionado un enfoque general de la eficacia. Como parece evidente, la considerable complejidad técnica debe ser característica del múltiple trabajo que la rodea; no obstante, como un estilo de pensamiento en cuanto a los resultados del programa, tiene un gran valor en el campo de la evaluación.
El contexto de la investigación evaluativa Las decisiones políticas y administración relacionadas con los programas ocurren con evaluaciones o sin ellas. Las evaluaciones pueden repercutir en el proceso de toma de decisiones sólo si resulta un conocimiento influyente respecto de las evaluaciones, y si éstas son oportunas y adecuadas al programa. Posteriormente, el contexto en el que las evaluaciones se realizan y los arreglos organizacionales con los cuales los grupos de las evaluaciones hacen su trabajo influirán en la calidad y la utilidad de las evaluaciones. Mientras las evaluaciones realicen contribuciones a largo plazo para conocer cómo diseñar y ejecutar los esfuerzos de la intervención, sus contribuciones son relativas, inmediatas y directas para poner en marcha el programa y los resultados que provoquen apoyo por la investigación evaluativa. Apropiadamente, continuará el escepticismo entre los tomadores de decisiones, los planificadores, el personal del programa y las poblaciones objeto participantes en cuanto a las ventajas de las intervenciones sociales. Al mismo tiempo, este escepticismo se contrapone a nuestra aspiración de mejorar nuestra vida y las de nuestros hermanos en todo el mundo. El estado de la evaluación, como un arte, es uno de los medios de consumir esfuerzos para contribuir al progreso humano y social. CONCEPTOS PRINCIPALES
Validez extema: Validez intema: Significación política:
Poder estadístico: Significación estadística:
Extensión en que el diseño de un estudio permite que los hallazgos se generalicen. Extensión en que el diseño y la ejecución de un estudio permiten hacer declaraciones definitivas de los resultados. Extensión en que los resultados son significativos en el contexto de los costos del programa, las intervenciones alternas disponibles y la presión de las acciones de la intervención. Estimación de la probabilidad de que un efecto neto se observe si existe, dando las propiedades estadísticas de las medidas y los procedimientos estadísticos empleados. Probabilidad de que un resultado se deba a la fortuna. 247
248
CAP. 9. CONTEXTO DE LA INVESTIGACIÓN EVALUATIVA
La evaluación, como repetidamente se destacó, es no sólo actividad técnica, sino también una investigación diseriada para dirigir el proceso de formación política, el diseño de programas y la ejecución y administración. Asimismo, es una actividad política, en el sentido en que las evaluaciones siempre se realizan en contextos en los que participan muchos partidos interesados en lo expuesto en los resultados de los esfuerzos. Estos evaluados afectan la capacidad del evaluador para realizar efectivamente las evaluaciones y los medios en los que los resultados de la evaluación son utilizados por los políticos, los planificadores, los patrocinadores y los administradores. En este capítulo se examinarán algunos de los problemas derivados del hecho de que las evaluaciones tengan lugar en medios más o menos politizados, y que requieren relaciones con personas que tienen sus propios puntos de vista e intereses profesionales y personales. Las actividades de las evaluaciones también se realizan con un vasto rango de organizaciones, incluidos universidades, corporaciones de beneficio y no beneficio y prestadores de servicios hurnanos. Estas organizaciones, de acuerdo con sus actividades y las personas que las realizan, ejercen una influencia en el tipo, la cualidad y la utilidad de las evaluaciones. Desafortunadamente, los evaluadores aún tienen el conocimiento sistemático sobre sí mismos y sus esfuerzos --cómo otros usan sus trabajos y sus relaciones con el contexto mayor político en el que se realizan-; sin ernbargo, ese conocimiento ha crecido, de modo que en años recientes se han realizado numerosos estudios que permiten por lo menos hacer algunas generalizaciones. 051n10 INTERPRETAR pos RESULTADOS DE LA EVALUACIÓN Los procedimientos descritos en los capítulos anteriores proporcionaron datos que intentaron ayudar en /a formulación de juicios acerca de la efectividad de las intervenciones; tales hallazgos son no sólo consideraciones que podrían formar parte de tales juicios. Los hallazgos de los esfuerzos por evaluar no son autoevidencias tanto como a sus implicaciones prácticas concierne, de modo que el evaluador debe tener en cuenta otros elementos más allá de lo estrictamente metodológico, al hacer su estudio. En este sentido, la postura convencional de los investigadores sociales requiere modificación (Cronbach et al., 1980). Algunos de los elementos adicionales de la toma de decisiones se examinarán brevemente en este capítulo. Las preguntas que se originan son: ¿Qué tanto se necesita un efecto.positive?, ¿dónde debería establecerse un nivel de significación parád-i-s-cernir si un programa da o no resultados netos diferente-s-,-más allá de la posibilidad de no obtener ningún resultado? ¿Qué tangeneralizable es el resultado?, ¿se obtendrá el resultado positivo en unaT1ói el programa continúa o se aplica en circunstancias diferentes? \. ¿Cómo son los_hallazgos-errcuanto- a pertinencia, para la política y para los intereses del programa?, ¿son las diferencias no sólo reales, sino también con suficiente magnitud para garantizar la comisión de los recursos en una base común y a largo plazo?
249 Establecimiento del nivel de significación estadística El resultado de valorar cuantitativamente la repercusión de un programa es una estimación de los resultados netos del programa. ¿Qué tanto debe prolongarse una estimación antes de aceptar los resultados como factibles? Primero, se debe deternr ri el resultado eto es diferente de cero. Como los hallazgos generalmente son di in os e cero, se debe Caid-cértón algún grado de confianza si los resultados son o no diferentes de cero. Para efectuar tales juicios, se considerará de nuevo la estadística teórica. Mediante el empleo de un modelo estadístico apropiado, se puede determinar cuán a menudo los resultados netos de tamaños dados en una serie de replicaciones de un experimento aleatorio ocurrirán si el verdadero resultado de un experimento es cero (o alguna otra magnitud especificada); por ejemplo, si en un experimento dado se puede aprender que un resultado neto de por lo menos cierto tamaño podría ocurrir por fortuna en cinco de 100 ensayos cuando la intervención actualmente no tiene efecto. Si se acepta el resultado como un indicador de que el programa tiene efecto, se admite que dicho experimento no es del 5% en el qué el verdadero efecto es cero; esto es, se supone que el resultado no se debe simplemente al azar (esto es, el resultado de un procedimiento aleatorio). Si se rechaza la hipótesis de que el experimento tiene un efecto, se corre el riesgo de cometer el error opuesto de clamar un resultado particular inducido por el programa como un resultado de la fortuna (Crane, 1976). En la investigación social tradicional, los niveles de significación estadística generalmente se ubican entre 0.05 y 0.01. El nivel establecido puede ser porque se considera el grado de riesgo de que los resultados se deben al azar. En otras palabras, el modelo estadístico apropiado dicta que los hallazgos pueden ocurrir por posibilidad cinco veces de cada 100 ensayos (0.05) o una vez de cada 100 ensayos (0.01) lo cual depende del nivel establecido. Mientras puede resultar cómodo basarse en la tradición, este juicio en la investigación social aplicada se debería hacer con precaución, lo cual reflejaría que incluir errores en los juicios podría tener ciertas consecuencias. En su lugar, en algunos casos se podrían aplicar niveles estrictos de significación estadística (por ejemplo, 0.0001) y aceptar como un indicador el efecto estadísticamente significativo de sólo aquellos resultados netos que ocurran por azar una vez en cada 10 000 ensayos. En otros casos, se podrían aplicar límites benignos (por ejemplo, 0.20), en los cuales se acepten los resultados netos que ocurran por azar una vez cada cinco ensayos como evidencia razonable de un efecto real del programa. Un enfoque complejo de la determinació aceptación-rechazo se incluye en el concepto de poder estadístico, el cual se refiere a la probabilidad de que un efecto neto sea observado si existe, dadas las propiedades estadísticas de la medición y los procedimientos estadísticos empleados. Por ejemplo, dado un valor estimado de la correlación entre la preprueba y la posprueba y de las notas de los grupos experimental y control, y dada la estimación del tamaño de la muestra, la probabilidad de advertir un resultado real de cierta magnitud se puede calcular. Esto se conoce como poder del resultado de un análisis estadístico. Recíprocamente, si se calcula la probabilidad estadística de los resultados,
250
CAP. 9. CONTEXTO DE LA INVESTIGACIÓN EVALUATIVA
se podrá estimar el tamaño apropiado de la muestra, dado el uso de un procedimiento estadístico determinado. Establecer los niveles de significación estadística de -la evaluación de un programa implica formular juicios acerca de la importancia relativa de dos tipos de errores: Error tipo 1 o positiuos falsos. Tomar una decisión positiva cuando la correcta debería haber sido negativa; esto es, concluir que un programa tiene un efecto cuando realmente no lo tiene. Error tipo 2 o negativos falsos. Tomar una decisión negativa cuando la correcta debería haber sido positiva; esto es, fallar al detectar el efecto real de un programa. La probabilidad de cometer un error de tipo 1 es equivalente al nivel de significación establecido para la prueba. Se pueden minimizar los positivos falsos mediante la ubicación de criterios muy estrictos de significación estadística, pero eso sólo incrementa la probabilidad de cometer un error falso negativo. Los dos tipos de errores están inversamente relacionados y es posible minimizarlos simultáneamente sólo mediante un enorme costo. En cada proyecto evaluativo se debería decidir a priori cuál de los dos tipos de errores es más importante, de manera que se diseñará coordinadamente el análisis estadístico particular. Deter-. minar si un falso positivo o un falso negativo es más importante de minimizar resulta, evidentemente, un juicio valioso y se basa en el área sustantiva de la evaluación, no en la teoría o la estadística. Cabe ilustrar las circunstancias en que dominan un falso positivo y un f also negativo. Al probar la seguridad de un equipo de un avión, es obvio que los falsos positivos son más importantes que los falsos negativos. En resumen, es más importante evitar certificar como seguro un avión que puede caer debido a un sobreuso (esto es, evitar el falso positivo) que evitar rechazar como inseguro uno que podría no caer debido a un sobreúso. Se puede formular tal juicio con base en el principio de que preservar la vida es más importante que diseñar y manufacturar aviones con poco costo. Decisiones análogas tienen lugar en las intervenciones médicas. En contraste, la situación opuesta se puede obtener en un programa con bajos costos relativos, como una intervención en la televisión educativa: como los programas de educación efectivos son difíciles de diseñar y los efectos negativos de adoptar un proyecto ine- ficaz no son muy marcados (especialmente ante la ausencia de otras opciones), los positivos falsos resultan menos costosos que los negativos falsos. Quizá sea mejor adoptar una serie de proyectos educativos que, en términos estadístícos, son problemáticos en su efectividad ante la esperanza de que por lo menos uno será efectivo. En esfuerzos de intervenciones, puede ser útil aplicar los principios siguientes: Para proyectos que tienen algún riesgo en los individuos, las familias o las comunidades, puede ser más importante rninimizar los positivos falsos que los negatívos falsos. Para proyectos en los que existe poca probabilidad de dañar a los individuos, las familias o las comunidades y que existen unas cuantas intervenciones efectivas, los negativos falsos pueden dominar a los positivos falsos.
CóMO 1NTERPRETAR LOS RESULTADOS
251
La noción de riesgo se debe interpretar ampliamente para incluir toda clase de costos que se podrían aplicar si la intervención estuviera en efecto como un programa estatutario. Los proyectos costosos, aquellos que podrían tener efectos negativos colaterales y los que implican tratamientos que en algún sentido son riesgosos para las poblaciones objeto son ejemplos de intervenciones potencialmente peligrosas. La primera implicación de esos principios es que los niveles de significación estadística que se podrían aplicar a programas potencialmente peligrosos deberían establecerse de modo más estricto que para los benignos o menos costosos. Una segunda implicación es que al valorar un programa costoso o peligroso se debería emplear la más completa de las investigaciones en sus diseños, los cuales fueron examinados en los capítulos anteriores. Si un proyecto pudiera tener algún riesgo, es muy importante estar seguro de que es rechazado cuando, de hecho, es inefectivo. Un proyecto para curar a pacientes mentales mediante un tratamiento peligroso (por ejemplo, psicocirugía o la aplicación extensiva de preparaciones psicofarmacológicas) debería probarse más cuidadosamente que un proyecto para incrementar la aceptación popular de complementos nutritivos. No obstante, las pruebas de significación estadística proporcionan sólo una base mínima para estimar la valía de modificar un sistema de entrega o defensa de una estra tegia de intervención particular. Las pruebas de significación dependen de muestras y de sus tamaños, distribuciones y pruebas utilizadas, además de que diferencias muy pequeñas pueden ser significativas aun en un nivel extremo (por ejemplo, 0.0001). En un sentido, las pruebas producen una estimación de si las diferencias son reales o no, esto es, el grado en que es posible que los resultados ocurran por azar. Los resultados se deben estimar también por la magnitud de los efectos encontrados, un tema que se tratará subsecuentemente bajo el título de significación política. Generalización de los resultados de la evaluación La valoración de la repercusión típicamente se realiza mediante el empleo de muestras" de las poblaciones objeto, subconjuntos de aquellas escogidas por materia de conveniencia o, de alguna manera más estructurada, para maximizar su representatividad. Un problema importante que se origina una vez que la evaluación se ha realizado es la extensión en que los resultados se pueden generalizar a la población objetivo total. El problema en la investigación evaluativa suele ocurrir en términos de - intercambios o negociaciones entre la ualidez interna y la externa (Campbell y Stanley, 1966; véase también el análisis hecho en el capítulo 5 de esta obra). La ualidez interna de un diseño es su capacidad, por medio de los datos deriva dos, para efectuar declaraciones definitivas acerca de si el programa produce o no resultados netos de la intervención. Cuando se realiza apropiadamente, el experimento controlado aleatorio tiene una validez interna alta, porque tales diseños capacitan a un investigador para asegurar si la intervención probada ejerce un efecto apropiado. Debido a que los experimentos controlados ponen al
252
CAP. 9. CONTEXTO DE LA INVESTIGACIÓN EVALUATIVA
margen casos extraños de los efectos, tales diseños ofrecen mayor seguridad de que la intervención fue la "causa" de la diferencia notada entre los grupos experimental y control. Los otros diseños estudiados en el capítulo 5 muestran cantidades decrecientes de validez interna. En contraste, la ualidez externa se refiere a la habilidad de un diseño de investigación que permite hacer inferencias o generalizaciones acerca de los efectos más allá de los grupos específicos y de los contextos que se prueban. Un diseño de investigación particular tiene alta validez externa en la extensión en que el diseño permite hacer generalizaciones para una población adecuada más allá del grupo empleado en la evaluación. Por ello, una consideración importante al diseñar cualquier evaluación es si los grupos objetivo seleccionados de la población forman una muestra sin sesgo de ésta. Un experimento bien diseñado y ejecutado, controlado aleatoriamente en una escuela secundaria, puede mostrar claramente que un proyecto de entrenamiento profesional es efectivo; sin embargo, si los estudiantes que participan en el experimento son escogidos sin considerar qué tan bien representan a los estudiantes de secundaria en la población al respecto, será difícil generalizar que los proyectos de entrenamiento paraprofesional resultarán efectivos en otras escuelas secundarias. En resumen, la validez externa del experimento podría ser deficiente. Asimismo, con el fin de probar un experimento diseñado para disminuir el desempleo mediante la adopción de una lista de computadora más eficaz sobre los trabajos en las agencias del gobierno, se pueden enviar agentes de demostración específicamente entrenados a diversas oficinas de empleo. Si las oficinas son escogidas de acuerdo con procedimientos de muestreo apropiados, se podrán efectuar generalizaciones acerca de su efectividad en el país entero, dentro de los límites de la variación de la muestra. Si el muestreo se hace sin sistema (por ejemplo, mediante la selección de las oficinas que voluntariamente se ofrecen para probar el nuevo sistema), la generalización de todas las oficinas de empleo será problemática. Esto se debe a que las oficinas pueden estar más predispuestas a usar el nuevo método tan asiduamente como sea factible y, por tanto, proporcionar resultados que sobrestimen el potencial de respuesta de todas las oficinas hacia los nuevos procedimientos. Debido a que los experimentos aleatorios son difíciles de realizar en gran escala y con buenas muestras de grupos objetivo, probablemente se realizan con mayor atención de los problemas de validez interna y externa; por ejemplo, debido al gasto que representa estudiar un número de comunidades adecuado, los seis experimentos de apoyo al ingreso emprendidos en Estados Unidos y Canadá se realizaron en un número pequeño de comunidades "típicas" urbanas y rurales; con todo, no se intentó escoger sistemáticamente tales comunidades con base en su representatividad de todas las comunidades urbanas y rurales en Estados Unidos (Rossi y Lyall, 1976). En contraste, la valoración de la repercusión que usa controles estadísticos generalmente se diseña con mayor atención en los problemas de validez externa. Las muestras representativas de las poblaciones objetivo se seleccionan frecuentemente, y los participantes se identifican con ellas. Destacar o no la validez externa o interna al diseñar la valoración de la repercusión es un problema que debe afrontarse pronto en la etapa de diseño de la investigación. Para un proyecto bastante innovador (y posiblemente costoso) puede ser valioso destacar la validez interna. La ejecución de tal proyecto causaría una
COMO INTERPRETAR LOS RESULTADOS
253
gran pérdida de recursos si se convierte en inefectiva, aun en las circunstancias más favorables. En contraste, para un proyecto efectivo para algunos grupos objetivo, el problema principal puede ser si resultaría efectivo en un gran rango de poblaciones objetivo; por ejemplo, en un programa de pago transferido del ingreso que será muy costoso y valioso si se decreta en un alto nivel de pago, puede ser conveniente realizar un experimento cuidadosamente diseñado de controles aleatorios en una situación prototipo, antes de realizar-la valoración total de la repercusión. Donde resulta menos probable la efectividad, pero el problema es efectividad con todos los subgrupos de una población objetivo, se pueden emplear diseños menos restrictivos con muestras más representativas. Otra estimación importante (la cual, en un sentido, se puede considerar materia de validez externa) es la extensión de la replicabilidad de un programa o de su trasferibilidad. Una intervención prototipo o piloto, diseñada para probar la aplicabilidad de un programa consejal corrido por consejeros dedicados y hábiles, puede tener una validez externa deficiente, porque podría ser difícil establecer el programa en un amplia base; esto es, puede ser improbable encontrar personas suficientemente dedicadas y hábiles para que pongan en marcha el programa en la nación entera al mismo nivel de la prueba. En general, emprender una prueba piloto o prototipo puede ser diferente de poner en marcha los programas diseñados para las masas, no porque los grupos objetivo empleados no sean representativos, sino porque el tratamiento en,la prueba piloto se da de manera que no puede aplicarse a grandes masas o escalas. Existen muchos ejemplos acerca de las dificultades de generalizar desde los programas piloto hasta los diseñados para las masas. En educación, muchas técnicas de enseñanza funcionan bien en manos de sus defensores, pero fallan cuando se someten a políticas escolares amplias. Este problema de validez externa destaca fuertemente la importancia de monitorear, como se vio en el capítulo 4. El problema de la significación política
Aunque el resultado de una evaluación puede producir hallazgos que convendrían por ser estadísticamente significativos y generalizables, el resultado neto puede no tener significación política; esto es, a veces los hallazgos pueden pasar muchas de las pruebas estudiadas en este capítulo, pero ser muy pequeños para tener relevancia política, administrativa o de planificación; por ejemplo, en la evaluación de Sesame Street (Plaza Sésamo), examinada en el capítulo 6, se encontró que los niños que observaban el programa eran estadísticamente distintos de los que no lo veían, en sus conocimientos acerca del alfabeto. Sustantivamente, la diferencia encontrada sólo abarca unas cuantas letras y, por tanto, tenía poca significación política (Cook et al., 1976). El problema de que la magnitud de la diferencia debía tener significación política varía de campo en campo. En la educación, una importante ganancia se define frecuentemente como aquella cuya magnitud es de por lo menos un medio de la desviación estándar. Una manera formal de proporcionar datos para juicios es realizar análisis de costo-beneficio y de la efectividad del costo, como se vio en el capítulo anterior. Efectuar esto permite que los juicios se hagan con base en si los recursos se gastan efectivamente, comparados con los costos y beneficios de proyectos alternos.
254
CAP. 9. CONTEXTO DE LA INVESTIGACIÓN EVALUATIVA
Otro criterio más dificil es formular juicios del valor social del cambio en el resultado. Pequeñas magnitudes de cambio tienen significación política cuando la valoración social es alta, mientras que las grandes magnitudes tienen significación cuando la valoración social es baja. Así, un programa de educación nutricional que reduce clínicamente en 2% los casos observables de malnutrición en niños, puede ser políticamente significativo, mientras que un proyecto de educación del consumidor que reduce en 10% las compras de aparatos innecesarios pequerios para el hogar puede que no lo sea. La disponibilidad de intervenciones alternas también se debe tener en cuenta; por ejemplo, en un país con alta saturación de aparatos de televisión y un sistema de educación formal que requiere recursos extensos y un largo periodo de modificación, las pequeñas ganancias obtenidas mediante la televisión educativa pueden ser políticamente significativas; a su vez, la misma magnitud de cambio puede no verse positivamente si los cambios rápidos a un costo bajo fueran posibles en el sistema de educación formal. La significación política también surge como un problema en otros sentidos. A menudo, un programa prospectivo se puede probar sin suficiente comprensión de cómo ven los problemas políticos quienes toman las decisiones y deben aprobar el decreto del programa en los estatutos. Por ello, mientras la evaluación de un programa en cuestión puede ser sin tacha, sus hallazgos pueden probar su impertinencia. En el Experimento de apoyo al ingreso de Nueva Jersey, Pensilvania, los diseñadores del experimento plantearon como su problema central la pregunta siguiente: ¿qué tan grande es el efecto de desincentivar el trabajo de un plan de mantenimiento del ingreso? Para el tiempo en que el experimento se terminó y los comités de congresistas consideraban los diversos planes de mantenimiento del ingreso, el problema clave ya no era el efecto desincentivador del trabajo, más bien, los miembros del congreso estaban preocupados con cuántas diferentes formas de bienestar social se podrían consolidar en un paquete de peticiones, sin ignorar las importantes necesidades de los pobres y sin crear muchas inquietudes. Debido a que los últimos probósitos de la valoración de la repercusión, como con el enfoque evaluativo general .,‘ es ayudar a tomar decisiones y a quienes lo hacen a formar y adoptar políticas públicas, la investigación debe servir a los diversos problemas políticos implicados. Las metas de un proyecto deben semejar aquellas planteadas por los políticos en sus deliberaciones de los problemas concernientes. Un experimento aleatorio diseriado cuidadosamente mostró una reducción en ciertos impuestos regresívos que permitirían mejorar la productivi dad del trabajador, y ser inadecuadas si los tomadores de decisiones se interesan más en motivar a los empleadores y en atraer las inversiones potenciales. Los diserios para valorar la repercusión deben implicar, si es posible, algún contacto con tomadores de decísiones adecuados, con el fin de asegurar sus intereses en el proyecto que se prueba. Para un proyecto innovador no analizado por los tomadores de decisiones, pero probado porque puede convertirse en el tema del estudio futuro, los evaluadores y patrocinadores de la prueba de la repercusión y sus efectividad deben contar con sus conjeturas informadas acerca de la política que podrían originar. Para otros proyectos, el proceso de obtener opiniones de los tomadores de decisiones es bastante íntegro. Se pueden consultar los procedimientos de los cuerpos deliberativos (por
CóMO REDUCIR LOS CONFLICTOS
255
ejemplo, comités auditores del gobierno o debates legislativos), entrevistar a los miembros de los equipos de tomadores de decisiones o consultarlos directamente. De hecho, es justo el problema que Ilevó a diseñar la valoración de la evaluabilidad, examinado en el capítulo 2. Aunque el estudio se ha centrado en las evaluaciones de la repercusión, prevalece el mismo problema en los sistemas de entrega y sus evaluaciones (proceso y contabilidad); por ejemplo, a fin de mejorar un prograrna acerca de los requerimientos en la elegibilidad de las poblaciones objetivo, para incrementar la cobertura y reducir la desviación, se deben examinar la significación estadística y la magnitud de la diferencia, así como estimar qué resultado se debe al cambio de criterio de la población objeto cubierta y desviada o al azar. Interpretar los resultados de la evaluación requíere hacer consideraciones que van más allá de la metodología. Que las evaluaciones se realicen de acuerdo con los cánones de la investigación social pueden hacerlas superiores a otras formas de estimar los programas sociales, pero las evaluaciones proporcionan sólo información superflua, a menos que se diseñen para evidenciar los valores y las preferencias implicados en la política, la planificación de programas y la administración. Según esta consideración, sus deficiencias tienden a centrarse en cómo establecer las interrogantes de la investigación y en cómo interpretar sus resultados (Datta, 1980). Para maximizar los resultados de la evaluación, el evaluador debe poder apreciar ambos niveles de consideraciones políticas. Primero, los programas que ubican problemas percibidos como requerimientos críticos (esto es, más rigurosos), en vez de valoraciones relativas a problemas triviales. Las decisiones técnicas, como establecer niveles de significación estadística o de magnitud, se deben informar por la naturaleza de la política y las consideraciones del programa. Esto es siempre materia de juicio y sensibilidad. Aun cuando se emprenda análisis más formal de eficacia (capítulo 8), el problema permanecerá; por ejemplo, la decisión para usar un programa individual o una perspectiva de contabilidad comunitaria está determinada por la política y por consideraciones de los benefactores. Segundo, los resultados de la evaluación se deben valorar de acuerdo con su generabilidad, si los hallazgos son significativos políticamente o sólo para el programa, y si el programa satisface de manera clara las necesidades (como se expresó por los múltiples factores que intervienen en el proceso político). CÓMO REDUCIR LOS CONFLICTOS ENTRE EL EVALUADOR Y LOS EVALUADOS Evaluar es formar juicios. Para efectuar una evaluación se deben proporcionar resultados que puedan utilizarse para formar juicios. La distinción entre formar juicios y proporcionar información acerca de la cual se basarán los juicios es útil y clara en la teoría, pero a menudo dificil de delinear en la práctica. Algunos evaluados pueden percibir los resultados de una evaluación como muy críticos y reaccionar de acuerdo con ello. ¿Quiénes son las partes típicamente implicadas en el uso de los resultados de una evaluación? En seguida se presenta una lista de algunos evaluados, grupos que pueden participar directamente o Ilegar a estar interesados en el proceso de la evaluación o en sus resultados:
256
COMO REDUCIR LOS CONFLICTOS
CAP. 9. CONTEXTO DE LA INVESTIGACIÓN EVALUATIVA
Polítícos o tomadores de decisiones: son las personas responsables de decidir si se debe establecer, continuar, suspender, ampliar o reducir un programa. Patrocinador del programa: es la organización que inicia y proporciona fondos para el prograrna que se evalúa. Patrocinador de la evaluación: es la organización que inicia y proporciona fondos para la evaluación (algunas veces, los patrocinadores de la evaluación y del programa son idénticos). Participantes objetivo: son personas, familias u otras unidades que participan en el programa o que reciben los servicios de la intervención sometida a evaluación. Administradores del prograrna: es el grupo responsable de supervisar y coordinar la intervención y su programa. Personal del programa: es el personal responsable de entregar la intervención (por ejemplo, los maestros). Evaluadores: es el grupo de individuos responsables del diserio y/o la realización de la evaluacíón. Competidores del programa: son las organizaciones o los grupos que compiten por los recursos disponibles. Evaluados contextuales: son las organizaciones, los grupos, los individuos y otras unidades en el ambiente inmediato de un programa (por ejemplo, oficiales del gobierno local o influyentes situados cerca o sobre el sitio del programa). Aunque estos nueve grupos no comprenden exhaustivamente a todas las personas interesadas y/o implicadas en las "políticas de la evaluación", son los evaluados que típicamente participan de una manera u otra para efectuar una evaluación y obtener sus resultados. No está completamente claro cómo se afectan los intereses de cada uno y cómo actúan en ellos para dar el resultado de una evaluación. En una situación particular, los políticos y los tomadores de decisiones pueden estar satisfechos con una evaluación positiva y frustrados con una negativa; otras veces, sus reacciones pueden ser inversas. Casi la única predicción confiable que se puede hacer es la de que los patrocinadores del programa, los administradores y el equipo de trabajo probablemente efectúen evaluaciones favorables con positivismo y reaccionen con honestidad a las negativas. Tales reacciones son bastante incomprensibles, pues esos grupos suelen tener al evaluado en la continuación del programa y su actividad es la que más claramente se juzga por el informe de la evaluación. También a menudo, el evaluador novato, una vez que ha completado un reporte y anunciado prudentemente los resultados, es abrumado por un torrente de críticas y de reacciones negativas para los resultados. Por tanto, es útil concientizar a los evaluadores novatos acerca de que sus hallazgos se recibirán con escepticismo, sospecha y hostilidad (aunque conocer esto no puede atenuar el grado de desilución del novato). Un evaluador puede ser el centro de grandes controversias. En anticipo a tales reacciones se pueden tomar medidas para reducir la cantidad e intensidad del conflicto potencial. Cabe señalar que existen críticas que rechazan evaluaciones, y aquí se aboga por ellas, como típicamente se emprenden ahora. La ideología y desconfianza de
257
los métodos cuantitativos justifican en mayor grado estas actitudes; sin embargo, el punto de vista de los autores es que se justifica la crítica de una evaluación particular, debido a que esto, la política adecuada y los problemas burocráticos se han manejado mal, y no debido a que el enfoque fundamental de la investigación halla fallado. Participación en la comprensión del diseño total Es importante que el mayor interés que se podría tener en una evaluación íncluya los supuestos y las límitaciones de la evaluación y de la metodología empleada. Esto es particularmente importante respecto de los patrocInadores, administradores y el equipo del programa. El evaluador debería hacer algún consenso con esos grupos en cuanto a las direcciones del proyecto por evaluar, los métodos por emplear y la Idea de que la evaluación se pueda reflejar negativamente en ellos (véase el capítulo 2). Como observan Berk y Rossí (1976), los datos y su efectividad en la evaluación pueden aumentar mediante la particípación de los grupos en las actividades de diseño de la evaluación (véase el anexo 9.1). Este proceso de construcción de consenso y obligaciones debería comenzar antes de emprender la evaluación (Wholey, 1977).
Anexo 9.1. Contribuciones de los partidarios d el disebo = Lá efectividad de los datos de la ,QuáluacIón,suele me)O'rar posterlorment4 cuando los participantes del programas 01 . 1- 1Otlyado* a particIpar en el diseño de nvesfigación yi .¿ii.anclo las jnedidas aciectElás -están engrádas...queloypolíticos con-, clián'011dós; poiefeltip;e 9 un estüdbn a¿éicá dela pal4tila.de:fiObbr,hecho por liebau m, Warcl diseños dellg>liíát i ñ'éiaktabltistos que resultaba casi írnpckitle éscaPar a t2n!itá.infénto con. sistía en diferentes géneros de teraplas de grupo con las que se pretendia maxlmlzár lo que los abogados Ilarnan cornunicied t,e,rop é u t Ic.<4.,Slus0 ,3410pOtlyriOnlo aleat51.rio para probár los programas terapItitilltque fiálliiltáiié.:sttéthátnépte cóirid fuera posible, laserpecificaclones óptimas deseadas por los patrocInadói:esderpro.': granta. El otra4Válnbras, los tr y1.4..:09adores buscan 19.que i9kclefensorel.derprOgret, ma pc>drían querer en el inejor nutndo posible, ol.c1¿!fiaddrii114ece:shlades, luesoyaloran e_ste prograrna ideal, AdenApdelaIllechdaVS,::- - ntelsIsejncluyert r esultados ( por tj emplo, rearré. St0s) .qt,te"W:iltütnrldád: de
- -AduitOs tOmó como vá l idól:Pét:tantá;:tunc16 .115S1.14i1:ázi „, 0,fue ,mas difícil itiediátáinente, ué.5110.6::-aH aIterac mes étílá,.pólí ..„.
efec-Cambh5 proceso tatal:
-
Research Politicalty on autorizadón dela
258
CAP. 9. CONTEXTO DE LA INVESTIGACIóN EVALUATIVA
A los grupos que han sido importantes en los resultados de la evaluación se les debería advertir que los resultados de la evaluación y sus formas de empleo pueden ser útiles para ellos; por ejemplo, una evaluación de monitoreo puede proporcionar información a los administradores del proyecto que permita supervisar el equipo y modificar el proyecto. Puesta diferencialmente, la evaluación se emprende debido a que existen evaluados que desean y necesitan información acerca de las operaciones del proyecto y de sus efectos. Por ello, el evaluador también necesita comprender y obligarse a informar a los grupos adecuados acerca de las formas de probar una evaluación (véase el capítulo 2 acerca de la valoración de la evaluabilidad). Especificación de las metas de la intervención Un punto de conflicto mayor y común es si los términos de la evaluación se escogieron adecuadamente, sobre todo si las metas se especificaron o no de modo correcto. En este sentido, como se serialó en los capítulos 2 y 3, es importante reconocer que un programa no necesita tener una meta o un pequeño conjunto de metas para poder evaluarlo. Aquí, cabe reconsiderar el criterio señalado en los primeros capítulos en el sentido de que las metas sean claras y medibles. En compensación de las complejidades implicadas, al evaluar un programa algunas veces es prudente señalar los diferentes puntos de vista de los polítieos, de los administradores del programa, de los clientes y de los otros miembros de la comunidad. El grado en que esta valía incrementa la complejidad del diseño de una evaluación al medir las metas múltiples de esos grupos diferentes debe resolverse en una base individual de evaluación por evaluación. Vale la pena volver a mencionar que el proceso de toma de decisión en términos de la evaluación y de servicio en un rango de puntos de vista dentro de la evaluación, es un acto que debe emprenderse consultando a los evaluados que intervienen, antes de empezar la evaluación. Posteriormente, como se se. rialó, algunos autores han recalcado la importancia de usar el conocimiento teórico de campos específicos, de tal manera que se diseñe un conjunto de objetivos (Chen y Rossi, 1980). Se arguye que la teoría de manejar conjuntos de criterio pueden minimizar la oportunidad de que las evaluaciones sean negativas o fallar en contribuir al conocimiento acerca de la ejecución y repercusión de los programas. Otros autores han defendido el uso de procedimientos formales de decisión analítica, y otros más han aceptado enfoques como la escala de logro de metas (véase el capítulo 2). El punto tratado debe ser evidente: especificar las metas es esencial, por lo menos para asegurar la adecuación del diseño. Divulgación Los resultados de la evaluación y los informes internos se deben presentar en una secuencia oportuna, lo bastante rápida para asegurar que los procedimientos empleados en el proyecto se puedan modificar de acuerdo con el programa. Esta observación se aplica particularmente al monitoreo de la evalua-
CóMO REDUCIR LOS CONFLICTOS
259
ción: en particular, los planes para monitorear deberían permitir una retroalimentación a las partes pertinentes. Los resultados de la evaluación se deben presentar de una manera comprensible, incluida una combinación de simplicidad y seguridad, lo cual es difícil de alcanzar para algunos evaluadores. Para evaluaciones de la repercusión especialmente complicadas que deben realizar científicos sociales altamente entrenados, se aconseja contar con autores profesionales, con revisores de edición o escribir informes dirigidos a quienes toman las decisiones y a los administradores del proyecto. La divulgación es materia no sólo de comunicación clara de los resultados de la evaluación, sino también de comprensión de por qué difieren las metas prioritarias de los evaluados. El estudio que aparece en el anexo 9.2 relaciona este punto con las agencias de tratamiento de drogas, y refuerza la importancia de la comunicación verbal. Nótese también que una valoración de "qué es" resulta más útil cuando refuerza el punto de lo "que podría ser mejor". Una evaluación que concluye en un juicio negativo sin sugerir acciones que podrían remediar las deficiencias, probablemente se vea con hostilidad que aquella que ofrezca sugerencias positivas. 1YC r
Anexo 9.2. Los juicios de quienes tortiaiLdecisiones y difusión Si 1 .,Iriforrnabiójr-ievaltratiya'fieine por, objeto Influir,en una-toma de decislc5n, los carnbio-s maybre's , én'lós,actbres , _ prióritariós dé clertos papeles y varios criteries que puedan requerir las agenc14.parajOrinular sus juicios y tratamientos; por ejem- . plo. parecé 'que los planificadorá en este sistema tendran quepreocuParse más por la eficlencia del Manejo, la competen-cia (111,e,quipo de tbbájayla filosofía del.tratannento, con n-layor préocupación ,por el c1ient si los;datoS tesultantes ,cle éste son poncipalmente pará influir su'S julclOS; en 16's qrtfe'se'ei-i -gteii- ,Cuenta a las ,agencias quelOS estudlan-. S1 tales caniblos enla :Pricirldad deltrIteti&e-mpleado paia la to-rna cle cletlsión ocurrirán cuando'ii?s datos res' illtantes cueslien rn pí rica. Si tales canibios no o 'eurren, la información-de la evainación nó la emplearan considerablemente Fos planificadores, Lo zrntetior sugiere que los evaluadores Interesados en'tener,losres'uliados'de su traty¿Ijo cleberían enfocar snajención en ,los diversos criterios de decisión empleados por los'actOres en lol.ienSaYOS aMbientalesldel miento delps criterios de'deiSión unlizados por,Cada -audiljitl-ánte4'-aUSencla de • 'infot mación de la evaluacIón cle1PrOgrarria, deb 'ería ser , clon que reúna las preferencias de'inft?rinar:.,ión del slsterna detgiiiáctpkés:d. decisiones Durdnte la'retrOalimentatiá cle lóSireSiiitadOl de la Cle;dét1.5iánpetitálmenté utilizael6s_en-éVtidterná 'clebed,an - Srudar a guiI111-11ni 0 , cla por la e\„aluaC16n.:-"Adernás, provéera una línea déjaárti'da para valcilar posteriorrnente cl 'efecto aetüntde tós resUltadoS de lá evaluación enla tórna cle deelsitines. • Una segunda implicacIón considera-el'ernpleo'de lainfor-rnación evaltiátiva derivada-del que suel e' n 'obtener los practicántes ''su IMPOrtante Informa r - - „ Ción cv i luativa ..tabré las agéncias por rnedto de contáctos personales o retroalimen: taciones or¿les, Los hallazges de otros estudios sugleren que esta conftablIdad'en , , _ , .lás iiirorrnIcioneyeruatsljneopante contactos,personates-,es,colnup;eittre•,quienes 'tolnan decisiones DIchopatrón no cambiará tréceSáriattientél-Inda5.1j_inforrnaC
260 cit5n cle la evaluación este dispornble. Estosresubados elildenclan la importancia de hallar rnedtos de retrcalin-lent,ícIón de la inforn-lación evaluatIva que incluyan ta-mto ' los contactos chrectos y personales corno las presentaciones ornles. Aun-si esto se .redliza es posíble que las presentaCiones orale_s por los evaluadores noseánsufícIentes para darles la utilización descada, a menos que aquéllos senn conSiderados por los tornadores dé decisione.s corno importatates v vallosos co -ntactos personales y .:corno fuentes cle inforrnación. Fuelit'éT,m2,10 de1 a Ha- wItIns, R:A:Roffman y :
261
CóMO REDUCIR LOS CONFLICTOS
11,11u, nce
Osborne; ectsion-
Ppfkle Evaluative Crítéria, and infoUnatiodite¿ess74-'én'agiúátiort. Qi
cie 1978, págs. 490-451. ,
Arreglos de la evaltiación de programas Los evaluadores son mejores cuando su posición es segura e independiente de las influencias de la administración del proyecto y del equipo de trabajo. En el pasado, algunos evaluadores experimentados establecieron categóricamente que las evaluaciones nunca se deberían emprender dentro de la misma organización resposable de la administración de un proyecto, pero debería realizarlas un grupo externo. Una razón para efectuar las evaluaciones "externas" pudo ser el deseo o las opciones deseadas de que existían diferencias en los niveles de entrenamiento y una competencia presumible de los equipos internos y externos de evaluación. Estas diferencias se han estrechado. La carrera del investigador en evaluaciones tiene, típicamente, una de tres formas. Hasta la década de los sesenta, un gran porcentaje de investigación evaluativa se hizo en los servicios de salud, sociales, rehabilitación, educación y bienestar social por investigadores afiliados a universidades o firmas de investigadores. Después de esa década, las agencias de servicios públicos en las áreas de esos programas han contratado investigadores para las posiciones en los equipos con el fin de realizar evaluaciones más domésticas. También, la proporción de evaluaciones hechas por grupos privados o de beneficio se ha incrementado marcadamente. Como los puestos de investigación en ambos tipos de organizaciones han aumentado y el mercado académico de trabajo ha declinado, muchas personas bien entrenadas en los campos sociales y de conducta buscan trabajos de investigación en las agencias públicas y con las firmas de beneficencia (Polivka y Steg, 1978). La evidencia actual está lejos de ser clara. En un estudio que correlaciona la calidad de la evaluación, Bernstein y Freeman (1975) encontraron que existía mayor probabilidad de que las evaluaciones internas fueran de mayor calidad que las externas. Este hallazgo se atribuyó a la mayor habilidad de los contratantes en influir en la conducta de los evaluadores externos, mientras que no podían influir en la de los evaluadores internos. En el capítulo 2 se señaló la probabilidad de que la contabilidad tenga mayor utilidad si se lleva en forma interna. En Holanda, estudios recientes de evaluaciones externas e internas sugieren por qué las evaluaciones internas pueden tener mayor repercusión en las decisiones organizativas. De acuerdo con van de Vall y Bolas (1981, pág. 479), las variables responsables de la mayor tasa de utilización de los hallazgos logrados por los investigadores internos, son de mayor impor-
tancia que la superación de la formación social política por parte de la categoría de investigadores externos. La respuesta, sugieren, radica parcialmente en el alto rango de comunicación entre los investigadores y los políticos, acompañada por consensos mayores, y parcialmente en el balance entre las normas de validez epistemológica y de ejecución: "En términos operacionales, esto significa que los investigadores en política social deberían buscar el equilibrio entre el tieMpo dedicado a la perfección metodológica y el traslado de los resultados hacia medidas políticas". Los datos de van de Vall y Bolas sugieren que los investigadores sociales de casa están en una posición más favorable para lograr esas metas instrumentales que los investigadores externos. Dada la creciente competencia en el equipo y la visibilidad y el escrutinio de la empresa evaluativa, no hay razón para favorecer un arreglo organizativo en vez de otro; sin embargo, aún quedan puntos críticos durante una evaluación cuando existen condiciones para que el trabajo sea mal empleado o mal dirigido (Cook et ai., 1980). Se insta a todos los evaluadores para que continúen fomentando la comprensión clara de sus papeles con los patrocinadores y el equipo de trabajo. La total comprensión de sus papeles por parte de los evaluadores, así como de sus responsabilidades es uno de los factores que más contribuyen al éxito en la realización de un esfuerzo evaluativo (véase el anexo 9.3). Anexo 9.3. Cói.no méjorar, las evatuacionesw
ar—•
Lo investigadores de la- evalnáción pueden ayudar a arrnbrilzar:la' productividad de la investigaeión evaluativa en los intereses de lOs blenes públIc6s, los bienes gubeínamentales y el bierr privado: si se e_sfuerzan en desatiállar las áreals siguientes: Primero; obtener un,:arnplio- :consenso de invest1OCIón l é' Orriunitaria ncerca de uná. ,je-rj-áff'ej, uía de dseñod irni esti q adón'preferldáS:-Y ,.'riiátódós de inVestigación evaluati jiáJtípicó,«, eornunes y a rne.nudo repetidás, y prorrtular leyes de procuración rc. fórrnadáS.-, acerca de la investigación social, de taL,rnanera.qutpdos- los patrocina-d(ireS -1Utiernarnentales y rovisores Puedart,desarrolíá-r.lá-.011dad.ffiiiiii-na .y 1O -S- IMeaMientOS ':-flexiblesttantripaira los diseñoS'.déj--ini-JeSti.ááCi&íj-.,;'-'11tdOS,Cfrcío para,sti;adtriinistaci6n.',AinboS--átirnentarán la calidad;totall appyárári'de mOdo externo a los investigadores en evaluaciones que puedán réSUliár..conflictivas p,ara los revisOres gubernameMales o pára los patrociriaciOteSSeOde lá elección del primercJeo segundo mejOr djseñoS, y quienes a rn'enud&PierdenT., Una . segunda área en los nv iesti g. adores evaluativospuedeM'prOpOr-Cionar'-dija—n nyuda es en recoleetárjjvalorar, filtrár4 ampliar ejernplos exitóijsosdejeyaluatiány sn investigación e -fectiva qtie sean válidoS, Políticamente aprorMós'Y.'Oue teng' ári . una influencia.sociaLpositiva, aciernás dé ejernplos-acére.a-de córn. Se,P0eden . cOinPágIriar.:-.eféCtiyaniénte con las lirnií'a:CiOne • Uná:teicera áréa deac'elán prOdu'ctiva s trahajr para .1á'reformá.rácional procuración investigatiVf ajgubernamerital y de las regulaciones acIministiativasdisef- iadas específicaménte para la Mvestigación jsocial, p-or imiestigadoreS socíale_s y .fuéra det Conocimientó de la iniíesilgación social.' . . Fi enie T r 1 d;'C. FLIÉ;lic Good, the tu E,31, 1,311Dn f 5,i,c;•111 Pco-er ,Irns ::- 11ow Enept. Cepvernr'cic-nt Que o 'ly 'cern 2, nos, ihi de 1978: pe83s. 620 630. -
262 TIEMPO DE POLÍTICA Y TIEMPO DE EVALUACIÓN
Las evaluaciones requieren tiempo, especialmente si repercutirán. Cuanto más justo y detallado sea el diseño del estudio, mayor será el tiempo que llevará. Los experimentos sociales a gran escala que miden los efectos de programas innovadores mayores pueden requerir de cuatro a ocho años para terminarse y documentarse. Los mundos políticos y del programa avanzan en una marcha más rápida. Los políticos y los patrocinadores de proyectos quieren saber en pocas semanas si un programa logra o no sus metas. Esta disparidad en el tiempo es otro problema para los evaluadores. Los evaluadores suelen sentirse presionados para completar sus valoraciones más rápido que lo que el mejor de los métodos permite, así como liberar resultados primarios antes de que estén completamente firmes. A veces, los evaluadores son interrogados acerca de sus "impresiones" de la efectividad, aun cuando hayan recalcado que aquéllas son inefectivas en ausencia de resultados firmes. También, los procedimientos de planificación y procuración con las organizaciones que apoyan la realización de evaluaciones dificultan emprender estudios oportunos. En muchos casos, los procedimientos deben ser aprobados en varios niveles y por cierto número de evaluados. Como se muestra en el anexo 9.4, la evaluación típica hecha bajo contrato del U.S. Department of Education (Departamento de Educación de Estados Unidos) requirió tres años desde su concepción hasta su terminación. Mientras que los patrocinadores de los sectores gubernamental y privado han tratado de diseñar mecanismos para acelerar los procesos de planificación y procuración, la deficiencia de su burocracia, los requisitos legales relacionados con la contratación y la necesidad de establecer convenios respecto de los diseños y cuestiones de la evaluación, los han retrasado. No está claro qué puede hacerse para reducir el grado de presión que se origina de los calendarios de la evaluación y toma de decisiones. Es evidente que un estudio a largo plazo podría no ernprenderse si la información se necesita antes de termínar la evaluación. En tales circunstancias, puede ser mejor contar con la opinión de los expertos o de otros acerca de los métodos de juicio de la evaluación examinados en el capítulo 7. Podría ser mejor tener alguna información tan buena en calidad técnica como sea posible, dadas las limitaciones de tiempo, que carecer de información alguna. Un enfoque más estratégico es limitar evaluaciones técnicas y complejas a proyectos prototipo o piloto de intervenciones que probablemente se ejecuten a mayor escala en el futuro. Así, los experimentos aleatorios pueden ser más apropiados para evaluar la validez de nuevos programas (inicialmente ejecutados en pequeria escala) antes que tales programas aparezcan en las agendas de corporaciones tomadoras de decisiones. Los análisis extensivos seccionales y cruzados se pueden aplicar a programas que tienen una historia de apoyo estable. Una estrategia final para los evaluadores es anticipar la dirección del programa y de las actividades políticas, en vez de estar forzado, dentro de las limitaciones de tiempo, a satisfacer las demandas de otras partes. Un propósito que ha atraído gran atención es establecer institutos de evaluacíón independientes, dedicados a examinar con una base prototipo o piloto las intervenciones que podrían
rC1 '-'
CV
1-.
^-
---.
M1
E
a
£t
co .
1... ca,
1
1:, ¿ "J"...1 a) = w,....
o c.)
c ,o
‘,2 ,....)
2
E. E c,) co ai
ü)
+ ,,
,. cc ,a,., -tcl cl_.
c'T)' ,. z. ›, 2
264
265
CAP. 9. CONTEXTO DE 1-A INVESTIGACIÓN EVALUAT1VA
tener gran demanda. Un centro de evaluación nacional podría tener que valorar la validez de programas sociales alternos dirigidos a los problemas políticos que prevean ser importantes durante una década o más tiempo. Mientras que este proyecto tiene algunas características atractivas, especialmente para los evaluadores profesionales, no está claro si es posible predecir los problemas sociales de la década siguiente. Como están las cosas la tensión causada por las disparidades entre el tiempo político y el de investigación continuará siendo un problema para emplear las evaluaciones como un instrumento para políticos y administradores de proyectos. PAPEL QUE DESEMPEÑAN LAS EVALUACIONES En cada punto de un programa, los resultados de la evaluación pueden ser útiles en el proceso de toma de decisiones. En algunos casos, los patrocinadores de proyectos pueden convenir para hacer una evaluación con bastante anticipación, lo cual influirá críticamente en la continuación, el cambio o la terminacíón de un proyecto. En esos casos, el evaluador puede estar presionado para producir información rápidamente, a fin de que las decisiones se tomen expeditamente. En resumen, los evaluadores pueden tener una audiencia receptiva. En otras situaciones, el evaluador puede completar la valoración de una evaluación sólo para descubrir que los tomadores de decisiones reaccionan lentamente a sus hallazgos (Cox, 1977). Todavía más desconcertantes son las ocasiones en que un programa es continuado, modificado o terminado sin consíderar la valoración de la evaluación ni la información costosa. Aunque en tales circunstancias los evaluadores pueden pensar que sus esfuerzos han sido vanos, en el proceso de toma de decisión se verá más complejo. Como se señaló en párrafos anteriores, cabe esperar que los resultados de una evaluación serán sólo uno de los elementos de la toma de decisiones. Esto se advierte claramente en la controversia de 1915 acerca de la evaluación del plan Gary en la ciudad de Nueva York (véase el anexo 9.5). Existen muchas partes que intervienen en un programa de servicios humanos, como se apuntó en líneas anteriores. Los patrocinadores de un programa, los administradores y operadores, y algunas veces los participantes suelen correr grandes riesgos en la continuación de un programa, y sus insoportables pero Anexo 9.5. Evaluación y políticas Ei plan Gary InIcialrnente se instauró (2111as 2scuelas de Nueva York en forma piloto, y el plan Ettinger en'Otras escuelas. El superintendente Maxwell, resentido la.lpterférencia en su dotninio profesional y sospectroso:deltiterito de la adrnitWhistrácIón.'de Mitchel, ha 'exPresado strs'sentirnientólacercáaelplan Gary como Ctia escuela el otro día, y lo funclonabj enfláé1"cüelángelo único qué Obsery0 füéuna turbadlchiquIllos quetaliaban un lote". En respuesta de la opinión deVsüPérIntendentel-1131fterriá ' Garyha pdó difundido a 12 escuelas en el Bronx y había planes para Lanecesídad de ,contar Cori-ritIS inves-tigación antes de difundir el plan fue léháláda .0t:úti,Mieml)ro de la junta escolar. En J vetano de 1915, el superinten-
. _ dente MaxWell el, cual cOrnefl, ert . , escudás . de:NueVá .'04c.-E.1 ..trabajo fue ótórgacb a B. R. Buckirigharn, - psteófolo. edriCatiiro en el dePartárneritp . .detnvátigación de las eseuelas de la chiclad de Nueva . York . ..y .picmero . en el déSatrollo de . prirebas académiéaS : dé cohOcirnientos. Bli -ckinghám conjunto academicas de cono- • usó su recien'disenado • • . .. • ..; de•Pruebas • . • • •.... cirnientos para•Cárfiraarar dos escuelas'organiz .aroas bajo el plari Gary, seis escuelas - , bajo el.plah Éttinger y ocho.prganiZádáS . trádiérOnalMente.-EstaS',últirnas tuvierán . 'rnéjái•Prórnedio, rnientras qu'e las .de1Plan ...Garii.Promedtaron'de forma-Mát.défij ciéntel'Él infórrne.Inckingháni füe. 'altamente'ériticadó.pOilds mas fielés segárdores. dél. SiSterna ParY; qiiéperMitió,haéér Pi-emattir. as. 'declár-aei¿ines . con respee4O superioridad sObre otras escuelas. Ericuanto ap.atectó el i.nforyne Buclüngh.am;.se deSató una:torrnentá de tefuta.:. prehsa dárinq, : én lás. réviStal..estiecializadaí:'Howátd.W:.19üdd, clitéCiOr ejecutivo de la Publiá• ÉdtiCation AssoClatiOn (AsOetación: dé edUcaárón pública), escribió una cy1tica : detallada'del infórme Buckingharn, Publica , O . en .e , Globe:dé . Nueva York, en . The igelú Yói* Times, en Scholl arid Soctety y en.'el.Jo.ur', • . .Ntidd•cointraatacó n el camp. 9 tecnIco. 1.)rünero, clernostró que n el tiempo en que 13u. é.kingham realizi5 Str Prüeba; eli5lan : Gary — habja estado 'en operaCión . en.iiná. . • eScuélá- sólo . durante "caatier..meses y en la oti-á.dürante-menos de tres.;terrianas. udd sostuvo que mucho del equipo requeridópo — r. : Witt . no sehabía própcirCip—riadó y quel él trabajá: de 'Iás escuéla.s • Gary'iliab1a sidá distoiStoriadó..serianietité..pe cdhátante afluencia . de.visitantes. qüe caraéreiísticarnenté descienden . éri ün.ptcráta:, loárá • PubliOidad..En una ...ébrirparación detallada de . eséuela Nudct demástr&qtre : en. : •una . de láS esCuelas cqn .órganización Gary;:iel.90cli.de losaluirrinos:prOv.énfa de.fárnilias . inriiiárántes en qüe el italianá . era Si.1.1énátrá:rnateina.; mientras que algunas . dé. .las:elctielás- cortiparadás,fueroil jirthcipaltrierité . Poliladas -
cod.nities,de.clase.rne.dia.:nativás..de
las es. cttelás':Gársi:tenían eXcéléntes:califiCactenieCuandO .. lal.calificactOneide éla.s éscuelas Se compárarán . cOn . las.. de-átras escuelas, se vio que la,pósick5h . 'étá fltnne párá eg.uncla escrieia Gary; . las eséuelas Gary, Perá diandó le.. promédiáron . el resultacto tótal..clejó: . . . . . el . plan Gary.. Buckináliarn . no . tuvb respuéStá a la satislacó poi los.controles inadecuados, pero ar. guitentóque él éstimaba la relación rio .COn . dos, seistr ocho escueláS; . isin Con las . ineditiones'dé Cerca . de 11 000 portanto, su estudio representó una prueba sustancial d., e1 é..squ. e. á. 'd. e. : Gáry . ijustifiCó . habef.:. emPrendido su'eStridiát.ántés z . én el campo que el plan Ga0,. eri . lal. 12 esc.uelas . del; tiroriX; ya..que fue..impulsa o • precipitadamérite : p.ára lás ésétielás :de N.uevá . VOrk. pcit. él . SuperintenClerite: . COrrt9 se:Piitó; trubo présión desde : l.a. .áficina del mayor para difundir el plan fuer.-á de lás eáCuelas de . Nueirá.Y.Ork Y:,efectuar cuaiyuier.inCrernéntc, en.el adopción de„ofei-já del .siste.ma:Ganj.'lluddriáhain concluyó„queelsuPerintendente . MaXwell ftie bbligádo. a érnprender él éstudio de las escuelás, a fin, d' e . .deterrninar su éxito eni 'dar . instrtiéCión r..én.loS."aSpecti-ss funchriuustnles" térrhiriosde otros valores o metas del EVOreSidénte dé lá Junta : de . Eclúcación . . . encontró ventajOso „ citar lá interpietación dé Nádd aeeréádel infoirrne Buckinghárn en debate aríte lá reúnión de dtéhá Junta..'El „ . . :SuPerintenelenté.MáxWell . . . continuó en citar estudio Bückinghani como una cita nPVIdericial efectiliidad dél Plan Gary,'aún n añó y rnedio después.' Contexióf Ev.-11utIVC 50S23 '", n 11(1
,éti.EviilUati6
núm:;•1,
266
CAP. 9. CONTEXTO DE LA INVESTIGACIÓN EVALUATIVA
entusiastas clamores pueden contar más que los resultados de una evaluación. Los resultados de un proceso político se pueden ver como equilibradores de una variedad de intereses; los resultados de una evaluación son simplemente un argumento hacia un lado u otro. De otra manera, imaginar sería postular que los evaluadores ocupen un lugar en el proceso de toma de decisiones políticas que comanda el poder del veto, un papel que podría despojar de sus prerrogativas a los tomadores de decisiones. En tales circunstancias, los evaluadores podrían convertirse en filósofos cuyos pronunciamientos respecto de programas particulares podrían pasar sobre todos aquellos de las partes implicadas. En cualquier sistema político susceptible de valoración, estimación y equilibrio de las peticiones científicas y los intereses de un número de constituyentes, cabe esperar que una evaluación desernperie el papel de testigo, al testificar el grado de efectividad de un programa. Un jurado de tomadores de decisiones y otros evaluados puede dar tal testimonio de manera más decisiva que una opinión uniforme o un testigo sagaz, pero son ellos, no los testigos, quienes formulan un veredicto. Estudios de utilización El crecimiento de las empresas evaluadoras ha sido acompariado por un número de esfuerzos para comprender cómo y cuándo se utilizan evaluaciones. En parte, esta actividad se relaciona con las decepciones entre los evaluadores y defensores de la evaluación y su utilidad acerca de la ligera influencia de evaluaciones que parecen tener en las actividades y la política de los programas. En el capítulo 2 se sugirió que los resultados de una evaluación pueden ser valiosos de formas diferentes: pueden influir en las decisiones tecnicoadministrativas y contribuir al conocimiento general de los problemas sociales. Tipos de utilización De acuerdo con Leviton y Hughes (1979, 1981), los resultados de una evaluación puede influir en la planificación del programa y en su ejecución en términos de uso instrumental, conceptual o persuasivo. El uso• instrumental se refiere a las acciones documentadas y específicas de decisión efectuadas por los tomadores de decisiones y solucionadores de problemas (Rich, 1977); por ejemplo, los datos de la evaluación que muestran que los pacientes de instituciones de conservación de la salud requieren menos días de hospitalización que los que necesitan los pacientes ambulatorios de hospital, han sido utilizados por abogados para fundamentar su enfoque ante comités de congresistas. De acuerdo con Rich (1977), el uso conceptual, es el empleo de evaluaciones para influir en el pensamiento de los problemas, sin comprometer la información en cualquier propósito específico documentable. Un ejemplo es el esfuerzo actual para controlar los costos de entrega de servicios de la salud y el bienestar social, estimulado, por lo menos en parte, por evaluaciones de su eficacia y costo por beneficio. Los usos persuasiuos se refieren a los resultados listados de evalua-
1
PAPEL QUE DESEMPEÑAN LAS EVALUACIONES
267
ciones con esfuerzos, ya sea para defender o para atacar posiciones políticas, en otras palabras, para apoyar o refutar el statu quo. Las desilusiones acerca del empleo delas evaluaciones se relacionan principalmente con la limitada evidencia de que tienen un uso instrumental. Desde luego, muchas evaluaciones se inician porque son factibles para el uso instrumental, y el campo continúa prósperamente, lo cual depende de la optimización de ese uso. Ciertamente, estas evaluaciones pueden ser importantes por su uso conceptual y, más adelante, tal uso puede hacer más que sólo justificar los costos y esfuerzos requeridos para los estudios; sin embargo, permanece el hecho de que la vasta mayoría de las evaluaciones son apoyadas y financiadas por organizaciones cuyos fines, por lo regular, no están orientados a proporcionar recursos y oportunidades de evaluar sin esperar algún razonable, y de relativo corto plazo, uso instrumental. De ahí se infiere el interés que existe en centros evaluadores de estudios en maximizar este tipo de uso. Variables que afectan la utilización En estudios acerca del uso de la investigación social en general, y de las evaluaciones en particular, cinco condiciones parecen influir consistentemente en la utilización (Leviton y Huges, 1981): La pertinencia. La comunicación entre los evaluadores y los usuarios. El proceso de información por los usuarios. La factibilidad de los resultados de la evaluación. e) La participación del usuario o defensor. La importancia de estas condiciones y sus contribuciones relativas para la utilización han sido estudiadas cuidadosamente por Weiss y Bucuvalas (1980). Estos autores examinaron a 150 tomadores de decisiones en el campo de la salud mental y sus reacciones a 50 informes de investigaciones actuales. Los tomadores de decisiones aplicaron las pruebas de ueracidad y utilidad para filtrar los reportes de las investigaciones. La veracidad se estimó con base en dos aspectos: la capacidad de la investigación y la conformidad con el conocimiento a priori y con las expectativas. La utilidad se refiere a la factibilidad y al grado de cambio de la corriente política. El estudio de Weiss y Bucuvalas proporciona evidencia convincente de la complejidad del proceso de utilización (véase el anexo 9.6). Anexo 9.6. Piuebas verdadéras y pruebas utilitarias _ Información,:los.tqLnadores de decislones inclu n-larcdSSáliCbs derefeeca a)la".Pertinéri'Cla del Conte -nido del estudio para su esfera cle re s borisabiliááci;,b) la confiabilidad del estudio, 'y c}la.clirección -gue piry s u tl éiO.sYueb0 Su ver a ergsyprue pwehasverda 1-yarciona Los clos rriarcOs .ente,51., esdn ceilstituidos, cacl,a,l1110;_por"dos cornponentes inde
268
PAPEL QUE DESEMPEÑAN LAS EVALUACIONES
—
'
Pnichas lierdaderas: ¿es confiáble'la investi .gaci¿n?, .puedo-confiar en ella?, podrl. s ostenerse al someterla a crítica? Los cornpo»entes especificos.son:
• CaliáádIcle la invé_stigación: ¿se realizó la inveStigación mediante métodos, Cientíhcbs aproplados? ConfOr` miclad con las expectativas de los usuarlos- son losrresultados comiSafibles con ml expericncla, conocimiento y .valor PlIjeDUS ÚtliitariaSt . proporciona dirección la investi§áción?, , gui o, iyasea para las acciones‘mmediatas o para las cOnslúenciones de ent'°' altérrtivos para los problernas? Los cornponentes > específicos son:
OrientaCión de la acé ,'¿muestra la investigkiáh'Cólno reáll"iár cam posibles en aspectos faetIbles ., de camblar? 1,1141.0:„' Desafíos afsta tu q uo: , ¿ciesa fía 1 a Investi§ációti:10: a"-la'.s áigtleTa actua1e17 --ofrece- nuevas;.¡SerSpiltilids'?:1'. entre el tenlál'Ilé:IáinVestigaet6n, ,Jüntd - - -, • elé-v anha que - .e`ónia las'responsabílidades del trabajcidé la persona), los citatro'compOnerites constitüYen,loOnárCOS -de. référeiteia po-timédici delos'cualesquie'ííes'fon:OYdeeisiones válOran.la- iinieSti¡eíción'SóCial cie'nfífica, Lá'Caiidad Cilláinvesti -gá_s ti¿n y'la cont fOrrnidaCl dé.ias - espectativas del usuarlo forman una Prueba verdadera en la que, sus„etéctos sóbcontingentes unos a otros: la calidad de la investigaciánes menos' n- es tudio cuando los resultados-sOn"conirracirInted_ a t o ta 1'deu gruentes- coplos-cohodrnientos'OfiClalcs an_tertóres,i.qPeÇI9isóri cOntrarios..d,l,a, Intulción. LáTorient,ación,,„de,=,la'-4-Ción-iy;lbá!desaffoalltitatu qué.nn estüdin, - pue e.serv alterrítíyáS''á qtió tePresentan," , ` , , ffinciones que gl ero e dirección práctiCa , y Sen-, :c2nStituven uoa prueba Cillez - capturadaS-Iiór el marcp de orientaéión dé la accián es Más fin- Pditante cte:CM . estuc111,:cuarido . este proporcioriálaikas.crítiegs` .'o reprien, ta-eVón fdeSa'fIciaiktatu quoq .u7e`Cu' Mido el de.safío ealtó.ReCfPrde"arrienté-,"las críticw a los programas y las,nuevas perspectivas sruplicadás"enieLdeSafíct'a -1 stattrquo agregan'rnásala:utilialcl .cuando ,unestudio carece'clétti-VsCtiptcitines'lac,. ;:tibles ,para su eje'ettetán
Ao-otat1.-toz uto -15 abrIl dejpágS 3O31
,„ Fuente: 11ty
and Uti
Lineamientos para una utilización máxima Fuera de la investigación sobre la utilización y de las experiencias reales del campo de los evaluadores, se han creado múltiples lineamientos para incrementar la utilización, los cuales han resumido Solomon y Shortell (1981) y se anotan aquí como referencia: 1. El eualuador debe comprender los estilos congnoscitiuos de los tomadores de decisiones; por ejemplo, al presentar una pieza compleja de análisis a un político, no hay punto que no pueda consumir ese material. Así, los informes y la
269
presentación verbal presentada a una audiencia determinada previamente puede ser más apropiada para artículos en revistas académicas. Los resultados de la eualuación deben ser oportunos y estar disponibles cuando se necesiten; por tanto, los resultados de la evaluación deben balancear la oportunidad y accesibilidad de los hallazgos con la totalidad y terminación del análisis. Los evaluadores deben arriesgar críticas para sus colegas académicos, cuyos conceptos de la escolaridad no se puedan compartir debido a la necesidad de obtener informes recientes y con resultados rápidos. Las eualuaciones deben respetar las obligaciones de los interesados en el programa. Las evaluaciones se hacen para conjuntos específicos de individuos u organizaciones, y su utilidad requiere una amplia participación en el diseño de la evaluación, para asegurar la sensibilidad de los intereses de los evaluados. Las diferencias de valor y observaciones entre los clientes y el evaluador se deberían explicar al margen del estudio y ser una determinante de si una evaluación particular es llevada o no por un equipo particular. Los planes de uso y diseminación deben ser parte del diseño de eualuación. Los resultados de una evaluación probablemente se usarán si el esfuerzo de evaluar incluye "enseñanzas" para los usuarios potenciales de los alcances y las limitaciones del esfuerzo, el grado en que se pueden esperar resultados definitivos, cómo la información de la evaluación puede ser definitivamente efectiva para los tomadores de decisiones y qué críticas y otras reacciones se pueden anticipar. La eualuación debe incluir la ualoración del uso. Los evaluadores y los tomadores de decisiones no sólo deben compartir los conocimientos de los propósitos para los cuales se emprende un estudio, sino también convenir en los criterios para los cuales un uso exitoso puede ser estimado. En tales condiciones, es necesario contar con mucha informalidad; se debe efectuar un esfuerzo para considerar la extensión en que los usos de los resultados llenan estas expectativas. Debe ser evidente que mientras estos lineamientos son adecuados para la utilización de los programas evaluativos, los papeles de los consumidores de evaluaciones difieren y afectan los usos que se dan a la información y los consecuentes mecanismos para optimizar su utilidad. En particular, si las evaluaciones influyen en la legislación y las políticas trascendentales, deberán realizarse de manera que satisfagan las necesidades de los usuarios potenciales. De un estudio realizado por un equipo de congresistas con responsabilidades mayores para diseñar la legislación educativa, Florio y sus colaboradores (1979) compilaron un resumen total de requerimientos, los cuales se presentan en el anexo 9.7. „ Anexo 9.7. La ave4iguación e.ducativa: el potencial sin retmir
.
Los entre \,1 ,-,iados m2ncionaron cercá de 90 pasos que podrían darse para rnejorar el uso de e q tudios educatis. os en la formación polític,o legislatnía. Los t,rnas més comunes, que reflPjan las barteras Corritsdetal uso, son las rn,meras de pr, soiltar los inforrnes de saloración ylnveStIlá'ció ,n,: a' Sícomo las f ,Ilas para iuzfcr la ne4.eIdácics 1it-rnáid(4 11,s..po'r`. 19,s: con ,I,Comireso
271
270 •
En d cuadro que aparece al final det anexo se mue tren las respuestas a las cuestiones.'. cornún de trabajo y de .:±11 - Los riliájyrias':del í...Pérlónai):iéY',..em 'álión",ielacii5liik10_11":éPh" a bál6:' Ell -OS-rára- v ez- tienen tiemsobrecarjI:cle'-irsfórm los :VOlunilhosos Informes que po de llenan suje:letitiiiiókjj.átd. -lpziáljj11571at tl'élétícías 11 arnadal.párá restiménés ejecútlvos comq:.iriaterla-,friárila .1,130:10'. .infOrmés¡.-A> .:1'5Ual podríaperrnittrles juzgar . la pertinencia de los contenidos y determinar las lecturas én , buSca ,de su fundarnento. de . sobré-earta de fórZaWligenerar sus propios datos apropiados en las cuestiones de politica Como clIjo un m iembro, Cuestio nes y los ;.:. V. ó1011? a n*.eras rnenciónadas repétidaanalisra de . pOlítica pára rnersté -pictj.1. 10 :pil 0- 0,9n511:driáte:s1.1til; ‘ 1:édueaCión asistida) y una de las lá AsSistártt Sedrétaky..lif-edulatibii' ,.(lIclItarría . :d . füerites de información politica más importantes comparo el prociesopolífto con un:treti en movimiento 0 Ella sugiere que quienes proporcionan información ilenen la - o1;, !ígájCiilirl046i¡deov 7éttici0 político yreunirlo ensus prOplos térrnirioSi, deaveriguaélón.l.o.éial. . Cle . la Casa Blanca y éx Bertarti. .,CárP:.cliplitad6. ..'t4dirédfót:'dé. 114 ::p-Olíti .4:doti.11stíCa ayudante clel+iké . PréSiderité..: 14 .0411-:,:oáido Isté erá senadór,--01,0,;qtrie...`-tódás;las in.cOnfiahley no , adecitada PoIllicarnéhte7„5.4s coriientailOs.lqw .réfiéjarpir iir' arl-plde los miemhros -entrevistados, por definitivas1; O "de-cada hallazgo exIste:únó . hlbativ.' o;lá invéstigad6n -edúcatíVa rará.vez se puedé car y existen pocos lineamientos que puedan aplicarse Para valorar jos Productos lías proYectos evaluatiV&I-"miende la ten"-;perkégriZrecOrí,lidér.4:19......óbtill6.1.1: tákamti .o.d 1 ño.entré Cádátlpo rara : vez se hacán:Pót..1Os si las eValnacióneS del proyecto se te.en la .Corhuniclad entera de vén cornO.fabrida . " ' guación--edittátl Aurs cy4p4:0;.: ,4::Ipliellgációki:: .0q:19 .410 . ádécuadá se PréSente a tiérnpo para sé quejan de,:tener."deinastada reUnirse, •al es-tán - empacadós deficienternetite 7 ,contienen mucha terminología ...j.4V.;1111yspp "autósIrvients"..VariOs tniembrps dijerólvquellis írni.ls .trgádo,rél-és.c .libeh'150.0:liós InvestigadO r és y rata, Vez, exdéPlo en 1 6 s. . es. f.engUajé las audi.enclalde qüienes tornan.las. 4eilioél'éri:el . PrOC4O. ..19gISrati. vo..Unfénia que cléstaca niuChas de estas OljáérV4ictines: •es. :et 11:490 .. .1#7:cOrtighldad . Investigadota y la . de eValuación tienen 'el conocimient necesario y la infoihiación disponible Esto indica qué exiSte s que se cOntilbisciones - ';la limitacióii en las _ menos "qUel"Clatnprendlirilentó.: dare, ;: d e . de la averiguación comunitaria educatil-ra. Pueden - kácet;p0 -
Meloramiento del uso de estudló&e.ducativos ,..Fortriato de. presentación.(41)) Pertinencio para necesIclades del Congreso (25)
Usar un resumen ejecuti y o (13) Aclarar el lenguajefeliminar c1erta terminología (7) Usar cartas y diaposIt1vas (6) Sintetizar hallazgos disponibles (4) Presentar datos ' en forma correcta (4) Usar ejemplos de resultados (4)
, Reunión del tiernpo del cíclo Icgislatt. , vo y del proceso (9)
Terter infornlación poltica'aclecuada (9) De mos tt ar gran-comprensiOn del area política én el CongreSp . (4) • Hacer disponsiile la información apropiada mediante el proceso legislativo (3). ' "- ,
Hacer recomendaclones concretas (3) Proporcionar referencias a mayor información (3) índice de datos (1) CredIbilidad (22) Desarrollar relaciones directas con los miembros antes y durante la rílización , del estudio..(13) Tener fue'nieá-eon uría reputación fuerte (5) Tener información rnás segura y sm sesgo (3) No tener resultados sobrecautelosos (1) •
Nota:
menclonan los tlempos entre paréntis. -
Fuente: Adat t do con ant,nzación, de H. Florto, Michci M. Viel-urnann y Nane Vhat Do Pollcy. Makers Think of Evahiation Reseárch EVahlat/0/1 9 OT Do Thet?, en Eduwtional EpaluatIon cand PólicjiAnalysts, VOL 1, eriérp. . 0 , 1979 j. . págs. 61-87.
EPÍLOGO
Existen muchas razones para esperar que continúe el apoyo a las actividades evaluativas. Primera, los tomadores de decisiones, los planificadores, los equipos de trabajo y los grupos objetivo participantes han aumentado con un sentido común escéptico y una sabiduría convencional, así como con suficientes bases sobre las cuales diseñar los programas sociales con que se lograrán sus metas intentadas. Múltiples esfuerzos para resolver los problemas presentados por el crecimiento explosivo de la población, la mala distribución de los recursos en las sociedades y entre ellas, el descontento popular, el incremento de delitos, las conti-
272
CAP. 9. CONTEXTO DE LA INVESTIGACIÓN EVALUAT1VA
nuas deficiencias educativas entre adultos y niños, los índices tan altos de alcoholismo y drogadicción, y la aparente debilitación de instituciones tradicionales como la familia, han permitido el enfrentamiento de estos problemas difíciles y obstinados. A su vez, este escepticismo ha permitido a los políticos y tomadores de decisiones aprender más y rápido respecto de sus problemas y errores, y a capitalizar más rápidamente las medidas efectivas. Encontrar una evaluación es expresar que el escepticismo, o por lo menos el estado que implica que un programa propuesto, puede no ser tan efectivo en su respuesta como se esperaba. Una razón principal secundaria en el crecimiento de la investigación evaluativa ha sido el desarrollo del conocimiento y de procedimientos técnicos en las cienCias sociales. La depuración de los procedimientos de las investigaciones de ,muestras ha proporcionado un método importante de acopio de información. C ' üando se ajus-ten a métodos_ más tradicionales en forma de experimentos de campo, tales procedimientós- se -convertirámecTios eficaces de probar los prograt—ai -s-sociale-17Los avances en la medición, la teoría estadística y el conocimiento sustantivo de las ciencias sociales se ha acoplado también con el fin de habilitar a los científicos sociales para adquirir habilidades especiales en la investigación evaluativa. Finalmente, existen cambios en el clima social y político en la actualidad. Cabe insistir en que los problemas comunales, sociales y personales no son características fijas de la condición humana, sino que están sujetos a cambio y disminución mediante la reconstrucción de las instituciones sociales. Creemos, más que nuestros antecesores, que las sociedades pueden mejorar y que muchas personas podrán progresar si desaparecen las desventajas y privaciones existentes. Al mismo tiempo, casi mundialmente, se afrontan recursos muy limitados de salud, bienestar social y otros problemas sociales. Se intenta alejar la inflación, argumentos contra la violencia doméstica e internacional, y se cree en la "reconstrucción moral" que diminuirá las necesidades de programas comunales, aunque sería catastrófico creer que estas "acciones" resolverán todos los problemas. Los pronósticos son difíciles, a corto plazo por lo menos, cuando se contemplan las variedades y el número de intereses que requieren acción urgente, y los niveles de recursos que se pueden enfocar para disminuirlos y contratarlos. Será muy difícil saber cuáles problemas afrontar primero y cuáles programas ejecutar para resolverlos. Nuestra posición es clara: las evaluaciones sistemáticas son invaluables en los esfuerzos actuales y futuros por mejorar a toda la humanidad.
Bibliografía Abt Associates, An Overview of the Experimental Housing Allowance Program Demand Experiments, Abt Associates, Cambridge, Massachusetts, 1977. Abt, C. C., "The Public Good, the Private Good, and the Government Good in the Evaluation of Social Programs: How Inept Gobernment Requierements Increase Costs and Reduce Effectiveness," en Evaluation Quarterly, núm. 2, noviembre de 1978, págs. 620-630. Adams, B. y B. Sherman, "Sunset Implementation: A Positive Partnership to Make Government Work,' en Public Administration Review, núm. 36, enero-febrero de 1978, págs, 78-81. Armor, D. J J. M. Pouch, y H. B. Stambul, Alcoholism and Treatment, Rand Corporation, Santa Monica, California, 1976. Augustin, M. S., E. Stevens, y D. Hicks, "An Evaluation of the Effectiveness of a Children and Youth Project." en Health Services Report, núm. 88, diciembre de 1973, págs. 942-946. Barnouw, B. S. y G. G. Cain, "A Reanalysis of the Effect of Head Start on Cognitive Development: Methodology and Empirical Findings," en Journal of Human Resource, núm. 12, primavera de 1977, págs. 177-197. Barnouw, B. S., G. G. Cain, y A. Goldberger, "Issues in the Analysis of Selectivity Bias," en E. W. Stromsdorfer y G. Farkas (dirs.) Evaluation Studies Review Annual, vol. 5, Sage Publications, Beverly Hills, California, 1980. Bennett, C. A. y A. A. Lumsdaine, Evaluation and Experiment, Academic, Nueva York, 1975. Berk, R. A., T. Cooley, C.J. La Civita, y K. Sredl, Saving Water: Lessons in Conservation from the Great California Drought, 1976-1977, Abt Books, Cambridge, Massachusetts, 1981. Berk, R. A., y P. H. Rossi, "Doing Good or Worse: Evaluation Research Politically ReExamined," en Social Problems, núm. 23, febrero de 1976, págs. 337-349. Bernstein, I. N. y H. E. Freeman, Academic and Entrepreneurial Research, Russell Sage, Nueva York, 1975. Blalock, H. M., Jr. y A. Blalock (dirs.), Methodology in Social Research, McGraw-Hill, Nueva York, 1968. Bogart, L. (dir.), Social Research and the Desegregation of the United States Army, Markham, Chicago, 1969. Bohrnstedt, G. W., "Reliability and Validity Assessment in Attitude Measurement," en G.
273
índice analítico Academia Nacional de Ciencia, 6 Acceso, 116-117 a los indicadores, 93-94 a los porcentajes, 92 al foro comunitario, 91 al informante clave, 88-90 definición, 116 estrategia de, 99 Acción fundamentación para la, 36-37 hipótesis de, 50-51 Aceptación por parte del objeto, 53 Acopio de datos, 149 Actividades de evaluación, 69-70 c Administración para la Seguridad Social, 146 Administrador del Sistema, 116 Adopción de la innovación, 156 Agencia(s) de Desarrollo Internacional, 6 de salud mental, 79-80 secundarias relacionadas, 79-80 Agente del sistema, 116 Ajustes estadísticos sucesivos, 189-192 Alternativas de observación política, 237 Análisis costo-beneficio, 12, 31, 221, 224-226 componentes, 226-227 ex ante, 222, 235 ex post, 222, 235, 241 metodología, 229-241 costo-efectividad, 12, 31, 222, 224226, 241-245 de beneficencia privada, 230
de eficacia, 224-226 de la ubicación del recurso, 223-229 de series de tiempo, 151-152, 203 de programas de cobertura total, 206 político, 21 origen, 22-23 y conceptualización del diseño, 11-12 Aplicabilidad, 220 Aplicación, sistema de, 12 Áreas estadísticas estándares metropolitanas (AEEM), 93-94 Atenuación debida a la no confiabilidad, 160 Autoselección, 140, 180 Azar, muestreo al, 167 Behavioral Research and Evaluation Corporation (BREC), 81 Beneficio(s), 221, 226 costo, análisis, 12, 31, 221-222, 224227, 229-241 costo por, 224 medición de los, 235-237 netos, 222 y costos, comparación, 228-229 Cambios endógenos, 139 Capital, costos del, 239 Causalidad, 137 Censo(s), 93-94 decenal, 93 definición, 95 e investigaciones, 95 287
288
INDICE ANALtrico
Centro Nacional de Investigación y Servicios para la Salud, 6, 117 Centros de Control de Enfermedades, 6 Ciencia política, 21 Cliente, evolución del, 116 Cobertura baja, 105 contabilidad de la, 101 definición, 99, 103 del programa, 100 eficacia de la, 105 excesiva, 105 medición de la, 105 parcial, 145-146, 161 total, 145-146, 161 estudios de la posteriores, 152 previos, 152 programas de, 206 y desviación, 103-105 Comparabilidad, 166-179 Comparación entre los sitios, 132 grupos de, 165 Comprehensive Employment Training Act (CETA), 13 Computadora, 49 Comunicación de masas, experimentos en, 17-18 Comunidad, investigación de la, 110 Conceptualización y análisis del diseño, 11-12 Confiabilidad, 135, 142 Conformidad del programa, 132 Confusión, factores de, 135, 138 Congruencia con el uso, 155 con las medidas alternas, 156 interna, 156 Construcción de la validez, 155 Contabilidad comunal, 230-233 de la cobertura, 101 del patrocinador del programa, 230 del programa, 101-102 del servicio de entrega, 101 fiscal, 101 individual, 229 legal. 102 perspectivas de la, 221, 229-234 y monitoreo del programa, 99-133 Control(es) aleatorios, 145, 177-179
INDICEANALITICO
construidos, 145, 149-150, 179-181 espectro, 145, 153-154, 203, 212-220 estadístico(s), 145, 162 uso del, 193-197 complementario, 200-202 genéricos, 145, 153-154, 203, 210-211 grupos, 161, 163, 179-181, 186-188 reflexivos, 145, 204-210 Costo(s), 221, 226 beneficio, análisis, 12, 31, 221-222, 224-227, 229-241 de oportunidad, 222, 226 del capital, 239 efectividad, análisis, 12, 31, 222, 224226, 241-245 eficacia del, 224 medición de los, 235-237 por beneficio, 224 y beneficios, comparación, 228-229 Costumbres sociales, 20-21 "Cumplimiento ritual", 114 Children's Television liVorkshop, 110 Datos acopio de, 149 cualitativos, 154 cuantitativos, 154 de los participantes en el programa, 129 del proveedor de servicios, 128-129 del registro de servicios, 125-128 guía de, 124 Decisión de continuar o no continuar, 36 Demanda y población con necesidades, 71, 88 Departamento ilitación y Desarrollo Urbano, 6 de Justicia, 12, 92 de Rehabilitación, 6 de Salud, Educación y Bienestar Social, 172 de Salud y Servicios Humanos, 44 de Trabajo, 6, 13, 111 Depuración de programas establecidos, 66-69 Desarrollo y diseño del programa, 49-53 Descripción del proyecto, 132 Descuento, 222, 228, 239-241 rango de, 239 Desplazamiento, efecto de, 238 Desviación, 99 definición, 103 y cobertura, 103-105
Diagnóstico de las evaluaciones, 97-98 procedimientos de, 71-98 Direcciones maduracionales, 205 Diseño(s) conceptualización y análisis del, 11-12 de intercambios, 202 de observación, 149 de regresión discontinua, 198 longitudinales, 149 y desarrollo del programa, 49-53 Distribución, 238 Divulgación, 258-260 Efectividad-costo, análisis, 12, 31, 222, 224-226, 241-245 Efecto(s) de desplazamiento, 238 de vacío, 238 del método, 141 del placebo. Véase Efecto Hawthorne estocásticos, 135, 142 neto, 166 estimado, 193 resultantes brutos, 135 netos, 135 Efecto Hawthorne, 15, 143 Eficacia de la cobertura, 105 del costo, 224 medición de la, 221-246 valoración de la, 31-33 Enfermedad de Tay Sacs, 54 Entrega, servicios de, 99 Equiparación. Véase Igualación Equivalencia probabilística, 146 Error(es) de especificación, 197-198 en la medida, 141-142 Esfuerzo de modificación, 34 Espacio político, 52, 177 Especialización de los servicios, 117 Especificación de objetivos, 46-47 de poblaciones objeto, 75-81 errores de, 197-198 Esquema de proporción estructurada, 125 Establecimiento de objetivos, 47-48 Estadística bayesiana, 48 Estimación econométrica, 236 Estudios de la cobertura total, 152
289
de utilización, 266 del proceso, 99 explicativos, 64-66 formativos, 54-56 no aleatorios, 179 seccionales cruzados, 161, 197-200 Evaluabilidad, valoración de la, 61-63 Evaluación(es), 11-40. Véase también Investigación evaluativa actividades de, 69-70 c consideraciones, 2433 de la repercusión, 12 estrategias para la, 135 de la utilidad del programa, 12 de programas establecidos, 35, 58-66 del refinamiento, 34 diagnóstico de las, 97-98 e intervenciones, 72-73 elementos, 25-33 entrecruzadas, 65 externas, 65 integración de las, 41-70 integral, 11, 25 internas, 65 objetivo, 15 políticas, 38-39 programas de, 13-14 resultados de la, 248 generalización de los, 251-253 sistemáticas, 15 uso de las, 35-39 valoración de la, 41 y programas, 69-70 Evaluation Research Society, 19 Eventos de interferencia, 140, 205 Evolución del cliente, 116 Experimental Housing Allowance Proyect, 78 Experimentos aleatorios, 175-176 complejos, 176 "verdaderos", 148 en-comunicación de masas, 17-18 no aleatorios, 149-150 Expertos, juicios de los, 213-216 Exploración del programa, 61 Factibilidad del modelo de repercusión, 51-52 Factores combinados, 138 extraños, 138-141
290
INDICE ANALÍTICO
INDICE ANAUTICO
Gobierno, 116 Grupos cívicos, 79-80 comunitarios, 79-80 control, 161, 163 construidos, 161, 179-181 selección de, 186-188 estadísticos, 188-202 de comparación, 165 experimentales, 161, 163 Guía de datos, 124
Interés, rango de, 239-240 Interferencia, eventos de, 140, 205 Intervención(es), 12 hopótesis de, 50 metas de, 258 necesarias, 73-81 social, programas de, 11 y evaluaciones, 72-73 y resultados, 137-138 Investigación(es) de la comunidad, 110 de la muestra, 95-97 definición, 95 definición, 71 formativa, 12 en Plaza Sésamo, 55 seccionales cruzadas, 151, 188 social, 15-17 "reglas" de la, 15 y censos, 95 Investigación evaluativa, 13-40. Véase también Evaluación clases, 25 contexto de la, 247-272 definición, 11, 14 estado actual, 24 historia, 15-24
Hipótesis
Juicios de los expertos, 213-216
de confusión, 135, 138 enmascarados, 143 Federal Bureau of Investigation (FBI), 92 Federal Freedom of Information Act, 21 Feeling Good, 110 Formas de las tomas de decisiones, 36 Fórmula para valorar la repercusión, 142-143 Fuentes de hipótesis, 51 Fundación Ford, 6 Nacional de Ciencia, 6 Robert Wood Johnson, 6, 39 Russell Sage, 6 Fundamentación para la acción, 36-37
causal, 49-50 de acción, 50-51 de intervención, 50 fuentes de, 51 Identificación de objetivos, 44 Igualación, 161, 181 agregada, 181-186 individual, 181-186 Incidencia, 71, 84 Inclusión deficiente, 87-88 excesiva, 87 Indicadores, 71 Individuos con riesgos altos, 79 Información, sistemas de, 116 Iniciativa, 66 Innovación adopción de la, 156 programas de, 11 Instituto Nacional de Justicia, 6 Instituto Nacional de Salud Mental, 6 Integración de las evaluaciones, 41-70 Intercambios, diseño de, 202
Legitimidad, 37-38 Leyes sunset, 23 "Línea base", 224 Línea de pobreza, 75-77 Maduración, tendencias de, 140 Manipulabilidad del modelo de repercusión, 51-52 Masas, experimentos en comunicación de, 17-18 Mayoría comunitaria, 79-80 Mecanismo de revisión de necesidades, 116 Medición de la cobertura, 105 de la eficacia, 221-246 de los costos y los beneficios, 235-237 de necesidades, 71 monetaria, 236 Medida(s) alternas, congruencia con las, 156 aproximadas, 135, 157-158 de los resultados, 155, 158 error en la, 141-142
Mercado, valuaciones de, 236 Metas de la intervención, 258 Método(s) complejos multivariados, 193 de valoración, 237 efectos del, 141 narrativo, 124 Modelo(s) de repercusión, 41, 49 definición, 49 elementos, 49-51 factibilidad del, 51-52 manipulabilidad del, 51-52 Modificación de objetivos, 46 esfuerzo de, 34 Monitoreo, 12, 122-132 de la puesta en marcha, 100 de los servicios de entrega, 112-122 de(1) programa(s) de alimentación gratuita, 27-28 y contabilidad, 99-133 retroalimentación desde el, 132-133 usos, 100-101 Muestra, investigación de la, 95-97 Muestreo al azar, 167 Necesidad(es) mecanismo de revisión de, 116 medición de, 71 valoración de la, 74, 79-81 New Deal, 16 No confiabilidad, 142 atenuación debida a la, 160 Objetivo(s), 41 absoluto, 45 especificación de, 46-47 establecimiento de, 47-48 identificación de, 44 modificación de, 46 relativos, 45 y resultados, 67 Objeto aceptación por parte del, 53 directo, 52 indirecto, 52 Observación diseños de, 149 política, 237 sistemática, 122-125 formas de, 124-125 Oficina de Información de Guerra, 16
291
Oficina de la Secretaría de Salud y Servicios Humanos, 6 Oficina de Oportunidad Económica, 115, 172 Oficina Federal de Investigación, 92 Operacionalidad, procesos de, 50 Oportunidad, costos de, 222, 226 Organización Panamericana para la Salud, 6 Perspectiva(s) de la contabilidad, 221, 229-234 de la evaluabilidad, 60-61 Planeación, 41-44 Plática(s), 11-41 Plaza Sésamo, 12, 38, 104, 110, 169171, 253 investigación formativa en, 55 Población(es) con necesidades, 71, 88 y demanda, 82-84 objeto, 12, 82, 88, 93-94 definición, 74 directas, 74,75 especificación de las, 75-81 indirectas, 74-75 límites de la, 77 selección de, 52, 103 y cobertura del programa, 102-112 servida, 116 Poder del resultado, 247 estadístico, 247 Porcentaje. Véase Rango "Positivos falsos", 87 Precios contables, 237 espectro, 222, 237 Predominio, 71, 84 Prestigio, valoración del, 68 Problema por resolver, 12 social, 25 Procedimientos de diagnóstico, 71-98 ejemplos de, 72-73 Proceso(s) de operacionalidad, 50 estocásticos, 142 estudios del, 99 Programa(s), 11-41 cobertura del, 100 y población objeto, 102-112 con cobertura parcial, 163 conformidad del, 132
292
ÍNDICE ANALÍTICO
contabilidad del, 101-102 de cobertura total, análisis de series de tiempo de, 206 de evaluación, 13-14 de innovación, 11 de intervención social, 11 de renovación urbana, 81 descripción del, 61 diseño y desarrollo del, 49-53 efectividad del, 29, 223-224 elementos del, 99, 117-122 establecidos depuración de, 66-69 evaluación de, 35, 58-66 evaluable, 61 exploración del, 61 innovadores características, 33-34 evaluación de, 33, 43 monitoreo del, y contabilidad, 99-133 objetivos del, 82-85 participantes en el, datos de los, 129 personal del, 61 proceso del, 100 producción del, 100 repercusión del, 29 replanificación del, y rediseño, 68-69 selección de los, 85-88 simulaciones del, 56-58 utilidad del evaluación de la, 12 valoración de la, 29 utilizadores del, 111 y evaluaciones, 69 Programa de Acción Comunitario, 115 Proporción estructurada, esquema de, 125 Proposición 13 de California, 23 Proyecto, descripción del, 132 Proyecto Head Start, 115, 151 Prueba de Tay Sacs, 54 Puesta en marcha, monitoreo de la, 100 Rango, 71, 85, 221 de descuento, 239 de interés, 239-240 interno de retorno, 222-241 Recurso, análisis de la ubicación del, 223-229 Rediseño y replanificación del programa, 68-69 Refinamiento, evaluación del, 34 Registro de servicios datos del, 125-128 uso de, 126
INDICE ANALITICO
Reglas de la investigación social, 15 Regresión discontinua, diseños de, 198 hacia la media, 185 Remisión espontánea, 139 Renovación urbana, programa de, 81 Repercusión evaluación de la, 12, 135 fórmulas para valorar la, 142-143 modelos de, 41, 49 Replanificación del programa y rediseño, 68-69 Reporte Coleman, 200 Responsabilidad fiscal, 64 legal, 64 Resultado(s) brutos, 138, 142 valoración de los, 138-144 de la evaluación, 248, 251-253 e intervención, 137-138 netos, 138, 226 poder del, 247 y objetivos, 67 Retorno neto. Véase Beneficios netos rango interno de, 222, 241 Retroalimentación desde el monitoreo, 132-133 Revisión de necesidades, mecanismo de, 116 Riesgos altos, individuos con, 79 Sage Publications, 6 Salud mental, agencias de, 79-80 Selección con sesgo, 174 de poblaciones objeto, 52, 103 sin sesgo, 174 Series de tiempo, 94 Servicio(s) de entrega, 99 contabilidad del, 101 monitoreo de los, 112-122 especialización de los, 117 humanitarios, 20-21 proveedor de, datos del, 128-129 registro de, datos del, 125-128 uso de, 126 unidad de, 117 Sesame Street. Véase Plaza Sésamo Significación estadística, 247
nivel de, 249-251 política, 247, 251 problema de la, 253-255 Simulaciones del programa, 56-58 Sistema administrador del, 116 agente del, 116 de aplicación, 12 de entrega conceptos del, 115 contaminantes del, 144 definición, 116 diseño del, 53 elementos, 53 de información, 116 de manejo de información (SMI), 41 elementos, 116 Sitios, comparación entre los, 132 Sociedad de investigación evaluativa, 19 Sociedad del Hospital Luterano del Sur de California, 6 Sorteo, 162, 166 procedimientos, 167-173 significado del, 167 "Tablas falsas", 57-58 Técnica del foro, 91 pantalla, 82 Tendencias de maduración, 140 Tiempo, series de, 94 Tomas de decisiones, formas de las, 36 Tratamiento incorrecto, 114 no estandarizado, 115 Ubicación del recurso, análisis de la, 223229 UNESCO, 5 Unidades de Servicio, 117 U. S. Department of Labor, 13
293
Uso conceptual, 266 congruencia con el, 155 de registro de servicios, 126 del control estadístico, 193-197 complementario, 200-202 del monitoreo, 100-101 Utilización estudios de, 266 máxima, 268-271 tipos de, 266-267 variables de la, 267-268 Utilizadores del programa, 111 Vacío, efecto de, 238 Validez construcción de la, 15 externa, 247, 251-252 interna, 247, 251-252 Valoración(es) de la eficacia, 31-33 de la evaluabilidad, 61-63 de la evaluación, 41 de la(s) necesidad(es) de la juventud, 81 de salud mental voluntaria, 79-80 de la repercusión, 29-30, 104, 144-154, 161-200, 203-220 de la utilidad del programa, 29 de los resultados brutos, 138-144 del prestigio, 68 métodos de, 237 previa. Véase Evaluabilidad Valuaciones de mercado, 236 Variables de la utilización, 267-268 Variación natural, 146 Verbo "fuerte", 46 Verificación. Véase Monitoreo Vertiente secular, 139 Western Electric, 15
