EL MÉTODO CIENTÍFICO DE EVALUACIÓN DE EDWARD A. SUCHMAN
EL MÉTODO CIENTÍFICO DE EVALUACIÓN DE EDWARD A. SUCHMAN Cient Cientfco fco invesg invesgado adorr, que
creía creía en la necesi necesidad dad de basar basar las conclusi conclusione oness en eviden evidencia ciass
cientfcas, consideraba que la evaluación debía disponer de la lógica del méodo cientfco, y que un evaluador debe ulizar odo po de écnicas que sean úles y apropiadas a las circunsancias y necesidades de un sendo evaluavo deerminado. uc!man disnguía enre evaluación e invesgación evaluava. " la primera se re#ería$ %proceso de emir &uicio de valor' valor' mienras mienras la segunda a %procedimi %procedimien enos os de recopila recopilación ción y an(lisis an(lisis de daos, demosrar, el valor de alguna acvidad social.' Objetvos
uc!man consideraba res aspecos principales de la evaluación$ ). "spe "spec cos os conc concep epu ual ales es$$ que que
incl incluy uye e los los prop propós ósi ios os y prin princi cipi pios os,, valo valore res, s, proc proces eso, o,
suposiciones, pos y caegorías de evaluación. *. "speco "speco meodoló meodológico$ gico$ incluy incluye e un en#ren en#renamien amieno o ene ene la inves invesgaci gación ón evalua evaluava va y la la no evaluava, evaluava, variaciones en la planifcación, principios de la planifcación y valores de los e#ecos +eacud y validez-. . "spec "speco o admini adminisr srav avo$ o$ inclu incluye ye la cienci ciencia a evalu evaluav ava a y los compromi compromisos sos para cumpli cumplirla rlass obligaciones adminisravas. adminisravas. Aspecos concepuales concepuales de la evaluación
uc!man concepualizo la invesgación invesgación evaluava evaluava como la primera y principal invesgación, invesgación, que debe acercarse a las normas de la meodología invesgava. "dopando el méodo cientfco un evaluador conseguir( resulados m(s ob&evos +eacud y validez-. /a invesgación b(sica es el descubrimieno del conocimieno y la invesgación evaluava es invesgación aplicada y su propósio es deerminar !asa qué puno un programa específco !a conseguido el resulado deseado. Propósios de la evaluación
"sumió los propósios epuesos por 0igman$ ). *. . 2. 3.
1escribir si los ob&evos !an sido alcanzados y de que manera. 1eerminar las razones de cada uno de los éios y #racasos. 1escubrir los principios en un programa que !a enido éio. 1irigir el curso de los eperimenos mediane écnicas que aumenan su e#ecvidad. enar las bases de una #uura invesgación sobre las razones del relavo éio de écnicas
alernavas. 4. 5edefnir los medios para alcanzar los ob&evos, subemas, a la luz de los descubrimienos de la invesgación. /os medios para alcanzar los propósios, deben proporcionar la in#ormación b(sica para planifcar, la invesgación evaluava debe conducir a una mayor comprensión de los procesos aplicados o adminisravos. Los valores y el proceso evaluatvo
6alor$ como cualquier aspeco de una siuación, acvidad u ob&eo que enga un inerés parcular. /os valores, por lo ano pueden esar consruidos como modos de organizar la acvidad !umana, basados en principios que deerminan ano las meas como el per#eccionamieno de los programas, así como el medio de alcanzar esas meas. /a evaluación empieza con un valor concreo +eplício o implício-, luego procede a defnir la mea. eguidamene se seleccionan los crierios para valorar la consecución
de la mea, la
nauraleza de la evaluación deerminara el po de valoración que se deber( ulizar. /a próima eapa es la idenfcación de algún po de acvidad para alcanzar la mea y la operacionalización de esa acvidad .esa eapa incluye el grado que !a alcanzado el ob&evo predeerminado. 7inalmene se emie un &uicio acerca de si esa acvidad dirigida !acia la mea !a resulad úl. /os valores desempe8an un amplio papel en la deerminación de los ob&evos de los programas. Las presuposiciones en los esudios evaluatvos
/as principales suposiciones de uc!man es que cada programa ene algún valor con algún propósio. /a caracerísca m(s idenfcable de la invesgación evaluava es la presencia de alguna mea u ob&evo cuyo nivel de consecución consuye el principal cenro de aención del problema invesgavo. 9ropone seis pregunas que deben ser respondidas cuando se #ormulen los ob&evos de un programa con propósios evaluavos$ ). :Cu(l es la nauraleza del conenido del ob&eo; *. :
2. :/os ob&evos son uniarios o múlples; 3. :Cómo debe ser el ob&evo que debe ser alcanzado; Clasifcó las presuposiciones en dos clases$ 9resuposiciones de valor$ perenecen al sisema de creencias que deerminan que es %bueno' para una sociedad. 9resuposiciones de validez$ es(n relacionadas con los ob&evos del programa. Tipos de evaluación
=ablaba de res pos$ /a evaluación úlma$ se refere a la deerminación del éio global del programa> la invesgación prevenva$ raa de los problemas inermedios que deben ser resuelos anes de abordar la evaluación fnal> la evaluación a coro plazo$ busca in#ormación específca acerca de procedimienos concreos en érminos de ulidad inmediaa.
Categorías de a e!a"a#$%& ?sas caegorías represenan varios crierios de éio +o #racaso- con los que pueden &uzgarse un programa$ ). *. . 2.
?s#uerzo$ crierios como de éio, calidad, candad de acvidades. @raba&o$ se valoran los resulados del es#uerzo. ufciencia del raba&o$ el grado en que el raba&o e#ecuad coincide con los ob&evos. ?fciencia$ :es la efcacia la capacidad de un individuo, organización, #acilidad, operación
acvidad, para producir resulados en proporción al e s#uerzo realizado; 3. 9roceso$ invesgar eplicaciones acerca de las razones que conducen a los resulados. uc!man apunaba cuaro dimensiones para el an(lisis de un proceso$ a- /os aribuos del programa b- /a gene a la que le a#eca el programa c- ?l coneo d- /os di#erenes pos de e#ecos producidos por el programa. Los aspecos meodológicos de la evaluación
?valuación conra invesgación no evaluava /a invesgación evaluava es un po de invesgación aplicada cuya mea es valorar la aplicación de ese conocimieno, poniendo én#asis en la ulidad. /a invesgación evaluava debe proporcionar in#ormación para la planifcación del programa su realización y su desarrollo. 9ermie que las predicciones se convieran en un resulado dela invesgación, conenen una amplia serie de variables.
/a evaluación es aplicable únicamene al programa que es( siendo evaluado y a sus ramifcaciones coneuales. Variaciones en el plan de inervención evaluatva
/a invesgación evaluava no enía una meodología propia, se aene a los principios del méodo cientfco. 1ando muc!a imporancia a la relación enre las causas y e#ecos de un programa, uc!man propuso un modelo que demosrara que la secuencia de causas propuesas para una evaluación se conviere en uno m(s de los campos de acción y acvidades que conducen a las conclusiones. ?se modelo es muy imporane para la planifcación, así el plan de esudios debe omar precauciones para ener en cuena las precondiciones y los aconecimienos que pueden inAuir. /os e#ecos, ano deseados como los indeseados. Principios de la planifcación de la investgación evaluatva
). *. . 2.
Bn buen plan es que el que resula ser el m(s apropiado para el propósio del esudio. o !ay nada como un plan correco y simple. @odo plan de invesgación represena un compromiso. Bn plan de invesgación evaluava es una serie de indicaciones para asegurar que se va en la buena dirección.
La valoración de los eecos
1e acuerdo con uc!man, la valoración de los e#ecos de un programa requiere que se especifquen las cuaro principales caegorías de variables$ ). *. . 2.
9ares inegranes o procesos del programa. 9oblación esmada y grupos a los que realmene concierne. Condiciones siuaciones en las que se desarrolla el programa. ?#ecos di#erenciales del programa.
?l evaluador no debe valorar direcamene el #enómeno que es( siendo esudiado, sino las clasifcaciones de esos #enómenos. /as principales causas de variación asisem(ca en la invesgación evaluava$ 7iabilidad del su&eo$ acudes y comporamienos a#ecados por el esado de (nimo. 7iabilidad del observador$ #acores personales que inAuyen en la inerpreación del ema. 7iabilidad de la siuación$ condiciones de la valoración. 7iabilidad del insrumeno$ odo lo anerior +combinado7iabilidad del proceso$ enumerar los errores
/a validez presena muc!o m(s problemas que la fabilidad porque no solo se refere a valoraciones específcas, sino ambién al signifcado de odo el proceso evaluavo. ?ponemos a connuación a causa de los errores re#erenes a la validez en los esudios evaluavos$ ). *. . 2. 3. 4. D.
6alidez proposicional$ la ulización de eorías incorrecas o inadecuadas. 6alidez del insrumeno$ la ulización de clasifcaciones operacionalmene irrelevanes. 6alidez del muesreo$ #ala de represenavidad de la población escogida. 6alidez del observador$ inroducción de errores basados en inclinaciones personales. 6alidez del su&eo$ !(bios y predisposiciones que conducen a errores. 6alidez de la adminisración$ las condiciones del esudio. 6alidez del an(lisis$ errores deliberados o involunarios.
La evaluación y la adminisración del programa
/a invesgación evaluava puede desafar a la pr(cca radicional y llevar a cabo la úl #unción de !acer m(s efcienes esas acvidades. /os esudios evaluavos de programas aneriores cumplen la imporane #unción de sacar a la luz los es#uerzos improducvos. /a invesgación evaluava puede valorar el progreso eperimenando y adelanar nuevas esraegias. E en lo que se refere a programas #uuros, la invesgación evaluava puede presar una gran conribución a la defnición de ob&evos. uc!uman afrmaba que la evaluación !abía sido radicionalmene considerada como el proceso fnal de la #unción adminisrava que represena planifcar un programa, siendo los procesos aneriores la invesgación, la planifcación, la demosración y la e&ecución. /a evaluación operacional +o e&ecución- proporcionar una valoración de !asa qué puno el programa !a alcanzado los resulados deseados enre oras esas valiosas #unciones$ ). ?specifca los punos #ueres y los débiles de la operación program(ca y sugiere cambios y modifcaciones. *. ?amina la efciencia de los programas compar(ndolos con oros méodos a las necesidades. . ugiere nuevos méodos para #uuros programas. 2. ?sablece prioridades enre los programas, según la escasez de recursos como los #ondos, el personal y el empo. 3. 7acilia una responsabilización pública. 4. 7omena las acudes morales y crícas del personal implic(ndolo en la evaluación.
Adminisración de los esudios evaluatvos
/a precisión del &uicio del evaluador puede muy bien depender de la calidad de las acvidades complemenarias del evaluador y el personal m(s imporane del esudio. i las relaciones enre los papeles del evaluador y del adminisrador se deerioran, pueden abordarse varias esraegias para me&orarlas$ 1esarrollar un ópmo nivel de epecación para la orienación inicial de ambas pares. Clarifcar los papeles y acvidades de ambas pares. 7omenar las écnicas inerpersonales de odos los parcipanes por medio de un programa de preparación inicial. ?l evaluador se preocupa m(s por los ob&evos úlmos, mienras que el adminisrador del programa se ocupa de los ob&evos inmediaos. uc!man
subraya que la evaluación es(
concebida para ayudar, y no esorbar, en la realización de un proyeco. Acuerdos para solucionar los problemas adminisratvos
uc!man consideraba que los esudios evaluavos debía alcanzar el me&or compromiso posible enre las eigencias de las ciencias y las condiciones realisas de la invesgación. ?l evaluador siempre debe recordar que una evaluación se desarrolla ba&o condiciones naurales y que sus écnicas invesgavas deben necesariamene adaparse a la realidad de la recopilación y el an(lisis de daos. /a ingenuidad y confanza del evaluador, sin embargo, necesian el mayor conrol cientfco posible. uc!man afrmaba que ambas pares deben consularse acerca de la vialidad y las posibilidades del per#eccionamieno de las conclusiones mienras que los resulados de una evaluación deben ser raducidos a &uicios re#erenes al éio o #racaso del programa. 9ara que engan un valor real, los resulados de una evaluación deben ser claros indicadores de #uuras direcciones. " parr de la concepualización de la educación como un bien social, se esablece que la planifcación debe responder, a un concepo de la educación como demanda social según el cual eise una demanda de los individuos por educación en un lugar y empo dado ba&o circunsancias culurales, polícas y económicas. /a planifcación ya no es un sisema adminisravo, sino una acud, un proceso, un méodo social de la educación. Bn insrumeno de políca educava para cambiar las esrucuras con conenido.
0ibliograFa$
C!acare. @. +*GGH- ?valuación Insucional$ 9rograma de Jaesría en Ciencias de la ?ducación. Bniversidad de Kriene úcleo de 0olívar. Coordinación de 9osgrado de ?ducación. !Lp$MMposgradeducaciondobolivar.fles.Nrdprees.comM*GG)MGMevalucacionOinsucional.pd#