1_322144361338896407.pdf

LA PL PLAN ANEA EACI CI N EN IM GE GENE NES S

ANÁLISIS DE LA SITUACIÓN EVALUACIÓN DIAGNÓSTICA

FORMULACIÓN DE OBJETIVOS

¿qué se tiene? vs. ¿qué se quiere? ¿qué problemas se detectan?

GENERACIÓN Y EVALUACIÓN DE ALTERNATIVAS

EVALUACIÓN DE ALTERNATIVAS

FORMULACIÓN DEL PLAN DE ACCIÓN

EVALUACIÓN DE SEGUIMIENTO Y CONTOL

ANÁLISIS DE RESULTADOS

EVALUACIÓN DE RESULTADOS

¿qué se propuso? vs. ¿qué se entrega?

ANÁLISIS DE IMPACTO

EVALUACIÓN DE IMPACTO

¿cuáles son los beneficios obtenidos vs. beneficios previstos?

¿cuál es la mejor opción?

¿cuál es el avance real vs. avance programado? ¿qué ajustes se requieren?

MODELO CLÁSICO DE LA PLANEACIÓN Y TIPOS DE EVALUACIÓN

Arturo Fuentes Zenón Zenón

[email protected]

Con todo mi cariño:

Arturo Fuentes Zenón Zenón Profesor de Carrera Departamento de Sistemas

Angélica

Elohín

Karen

Arturo

División de Estudios de Posgrado Facultad de Ingeniería Ninfa

Universidad Nacional Autónoma de México México, D.F., C.P. 04510 Ninfa

Publicación Electrónica: agosto de 2010 Santiago

En general, se reconoce que las imágenes constituyen un excelente medio para la representación de las ideas y la comunicación, dado que son fáciles de entender y de recordar en forma intuitiva y natural; no obstante, advertimos advertimos que en la literatura de la planeación, como en otros campos, no se les presta la debida importancia, ya que se tiende a privilegiar a la explicación escrita. Esto se debe a la confluencia de diversos factores, que van desde la simple fuerza de la costumbre, hasta, quizá, algún criterio limitado acerca de la "calidad" o "propiedad" que debe observar un "buen trabajo"; cualquiera que sea la razón, el hecho es que se desperdicia un recurso de gran valor. Así, entre otros aspectos, aspectos, se ignora ignora al lector que al examinar examinar una obra con frecuencia dirige primero su atención a las figuras que contiene, de la misma manera que se pasa por alto que muchos autores deben buena parte de su éxito a la fuerza de algunas de l as imágenes que han creado. A partir de este tipo tipo de reflexiones reflexiones es que se ha considerado considerado de interés el desarrollar una forma de expresión en la que las figuras ocupen un lugar preferente; trabajo que no es fácil, pero que bien vale la pena si al final se cuenta con un material que resulte ágil y ameno, pero sobre todo que favorezca la comprensión y que estimule la inventiva de quien lo consulte. Con este espíritu nace la Serie de la Planeación en Imágenes, que cuenta ya con seis títulos.

1.

INTRODUCCIÓN

2.

¿QUÉ ES LA EVALUACIÓN?

12

2.1.

CONCEPTO DE EVALUACIÓN

14

2.2.

OBJETIVOS Y CRITERIOS

16

2.3.

CONSTRUCCIÓN DE INDICADORES

18

2.4.

INDICADORES CUANTITATIVOS Y OBJETIVOS

20

2.5.

METAS, ESTÁNDARES Y OTROS VALORES DE REFERENCIA

22

MODELO CONCEPTUAL DE LA EVALUACIÓN

24

2.6.

3.

TIPOS DE EVALUACIÓN 3.1.

4.

5.

4

26

UBICACIÓN DE LA EVALUACIÓN EN EL PROCESO DE PLANEACIÓN

28

3.2.

TIPOS DE EVALUACIÓN

30

3.3.

MODELO CIPP

34

3.4

MODELO ESFUERZO-DESEMPEÑO

38

TÉCNICAS DE EVALUACIÓN

40

4.1.

METODOLOGÍA PARA LA EVALUACIÓN

42

4.2.

DE LA METODOLOGÍA A LAS TÉCNICAS DE EVALUACIÓN

44

4.3.

TÉCNICAS PARA LA EVALUACIÓN

46

4.4.

TÉCNICAS PARA LA EVALUACIÓN DE ALTERNATIVAS

52

EJEMPLOS DE APLICACIÓN (PENDIENTE DE ELABORACIÓN)

54

INTRODUCCIÓN (parte 1)

6

La evaluación es una de las actividades de la planeación más extendidas, ya que se aplica en todo tipo de organizaciones a los más variados asuntos y co sas, ya sea con un procedimiento un tanto informal o conforme a los dictados de un método riguroso.

La evaluación es una de las actividades de la planeación más extendidas

Así, a través de la evaluación se cumple con tareas com o las siguientes:

Apoyar el diagnóstico

Auditar un área Méritos de un programa en curso Establecer prioridades

Monitorear proyectos

examinar distintas alternativas para seleccionar la más apropiada vigilar que un proyecto se conduzca conforme a lo establecido juzgar los méritos de un programa en curso establecer prioridades de acción auditar los resultados e impacto de un proyecto analizar el desempeño de una organización apoyar el diagnóstico al identificar las principales deficiencias de un sistema marcar las ventajas de un producto etc. Lo anterior habla de la importancia de la evaluación y de la amplitud de su campo de acción.

Seleccionar una alternativa

Marcar las ventajas de un producto

LA PLANEACIÓN EN IMÁGENES CONCEPTO Y TÉCNICAS DE EVALUACIÓN

8


Pese a que en la evaluación se cuenta con un amplio material de apoyo, el procedimiento a seguir no queda todo lo claro que se quisiera, entre otros por los s iguientes motivos. La planeación en lo general y la evaluación en lo particular, tienen como principal propósito

ayudar a organizar el sentido común para una mejor toma de decisiones,

con propuestas claras, manejables y de valor práctico

la propia profusión de materiales y la diversidad de los mismos la amplitud del campo de aplicación de la evaluación el alto grado de complicación de muchas de las propuestas las distintas clases de evaluación que existen la carencia de una terminología común los muchos factores que se reúnen y entremezclan en la evaluación (objetivos, criterios, atributos, metas, preferencias, valores de referencia, indicadores, etc.) No obstante, se tiene la convicción de que s obre una estructura simple, dada por los conceptos más básicos de la evaluación, así como por un conjunto de técnicas de fácil manejo, es posible desarrollar un poderoso instrumento de trabajo, capaz de satisfacer los requerimientos comunes de las organizaciones. Por supuesto, siempre habrá casos especiales en los que se requiera de instrumentos más específicos o más elaborados, pero lo que aquí se presenta no va en contra de ello ni limita su aplicación, más aún, se estima que constituye un buen apoyo e incluso un buen punto de partida.


10


De acuerdo con lo que se ha descrito, el objetivo de este trabajo queda en los siguientes términos: Dar forma a una estructura básica para conducir las tareas comunes de evaluación en las organizaciones Tipos de evaluación Modelo conceptual de la evaluación

Técnicas de análisis

Para cumplir con este propósito, en el primer capítulo se establece que es la evaluación y se presentan los principales elementos que intervienen en esta actividad, con lo que se integra un modelo conceptual que ofrece una orientación general. En el segundo capítulo se estudia que tipos de evaluación existen en función del lugar que ocupan en el proceso de planeación, conforme a lo cual se identifican cinco clases: diagnóstica, de alternativas, de seguimiento y control, de resultados y de impacto. En este capítulo también se estudian los modelos de entrada-salida, que constituyen un valioso apoyo para la evaluación integral de sistemas productivos y para el análisis del desempeño de programas institucionales.

ESTRUCTURA BÁSICA PARA CONDUCIR LAS TAREAS DE EVALUACIÓN COMUNES EN LAS ORGANIZACIONES

Con base en los resultados de los capítulos 1 y 2, en el capítulo tres se articula un conjunto de técnicas para conducir los trabajos de evaluación en las organizaciones. Finalmente, en el capítulo cuatro se ofrecen algunos ejemplos ilustrativos.


2.1. CONCEPTO DE EVALUACIÓN

14

El término valuar se aplica por lo general a cosas materiales con el siguiente sentido: valuar: señalar un precio

SUJETO

OBJETO

COSA O

CRITERIOS

En tanto que la palabra evaluar tiene una interpretación más amplia: evaluar: estimar, apreciar, calcular el valor de algo En la que ese algo puede ser material o inmaterial y su valor no necesariamente es monetario.

ASUNTO

A partir de estos apuntes y al hacer la separación sujeto-objeto, la evaluación puede ser entendida como:

ATRIBUTOS

“aquella actividad en la que un sujeto con base en ciertos

criterios examina los atributos de un objeto, para formular un juicio sobre su valor .” JUICIO SOBRE LA CONDICIÓN O DESEMPEÑO DEL OBJETO

Sujeto: Criterios Objeto:

responsable de la toma de decisiones, que cuenta o no con el apoyo de analistas puntos de vista con respecto a los cuales se examina y juzga al objeto aquello que se evalúa, en la figura se incluyen las palabras indeterminadas de “cosa” o “asunto”, para dar a entender que el objeto

APOYO A LA TOMA DE DECISIONES

Atributos: Juicio:

puede ser de cualquier naturaleza. cada una de las propiedades o cualidades del objeto opinión o dictamen que se emite sobre la condición o desempeño del objeto, para así apoyar la toma de decisiones


16

2.2. OBJETIVOS Y CRITERIOS

En el campo de la planeación es de uso común poner las necesidades, propósitos o inquietudes que dan origen a la evaluación en forma de objetivos, esto es, los objetivos de la decisión. OBJETIVOS DE LA DECISIÓN

SUJETO

OBJETO COSA O ASUNTO

CRITERIOS

ATRIBUTOS

Sin embargo, si para un problema de cierta complejidad se formula una lista con los objetivos que cubra los distintos aspectos de interés, sin duda que variará el alcance, grado de explicitez y detalle de la lista, además de que habrá repeticiones y omisiones, lo que pone a los objetivos lejos del nivel operativo que se requiere para el análisis sistemático de los atributos del objeto. Para tratar con esta dificultad se recomienda construir un árbol de objetivos, que constituye una herramienta simple y poderosa.

PREFERENCIAS (PESO RELATIVO DE LOS CRITERIOS)

UNA IDEA SUPERFICIAL, BORROSA O PARCIAL DE LOS OBJETIVOS Y CRITERIOS DE LA DECISIÓN ES EL PEOR INICIO

Para dar forma al árbol se coloca en la parte alta el o los objetivos más generales, para luego hacer su división en objetivos más específicos y así continuar hasta alcanzar una precisión apropiada. Los subobjetivos colocados en los niveles inferiores (no necesariamente el último) son los que se emplean para definir el conjunto de criterios con los que se examinará al objeto. Los criterios deben ser completos al cubrir los distintos aspectos de interés, comprensibles para el decisor y quienes intervengan en el proceso de evaluación, no redundantes para evitar el doble conteo y en un mínimo número para concentrar la atención en los aspectos de mayor relevancia. Como complemento a la definición de los criterios, es útil pensar en cuáles son las preferencias del decisor, esto es, qué tan importante es un criterio con respecto a los demás, lo que se expresa haciendo uso de factores de ponderación o por medio de pesos relativos. LA PLANEACIÓN EN IMÁGENES CONCEPTO Y TÉCNICAS DE EVALUACIÓN

2.3. CONSTRUCCIÓN DE INDICADORES

SUJETO

OBJETO

COSA O ASUNTO

CRITERIOS

ATRIBUTOS

18

Una vez que se cuenta con los criterios con los que se va a juzgar al objeto, es necesario definir c ómo se va a medir cada uno de ellos, para en otro momento recabar los datos requeridos y estar en posibilidad de establecer qué tan buena es la condición del objeto o qué tan bueno es su desempeño. A esta representación operativa de los criterios se le conoce como la construcción de indicadores, los cuales ocupan un lugar intermedio entre los criterios del sujeto y los atributos del objeto. Un indicador puede ser una variable o una función de varias variables; por ejemplo, el “ritmo cardiaco” y el “índice de masa corporal” como indicadores de criterio “salud”. Este mismo

INDICADORES

(cómo medir)

OBTENCIÓN DE LOS DATOS

(mediciones, conteos, cálculos u obsevaciones)

LA MEDICIÓN OCUPA UN LUGAR CENTRAL EN LA EVALUACIÓN

ejemplo ilustra que par un mismo criterio puede haber más de un indicador. Los datos provenientes de estadísticas, mediciones, cálculos, conteos o de la observación darían el valor del indicador. Para cada indicador se establece lo siguiente: Nombre del indicador Unidad de medida Si es el caso, forma de cálculo Fuente de información Vale decir que en ocasiones es fácil y hasta obvio definir qué indicador es el apropiado para un criterio dado, pero igual esto se puede complicar un tanto o un mucho, lo importante es que se capture o refleje en forma apropiada el criterio bajo consideración y que la obtención de la información no sea muy difícil o costosa.


20

2.4. INDICADORES CUANTITATIVOS Y OBJETIVOS

Ejemplo de indicadores en la compra de un auto CUANTITATIVOS (en forma numérica) OBJETIVOS

Rendimiento (km. /lt.)

(basados en conteos, estadísticas, cálculos, etc.)

Precio (pesos)

SUBJETIVOS reflejan la opinión o percepción del informante

Costo del seguro (pesos)

Precio de reventa* (pesos)

* si no está basado en estadísticas

CUANTITATIVOS

(en forma nominal u ordinal)

Color Aditamentos

Belleza Estado físico

Existe una marcada tendencia que favorece el uso de indicadores cuantitativos y objetivos, lo cual se comparte, pero no al extremo de excluir de la evaluación a lo cualitativo o a lo subjetivo. Las variables cuantitativas se expresan en forma numérica y existe una escala de medición natural, en tanto que las variables cualitativas se expresan en forma nominal (religión, educación, color,...) u ordinal bueno, regular, malo,...; alto, medio, bajo,...) Para las variables cualitativas con frecuencia se hace una equivalencia numérica (bueno =10, regular =7,...; o se asigna en forma directa una calificación (¿qué tan bueno...? = 10, 9, 8,...) Por la manera en que se obtiene la información se distingue entre indicadores objetivos y subjetivos. Los primeros se basan en medidas externas independientes del informante (mediciones, estadísticas, cálculos,...), en tanto que en los indicadores subjetivos se refleja la opinión o percepción de esa persona. Los indicadores cuantitativo-objetivos son preferibles dado que son de más fácil manejo y son menos controversiales, pero existen distintas razones por las que no siempre es posible o conveniente su empleo, como sucede en los siguientes casos: a) cuando la información no está disponible, es costosa o su obtención se complica, por lo que se opta por recabar la opinión de expertos b) cuando el lenguaje técnico está fuera del alcance de los participantes, lo que les impide expresar sus preferencias e interpretar los resultados c) cuando el atributo de interés no tiene una naturaleza cuantitativa d) cuando resulta impráctico hacer un análisis parte por parte; por ejemplo, para valorar a un proveedor se tendría que considerar precio, calidad, entregas a tiempo, etc., en cuyo caso se opta por una c alificación global expresada en forma ordinal o numérica. LA PLANEACIÓN EN IMÁGENES CONCEPTO Y TÉCNICAS DE EVALUACIÓN

22

2.5. METAS, ESTÁNDARES Y OTROS VALORES DE REFERENCIA

SUJETO

OBJETO

Con los indicadores se establece lo que será medido y la forma de medirlo, pero falta considerar los valores que serán empleados como base comparativa para juzgar los resultados obtenidos.

COSA O

Los valores de referencia más comunes son los siguientes:

ASUNTO

CRITERIOS

ATRIBUTOS

VALORES DE REFERENCIA     

DATOS

Metas o valores deseables Estándares técnicos Valores históricos Valores relacionados (lugares u objetos similares) Restricciones (para la evaluación de alternativas)

VERSUS

sobre la condición o desempeño del objeto (mediciones, conteos, cálculos u observaciones)

COMPARACIÓN CALIFICACIÓN JUICIO

TODA EVALUACIÓN IMPLICA UNA COMPARACIÓN

Metas: qué valores son deseables o ac eptables Estándares técnicos: normas o especificaciones Valores históricos: que permiten juzgar sobre el mejoramiento o no de la variable de interés en el tiempo Valores relacionados: comparaciones con otros lugares u objetos similares (ej. media nacional, firmas equiparables, etc.) Así, se puede marcar un límite superior, uno inferior o ambos, tal que si los resultados obtenidos están por arriba de un límite superior o por abajo de uno inferior se concluye que la condición o el desempeño es insatisfactorio Al hacer esta comparación se puede emitir una calificación ordinal o numérica, para expresar qué tan buena o qué tan mala es la condición o desem peño del objeto. Cabe añadir que en algunos casos no se establece en forma expresa ningún valor de referencia, sino que en forma directa se asigna una calificación que depende de la interpretación del evaluador. En la evaluación de alternativas se agregan a los valores de referencia la s “restricciones”, que contemplan la disponibilidad de recursos y cualquier otra limitante física, técnica o legal, para de esta manera juzgar qué alternativas son viables y cuáles no. LA PLANEACIÓN EN IMÁGENES CONCEPTO Y TÉCNICAS DE EVALUACIÓN

24

2.6. MODELO CONCEPTUAL DE LA EVALUACIÓN

SUJETO

OBJETO

OBJETIVOS COSA O ASUNTO CRITERIOS

ATRIBUTOS

Con los elementos que se han descrito a lo largo de este capítulo se integra un modelo conceptual de la evaluación, que brinda una orientación sobre los distintos elementos que intervienen y como se relacionan. Para ilustrar este modelo suponga que se desea evaluar la calidad del servicio de una firma de paquetería. Objetivo: mejorar la calidad del servicio (único objetivo) ENTREGA DE PAQ. OPORTUNIDAD DE TRATO AL CLIENTE SIN DAÑOS ENTREGA

CRITERIOS: PREFERENCIAS

INDICADORES (cómo medir)

OBTENCIÓN DE DATOS

COMPARACIÓN (datos- valores de referencia) CALIFICACIONES PARCIALES

(EXC., P E S O S P A G A D O S P O R C E N T A J E D E CALIFICACIÓN REGULAR O POR DAÑOS ENTREGAS A TIEMPO BUENO, MALO) NUM. DE PAQ. DE ENTREG. A TIEMPO / TOTAL DE PAQUETES

U. DE MEDIDA FORMA CÁLCULO

JUICIO sobre la condición o desempeño del objeto

APOYO A LA TOMA DE DECISIONES

NOTA DE ENTREGA

CONSULTA TELEF. AL CLIENTE

V A L O R E S 2 M I L L O N E S D E EL PROMEDIO FUE NO HAY DATOS HISTÓRICOS PAGOS POR MES DEL 60% (AÑO ANTERIOR)

METAS

REDUCIR A LA MITAD E N T R E G A R A L 95% DE LOS CASOS L O S P A G O S P O R MENOS 90% DE LOS FAVORABLE (EXC. O RECLAMOS PAQ. A TIEMPO BUENA)

D A T O S D E L 1.9 MILLONES MES ANTERIOR COMPARACIÓN

CALIFICACIÓN GLOBAL

0.2

R E C L A M O S P O R ENTREGAS A TIEMPO TRATO AL CLIENTE DAÑOS (2 DÍAS MÁXIMO)

F U E N T E D E OF. DE RECLAMOS INFORMACIÓN

PREFERENCIAS (peso relativo de los criterios)

0.2

INDICADORES NOMBRE

VALORES DE REFERENCIA metas, estándares, valores históricos, restricciones, otros

0.6

(PESO RELATIVO)

75%

80% FAVORABLE

MUY POR ABAJO DE ABAJO DE LA META LA META

CALIFICACIÓN CALIFICACIÓN GLOBAL

5

ABAJO DE LA META

8

8

5 X 0.6 + 8 X 0.2 + 8 X 0.2 = 6.2

Juicio: la atención al cliente es aceptable y la oportunidad de entrega ha mejorado, pero el pago por daños sigue siendo muy alto. Decisión: ofrecer como incentivo a los trabajadores la mitad de los ahorros que se tengan por reclamos y estudiar la causa de los retrasos para hacer los ajustes pertinentes LA PLANEACIÓN EN IMÁGENES CONCEPTO Y TÉCNICAS DE EVALUACIÓN

3.1. UBICACIÓN DE LA EVALUACIÓN EN EL PROCESO DE PLANEACIÓN

ANÁLISIS DE LA SITUACIÓN EVALUACIÓN DIAGNÓSTICA

FORMULACIÓN DE OBJETIVOS

GENERACIÓN Y EVALUACIÓN DE ALTERNATIVAS

FORMULACIÓN DEL PLAN DE ACCIÓN

ANÁLISIS DE RESULTADOS

ANÁLISIS DE IMPACTO

EVALUACIÓN DE ALTERNATIVAS

EVALUACIÓN DE SEGUIMIENTO Y CONTOL

EVALUACIÓN DE RESULTADOS

EVALUACIÓN DE IMPACTO

¿qué se tiene? vs. ¿qué se quiere? ¿qué problemas se detectan?

¿cuál es la mejor opción?

28

Dado que la evaluación se emplea con distintos propósitos, ya sea para detectar y precisar las necesidades que se tienen, para elegir entre distintas opciones o para dar seguimiento a un proyecto en ejecución, entre otras posibilidades, se provoca cierta confusión. Buena parte de esta confusión se aclara al examinar en qué momentos de la planeación se hace uso de la evaluación. Fuentes Zenón* presenta lo que se conoce como el modelo clásico de la planeación, en el que se concibe al cambio como el fruto natural de un proceso para ganar conocimiento, en el que con algunos cambios menores se contemplan las siguientes etapas:

¿cuál es el avance real vs. avance programado? ¿qué ajustes se requieren?

¿qué se propuso? vs. ¿qué se entrega?

¿cuáles son los beneficios obtenidos vs. beneficios previstos?

Y TIPOS DE EVALUACIÓN

¿qué se tiene?

Formulación de objetivos

¿qué se quiere?

Generación y ev. de alternativas

¿cómo pasar de lo que se tiene a lo que se quiere?

Plan de acción

¿cómo organizar la ejecución de los proyectos seleccionados?

Análisis de resultados y de impacto

¿qué productos se propone entregar y qué beneficios se derivan de ello?

En este proceso se identifican cinco formas o tipos de evaluación: diagnóstica, de alternativas, de seguimiento y control, de resultados y de impacto.

* MODELO CLÁSICO DE LA PLANEACIÓN

Análisis de la situación

FUENTES Zenón, Arturo (2001) Enfoques de Planeación: un sistema de metodologías, Serie la Planeación en Imágenes, División de Estudios de Posgrado, Facultad de Ingeniería, UNAM LA PLANEACIÓN EN IMÁGENES CONCEPTO Y TÉCNICAS DE EVALUACIÓN

30

3.2. TIPOS DE EVALUACIÓN (parte 1) EVALUACIÓN DIAGNÓSTICA

CRITERIOS

En la evaluación diagnóstica se realiza un análisis sistemático de las condiciones o desempeño de objeto, con el propósito de identificar las fallas que se tienen y su magnitud, para en un siguiente momento indagar sobre las causas de las fallas detectadas y las posibles soluciones, por lo que la evaluación diagnóstica constituye la base de un plan de mejora bien estructurado. De manera similar a un “check -up” médico, se formula un listado de los criterios e indicadores de relevancia, para sobre esa base levantar los datos sobre el estado del objeto, que se comparan con lo los valores de referencia correspondientes (metas, valores deseados, estándares técnicos, etc.) para identificar la deficiencias que se tienen.

ATRIBUTOS

INDICADORES ¿QUÉ SE QUIERE? metas, estándares u otros valores de referencia

¿QUÉ SE TIENE? datos u observaciones

PROBLEMAS QUE SE DETECTAN Y SU MAGNITUD

EVALUACIÓN DE ALTERNATIVAS alternativas CRITERIOS ATRIBUTOS datos y estimación de los resultados asociados a cada alternativa

INDICADORES

 

Restricciones y Nivel mínimo de aceptación

Análisis de viabilidad y aceptabilidad de las alternativas

alternativas que califican   

Valores de referencia Preferencias Calificaciones

alternativas desechadas

Análisis para definir cuál es la mejor opción

En la evaluación de alternativas se tiene una doble tarea, en la primera se examina qué alternativas son viables en función de la disponibilidad de recursos y cualquier otra limitante física, técnica o legal que se tenga, lo que lleva a desechar las opciones que no cumplen con estas restricciones. En algunos casos se agrega a las restricciones un nivel mínimo de aceptación, de suerte que si alguna alternativa no cumple con ese mínimo también se desecha, sin que importe qué tan buena sea en otros sentidos (como sería una oferta de empleo con un salario muy bajo). El siguiente paso consiste en definir de entre las alternativas que quedan cuál es la mejor, acorde con los objetivos y criterios que se hayan planteado.

ALTERNATIVA SELECCIONADA LA PLANEACIÓN EN IMÁGENES CONCEPTO Y TÉCNICAS DE EVALUACIÓN

TIPOS DE EVALUACIÓN (parte 2)

CONCEPTO Y FACETAS DE LA PLANEACIÓN

32 29

EVALUACIÓN DE SEGUIMIENTO Y CONTROL

Esta evaluación se realiza durante la ejecución de un proyecto o programa, para verificar si los avances que se tienen están de acuerdo con lo programado y para revisar si los resultados parciales cumplen con las especificaciones establecidas, para en caso contrario hacer los ajustes pertinentes. Una ejecución incompleta o defectuosa puede tener distintas causas, como una gestión ineficaz, falta de recursos, errores de diseño, cambios en el entorno, etc.

proyectos o programas en ejecución CRITERIOS

ATRIBUTOS

avance programado

avance real RETRASOS

especificaciones

resultados parciales

FALLAS

EVALUACIÓN DE RESULTADOS CRITERIOS RESULTADOS DESEADOS cantidad calidad costo eficiencia oportunidad

ATRIBUTOS RESULTADOS ALCANZADOS

JUICIO SOBRE LOS RESULTADOS

Una vez que se ha completado un proyecto o al fin de un ciclo para un programa continuo, se realiza una comparación de los resultados alcanzados con las metas y especificaciones que se hallan propuesto. Los criterios que se consideran son cantidad y calidad de los productos que se entregan o de los servicios que se prestan, así como el costo, eficiencia y oportunidad con que se realiza. EVALUACIÓN DE IMPACTO

CRITERIOS   

adecuación conforme a las necesidades que se detectan Logro de un objetivo superior cobertura alcanzada, otros

ATRIBUTOS Beneficios derivados de la disposición o uso de de los productos que se entregan o de los servicios que se prestan

JUICIO SOBRE EL IMPACTO

Mientras que en la evaluación de resultados se examina qué productos se entregan, en la evaluación de impacto se hace una valoración de los beneficios que se derivan de su uso o disposición. En otras palabras, se valoran los cambios propiciados y por ese medio la contribución que se hace a la satisfacción de las necesidades del entorno o al logro de un objetivo s uperior. Por ejemplo, en un programa de apoyo a PYMES, en el nivel de resultados se examina cuántos créditos se otorgaron y la agilidad con la que se realizó, en tanto que en el nivel del impacto se valora cuál es la c obertura, cuántos empleos se han generado, cuál es el crecimiento de esas empresas, etc. LA PLANEACIÓN EN IMÁGENES CONCEPTO Y ESTRATEGIA TÉCNICAS DECOMPETITIVA EVALUACIÓN DISEÑO DE LA

34

3.3. MODELO CIPP (parte 1)

Existen distintos modelos en los que se hace una representación completa del objeto de estudio, que favorecen el diseño de un sistema integral de indicadores para hacer una evaluación completa.

CONTEXTO

Tal es el caso del cuadro de mando en el campo de los negocios, el cuadro lógico para la planeación de proyectos y el modelo PER (programa-estado-respuesta) que se emplea en el análisis ambiental.

I

NSUMOS (RECURSOS)

PROCESO PRODUCTOS IMPACTO O EFICACIA

Aquí se trata el modelo CIPP, en el que se visualiza al objeto formado por tres grandes bloques (input-process-product), que se ubican en un entorno (context), el cual es de gran interés ya que por este medio se puede representar cualquier conjunto de recursos y actividades que se organizan para cumplir con un propósito, como podría ser un proceso de manufactura, un programa de salud pública, un servicio informático y un sin fin de cosas más. Este modelo permite diseñar un sistema de indicadores en el que se ponen a consideración aspectos como los siguientes: Si los recursos disponibles son apropiados en cantidad y calidad Qué tan bien funcionan los procesos (tiempo de ciclo, defectos, etc.) Si se cumple en tiempo y forma con las metas de producción Qué cambios se han logrado en el entorno y si la cobertura que se tiene es suficiente


36

MODELO CIPP (parte 2)

De acuerdo con la estructura del m odelo CIPP, los elementos a considerar para el diseño de un sistema integral de indicadores son los siguientes:

EFECTIVIDAD-COSTO

EFICIENCIA

INSUMOS (RECURSOS)

PROCESO

EFECTIVIDAD

PRODUCTOS

BENEFICIOS Y COBERTURA CONTEXTO

CALIDAD

Insumos: recursos con los que se cuenta (equipo, instalaciones, materiales, personal, etc.), si su disponibilidad, cantidad y calidad es o no apropiada. Proceso: es el mecanismo a través del cual los insumos se transforman en productos, se examina su organización y funcionamiento. Productos: bienes que se entregan o servicios que se prestan Calidad: qué tan buenos son los bienes o servicios que se prestan, así como el nivel de satisfacción de los beneficiarios. Contexto: es el medio en el que se tiene impacto, por lo que se miden los beneficios derivados de la disposición o uso de los productos, así com o la cobertura que se tiene, esto es, si son suficientes de acuerdo a las necesidades existentes o conforme a los objetivos propuestos. Eficiencia: se estudia la productividad de los recursos (relación entre los productos obtenidos y los recursos empleados) Efectividad: indica en términos relativos que impacto se tiene por unidad producida o por servicio prestado. Efectividad-costo: similar al anterior, pero ahora la relación es entre el impacto que se tiene y los recurso empleados. Sobre esta base se diseñaría un sistema de indicadores, en el que lo genial no estaría en contar con un gran número de mediciones, sino en identificar los aspectos clave para hacer una valoración apropiada del objeto bajo estudio. LA PLANEACIÓN EN IMÁGENES CONCEPTO Y TÉCNICAS DE EVALUACIÓN

38

3.4. MODELO ESFUERZO DESEMPEÑO

El modelo esfuerzo-desempeño es una versión simplificada del modelo CIPP, que facilita la evaluación.

ENTORNO

ESFUERZO

PROCESO

EFICIENCIA

DESEMPEÑO

ADECUACIÓN DEL DESEMPEÑO

Esfuerzo: son los recursos que se ponen en juego para atender una necesidad. Por ejemplo, en un centro hospitalario se tomaría en cuenta el número de camas o de doctores, programas de vacunación, número de promocionales para la prevención del cáncer, etc. Desempeño: se mide el resultado del esfuerzo, como podría ser el número de pacientes atendidos, las operaciones realizadas, la cantidad de vacunas aplicadas o el número de personas a las que llegan los programas preventivos. Adecuación del desempeño: se establece si el desempeño es satisfactorio de acuerdo a las necesidades detectadas o con respecto a los objetivos planteados Eficiencia: se mide la relación esfuerzo- desempeño. Un símil ilustrativo Esfuerzo: en el caso de un ave se juzga el vuelo por el tamaño de las alas y por cuántas veces las bate, no por la distancia que recorre. Desempeño: se mide la distancia recorrida, no si llega a su destino Adecuación del desempeño: para el ave se evaluaría la distancia recorrida en función de la distancia por recorrer


42

4.1. METODOLOGÍA PARA LA EVALUACIÓN

FASE PREPARATORIA

a) ¿Qué se evalúa? b) ¿Para qué? MARCO PARA LA EVALUACIÓN

c) Criterios d) Preferencias e) Indicadores nombre unidad de medida método de cálculo fuente de información f) Valores de referencia metas normas o estándares técnicos valores históricos otros valores de referencia g) Restricciones y nivel mínimo de aceptación FASE OPERATIVA

h) Obtención de los datos i) Procesamiento de los datos j) Interpretación de los resultados y formulación de recomendaciones k) Elaboración de reportes

Hasta el momento se ha tratado el tema de la evaluación desde una perspectiva conceptual, por lo que es necesario llevar estas ideas al nivel procedimental y de las técnicas, para dar una orientación realmente efectiva en el terreno de las aplicaciones. En cuanto al procedimiento a seguir se identifican tres etapas: FASE PREPARATORIA

Constituye la base y eje de la evaluación, en la que se debe de dejar claros qué se evalúa y para qué a) objeto bajo examen: institución, programa, proyecto, etc. b) propósito de la evaluación: problemática que da origen a la evaluación, objetivos que se persiguen y resultados esperados CONSTRUCCIÓN DEL MARCO PARA EL ANÁLISIS

Se establece el conjunto de elementos con los que se va a examinar al objeto. c) criterios: con qué criterios se va a juzgar al objeto d) preferencias: peso relativo de los criterios e) indicadores: cómo se va a medir o cualificar f) valores de referencia: que valores serán empleados como base comparativa para juzgar la condición o desempeño del objeto g) restricciones y nivel mínimo de aceptación: para juzgar la viabilidad o aceptabilidad de las alternativas FASE OPERATIVA

Contempla la obtención y procesamiento de la información requerida para evaluar al objeto h) obtención de los datos i) procesamiento de los datos j) reportes de resultados k) interpretación de los resultados y formulación de recomendaciones LA PLANEACIÓN EN IMÁGENES CONCEPTO Y TÉCNICAS DE EVALUACIÓN

44

4.2. DE LA METODOLOGÍA A LAS TÉCNICAS DE EVALUACIÓN

Al poner a consideración el procedimiento general que se ha descrito en el anterior apartado, bien puede calificarse como ordenado e inteligible, pero igual se le puede tachar de academicista o falto de practicidad, ya que está más cerca de los conceptos que de la obtención y manejo de los datos. CONCEPTOS

APLICACIONES

METODOLOGÍA T É C N I C A S

ATAJOS TEÓRICOS ADAPTACIONES PRÁCTICAS

S A C I N C É T

Por ello, se puede ver a las técnicas como un elemento de apoyo para dar una orientación más firme, como el eslabón necesario de la cadena CONCEPTOS-METODOLOGÍA-TÉCNICAS-APLICACIONES.

Pero el desarrollo de las técnicas no se limita a tender un puente o servir de auxilio a las metodologías, ya que en muchos casos se deben construir atajos a elaboraciones abstractas o en exceso complicadas, así como hacer adaptaciones “prácticas” para tomar en cuenta aspectos como

la disponibilidad y tipo de información a manejar, relación analista-decisor, profundidad y rigurosidad del análisis que se exige, etc. Así, entre atajos teóricos y adaptaciones prácticas se abre un abanico de técnicas susceptibles de ser empleadas, de las cuales se hace una selección atendiendo a su aplicabilidad, las cuales se presentan en el s iguiente apartado.


46

4.3. TÉCNICAS PARA LA EVALUACIÓN (parte 1)

PROS

Este apartado contiene un conjunto de técnicas de evaluación que se distinguen por su aplicabilidad, las cuales se presentan en forma de tablillas para hacer su llenado y realizar el análisis.

CONTRAS CRITERIOS

VALORES DE REFERENCIA

INDICADORES

VALORES DE INDICADORES REFERENCIA

DATOS

CALIFICACIONES

CALIFICACIONES

CRITERIOS O INDICADORES

CRITERIOS

DATOS

1

2

3

4

Estas tablillas pueden ser empleadas para los siguientes tipos de evaluación: diagnóstica, de seguimiento y control, de resultados y de impacto, así como para la evaluación integral de sistemas haciendo uso del modelo CIPP o del modelo esfuerzo-desempeño.

OBSERVACIONES

5

OBSERVACIONES

Por lo que se refiere a las tablillas para la evaluación de alternativas, estas se presentan por separado en el siguiente apartado, ya que se requiere de hacer algunos ajustes para examinar tanto la viabilidad las opciones, como s u efectividad. RESTRICCIONES O NIVEL MÍNIMO DE ACEPTACIÓN

CONDICIONES FIJADAS

En cuanto a qué tablilla conviene emplear, en cada caso se hacen algunos comentarios que pueden servir de orientación general, fuera de ello la única recomendación es que se tome la tablilla que se ajuste mejor a los propósitos y condiciones que se tengan.

ALTERNATIVAS I

II

---

CUMPLE O DATO NO CUMPLE



ALTERNATIVA I PRO S

CONTRAS

ALTERNATIVA II PR OS

CRITERIOS

CONTRAS

INDICADORES


DATOS

ALT. I

ALT. II

---

ALT. N

ALTERNATIVA N PROS

CONTRAS

CRITERIOS INDICADORES


ALTERNATIVA PREFERENCIAS CALIF.

I

CALIF.

PONDERADA

PREFEREN- VALORES DE CIAS REFERENCIA

ALTERNATIVA II CALIF.

CALIF.

PONDERADA

ALTERNATIVA I DATOS

CALIF.

CALIF. PONDERADA

CALIF. GLOBAL

CALIF.

---

CALIF. PONDERADA

ALTERNATIVA N ---

CALIF.

CALIF.

PONDERADA

CALIF. GLOBAL

CALIF. GLOBAL

ALTERNATIVA II DATOS

CALIF. GLOBAL

CALIF. GLOBAL


TÉCNICAS PARA LA EVALUACIÓN (parte 2)

48

TABLILLA 1. (PROS CONTRAS) PROS

Paso 1. Definir qué se evalúa y para qué. Paso 2. Sin mayor preámbulo, colocar en la parte izquierda qué aspectos se consideran favorables y en la parte derecha los desfavorables. Nota: Esta es la técnica de evaluación más simple, se limita a ofrecer al decisor lo bueno y malo que se detecta, para que por si mismo haga un balance y formule un juicio.

CONTRAS

TABLILLA 2. (CALIFICACIONES DIRECTAS)


CALIFICACIONES 1

2

3

4

5

OBSERVACIONES

Paso 1. Definir qué se evalúa y para qué. Paso 2. Definir qué criterios y/o indicadores s e emplearán para juzgar al objeto. Paso 3. Se emite una calificación por parte de un experto acerca de qué tan favorable o desfavorable es la condición o desempeño del objeto, misma que se representa en una escala de 1 a 5 con una barra, aunque igual puede usarse otra escala numérica o una escala de carácter ordinal. Paso 4. En esta columna se anota cualquier comentario o aclaración que se considere pertinente. Notas: La mayor ventaja de esta técnica es la agilidad con la que se realiza la evaluación, la brevedad del contenido y la facilidad para su interpretación. Del otro lado, la “validez” de la técnica está

condicionada por la capacidad del experto y por la credibilidad que tenga su opinión, sin lo cual constituye un ejercicio inútil. LA PLANEACIÓN EN IMÁGENES CONCEPTO Y TÉCNICAS DE EVALUACIÓN

TÉCNICAS PARA LA EVALUACIÓN (parte 3)

50

TABLILLA 3. (PAQUETE ESTRUCTURADO DE INFORMACIÓN)

CRITERIOS

INDICADORES


DATOS

OBSERVACIONES

Paso 1. Definir qué se evalúa y para qué. Paso 2. Definir qué criterios se emplearán para juzgar al objeto. Paso 3. Para cada criterio estudiar qué indicador se va a usar Paso 4. Establecer los valores de referencia que serán empleados como base comparativa para juzgar al objeto. Paso 5. Recabar los datos sobre la condición o desempeño del objeto (estadísticas, mediciones, conteos, cálculos u observaciones). Paso 6. Cualquier opinión, interpretación o juicio se coloca por separado en esta columna para no contaminar los “hechos”.

Nota:

En este caso el analista se limita a ofrecer un paquete estructurado de información, para que el decisor formule un juicio por si mismo.

TABLILLA 4. (PAQUETE ESTRUCTURADO DE INFORMACIÓN: Y CALIFICACIONES) CRITERIOS

INDICADORES


DATOS

CALIFICACIONES

Esta tablilla es muy similar a la tablilla 3, la diferencia es que la columna de observaciones es sustituida por una calificación ordinal o numérica dada por un experto o por el propio analista. Nota: La credibilidad del experto (o del analista) no constituye un elemento crítico, pues se incluyen las bases sobre las que formula su juicio y por tanto las calificaciones son revisables.


4.4. TÉCNICAS PARA LA EVALUACIÓN DE ALTERNATIVAS (parte 1)

RESTRICCIONES O NIVEL MÍNIMO DE ACEPTACIÓN

CONDICIONES FIJADAS

ALTERNATIVAS I

II

---

CUMPLE O DATO CUMPLE O DATO NO CUMPLE NO CUMPLE


52

En la evaluación de alternativas se tienen dos etapas de trabajo; la primera tiene como propósito verificar la viabilidad y aceptabilidad de las propuestas, para eliminar aquellas opciones que no cumplan con las condiciones exigidas, en tanto que en la segunda etapa se comparan las alternativas que quedan para determinar cuál es la mejor. Para la primera etapa se construye una tablilla que involucra los siguientes pasos:

ALTERNATIVA II PROS

CONTRAS

ALTERNATIVA I PROS

ALTERNATIVA N

CONTRAS

PROS

CONTRAS

Paso 1. Establecer el conjunto de alternativas a evaluar. Paso 2. Definir las restricciones a considerar y definir aquellos criterios para los que se exige un nivel mínimo de desempeño. Paso 3. Establecer en forma numérica, ordinal o nominal las condiciones a cumplir. Paso 4. Para cada alternativa obtener los dato correspondientes y verificar si se cumple o no con las condiciones fijadas. En cuanto a la comparación de las alternativas para identificar cuál es la mejor, lo más simple es extender las tablillas 1 y 3 para que el decisor por si mismo haga la comparación y juzgue cuál le conviene.

CRITERIOS

INDICADORES


DATOS

ALT. I

ALT. II

---

ALT. N

Ahora bien, el apoyo que brinda el analista al decisor puede ir más allá de la sola extensión de las tablas, al introducir en las tablas 2 o 4 las preferencias, esto es, el peso relativo de cada criterio, lo que permite asignar una calificación global a cada alternativa


1_322144361338896407.pdf

Recommend Documents