Proyecto de Mejoramiento de la Evaluación en las Academias
ADUN AD UNII – CE CESA SAR R VAL VALLE LEJO JO TALLER DE CAPACITACION Set - Oct – Nov
MODULO V
Tema
: Estadística aplicada al uso de Pruebas Evaluación Evalu ación Crite Criterial rial y Norma Normativa tiva
Responsable: Vilma I. Gamboa Medina
EVALUACION CRITERIAL Y NORMATIVA Obtenemos información objetiva Cuando Evaluamos
Lo interpretamos La interpretación es más compleja depende del grado de significado de la unidad de medición, se usa para formular juicios de valor que a su vez se utilizarán para la toma decisiones.
Evaluación Criterial ¿Qué es la Evaluación Criterial? En la evaluación evaluación por criterios, los resultados de la medición se comparan con un criterio absoluto, constituido constituido por lo que debe “saber “saber hacer” el estudiante. estudiante. Al este “saber hacer” se le conoce como dominio, que implica implica tanto tanto la clase de de tarea que que ha de
Al realizar la evaluación?
El Dominio correspondiente Los resultados se comparan con:
Esto a fin de determinar determinar que es lo que que puede hacer el estudiante estudiante y si su ejecución es superior o inferior al dominio independientemente si es superior o no a la de los demás estudiantes. En la evaluación por Criterios, la fuente del significado es el dominio: dominio : mientras mejor se conozca el dominio y mas precisamente se defina mayor significado tendrá la evaluación.
La Evaluació Evaluaciónn Criterial Criterial se centra centra en el propio alumno alumno y determina qué es capaz de hacer en cada momento y necesita partir de unos criterios fijados fij ados con antelación.
¿Qué se necesita para realizar una Evaluación por Criterios?
Un Profesor Que tenga clara la meta a conseguir
Este debe hacer una minuciosa descripción descripción del dominio que el objetivo representa, pero debe procurarse realizar objetivos generalizados que impliquen impliquen otras conductas. conductas.
Influencia de la Evaluación por Criterios en la Elaboración de las Pruebas
Se evalúa el avance del alumno hacia el objetivo propuesto y la distancia que los l os separa de él. Esta distancia constituye las bases de la información a partir del cual se ha de tomar una decisión. Una prueba que que hace referencia a un criterio es la que se emplea para averiguar la situación de un individuo con respecto a un campo de conducta bien definido. Se basa en: 1) La delimitación de un campo de conductas bien explicitado. 2) La determinación de la actuación del individuo en relación con ese campo Es conveniente representarlo en un esquema de conductas y contenidos implicados en el mismo dominio, de forma tal que se pueda elaborar una sola pregunta para cada punto clave del dominio, logrando con esto que la prueba sea representativa y con muy pocos reactivos.
Para desarrollar una Estructura correcta y Valorar de este modo:
1° Hay que distinguir bien los objetivos de los Criterios Cri terios de Evaluación. 2° Transforma Transformarr secuencia secuencialment lmentee el objeti objetivo vo en en comporcompor-
tamientos tamientos observable observabless y valorables. valorables.
Vínculo de la Evaluación por Criterios y la orientación de la Educación
De acuerdo con este concepto, concepto, la educación que que se imparte dentro dentro de la escuela tiene una función función formativa. formativa. La obligación obligación del educador educador consiste consiste en hacer que los alumnos alumnos logren logren los objetivos y los dominios que éstos implican. Todos los alumnos pueden aprenderlo todo; solo es cuestión de que se les proporcionen las experiencias y el tiempo necesarios. Como ubicar al Alumno Respecto al Curso ESTABLECER LA PUNTUACIÓN MÍNIMA ACEPTABLE
OBTENER LA PUNTUACIÓN DE CADA PRUEBA
NO
NO ACREDITACIÓN
¿QUEDA
LA PUNTUACIÓN DENTRO DEL LIMITE ACEPTABLE?
SI
ACREDITACIÓN
Se debe comparar comparar a cada alumno con un dominio determinado, determinado, por lo tanto se debe comenzar comenzar por representar el dominio para determinar cuales puntos ameritan la elaboración de un reactivo.
Calificación para la Evaluación E valuación por Criterios La evaluación por criterios requiere de una interpretación de naturaleza absoluta, de “todo o nada”: el alumno posee o no los objetivos; objetivos; posee o no los los requisitos. Este tipo de interpretación interpretación conduce a una decisión binaria, que en el caso de la evaluación diagnóstica debería debería implicar el ingreso o no ingreso al curso, acreditado/no, acreditado, promovido/no promovido. promovido. Para aplicar el sistema binario de calificación se debe establecer previamente la mínima calificación aceptable (usualmente un 80% o 90% 90% de la calificación máxima). Luego Luego se califican las pruebas pruebas comparando la puntuación total con la puntuación puntuación mínima aceptable. Si la puntuación del alumno esta dentro del límite límite establecido, se promociona promociona al siguiente curso; en en caso contrario no promociona.
Limitaciones del Sistema Una de las limitaciones del sistema es que la organización no faculta al profesor a rechazar a un alumno que oficialmente ha sido admitido; sin embargo, es muy conveniente examinar el problema del diagnóstico diagnóstico con esta esta concepción, aunque aunque solo sea para informar al estudiante sobre los resultados, esperando que sea el mismo quien tome la decisión pertinente.
Evaluación Normativa Esta evaluación evaluación se basa en el uso de de técnicas estadísticas. Sitúa al alumno dentro del del grupo. Evalúa en referencia a una distribución normal y compara el resultado del individuo con los resultados de la población o grupo a los que pertenece el evaluado. Esto exige el establecimiento de una norma de referencia confeccionada después de estudios estadísticos de rendimiento, con el objetivo de obtener una calificación.
¿Cuándo se usa este tipo de evaluación? e valuación? Este tipo de evaluación se utiliza para ubicar a los alumnos en escalas de rendimiento y puntaje, atribuir un lugar dentro dentro de los grupos. El modelo normal se usa en aquellos casos en que las calificaciones deben responder a la necesidad de ordenar a un determinado grupo de individuos “de mejor a peor”, para elegir de entre ellos a “los mejores”, sin que en esta elección exista referencia alguna a determinados objetivos de aprendizaje previamente señalados como metas que deberían estar cumplidas.
Curva Normal
f ( x )
U U
-3
U
-
U
-2
( x µ ) 2 −
1
−
=
U
2πσ
+ U
+2
e
U
2σ
2
+3
99.7%
La curva representa una distribución de probabilidades, probabilidades, este modelo permite permite explicar el comportamiento comportamiento de numerosas numerosas variables aleatorias. Este modelo tiene dos parámetros parámetros que determinan determinan completamente completamente al modelo:
Uno de Posición:
Marca el lugar central de la curva Y corresponde al valor esperado
La Dispersión:
Determina tanto el ancho y alto de la Curva y corresponde a la Varianza esperada
¿Influencia de la Evaluación por Normas en la Técnica de Elaboración de Pruebas Alumno x
Juicio evaluativo de un Estudiante X: Mala
Buena
Alumno x Regular
Mala
Buena
Alumno x Mu y Ma l a
Ma l a
Regular
Buena
Muy Buena
La ejecución del grupo se representa en tres modalidades distintas, en la última situación adquiere mas significado el juicio, el rango de ejecución del grupo se amplió, el significado de la medición se precisa. precisa. Al ser más amplia amplia la variación de la ejecución ejecución de de un grupo los resultados Obtenidos son mas significativos. A esta variación se le llama dispersión. HISTOGRAMA
Formas de distribución
La forma que presenta el histograma y el polígono de frecuencias correspondiente nos puede indicar de manera práctica si las calificaciones se distribuyen normalmente o aproximadamente, o si son sesgadas.
F R5 E C U4 E N3 C I A2 1
Atendiendo a su Forma FORMA SIMETRICA O DE CAMPANA Las observaciones equidistan del Máximo central, tienen la misma frecuencia. Ejem. Rendimiento Académico
TIPO DE SESGO POSITIVO O NEGATIVO Esta forma se presenta cuando el centro de gravedad fluctúa de un lado a otro. Generalmente se presenta cuando el límite Inferior ó superior se controla teóricamente por un valor de especificación.
AL COMPARAR VARIAS DISTRIBUCIONES A
C
Variabilidad B
B
A
Asimetria A
B
C
Curtosis
C
Presentación ordenada de Datos Un instrumento es la Distribución de Frecuencias, que debe ofrecer la información Necesaria para hacer las representaciones gráficas y facilitar los cálculos del cual se obtendrán los Estadísticos Muestrales
Notas de clase de un examen de Algebra
Mutuamente excluyentes
2,3,4,1,2,3,3,4,5,7,5,5,6,4,5,5,6,9,8,7 Nota (xi) 9 8 7 6 5 4 3 2 1 Total
Exhaustivas
6
Frecuncia (fi)
1 1 2 2 5 3 3 2 1 20
5
F R E C U E N C I A
4
3
2
1
0 1
2
3
4
5
6
7
8
NOTAS
Una distribución de frecuencias es una representación representación de la relación entre un conjunto de medidas o clases mutuamente Excluyentes y Exhaustivas y la
9
Tabla de Frecuencias Es un instrumento instrumento que ofrece la información necesaria para hacer las representaciones gráficas y facilitar los cálculos del cual se s e obtendrán los estadísticos muestrales Nota (xi) 9 8 7 6 5 4 ¿Cuántos Alumnos del Aula 3 Obtuvieron menos de Nota 3? 2 =Frec.alum =Frec.alumnos nos obtuvieron obtuvieron 1 1 + frec.alu frec.alumnos mnos obtuvieron obtuvieron 2 TOT AL = 1 + 2 = 3 Alumnos
Frecuenci a
fi
1 1 2 2 5 3 3 2 1 20
Porce Porcen n Acumul % ¿Qué porcentaje de alumn 5 5 Tiene de Nota 6 o más? 5 10 10 20 = 30 % 10 30 25 55 ≥50% 15 70 ¿Qué Nota obtuvieron 15 85 al menos el 50 % de los 10 95 alumnos con nota inferio 05 100 o igual ? 100 =5
Frecuencia absoluta
¿Qué % de alumnos tiene de nota entre 4 y 6?
Frecuencia Relativa
¿Qué % de alumnos tiene de nota más de 5? = 30%
Distribución de Frecuencias con datos Acumulados
Test Test de los Hábito Hábitoss de estudio de 30 alumnos
INTERVALO DE CLASE
Reglas para agrupar las puntuaciones de las variables: 1° Aconsejable que los interv. de clase contengan 1,2,3,5,10 20 unidades de la escala 2° El Nro. de intervalos debe variar entre 10 y 20
37,72,71,65,54,78,85,42,49,63,61,32,51,33,77, 93,85,83,63,55,58,46,57,73,73,68,73,91,75,77
Inter nter de clase (xi) 90-94 85-89 80-84 75-79 70-74 65-69 60-64 55-59 50-54 45-49 40-44 35-39 30-34 Total
Frec. (fi) 2 2 1 4 5 2 3 3 2 2 1 1 2 30
Frec. Acum . 30 28 26 25 21 16 14 11 8 6 4 3 2
% de Frec. Acum 100.00 93.33 86.67 83.33 70.00 53.33 46.67 36.67 26.67 20.00 13.33 10.00 6.67
1°Rango Rango de la amplit amplitud: ud: 93-32+1 = 62 2°Dividimos Dividimos 62/10 62/10 y 62/20 62/20 nos da 6,2 y 3,1 El intervalo de clase debe tener 5 de amplitud 3°Para el 1er. 1er. Interval Intervaloo debe debe contener el valor mínimo Luego 1er Interv. 30-34 4°Debemos Debemos recordar recordar que que los intervalos son cerrados por la izqu. y abiertos por la derecha.
Gráfico de una distribución de Frecuencias HISTOGRAMA
Inter de clase (xi) 90-94 85-89 80-84 75-79 70-74 65-69 60-64 55-59 50-54 45-49 40-44 35-39 30-34
Límites
exactos
Punto Medio
Frec. fi
89.5-94.5 84.5-89.5 79.5-84.5 74.5-79.5 69.5-74.5 64.5-69.5 59.5-64.5 54.5-59.5 49.5-54.5 44.5-49.5 39.5-44.5 34.5-39.5 29.5-34.5
92 87 82 77 72 67 62 57 52 47 42 37 32
2 2 1 4 5 2 3 3 2 2 1 1 2
Las tablas de frecuencias y las representaciones gráficas son dos maneras equivalentes de presentar la información. Las dos exponen ordenadamente la
F R5 E C U4 E N3 C I A2 1
30
34
39
44
49
54
59
64
69
74
79
84
89
94
PUNTUACIONES DEL TEST
F R5 E C U4 E N3 C I A2 1
POLIGONO DE FRECUENCIA
Medida de Tendencia Central MEDIA
X
1 =
n
Es el Centro o expectativa de los datos
n
∑ x i i 1 =
Ejemplo: En el Examen de Algebra las notas obtenidas son: 2,3,4,1,2,3,3,4,5,7,5,5,6,4,5,5,6,9,8,7 Calculemos la Media: _ 1 n x = (2+3+4+ (2+3+4+1+2+3 1+2+3+3+4+ +3+4+5+7+5 5+7+5+5+6+4 +5+6+4+5+5+ +5+5+6+9+8 6+9+8+7) +7) = 94 = 4.7 X xi ∑ 20 20 ni1 =
=
Nota (xi)
fi
9 8 7 6 5 4 3 2 1
1 1 2 2 5 3 3 2 1
Xi. fi 9 8 14 12 25 12 9 4 1
Si tenemos tenemos la tabla de frecuencias lo podemos podemos calcular usando: K
∑ x i fi X
=
i 1 =
K
∑ fi i 1 =
6
_ x = 94 = 4.7 20
5
F R E C U E N C I A
4
3
2
1
0 1
2
3
4
5
6
NOTAS NOTAS
Podemos decir que: 4.7 es el promedio del rendimiento de 20 20 alumnos en el examen de Historia. La Media es un INDICADOR , que permite ver si los alumnos
7
8
9
Medidas de Variabilidad S
VARIANZA
1 =
n
−
n
∑ ( xi 1
−
x)
2
i 1 =
Grado de concentración de los datos alrededor del Centro Ejemplo: En el Examen de Algebra Calculemos la Varianza (S):
S
=
xi2 fi n n
Nota (xi) 9 8 7 6 5 4 3 2 1 Total
fi
Xi. fi
Xi2
Xi2*fi
1 1 2 2 5 3 3 2 1 20
9 8 14 12 25 12 9 4 1 94
81 64 49 36 25 16 9 4 1
81 64 98 72 125 48 27 8 1 524
−
2
1
De la tabla tenemos: X Remplazando:
S
=
=
94 20
=
4.7
xi2fi
524 - 20 (4.7) 2 19
=
=
2.07
Podemos decir que: 2.07 es el grado de dispersión de los datos respecto de la media. 6
5
F R E C U E N C I A
4
3
2
524
Distribución Normal
f ( x)
Se utiliza en en el tratamiento tratamiento de Información de la Evaluación Evaluación Las características de los educandos se distribuyen en forma normal, es decir los 2/3 de la población se agrupan entre una a ambos lados de la media. La frecuencia es mayor al centro y disminuye gradualmente a los costados. U -2
1 =
−
e
2πσ
U
Para
es transformar una variable X a:
U
= Xi –X Sx
Tenemos entonces una una Distribución Distribución Normal Normal N(0,1)
U
+ U
99.7%
Puntuación Típica O estándar
_ Zi
-
-3
calcular una probabilidad en una D.Normal estandarizamos y luego usamos la tabla de la Distribución.
Estandarizar
U
+2
2
( x µ ) −
U
+3
2
2σ
Aplicaciones de la Evaluación Normativa 99.7%
95.4% 68.3%
Uva vez verificada la forma de la distribución, el dominio de la densidad normal se divide en 4, 5, k partes. El número de partes va a depender de la política educativa adoptada por la institución.
Por ejemplo: -3 Si se establece que el número de desaprobados no debe superar el 25% de los examinados, entonces el dominio de la densidad normal se debe particionar en 4 partes. El establecimiento de la norma es factible y lícito si asumimos que todas las variables que intervienen i ntervienen Grupo en la acción educativa confluyen e interactúen D correctamente. Grupo Esta evaluación evaluación ubica ubica a los alumnos alumnos en E escalas de rendimiento y puntaje, atribuyendo un lugar dentro del grupo. - 1.5
U
U
U
-
U
-2
U
+
U
U
+3
+2
Grupo B Grupo C
Grupo A
Ejemplos:
La Puntuación Z es una forma especial de la D. Normal y nos es indispensable para comparación de grupos que han sido evaluados con diferentes criterios y escalas. La puntuación Z nos indica también que porcentaje de estudiantes puntúa por encima y por debajo de la media. Las Puntuación obtenidas de cualquier test pueden convertir convertir en Puntuación Z
_ Zi
= Xi –X Sx
U
= 16 =2
Si la puntuación directa obtenida por un alumno es 18 en una Distribución cuya u = 16 y = 2 el valor de la puntuación Z será:
Puntuación Z
18 16 −
=
=
1
¿Qué esfuerzo esfuerzo intelectual hizo el alumno alumno Luis Castillo Castillo con respecto respecto al grupo, al obtener los siguientes Calificativos? _
TRIGONOMETRIA 14
Si x = 13
= 1.9
_ ALGEBRA
14
Si x = 11.9
Trigonometría
Puntuación . Z
14 13 −
=
1.9
=
0.53
= 1.9
Algebra
Puntuación. Z
14 11.9 −
=
1.9
=
1.58
El alumno Castillo con los puntajes obtenidos se ha ubicado en el nivel de rendimiento Normal o Grupo C con respecto al resto del grupo en el curso de Trigonometría Trigonometría..
El alumno Isaac obtiene las siguientes calificaciones en tres asignaturas diferentes ¿En qué curso obtuvo mejor calificación? ALUMNO Xi
ALGEBRA 16
GEOMETRIA 13
HISTORIA 15
Aparentemente podría ser la mejor mejor calificación la de de Algebra y la más baja la de Geometría. Sin embargo embargo esta conclusión conclusión no es del del todo cierta. Veámoslo en relación a la Media y a la Desviación estándar en cada conjunto de notas: ALGEBRA ALUMNO
ALGEBRA
GEOMETRIA
HISTORIA
Xi
16
13
15
17
11
12
2
1
3
-X -
Xi -X
13
15
17
19
21
GEOMETRIA 9
-0.5
2
10
11
12
13
1
HISTORIA 6
9
12
15
18
Analizando los dos últimos estadígrafos vemos que: La nota más más baja en comparación con el grupo es Algebra Algebra Z = - 0.5 El calificativo de Geometría está ubicado dos veces por encima de la media pues Z=2
Vínculo de la Evaluación Normativa y la orientación orientación de la Educación Los educadores, educadores, buscando buscando en en forma sencilla de aplicar la normal ha evaluado evaluado académicamente académicamente Hace años y encontraron que planteando 4 preguntas con la siguiente graduación: graduación:
1 PREGUNTA FACIL
2 PREGUNTAS NORMALES
1 PREGUNTA DIFICL
Cada una con 5 puntos, estaban situados frente aun tipo de evaluación aplicando la normal en escala vigesimal. El dominio de la densidad normal se divide en 5 partes
Si el número de desaprobados no debe superar el quinto inferior 1 PREGUNTA FACIL 1 PREGUNTA FACIL CON ALGÚN GRADO DE DIFICULTAD
1 PREGUNTA NORMAL 1 PREGUNTA NORMAL CON ALGUN GRADO DE DIFICULTAD
Limitaciones del Sistema Los tipos de tests que se construyen tienden tienden a medir capacidades capacidades generales, como puede puede ser la inteligencia más que el conocimiento o habilidades específicas de una materia.
Los tests tienen un defecto en cuanto a la relevancia de las cuestiones que plantean. Están construidos para que los resultados presenten una distribución distribución normal, por lo que tratan tratan de discriminar entre alumnos.
Un item que es contestado por todos los alumno alumno se desecha.
La evaluación por normas no nos dice lo que el estudiante puede o no puede hacer, sino si puede hacer más o menos que los demás.
La Evaluación por por Normas, consiste en elaborar elaborar una prueba con un número tan grande de reactivos de la materia, que por azar muchos de ellos se encuentren dentro del dominio.
DIFERENCIAS ENTRE LA EVALUACION REFERIDA A NORMA Y LA REFERIDA A CRITERIO
Vilma Isabel Gamboa Medina E-Mail: vilma_gamb vilma_gamboa83@hot
[email protected] mail.com
