Índices de Di Dificultad y Discriminación Dra.. Noem Dra Noemíí L. Ruiz Ruiz Lim Limard ardo o © 2011
Objetivos 1. Conocer cer el sig significad cado de los índices de dif dificultad y discriminación. 2. Aplicar los índices de dificultad y disc discri rim minac inaciión en un un ánal ánaliisis sis de ítem ít em e inte interp rpre reta tarr los los resu result ltad ados os..
Objetivos 1. Conocer cer el sig significad cado de los índices de dif dificultad y discriminación. 2. Aplicar los índices de dificultad y disc discri rim minac inaciión en un un ánal ánaliisis sis de ítem ít em e inte interp rpre reta tarr los los resu result ltad ados os..
Introducción
Introducción De Desp spué uéss
de adm admin inis istra trarr un inst instru rume ment nto o de eval evalua uacción ión es nec necesar esario io rec recopil opilaar evid eviden enci ciaa acer acerca ca de la cali calida dad d del del mis mismo mo.. Todo el esfuerzo rzo y tra trabajo que conlleva planificar y co construi ruir un in instru trumento no sería provechoso si no se se ev evalúa la efec efecti tivi vida dad d de los los ít ítem emes es y se anal analiz izan an e inte interp rpre reta tan n los los dato datoss reco recopi pila lado dos. s. En es esta lección se es estudiará cómo se real realiz izaa un anál anális isis is de ít ítem emes es.. Más Más adel adelan ante te se es estu tud diará cómo se rea realiza un aná análisis de los resultados.
Análisis de ítemes
¿Qué es un análisis de ítemes? El análisis de ítemes es cuando
se examinan las respuestas de los estudiantes a cada ítem o tarea para determinar su efectividad. El análisis de ítemes es un procedimiento donde tradicionalmente se calculan dos índices: índice de dificultad índice de discriminación
Beneficios de un análisis de ítemes 1. Provee la base para una discusión efectiva de los resultados de una prueba atendiendo aquellos ítemes que causaron mayor dificultad y para aclarar errores en las ideas que se reflejan en la selección de distractores.
Beneficios de un análisis de ítemes 2. Sirve como un punto de partida para la planificación de una instrucción remediativa que atienda a aquellos temas y objetivos que presentaron mayor dificultad.
Beneficios de un análisis de ítemes 3. Permite revisar aquellos contenidos y objetivos relacionados con los ítemes y hacer modificaciones en las técnicas de enseñanza.
Beneficios de un análisis de ítemes 4. Mejora las destrezas relacionadas con la construcción de ítemes, particularmente al revelar ambiguedades, claves para la respuesta, distractores inefectivos y otros defectos técnicos.
Beneficios de un análisis de ítemes 5. Apoya o rechaza los juicios acerca de los resultados y ayuda a determinar si los estudiantes respondieron de la manera esperada y si los ítemes miden lo que se pretendía.
Beneficios de un análisis de ítemes 6. Ayuda en la interpretación de los resultados y a utilizarlos apropiadamente. 7. Provee una guía para la revisión de los ítemes e indican aquellos que tienen problemas potenciales. 8. Ofrece información acerca de los ítemes que pueden repetirse o reusarse en futuras administraciones.
Beneficios de un análisis de ítemes 9. Aumenta la confianza en las pruebas en las cuales se basan las notas o calificaciones de los estudiantes.
Análisis de ítemes: Índice de Dificultad
¿Qué es el índice de dificultad Es
el porcentaje o proporción de personas que contestaron el ítem correctamente (o que obtuvieron una ejecución aceptable o esperada). El índice de dificultad se denota con la letra p. Cuando es un ítem de una prueba objetiva, este índice indica cuán fácil o difícil resultó ser un ítem para el grupo de estudiantes que lo contestó.
Fórmula de índice de dificultad La
fórmula para calcular el índice de dificultad es la siguiente: c = número de personas que p
c
n
100
contestó el ítem correctamente. n = total de personas que contestaron el ítem.
Observe que
como p es una proporción, los valores de p fluctúan entre 0 y 1. Si p está expresado como por ciento, entonces p fluctúa entre 0 y 100%.
Ejemplo para calcular el índice de dificultad En una prueba de 30
ítemes, uno de los ítemes fue contestado correctamente por 24 estudiantes. Calcula el índice de dificultad de este ítem. El índice de dificultad es 80%, veamos: p
c
24
n 30
(0.80) 100
80%
Interpretación del índice de dificultad Mientras más
alto es el índice de dificultad más fácil es el ítem, porque más personas lo contestaron correctamente. A continuación aparece una tabla que desglosa los valores que ayudan a interpretar el índice de dificultad. Índice de Dificultad
Interpretación del ítem
S
Muy fácil
S
Fácil
0.40 S
Mediana dificultad
p < 0.40
Difícil
Interpretación del índice de dificultad Un índice de dificultad aceptable
depende del propósito de la prueba y de los criterios establecidos en términos de la representatividad del contenido o de los objetivos. Para contestar cuál sería un índice aceptable sería bueno preguntarse: ¿Cuál es la proporción o por ciento razonable de estudiantes que se espera que contesten el ítem correctamente? Esta pregunta se puede contestar individual
Ejemplo para interpretar De
los datos a continuación, ¿cuáles de los ítemes resultaron ser más fáciles, más difíciles, y cuáles de mediana dificultad? Ítem
c
p
2
35
0.875
7
25
0.625
10
20
0.50
12
18
0.45
21
6
0.15
Análisis de ítemes: Índice de Discriminación
¿Qué es el índice de discriminación de un ítem? Es el grado en el cual el ítem discrimina o diferencia entre los que saben y no saben, de las personas que lo contestaron. El índice de discriminación se denota con la letra d. El índice de discriminación aporta evidencia a la validez de los resultados de la prueba en el sentido de determinar si el ítem mide o no lo que toda la prueba intenta medir.
Índice de discriminación Hay varios procedimientos para determinar el índice de discriminación. Algunos de los comunes son:
Método
de la correlación- Se busca la correlación entre la contestación correcta o incorrecta al ítem con algún criterio, que podría ser la puntuación total, como por ejemplo: el punto biserial y la correación biserial. Método de la diferencia- Se busca la diferencia entre grupos de personas que contestaron el ítem correctamente. El segundo
método es un cálculo más simple que produce un estimado razonable y aproximado del poder discriminatorio.
Proceso para determinar el Índice de discriminación por segundo método Se ordenan
las puntuaciones totales obtenidas en la prueba de mayor a menor. Se separan las puntuaciones totales en dos grupos: las más altas y las más bajas. La mitad del grupo caerá en las más altas y la otra mitad caerá en las más bajas. Se calcula el índice con la siguiente fórmula: cA = número de personas con puntuaciones d
más altas que contestó el ítem correctamente. c A c B 100 cB = número de personas con puntuaciones más bajas que contestó el ítem correctamente. n n = total de personas que contestaron el ítem. 2
Ejemplo Suponga que en un grupo de 20 estudiantes, se
separan las puntuaciones en 10 estudiantes con puntuaciones más altas y 10 estudiantes con puntuaciones más bajas. Se obtuvo, que del grupo de puntuaciones más altas, 9 estudiantes contestaron correctamente el ítem 1 mientras que del otro grupo solo 6 estudiantes lo contestaron correctamente. Determina el índice de discriminación del ítem 1. d
El
c A
c B 100 n 2
9 6 10
100
(0.3) 100
30%
índice de discriminación del ítem 1 sería de 30%.
Índice de Discriminación El
índice de discriminación d es un número decimal entre -1 y 1. -G Si d se está expresado como por ciento, entonces: -G Mientras más alto es el índice d, mayor es la diferencia contestando el ítem entre las personas con puntuaciones altas (los que saben) y las personas con puntuaciones bajas (los que no saben).
Índice de Discriminación Se
espera que este índice sea un número positivo y alto, si más estudiantes con puntuaciones altas lo contestan correctamente en comparación con menos estudiantes del grupo con puntuaciones bajas que contesten correctamente (cA > cB). Cuando cA = cB , el poder discriminatorio es 0, o sea, no discrimina. Cuando cA < cB , significa que las respuestas al ítem fueron contrarias a lo esperado. Esto resulta en un índice negativo y significa que debe revisarse la clave y el ítem. La discriminación máxima se obtiene cuando d = 1.
Interpretación del Índice de Discriminación Se puede
usar la siguiente escala para iterpretar los resultados del índice de discriminación: Índice de Discriminación Interpretación del ítem G
Discrimina muy bien
G
Discrimina bien
0.20 G
No discrimina bien pero si se revisa puede usarse
0.0 G
No discrimina y no debe usarse
d < 0.0
No discrimina y debe eliminarse
Ejemplo En
el ejemplo anterior se obtuvo un índice de discriminación del ítem 1 de 30%. Interpreta este resultado. De acuerdo a estos resultados se puede decir que el ítem 1 discrimina bien.
d
c A c B 100 n 2
9 6 10
100
(0.3) 100
30%
Análisis de ítemes: Consideraciones adicionales para interpretar los índices
Consideraciones para la interpretación 1. Un ítem con índices de dificultad y discriminación bajos no debe descartarse en primera instancia, sino que nos pone en alerta sobre la posible presencia de defectos técnicos. 2. El análisis de los ítemes basado en una muestra pequeña y de conveniencia es tentativo y va a depender del patrón de respuestas de las personas que componen la muestra. Los índices de dificultad y discriminación no son características fijas de los ítemes, dependen del grupo y su habilidad, de su trasfondo educativo y del tipo de
Consideraciones para la interpretación 3. Hay una relación entre ambos índices de tal forma que la dificultad puede afectar la discriminación del ítem. Si un ítem es muy fácil o muy difícil tiende a tener poca discriminación. Los ítemes de mediana dificultad tienden a tener discriminaciones más altas.
Consideraciones para la interpretación 4. Un nivel de discriminación bajo no indica necesariamente que el ítem es defectuoso. Un ítem con discriminación baja debe ser examinado para determinar la presencia de ambiguedad, claves para la respuesta u otros defectos técnicos. Si no se encuentra ninguno y el ítem representa aprendizajes importantes, podría utilizarse en el futuro.
Consideraciones para la interpretación 5. Cualquier ítem que discrimina en dirección positiva puede contribuir a medir el aprovechamiento de los estudiantes. Los índices de discriminación bajos a menudo se obtienen por otras razones que no están relacionadas necesariamente con defectos técnicos. El ítem podría representar un tema u objetivo que se le dio poco énfasis en la instrucción y el índice bajo señala que está midiendo algo diferente alo que hay en la mayor parte de la prueba. Removerlo, haría la prueba más homogénea en contenido pero amenazaría la validez de los resultados.
Consideraciones para la interpretación 6. Cuando se utilizan ítemes de alternativas múltiples es recomendable realizar un análisis de las contestaciones a cada alternativa para determinar no sólo los niveles de dificultad y discriminación del ítem sino la efectividad de los distractores. (Ver ejemplo en próxima pantalla)
Ejemplo de Análisis de Alternativas
Se analizó un ítem de alternativas múltiples que fue contestado por 30 estudiantes. Se colocaron los resultados en tres partes y se consideraron las dos terceras partes que corespondían a las puntuaciones más altas y más bajas con 10 estudiantes en cada grupo. Luego se contó el número de estudiantes que seleccionó cada alternativa. Los resultados fueron los siguientes: Grupo
Alternativas A
B
C*
D
Total
Alto
1
0
7
2
10
Bajo
2
0
5
3
10
Totales
3
0
12
5
20
* La C es la respuesta correcta.
Ejemplo de Análisis de Alternativas Grupo
Alternativas A
B
C*
D
Total
Alto
1
0
7
2
10
Bajo
2
0
5
3
10
Totales
3
0
12
5
20
El índice de dificultad es: c 12 p (0.60) 100 n 20 El índice de discriminación es: d
c A
c B 100 n 2
7 5 10
100
60%
(0.2) 100
20%
Ejemplo de Análisis de Alternativas Grupo
Alternativas A
B
C*
D
Total
Alto
1
0
7
2
10
Bajo
2
0
5
3
10
Totales
3
0
12
5
20
Un buen distractor debe ser atractivo para más estudiantes del grupo con puntuaciones bajas que para los del grupo de puntuaciones altas. En este ítem se observa que la alternativa B fue un distractor inefectivo ya que no resultó atractivo para ninguno de los grupos. Esto sugiere que esta alternativa debe revisarse. Las alternativas A y D resultaron distractores efectivos al ser seleccionados por más estudiantes con puntuaciones bajas.
Ejemplo de Análisis de Alternativas Grupo
Alternativas A
B
C*
D
Total
Alto
1
0
7
2
10
Bajo
2
0
5
3
10
Totales
3
0
12
5
20
Para que un distractor sea atractivo se espera que como mínimo 10% de las personas lo seleccionen y que sea seleccionado con mayor frecuencia por los estudiantes con puntuaciones bajas. En este ítem la alternativa A fue seleccionada por 3/20 (15%) y la D por 5/20 (25%). Resultaron ser buenos distractores.
Consideraciones para la interpretación 7. Los índices de dificultad y discriminación no necesariamente aplican a pruebas de criterios. En una prueba de criterios se espera que el índice de dificultad sea 0 antes de la instrucción y 1 después de la instrucción. El índice de discriminación se determina principalmente a través de la diferencia en la ejecución de los estudiantes que recibieron o no la instrucción.
