ANÁLISIS DE UN TEST POR MÉTODOS DE LA TCT CON EL PROGRAMA SPSS 1. El test Los datos corresponden a un subtest de una batería de tests de aptitudes comercializada. Abstracto, formado por 25 ítems de El subtest elegido es un test de Razonamiento Abstracto, elección múltiple de 6 alternativas de respuesta, de las cuales solamente una es correcta. El test es de aplicación en Segundo Ciclo de Educación Secundaria Obligatoria. 1.1 Alternativa correcta en cada item La alternativa correcta de cada ítem se presenta en la tabla 1. Tabla 1. Alternativas correctas de cada uno de los 25 items
Item
Correcta 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
1 4 4 3 2 1 4 3 6 3 6 6 2 4 5 4 1 4 2 3 4 6 5 4 4
2. El análisis de los datos El análisis de los datos de un test comienza con la descripción de las frecuencias de selección de cada una de las alternativas. 2.1. Análisis de alternativas de respuesta En la tabla 2 se presentan las frecuencias relativas (porcentajes) de elección de las diferentes opciones de respuesta. El número indica la alternativa seleccionada. El “8” representa respuestas omitidas. Puesto que no se trata de un test de velocidad, no se ha diferenciado entre omitidas y no alcanzadas. Este análisis se ha realizado con el programa SPSS-Tablas-Tablas de frecuencias.
1
Tabla 2. Frecuencias relativas de las diferentes opciones de respuesta
1 item1 item2 item3 item4 item5 item6 item7 item8 item9 item10 item11 item12 item13 item14 item15 item16 item17 item18 item19 item20 item21 Item22 Item23 Item24 Item25
% 97,1% 6,5% 4,6% 7,6% ,5% 97,8% ,9% ,7% 1,6% 4,5% 21,8% 12,1% 21,9% 21,8% 5,5% 4,7% 50,8% 8,3% 28,2% 6,0% 1,1% 9,0% 7,1% 3,0% 42,6%
2 % 1,0% ,3% 1,5% 12,9% 40,0% ,5% 4,6% 4,8% ,6% 10,0% 1,5% 11,9% 67,0% 3,8% 1,0% 1,8% 11,2% 24,3% 28,2% 9,9% ,8% 1,7% 4,0% 1,2% 11,4%
3
4
5
6
8
%
%
%
%
%
,3% 4,4% 43,5% 32,3% 30,0% ,3% 4,7% 86,2% 13,7% 62,8% 1,6% 15,3% 4,7% 3,5% ,8% ,7% 9,7% 2,4% 14,9% 66,6% 1,5% 1,9% 4,5% 2,6% 4,2%
,2% 81,6% 43,9% 9,9% 22,2% ,4% 76,9% 1,8% ,6% 3,6% ,9% ,5% 1,3% 58,7% 1,7% 88,8% 4,3% 41,0% 1,6% 3,5% 20,2% 3,6% 14,2% 58,4% 15,9%
,5% 6,0% 1,1% 23,0% 2,5% ,3% 10,2% 1,5% 2,8% 3,7% ,3% 4,8% 1,5% 2,1% 87,3% ,6% 2,6% 7,7% 4,8% 1,5% 57,3% 2,2% 53,5% 9,2% 5,1%
,3% ,2% 4,2% 9,8% ,9% ,1% ,4% 1,7% 79,4% 7,2% 72,5% 46,9% ,9% 1,5% ,5% 1,6% 1,3% 1,5% 2,3% ,9% 5,0% 74,4% 1,3% 16,4% 4,4%
,6% ,9% 1,1% 4,5% 3,9% ,5% 2,4% 3,2% 1,4% 8,0% 1,4% 8,5% 2,8% 8,7% 3,3% 1,8% 20,1% 14,8% 20,0% 11,7% 14,1% 7,3% 15,5% 9,2% 16,5%
Para analizar el funcionamiento de la respuesta correcta y de los distractores (opciones incorrectas) se examinan los % de la tabla. Todas las opciones incorrectas deben ser seleccionadas por proporciones de sujetos considerablemente inferiores a la de la respuesta correcta. Por ejemplo, el ítem 3 puede ser problemático, ya que prácticamente es igual la proporción de elecciones a la opción 3 (incorrecta) y a la 4 (correcta). Por otra parte, para que un distractor sea adecuado, debe ser elegido por un % aceptable de sujetos (en principio un mínimo de 4-5%), aunque debería matizarse en función de la puntuación total. 2.2. Análisis de ítems de la Teoría Clásica de los tests y cálculo de la fiabilidad Los cálculos se realizan con el programa SPSS-Escalas-Análisis de Fiabilidad, una vez recodificados los ítems a valores 1 (elección de la respuesta correcta) y 0 (respuesta incorrecta), tal como se explicó en prácticas. Estos ítems recodificados llevan los nombres VAR0001-VAR0025.
2
Para obtener los estadísticos requeridos se hace click en “Estadísticos” y se marcan las opciones siguientes:
3
El método seleccionado en este caso es el coeficiente Alpha, como puede verse en la primera pantalla. A continuación se hace click en “Continuar” y “Aceptar” y el programa nos proporciona la siguiente salida presentada en la tabla 3. Tabla 3. Resumen del procesamiento de los casos
Casos
Válidos Excluido s(a) Total
N 3147
% 100,0
0
,0
3147
100,0
Posteriormente el programa proporciona el valor del coeficiente alpha, procedimiento seleccionado. Estadísticos de fiabilidad Alfa de Cronbach
N de elementos
,815
25
Los estadísticos descriptivos univariantes de los elementos se presentan en la tabla 4. Tabla 4. Estadísticos descriptivos de los elementos Media
Desviación típica
N
item1
,97
,168
3147
item2
,82
,388
3147
item3
,44
,496
3147
item4
,32
,468
3147
item5
,40
,490
3147
item6
,98
,146
3147
item7
,77
,422
3147
item8
,86
,345
3147
item9
,79
,404
3147
item10
,63
,483
3147
item11
,73
,447
3147
item12
,47
,499
3147
item13
,67
,470
3147
item14
,59
,492
3147
item15
,87
,333
3147
item16
,89
,316
3147
item17
,51
,500
3147
item18
,41
,492
3147
item19
,28
,450
3147
item20
,67
,472
3147
item21
,20
,401
3147
item22
,74
,437
3147
item23
,54
,499
3147
4
item24
,58
,493
3147
item25
,16
,365
3147
Recordad que la Media en el caso de ítems dicotómicos como el test que analizamos es la Proporción de aciertos o Índice de dificultad del ítem. La varianza en estos ítems es simplemente piqi, alcanzándose sus valores máximos cuando p i = qi = 0,50, siendo más bajas cuanto más extremas son las proporciones. La desviación típica que aparece en la tabla es la raíz cuadrada de la varianza. A continuación se obtienen los estadísticos bivariantes que relacionan cada elemento con el total. De ellos, la columna etiquetada como “Correlación corregida elementototal” es el denominado en la TCT Índice de discriminación del ítem, que es un criterio importante para la selección de ítems, recomendándose que en general su valor sea ≥ 0.30. La última columna expresa el valor del coeficiente alpha si se eliminase el ítem y que como alpha es directamente proporcional al número de ítems, debería decrecer si el elemento es adecuado. Tabla 5. Estadísticos total-elemento Media de la escala si se elimina el elemento
Varianza de la escala si se elimina el elemento
Correlación elemento-total corregida
Alfa de Cronbach si se elimina el elemento
item1
14,31
20,794
,230
,813
item2
14,47
20,058
,278
,811
item3
14,84
19,867
,239
,814
item4
14,96
19,780
,282
,811
item5
14,88
19,588
,310
,810
item6
14,30
20,738
,310
,812
item7
14,51
19,451
,415
,805
item8
14,42
19,939
,362
,808
item9
14,49
20,097
,251
,812
item10
14,65
19,128
,428
,804
item11
14,56
19,483
,378
,807
item12
14,81
19,400
,347
,809
item13
14,61
19,111
,448
,803
item14
14,70
18,988
,453
,803
item15
14,41
19,726
,451
,805
item16
14,39
19,743
,474
,805
item17
14,77
19,170
,400
,806
item18
14,87
19,647
,294
,811
item19
15,00
19,559
,354
,808
item20
14,62
18,969
,482
,802
item21
15,08
20,344
,184
,815
item22
14,54
19,142
,482
,802
item23
14,75
19,308
,369
,807
item24
14,70
19,023
,443
,804
item25
15,12
20,539
,151
,816
5
Puede observarse que para estos datos, alpha aumenta si se elimina el ítem 25 (es el que tiene además el índice de discriminación con un valor más bajo) y permanece igual con el 21 (que también tiene un bajo valor del índice de discriminación). En la tabla 6 se presentan los estadísticos descriptivos del test total y a ella acudiremos en busca de estos estadísticos cuando nos sean necesarios. Tabla 6. Estadísticos de la escala Media
Desviación típica
Varianza
15,28
21,173
N de elementos
4,601
25
A continuación, en la tabla 7, se presentan los resultados del ANOVA, que se recordará que es otra forma para obtener el coeficiente alpha: Tabla 7. ANOVA para los ítems del test Suma de cuadrados Inter-personas Intra-personas
Media cuadrática
gl
2664,395
3146
,847
4170,665
24
173,778
Residual(a)
11859,095
75504
,157
Total
16029,760
75528
,212
18694,155
78674
,238
Inter-elementos
Total
F
Sig.
1106,401
,000
Media global = ,61
Recordemos de las clases de teoría que una forma de calcular alpha es: CIP MC Re sidual 1 CP MCInterpersonas 0,157 α 1 0,815 0,847 Recordemos que alpha también puede estimarse mediante la correlación intraclase. El SPSS nos proporciona dos valores para la correlación intraclase, equivalente al coeficiente alpha. α
=
=
1
−
−
=
−
=
Tabla 8. Coeficiente de correlación intraclase Intervalo de confianza 95% Correlación intraclase(a)
Límite inferior
Límite superior
Prueba F con valor verdadero 0 Valor
gl1
gl2
Sig.
Medidas individuales
,149(b)
,142
,158
5,392
3146,0
75504
,000
Medidas promedio
,815(c)
,805
,824
5,392
3146,0
75504
,000
Modelo de efectos mixtos de dos factores en el que los efectos de las personas son aleatorios y los efectos de las medidas son fijos. a Coeficientes de correlación intraclase de tipo C utilizando una definición de coherencia, la varianza inter-medidas se excluye de la varianza del denominador. b El estimador es el mismo, ya esté presente o no el efecto de interacción. c Esta estimación se calcula asumiendo que no está presente el efecto de interacción, ya que de otra manera no es estimable.
El primero de los valores –Medidas individuales- es el coeficiente alpha que se obtendría si el test estuviese formado por un único ítem. El segundo de los valores – Medidas promedio- es el equivalente el coeficiente alpha de longitud “n”. 6
Los valores del IC del (1- α)% permiten establecer inferencias para el coeficiente alpha. Por ejemplo, en el test tratado los límites inferior y superior son respectivamente 0,805 y 0,824. 2.3 Otros procedimientos para el cálculo de coeficientes de fiabilidad con el SPSS Escalas-Fiabilidad. En apartados anteriores se utilizó el procedimiento más habitual en la actualidad; no obstante, con el SPSS también pueden derivarse otras formas de coeficientes de fiabilidad, como los métodos de dos mitades y los diferentes procedimientos de Guttman: A. Procedimientos dos mitades. Para su cálculo con SPSS se procede de la misma forma: Escalas-Fiabilidad, pero se selecciona el método Dos mitades.
Para utilizar el procedimiento Pares-impares (recomendado normalmente), hay que introducir en primer lugar todos los ítems impares y después los pares, ya que el SPSS utiliza como primera mitad los n/2 primeros ítems y como segunda mitad los restantes. La salida proporcionada por el SPSS es la siguiente, presentada en la tabla 9: Tabla 9. Estadísticos de fiabilidad Alfa de Cronbach
Parte 1
Valor N de elementos
Parte 2
Valor N de elementos
N total de elementos
,650 12(a) ,717 12(b) 24
7
Correlación entre formas Coeficiente de Spearman-Brown
,703 Longitud igual
,826
Longitud desigual
,826
Dos mitades de Guttman
,824
a Los elementos son: item1, item3, item5, item7, item9, item11, item13, item15, item17, item19, item21, item23. b Los elementos son: item2, item4, item6, item8, item10, item12, item14, item16, item18, item20, item22, item24.
Como puede observarse proporciona coeficientes alpha para cada una de las mitades de 12 items, la correlación entre las dos mitades (0,703), la correlación corregida por el procedimiento de Spearman-Brown (0.826). También proporciona el procedimiento de Guttman-Flanagan,, equivalente al de Rulon, que no hace el supuesto de paralelismo de las mitades y que en este caso, como es esperable, proporciona un valor algo menor (0,824). B. Procedimientos de Guttman de consistencia interna con los n ítems. Para obtener los diferentes coeficientes de Guttman, se procede de la misma forma, cambiando la opción en el “Método”
El resultado son los 6 coeficientes de Guttman, en los que puede verse la equivalencia entre Lambda-3 y el coeficiente alpha, como se ha visto en teoría. Estos valores se presentan en la tabla 10. Tabla 10. Estadísticos de fiabilidad Lambda
1
,782
2
,820
3
,815
8
N de elementos
4
,829
5
,803
6
. 25
Los restantes resultados (del análisis de ítems) son independientes del método y no se repiten aquí. C. Otros resultados. Los estadísticos anteriores son los que se pueden obtener con el SPSS. Puede observarse que faltan algunos estadísticos importantes de la TCT, como el Error típico de medida. Este estadístico, debe calcularse manualmente, utilizando el coeficiente de fiabilidad calculado y la desviación típica del test, que aparece en la tabla de Estadísticos de la Escala. Los procedimientos que se han visto en la teoría para hacer inferencias sobre puntuaciones verdaderas, puntuaciones diferencia, etc., se obtienen manualmente, utilizando la información de los estadísticos particulares a partir de los resultados del SPSS.
9
