T8 PSCMTR_Analisis de Los Items

Descargado del campus felizmente, http://campus.felizmente.info

PSICOMETRÍA (GRADO 2011 2012)

TEMA 8 – ANÁLISIS DE LOS ÍTEMS 1.- ORIENTACIONES DIDÁCTICAS El análisis de los ítems se define como proceso por el que los ítems de un test son evaluados y examinados críticamente con el fin de identificar y minimizar los errores, tanto aleatorios como los sistemáticos para poder eliminar aquellos que no reúnen las suficientes garantías psicométricas. El análisis de los ítems comienza con el proceso de su redacción tomando en cuenta una serie serie de requisitos que facilitarán la adecuada construcción de los propios ítems aciendo pro!a!le el que se o!tenga un test de calidad. El conocimiento de las características individuales de los ítems puede dar indicios para me"orar el test y maximizar sus propiedades psicométricas, lo que supone reducción del error aleatorio, aleatorio, con el aumento de la fia!ilidad, a la ora de medir las conductas del dominio de interés que pretende medir #validez$. %eterminar el n& de ítems es necesario para confeccionar el test. 'e puede esta!lecer a partir del tiempo total disponi!les, o del estimado en responder a c(ítem. )ay que resaltar que al seleccionar los ítems, a!rá que tener en cuenta la finalidad del test, y las decisiones que se tomarán a partir de sus puntuaciones, puntuaciones, por tanto se utilizarán ítems con niveles de dificultad diferentes. diferentes. El análisis de los elementos de un test se llevará a ca!o a través de dos procedimientos complementarios y que ofrecen información al constructor del test* puede reali realizar zar anális análisis is numéri numéricos cos y cuant cuantita itativ tivos os para para o!tene o!tenerr det.es det.estad tadíst ístico icoss !asado !asadoss en la ➔ se puede distri!ución de las respuestas de los su"etos a las distintas alternativas de los ítems+ ➔ se puede recurrir a "uicios de expertos que cuestionan la calidad en función a algún criterio conocido externo #vg. , /a0se 1234 -5 índice de acuerdo inter-"ueces , !asado en promedio que toma como referencia el n& de "ueces que consideran un ítem 6no necesario7, 6util7, o 6esencial7 para medir el dominio al que a sido asignado$. 8tro muy utilizado es el índice de congruencia propuesto por ovinelli y )am!leton 1233, en el que para evaluar la validez de contenido de c(ítem se le pide a cada uno de los "ueces que valoren en una escala de tres puntos #-1,9,1$ el grado en que el ítem está relacionado con la dimensión que trata de medir. medir. :n !uen análisis de ítems de!e de!e incluir tanto del cualitativo cualitativo como del cuantitativo. cuantitativo. :na vez analizado la calidad calidad psicométrica de los elementos, y con suficiente garantías, se analiza la calidad glo!al del test* fia!ilidad y validez. /os o!"etivos del tema son* onocer propiedades psicométricas de los ítems. alcular estadísticos que a propuesto la ;< lásica – econocer importancia que tiene el análisis de las alternativas alternativas incorrectas. 'a!er analizar los distractores. – onocer cómo se relacionan las propiedades psicométricas de los ítems con las del test total. – 'a!er en qué consiste el conceptod de =uncionamiento %iferencial de los ítems #=%>$ y cómo detectarlo. – –

2.- INTRODUCCIÓN /os ítems aportan distintos formatos y evalúan  cognitivas #resp.correcta o incorrecta( aptitud,rendimto,...$ o  no cognitivas #actitudes, intereses, valores,...(no valores,...(no rptas correctas o no$. ?ara llevar a ca!o el análisis del ítems* 1. %isponer %isponer de matriz matriz de datos con las las respuesta respuestass de los su"etos su"etos #9 @5 fallos fallos y 1 @5 acierto$ acierto$ para análisis análisis de respuestas en alternativa correcta+ correcta+ para el de las incorrectas an de concretarse las que aya selecionado el su"eto. A. El análi análisis sis de de alt.co alt.corr rrect ectaa permit permitee o!tene o!tenerr índ!" d" d#!$%&'d "% d" d!*+n'!,n  %' #'%d'd  /'%d" /'%d" d"% í&"+. í&"+. /a dificultad empírica de un ítem ace alusión a la proporción de su"etos que lo responden correctamente. correctamente. Ello puede esta!lecerse a priori pero tendrá que ser contrastado con la dificultad empírica. B. El poder d!*+n'&/ indica la capacidad del í&"+ '*' d#"*"n!'* a los su"etos con d&n& n/"% "n "% *'3 +"dd. C. Dm!os estadís estadísticos ticos # >%  % $ están están relacion relacionados ados con la la Fedia y la arian arianza za de las puntuaci puntuaciones ones totales totales.. Goretti Glez – PSICOMETRÍA tema 8

1

Trusted by over 1 million members

Try Scribd FREE for 30 days to access over 125 million titles without ads or interruptions! Start Free Trial Cancel Anytime.






4. /a fia!ilidad fia!ilidad y validez validez de los ítems están están relacionad relacionadas as con la %esv.típic %esv.típicaa del test indicando indicando la contri!u contri!u-ción de cada uno a la fia!ilidad y validez del total del test. G. El análi análisis sis de de las respues respuestas tas inco incorr rrect ectas as o d&*'!&*" aporta información so!re la utilidad de cada alternativa. ternativa. 'u revisión es fundamental para me"orar el ítem en cuestión. 3. :n asp aspec ecto to a eval evalua uarr es si de de maner maneraa &"+4&!' su"etos de dist.grupos de pertenencia pero con el ++ n/"% en el rasgo medido tienen distintas pro!a!ilidades de éxito en el ítem en cuestión # 5DI) f $n!n'+"n& $n!n'+"n& d#"*"n!'% d" % í&"+ .

6.- DI5ICULTAD DI5ICULTAD DE LOS ÍTEMS El >%, índ!" d" d#!$%&'d consiste en ayar la proporción de su"etos que an respondido correctamente al ítem, sea dicotómico o dicotomizado #continuo previamente con valor de 1 y 9 después$. %ica dificultad es relativa pues dependerá del número de personas que intentan responder al ítem. E% índ!" d" d#!$%&'d ID oscila entre 9 y 1. 9 -5 ningún su"eto a acertado #ítem más difícil$ A -9 n: $;"& <$" '!"*&'n ID 7 A N -9 n: d" $;"& <$" 1 -5 todos an acertado #más fácil$ cuanto más próximo al 1 sea el >%, más fácil resultará. N n&"n&'n *"nd"* '% í&"+. /os ítems con valores extremos serán eliminados del test final pues no contri!uyen contri!uyen a diferenciar entre su"etos. E"emplo* SU=E SU=ETO TO R"$ "$" "&' &' A

1

>

1

C

1

D

1

E

0

5

1

G

0

?

1

I

1

=

0

SU=E R"$"&' TO í&"+ 1

-5 3 su"etos an respondido correctamente # 1 $ y B an tenido fallo #9$ por tanto 3(19@ .39 aciertos con ID de 0,70 -> Ello no indica so!re si el ítem es !ueno o malo. epresenta !$4n& d" d#í!% a resultado para la muestra de su"etos que lo an intentado. -5 El ID resulta de muco interés en los ;est eferidos al riterio #;$ -5 Está relacionado directamente con la Fedia y la arianza del test.

ΣXj = A aciertos . 'uma de todas las puntuaciones o!tenidas por los su"etos en ese ítem es igual al múmero de aciertos y por ello el ID @ Fedia X

->

-5 'i formara parte de un test con 4 ítems , la relación entre la dificultad y la varianza del test " 'Fn +4 d*"!&' , al considerar que en los ítems dicotómicos , la varianza sería S 2 j = p j · q j donde p j es proporción de su"etos que responden responden correctamente correctamente al ítem @ ID y q j es 1  p " ?or tanto, %' d#!$%&'d  $ /'*'n' " d*"!&'. R"$"&' í&"+ 2

R"$"&' í&"+ 6

R"$"&' R"$"&' í&"+ @ í&"+ 

TOTAL

A

1

1

1

1

1



>

1

0

1

0

1

6

C

1

1

0

1

0

6

D

1

0

0

1

0

2

E

0

1

0

1

1

6

5

1

0

0

1

0

2

G

0

1

1

1

0

6

?

1

0

0

1

0

2

I

1

1

0

1

0

6

=

0

0

0

1

1

2

ID

0B0

00

060 +4 d#í!%

00

0@0 2: +4 d#í!%

ΣΙD=280 ΣΙD=280

IDc P– (<-1) P– (<-1) 0

02

P– (<-1) 00 d#"*"n!'

P– (<-1) P– (<-1) 08

010 d#"*"n!'

El p j maximiza la varianza del ítem. /a media @ 4HBHBHAHBHAHBHAHBHA @ A,I9 19

ID @ 9,39 H 9,49 H 9,B9 H 9.29 H9,C9 @ A,I9 IDc = A - ( E  ( -1)) 7 A – E n-1 7  - <

N

N

N

–1

El ítem acertado o fallado por todos los su"etos presentan varianza 9. Jo ay varia!ilidad. :n ítem es adecuado cuando al ser respondido por diferentes su"etos provoca en ellos respuestas diferentes. Dspecto directamente relacionado con la d!*+n'!,n.






6.1- C**"!!,n d" % '!"*& * ''* En la ta!la anterior se aprecia la corrección al >% #índice de dificultad$ /os ítems B y 4 , los más difíciles son los que an sufrido sufrido mayor corrección corrección con mayor mayor diferencia diferencia #ítem 1 de 9,39 pasó a 9,44 con diferencia diferencia de 9,A9$ ;enemos el B y el 4 #más difíciles$ que sus correcciones an sido 9,A4 y 9,B9 respectivamente. respectivamente. El eco de acertar un ítem depende de que los su"etos conozcan la respuesta y de la 6suerte7 que tengan aquellos que sin conocerla eligen esa alternativa. alternativa. uanto mayor sea el nF+"* d" d&*'!&*" , menos pro!a!le es que los su"etos acierten el ítem por ''*. número de alternativ alternativas as del ítem. #sería #sería nuestra nuestra #n$ en los exámenes exámenes de :JE%. :JE%. En el fondo es una K = es el número constante$ omo normal general en los tests de aptitudes se consiguen me"ores resultados resultados psicométricos cuando la mayoría de los ítems son de dificultad media. )a!rá que incluir, incluir, ítems fáciles #al principio me"or$ e ítems difíciles.

@.- DISCRIMINACIÓN /a lógica nos indica que los su"etos con !uenas puntuaciones an de acertarlo en mayor proporción que los que tienen !a"as puntuaciones. 'i un ítem no sirve para diferenciar entre los su"etos en función de su nivel de competencia, tencia, de!ería eliminarse. eliminarse. :n primer caso implicaría implicaría contrastar contrastar la proporc proporción ión de aciertos aciertos entre d 3*$ "H&*"+ d" '&&$d , uno !a"o vs.alto. 'i discrimina adecuadamente, la proporción de aciertos en el grupo de alta aptitud sería mayor que en el de !a"a aptitud. 'e propone para estudiar el poder discriminativo discriminativo de los ítems* Kndice de discriminación !asado en grupos extremos – Kndice de discriminación !asado en la correlación * Ф r!" r! –

@.1- Índ!" d" d!*+n'!,n ''d "n 3*$ "H&*"+ El índice de discrimina discriminación ción % se !asa en las proporcio proporciones nes de aciertos aciertos entre grupos extremos extremos de aptitud. aptitud. "%% aconse"a tomar el A3L superior #o el A4L , por encima perceptil 3B$ y el A3L inferior #por de!a"o del percentil A3$ /a muestra total para o!tener un índice D "n%"  "&'%" donde* % -5 oscila entre -1 y 1 % @ 1 si todas las del grupo superior an acertado el ítem y las del inferior lo ayan fallado D = p s – pi P s -> proporción aciertos grupo superior % @ 9 J8 %>'>F>JD , se a acertado indistintamente en am!os grupos. Discriminación pi -> proporción aciertos grupo inferior % M 9 #negativo$ los su"etos menos competentees aciertan el ítem en mayor mayor medida que los más competentes #ítem confunde confunde a los más á!iles$

D medida que el nivel de a!ilidad incrementa la pro!a!ilidad de acertar es mayor

Baja aptitud

?orcenta"e de su"etos con !a"a aptitud que tienden a acertar el ítem

Dciertos en am!os grupos iguales ?oder DISCRIMINATIO NULO %iscrimina en sentido contrario, donde los su"etos con menos competencia tienden a acertarlo

Baja aptitud alta aptitud Ba

alta aptitud

Baja aptitud

alta aptitud

Baja aptitud

alta aptitud

E;"+% 43n' @22J 6B0 $;"&K 6 '%&"*n'&/' '%&"*n'&/' d" *"$"&' ' $n í&"+K O!,n > !**"!&' K K  7 **!,n d" '!"*& "n 3*$ 3*$ $"**   " **!,n d" '!"*& "n 3*$ n#"**K @  ' '!"*&'d "n "% 3*$ !"n&*'%. !"n&*'%. 0 $;"& d" 6B0 n 068 '!"*&'*n '!"*&'*n 7  < 7 02 IDC =  - < 7 068 02 7 00B !**"3d "n 061 A > C A3L ':?E>8 

12

4B

AI

k–1

 -1






?ara interpretar valores de D según E"% E"%JJ 8. In&"**"&'!,n d"% n/"% d" d!*+n'!,n *+./S

INTERPRETACIÓN

D > 0,)0

E% í&"+ d!*+n' +$ "n

060 Q D Q 06

E% í&"+ d d!*+n' "n

020 Q D Q 02

E% í&"+ d!*+n' !

010 Q D Q 01

E% í&"+ n" n"!"&' *" *"/,n

D Q 010

E% í&"+ !'*"!" d" $&%d'd

El ítem del e"emplo anterior, se considera un ítem difícil #9,BI$ y >dc @ 9,93 + no o!stante, discrimina 06@ "n.

@.2- Índ!" d" d!*+n'!,n ''d "n %' !**"%'!,n ?ara considerar que un ítem d!*+n' 'd"!$'d'+"n&" 'd"!$'d'+"n&" la correlación entre las puntuaciones o!tenidas en el ítem y las o!tenidas en el test total será positiva #si fuera nula la correlación igual a 9+ y si discriminara en sentido inverso su correlación sería negativa$. ;ener en cuenta que la puntuación total de los su"etos en el test a de calcularse descontando la puntuación del ítem pues si no estaríamos correlacionando una  #ítem$ con o tra #test$ que contiene a la primera. /a relación que existe entre la pro!a!ilidad de acertar un ítem con el nivel de aptitud o rasgo medido se le denomina C$*/' C'*'!&"*í&!' C'*'!&"*í&!' d"% Í&"+ CCI . Esta relación se puede modelar de forma matemática a partir de los parámetros de dificultad, discriminación y acierto por azar. azar. /o que tenemos que tener claro es que el índice de correlación a de ser coerente con el tipo de puntuaciones del ítem y del test. eremos eremos el Ф r!" r! )21- Ceicien3e de crre4ac crre4ación ión Ф

:tilizado cuando las puntuaciones del ítem #N$ y del ;est #O$ son estrictamente DICOTÓMICAS. 'u utilidad es estimar la discriminación de un ítem con algún criterio de interés . on él se puede analizar diferencias entre los su"etos aptos y no aptos+ en género o características socio-demográficas. 'i queremos sa!er si un ítem concreto discrimina !ien tras un examen de ?sicometría, se ordenará los datos en ;a!la de contingencia A x A, donde 1 indica acierto o supera criterio #y$ y 9 que se falla el ítem o no se supera el criterio* Ktem N

1

1

0

'



'N7 H

riterio O 0

a H! 'N7 

!

d

cHd 'N7 <

'!

d

'!N7 H

dN7
N

a -5 los que an acertado el ítem ítem y además an pasado el examen a H ! -5 n& de su"etos que an apro!ado ?sicometría c -5 los que an fallado el ítem y no son aptos c H d -5 n& de su"etos que no an superado a H c -5 n& su"etos que an acertado el ítem ! H c -5 n& su"etos que lo an fallado %ividiéndolos entre J se o!tienen las proporciones.

p y Ф = p xy – p x· p p x q q x p p y q y

49 su"etos '& riterio O

Ф = p xy – p x· p y

Ktem 4 -N

1

0

60



6007 00 N '&



p x q x p y q

py 607 0B

10

qy 107 060

= 0,60 – 0,70·0,70

= 0,52

0,7x0,30x0,70x0,30

existe correlación alta entre el ítem y el criterio, aquellos que aciertan ele ítem concreto 4, suelen apro!ar el examen de psicometría. #9 M 9,4A 5 1$






)22- Ceicien3e Ceicien3e 5iseria4 – p6n36a4 p6n36a4 ! s6e4e ser e4 e4 mism da3 q6e q6e 4a de Pearsn Pearsn '

uando ítem es varia!le %>8;PF>8 %>8;PF>8 y la puntuación en el test es !n&n$'.

R 7  A - T  SH

ND media en el test de los su"etos que aciertan ítem+ N; media del test 'x desviación típica del test p proporción de su"etos su"etos que aciertan ítem + q -5 proporción de los que fallan

 <

?ara calcular la correlación a!ría que eliminar de las puntuaciones del test las del ítem en cuestión, si no se estaría incrementando la correlación !iserial-puntual. E;"+% 43n' @2J SU=E R"$"&' TO í&"+ 1

í&"+ 2

í&"+ 6

í&"+ @

T&'% 

TOTAL  - &+

A

0

1

0

1

2

1

>

1

1

0

1

6

2

C

1

1

1

1

@

6

D

0

0

0

1

1

1

E

1

1

1

0

6

2

16 +"d' 2

 +"d' 18

@ +"d' 08  7 @ 7080 < 7 020



/a media N D@ 1HAHBHA @ A C

T@ 1,I9 'Ax @ 9,4G %esviación típica @ 9,34 p @ C(4 @9,I9 q @ 9,A9

)2- Ceicien3e 5iseria4 ! n n es i6a4 a 4a de Pearsn, s4 s6 es3imación c6and 6na de 4as 8aria54es n se dis3ri569e nrma4 ' '

Esta Esta corr correl elac ación ión !ise !iseri rial al está está muy muy próx próxim imaa a la !ise !iseri rial al  punt puntua ual,l, pero pero en esta esta %' d /'*' /'*'%" %" ' !**"%'!n'* n !n&n$' '$n<$" $n' d" "%%' " d!&+'.

* 7  A - T  SH

 

ND media en el test de los su"etos que aciertan ítem+ N; media del test 'x desviación típica del test #p$ proporción de su"etos su"etos que aciertan ítem ítem + y -5 ace referencia referencia a la altura altura en la curva normal correspondiente a la puntuación típica que de"a por de!a"o un valor de pro!a!ilidad igual a p L /'%*" /'%*" d" () " "n!$"n&*'n "n %' &'%' d"% #*+$%'* B 43.10

'i en la ta!la no se encontrara la p @ 9,C9 en primera columna, !uscaríamos su complementario q@ 9,G9 en la primera columna y dirigiéndonos asta la columna = de 9 o!tendríamos o!tendríamos el valor @ 9,BIGB. ?ero me resulta más fácil !uscar directamente en la columna de p #la que ace la columna 2$ el valor 9,C9 y directamente a su lado en columna E p(y la operación que que e de utilizar en la la fórmula 1,9B4 1,9B4 /a relación entre *  * J

* 7 * 

9 p·q

@.6- D!*+n'!,n "n % í&"+ d" '!&&$d" En estos no existen respuestas correctas y el su"eto se sitúa en el continuo esta!lecido en función del grado del atri!uto medido. onsiderando la discriminación, esta se definía como correlación entre las puntuaciones del ítem y las del test, se deduce entonces un procedimiento para estimar la discriminación de los ítems de actitudes calculando la correlación entre am!os. Dl tratarse de ítems que no son dicotómicos el coeficiente de correlación adecuado sería el de ?earson, ÍNDICE DE ?OMOGENEIDAD (I?)






N Σ #X $

Σ# ΣX

CO% &#X'

"x @

@ Q N Σ#( $ &Σ # ' ( ) Q N Σ*( $ &Σ X ' ( )

Kndice de discriminacón !asado en la correlación #Kndice de )omogeneidad ->)-$

Sj S*

Índ!" d" d!*+n'!,n d!*+n'!,n ''d "n %' !**"%'!,n !**"%'!,n !**"3d'. )a!ría que tener en cuenta la aplicación de la corrección o !ien descontando la puntuación del ítem al total o aplicando la fórmula* "x'x-'" "#x -"$ @ S(* + S( j – (R j* ,S*,S j 8tro 8tro procedimie procedimiento nto útil #menos #menos eficiente eficiente pues no utiliza utiliza toda la muestra$ muestra$ para ver si un ítem diferencia diferencia entre entre grupos extremos de actitud* calcular si la media en el ítem de los su"etos con puntuaciones más altas en el test total es estadísticamente superior a la media de los su"etos con puntuación más !a"as. Esta!lecidos los grupos #A4L ó A3L$ con me"ores puntuacion puntuaciones es y con puntuacione puntuacioness más !a"as se calcula la diferencia diferencia con la : de S36den3 . -5 Esta se distri!uye con #n1 H nA  A$ grados de li!ertad. -5 /a )o* es que las medias de am!os grupos son iguales. -5 'i para un det. n.confianza, o!tenemos un valor empírico de ; superior al teórico #ta!la correspondiente$ tendríamos que recazar la )o a favor de la ipótesis alternativa que esta!lece que las medias son diferentes, y es mayor la del grupo superior a la del grupo inferior #contraste unilateral$ E"emplo página CB1 li!ro* li!ro*

í&"+

TOTAL T

@ T

2@

2T

$;"&

1

2

6

@

A

A

C

C

B

16

6



1

>

B

C

B

4

1

B

2

22

C

4

A

C

B

1@

@2



1

D

B

4

A

C

1@



1

1

E

C

4

A

4

1

80

2

2

22

8@

10@2

SUMATORIO /'*'n' d"/'!,n &í!'

20

B2 080 08

10@ 102

/a correlación o >ndice de omogeneidad entre el elemento C y la puntuación total del test será*

N Σ #X $

Σ# ΣX

-,(.( – (/,0(

"x @

@ Q N Σ# $ &Σ # ' ) Q N Σ* $ &Σ X ' ) (

(

(

(

(/ @

(/ , (1

@ 9,II

((8/

Dsí o!tenido está inflado pues en la puntuación total del test, está contenida la del ítem C. ?or tanto ay que aplicar la correción* #'e alla la varianza y desviaciones típicas tanto tanto del ítem C como del total$ "x'x-'" "#x -"$ @

S(* + S( j – (R j* ,S*,S j

@ 9,91

?odemos apreciar que a pasado de 9,II a 9,91 el Kndice de omogeneidad. #?ocos ítems$ D medida que el múmero de ítem aumenta el efecto disminuye y la diferencia es menor. menor. on más de A4 ítems los resultados serán próximos.

?or ello, este ítem con esta corrección y supuestamente con n& de ítems mayores o igual a A4, tendría que a!er sido eliminado, eliminado, pues su >) corregido corregido es próximo próximo a 9. Este ítem C no contri!uye contri!uye a medir el mismo rasgo rasgo que la escala total. 'i utilizáramos utilizáramos la : de S36den3 por e"emplo del ítem A; tendríamos que utilizar el A4L de los su"etos que an puntuado más alto y el A4 L más !a"o. 'e comparará el estadístico con el valor teórico de la ta!la de ;, y si es








@.@- 5'!&*" <$" '#"!&'n ' %' d!*+n'!,n ))1 *aria5i4idad

Es importante la presencia de varia!ilidad en las respuestas de los su"etos a los ítems, acertados o fallados por su"etos con distinto nivel en la varia!le medida. uando se trata de un ítem de un test de actitudes, personalidad, etc., donde no ay respuestas correcta o incorrectas, un ítem con varianza cero implicaría que todos los su"etos an elegido la misma alternativa de respuesta. El ítem no presentaría ningún poder discriminativo. /a relación entre la varia!ilidad del test y la discriminación de los ítems se puede formular alge!raicamente* desviación n típica típica del test test será será igual a la la suma de las las de los ítems ítems por por el índice índice de 'x @ S '" T r"x donde la desviació discriminac discriminación ión del ítem ". 'i el test estuvier estuvieraa compuesto compuesto por ítems ítems dicotómicos dicotómicos , la varianza varianza de una aria!le aria!le dicotómica es igual a la proporción de aciertos por la proporción de fallos*

SAx @ S p"T q" TrA"x @ 5 Sx @ S p"T q" TrA"x para maximizar la capacidad discriminativa discriminativa de un test a!rá que considerar con"untamente tanto la dificultad #p"$ como la discriminación #r"x$ de sus ítems. 'e consigue cuando la discriminación sea máxima r"x r"x @ 1 y su dificultad media # p @ 9,49$ ))2 Diic643ad de4 <3em

Dlcanza su máximo poder discriminativo cuando su dificultad es media. media . D 1 I S C 0,5 R I M 0 0 N

En una pregunta de la ?E #1C$ nos indican que atendiendo a la proporción de aciertos, enunciáramos que ítem se estima más discriminativo*

0,5 dificultad del ítem

1

PROPORCIÓN p

rbp

rb

ITEM 3

0,351

Más difícil

0,008

0,010

ITEM 5

0,639

Más fácil

0,243

0,310

ÍTEM 8

0,581

Discrimina bien dificultad media

0,345

0,435

)) Dimensina4idad de4 3es3

/a dimensionalidad se refiere al n& de conceptos o constructos que se están midiendo #validez de constructo$, siendo la técnica más utilizada el D= . uando se construye un test, se trata de que sea unidimensional. 'i tras el Dnálisis =actorial encontráramos varias dimensiones su!yacentes, ello implicaría la existencia de distintas escalas, siendo similar a una !atería de test. /a correlación entre puntuaciones en el test y las del ítem se verá afectada a la !a"a, y tanto más acuanto más






.- ÍNDICES ÍNDICES DE 5IA>ILIDAD V ALIDEW DE LOS LOS ÍTEMS ÍTEMS .1 Índ!" d" #'%d'd uantifica el grado en que el ítem en cuestión está midiendo mi diendo con precisión el atri!uto de interés. I = S j · · ID j uando se utiliza algún coeficiente de correlación para calcular la discriminación de los ítems entonces I = S j · r j El sumatorio al cuadrado de los I de los ítems coincide con la varianza de las puntuaciones de los su"etos en el test. En la medida que seleccionemos los ítems con mayor I mayor será su sumatorio y me"or fia!ilidad fia!ilid ad del test. · r j Σ S j ·

= Σ I

.2 Índ!" d" /'%d" /a validez implica correlacionar las puntuaciones del test con algún criterio externo de interés. %etermina asta qué punto cadaa uno de los ítems ítems de un test contri!uye contri!uye a realizar realizar con éxito *"d!!n" so!re dico criterio I* = S · r externo. 'i el criterio #y$ es una varia!le continua y el ítem una varia!le dicotómica, j j9 la correlación a utilizar sería la !iserial  puntual+ puntual+ pero no es necesario necesario d"!n&'* d" %' $n&$'!,n &&'% d"% !*&"* !*&"* "H&"*n "H&"*n %' d"% í&"+ ya que ésta no está incluída y, por tanto, no contri!uye de ningua manera al cómputo. I* = S j · r 5p j8 /a fia!ilidad del test depende de los >= de los ítems, la validez validez del test , tam!ién puede puede expresarse en función función de los > de los ítems* cuanto cuanto mayor sean los los > de los ítems, más optimizarán optimizarán la validez del test. test. Σ S j · · r j9

rxy @

Σ I* j

@ Σ S j · · r j

Σ

I j

Esta ecuación nos permite ver cómo la validez del test se puede estimar a partir de la discriminación de cada uno de los ítems r j ? de su validez r j9 ?y de su dificultad S j = = pj pj · qj  'i queremos seleccionar ítems para maximizar la fia!ilidad del test tendremos que elegir aquellos cuyo índice de discriminación sea alto+ pero esta política nos llevaría a reducir el coeficiente de validez del test porque esta aumenta a medida que los índices de validez son elevados y los de fia!ilidad !a"os.

.- ANÁLISIS ANÁLISIS DE DISTRACTORES DISTRACTORES El análisis de los distractores o de las respuestas incorrectas es muy importante pues implica conocer la distri!ucnión de los su"etos a los largo de los distractores+ permitiendo detectar posi!les motivos de la !a"a discriminación de algún ítem, o constatar que algunas alternativas no son seleccionadas por nadie #omitidas$. 1.

ontrolar que todas las opciones incorrectas sean elegidas por un mínimo de su"etos. D ser posi!res equipro!a!les. omo criterio criterio puede esta!lecerse que cada alternativa alternativa incorrecta #distractor$ #distractor$ a de ser seleccionada como mínimo por el 19L de la muestra y no existir muca diferencia entre ellas.






/os grados de li!ertad son X-1 donde X es el número de alternativas incorrectas. /a ipótesis nula postula que =; @ =8 #ítems igualmente atractivos atractivos para los su"etos que no conocen la respuesta correcta$.

.2 Pd"* d!*+n'&/ d" % d&*'!&*" 'i son !uenos distractores lógico es que discriminen en sentido contrario a como lo ace la opción correcta. /o espera!le espera!le de $n d&*'!&* $"n " <$" $ !**"%'!,n "' n"3'&/'. >mplica >mplica que a medida que aumenta el nivel de aptitud de los su"etos la proporción de su"etos que elige el distractor disminuya. disminuya.

Í&"+ $"nJ D medida que aumenta la nota de los su"etos el #a$ es más frecuente que se eli"a* crrl.postva #! y c$ tendencia contraria, menos se eligen.

aY

!

Í&"+ +'%J D medida que aumenta la nota de los su"etos el #a$ es elegido tanto por !a"os en competencia como los altos. #! y c$ elegidos tantos tantos por unos como por otros. #fatal$

aY ! c

c NO  !"#O

!"$O%!DO

NO  !"#O

NO#!%&' NO#!%&'

!"$O%!DO

NO#!%&' NO#!%&'

E;"+% 43n' @2J C'%!$%'* %' d!*+n'!,n d!*+n'!,n d"% d&*'!&* () "n "% &+ 6 SU=E TO

Í&"+ 1 (')

Í&"+ 1 ()

Í&"+ 6 (')

Í&"+ @ (!)

T&'% 

TOTAL  - &+

A

0 ()

1

0 ()

1

2

2

>

1

1

0 ()

1

6

6

C

1

1

1

1

@

6

D

0 (!)

0 (')

0 ()

1

1

1

E

1

1

1

0 ()

6

2

* 7  A - T -  'x -i q

/a media

N D@ AHBH1 @ A B

/a media de N;-i @ AHBHBH1HA @ A,A 4 arianza arianza x-i @ 5 9,4G /a 'x-i @ 9,34

ND media en el test de los su"etos que an selecionado la alternativa incorrecta.+ incorrecta.+ N; media del test 'x desviación típica del test #p$ proporción de su"etos que aciertan ítem A(4 @ 9,C9 #q$ -5 proporción de los que fallan fallan el ítem ítem q @ 1  p @ 9,G9

* 7 -022 resultado que indica que el distractor ! discrimina en sentido contrario a como lo ace la alternativa correcta y cómo ca!ría esperar esp erar de un !uen distractor d istractor..

N/"%

$"**

A

>

C

20

6



5 %&*'!&* A, fue elegido por el AIL de los su"etos y estos eran del grupo inferior de los menos competentes.






diferencias significativas. significativas. En la figura I.2 se aprecia aprecia como el ítem B tiene su media por por encima de la media de los otras alternativas. alternativas. En cam!io en la figura figura I.19 no solo no figura la alternativa alternativa C que no a sido seleccionada por ningún su"eto sino que la opción incorrecta A casi no tiene varia!ilidad. O la opción 1, correcta, se a llevado las respuestas de casi todos, los más competentes y los menos. ?or tanto se invalida invalida y no nos sirve, pues si todo el mundo la contesta como cierta no podemos diferenciar entre individuos cons distintos niveles en la varia!le medida. variabilidad

Fedia

B.- 5UNCIONAMIENTO 5UNCIONAMIENTO DI5ERENCIAL DE LOS LOS ÍTEMS (5DI) 8tro aspecto para evaluar es si de forma sistemática individuos de distinto grupo #ancianos y "óvenes  clase D y clase Z,...$ con un nivel en el rasgo que se mide tienen distintas pro!a!ilidades de éxito en el ítem en cuestión. D ello se le llama DI 6ncinamien3 dierencia4 dierencia4 de 4s <3ems /o que no apunta este fenómeno es a concretar la causa o causas posi!les de ello. 'in em!argo, un SESGO o ítem sesgado será será cuando individuos igualmente á!iles á!iles o que que puntúen similar no tienen tienen la misma pro!a!ilid pro!a!ilidad ad de acertarlo acertarlo por el eco de pertenec pertenecer er a su!-po!lac su!-po!laciones iones distintas. distintas. Este Este se reserva para el estudio de la !'$' por el que el ítem !eneficia a unos y per"udica a otros con la misma aptitud. >nvalida pues implica un error sistemático #misma dirección$ y concretamente a la validez de constructo, porque un ítem sesgado sesgado no mide mide el mismo rasgo rasgo #si a!lamos a!lamos de rasg rasgos, os, claro$ claro$ en las dos su!-po!l su!-po!laci acione ones. s. El rendimiento en uno de los grupos está afectado afectado por  "H&*'[' distinta a la que se supone mide el ítem. El DI es la "**'+"n&' utilizada para d"&"!&'* posi!les ítems sesgados. 'e compara el rendimiento de grupos conformados por alguna varia!le externa al concepto que el ítem mide #género, raza, nivel económico,...$ y que sin em!argo estén iguales en cuanto cuanto a su nivel de aptitud. Este detecta que el ítem funciona funciona de manera diferente en dos grupos pero una vez detectado, n nd!' %" !'$' .

IMPACTO , sería lo que indica las d#"*"n!' *"'%" entre los grupos. En este caso lo que se da es la diferencia por a!ilidades diferentes entre am!os grupos. E"emplo* dos grupos distintos de un curso curso de formación continua. %os profesores profesores distintos con distintas distintas formas de aplicar método. Dl finalizar el curso se aplica un test de rendimiento y se encuentra que el promedio de rendimiento del grupo D es mayor que el del grupo Z. El primer grupo a reci!ido una instrucción muco me"or por el profe D y estos individuos an desarrollado muca más competencia que el grupo Z. Existen por tanto, diferencias reales y ello* IMPACTO "n&*" '+ 3*$ . ?ara descarta 5DI an de comparar las pro!a!ilidades pro!a!ilidades de éxito en cada ítem de los su"etos del grupo D y






B.1. M'n&"% - ?'"n"% ?ara detectar el =%> existen una amplia variedad de procedimientos estadísticos pero uno de los más utilizados es el Fantel-)aenszel # lo de mantel por los cuadritos que ay que acer, "e,"e$* 1.- 'e identifica aria!le que sea la posi!le causante del =%> A.- 'eleccionada, se configuran los dos grupos de individuos* uno de referencia [- !eneficiario- y el grupo focal -per"udicado-. B.- 'e esta!lecen los niveles de aptitudes distintos #se desmenuzan... a los su"etos dentro de cada nivel$, tomando puntuación empírica o!tenida en el test C.- 'e cuenta el número de respuestas correctas e incorrectas por c(grupo y nivel de a!ilidad #i$ 4.- ?lanteamiento de )>?P;E'>' J:/D* un ítem no presentará diferencias o =%> si el cociente etre los que aciertan el ítem y los que lo fallan es el mismo para los dos grupos en cada uno de los nivels de aptitud. 'iempre la )o presentará la igualdad. ? J A 7 C '*' &d' %' !'&"3*í'. > D A > C  D son las frecuencias a!solutas de cada una de las categorías de a!ilidad i. ;a!la de contingencia*

3(AD)N

2M4 =

8J;>J[EJ>D CORRECTAS

INCORRECTAS

GR

A

>

nRI

G5

C

D

n5

n1

n0

N

3(>C)N /os valores oscilan entre 9 e infinito.............. infinito.............. +'*" d" 1 nd!'n <$" "% í&"+ #'/*"!" '% GR y +"n*" d" 1 #'/*"!"n '% G5 alores alores iguales o próximos a 1 indican que el ítem no presenta DI

Ejempl! Se ""pe#$a %ue u& 'tem de la" prueba" de a##e" al (IR pdr'a e"tar perjudi#a&d a l" )raduad" de *NED+ Se i&ve"ti)a ell  "e #&-rma& 5 )rup" de aptitude" a partir de la" pu&tua#i&e" del e.ame& de i&)re" al (IR+ Se utili/a el Ma&telae&"/el para #mprbar "i el 'tem pre"e&ta 2DI!

N(ta e)amen

NO* +N'D $ $'-'$'N./! suuest( fa(recid(

+N'D suuest( erudicad(

Niel de atitud

!i ) DiNi

%i ) .iNi

0*4

2



0

9

/

1

0

5*10

15

51

8

51

//

6,12

3,26

11*15

25

48

21

80

///

11,49

5,9

16*20

6

14

50

35

/

14,13

4,22

21*35

43

8

3

10



4,39

3,02

t(tal

3,13

16,29

N/'& D' !%/&/D!D 0 7 ) 7 4

$

!./'$#O

-!&&O

2



3(AD)N

2M4 =

= ((8 3(>C)N

228 9 1 "H&" d#"*"n!' ' #'/* d"% G*$ d" *"#"*"n!'.

N/'& D' !%/&/D!D 57 ) 7 10

$

!./'$#O

-!&&O

15

51

T8 PSCMTR_Analisis de Los Items

Recommend Documents