Mg. IRMA LUZ YUPARI AZABACHE
Requisitos de la Medición
Validez
Validez de Contenido
Validez de Criterio
Confiabilidad
Validez de Constructo
Factores Que Atentan Contra La Validez Y Confiabilidad
RELACIÓN ENTRE LA CONFIABILIDAD Y VALIDEZ Un instrumento de medición puede ser confiable pero no necesariamente válido (un aparato puede ser consistente en lo resultados que produce pero puede no medir lo que pretende).
Tirador 1: Ni confiabilida d ni validez
Tirador 2: Confiabilidad, pero no validez
Tirador 3: Confiabilidad y validez
CONFIABILIDAD DEL INSTRUMENTO DE RECOLECCIÓN DE DATOS: La confiabilidad responde a la pregunta ¿con cuánta
exactitud los ítems, reactivos o tareas representan al universo de donde fueron seleccionados?. Un cuestionario, es confiable cuando
su aplicación repetida al mismo sujeto u objeto, produce los mismos resultados y es operativo cuando su vocabulario es entendido en un sentido unívoco, o sea exactamente con el significado definido por el diseñador del instrumento.
Los procedimientos más utilizados son: 1.
Test-retest( Medida de Estabilidad) Un mismo instrumento es aplicado dos o más veces a un mismo grupo de personas en condiciones similares. Si la correlación entre los resultados de las diferentes aplicaciones es altamente positiva, el instrumento se considera confiable.
2.
Medidas paralelas o formas equivalentes (Dos versiones diferentes pero equivalentes, se administra a un mismo grupo de personas ).
3.
División por mitades o mitades partidas (Una prueba fragmentada en dos partes equivalentes).
4.
Alfa de Cronbach y Kuder Richarson
Método
Número de veces que el instrumento es administrado
Número de versiones diferentes del instrumento
Número de participantes que proveen los datos
Estadístico a usar
¿Responden los individuos de una manera similar a un instrumento si se les administra dos veces?
Coeficiente de Correlación
Cuando dos versiones de un instrumentos son similares ¿Hay convergencia o divergencia en las respuestas a ambas versiones?
Coeficiente de Correlación
Cada participante responde a cada versión del instrumento
Cuando dos versiones de un instrumentos son similares ¿Hay convergencia o divergencia en las respuestas a ambas versiones?
Coeficiente de Correlación
Cada participante responde a la única versión
¿Son las puntuaciones de una mitad del instrumento similares a las obtenidas en la otra mitad?
Coeficiente de Correlación
Cada participante responde a la única versión
¿Las respuestas a los ítems del instrumento son coherentes?
Coeficiente de Alfa de Cronbach y de KR
Estabilidad (test-retest)
Dos veces en tiempos distintos
Una versión
Cada participante responde al instrumento dos veces
Formas alternas
Dos veces al mismo tiempo o con una diferencia muy corta
Dos versiones diferentes pero equivalent es
Cada participante responde a cada versión del instrumento
Formas alternas y pruebaposprueba
Dos veces en tiempos distintos
Dos versiones diferentes pero equivalent es
Mitades partidas
Una vez
Una fragmenta da en dos partes equivalent es
Medidas de consistencia interna(alfa y KR20 y21)
Una vez
Una versión
Inquietud o pregunta que contesta
En este caso, el análisis se realizo a través del Alpha de Cronbach (10% de la población objeto de estudio ): Para el puntaje de los ítems, se utilizó la escala de Likert, de la siguiente forma: Totalmente De Acuerdo: 5 puntos De Acuerdo: 4 puntos Neutral: 3 puntos En Desacuerdo: 2 puntos Totalmente en Desacuerdo: 1 punto
Tabla: Escala de Valoración del Alfa de Cronbach Valor Alfa de Cronbach
Apreciación
[0.95 a + > [0.90 - 0.95> [0.85 - 0.90> [0.80 - 0.85> [0.75 - 0.80> [0.70 - 0.75> [0.65 - 0.70> [0.40 - 0.65> [0.00 - 0.40> Fuente: De Vellis (1991)
Muy elevada o Excelente Elevada Muy buena Buena Muy Respetable Respetable Mínimamente Aceptable Moderada Inaceptable
RESULTADOS DEL PROCESAMIENTO DE CONFIABILIDAD DEL INSTRUMENTO RECOLECCIÓN DE DATOS:
LA DE
Estadísticos total-elem ento
Estadísticos de fiabilidad Alf a de Cronbach .790
N de elementos 10
Se alcanzo un Nivel de Confiabilidad Muy Respetable con un Alpha = 0.79, siendo este test consistente y adecuado para el estudio
P1 P2 P3 P4 P5 P6 P7 P8 P9 P10
Media de la escala si se elimina el elemento 35.3500 35.0000 34.9500 35.0000 35.0000 34.5500 35.0500 35.0500 34.9500 35.6500
Varianza de la escala si se elimina el elemento 25.818 25.263 23.945 25.263 27.474 31.839 26.155 24.787 24.576 36.661
Correlación elemento-tot al corregida .637 .756 .829 .650 .595 .063 .677 .572 .623 -.363
Alfa de Cronbach si se eleimina el elemento .750 .738 .724 .747 .760 .806 .748 .756 .749 .879
Sin embargo se puede observar que si se elimina la pregunta 10, el alfa de cronbach aumentaría pero por decisión del autor se decidió conservar la pregunta dado que era importante para el test.
Al comprobar la fiabilidad para los elementos con todos los datos se obtiene lo siguiente: Estadísticos total-el emento Media de la es cala si s e elim ina el elemento
Estadísticos de fiabilidad Alf a de Cronbach
Varianza de la es c ala s i s e elim ina el elemento
Alf a de C ronbach si s e eleimina el elem ent o
C orrelación elemento-t otal c orregida
P1
31.6475
22.259
.549
.718
P2
31.3597
23.348
.520
.725
N de elem ent os
P3
31.4604
23.424
.535
.724
10
P4
31.7698
23.526
.513
.726
P5
31.5252
23.382
.439
.734
P6
31.5396
23.018
.464
.730
P7
31.7914
22.514
.544
.719
P8
31.8561
22.588
.423
.736
P9
31.8417
22.337
.490
.726
P10
32.4748
27.396
-. 055
.813
.756
Para la motivación intrínseca: Estadísticos total-el emento Medi a de la escal a si se elimina el elemento
Estadísticos de fiabi li dad Alf a de Cronbac h .825
Var ianza de la escala si se eli mina el elemento
Correlación elemento-total cor regida
Alfa de Cronbach si se eleimi na el elemento
P1
14.8921
7.256
.500
.829
N de element os
P2
14.6043
7.009
.710
.765
5
P3
14.7050
7.267
.673
.776
P4
15.0144
7.377
.633
.787
P5
14.7698
6.932
.614
.792
Para la motivación extrínseca : Estadísticos total-elemento
Estadísticos de fiabilidad Alf a de Cronbach
N de element os
.623
5
Media de la escala si se elim ina el elemento
Varianza de la escala si se elim ina el elemento
P6
13.0432
7.926
.338
.588
P7
13.2950
7.470
.456
.535
P8
13.3597
6.435
.548
.473
P9
13.3453
6.894
.499
.506
P10
13.9784
8.413
.120
.709
Estadísticos de la escala Media 16.7554
Varianza
Desviación típica
N de elem entos
10.606
3.25675
5
Correlación elemento-t otal corregida
Alf a de Cronbach si se eleimina el elem ent o
En el caso de instrumentos con coeficientes de confiabilidad moderados como en este caso (0.623), una manera de saber hasta dónde los mismos pueden ser aceptables, consiste en comparar la desviación estándar de la distribución de puntajes (Sy) con el error estándar de medición (EEM) (Carlos Ruiz Bolívar,), cuya fórmula es:
EEM = error estándar de medición. Sy = Desviación estándar de la distribución de puntajes totales. rtt = Coeficiente de confiabilidad. En estos casos se recurre al criterio del error estándar de medición para decidir sobre la aceptabilidad de un coeficiente de confiabilidad moderado, se requiere que se cumpla la condición de que Sy > EEM.
Como se puede observar, en el caso
el EEM (1.9045) no excede el valor de la Sy(3.257); es decir, que se cumple la condición de aceptabilidad señalada anteriormente. (Sy > EEM). En consecuencia, el instrumento puede ser utilizado
VALIDEZ DEL INSTRUMENTO DE RECOLECCIÓN DE DATOS: - Según Hernández, la validez se refiere, al grado en que un instrumento (cuestionario) realmente mide las variables que pretende medir. -Una pregunta es válida si estimula información exacta y relevante. -La selección y la redacción influyen en la validez de la pregunta. - Algunas preguntas que son válidas para un grupo de personas, pueden no serlo para otro grupo. - Entre menos tenga que reflexionar el sujeto, más válida será la respuesta. La validez implica congruencia en la manera de plantear las preguntas. La validez puede ser : • De contenido • De criterio • De constructo
VALIDEZ DE CONTENIDO Se refiere al grado en que el test presenta una muestra adecuada de los contenidos a los que se refiere, sin omisiones y sin desequilibrios de contenido. La validez de contenido se utiliza principalmente con tests de rendimiento, y especialmente con los tests educativos y tests referidos al criterio. En este tipo de tests se trata de comprobar los conocimientos respecto a una materia o un curso. La validez de contenido descansa generalmente en el juicio de expertos (métodos de juicio). Se define como el grado en que los ítems que componen el test representan el contenido que el test trata de evaluar.
Para este análisis se ha utilizado el programa Excel Versión 2007,y se aplicó la técnica estadística denominada Coeficiente de Proporción de Rangos (CPR) basado en el método a juicio de expertos, que consiste en un examen sistemático de cada de uno de los ítems preguntas del mismo, para determinar si miden las variables que se espera medir, la pertinencia del contenido, la claridad de los enunciados de cada uno de ellos, y el nivel de concordancia entre los evaluadores. Se siguió el siguiente procedimiento: Se solicitó la colaboración de tres expertos de la carrera de psicología, con el objeto de determinar la pertinencia de contenido de los ítems del instrumento. Se les entregó el cuestionario y la información necesaria y se obtuvo la evaluación del cuestionario de cada uno de los expertos.
TESIS: RELACIÓN ENTRE LA MOTIVACIÓN Y EL RENDIMIENTO ACADÉMICO DEL CURSO DE ESTADÍSTICA EN ESTUDIANTES DEL CUARTO CICLO DE LA FACULTAD DE DERECHO DE LA UNIVERSIDAD “CÉSAR VALLEJO” EN EL SEMESTRE 2008-II OBJETIVOS DE LA INVESTIGACION: Objetivo General: Determinar el nivel de relación existente entre la motivación de los estudiantes de la facultad de derecho de la UCV y el rendimiento académico del curso de estadística. Objetivos específicos: Determinar el nivel de relación existente entre la motivación intrínseca del alumno y el rendimiento académico en estadística. Determinar el nivel de relación existente entre la motivación extrínseca del alumno y el rendimiento académico en estadística.
ANEXO B: VALIDACION DEL CUESTIONARIO FORMATO PARA EVALUACIÓN DEL CUESTIONARIO Datos del Evaluador:……………………………………………………………… Apellidos y Nombres: ……………………………………………………………. Número de Colegiatura:………………………………………………………….. Profesión:…………………………………………………………………………. Lugar de Trabajo:……………………………………………………………….… Cargo que desempeña:…………………………………………………………… Área:……………………………………………………………………………… Ítems-
Objetivos
Escala Evaluativa
Preguntas
Específicos
A
1,2,3,4 y 5
1
6,7,8,9 y 10
2
B
Observaciones C
ESCALA EVALUATIVA DE CORRESPONDENCIA ITEMS- OBJETIVOS: A: TOTALMENTE DE ACUERDO B: DE ACUERDO C: DESACUERDO
La información proporcionada por cada uno de los expertos se procesó y analizó calculando el coeficiente de proporción de rango corregido. TABLA B1: TABULACIÓN DE LOS DATOS RESPECTO A LA EVALUACIÓN DEL INSTRUMENTO
ITEM
EVALUADORES
PREGUNTAS 1
2
3
I
1, 2, 3, 4, 5
A
A
A
II
6, 7, 8, 9, 10
A
B
A
Fuente: Cálculos Propios
Puntaje escala Evaluativo de los Ítems: A: Totalmente De Acuerdo : 3 puntos B: De Acuerdo : 2 puntos C: Desacuerdo: 1 punto TABLA B2: TABULACION SEGÚN ESCALA EVALUATIVA DE LOS ITEMS ITEM I
EVALUADORES
PREGUNTAS 1, 2, 3, 4, 5
II 6, 7, 8, 9, 10 Fuente: Cálculos Propios
1
2
3
3
3
3
3
2
3
Según los especialistas, existe una muy alta validez y concordancia de los mismos, esto se evidencia al calcular el Coeficiente de Proporción de Rango que alcanzó un 87 %.
EVALUADORES ITEM PREGUNTAS I 1, 2, 3, 4, 5 II 6, 7, 8, 9, 10 TOTALES
1 3 3 6
Promedio de Rangos Pr i para cada ítem
2 3 2 5
3 3 3 6
Proporcion Promedio de Rangos S ri 9 8 0 17
ri 3 2.667 5.667
Pe
de cada item 1.00 0.89 1.89
0.037 0.037 0.074
ri j
Proporción de Rangos para cada ítem i: Es el promedio de rangos de cada ítems individuo P Pr i dividido entre el puntaje máximo de la escala evaluativo de los ítems (coeficiente de validez de cada ítem) Corrección: J: Número de jueces : 3
Pr i ( k ) 1 Pe j
j
K= Numero de rangos de la escala evaluativa
Coeficiente de Proporción de Rangos: P Pr i CPR N
1.89 CPR 2
CPR : 0.944
N= Numero de ítems
Coeficiente de Proporción de Rangos Corregido : INTERPRETACION
CPRc:
CPR - Pe
CPRc:
0.944-0.074
CPRc:
0.870
Muy Alta
Mayor que
Menor igual que
0 0.4 0.6 0.8
0.4 0.6 0.8 1
Validez y concordancia Baja Moderada Alta Muy Alta
VALIDEZ DE CONSTRUCTO Se refiere al grado en que el instrumento de medida cumple con las hipótesis que cabría esperar para un instrumento de medida diseñado para medir precisamente aquello que deseaba medir. Se puede considerar un concepto general que abarcaría los otros tipos de validez. El término constructo hace referencia a un concepto teórico psicológico inobservable (ej. la inteligencia, cada factor de personalidad, las aptitudes, las actitudes, etc.) La definición operativa de estos constructos presenta considerables dificultades en la práctica, ya que no son directamente observables. Debido a esto, la validación de un constructo es un proceso laborioso y difícil.
TECNICAS CORRELACIONALES En resumen, las técnicas correlacionales o de la o consistencia interna relativa empleados en la validez de constructo son procedimientos de correlación entre: Item – Test Item – Escala (Subtests) Escala – Test o Test – Subtests ESCALA DE VALORACIÓN PARA INTERPRETAR LA CORRELACIÓN EN LA VALIDACIÓN
ri.t
Nivel de discriminación
0.40 a más 0.30 – 0.39 0.20 – 0.29 0 – 0.19 Fuente: Elosua Oliden y Bully Garay ( 2012), Pág. 58.
Muy bueno Bueno Deficiente Insuficiente
ANÁLISIS FACTORIAL El análisis factorial nos indica cómo tienden a agruparse los ítems o variables. Examinando el contenido conceptual de los ítems que pertenecen al mismo factor podemos comprender qué factores [o constructos] subyacentes explican las correlaciones entre los ítems. El análisis factorial de un instrumento de medición ayuda a establecer la validez de constructo de lo que estamos midiendo, en el sentido de que nos analiza la estructura del constructo que estamos pretendiendo medir.
EL ANÁLISIS DE COMPONENTES PRINCIPALES Según Johnson(2000), el ACP comprende un procedimiento matemático que transforma un conjunto de variables correlacionadas de respuesta en un conjunto menor de variables no correlacionadas llamadas componentes principales . También menciona que la mayoría de libros sobre Métodos Multivariados sugieren que los objetivos principales de un ACP son : 1) Reducir la dimensionalidad de un conjunto de datos, 2) Identificar nuevas variables significativas subyacentes Uriel, E. y Aldas (2005) plantean que el método de Componentes Principales tiene por objeto transformar un conjunto de variables , a las que denominan variables originales , en un nuevo conjunto de variables denominadas componentes principales. Estas últimas se caracterizan por estar intercorrelacionadas entre sí. Agregan que como medida de la cantidad de información incorporada en una componente se utiliza su varianza.
PROCEDIMIENTO PARA HALLAR LOS COMPONENTES PRINCIPALES 1.- Analizar si los datos cumplen con las condiciones mínimas para la aplicación de la prueba (Prueba KMO y de Esfericidad de Bartlett) 2.- Hallar comunalidades, es decir , la proporción de la varianza del indicador que es explicada por los componentes o factores comunes. 3.- Obtención de los componentes principales. 4. Selección del Número de Componentes 5. Interpretación de los Componentes 6.Aplicación de los resultados al análisis
Para realizar esta prueba es necesario analizar si los datos cumplen las condiciones mínimas para la aplicación de la técnica:
Podemos comprobar que se presenta una buena adecuación muestral a los datos, ya que el estadístico de Keiser-Meyer-Olkin (KMO), que nos indica la proporción de la varianza que tienen en común las variables analizadas, presenta un valor de 0,802, coeficiente cercano a la unidad que es lo más aconsejado para este tipo de análisis, y la prueba de esfericidad de Bartlett que comprueba las variables están correlacionadas. Esto nos indicaría una buena adecuación de los datos a un modelo de análisis factorial. KMO y prueba de Bartlett Medida de adecuación muestral de Kaiser-Meyer-Olkin. Prueba de esfericidad de Bartlett
Chi-cuadrado aproximado gl Sig.
.802 438.374 45 .000
TABLA :VARIANZA TOTAL EXPLICADA
Fuente: Cálculos Propios
EN EL GRÀFICO SE PUEDE OBSERVAR QUE EXISTEN 2 COMPONENTES CON AUTOVALORES SUPERIORES A 1
. Al llevar a cabo la rotación de factores, encontramos que los dos componentes con autovalores mayores a uno explicaron el 55.01 % de la varianza total TABLA MATRIZ DE COMPONENTES ROTADOS Componente PREGUNTAS P1 P2 P3 P4 P5 P6 P7 P8 P9 P10
DIMENSIÒN 1 1 1 1 1 2 2 2 2 2
1 0.52 0.80 0.78 0.76 0.79 0.39 0.28 0.02 0.13 0.44
2 0.47 0.13 0.19 0.16 0.07 0.47 0.69 0.81 0.72 0.42
Fuente: Cálculos Propios
Las rotaciones son transformaciones lineales que facilitan la interpretación sin alterar la proporción de varianza explicada por los factores
VALIDEZ DE CRITERIO Se establece al validar un instrumento de medición al
compararlo con algún criterio externo que pretende medir lo mismo. Si el criterio se fija en el presente de manera paralela se habla de validez concurrente (los resultados se correlacionan con el criterio en el mismo momento o punto de tiempo). Si el criterio se fija en el futuro se habla de validez predictiva( ejem: una prueba para determinar la capacidad gerencial de candidatos a ocupar puestos ejecutivos se validaría comparando los resultados con el desempeño posterior de los ejecutivos)
Escala de valoración del coeficiente de correlación de Pearson Valor de r Grado de correlación -1.00 Correlación negativa Perfecta -0.90 Correlación negativa Muy fuerte -0.75 Correlación Negativa Considerable -0.50 Correlación Negativa Media -0.25 Correlación Negativa débil 0.00 No existe correlación alguna entre las variables +0.10 Correlación Positiva Muy Débil +0.25 Correlación Positiva Débil +0.5 Correlación Positiva Media +0.75 Correlación Positiva Considerable +0.90 Correlación positiva Muy fuerte +1.00 Correlación positiva Perfecta Hernández, Fernández y Baptista ( 2010)
Factores que pueden afectar la confiabilidad y la Validez La improvisación. Algunas personas creen que elegir un instrumento de medición o desarrollar uno es algo fácil y que no requiere de supervisión alguna. La traducción, aún cuando adaptemos los términos a nuestro lenguaje no es ni remotamente validarlo. La inadecuación o falta de empatía. Hay instrumentos que tienen un lenguaje muy elevado para el entrevistado o no toma en cuenta diferencias de sexo, edad, nivel ocupacional y educativo. Las condiciones de aplicación. El ruido, presionar para que una persona conteste un instrumento largo en un período de tiempo corto, el hambre o falta de motivación para responder influirá negativamente en la validez y confiabilidad de la medida. Los aspectos mecánicos. Que el instrumento tenga instrucciones precisas, que se lea bien (si se trata de un cuestionario escrito), que no le falten páginas, que haya un espacio adecuado para contestar.
