Baremos DAT-5 en Campus Tlalpan Adrián Gómez Reyes, Elizabeth Núñez González, Fabiola Nava Badillo, Aketzalli Álvarez Morales, Denisse Rodríguez Álvarez, Celidé Peña Santibáñez
[email protected] A. Introducción El Servicio de Orientación Educativa tiene entre sus funciones, ofrecer el servicio de Orientación Vocacional, tanto a los miembros de la comunidad UVM, como a usuarios externos. Usualmente esto implica la aplicación de una batería psicométrica, que incluye una evaluación de las habilidades académicas del usuario. La prueba utilizada en SOE desde hace varios años para dicho fin es el Test de Aptitudes Diferenciales (DAT, por sus siglas en inglés). A pesar de su gran utilidad, consideramos de gran importancia utilizar la versión más actualizada, DAT-V, que fue adquirida recientemente por el CEDH. Aunque hemos encontrado mejoras importantes en esta edición de la prueba, también hemos encontrado una limitante: los baremos de calificación utilizados para evaluar el desempeño del usuario están basados en población española, no mexicana. Esto ocasiona que en varias de las escalas los usuarios obtengan puntuaciones más bajas de lo esperado, debido a la disparidad de los sistemas educativos en ambas naciones. Para esto, basta ver las diferencias obtenidas en las puntuaciones OCDE en el Factbook 2008: Rubro Ciencias Lectura Matemáticas
México 410 410 406
España 488 461 480
Reporte Facebook 2008, donde 500 es el desempeño obtenido al promediar los resultados de estudiantes de 15 años en todos los países de la OCDE. Por ello, y también ante recomendación explícita de los autores en el manual de instrucciones, buscamos generar suficientes aplicaciones en diversos rangos demográficos, para generar baremos que, de inicio, sean representativos de la población estudiantil en UVM. Esto implica aplicar las subescalas con estudiantes de bachillerato y licenciatura, para abarcar los grupos de edad que más a menudo utilizan el Servicio de Orientación Educativa, en cuanto a Orientación Vocacional se refiere. Una vez obtenida información suficiente, pueden generarse nuevos baremos con el uso del software estadístico SPSS 17, disponible en nuestros laboratorios de cómputo. B. Problema o necesidad atendida
En una evaluación preeliminar con nuestros usuarios (N=28), generamos el nivel promedio para cada subescala, una vez calificada y arrojado el percentil. Los cuadros estadísticos e histogramas se encuentran en el Anexo A: Análisis Preeliminar B1. Normalidad Todas las subescalas cumplieron con criterios de normalidad, con un rango en los valores p .376-.898, utilizando la prueba Kolmogorov-Smirnov, por lo que el uso de la T de Student de 1 muestra es justificado. B2. Estadísticos descriptivos De ser equivalente el desempeño de esta muestra, al compararse con el desempeño de las normas publicadas en el manual, el promedio de cada subescala oscilaría alrededor de 50. Encontramos lo siguiente: 1) La media más cercana era la subescala numérica, la cual se encuentra a 1.71 puntos por debajo del 50 esperado, y la más lejana es mecánico, a 12. 62 puntos. El rango de dispersión es de 10.91 unidades. 2) Todas las variaciones eran a la baja. Si fueran únicamente por muestreo, se esperaría un comportamiento oscilante. De acuerdo a prueba de signos, la probabilidad de que los 8 factores vayan a la baja únicamente por azar, es sólo de 0.38%, lo cual arroja una significancia válida a un nivel alfa de 0.01. Aunque esta prueba no tiene la potencia ideal, es señal de que efectivamente hay una disparidad. 3) Con T de Student de una muestra, para comparar los promedios con el parámetro español (promedio 50), vimos que: a. En términos estrictos, la única diferencia estadísticamente significativa se aprecia en la escala mecánica, donde la diferencia de promedios contra parámetro tiene una significancia bilateral p de 0.025, contra alfa de 0.05. b. Sin embargo, hay tendencias importantes en las escalas Verbal (0.211), Abstracta (0.070), Espacial (0.261) y Velocidad (0.202). c. De hecho es también importante denotar que ninguna subescala muestra significancias superiores a 0.95, por lo que tampoco podemos hablar de homogeneidad con el parámetro ideal. B3 Prueba T de Student de 1 muestra para determinar nivel de alejamiento contra el parámetro ideal de 50 Al correr la prueba en los promedios de percentiles de todas las subescalas, podemos apreciar lo siguiente: 1) En términos estrictos, la única diferencia estadísticamente significativa se aprecia en la escala mecánica, donde la diferencia de promedios contra parámetro tiene una significancia bilateral p de 0.025, contra alfa de 0.05.
2) Sin embargo, hay tendencias importantes en las escalas Verbal (0.211), Abstracta (0.070), Espacial (0.261) y Velocidad (0.202). 3) De hecho es también importante denotar que ninguna subescala muestra significancias superiores a 0.95, por lo que tampoco podemos hablar de homogeneidad con el parámetro ideal. C. Justificación de la innovación Los Tests de Aptitudes Diferenciales (DAT) han sido diseñados para medir la capacidad de los estudiantes para aprender o para actuar eficazmente en un cierto número de áreas tales como las del razonamiento mecánico, verbal, numérico, o de las relaciones espaciales. Fueron elaborados inicialmente para su aplicación en los centros de enseñanza media, también se han utilizado en el consejo educativo y vocacional de adultos así como en la selección de empleados. La quinta versión del DAT incluye tests que evalúan ocho importantes aptitudes: Razonamiento verbal, Razonamiento numérico, Razonamiento abstracto, Rapidez y exactitud perceptiva, Razonamiento mecánico, relaciones Espaciales, Ortografía y Uso del lenguaje. La adaptación española fue realizada por el departamento I+D de TEA Ediciones, S. A, pero los baremos de calificación se hicieron con población local. D. Descripción del proceso de innovación: D1. Diagnóstico Tomando en cuenta que la administración completa del test toma 118 minutos, y de facto no es recomendable administrarlo de forma completa y continua, en una sola sesión, la alternativa fue administrarlo a grupos independientes con 2 o 3 subescalas por sesión de aplicación. Consideramos también que las sesiones de aplicación deberían ser de aproximadamente una hora, con 40 minutos reales de desempeño, para evitar que el agotamiento sesgara los resultados, y además asegurar la cooperación de los sujetos. Es importante señalar que con excepción de la escala de Aptitud Académica, que se conforma con la suma de los puntajes naturales en Aptitud Verbal y Aptitud Numérica, la conformación de los baremos para cada subescala puede generarse con tomas muestrales constituidas por una población similar, pero no por sujetos idénticos. D2. Desarrollo Estos hechos nos llevaron a dividir el cuadernillo de aplicación en tres secciones: 1) Verbal-Numérica. Estas dos subescalas debían aplicarse al mismo sujeto, para generar adecuadamente la de Aptitud Académica. 2) Abstracta-Espacial. Basados en la evaluación preeliminar, y en el uso que teníamos de versiones anteriores del DAT, la escala Abstracta suele
percibirse como una de las más sencillas para los sujetos, por lo general contestan todos los reactivos, y tienden a obtener mejor desempeño. Por ello se decidió unirla a Espacial, una escala que se percibe más compleja, en pocas ocasiones se contesta completa en el límite de tiempo, y los niveles tienden a ser más bajos. 3) Mecánico-Ortografía-Velocidad y Precisión. La primera escala es la que requiere un mayor uso de operaciones lógicas y análisis, mientras que las otras dos dependen en mayor medida de habilidad viso-motriz fina y memoria visual. Además, por las limitantes de tiempo, esta combinación reúne subescalas de 20, 12 y 6 minutos respectivamente, cumpliendo con nuestro límite de 40 minutos. De igual forma, se generaron plantillas que permitieran calificar las hojas de respuesta y contabilizar el número de reactivos completos. Al momento de aplicación, se entregaban en primer lugar las hojas de respuesta, para asegurar el inicio al mismo tiempo. Se siguieron las recomendaciones del manual para la aplicación colectiva, incluyendo la descripción y resolución de los reactivos ejemplo, para asegurar que el objetivo de la tarea queda claro para el grupo. D3. Instrumentación y aplicación Al ubicar los rangos de edad sugeridos en el nivel 1 y 2 de la prueba, el planteamiento inicial era trabajar con estudiantes de bachillerato para el nivel 1, y del tercer semestre de licenciatura para el nivel 2. Este último margen, debido a que estudiantes de primero y tercero han contestado reactivos similares al DAT, como parte de un examen de colocación cuando son admitidos a la licenciatura. Como primer etapa del proyecto, se decidió aplicar el nivel 1 en bachillerato, para usar esos datos y evaluar la pertinencia del nivel 2 en licenciatura. Posteriormente, planteamos una muestra dividida en dos rubros demográficos: estudiantes que iniciaban en el primer año de bachillerato SEP o UNAM, y los del tercer año de dichos programas académicos. Se descartó el segundo año, debido a que los estudiantes en nuestro Campus realizan una evaluación vocacional con reactivos similares al DAT, por lo que preferimos evitar sesgo por adiestramiento reciente. Al momento de iniciar la recopilación de datos, el campus tenía registrados a 1,892 estudiantes en bachillerato, y 2,037 en el primer semestre de licenciatura. Utilizando el método recomendado por Dawson-Sanders (2005), se estimó una muestra con un nivel de confianza del 95% y error máximo aceptable del 5%. La recomendación aleatorizada era de 190.64 sujetos para licenciatura, y 178.45 para bachillerato. Promediando ambos resultados, y estimando un 5% de muerte experimental, la meta se ajustó a 200 mediciones por intervalo demográfico. Sin embargo, la disponibilidad de grupos, tiempos, y la variabilidad en cuanto al número de estudiantes por aplicación, nos hicieron buscar una alternativa. Para no intervenir de manera innecesaria con sus actividades académicas, se optó
por usar un método no probabilístico por cuotas para generar la muestra, aplicando las escalas a estudiantes que asistían a las horas de información y organización con sus coordinadores. La cantidad meta era de al menos 100 mediciones, por subescala y por sector demográfico. Este es el monto mínimo necesario para crear un baremo de calificación, utilizando el método de percentiles (Chaudhuri y Stenger, 2005). E. Resultados de la aplicación En cuanto a las características de las respuestas, encontramos que: 1) Para cada una de las subescalas se cuenta con al menos los 100 sujetos requeridos (Rango 100-156) en primer año. Tenemos cifras similares en tercero (Rango 101-157). 2) Para el primer año, la proporción entre el total de reactivos en cada subescala, y el promedio de reactivos correctos está en un rango de 0.38 a 0.61. La escala numérica, con bajo desempeño general, es la mínima. El siguiente mínimo es de 0.47. En el segundo año, el rango es de 0.42-0.65. Esto nos confirma que el número de reactivos tiene una proporción adecuada para el desempeño visto en este sector. 3) La mayoría de las escalas cumplen con criterios de normalidad, utilizando la prueba Kolmogorov-Smirnov, con la excepción de Numérica (p=.014), Abstracta (.029) y Mecánica (.049) en primer año, y Numérica (.016) en tercer año. F. Evidencias de los resultados obtenidos Baremos Primer Año Verbal Numérico Aptitud Abstracto Espacial Mecánico Ortografía N Media D.E. Percentiles 1 2 3 4 5 10 15 20 25 30 35 40 45 50 55
156 18.5 5.97 0-8 9 10-11 12 13 14-15 16 17 18 19
153 14 5.48 0-5 6 7 8-9 10 11 12 13 14 -
152 33 8.91 0-15 16-19 20 21 22-23 24-25 26 27 28 29 30 31 32-33 34
100 25 6.81 0-6 7 8 9 10-14 15-17 18 19 20 21-22 23 24 25 -
100 26 8.83 0-5 6 7 8-15 16 17-18 19-20 21 22-23 24 25 26 27
112 32 7.5 0-15 16 17 18-19 20-21 22-24 25 26 27-29 30 31 32
112 25 5.05 0-11 12 13-14 15-17 18 19 20 21 22 23 24 25 26
60 65 70 75 80 85 90 95 96 97 98 99
20 21 22 23 24 25-26 27-28 29-30 31 32-33 34-38 39-40
15 16 17-18 19-20 21-22 23-26 27 28-32 33-40
35 36 37-38 39-40 41 42-44 45-50 51 52-54 55-57 58-80
26 27 28-29 30 31-33 34 35-36 37-40
28 29-30 31 32-33 34 35 36-38 39-42 43-46 47 48-50
33 34-35 36 37-38 39-40 41-43 44 45 46 47-60
27 28 29 30-31 32 33 34 35-40
Tercer Año Verbal Numérico Aptitud Abstracto Espacial Mecánico Ortografía N Media D.E. 1 2 3 4 5 10 15 20 25 30 35 40 45 Percentiles 50 55 60 65 70 75 80 85 90 95 96 97 98 99
127 18.23 7.55 0-4 5 6 7 8-9 10 11-12 13 14 15 16 17-18 19 20 21-22 23 24-25 26 27 28-29 30-31 32 33-34 35-37 38-40
157 16.85 5.52 0-2 3-5 6-7 8-9 10-11 12 13 14 15 16 17 18 19 20 21 22 23-25 26-27 28 29-30 31-40
101 34.96 11.7 0-8 9 10-11 12-15 16-21 22-24 25 26 27-28 29 30-31 32-34 35 36-37 38-39 40 41-43 44-45 46-47 48-49 50-54 55-56 57 58-64 65-80
103 24.66 6.23 0-6 7-11 12 13 14-16 17-18 19 20-21 22 23 24 25 26 27 28 29-30 31 32-33 34 35 36 37-40
103 28.48 9.73 0-7 8-11 12 13-15 16-17 18-19 20-21 22-23 24-26 27 28 29 30 31 32-33 34-35 36 37-38 39-41 42-45 46 47 48-49 50
107 33.27 8.34 0-17 18 19-22 23-24 25-26 27 28 29-30 31 32 33-35 36-37 38-39 40-41 42-43 44-45 46-48 49 50-51 52-56 57-60
G. Aplicabilidad En instituciones educativas, para una mejor evaluación de habilidades académicas, y por ende mejor orientación vocacional. En empresa para una mejor generación de perfil de puestos. H. Costo-beneficio Al aplicar medidas más precisas, teóricamente podría disminuirse el número de bajas de una carrera que no era la más adecuada para un estudiante. La inversión requerida para generar el baremo fue significativamente menor al costo de un solo ejemplar de la prueba española. I. Beneficio social
107 25.65 5.74 0-14 15-18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34-35 36 37 38-40
Al tener parámetros más precisos respecto a sus propias habilidades, un estudiante puede elegir con mayores elementos la carrera a cursar. Pierde menos recursos en una carrera fallida si puede elegir mejor desde un inicio. En el ámbito laboral, una buena definición de puestos y consecuente perfil de empleado, reduce la rotación y mejora el desempeño del personal. J. Sugerencias de mejora Si se enlazara a un sistema en línea y se replicara a diversos campi de la República, nos permitiría determinar con mayor precisión los parámetros esperados de los estudiantes por región y área. Anexos:
