MÉTO TODO DO S DE D E ENC E NCUE UESTA STA EN L A SOC SOCII ED EDA AD DIGITAL: L A B ÚSQ SQUE UEDA DA DE L A CAL IDAD
M ªÁn g e l e s C e a D ´A n c o n a Universidad Universid ad Complutense de Madrid
CA RA CTER CTERÍ ÍSTICA S ESEN E SENCIA CIA L ES 1 . E s ta t a n d ar a r iz i z a c ió i ó n en la recogida y análisis de la información (restringe errores de medición y favorece la comparabilidad) 2 . R e p r es e s en e n t at a t iv i v i d ad a d de la muestra y de la información respecto al objeto de estudio (incide en criterios de validez; depende de errores de encuesta)
CA RA CTER CTERÍ ÍSTICA S ESEN E SENCIA CIA L ES 1 . E s ta t a n d ar a r iz i z a c ió i ó n en la recogida y análisis de la información (restringe errores de medición y favorece la comparabilidad) 2 . R e p r es e s en e n t at a t iv i v i d ad a d de la muestra y de la información respecto al objeto de estudio (incide en criterios de validez; depende de errores de encuesta)
VENT VE NTA A J A S DE L A EN ENCUE CUEST STA A 1. Obtención de información variada de un conjunto amplio de personas 2. Permite la comparación de los datos en contextos sociotemporales diferentes
3. Generalización de los resultados. Dependerá de los errores en su realización
I NCONVENI NCONVENIENTES ENTES DE L A ENCUESTA 1. Desa Desaco cons nsej ejab able le en pobl poblac ació ión n con con dificultades para la comunicación verbal 2. Infor nforma maci ción ón con condici dicio onada nada a la la formulación de la pregunta y la veracidad de la respuesta 3. Re Reac acti tivvidad idad en la resp respue uest staa por por presencia del entrev entrevistador istador 4. Impr mprec eciisi sión ón en el es esttudio udio de la causalidad
A RTICUL A CIÓN DE L A ENCUESTA CON OTRA S ESTRA TEGIA S S. D. Sieber (1973) “Integrating fieldwork and survey methods”. American Journal of Sociology , 78: 1335-1359
Ventajas: 1. Elaboración marco teórico 2. Validación de los resultados 3. Mejora interpretación datos de encuesta 4. Identificación de personas a ser encuestadas 5. Elaboración del cuestionario También imprescindible el uso d e datos dispo nibles 1. Elaboración marco teórico 2. Operacionalización problema de estudio 3. Interpretación de los datos
FA SES DE L A ENCUESTA Revisión bibliográfica 1. Estructurar idea originaria 2. Ayuda a diseñar la encuesta Se quiere: 1. Prevenir errores 2. No ser redundantes 3. Extraer ideas para el diseño de la muestra y del cuestionario
Concluye con la redacción del informe : • • •
Objetivo Transparente Fidedigno
Crucial la especificación de los límites de la investigación (datos válidos y fiables)
A NTECEDENTES EN EL ESTUDIO ERRORES DE ENCUESTA • J. L. Gillin (1915): “The social survey and its further development”. Journal of the American Statistical Association, 14: 603-610. • Estudios experimentales de A. Hobson (1916) y H. Cantril (1944: Gauging Public Opinion. Princeton University Press) • W. E. Deming (1944): “On errors in surveys”. American Sociological Review, 9: 359-369. • P. C. Mahalanobis (1946): “Recent experiments in statistical sampling in the Indian Statistical Institute”, Journal of the Royal Statistical Society,19: 325-378. • M. H. Hansen, W. N. Hurwitz y W. G. Madow (1953): Sample survey methods. Wiley.
ERROR TOTA L DE ENCUESTA • R. M. Groves (1989): Survey errors and survey costs. John Wiley & Sons. • P. P. Biemer y L. E. Lyberg (2003): Introduction to survey quality . John Wiley & Sons. • Mª A. Cea D´Ancona (2005): Métodos de encuesta. Teoría y práctica, errores y mejora. Síntesis. • - (2005) “La senda tortuosa de la calidad de la encuesta”. REIS, nº 111: 75-103.
E R R 0 R E S E N C U E S T
No cobertura NO OB SERVA CIÓN
Muestreo No respuesta Mé to d o d e en c u es ta Dis eñ o d el c u es ti o n ari o
OB SE RVA CIÓN O MED ICIÓN
Intervenc ión entrevistador Ac titud del encu estado Tratam iento in form ación
ERROR DE “NO COBERTURA” Idoneidad del m ar c o m u es t r al Listados con erróneas inclusiones u omisiones por: – No actualización – Duplicidades – No correspondencia con objeto de estudio Su influencia dependerá de: – Tasa no cubiertos – Características diferenciales
A CTUA CIONES A NTE ERRORES DE “NO COBERTURA”
1. Evaluar la calidad del marco muestral 2. Restringir población de estudio 3. Utilizar varios marcos muestrales 4. Identificar “omisiones” y utilizarlas como variables de “cuota” Uso de “hogares transitorios” (Keeter, 1995)
5. Aplicación otros métodos de encuesta 6. Ponderación
ERROR DE MUESTREO Presente en toda encuesta Su magnitud depende de: – Tamaño de la muestra – Representatividad
Remedios: – Incrementar el tamaño de la muestra – Aplicación de diseños muestrales aleatorios que garanticen la heterogeneidad de la muestra
ERROR DE NO RESPUESTA El reto de la plena participación
Incide: 1. Magnitud no respuesta (especificar en el informe) 2. Composición: características diferenciales
: Inform ación n o resp ond ientes 1. De no respondientes 2. Imputándoles de respondientes 3. Preguntando a personas próximas 4. Extrayendo información de marco muestral 5. Comparación con datos censales
FA CTORES QUE INCIDEN EN L A NO PA RTICIPA CIÓN 1.
Contexto social –
Responsabilidad, legitimidad, prestigio centro
–
Saturación de encuestas e imagen
–
Cambios sociales
2. Método de encuesta –
No respuesta diferencial en cada método
–
Tema encuesta e interés que suscite
–
Complejidad y extensión cuestionario
3. Características del encuestado 4. Características del entrevistador
A CTUA CIONES E N L A REDUCCIÓN ERROR DE NO R ESPUESTA 1. Adecuación a peculiaridades población 2. Prenotificación de la encuesta 3. Seguimiento de la muestra 4. Gratificación de la participación 5. Mejorar la presentación de la encuesta 6. Otro método en no respondientes 7. Convertir “negativas” en aceptación 8. Incrementar el tamaño muestral 9. Sustitución por unidades equiparables 10. Ajustes estadísticos:ponderación e imputación
ERRORES PO R M ÉTODO DE ENCUESTA Su pertinencia en la consecución objetivos Captación diferencial de encuestados
1. Elección razonada del método de encuesta: –
Objetivos investigación
– – – – –
Complejidad del tema, extensión y dificultad del cuestionario La población a encuestar Tiempo disponible para la recogida de información Recursos disponibles Nivel deseado de calidad
2. Mejoras en el diseño del cuestionario 3. En su aplicación
ERRORES PO R DISEÑO CUESTIONARIO ERRORES
MOTIVO
De esp ecific ación No correspondencia con objetivos Desigual interpretación de la pregunta Su redacción, introducción y formulación
De m edic ión
Las opciones de respuesta
Qué alternativas ofrezca En qué orden
Orden y contexto de la pregunta Tema de la pregunta
Deseabilidad social Errores de memoria, comunicación
ERRORES POR ENTREVISTA DOR Fuentes de error: • • • •
Características sociodemográficas Factores psicológicos Formación y disponibilidad Actuación inadecuada
Mayor efecto en encuestas sobre temas sensitivos; “cara a cara”; preguntas
subjetivas; abiertas; en respuestas no opinión; encuestados de menor nivel educativo y mayor edad
A c t u a c i o n e s : • •
Aumentar número de entrevistadores Adecuar su selección a la encuesta
•
Mejorar su formación
•
Estandarizar su actuación
•
Intensificar su supervisión y control
ERRORES POR ENCUESTA DO Por voluntad y/o incapacidad: 1. 2. 3. 4.
Mala redacción pregunta Desconocimiento del tema Precipitación en respuesta Errores de memoria
La realización de la entrevista Actuaciones :
1. Mejorar el diseño del cuestionario 2. Su aplicación
ERRORES POR TRA TA MIENTO DE INFO RMA CIÓN
1. Automatización del procedimiento de encuesta 2. Mejorar la formación y el control de responsables
A PORTA CIÓN DE L A S NUEVA S TECNOL OGÍA S 1. 2. 3. 4. 5. 6. 7. 8. 9
Reducción costes y tiempo Errores en la administración del cuestionario Errores en grabación de respuestas En orden de las preguntas y las respuestas Mayor control del entrevistador Imagen de mayor profesionalidad Menor inhibición en entrevistados Incrementa ayudas visuales Facilita encuestas complejas
ERROR DE “NO COBERTURA” Idoneidad del m ar c o m u e s t ral Su influencia dependerá de: – Tasa no cubiertos – Características diferenciales
ERROR DE MUESTREO Presente en toda encuesta Su magnitud depende de: – Tamaño de la muestra – Representatividad
Remedios: – Incrementar el tamaño de la muestra – Aplicación de diseños muestrales aleatorios que garanticen la heterogeneidad de la muestra
DISEÑOS M UESTRA L ES PROB A B ILÍSTICOS 1. 2. 3. 4. 5. 6.
Aleatorio simple Sistemático Estratificado (proporcional, no proporcional) Por conglomerados Áreas y rutas aleatorias Métodos selección persona en una misma vivienda –
No selección
–
Método de Kish de selección aleatoria
–
Método de cuota sistemática
–
Método del cumpleaños
DISEÑOS MU ESTRA L ES NO PROB A B ILÍSTICO S 1. Por cuotas 2. Estratégico o “de juicio” 3. Muestreos circunstanciales: –
De voluntarios
–
Bola de nieve
ERRORES PO R DISEÑO CUESTIONARIO ERRORES
MOTIVO
De esp ecific ación No correspondencia con objetivos Desigual interpretación de la pregunta Su redacción, introducción y formulación
De m edic ión
Las opciones de respuesta
Qué alternativas ofrezca En qué orden
Orden y contexto de la pregunta Tema de la pregunta
Deseabilidad social Errores de memoria, comunicación
A CTUA CIONES EN L A REDUCCIÓN ERRORES POR CUESTIONA RIO Ampliar actuaciones previas: 1. Indagación exploratoria cualitativa 2. Revisión bibliográfica 3. Entender procesos sociopsicológicos
Antes de formular nuevas preguntas: 1. Especificar objetivos encuesta 2. Identificar conceptos centrales y operacionalizarlos 3. Elegir método de encuesta y población 4. Concretar los análisis
RECOMENDA CIONES PA RA REDUCIR EL ERROR DE ESP ECIFICA CIÓN
1. Seleccionar conceptos clave 2. Descomponer el concepto en dimensiones 3. Buscar indicadores para cada dimensión – Operacionalización múltiple
RECOMENDA CIONES PA RA REDUCIR ERRORES POR INTERPRETA CIÓN TÉRM INOS DE L A PREGUNTA
1. Emplear vocabulario sencillo, evitando términos abstractos 2. Palabras familiares 3. Escalas numéricas 4. Comprobar traducción de preguntas en otro idioma
RECOMENDA CIONES PA RA REDUCIR ERRORES POR REDA CCIÓN DE L A PREGUNTA
1. Preguntas breves y fáciles de comprender 2. Redacción precisa de la pregunta 3. Pregunta objetiva o neutra 4. No redactar la pregunta en forma negativa 5. Pregunta de forma personal y directa 6. Ni preguntas ni alternativas referidas a varias cuestiones
RECOMENDA CIONES PA RA EVITA R ERRORES POR OPCIONES DE RESPUESTA 1. Redacción de la pregunta “neutral” y equilibrada 2. Adecuar el número de categorías 3. Rotar orden lectura alternativas respuesta 4. Respuestas intermedias sólo mencionadas 5. No explicitar opciones de no respuesta
RECOMENDA CIONES PA RA EVITA R ERRORES POR ORDEN Y CON TEXTO DE LA PREGUNTA 1. Preguntas con secuencia lógica 2. En temas complejos, técnica del embudo invertido 3. Una pregunta abierta entre dos cerradas 4. Preguntas iniciales interesantes y sencillas 5. Preguntas clave en el centro del cuestionario 6. Preguntas amenazantes al final 7. Un cuestionario no muy extenso, que no fatigue
A CTUA CIONES PA RA REDUCIR SESGO DE DESEA B IL IDA D SOCIA L 1. Motivar encuestado para que responda con sinceridad 2. Ocultar la intencionalidad de la pregunta 3. Pregunta abierta, larga y sencilla 4. Respuestas flexibles o atenuar gravedad de la pregunta 5. Evitar palabras con reacción estereotipada 6. Dar mayor privacidad a la respuesta 7. Cargar deliberadamente la pregunta: • • •
Todo el mundo lo hace ; Asumir la conducta; Uso de la autoridad; Razones de por qué no Escoger marcos de tiempo apropiados
8. Ubicar la pregunta al final del cuestionario
RECOMENDA CIONES EN PREGUNTA S REFERIDA S A L PA S A D O 1. En la introducción destacar importancia de responderla con precisión 2. Preguntas largas a cortas 3. Aproximar en el tiempo preguntas de eventos poco notorios 4. Uso de procedimientos de ayuda al recuerdo 5. Realizar varias preguntas. Aquellas de más difícil recuerdo al final
A DECUA R EL FORMATO DE L A PREGUNTA A B IERTA •
•
•
Ventajas : fáciles de elaborar; ocupan menos
espacio; permiten responder con sus propias palabras; respuestas no previstas; captar lo más saliente. Inconvenientes: caras; expuestas a errores de registro; actuación entrevistador; más esfuerzo y tiempo del encuestado; respuestas irrelevantes; más dificultad reglas de codificación. Utilidad : estudios exploratorios; respuestas no previstas; respuesta inmediata; mayor especificación; valor numérico exacto; en temas delicados
A DECUA R EL FORMATO DE L A PREGUNTA CERRA DA • •
•
:exhaustividad; exclusividad; Requisitos
precisión. Ventaja: rapidez; mayor estandarización; centrar respuestas; menos esfuerzo encuestado. Inconvenientes : coartan respuesta; influencia en respuesta; más laborioso; dificulta significado de respuesta; posible respuesta no meditada; respuesta con distintas interpretaciones; incrementa la amenaza a la pregunta
RECOMEN DA CIONES UB ICA CIÓN DE L A S PREGUNTA S
1. Preguntas iniciales interesantes y sencillas 2. Preguntas clave en el centro 3. Distribuir secuencialmente preguntas que formen una batería 4. Preguntas amenazantes al final
RECOMEND A CIONES DISEÑO DEL CUESTIONARIO
1. Cuestionario no extenso 2. Evitar largas series de preguntas con un mismo formato 3. Mejorar el mensaje de presentación 4. Dejar espacio para observaciones y datos de control al final
RECOMENDA CIONES FORMA TO DEL CUESTIONARIO 1. De libro en papel buena calidad 2. A doble cara, dos columnas 3. Preguntas ordenadas y numeradas 4. Preguntas cerradas en vertical y codificadas 5. Preguntas abiertas espaciadas 6. Evitar preguntas partidas 7. Pregunta larga no seguida de corta 8. Instrucciones al entrevistador precisas 9. Preguntas filtro bien definidas 10. Preparar cuestionario para procesamiento Preco m pro bación d el cu estion ario
L A PRUEB A DEL CUESTIONA RIO 1.
Pretes t
Permite comprobar: Preguntas tienen sentido, se comprenden, respuestas esperadas •
•
Cubren la variedad de lo que se analiza Disposición conjunta de las preguntas: secuencia lógica, no afecta a la respuesta Instrucciones se entienden
•
Duración no afecta a la respuesta
•
Porcentaje aproximado no respuesta
•
Idoneidad marco muestral Variabilidad población tema de estudio
•
•
• • •
Preparación entrevistadores Coste trabajo de campo
L A PRUEB A DEL CUESTIONA RIO 2. Obs ervación de la entrevis ta Fallos administración cuestionario: •
El entrevistador no lee la pregunta exactamente: mala redacción pregunta
• • • • •
Omite pregunta: especificaciones incorrectas preguntas filtro, mala ubicación pregunta Encuestado solicita aclaración: pregunta no clara Entrevistado interrumpe: pregunta larga Tarda mucho tiempo en responder: pregunta compleja Respuestas inadecuadas: fallos en la pregunta
L A PRUEB A DEL CUESTIONA RIO 3. Valoración de los encu estado s – –
Incluir preguntas al final del cuestionario: interés, extensión, dificultad respuesta, aclaraciones, mejoras a introducir Grupo discusión
4. Valoración entrevistador es –
D at o s c o n t r o l : anotar incidencias
–
Grupo discusión
5. Consulta a expertos (individual o grupal) Identificar errores especificación y medición
6. Entrevistas cognitivas – –
Piensa en alto Retrospectiva: no introduce sesgos respuestas posteriores » Olvido
L A VA L IDEZ DA TOS DE ENCUESTA 1.
Adecuación objetivos de investigación
2.
Valid ez in tern a : control explicaciones alternativas –
Grupos de comparación equiparables
–
Varias mediciones: encuestas panel
3. Validez extern a : generalización –
Representatividad muestra
4. Valid ez d e co n c lu s ión est adís tic a: significatividad análisis –
Incrementar muestra Grupos internamente heterogéneos
–
Adecuar análisis a objetivos
–
L A VA L IDEZ DA TOS DE ENCUESTA 5. Validez de co ns truc to : medición conceptos –
Delimitación clara conceptos medir
–
Operacionalización múltiple
•
Validez concurrente
•
Validez predictiva
Problemas: –
Validez medidas establecidas
–
Congruencia respuesta - conducta
PROCEDIMIENTOS PA RA COM PROB A R VA L IDEZ M EDICIÓN 1.
Experimentos split-ballot
2.
Contrastación informes administrativos
3.
Observación de la encuesta • •
– – –
4.
Información entrevistadores y encuestados Entrevistas cognitivas Reentrevista
Evaluación cuestionarios – – –
5.
Mala actuación entrevistador Mal diseño cuestionario
Consulta a expertos Revisión de cada pregunta Contrastación preguntas: análisis multivariable
Estudios de grupo de criterio
COMPRO B A CIÓN DE L A FIA B IL IDA D Consistencia medición
1.
Método test – retest –
–
2.
Efectos de memoria Reactividad del test
Método alternativo – –
3.
Dificultad crear ítems comparables Distinción cambio verdadero de infiabilidad
Método de las dos mitades –
Mitades homogéneas
4.
Método de consistencia interna alfa de Cronbach
5.
Análisis factorial y discriminante
RECOMENDA CIONES PA RA MEJORA R LA FIA B IL IDAD 1. Seleccionar una muestra amplia y heterogénea 2. Operacionalización múltiple –
Eliminar ítem s no relevantes
3. Aumentar varianza variables 4. Estandarizar el proceso de recogida de la información 5. Reducir la incidencia de todos los errores de encuesta
