MODELOS DE ELECCIÓN BINARIA
Econometría I – UNLP http://www.econometria1.depeco.eco http://www.econometria1.depeco.econo.unlp.edu.ar/ no.unlp.edu.ar/
Modelos de Elección Binaria: Introducción
Estamos interesados interesados en la probabilidad de ocurrencia de cierto evento
Podemos representar representar la ocurrencia del evento mediante un indicador binario que es igual a 1 si el evento ocurre (éxito ( éxito)) y 0 si no ocurre (fracaso ( fracaso). ).
Denotemos
a esta variable dependiente binaria como Y.
Econometría I – 2014 – Modelos de Elección Binaria - 2 -
Algunos ejemplos: 1
si el individuo trabaja
0
en caso contrario
Modelos de empleo: Y =
1
si el banco quebró
0
en caso contrario
Performance de entidades financieras: Y =
1
si el chico abandonó la escuela
0
en caso contrario
Deserción escolar : Y =
Econometría I – 2014 – Modelos de Elección Binaria - 3 -
Un modelo de elección binaria (o de respuesta binaria) es un modelo de la probabilidad de ocurrencia del evento denotado por Y, condicional en un conjunto de variables explicativas incluidas en el vector X (k x1) pi Prob(Y i=1| X i)
para i = 1,…, N
Ejemplos:
Probabilidad que un individuo esté empleado dado su nivel educativo y su experiencia laboral previa.
Probabilidad que un banco quiebre dada la composición de su cartera.
Probabilidad que un chico deje la escuela dada su edad y las características socioeconómicas y demográficas de su familia.
Econometría I – 2014 – Modelos de Elección Binaria - 4 -
Importante notar
Como Y toma sólo los valores 1 y 0, la distribución de Y condicional en X es Bernoulli.
Entonces, si denotamos Prob(Y i=1 | X i) pi
Y por lo tanto:
Pr (Y i= 0 | X i) 1 – pi
E[Y i | X i ]= 1 pi + 0 (1 – pi ) = pi
Esperanza
V[Y i | X i ]= pi (1 – pi )
Varianza
condicional de Y i
condicional de Y i
Econometría I – 2014 – Modelos de Elección Binaria - 5 -
El modelo lineal de probabilidad ¿Cómo especificamos la forma funcional de Pr (Y i=1 | X i)? Una alternativa sería adoptar una forma funcional lineal:
Prob(Y i=1 | X i)= 1+ 2 X 2i +…+ K X Ki = X i’
Modelo Lineal de Probabilidad (MLP)
Notar: o E[Y i |X i ]= pi = X i ’ = 1+ 2 X 2i +…+ K X Ki
Los
parámetros pueden ser estimados por
MCO, regresando Y en X. o V[Yi|Xi]= pi (1 – pi ) = X i ’ (1- X i ’ )
o
Pr ob(Y 1 | X ) k X k
Heterocedasticidad.
El
coeficiente coincide con el efecto marginal.
Econometría I – 2014 – Modelos de Elección Binaria - 6 -
Limitaciones del MLP: 1- Genera predicciones incoherentes con una probabilidad: Vimos
que si Y es una variable binaria la esperanza condicional de Y es una probabilidad (E[Y|X ]= p), entonces debería darse que 0 E[Y|X ] 1.
En
el MLP, E[Y|X ]= X’ .
Los estimadores MC de pueden tomar cualquier valor.
Por lo general, para ciertos valores de X el MLP genera predicciones cuyos valores caen fuera del rango admisible para una probabilidad (negativos o mayores que uno).
Econometría I – 2014 – Modelos de Elección Binaria - 7 -
2- Predice efectos marginales constantes
Pr ob(Y 1 | X ) k X k
El efecto marginal del regresor k-ésimo sobre la Prob(Y=1|X) viene dado por k, que es una magnitud constante independientemente del valor inicial de x k.
Aumentos
sucesivos de x k provocarían siempre el mismo cambio en la probabilidad, lo que eventualmente llevaría a probabilidades negativas (si k< 0) o mayores que uno (si k> 0).
Para un modelo coherente de la probabilidad de cierto fenómeno esperaríamos efectos marginales que varíen con el valor de x k .
Econometría I – 2014 – Modelos de Elección Binaria - 8 -
Modelos no lineales de probabilidad: Logit y Probit Ante estos problemas del MLP, proponemos el siguiente modelo no lineal Prob(Y i | X i ) = pi = F ( 1+ 2 X 2i +…+ K X Ki ) = F ( X i’ )
para i = 1, …, N
en donde F (.) satisface las siguientes propiedades:
F (-) = 0
F () = 1
f (z)dF (z)/dz>0
Notar:
estas propiedades son satisfechas por cualquier función de distribución acumulada.
el MLP corresponde a F ( X i’ )= X i’ , que no está acotada entre 0 y 1.
Las variables X afectan la probabilidad sólo a través del índice lineal X i’ .
Econometría I – 2014 – Modelos de Elección Binaria - 9 -
Dos modelos no lineales alternativos
PROBIT
LOGIT
F(.) es la dist. acumulada Normal estándar
F(.) es la distribución acumulada Logística
F ( X i ' ) ( X i ' )
X i '
1
2
e
z 2 2
dz
F ( X i ' ) ( X i ' )
X i '
e
X i '
1 e
Notar que las correspondientes funciones de densidad vienen dadas por
f ( X i ' ) ( X i ' )
1 2
e
( X i ' ) 2
2
f ( X i ' ) ( X i ' )
e X i '
X i ' 2
(1 e
)
(.)[1 (.)]
Econometría I – 2014 – Modelos de Elección Binaria - 10 -
Gráficamente: la altura de las curvas mide la probabilidad que ocurra el evento correspondiente a Y =1 para cada valor posible del índice lineal X i’ . Probit vs. Logit 1
8 .
6 .
4 .
2 .
0
-4
-2
0 X'b probit
2
4
logit
Econometría I – 2014 – Modelos de Elección Binaria - 11 -
¿Cómo interpretar los modelos no lineales de probabilidad? El efecto marginal de la variable x k es el cambio en la probabilidad de Y =1 ante un cambio marginal en la variable x k . Formalmente:
pi F ( X i ' ) k f ( X i ' ) xk xk Dado
que f (.) >0 siempre, el signo del efecto coincide con el del coeficiente k , por lo tanto el
signo del coeficiente es interpretable pero no su magnitud. Al término f (.) se lo suele llamar “factor de escala”.
El efecto marginal de xk no es constante, depende del punto donde se la evalúe (del valor que se fije para cada una de las variables explicativas X).
Econometría I – 2014 – Modelos de Elección Binaria - 12 -
Los efectos relativos comparan los efectos marginales de dos variables explicativas. Por ejemplo, para las variables x k y x j , el efecto relativo viene dado por:
pi xk k f ( X i ' ) k pi x j j f ( X i ' ) j Notar:
Los efectos relativos no dependen del valor de las X
Los efectos relativos son constantes
Econometría I – 2014 – Modelos de Elección Binaria - 13 -
El efecto marginal de variables binarias no puede obtenerse derivando. Supongamos que el modelo de probabilidad viene dado por:
Pr Y i 1 | X i , d i F ( 1 2 X 2i ... K X Ki d i ) donde d toma únicamente los valores 0 y 1 (por ejemplo, d puede indicar el sexo del individuo)
El efecto de d sobre la probabilidad de Y se obtiene haciendo:
Pr Y 1 | X , d 1 Pr Y 1 | X , d 0 F ( 1 2 X 2i ... K X Ki ) F ( 1 2 X 2i ... K X Ki )
que también depende del valor que tomen todas las variables X.
Econometría I – 2014 – Modelos de Elección Binaria - 14 -
¿Qué valores de las X usamos para computar los efectos marginales?
Una posibilidad: evaluar la derivada en las medias muestrales de las variables.
Problema: la media de las variables explicativas binarias no tiene intuición.
Otra alternativa es evaluar el efecto marginal para la variable explicativa binaria = 1, por ejemplo, y las demás variables en sus valores medios.
El
valor que se fije para las variables dependerá del interés del analista y del problema
en cuestión.
Econometría I – 2014 – Modelos de Elección Binaria - 15 -
¿Logit o Probit?
2
Si z es logística, V[z ]= /3
Definamos
2
1/2
w = z / ( /3) . Luego, V[w ]=1.
Se puede mostrar que la distribución de w (logística reescalada) es muy similar a la normal estándar. En general, los coeficientes que se estiman a partir del modelo Logit exceden a los del 2
Probit en ( /3)
1/2
1.8,
es decir: L 1.8 P
Elegir cualquiera de las dos especificaciones
Pero las comparaciones entre ambas serán válidas sólo si se reescalan los coeficientes.
Econometría I – 2014 – Modelos de Elección Binaria - 16 -
Gráficamente:
Probit vs. Scaled-Logit 1
8 .
6 .
4 .
2 .
0
-4
-2
0 X'b probit
2
4
scaled_logit
Econometría I – 2014 – Modelos de Elección Binaria - 17 -
Ejemplo: Evaluación de metodología de enseñanza Motivación Analizar si una nueva metodología didáctica resulta eficaz o no en la enseñanza de la economía. Referencias:
Ejemplo 19.1 del libro “Análisis Econométrico” Tercera edición de William H. Greene .
Muestra Muestra de 32 alumnos de un estudio realizado por Spector and Mazzeo (1980).
Econometría I – 2014 – Modelos de Elección Binaria - 18 -
El modelo
Variable dependiente binaria: MEJORA: = 1 si el alumno mejoró la nota y 0 si no lo hizo.
Variables explicativas:
CM: media de las calificaciones pasadas del alumno.
NP: nota del alumno en un examen previo al periodo de aprendizaje.
PSI : variable binaria que vale 1 si el alumno estudió con el nuevo método didáctico y 0 si estudió con el método viejo.
Econometría I – 2014 – Modelos de Elección Binaria - 19 -
Datos:
Econometría I – 2014 – Modelos de Elección Binaria - 20 -
Estimación del Modelo Lineal de Probabilidad por MCO . regress mejora cm np psi Source | SS df MS -------------+-----------------------------Model | 3.00227631 3 1.00075877 Residual | 4.21647369 28 .150588346 -------------+-----------------------------Total | 7.21875 31 .232862903
Number of obs F( 3, 28) Prob > F R-squared Adj R-squared Root MSE
= = = = = =
32 6.65 0.0016 0.4159 0.3533 .38806
-----------------------------------------------------------------------------mejora | Coef. Std. Err. t P>|t| [95% Conf. Interval] -------------+---------------------------------------------------------------cm | .4638517 .1619563 2.86 0.008 .1320992 .7956043 np | .0104951 .0194829 0.54 0.594 -.0294137 .0504039 psi | .3785548 .1391727 2.72 0.011 .0934724 .6636372 _cons | -1.498017 .5238886 -2.86 0.008 -2.571154 -.4248801 ------------------------------------------------------------------------------
NOTA: no se pueden interpretar los estadísticos t porque el modelo es heterocedástico (se ve en las siguientes clases).
Econometría I – 2014 – Modelos de Elección Binaria - 21 -
El efecto del pasado académico sobre la probabilidad de mejora, según el MLP
Los alumnos con mayores calificaciones promedio en el pasado (CM) tienen mayor probabilidad de mejorar con la nueva metodología de enseñanza.
Dada la especificación lineal del modelo este efecto es constante: la probabilidad de mejorar aumenta en 0.46 (aprox.) independientemente del tipo de alumno.
Econometría I – 2014 – Modelos de Elección Binaria - 22 -
Problema: predicciones incoherentes con una probabilidad
1
P L M d a d i l i b a b o r p e d n ó i c c i d e r P
-.068185 1
32 Observación
Econometría I – 2014 – Modelos de Elección Binaria - 23 -
Estimación del modelo Probit . probit mejora cm np psi Probit estimates
Log likelihood = -12.818803
Number of obs LR chi2(3) Prob > chi2 Pseudo R2
= = = =
32 15.55 0.0014 0.3775
-----------------------------------------------------------------------------mejora | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+---------------------------------------------------------------cm | 1.62581 .6938818 2.34 0.019 .2658269 2.985794 np | .0517289 .0838901 0.62 0.537 -.1126927 .2161506 psi | 1.426332 .595037 2.40 0.017 .2600814 2.592583 _cons | -7.45232 2.542467 -2.93 0.003 -12.43546 -2.469177 ------------------------------------------------------------------------------
Econometría I – 2014 – Modelos de Elección Binaria - 24 -
Predicciones de probabilidad del Probit
1
d o m d a d i l i b a b o r p e d n ó i c c i d e r P
0 1
32 Observación
Econometría I – 2014 – Modelos de Elección Binaria - 25 -
Probit: efectos marginales I CM = media, NP = media, PSI = media:
cm np psi _cons
Coef 1.626 0.052 1.426 -7.452
Media X 3.117 21.938 0.438 1.000
Distribución normal estandar Densidad normal estandar (factor de escala)
B'X 5.068 1.134 0.625 -7.452 -0.625 0.266 0.328
Efecto marginal 0.5334 0.0170 0.4679
→
Pr(Y=1/X)
Econometría I – 2014 – Modelos de Elección Binaria - 26 -
Probit: efectos marginales II (1) CM = media, NP = media, PSI = 0: cm np psi _cons
Coef 1.626 0.052 1.426 -7.452
Media X 3.117 21.938 0.000 1.000
Distribución normal estandar Densidad normal estandar (factor de escala)
B'X 5.068 1.134 0.000 -7.452 -1.250
Efecto marginal 0.2969 0.0094 0.2605
0.106 0.183
(2) CM = media, NP = media, PSI = 1: cm np psi _cons
Coef 1.626 0.052 1.426 -7.452
Media X 3.117 21.938 1.000 1.000
Distribución normal estandar Densidad normal estandar (factor de escala)
EFECTO MARGINAL PARA LA DUMMY PSI
B'X 5.068 1.134 1.426 -7.452 0.176
Efecto marginal 0.6386 0.0203 0.5603
0.570 0.393
0.4644
Econometría I – 2014 – Modelos de Elección Binaria - 27 -
Estimación del modelo Logit . logit mejora cm np psi Logit estimates
Log likelihood = -12.889633
Number of obs LR chi2(3) Prob > chi2 Pseudo R2
= = = =
32 15.40 0.0015 0.3740
-----------------------------------------------------------------------------mejora | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+---------------------------------------------------------------cm | 2.826113 1.262941 2.24 0.025 .3507938 5.301432 np | .0951577 .1415542 0.67 0.501 -.1822835 .3725988 psi | 2.378688 1.064564 2.23 0.025 .29218 4.465195 _cons | -13.02135 4.931325 -2.64 0.008 -22.68657 -3.35613 ------------------------------------------------------------------------------
Efectos marginales
Mismo procedimiento que con modelo Probit.
Econometría I – 2014 – Modelos de Elección Binaria - 28 -
El efecto del pasado académico sobre la probabilidad de mejora, según el modelo Probit
El efecto es positivo (igual que lo era en el MLP) y significativo al 5%.
Pero la magnitud del coeficiente no es interpretable. El efecto marginal depende del valor de todas las variables explicativas.
Para un alumno que en el pasado tuvo una calificación media de 3, que obtuvo nota 21.94 en el examen previo y que estudió con el nuevo método, la probabilidad predicha de mejorar es de 0.494.
¿Cómo cambia esta probabilidad a medida que aumenta la calificación media (CM)?
- De 3.0 a 3.2 puntos
+ 0.128
- De 3.2 a 3.4 puntos
+ 0.116
- De 3.4 a 3.6 puntos
+ 0.094
- De 3.6 a 3.8 puntos
+ 0.069
- De 3.8 a 4.0 puntos
+ 0.046
Econometría I – 2014 – Modelos de Elección Binaria - 29 -
