REGRESION LINEAL SIMPLE Con frecuencia, nos encontramos en economía con modelos en los que el comportamiento de una variable, Y, se puede explicar a través de una variable X; lo que representamos r epresentamos mediante Y = f (X) (1) Si consideramos que la relación f, que liga Y con X, es lineal, entonces (1) se puede escribir así: t 1 2 t Y = β + β X (2) Como quiera que las relaciones del tipo anterior raramente son exactas, sino que más bien son aproximaciones en las que se han omitido muchas variables de importancia secundaria, debemos incluir un término de perturbación aleatoria ε, que refleja todos los factores – distintos de X -que influyen sobre la variable endógena, pero que ninguno de ellos es relevante individualmente. Con ello, laCuando se quiere saber en qué medida están relacionadas dos variables en estudio estudio se utiliza el modelo de regresión lineal simple, simple, expresado de la forma:
Y = β0 + β1X + ε
Y:
Variable dependiente
β0 y β1:
Parámetros del modelo
X:
Variable independiente
ε:
Error del modelo
ECUACION DE REGRESION LINEAL SIMPLE Cuando tenemos varias distribuciones de datos con su propia media o valor esperado
E (Y) = β0 + β1X
La relación lineal entre las dos variable puede ser: E(Y) Relación lineal positiva
Si β1 > 0 X E(Y)
Relación lineal negativa
Si β1 < 0 X E(Y)
No hay relación
Si β1 = 0 X
Ahora bien, cuando no se conocen los valores poblacionales se utiliza la
ECUACION DE REGRESION LINEAL SIMPLE ESTIMADA:
y = b0 + b1x
y : es el estimador puntual de E(Y) b0 , b1: estimadores de β0 y β1 respectivamente Para hallar la recta de regresión lineal simple estimada, a través de los datos muestrales, se utilizara el METODO DE LOS MINIMOS CUADRADOS, criterio consiste en encontrar los valores de b 0 y b 1 que hacen mínima la suma de los cuadrados de las desviaciones entre los valores observados de la variable dependiente y los valores estimados de la misma.
Ejemplo: Suponemos una muestra de 10 restaurantes que presenta el número de clientes y las ventas trimestrales: Restaurant Clientes (miles) Ventas (miles BF)
1
2
3
4
5
6
7
8
9
10
2
6
8
8
12
16
20
20
22
26
58
105
88
118
117
137
157
169
149
202
DIAGRAMA DE DISPERSION: Se obtiene de graficar los valores de las variables, en este caso clientes (que será X) contra ventas (Y)
Yi 250
200
150
100
50
0 0
5
10
15
20
25
30
Xi
Para predecir las ventas del restaurante se utilizará la recta de regresión lineal de la forma:
yi = b0 + b1xi yi
: valor estimado de las ventas del restaurante
b0 : intersección de la recta con el eje Y b1 : pendiente de la recta xi : número de clientes por restaurant
CRITERIO DE LOS MINIMOS CUADRADOS Consiste en encontrar los valores de b0 y b1 que hacen mínima la suma de los cuadrados de las desviaciones entre los valores observados y los valores estimados de la misma variable. Se utilizan los datos muestrales. Entonces la notación del criterio es: minΣ(yi – yi)2
yi : valores observados de la variable dependiente yi : valores estimados de la variable dependiente
Siguendo con el ejemplo
∑ ∑
-12 -8 -6 -6 -2 2 6 6 8 12
-72 -25 -42 -12 -13 7 27 39 19 72
864 200 252 72 26 14 162 234 152 864 2840
)
144 64 36 36 4 4 36 36 64 144 568
Luego:
yi = 60 + 5xi 250
200
150 Series1 100
50
0 0
5
10
15
20
25
30
La pendiente b1 es positiva lo que indica que la relación lineal entre las dos variables, número de clientes y venta trimestral es directamente proporcional. Podemos predecir con la recta obtenida las ventas para cualquier número de clientes, por ejemplo, para un restaurant con 16.000 clientes las ventas serán de
yi = 60 + 5Xi = 60 +5*16 = 60 + 80 = 140
Es decir, 140.000 Bs
SUMA DEL CUADRADO DE LOS ERRORES:
SCE :
SUMA DE CUADRADOS TOTAL:
STC :
SUMA DE CUADRADOS DE LA REGRESION:
SCR :
Se demuestra que: SCT = SCR + SCE
̅̂ ̂̅
Para el ejemplo:
̂
̂
y-
̂ ̅ ̂̅
(yi - )
2
70
-12
144
5184
3600
90
15
225
625
1600
100
-12
144
1764
900
100
18
324
144
900
120
-3
9
169
100
140
-3
9
49
100
160
-3
9
729
900
160
9
81
1521
900
170
-21
441
361
1600
190
12
144
5184
3600
1530
15730
14200
COEFICIENTE DE DETERMINACION:
* 100
Se expresa en forma de porcentaje, en el caso del ejemplo, r2 = 14200/15730 = 0.9027*100, se entiende que el 90.27 % de la variabilidad en las ventas es explicado por la relación lineal entre los clientes y las ventas.
COEFICIENTE DE CORRELACION MUESTRAL:
1
Si
tiende a 1 hay mayor correlación positiva tiende a 1 hay mayor correlación negativa tiende a 0 no hay correlación
√
Para el ejemplo Luego, como
=+
= + 0.9051
tiende a 1 se puede decir que hay fuerte correlación positiva.
ERROR ESTANDAR DE ESTIMACION
TABLA ANOVA. EL CONTRASTE DE REGRESIÓN. En este apartado se descompone la variabilidad de la variable respuesta en variabilidad explicada por el modelo más variabilidad no explicada o residual, esto permitirá contrastar si el modelo es significativo o no. Bajo la hipótesis de que existe una relación lineal entre la variable predicción y predictora, se quiere realizar el siguiente contraste de hipótesis,
frente a la alternativa
por tanto, si se acepta H0, la variable predictora no influye y no hay relación lineal entre ambas variables. En caso contrario, si existe una dependencia lineal de la variable respuesta respecto a la predictora. Para todos los datos muestrales se hace la siguiente descomposición
elevando al cuadrado y sumando se obtiene,
en base a la ortagonalidad de los vectores se obtiene que los productos cruzados son cero, de donde se sigue la siguiente igualdad (Teorema de Pitágoras) que permite descomponer la variabilidad de la variable respuesta en la variabilidad explicada por la recta de regresión
más la variabilidad residual o no explicada por el modelo ajustado
Global o Total
,
del Error
de la Regresión
Ahora se puede construir la siguiente tabla ANOVA Tabla ANOVA del modelo de regresión simple Fuente de Variación
Suma de Cuadrados
Grados de Libertad
ERROR
SCE =
2
1
REGRESION
SCR =
2
n-2
TOTAL
SCT =
2
n-1
Varianzas
Para probar si la regresión efectuada es significativa se utilizan tres tipos de pruebas de significación: Prueba t Intervalo de confianza para β1 Prueba F PRUEBA T: Se elabora el contraste para la no relación entre las variables, es decir que la pendiente de la recta de regresión β1 es cero contra la pendiente diferente de cero. H0: β1 = 0 Ha: β1 ≠ 0 Si se rechaza H0 es porque hay una relación estadísticamente significativa entre las variables. El estadístico de prueba para este contraste es:
En donde
Criterios de rechazo: p-Valor: RECHAZO si p-valor ≤ α Valor crítico: RECHAZO si t ≤ -t α/2 RECHAZO si t ≥ t α/2 INTERVALO DE CONFIANZA PARA β1 b1 ± ME ME= t α/2 * sb1
Donde t tiene n-2 grados de libertad
