Mod elos Linea Modelos Lineales. les. Grado en Estad Est ad´´ıstica Curso 2011/2012. Prof. Dr. Francisco de As As´´ıs Torres Ruiz
Tema 3: El modelo de regresi´ on on lineal simple. Estimaci´ on on por po r m´ axima axi ma verosimil veros imilitud itud
P´ agin agin a www
P´ agina inicial
Contenido
P´ agina 1 agina 1 de 7 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
Mod elos Linea Modelos Lineales. les. Grado en Estad Est ad´´ıstica Curso 2011/2012. Prof. Dr. Francisco de As As´´ıs Torres Ruiz
Tema 3: El modelo de regresi´ on on lineal simple. Estimaci´ on on por po r m´ axima axi ma verosimil veros imilitud itud ´ Indice 1. Int Introducci roducci´ ´ on on
2 P´ agin agin a www
2. Est Estima imaci´ ci´ on del modelo por m´ on axima verosimilitud axima
3
3. Distr Distribuci ibuci´ ´ on de los estimadores on
6
3.1. 3.2. 3.3. 3.4.
Distribuci Distrib uci´on o´n de β 1 . . . . . . . . . . . . . . . . . . . . . . . . Distrib Dis tribuci uci´on o´n de β 0 . . . . . . . . . . . . . . . . . . . . . . . . Distrib Dis tribuci uci´on o´n de σ2 . . . . . . . . . . . . . . . . . . . . . . . Distrib Dis tribuci uci´on o´n de las variabilidades explicada y no explicada. .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
6 6 7 7
P´ agina inicial
Contenido
P´ agina 1 agina 1 de 7 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
Mod elos Linea Modelos Lineales. les. Grado en Estad Est ad´´ıstica Curso 2011/2012. Prof. Dr. Francisco de As As´´ıs Torres Ruiz
Tema 3: El modelo de regresi´ on on lineal simple. Estimaci´ on on por po r m´ axima axi ma verosimil veros imilitud itud ´ Indice 1. Int Introducci roducci´ ´ on on
2 P´ agin agin a www
2. Est Estima imaci´ ci´ on del modelo por m´ on axima verosimilitud axima
3
3. Distr Distribuci ibuci´ ´ on de los estimadores on
6
3.1. 3.2. 3.3. 3.4.
Distribuci Distrib uci´on o´n de β 1 . . . . . . . . . . . . . . . . . . . . . . . . Distrib Dis tribuci uci´on o´n de β 0 . . . . . . . . . . . . . . . . . . . . . . . . Distrib Dis tribuci uci´on o´n de σ2 . . . . . . . . . . . . . . . . . . . . . . . Distrib Dis tribuci uci´on o´n de las variabilidades explicada y no explicada. .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
6 6 7 7
P´ agina inicial
Contenido
P´ agina 1 agina 1 de 7 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
1. Introducci´ on on
P´ agin agin a www
P´ agina inicial
Contenido
P´ agina 2 agina 2 de de 7 7
Regresar
Pantalla completa
Cerrar
Abandonar
1. Introducci´ on on Hasta el momento hemos trabajado con el modelo de regresi´on lineal simple sin haber establecido ning´ un supuesto sobre la distribuci´ un on de las perturbaciones aleatorias i , i = 1, . . . , N . De hecho no ha on sido necesario emplear dichas distribuciones para la estimaci´on on ya que q ue el m´etodo eto do de m´ınimos ıni mos cuadra cua drados dos,, as´ as´ı como las primeras conclusiones que se han obtenido, no requieren nada al respecto. resp ecto.
P´ agin agin a www
P´ agina inicial
Contenido
P´ agina 2 agina 2 de de 7 7
Regresar
Pantalla completa
Cerrar
Abandonar
1. Introducci´ on Hasta el momento hemos trabajado con el modelo de regresi´on lineal simple sin haber establecido ning´ un supuesto sobre la distribuci´ on de las perturbaciones aleatorias i , i = 1, . . . , N . De hecho no ha sido necesario emplear dichas distribuciones para la estimaci´on ya que el m´etodo de m´ınimos cuadrados, as´ı como las primeras conclusiones que se han obtenido, no requieren nada al respecto. Sin embargo, con posterioridad vamos a tratar el tema de contrastes de hip´otesis sobre el modelo para lo cual es imprescindible el conocimiento de las distribuciones de los estimadores obtenidos. Se hace pues necesario la introducci´on de una hip´ otesis adicional en la cual se recoja la base de las distribuciones que se emplear´an.
P´ agin a www
P´ agina inicial
Contenido
P´ agina 2 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
1. Introducci´ on Hasta el momento hemos trabajado con el modelo de regresi´on lineal simple sin haber establecido ning´ un supuesto sobre la distribuci´ on de las perturbaciones aleatorias i , i = 1, . . . , N . De hecho no ha sido necesario emplear dichas distribuciones para la estimaci´on ya que el m´etodo de m´ınimos cuadrados, as´ı como las primeras conclusiones que se han obtenido, no requieren nada al respecto. Sin embargo, con posterioridad vamos a tratar el tema de contrastes de hip´otesis sobre el modelo para lo cual es imprescindible el conocimiento de las distribuciones de los estimadores obtenidos. Se hace pues necesario la introducci´on de una hip´ otesis adicional en la cual se recoja la base de las distribuciones que se emplear´an. As´ı la hip´otesis que se plantea es la de que las perturbaciones aleatorias son independientes y est´an id´enticamente distribuidas atendiendo a una normal de media cero y varianza σ2 ; es decir P´ agin a www
P´ agina inicial
Contenido
P´ agina 2 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
1. Introducci´ on Hasta el momento hemos trabajado con el modelo de regresi´on lineal simple sin haber establecido ning´ un supuesto sobre la distribuci´ on de las perturbaciones aleatorias i , i = 1, . . . , N . De hecho no ha sido necesario emplear dichas distribuciones para la estimaci´on ya que el m´etodo de m´ınimos cuadrados, as´ı como las primeras conclusiones que se han obtenido, no requieren nada al respecto. Sin embargo, con posterioridad vamos a tratar el tema de contrastes de hip´otesis sobre el modelo para lo cual es imprescindible el conocimiento de las distribuciones de los estimadores obtenidos. Se hace pues necesario la introducci´on de una hip´ otesis adicional en la cual se recoja la base de las distribuciones que se emplear´an. As´ı la hip´otesis que se plantea es la de que las perturbaciones aleatorias son independientes y est´an id´enticamente distribuidas atendiendo a una normal de media cero y varianza σ2 ; es decir i
N1 [0; σ2 ] ; i = 1, . . . , N
P´ agin a www
P´ agina inicial
Contenido
P´ agina 2 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
1. Introducci´ on Hasta el momento hemos trabajado con el modelo de regresi´on lineal simple sin haber establecido ning´ un supuesto sobre la distribuci´ on de las perturbaciones aleatorias i , i = 1, . . . , N . De hecho no ha sido necesario emplear dichas distribuciones para la estimaci´on ya que el m´etodo de m´ınimos cuadrados, as´ı como las primeras conclusiones que se han obtenido, no requieren nada al respecto. Sin embargo, con posterioridad vamos a tratar el tema de contrastes de hip´otesis sobre el modelo para lo cual es imprescindible el conocimiento de las distribuciones de los estimadores obtenidos. Se hace pues necesario la introducci´on de una hip´ otesis adicional en la cual se recoja la base de las distribuciones que se emplear´an. As´ı la hip´otesis que se plantea es la de que las perturbaciones aleatorias son independientes y est´an id´enticamente distribuidas atendiendo a una normal de media cero y varianza σ2 ; es decir i
N1 [0; σ2 ] ; i = 1, . . . , N
P´ agin a www
P´ agina inicial
o, equivalentemente, las variables yi son independientes y est´an distribuidas, para cada xi , de forma normal N1 [β 0 + β 1 xi ; σ2 ] ; i = 1, . . . , N . yi
Contenido
P´ agina 2 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
1. Introducci´ on Hasta el momento hemos trabajado con el modelo de regresi´on lineal simple sin haber establecido ning´ un supuesto sobre la distribuci´ on de las perturbaciones aleatorias i , i = 1, . . . , N . De hecho no ha sido necesario emplear dichas distribuciones para la estimaci´on ya que el m´etodo de m´ınimos cuadrados, as´ı como las primeras conclusiones que se han obtenido, no requieren nada al respecto. Sin embargo, con posterioridad vamos a tratar el tema de contrastes de hip´otesis sobre el modelo para lo cual es imprescindible el conocimiento de las distribuciones de los estimadores obtenidos. Se hace pues necesario la introducci´on de una hip´ otesis adicional en la cual se recoja la base de las distribuciones que se emplear´an. As´ı la hip´otesis que se plantea es la de que las perturbaciones aleatorias son independientes y est´an id´enticamente distribuidas atendiendo a una normal de media cero y varianza σ2 ; es decir i
N1 [0; σ2 ] ; i = 1, . . . , N
P´ agin a www
P´ agina inicial
o, equivalentemente, las variables yi son independientes y est´an distribuidas, para cada xi , de forma normal N1 [β 0 + β 1 xi ; σ2 ] ; i = 1, . . . , N . yi
Esta hip´otesis ha de ser verificada siempre en el an´alisis de un modelo de regresi´on lineal, ya que supedita gran parte del tratamiento que con posterioridad se va a realizar.
Contenido
P´ agina 2 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
2. Estimaci´ on del modelo por m´ axima verosimilitud Como ya se ha comentado anteriormente, la hip´otesis de normalidad sobre los t´erminos de error conlleva el hecho de que las variables y i sean normales e independientes, por lo que es inmediato construir la funci´on de verosimilitud asociada a la muestra { y1 , . . . , yN }.
P´ agin a www
P´ agina inicial
Contenido
P´ agina 3 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
2. Estimaci´ on del modelo por m´ axima verosimilitud Como ya se ha comentado anteriormente, la hip´otesis de normalidad sobre los t´erminos de error conlleva el hecho de que las variables y i sean normales e independientes, por lo que es inmediato construir la funci´on de verosimilitud asociada a la muestra { y1 , . . . , yN }. L(y1 , . . . , yN ; β 0 , β 1 , σ 2 ) = (2πσ 2 )
−N 2
exp −
1 2σ 2
N
i=1
[yi − β 0 − β 1 xi ]2
.
P´ agin a www
P´ agina inicial
Contenido
P´ agina 3 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
2. Estimaci´ on del modelo por m´ axima verosimilitud Como ya se ha comentado anteriormente, la hip´otesis de normalidad sobre los t´erminos de error conlleva el hecho de que las variables y i sean normales e independientes, por lo que es inmediato construir la funci´on de verosimilitud asociada a la muestra { y1 , . . . , yN }. L(y1 , . . . , yN ; β 0 , β 1 , σ 2 ) = (2πσ 2 )
−N 2
exp −
1 2σ 2
N
[yi − β 0 − β 1 xi ]2
i=1
.
Nuestra idea es obtener los estimadores m´aximo-veros´ımiles para los par´ametros β 0 , β 1 y σ2 . Para ello hay que realizar la maximizaci´on de la anterior funci´on y encontrar β0 , β1 y σ 2 tales que
P´ agin a www
P´ agina inicial
Contenido
P´ agina 3 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
2. Estimaci´ on del modelo por m´ axima verosimilitud Como ya se ha comentado anteriormente, la hip´otesis de normalidad sobre los t´erminos de error conlleva el hecho de que las variables y i sean normales e independientes, por lo que es inmediato construir la funci´on de verosimilitud asociada a la muestra { y1 , . . . , yN }. L(y1 , . . . , yN ; β 0 , β 1 , σ 2 ) = (2πσ 2 )
−N 2
exp −
1 2σ 2
N
[yi − β 0 − β 1 xi ]2
i=1
.
Nuestra idea es obtener los estimadores m´aximo-veros´ımiles para los par´ametros β 0 , β 1 y σ2 . Para ello hay que realizar la maximizaci´on de la anterior funci´on y encontrar β0 , β1 y σ 2 tales que
L(y1 , . . . , yN ; β0 , β 1 , σ 2 ) = Sup L(y1 , . . . , yN ; β 0 , β 1 , σ 2 ) . β 0 ,β 1 ,σ 2
P´ agin a www
P´ agina inicial
Contenido
P´ agina 3 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
2. Estimaci´ on del modelo por m´ axima verosimilitud Como ya se ha comentado anteriormente, la hip´otesis de normalidad sobre los t´erminos de error conlleva el hecho de que las variables y i sean normales e independientes, por lo que es inmediato construir la funci´on de verosimilitud asociada a la muestra { y1 , . . . , yN }. L(y1 , . . . , yN ; β 0 , β 1 , σ 2 ) = (2πσ 2 )
−N 2
exp −
1 2σ 2
N
[yi − β 0 − β 1 xi ]2
i=1
.
Nuestra idea es obtener los estimadores m´aximo-veros´ımiles para los par´ametros β 0 , β 1 y σ2 . Para ello hay que realizar la maximizaci´on de la anterior funci´on y encontrar β0 , β1 y σ 2 tales que
L(y1 , . . . , yN ; β0 , β 1 , σ 2 ) = Sup L(y1 , . . . , yN ; β 0 , β 1 , σ 2 ) . β 0 ,β 1 ,σ 2
Para ello, en principio, habr´a que derivar la funci´on de verosimilitud y encontrar sus puntos cr´ıticos. Asimismo, como trabajar con dicha funci´on es algo complicado, lo que suele hacerse es considerar su logaritmo ya que, al ser el logaritmo creciente, conserva los puntos cr´ıticos. En este caso
P´ agin a www
P´ agina inicial
Contenido
P´ agina 3 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
2. Estimaci´ on del modelo por m´ axima verosimilitud Como ya se ha comentado anteriormente, la hip´otesis de normalidad sobre los t´erminos de error conlleva el hecho de que las variables y i sean normales e independientes, por lo que es inmediato construir la funci´on de verosimilitud asociada a la muestra { y1 , . . . , yN }. L(y1 , . . . , yN ; β 0 , β 1 , σ 2 ) = (2πσ 2 )
−N 2
exp −
1 2σ 2
N
[yi − β 0 − β 1 xi ]2
i=1
.
Nuestra idea es obtener los estimadores m´aximo-veros´ımiles para los par´ametros β 0 , β 1 y σ2 . Para ello hay que realizar la maximizaci´on de la anterior funci´on y encontrar β0 , β1 y σ 2 tales que
L(y1 , . . . , yN ; β0 , β 1 , σ 2 ) = Sup L(y1 , . . . , yN ; β 0 , β 1 , σ 2 ) . β 0 ,β 1 ,σ 2
P´ agin a www
Para ello, en principio, habr´a que derivar la funci´on de verosimilitud y encontrar sus puntos cr´ıticos. Asimismo, como trabajar con dicha funci´on es algo complicado, lo que suele hacerse es considerar su logaritmo ya que, al ser el logaritmo creciente, conserva los puntos cr´ıticos. En este caso 1 N N log(L(y1 , . . . , yN ; β 0 , β 1 , σ2 )) = − log(2π) − log(σ 2 ) − 2 2 2 2σ siendo las parciales, respecto de los par´ametros, las siguientes
N
i=1
[yi − β 0 − β 1 xi ]2
P´ agina inicial
Contenido
P´ agina 3 de 7
Regresar
Pantalla completa
∂ log L = ∂β 0
∂ log L = ∂β 1
Cerrar
Abandonar
∂ log L = ∂σ 2
2. Estimaci´ on del modelo por m´ axima verosimilitud Como ya se ha comentado anteriormente, la hip´otesis de normalidad sobre los t´erminos de error conlleva el hecho de que las variables y i sean normales e independientes, por lo que es inmediato construir la funci´on de verosimilitud asociada a la muestra { y1 , . . . , yN }. L(y1 , . . . , yN ; β 0 , β 1 , σ 2 ) = (2πσ 2 )
−N 2
exp −
1 2σ 2
N
[yi − β 0 − β 1 xi ]2
i=1
.
Nuestra idea es obtener los estimadores m´aximo-veros´ımiles para los par´ametros β 0 , β 1 y σ2 . Para ello hay que realizar la maximizaci´on de la anterior funci´on y encontrar β0 , β1 y σ 2 tales que
L(y1 , . . . , yN ; β0 , β 1 , σ 2 ) = Sup L(y1 , . . . , yN ; β 0 , β 1 , σ 2 ) . β 0 ,β 1 ,σ 2
P´ agin a www
Para ello, en principio, habr´a que derivar la funci´on de verosimilitud y encontrar sus puntos cr´ıticos. Asimismo, como trabajar con dicha funci´on es algo complicado, lo que suele hacerse es considerar su logaritmo ya que, al ser el logaritmo creciente, conserva los puntos cr´ıticos. En este caso 1 N N log(L(y1 , . . . , yN ; β 0 , β 1 , σ2 )) = − log(2π) − log(σ 2 ) − 2 2 2 2σ siendo las parciales, respecto de los par´ametros, las siguientes 1 ∂ log L = 2 ∂β 0 σ ∂ log L = ∂σ 2
i=1
i=1
[yi − β 0 − β 1 xi ]2
Contenido
P´ agina 3 de 7
Regresar
Pantalla completa
N
N
P´ agina inicial
[yi − β 0 − β 1 xi ]
∂ log L = ∂β 1
Cerrar
Abandonar
2. Estimaci´ on del modelo por m´ axima verosimilitud Como ya se ha comentado anteriormente, la hip´otesis de normalidad sobre los t´erminos de error conlleva el hecho de que las variables y i sean normales e independientes, por lo que es inmediato construir la funci´on de verosimilitud asociada a la muestra { y1 , . . . , yN }. L(y1 , . . . , yN ; β 0 , β 1 , σ 2 ) = (2πσ 2 )
−N 2
exp −
1 2σ 2
N
[yi − β 0 − β 1 xi ]2
i=1
.
Nuestra idea es obtener los estimadores m´aximo-veros´ımiles para los par´ametros β 0 , β 1 y σ2 . Para ello hay que realizar la maximizaci´on de la anterior funci´on y encontrar β0 , β1 y σ 2 tales que
L(y1 , . . . , yN ; β0 , β 1 , σ 2 ) = Sup L(y1 , . . . , yN ; β 0 , β 1 , σ 2 ) . β 0 ,β 1 ,σ 2
P´ agin a www
Para ello, en principio, habr´a que derivar la funci´on de verosimilitud y encontrar sus puntos cr´ıticos. Asimismo, como trabajar con dicha funci´on es algo complicado, lo que suele hacerse es considerar su logaritmo ya que, al ser el logaritmo creciente, conserva los puntos cr´ıticos. En este caso 1 N N log(L(y1 , . . . , yN ; β 0 , β 1 , σ2 )) = − log(2π) − log(σ 2 ) − 2 2 2 2σ siendo las parciales, respecto de los par´ametros, las siguientes 1 ∂ log L = 2 ∂β 0 σ ∂ log L = ∂σ 2
N
i=1
[yi − β 0 − β 1 xi ]
1 ∂ log L = 2 ∂β 1 σ
N
[yi − β 0 − β 1 xi ]2
i=1
Contenido
P´ agina 3 de 7
Regresar
Pantalla completa
N
i=1
P´ agina inicial
[yi − β 0 − β 1 xi ] xi
Cerrar
Abandonar
2. Estimaci´ on del modelo por m´ axima verosimilitud Como ya se ha comentado anteriormente, la hip´otesis de normalidad sobre los t´erminos de error conlleva el hecho de que las variables y i sean normales e independientes, por lo que es inmediato construir la funci´on de verosimilitud asociada a la muestra { y1 , . . . , yN }. L(y1 , . . . , yN ; β 0 , β 1 , σ 2 ) = (2πσ 2 )
−N 2
exp −
1 2σ 2
N
[yi − β 0 − β 1 xi ]2
i=1
.
Nuestra idea es obtener los estimadores m´aximo-veros´ımiles para los par´ametros β 0 , β 1 y σ2 . Para ello hay que realizar la maximizaci´on de la anterior funci´on y encontrar β0 , β1 y σ 2 tales que
L(y1 , . . . , yN ; β0 , β 1 , σ 2 ) = Sup L(y1 , . . . , yN ; β 0 , β 1 , σ 2 ) . β 0 ,β 1 ,σ 2
P´ agin a www
Para ello, en principio, habr´a que derivar la funci´on de verosimilitud y encontrar sus puntos cr´ıticos. Asimismo, como trabajar con dicha funci´on es algo complicado, lo que suele hacerse es considerar su logaritmo ya que, al ser el logaritmo creciente, conserva los puntos cr´ıticos. En este caso 1 N N log(L(y1 , . . . , yN ; β 0 , β 1 , σ2 )) = − log(2π) − log(σ 2 ) − 2 2 2 2σ siendo las parciales, respecto de los par´ametros, las siguientes 1 ∂ log L = 2 ∂β 0 σ
N
[yi − β 0 − β 1 xi ]
i=1
1 ∂ log L N = + − 2σ 2 2(σ2 )2 ∂σ 2
N
i=1
[yi − β 0 − β 1 xi ]2
1 ∂ log L = 2 ∂β 1 σ
N
[yi − β 0 − β 1 xi ]2
i=1
Contenido
P´ agina 3 de 7
Regresar
Pantalla completa
N
i=1
P´ agina inicial
[yi − β 0 − β 1 xi ] xi
Cerrar
Abandonar
Igualando las dos primeras parciales a cero se tiene el siguiente sistema de ecuaciones
P´ agin a www
P´ agina inicial
Contenido
P´ agina 4 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
Igualando las dos primeras parciales a cero se tiene el siguiente sistema de ecuaciones N
n
yi = N β 0 + β 1
i=1
N
i=1
N
xi yi = β 0
i=1
xi n
xi + β 1
i=1
x2i
i=1
P´ agin a www
P´ agina inicial
Contenido
P´ agina 4 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
Igualando las dos primeras parciales a cero se tiene el siguiente sistema de ecuaciones N
n
yi = N β 0 + β 1
i=1
N
i=1
N
xi yi = β 0
i=1
xi n
xi + β 1
i=1
x2i
i=1
que no es otro que el sistema de ecuaciones normales que se obtuvo tras la estimaci´on por m´ınimos cuadrados ordinarios. Con ello los estimadores m´aximo veros´ımiles de β 0 y β 1 son los mismos que los m´ınimo cuadr´aticos.
P´ agin a www
P´ agina inicial
Contenido
P´ agina 4 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
Igualando las dos primeras parciales a cero se tiene el siguiente sistema de ecuaciones N
n
yi = N β 0 + β 1
i=1
N
i=1
N
xi yi = β 0
i=1
xi n
xi + β 1
i=1
x2i
i=1
que no es otro que el sistema de ecuaciones normales que se obtuvo tras la estimaci´on por m´ınimos cuadrados ordinarios. Con ello los estimadores m´aximo veros´ımiles de β 0 y β 1 son los mismos que los m´ınimo cuadr´aticos. A continuaci´ on igualamos la tercera parcial a cero y sustituimos los par´ametros β 0 y β 1 por los estimadores anteriores, concluyendo que el estimador m´aximo veros´ımil para σ2 es P´ agin a www
P´ agina inicial
Contenido
P´ agina 4 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
Igualando las dos primeras parciales a cero se tiene el siguiente sistema de ecuaciones N
n
yi = N β 0 + β 1
i=1
xi
i=1
N
N
n
xi yi = β 0
i=1
xi + β 1
i=1
x2i
i=1
que no es otro que el sistema de ecuaciones normales que se obtuvo tras la estimaci´on por m´ınimos cuadrados ordinarios. Con ello los estimadores m´aximo veros´ımiles de β 0 y β 1 son los mismos que los m´ınimo cuadr´aticos. A continuaci´ on igualamos la tercera parcial a cero y sustituimos los par´ametros β 0 y β 1 por los estimadores anteriores, concluyendo que el estimador m´aximo veros´ımil para σ2 es P´ agin a www
N
σ2 =
e2i
i=1
N
P´ agina inicial
Contenido
P´ agina 4 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
Igualando las dos primeras parciales a cero se tiene el siguiente sistema de ecuaciones N
n
yi = N β 0 + β 1
i=1
xi
i=1
N
N
n
xi yi = β 0
i=1
xi + β 1
i=1
x2i
i=1
que no es otro que el sistema de ecuaciones normales que se obtuvo tras la estimaci´on por m´ınimos cuadrados ordinarios. Con ello los estimadores m´aximo veros´ımiles de β 0 y β 1 son los mismos que los m´ınimo cuadr´aticos. A continuaci´ on igualamos la tercera parcial a cero y sustituimos los par´ametros β 0 y β 1 por los estimadores anteriores, concluyendo que el estimador m´aximo veros´ımil para σ2 es P´ agin a www
N
σ2 =
e2i
i=1
N
que ya no coincide con el estimador de m´ınimos cuadrados. Adem´as este estimador no es insesgado ya que
P´ agina inicial
Contenido
P´ agina 4 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
Igualando las dos primeras parciales a cero se tiene el siguiente sistema de ecuaciones N
n
yi = N β 0 + β 1
i=1
xi
i=1
N
N
n
xi yi = β 0
i=1
xi + β 1
i=1
x2i
i=1
que no es otro que el sistema de ecuaciones normales que se obtuvo tras la estimaci´on por m´ınimos cuadrados ordinarios. Con ello los estimadores m´aximo veros´ımiles de β 0 y β 1 son los mismos que los m´ınimo cuadr´aticos. A continuaci´ on igualamos la tercera parcial a cero y sustituimos los par´ametros β 0 y β 1 por los estimadores anteriores, concluyendo que el estimador m´aximo veros´ımil para σ2 es P´ agin a www
N
σ2 =
e2i
i=1
N
que ya no coincide con el estimador de m´ınimos cuadrados. Adem´as este estimador no es insesgado ya que E[σ 2 ] =
N − 2 2 σ N
P´ agina inicial
Contenido
P´ agina 4 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
Igualando las dos primeras parciales a cero se tiene el siguiente sistema de ecuaciones N
n
yi = N β 0 + β 1
i=1
xi
i=1
N
N
n
xi yi = β 0
i=1
xi + β 1
i=1
x2i
i=1
que no es otro que el sistema de ecuaciones normales que se obtuvo tras la estimaci´on por m´ınimos cuadrados ordinarios. Con ello los estimadores m´aximo veros´ımiles de β 0 y β 1 son los mismos que los m´ınimo cuadr´aticos. A continuaci´ on igualamos la tercera parcial a cero y sustituimos los par´ametros β 0 y β 1 por los estimadores anteriores, concluyendo que el estimador m´aximo veros´ımil para σ2 es P´ agin a www
N
σ2 =
e2i
i=1
N
que ya no coincide con el estimador de m´ınimos cuadrados. Adem´as este estimador no es insesgado ya que E[σ 2 ] =
N − 2 2 σ N
raz´on por la cual vamos a adoptar la v´ıa de tomar como estimador de la varianza de las perturbaciones el estimador m´ınimo cuadr´atico.
P´ agina inicial
Contenido
P´ agina 4 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
Igualando las dos primeras parciales a cero se tiene el siguiente sistema de ecuaciones N
n
yi = N β 0 + β 1
i=1
xi
i=1
N
N
n
xi yi = β 0
i=1
xi + β 1
i=1
x2i
i=1
que no es otro que el sistema de ecuaciones normales que se obtuvo tras la estimaci´on por m´ınimos cuadrados ordinarios. Con ello los estimadores m´aximo veros´ımiles de β 0 y β 1 son los mismos que los m´ınimo cuadr´aticos. A continuaci´ on igualamos la tercera parcial a cero y sustituimos los par´ametros β 0 y β 1 por los estimadores anteriores, concluyendo que el estimador m´aximo veros´ımil para σ2 es P´ agin a www
N
σ2 =
e2i
i=1
N
que ya no coincide con el estimador de m´ınimos cuadrados. Adem´as este estimador no es insesgado ya que E[σ 2 ] =
N − 2 2 σ N
raz´on por la cual vamos a adoptar la v´ıa de tomar como estimador de la varianza de las perturbaciones el estimador m´ınimo cuadr´atico. Evidentemente nos queda comprobar que la soluci´on obtenida para el sistema de ecuaciones anterior maximiza la funci´on de verosimilitud. En efecto, puede comprobarse que:
P´ agina inicial
Contenido
P´ agina 4 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
N
2 log
∂
∂β 02
L
= −
2 log
N
2
xi
L N ∂ = − i=1 2 , 2 2 σ ∂β 1 σ
,
2 log
N
xi
L ∂ = − i=1 2 ∂β 1 ∂β 0 σ
,
2 log
L ∂ = − i=1 2 ∂σ ∂β 0
N
∂ 2 log L = − i=1 2 ∂σ ∂β 1
[yi − β 0 − β 1 xi ] (σ 2 )2
N
[yi − β 0 − β 1 xi ]xi (σ2 )2
,
∂ 2 log L N = − 2 2 2(σ2 )2 ∂ (σ )
[yi − β 0 − β 1 xi ]2
i=1
(σ 2 )3
P´ agin a www
P´ agina inicial
Contenido
P´ agina 5 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
N
2 log
∂
∂β 02
L
= −
2 log
N
2
xi
L N ∂ = − i=1 2 , 2 2 σ ∂β 1 σ
,
2 log
N
xi
L ∂ = − i=1 2 ∂β 1 ∂β 0 σ
,
2 log
L ∂ = − i=1 2 ∂σ ∂β 0
N
∂ 2 log L = − i=1 2 ∂σ ∂β 1
[yi − β 0 − β 1 xi ] (σ 2 )2
N
[yi − β 0 − β 1 xi ]xi (σ2 )2
,
∂ 2 log L N = − 2 2 2(σ2 )2 ∂ (σ )
[yi − β 0 − β 1 xi ]2
i=1
(σ 2 )3
por lo que la matriz hessiana en el punto β0 , β 1 , σ2 queda en la forma
P´ agin a www
P´ agina inicial
Contenido
P´ agina 5 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
N
2 log
∂
∂β 02
L
= −
2 log
N
2
xi
L N ∂ = − i=1 2 , 2 2 σ ∂β 1 σ
2 log
N
xi
L ∂ = − i=1 2 ∂β 1 ∂β 0 σ
,
,
2 log
L ∂ = − i=1 2 ∂σ ∂β 0
N
∂ 2 log L = − i=1 2 ∂σ ∂β 1
[yi − β 0 − β 1 xi ] (σ 2 )2
N
[yi − β 0 − β 1 xi ]xi
∂ 2 log L N = − 2 2 2(σ2 )2 ∂ (σ )
,
(σ2 )2
[yi − β 0 − β 1 xi ]2
i=1
(σ 2 )3
por lo que la matriz hessiana en el punto β0 , β 1 , σ2 queda en la forma N
−
H (β0 , β1 , σ 2 ) =
N/σ2
−
xi /σ
2
0
i=1 N
N
−
xi /σ
i=1
0
2
2
−
xi /σ
i=1
0
2
0
−N/2(σ2 )2
N
Nx
0
P´ agin a www
N
= −
1 σ2
x2i
Nx
i=1
0
0
0
N 2σ 2
.
P´ agina inicial
Contenido
P´ agina 5 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
N
2 log
∂
∂β 02
L
= −
2 log
N
2
xi
L N ∂ = − i=1 2 , 2 2 σ ∂β 1 σ
2 log
N
xi
L ∂ = − i=1 2 ∂β 1 ∂β 0 σ
,
,
2 log
L ∂ = − i=1 2 ∂σ ∂β 0
N
∂ 2 log L = − i=1 2 ∂σ ∂β 1
[yi − β 0 − β 1 xi ] (σ 2 )2
N
[yi − β 0 − β 1 xi ]xi
∂ 2 log L N = − 2 2 2(σ2 )2 ∂ (σ )
,
(σ2 )2
[yi − β 0 − β 1 xi ]2
i=1
(σ 2 )3
por lo que la matriz hessiana en el punto β0 , β 1 , σ2 queda en la forma N
−
H (β0 , β1 , σ 2 ) =
N/σ2
−
xi /σ
2
0
i=1 N
N
−
xi /σ
2
2
−
i=1
xi /σ
i=1
0
0
2
0
−N/2(σ2 )2
N
Nx
0
P´ agin a www
N
= −
1 σ2
x2i
Nx
i=1
0
0
0
N 2σ 2
.
P´ agina inicial
Contenido
Esta matriz es definida negativa puesto que los menores principales son N D1 = − 2 σ i
,
verific´ andose que (−1) Di > 0, i = 1, 2, 3.
N 2 S x2 D2 = 2 2 (σ )
y
P´ agina 5 de 7
N 3 S x2 D3 = − 2(σ 2 )4
Regresar
Pantalla completa
Cerrar
Abandonar
N
2 log
∂
∂β 02
L
= −
2 log
N
2
xi
L N ∂ = − i=1 2 , 2 2 σ ∂β 1 σ
2 log
N
xi
L ∂ = − i=1 2 ∂β 1 ∂β 0 σ
,
,
2 log
L ∂ = − i=1 2 ∂σ ∂β 0
N
∂ 2 log L = − i=1 2 ∂σ ∂β 1
[yi − β 0 − β 1 xi ] (σ 2 )2
N
[yi − β 0 − β 1 xi ]xi
∂ 2 log L N = − 2 2 2(σ2 )2 ∂ (σ )
,
(σ2 )2
[yi − β 0 − β 1 xi ]2
i=1
(σ 2 )3
por lo que la matriz hessiana en el punto β0 , β 1 , σ2 queda en la forma N
−
H (β0 , β1 , σ 2 ) =
N/σ2
−
xi /σ
2
0
i=1 N
N
−
xi /σ
2
2
−
i=1
xi /σ
i=1
0
0
2
0
−N/2(σ2 )2
N
Nx
0
P´ agin a www
N
= −
1 σ2
x2i
Nx
i=1
0
0
0
.
N 2σ 2
P´ agina inicial
Contenido
Esta matriz es definida negativa puesto que los menores principales son N D1 = − 2 σ i
,
verific´ andose que (−1) Di > 0, i = 1, 2, 3.
N 2 S x2 D2 = 2 2 (σ )
y
P´ agina 5 de 7
N 3 S x2 D3 = − 2(σ 2 )4
De esta forma hemos calculado elm´aximo relativo de la funci´on de verosimilitud. Se puede comprobar que este m´aximo es absoluto, para lo cual hay que comprobar que los l´ımites de la funci´ on de verosimilitud en los extremos del espacio param´etrico, cuando β 0 y β 1 tienden a menos y m´as infinito y cuando σ2 tiende a cero y a infinito, es cero.
Regresar
Pantalla completa
Cerrar
Abandonar
3. Distribuci´ on de los estimadores El hecho de que los estimadores de β 0 y β 1 se puedan expresar en t´erminos de las perturbaciones i y que ´estas sean ahora, por hip´otesis, variables aleatorias independientes e id´enticamente distribuidas seg´ un una normal de media cero y varianza σ 2 , permite obtener de forma r´apida las distribuciones de dichos estimadores. En cuanto a la distribuci´ on de la varianza residual no tendremos una expresi´on para ella si bien, aunque lo demostraremos m´as adelante, s´ı es conocida la distribuci´on de una cierta funci´ on suya.
P´ agin a www
P´ agina inicial
Contenido
P´ agina 6 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
3. Distribuci´ on de los estimadores El hecho de que los estimadores de β 0 y β 1 se puedan expresar en t´erminos de las perturbaciones i y que ´estas sean ahora, por hip´otesis, variables aleatorias independientes e id´enticamente distribuidas seg´ un una normal de media cero y varianza σ 2 , permite obtener de forma r´apida las distribuciones de dichos estimadores. En cuanto a la distribuci´ on de la varianza residual no tendremos una expresi´on para ella si bien, aunque lo demostraremos m´as adelante, s´ı es conocida la distribuci´on de una cierta funci´ on suya.
3.1. Distribuci´ o n de β1 .
Recordemos que β1 se puede expresar como N
β1 = β 1 +
i=1
wi i ,
P´ agin a www
P´ agina inicial
Contenido
P´ agina 6 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
3. Distribuci´ on de los estimadores El hecho de que los estimadores de β 0 y β 1 se puedan expresar en t´erminos de las perturbaciones i y que ´estas sean ahora, por hip´otesis, variables aleatorias independientes e id´enticamente distribuidas seg´ un una normal de media cero y varianza σ 2 , permite obtener de forma r´apida las distribuciones de dichos estimadores. En cuanto a la distribuci´ on de la varianza residual no tendremos una expresi´on para ella si bien, aunque lo demostraremos m´as adelante, s´ı es conocida la distribuci´on de una cierta funci´ on suya.
3.1. Distribuci´ o n de β1 .
Recordemos que β1 se puede expresar como N
β1 = β 1 +
wi i ,
i=1
con lo cual se distribuir´a seg´ un una normal de media β 1 y de varianza N
i=1
σ2 wi σ = N S x2
P´ agin a www
P´ agina inicial
Contenido
2 2
puesto que es una combinaci´on lineal de variables normales, independientes e id´enticamente distribuidas.
P´ agina 6 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
3. Distribuci´ on de los estimadores El hecho de que los estimadores de β 0 y β 1 se puedan expresar en t´erminos de las perturbaciones i y que ´estas sean ahora, por hip´otesis, variables aleatorias independientes e id´enticamente distribuidas seg´ un una normal de media cero y varianza σ 2 , permite obtener de forma r´apida las distribuciones de dichos estimadores. En cuanto a la distribuci´ on de la varianza residual no tendremos una expresi´on para ella si bien, aunque lo demostraremos m´as adelante, s´ı es conocida la distribuci´on de una cierta funci´ on suya.
3.1. Distribuci´ o n de β1 .
Recordemos que β1 se puede expresar como N
β1 = β 1 +
wi i ,
i=1
con lo cual se distribuir´a seg´ un una normal de media β 1 y de varianza N
i=1
σ2 wi σ = N S x2
P´ agin a www
P´ agina inicial
Contenido
2 2
puesto que es una combinaci´on lineal de variables normales, independientes e id´enticamente distribuidas.
P´ agina 6 de 7
Regresar
3.2. Distribuci´ o n de β0 .
En cuanto al estimador de la ordenada en el origen se tiene un resultado an´alogo al anterior. En efecto, como
Pantalla completa
Cerrar
Abandonar
3. Distribuci´ on de los estimadores El hecho de que los estimadores de β 0 y β 1 se puedan expresar en t´erminos de las perturbaciones i y que ´estas sean ahora, por hip´otesis, variables aleatorias independientes e id´enticamente distribuidas seg´ un una normal de media cero y varianza σ 2 , permite obtener de forma r´apida las distribuciones de dichos estimadores. En cuanto a la distribuci´ on de la varianza residual no tendremos una expresi´on para ella si bien, aunque lo demostraremos m´as adelante, s´ı es conocida la distribuci´on de una cierta funci´ on suya.
3.1. Distribuci´ o n de β1 .
Recordemos que β1 se puede expresar como N
β1 = β 1 +
wi i ,
P´ agin a www
i=1
P´ agina inicial
con lo cual se distribuir´a seg´ un una normal de media β 1 y de varianza N
i=1
σ2 wi σ = N S x2
Contenido
2 2
puesto que es una combinaci´on lineal de variables normales, independientes e id´enticamente distribuidas.
P´ agina 6 de 7
Regresar
3.2. Distribuci´ o n de β0 .
Pantalla completa
En cuanto al estimador de la ordenada en el origen se tiene un resultado an´alogo al anterior. En efecto, como
N
β0 = β 0 +
i=1
1 − xwi i N
Cerrar
Abandonar
se tiene de forma inmediata que dicho estimador se distribuye seg´un una normal de media β 0 y varianza
N
σ2
i=1
1 − xwi N
2
= σ 2
1 x2 + N NS x2
.
P´ agin a www
P´ agina inicial
Contenido
P´ agina 7 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
se tiene de forma inmediata que dicho estimador se distribuye seg´un una normal de media β 0 y varianza
N
σ2
i=1
1 − xwi N
2
= σ 2
1 x2 + N NS x2
.
3.3. Distribuci´ o n de σ 2
La distribuci´on del estimador de la varianza de los t´erminos de error no es inmediata puesto que se basa en la distribuci´on de formas cuadr´aticas normales. Por esta raz´on omitimos su demostraci´on aqu´ı, si bien en el siguiente tema trataremos esta cuesti´on m´as detalladamente. Concretamente se tiene que
P´ agin a www
P´ agina inicial
Contenido
P´ agina 7 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
se tiene de forma inmediata que dicho estimador se distribuye seg´un una normal de media β 0 y varianza
N
σ2
i=1
1 − xwi N
2
= σ 2
1 x2 + N NS x2
.
3.3. Distribuci´ o n de σ 2
La distribuci´on del estimador de la varianza de los t´erminos de error no es inmediata puesto que se basa en la distribuci´on de formas cuadr´aticas normales. Por esta raz´on omitimos su demostraci´on aqu´ı, si bien en el siguiente tema trataremos esta cuesti´on m´as detalladamente. Concretamente se tiene que N
e2i
(N − 2)σ2 = σ2 σ2 se distribuye seg´un una distribuci´ on chi-cuadrado centrada con N − 2 grados de libertad. i=1
P´ agin a www
P´ agina inicial
Contenido
P´ agina 7 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
se tiene de forma inmediata que dicho estimador se distribuye seg´un una normal de media β 0 y varianza
N
σ2
i=1
1 − xwi N
2
= σ 2
1 x2 + N NS x2
.
3.3. Distribuci´ o n de σ 2
La distribuci´on del estimador de la varianza de los t´erminos de error no es inmediata puesto que se basa en la distribuci´on de formas cuadr´aticas normales. Por esta raz´on omitimos su demostraci´on aqu´ı, si bien en el siguiente tema trataremos esta cuesti´on m´as detalladamente. Concretamente se tiene que N
e2i
(N − 2)σ2 = σ2 σ2 se distribuye seg´un una distribuci´ on chi-cuadrado centrada con N − 2 grados de libertad.
i=1
Recordemos que los N − 2 grados de libertad de los residuos proceden del n´umero de datos menos el n´umero de par´ametros que han hecho falta estimar para calcular las medias en cada punto, pudi´endose entender mejor si consideramos que los N residuos no son independientes ya que los residuos poseen dos restricciones dadas por N
i=1
N
ei = 0 ,
ei xi = 0
i=1
P´ agin a www
P´ agina inicial
Contenido
P´ agina 7 de 7
Regresar
Pantalla completa
con lo cual hay s´olo N − 2 residuos independientes, que corresponden a los N − 2 grados de libertad. Cerrar
Abandonar
se tiene de forma inmediata que dicho estimador se distribuye seg´un una normal de media β 0 y varianza
N
σ2
i=1
1 − xwi N
2
= σ 2
1 x2 + N NS x2
.
3.3. Distribuci´ o n de σ 2
La distribuci´on del estimador de la varianza de los t´erminos de error no es inmediata puesto que se basa en la distribuci´on de formas cuadr´aticas normales. Por esta raz´on omitimos su demostraci´on aqu´ı, si bien en el siguiente tema trataremos esta cuesti´on m´as detalladamente. Concretamente se tiene que N
e2i
(N − 2)σ2 = σ2 σ2 se distribuye seg´un una distribuci´ on chi-cuadrado centrada con N − 2 grados de libertad.
i=1
N
N
ei = 0 ,
i=1
P´ agina inicial
Contenido
Recordemos que los N − 2 grados de libertad de los residuos proceden del n´umero de datos menos el n´umero de par´ametros que han hecho falta estimar para calcular las medias en cada punto, pudi´endose entender mejor si consideramos que los N residuos no son independientes ya que los residuos poseen dos restricciones dadas por
P´ agin a www
ei xi = 0
P´ agina 7 de 7
Regresar
i=1
Pantalla completa
con lo cual hay s´olo N − 2 residuos independientes, que corresponden a los N − 2 grados de libertad. Cerrar
N
Adem´as puede demostrarse que tanto β0 como β1 son independientes de
i=1
e2i (si bien ello conlleva
estudiar independencia de formas cuadr´aticas y lineales y lo dejaremos para el apartado de regresi´on m´ultiple).
Abandonar
3.4. Distribuci´ on de las variabilidades explicada y no explicada.
A partir del apartado anterior es inmediato que
VNE σ2
χ2N −2 .
P´ agin a www
P´ agina inicial
Contenido
P´ agina 7 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
3.4. Distribuci´ on de las variabilidades explicada y no explicada.
A partir del apartado anterior es inmediato que N
Por otro lado se verifica que VE =
VNE σ2
χ2N −2 .
(yi − y)2 = β1 2 NS x2 .
i=1
P´ agin a www
P´ agina inicial
Contenido
P´ agina 7 de 7
Regresar
Pantalla completa
Cerrar
Abandonar
3.4. Distribuci´ on de las variabilidades explicada y no explicada.
A partir del apartado anterior es inmediato que N
Por otro lado se verifica que VE =
Como β1
N1
VNE σ2
χ2N −2 .
(yi − y)2 = β1 2 NS x2 .
i=1
σ2 , entonces β 1 ; NS x2 VE σ2
NS x2 β1
N1
N S x2 β 1 ; σ2 , por lo que
χ21 (δ ) siendo δ =
1
N S x2 β 12 . σ2
P´ agin a www
P´ agina inicial
Contenido
P´ agina 7 de 7 1
Recordemos que:
Regresar
a) Dadas z 1 , . . . , z n variables aleatorias independientes con z i
N1 [µi ; σ2 ], i = 1, . . . , n , entonces
n
u =
b) Si z
u N1 [µ; σ2 ], 2 σ
2
zi
i=1
σ
Pantalla completa
n
2
2
χn (δ )
donde δ =
χ2n y ambas son independientes, entonces z
u n
tn (δ )
donde δ =
µi
i=1
σ
µ2 . σ2
2
2
Cerrar
. Abandonar
