Cap´ıtulo 11
M´ eto etodos dos de Obte Obtenc nci´ i´ on o n de Estimadores 11.1 11 .1..
Intr Introdu oduci ci´ ´ on on
En el cap´ cap´ıtulo anterior estudiamos las propiedades de los estimadores. Ahora trataremos de obtener dichos estimadores y que cumplan con las propiedades de un buen estimador. Los m´etodos etodos que encontramos para determinar estimadores estima dores son: El m´etodo etod o de los momentos. momentos . El m´etodo etod o de la m´ axima axima verosimilitud. El m´etod et odoo de la m´ınima ıni ma χ2 . El m´etodo eto do de los m´ınimos ıni mos cuadrad cua drados. os.
11.2.
M´ etodo de los momentos etodo momentos
Seg´ un u n el n´ umero umero de par´ametros ametros que deseemos estimar, hemos de plantear y resolver un sistema de ecuaciones de tal n´ umero umero de par´ametros. ametros. Primero obtendremos los momentos poblacionales en funci´ on de los correspondientes par´ametros on ametros a estimar y los igualaremos a los momentos muestrales correspondientes. De este sistema, resolvemos para los par´ ametros ametros desconocidos, y tenemos ah´ ah´ı sus estimaciones. Sea una poblaci´ on on cuya f.(d.)p. es f es f ((xi θ1 , . . . , θk ), con k con k par´ ametros ametros desconocidos que deseamos estimar y una muestra aleatoria de tama˜ no no n, (X 1 , . . . , Xn ).
|
252
253
11. M´ etodos eto dos de Obtenci´ Obten ci´ on on de Estimadores
Sean α Sean α 1 , . . . , αk los k los k-primeros -primeros momentos respecto al origen de la poblaci´ on: on:
∞
α j (θ1 . . . , θk ) =
j
x f ( f (x θ) =
|
x ji f ( f (xi θ1 , . . . , θk )
i=1 ∞
−∞
caso discreto,
|
x j f ( f (x θ1 , . . . , θk ) dx, caso continuo
|
para j para j = 1, k. Generalmente α Generalmente α j , ser´ a una funci´on on de los k los k-par´ -par´ametros ametros θ1 , . . . , θk : α j (θ1 . . . , θk ),
j = 1, k .
Sea la m.a. X m.a. X 1 , . . . , Xn de la poblaci´ on on y calcul´ ando ando los k los k-primeros -primeros momentos respecto al origen, a1 , . . . , a j para estas observaciones muestrales: n
a1 =
i=1
X i , n
n
...,
a j =
i=1
X ji , n
n
...,
ak =
i=1
X ik . n
Luego, Luego, igualam igualamos os estos estos mom momen entos tos muest muestral rales es con sus corres correspond pondien ientes tes poblapoblacionales; y tenemos el sistema α1 (θ1 , . . . , θk ) = a 1 .. . α j (θ1 , . . . , θk ) = a j .. . αk (θ1 , . . . , θk ) = a k de k de k ecuaciones ecuaciones con k con k inc´ inc´ ognitas, ognitas, los par´ ametros a estimar. Resolviendo el sistema ametros tenemos tenemos las soluciones soluciones θˆ1 , . . . , ˆ θk . Propie Propiedad dades es de los estima estimador dores es obteni obtenidos dos por el m´ etodo etodo de los momentos
Propiedad 11.1 (Insesgadez) Si (Insesgadez) Si los par´ ametros desconocidos y que pretendemos estimar estimar son momentos momentos poblacion poblacionales ales respec respecto to al origen, origen, entonces entonces los estimadores obtenidos o btenidos por este m´ etodo etodo son insesgados. Propiedad 11.2 (Consistencia) Bajo condiciones bastante generales los estimadores obtenidos por este m´ etodo etodo son consistentes. Propiedad 11.3 (Normalidad asint´ otica) otica) Si los los par´ arametros ametr ´ os descono desconocidos cidos y que pretendemos estimar son los momentos poblacionales, entonces los estimadores obtenidos ser´ an asint´ oticamente normales.
254
11. M´ etodos eto dos de Obtenci´ Obten ci´ on on de Estimadores
La gran ventaja ventaja de este m´etodo etodo es la simplicidad de los c´ alculos alculos en que se incurre, por p or lo que se utiliza ´este este como primera aproximaci´ on on a los par´ametros. ametros. Este m´etodo etodo no suele proporcionar buenos estimadores pues no utiliza la distribuci´ on on de la poblaci´ on. on.
11.3.
M´ etodo etodo de la m´ axima verosimilitud axima
Sea una m.a.s. (X (X 1 , . . . , Xn ) de una poblaci´ on on cuya f.(d.)p. es f ( f (xi θ), donde ametro desconocido que pertenece a un espa un espaci cio o param´etrico etr ico Θ, θ Θ, θ Θ. θ es un par´ametro Sabemos que la funci´on on de verosimilitud L verosimilitud L((θ) es dependiente del par´ametro θ ametro θ,, y toma valores distintos seg´ un la muestra suministrada concreta. un
|
∈
Definici´ on on 11.1 El m´ etodo etodo de la m´ axima verosimilitud verosimilitud consiste en elegir como estimador del par´ ametro desconocido θ aquel valor θˆ(X 1 , . . . , Xn ) que hace m´ axima la funci´ on de verosimilitud L(θ). Es decir, consiste en encontrar aquel ˆ valor θ(X 1 , . . . , Xn ) tal que L(θˆ) = m´ax ax L(θ)
(11.1)
θ ∈Θ
A este estimador θˆ(X 1 , . . . , Xn ) se le llama estimador estimador m´ aximo verosimil verosimil o estimador de m´ axima verosimilitud (EMV) del par´ ametro θ. Es decir, este m´etodo etodo busca el estimador que m´ aximiza la probabilidad de que aximiza la muestra muestra seleccionad seleccionadaa sea obtenida. obtenida. As´ As´ı, si tenemos dos posibles valores del par´ ametro θ ametro θ 1 y θ2 con L(x θ1 ) > L(x θ2 ) ,
|
|
entoces la probabilidad de que θ1 sea realmente el par´ametro ametro es mayor a que lo sea θ2 , para una muestra concreta considerada x = (x1 , . . . , xn ). Generalmente L Generalmente L((θ) suele ser una expresi´on on complicada, por eso es que se considera ln L(θ) pues L pues L((θ) > 0 > 0 y coinciden los m´ aximos aximos de L de L con con los de ln L. Adem´ as as n
ln L(x θ) = ln f ( f (x θ) =
|
|
i=1
ln f ( f (xi θ)
(11.2)
|
y el EMV, θˆ, debe verificar n
ln L(x1 , . . . , xn θˆ) = m´ ax ax ln L(x1 , . . . , xn θ) = m´ ax ax
|
θ ∈Θ
|
θ ∈Θ
i=1
ln f ( f (xi θ) ,
|
(11.3)
255
11. M´ etodos eto dos de Obtenci´ Obten ci´ on on de Estimadores
luego, obtenemos la primera derivada, derivada, igualamos ´esta esta a cero y de ah´ ah´ı resolvemos ˆ para θ para θ o mejor dicho θ, y obtenemos la llamada ecuaci´ llamada ecuaci´ on de verosimilitud 1 : ∂ ln ln L(x1 , . . . , xn θ) = ∂θ
|
n
i=1
∂ ln ln f ( f (xi θ) =0, ∂θ
|
(11.4)
donde θˆ = θˆ(X 1 , . . . , Xn ) es funci´on on de las observacines muestrales, y desechamos soluciones donde el estimador es una constante. Si, en su lugar, tenemos una f.(d.)p. de la poblaci˜ n dependiente de k de k par´ ametametros, f ros, f ((x θ1 , . . . , θk ), entonces los EMV de estos par´ametros ametros la obtenemos resolviendo el sistema de ecuaciones de verosimilitud en θ en θ 1 , . . . , θk .
|
∂ ln ln L(x1 , . . . , xn θ1 , . . . , θk ) = ∂θ 1 .. . ∂ ln ln L(x1 , . . . , xn θ1 , . . . , θk ) = ∂θ k
| |
n
i=1 n
i=1
∂ ln ln f ( f (xi θ1 , . . . , θk ) =0 ∂θ 1
|
(11.5) ∂ ln ln f ( f (xi θ1 , . . . , θk ) =0 ∂θ k
|
y tenemos: θˆ1 = θˆ1 (X 1 , . . . , Xn ) .. . ˆ ˆ θk = θk (X 1 , . . . , Xn ) , los EMV de (θ (θ1 , . . . , θk ). En este m´etodo etodo no aceptamos soluciones triviales para los EMV. Tenemos un EMV en sentido estricto cuando la soluci´ on o n es unica; u ´ nica; en caso contrario tenemos EMV en sentido amplio. amplio. Propiedades de los estimadores de m´ axima axima verosimilitud
Las siguientes propiedades se cumplen bajo condiciones de regularidad bastante generales: 0 , se verifica ∀ ∀ > 0,
Propiedad 11.4 Los EMV son consistentes, es decir l´ım Pr( θˆ
n→∞
| − θ| > ) = 0 .
(11.6)
1
Admitimos lo siguiente condiciones de regularidad: el campo de variaci´ on on de θ es un intervalo abierto de R, que el campo de variaci´ on de la v.a. poblacional no depende on de θ, que f (x|θ) > 0 ∂ 2 ln L < 0. y derivable respecto a θ y que se verifica la condici´ on on de m´ aximo aximo 2 ∂θ
ˆ θ=θ
11. M´ etodos eto dos de Obtenci´ Obten ci´ on on de Estimadores
256
Propiedad 11.5 En general los EMV no son insesgados. Pero si no son insesgados entonces son asint´ oticamente insesgados. Propiedad 11.6 Si existe existe un estima estimador dor eficien eficiente te θˆ del par´ ametro θ, entonces entonces tambi´en en es de m´ axima verosimilitud y es ´ unico. Pero todo estimador de m´ axima verosimilitud no es eficiente. Propiedad 11.7 Los EMV son asint´ oticamente eficientes. Propiedad 11.8 Los EMV son as´ as´ıntoticamente ıntoticamen te normales. normal es. θˆ
∼ N(θ, N(θ, Var(θˆ)) ,
donde Var( Var(θˆ) coincide con la cota de Cr´ amer-Rao. Propiedad 11.9 Si θˆ es un estimador suficiente del par´ ametro θ, entonces el EMV de θ, si es unico, ´ es funci´ on del estimador suficiente θˆ. Propiedad 11.10 (Principio de Invarianza de Zehna) Los Zehna) Los EMV son invariantes frente a transformaciones transformac iones biun´ıvocas. ıvocas. Es decir, d ecir, si θˆ es el EMV del par´ ametro θ y g y g((θ) es una funci´ on con inversa unica, ´ entonces se verifica que g( g (θˆ), es el EMV de g(θ).
11. M´ etodos eto dos de Obtenci´ Obten ci´ on on de Estimadores
11.4 11 .4..
257
Ejem Ejempl plos os
Estos son varios ejemplos que he tomado de libros que aparecen en la bibliog ogra raf´ f´ıa. ıa . Ejemplo 11.1 Demostrar las propiedades de los estimadores obtenidos por el m´etodo etod o de los momentos. momentos . ametros a estimar son momentos poblacionales ametros Insesgadez. Puesto que los par´ respecto al origen, α j , tendremos para una muestra aleatoria (X (X 1 , . . . , Xn ) que: n
1 α ˆ j = a j = n
X ji ,
j = 1, 1, . . . , k
i=1
Tomando valores esperados resulta que: 1 E (α ˆ j ) = E n 1 E n
=
1 n
=
1 n
=
n
X ji
i=1 n
X ji
i=1
n
E (X ji )
i=1 n
E (X j )
i=1
1 = nE (X j ) n = α j
·
Luego vemos que son estimadores estimadores insesgados. insesgados. ametros a estimar son los momentos ametros Normalidad asint´ otica. Como los par´ poblacionales, α poblacionales, α j , que para una muestra aleatoria simple (X (X 1 , . . . , Xn ) son: n
α ˆ j = a j =
i=1 X j1
X ji n
X jn = + + n n resultando que el estimador α ˆ j = a j se puede expresar como suma de n de n variables aleatorias
X ij n ,
independientes e id´enticamente enticamente distribuidas con media y varianza: varianza:
X ji E n
···
=
α j n
258
11. M´ etodos eto dos de Obtenci´ Obten ci´ on on de Estimadores
Var
X ji n
1 Var(X Var(X ji ) 2 n
=
1 E [(X [(X ji E (X ji ))2 ] n2 1 = 2 E [(X [(X ji α j )2 ] n 1 = 2 (α2 j α j2 ) n =
− − −
y la media y la varianza del estimador αˆ j = a j , ser´a: a:
− n
E (α ˆ j ) = E (a j ) = E
i=1
X ji n
= α j
n
Var(ˆ α j ) = Var(a Var(a j ) = Var
i=1
n
=
Var
i=1
X ji n
=
X ji n
α j2
α2 j
n
Luego aplicando el Teorema Central del Limite, para muestras suficientemente grandes, tenemos que el estimador α ˆ j = a j sigue una distribuci´on on α ˆ j = a j
∼ N
α j ,
α2 j
− α j2
n
o bien que la variable aleatoria a j
− E (a j ) =
Var(a Var(a j )
a j
− α j
α2j −αj2 n
√ n(a − α ) j j = N(0, 1) ∼ N(0, α2 j − α j2
cuando n
→∞
Ejemplo 11.2 Sea (X (X 1 , . . . , Xn ) una muestra aleatoria obtenida de una poblaci´ on on que sigue una distribuci´ on on de Poisson de par´ametro ametro λ, desconocido. Obtener un estimador del par´ ametro λ ametro λ utilizando el m´etodo etodo de los momentos. etodo etodo de los momentos igualaremos el momento de Soluci´ on. Aplicando el m´ orden uno, respecto al origen, de la poblaci´ on α on α 1 , al momento de orden uno de la
11. M´ etodos eto dos de Obtenci´ Obten ci´ on on de Estimadores
259
muestra a1 . ∞
α1 (λ) = E (X ) =
i=1 ∞
=
i=0
−λ
=e
−λ
=e
·
λ xi −λ xi e xi !
·
∞
λ
i=0 λ
λxi−1 (xi−1 )!
λe
=λ
n
a1 =
Pr(X = x i ) xi Pr(X
i=1
X i ¯ = X n
Luego igualando α1 (λ) = a1 resulta que el estimador por el m´etodo etodo de los momentos de λ de λ es:
ˆ = X ¯= λ
n i=1 X i
n
Este estimador est imador coincide coinci de con el que q ue se obtiene obti ene por po r el m´etodo etod o de m´ axima axima verosimilitud.
Ejemplo 11.3 Sea (X (X 1 , . . . , Xn ) una muestra aleatoria procedente de una B( p).Obtener p).Obtener el estimador del par´ametro ametro p, utilizando el m´etodo etodo de los momentos. on on B( p) p) que la media o momento de orden Soluci´ on. Sabemos de la distribuci´ uno respecto al origen es: α1 ( p) p) = p y el momento de orden uno de la muestra es: n
a1 =
i=1
X i n
Luego igualando ambos momentos resulta: p = pˆ =
n i=1 X i
n
11. M´ etodos eto dos de Obtenci´ Obten ci´ on on de Estimadores
y si hacemos X hacemos X = X n
p = pˆ =
260
n i=1 X i
umero de exitos en las n las n pruebas: ≡ n´umero
Este estimador, como veremos despu´es, es, es tambi´ en en el estimador obtenido por el m´etodo etod o de la m´ axima axima verosimilitud. Ejemplo 11.4 Obtener, a partir de una muestra aleatoria simple de tama˜ no no n, el estimador del par´ ametro a ametro a de una distribuci´on on exponen e xponencial cial mediante el m´etodo etod o de los momentos. on on exponencial de par´ametro ametro a tiene como funci´ on on Soluci´ on. Una distribuci´ de densidad: f ( f (x) =
ae−ax x > 0 0 x 0
≤
y adem´ as as su media es: E (X ) =
1 = α1 a
El estimad estimador or de a por el m´ etodo etodo de los mom momen entos tos se obtien obtienee resolv resolvien iendo do la ecuaci´ on: on: α1 = a = a 1 ¯. con a con a 1 = X Por tanto, 1 ¯ = X a con lo que 1 a ˆ = ¯ X
Ejemplo 11.5 Obtener el estimador del par´ametro θ ametro θ de una ley cuya funci´on on de densidad es: f ( f (x θ) =
|
2 (θ θ2
− x)
si 0 < x < θ
utilizando e m´etodo etodo de los momentos para una muestra aleatoria simple de tama˜ no 2.
261
11. M´ etodos eto dos de Obtenci´ Obten ci´ on on de Estimadores
aleatoria X ,, se calcula como Soluci´ on. El valor esperado de la variable aleatoria X
θ
2 2 x2 α1 = E = E ((X ) = x 2 (θ x) dx = dx = 2 θ 2 θ θ 0 3 3 2 θ θ θ = 2 = θ 2 3 3
−
−
−
x 3 3
θ
0
¯, e igualando esta cantidad al momento muestral con respecto al origen, a1 = X se tiene: ¯=θ X 3 con lo cual el estimador del par´ ametro θ ametro θ por p or el m´etodo etodo de los momentos ¯ θˆ = 3X y si la muestra es de tama˜ no no 2: X 1 + X + X 2 θˆ = 3 2
Ejemplo 11.6 Sea (X (X 1 , . . . , Xn ) una m.a.s. procedente de una poblaci´ on o n B( p), p), en donde p es desconocido. Obtener el estimador de m´ axima verosimilitud del axima par´ ametro p ametro p.. on on de probabilidad es: Soluci´ on. Sabemos que la funci´ Pr(x Pr(xi p) p) = p xi (1
|
p)1−x , − p)
xi = 0, 1,
i
i = 1, . . . , n
La funci´ on on de verosimilitud es: n
L(x1 , . . . , xn p) p) = Pr(x Pr(x1 , . . . , xn p) p) =
|
=p
|
n
i=1 xi
(1
Pr(x Pr(xi p) p)
|
i=1 n− n i=1 xi
p) − p)
El ln L viene dado por:
− − − n
ln L(x1 , . . . , xn p) p) =
|
n
xi ln p ln p + +
n
xi ln(1
i=1
∂ ln ln L(x1 , . . . , xn p) p) = ∂p
|
i=1
n i=1 xi
p
n i=1 xi
n
1
− p
=
− p) p)
n i=1 xi
p(1 p(1
− np = 0
− p) p)
262
11. M´ etodos eto dos de Obtenci´ Obten ci´ on on de Estimadores n
xi
i=1
np = 0 − np =
Calculando la
p = pˆ =
⇒
n i=1 xi
n
=
X =x ¯ n
∂ 2 ln L tenemos: ∂p 2
|
−
n i=1 xi p2
n − i=1 xi − (1 − p) p)2 p)2 ni=1 xi − (n − − (1 − p) = p2 (1 − p) p)2
∂ 2 ln L(x1 , . . . , xn p) p) = 2 ∂p
n
n 2 i=1 xi ) p
y particularmente para p = x ¯, se tiene: ∂ 2 ln L(x1 , . . . , xn p) p) = 2 ∂p
|
−
n n + x ¯ 1 x ¯
−
< 0
con lo cual podemos decir que se trata de un m´ aximo. Luego el estimador de aximo. m´ axima axima verosimilitud es p = pˆ = x ¯ =
X n
Ejemplo 11.7 Dada una poblaci´ on on cuya funci´ on on de densidad es: f ( f (x θ) = (1 + θ + θ))xθ I0,1 (x)
|
y una muestra aleatoria (X (X 1 , . . . , Xn ). Comprobar que el estimador del par´ ametro ametro θ obtenido por el m´etodo etodo de los momentos no coincide con el estimador m´ aximo-verosimil. aximo-verosimil. obtener el estimador estimador por el m´ etodo etodo de los momentos momentos obtenobtenSoluci´ on. Para obtener emos el momento de orden uno respecto al origen de la poblaci´ on on y lo igualamos al momento de orden uno de la muestra
· 1
α1 = E = E ((X ) =
x (1 + θ + θ))xθ dx
0
1
=
1+θ (1 + θ + θ))x1+θ dx
0
1 + θ + θ = 2 + θ + θ a1 =
n i=1 X i
n
¯ = X
11. M´ etodos eto dos de Obtenci´ Obten ci´ on on de Estimadores
263
Igualando ambos momentos, tenemos: 1 + θ + θ ¯ = X 2 + θ + θ
⇒
¯ 1 2X θˆ = ¯ X 1
− −
que es el estimador obtenido por p or el m´etodo etodo de los momentos. Para obtener el estimador m´ aximo-verosimil procedemos como sigue aximo-verosimil n
L(x1 , . . . , xn θ) = f ( f (x1 , . . . , xn θ) =
f ( f (xi |θ) | i=1 = (1 + θ + θ))x1θ · · · (1 + θ + θ))xnθ
|
θ
n
n
= (1 + θ + θ))
xi
i=1
n
ln L(x1 , . . . , xn θ) = n ln(1 + θ + θ)) + θ + θ
|
i=1
∂ ln ln L(x1 , . . . , xn θ) n = + ∂θ 1 + θ + θ
|
− −
θ =
ln xi
n n i=1 ln xi
n
ln xi = 0
i=1
−1
Luego el estimador de m´ axima verosimilitud ser´ axima a n θˆ = 1 n ln X i i=1
−
y como vemos no tiene porque coincidir con el estimador obtenido por el m´etodo etodo de los momentos. Ejemplo 11.8 Sea una poblaci´ on on cuya funci´ on on de densidad es: x
f ( f (x θ) = θ −1 e− θ IR+
|
y consideremos una muestra aleatoria (X (X 1 , . . . , Xn ). Se pide 1. Estim Estimad ador or m´ aximo-verosimil del par´ aximo-verosimil ametro θ ametro θ.. 2. Comprobar Comprobar si si es insesgado insesgado y consisten consistente. te. 3. Compro Comprobar bar si el el estima estimador dor m´ aximo-verosimil es eficiente. aximo-verosimil Soluci´ on.
264
11. M´ etodos eto dos de Obtenci´ Obten ci´ on on de Estimadores
1. La func funci´ i´ on de verosimilitud viene dada por: on n
L(x1 , . . . , xn θ) = f ( f (x1 , . . . , xn θ) =
|
|
= θ−1 e =θ
x − θ1
−n −
e
f ( f (xi θ)
i=1
· · · θ−1e−
n
|
xn θ
i=1 x i θ
El logaritmo de la funci´ on on de verosimilitud es: ln L(x1 , . . . , xn θ) =
|
−n ln θ
n
− 1 θ
xi
1=1
Derivando respecto a θ a θ e igualando a cero tenemos: ∂ ln ln L(x1 , . . . , xn θ) = ∂θ
|
θ =
n i=1 xi
n
−
n 1 + 2 θ θ
n
xi = 0
i=1
=x ¯
Luego el estimador insesgado del par´ ametro ametro θ ser´a: a: θˆ =
n i=1 X i
n
¯ = X
2. Veamos que es insesgado insesgado y consist consistente ente:: Como se trata de una distribuci´ on on exponencial de par´ ametro ametro que: E (X ) = θ Var(X Var(X ) = θ 2 Luego ¯ ) = E (X ) = θ E (θˆ) = E (X Var(X ) θ2 ¯ ) = Var(X Var(θˆ) = Var(X = n n
1 θ,
sabemos
11. M´ etodos eto dos de Obtenci´ Obten ci´ on on de Estimadores
265
Cuando n Cuando n , entonces la Var(θˆ) 0 y como es estimador θˆ es insesgado, resulta que efectivamente el estimador de m´axima axima verosimilitud es consistente, pues el sesgo es nulo y la varianza tiende a cero cuando n tiende a infinito.
→∞
→
3. Para Para probar la eficienc eficiencia, ia, tendremos tendremos que que probar que que la varianz varianza a del estimador estimador coincide con la cota de Frechet-Cramer-Rao, es decir que, 1
Var(θˆ) = nE o bien
∂ ln ln f ( f (x|θ) ∂θ
Var(θˆ) =
−nE ln f ( f (x θ) =
|
1 ∂ 2 ln f ( f (x|θ ) ∂θ 2
− ln θ − xθ ,
∂ ln ln f ( f (x θ) = ∂θ
|
x > 0
− θ1 + θx2 ,
∂ 2 ln f ( f (x θ) 1 = 2 2 ∂θ θ
|
2
x > 0
2 x − 2x , θ3
x > 0
−
∂ 2 ln f ( f (x θ) 1 2X 2 X E = E ∂θ 2 θ2 θ3 1 2 = 2 E (X ) θ θ3 1 2 = 2 θ θ θ3 1 2 1 = 2 = 2 θ θ θ2
|
− − · − −
As´ As´ı la cota de Frechet-Cramer-Rao rechet-Cra mer-Rao ser´ a: a:
−nE
1 ∂ 2 ln f ( f (x|θ ) ∂θ 2
1
− =
n
−1 θ2
=
θ2 n
que coincide con la Var(θˆ), siendo por tanto el estimador de m´ axima axima verosimilitud, para este ejemplo, eficiente.
266
11. M´ etodos eto dos de Obtenci´ Obten ci´ on on de Estimadores
Ejemplo 11.9 Sea una poblaci´ on on cuya distribuci´ on de probabilidad viene dada on por: Pr(X Pr(X = = 1) = p3 Pr(X Pr(X = = 2) = 3 p 3 p2 q Pr(X Pr(X = = 3) = 3 pq 3 pq 2 Pr(X Pr(X = = 4) = q 3 con 0 p 1 y p + q = = 1. Obtener la estimaci´on on m´ aximo verosimil del par´ aximo ametro ametro p utilizando la realizaci´ on de una muestra aleatoria simple de tama˜ on no n o 18, en la cual el valor 1 se presenta tres veces, el valor 2 se presenta cuatro veces, el valor 3 se presenta cinco veces y el valor 4 aparece seis veces. on on de verosimilit verosimilitud ud Soluci´ on. La funci´
≤ ≤
18
L(x1 , . . . , x18 p) p) =
|
Pr(x Pr(xi p) p)
i=1 3 3
= ( p )
|
· (3 p2q )4(3 pq (3 pq 2 )5 (q 3 )6
= 39 p22 q 32 = 39 p22 (1 p) p)32
−
tomando logaritmos neperianos resulta ln L(x1 , . . . , x18 p) p) = 9 ln3 + 22 22 ln p ln p + + 32 ln(1 ln(1 p) p)
|
−
y derivando con respecto al par´ametro p ametro p e igualando a cero, se tiene: ∂ ln ln L(x1 , . . . , x18 p) p) 22 = ∂p p
|
22(1
− 1 32 − p = 0
p) − 32 32 p p = = 0 − p)
Por tanto la estimaci´ on on m´ aximo verosimil del par´ aximo ametro ametro p se obtiene despejando de la ecuaci´ on on anterior y es: p = pˆ =
22 11 = 54 27
0,407
11. M´ etodos eto dos de Obtenci´ Obten ci´ on on de Estimadores
267
Ejemplo 11.10 Dada la funci´ on on de densidad f ( f (x θ) = ke θ−x
si x > θ
|
con θ con θ > 0, el par´ametro ametro desconocido, y k y k un un valor constante. Obtener un estimador de θ por el m´ etodo etodo de los momentos momentos basado en la informaci´ informaci´ on de una muestra aleatoria simple de tama˜ no no n. Soluci´ on. En primer lugar calculamos el valor de la constante k para que f ( f (x θ) sea verdadera funci´on on de densidad:
|
+∞
1=
+∞
f ( f (x) dx = dx =
−∞
=
− keθ−x
keθ−x dx
θ
+∞ θ
= k
k = 1
Para utilizar el m´etodo etodo de los momentos, igualamos igual amos α1 (θ) = a 1 ¯ donde a1 = X
+∞
α1 (θ) = E (X ) =
xeθ−x dx
θ
haciendo u = x = x ; du = du = dx dx dx ; v = eθ−x
dv = dv = e e θ−x
−
e integrando por partes, se tiene que
− −
α1 (θ) = E (X ) = = θ +
eθ−x
xe
θ −x
+∞ θ
+∞ θ
+∞
+
eθ−x dx
θ
= θ + θ + 1
Por tanto al igualar el momento poblacional de orden uno respecto al origen con el muestral: ¯ θ + 1 = X con lo cual el estimador de θ por el m´etodo etodo de los momentos es: ¯ θˆ = X
−1
268
11. M´ etodos eto dos de Obtenci´ Obten ci´ on on de Estimadores
Ejemplo 11.11 Sea X 1 , . . . , Xn una muestra aleatoria simple obtenida de una poblaci´on X on X con con funci´ on on de densidad:
f ( f (x θ) =
|
x −x e θ θ2
si x 0 en otro caso
≥
0
donde θ > 0. Obtener un estimador de θ de θ por el m´etodo eto do de la m´ axima axima verosimilitud. on on de verosimilitud es: Soluci´ on. La funci´ n
L(x1 , . . . , xn θ) =
|
i=1
n 1 1 f ( f (xi θ) = 2n e− θ i=1 xi θ
|
n
xi
i=1
tomando logaritmos neperianos se tiene ln L(x1 , . . . , xn θ) =
|
−2n ln θ
n
n
− 1 θ
xi +
i=1
ln xi
i=1
y derivando con respecto a θ a θ e igualando a cero: ln L(x1 , . . . , xn θ) ∂ ln = ∂θ
|
−2n + θ
entonces
1 θ2
n
xi + 0 = 0
i=1
n
−2nθ + nθ +
xi = 0
i=1
con lo cual es estimador de m´axima axima verosimilitud para el par´ ametro θ ametro θ es: 1 θˆ = 2n
n
xi =
i=1
¯ X 2
Ejemplo 11.12 Dada una muestra aleatoria simple, X simple, X 1 , . . . , Xn de una poblaci´ on on X cuya cuya funci´on on de densidad es f ( f (x) = con θ con θ
e−x+θ si x θ 0 en el resto
≥
de θ por po r el m´etodo etod o de m´ axima axima verosimilitud. ∈ R; obtener un estimador de θ
Veamos qu´e ocurre ocurr e si se aplica Soluci´ on. Veamos ∂ ln ln L(x1 , . . . , xn θ) =0 ∂θ
|
269
11. M´ etodos eto dos de Obtenci´ Obten ci´ on on de Estimadores
se obtendr´ obt endr´ıa ıa que: n
L(x1 , . . . , xn θ) =
|
f ( f (xi θ) = e−x1 +θ
|
i=1 nθ − n i=1 xi
=e
· · · e−x +θ n
si xi
≥ θ ∀
i = 1, . . . , n
y cero en caso contrario. n
ln L(x1 , . . . , xn θ) = nθ
|
−
xi
i=1
si xi
≥ θ
∂ ln ln L(x1 , . . . , xn θ) = n ∂θ
|
y no existe ning´ un un valor de θ de θ para para el cual el resultado anterior sea igual a cero. Este hecho se produce porque el campo de variaci´on on de X X depende del par´ametro ametro θ. Por tanto no se puede aplicar el proceso anterior y habr´ a que encontrar el m´aximo aximo de la funci´ on de verosimilitud de otra forma: on Se ha encontrado que L(x1 , . . . , xn θ) =
|
enθ e− 0
n
i=1 xi
si xi θ i = 1, . . . , n en caso contrario
≥ ∀
Por tanto m´ aximizar aximizar L(x1 , . . . , xn θ) es lo mismo que maximizar θ; pero como tiene que ocurrir
|
θ
≤ m´iın{xi}
el m´ aximo aximo valor que puede p uede tomar t omar es e s la m´ınima observaci´ on obtenida en la muestra, on luego el estimador de m´ axima axima verosimilitud es: θˆ = m´ın xi i
{ }
Otra forma de ver esto es la siguiente: m´ ax ax L(x1 , . . . , xn θ) = m´ax ax enθ
|
θ
pero como x como x i
θ
i = 1, . . . , n es n es equivalente a decir ≥ 0 ∀ i = m´ın{xi } ≥ θ i
entonces en m´ıni {xi }
≥ enθ
270
11. M´ etodos eto dos de Obtenci´ Obten ci´ on on de Estimadores
por tanto
| ≡ m´θax ax enθ ≤ en m´ın {x }
m´ ax ax L(x1 , . . . , xn θ) θ
i
i
con lo cual θˆ = m´ın xi i
{ }
Ejemplo 11.13 Dado x Dado x “exitos” “exitos” en n en n intentos, intentos, encuentre el estimador de m´ axima axima verosimilitud del par´ ametro ametro θ de la distribuci´ on binomial correspondiente. on de θ que maximiza Soluci´ on. Para encontrar el valor de θ L(x θ) =
|
n x θ (1 x
− θ)n−x
ser´ a conveniente hacer uso del hecho que el valor de θ de θ que que maximiza L maximiza L((θ) tam ambi bi´´en en maximiza: ln L(θ) = ln
n + x ln θ + (n (n x
·
− x) · ln(1 − θ)
As´ı obt o bten endre dremo moss d[ln L(θ)] x = dθ θ
− n1 −− θx
y, al igualar esta derivada a 0 y resolver para θ, encontramos que la funci´on on x de verosimilitud tiene un m´ aximo aximo en θ = n . Este es el estimador de m´ axima axima verosimilitud del par´ ametro ametro binomial θ binomial θ,, y nos referimos a ˆ θ = X n como el estimador correspondiente de m´ axima axima verosimilitud. Ejemplo 11.14 Si x1 , x2 , . . . , xn son los valores alores de una muest muestra ra aleator aleatoria ia de tama˜ no n no n de de una poblaci´on on uniforme con α con α = = 0, encuentre el estimador de m´axima axima verosimilitud de β de β .. on de verosimilitud est´ on a dada por Soluci´ on. La funci´ n
L(x β ) =
|
i=1
f ( f (xi β ) =
|
1 β
n
para β para β mayor mayor que, o igual a, la m´ as as grande de las x’s y 0 de otra manera. Puesto que el valor de esta funci´ on on de verosimilit verosimilitud ud aumenta aumenta conforme conforme β β disminuye, debemos hacer β β tan peque˜ na como sea posible, y se sigue que el estimador de na m´ axima axima verosimilitud de β de β es es Y n , la l a esta e stad d´ıstica ıst ica de n de n-´ -´esimo esimo orden. Como este valor ˆ es β es β = = m´ ax ax x1 , . . . , xn , el EMV de β es β = m´ ax ax X 1 , . . . , Xn .
{
}
{
}
271
11. M´ etodos eto dos de Obtenci´ Obten ci´ on on de Estimadores
ˆ no parece ser un esHay que resaltar que en el ejemplo anterior, el EMV β no β timador apropiado de β . Puesto que m´ax ax X 1 , . . . , Xn < β β con probabilidad 1, ˆ resulta obvio que β tiende tiende a subestimar el valor de β . De hecho, si se asigna a β cualquier distribuci´ on inicial, entonces el estimador Bayes para β on para β resultar´ resultar´ a mayor ˆ. La magnitud en que el estimador Bayes supera a β ˆ, depender´a naturalmente que β de la distribuci´ on inicial que se utiliza y de los valores observados de X 1 , . . . , Xn . on
{
}
Ejemplo 11.15 No existencia de un EMV. Sup´ ongase ongase de nuevo que X que X 1 , . . . , Xn constituyen una muestra aleatoria de una distribuci´ on uniforme sobre el intervaon lo 0, β . Sin embargo, sup´ ongase ahora que en lugar de escribir la f.d.p. f ( ongase f (x β ) de la distribuci´ on on uniforme considerando desigualdades d´ ebiles ebiles en su campo camp o de variaci´on, on, se escribe de la siguiente forma:
|
f ( f (x β ) =
|
1 para 0 < x < β, β 0 en otro otro cas caso.
La ´unica unica diferencia entre la f.d.p de la uniforme [0, [0, β ] y esta ultima u ´ ltima es que el valor de la f.d.p. f.d.p. en cada uno de los dos puntos 0 y β y β se se ha cambiado reemplazando las desigualdades d´ebiles ebiles por desigualdades estrictas. Utilizando esta ultima ´ ecuaci´ on, on, vemos que un EMV de β de β ser´ ser´a un valor de β de β tal tal que β que β > xi para i para i = = 1, . . . , n y n y que n maximiza maximiza 1/β . Hay que tener en cuenta que los valores posibles de β de β no no incluyen el valor β valor β = m´ ax ax x1 , . . . , xn , puesto que β que β debe debe ser estrictamente ser estrictamente mayor mayor que cada valor observado x observado x i (i = 1, . . . , n). n). Puesto que θ que θ se puede elegir arbitrariamente cerca del valor m´ax ax x1 , . . . , xn pero no se puede elegir a este valor, resulta que no existe el EMV de β de β ..
{
}
{
}
Los dos ejemplos anteriores ilustran un inconveniente del concepto de un EMV. En todas las exposiciones previas sobre las f.d.p., se subraya el hecho de que es irrelevante si se elige la f.d.p. de la distribuci´on on uniforme como 1/β 1/β sobre el intervalo abierto 0 < x < β o sobre el intervalo cerrado 0 x β . Ahora, sin embargo, se observa que la existencia de un EMV depende de esta elecci´ on on irrelevante y sin importancia. Esta dificultad se elimina f´ acilmente acilmente en este ultimo u ´ ltimo ejemplo utilizando la f.d.p. con desigualdades d´ ebiles ebiles que con estrictas en el campo de variaci´ on o n de x. En muchos muchos otros problemas problemas tambi´ tambi´ en en se puede eliminar una dificultad de este tipo relacionada con la existencia de un EMV, eligiendo una versi´on on apropiada de la f.d.p. para representar la distribuci´on on dada. Sin embargo la dificultad no siempre se puede eliminar.
≤ ≤
Ejemplo 11.16 Si X Si X 1 , X 2 , . . . , Xn constituyen una muestra aleatoria de una poblaci´ on on uniforme con α = 0, demuestre que el valor m´ as grande de la muestra (esto es as
272
11. M´ etodos eto dos de Obtenci´ Obten ci´ on on de Estimadores
la estad´ıstica ıstica de n-´esim es imoo orden or den,, Y n ) es un estimador sesgado del par´ ametro ametro β . Tambi´en, en, modifique modi fique este estimor estimo r de β para hacerlo insesgado. Soluci´ on.
Ejemplo 11.17 Calc´ ulese ulese el estimador m´ aximo-verosimil del par´ aximo-verosimil ametro ametro λ de la distribuci´ on de Poisson en muestras aleatorias simples de tama˜ on no no n. on on de verosimilitud es Soluci´ on. La funci´ n
L(x λ) = e
|
−nλ
i=1
λxi xi ! n
ln L(x λ) =
|
nλ + ln λ −nλ +
∂ ln ln L(x λ) = ∂λ
|
ˆ = λ
n i=1 xi
−n +
n
− xi
i=1
ln xi !
i=1
n i=1 xi
λ
= 0;
=x ¯
n
verific´andose andose la condici´ on on de m´aximo aximo
∂ 2 ln L(x λ) ∂λ 2
|
ˆ =¯ λ x
=
− nx¯ < 0
Ejemplo 11.18 Muestre on on Muestreo de una distribuci distribuci´ on ´ normal. normal. En la distribuci´ 2 N(µ, N(µ, σ ) con varianza conocida, el par´ ametro µ ametro µ desconocido desconocido se estima mediante el m´etodo eto do de la m´ axima verosimilitud, en muestras aleatorias simples de tama˜ axima no n no n.. La funci´ on on de verosimilitud es L(x µ) = f ( f (x1 µ)
| · · · f ( f (xn |µ) 1 1 − exp 2 (2π (2π)1/2 σ
|
=
− ··· − −
1 exp n/2 (2πσ (2πσ 2 )n/2
=
x1
µ
σ
1 2σ 2
2
1 exp (2π (2π )1/2 σ
n
(xi
− − 1 2
xn
µ
σ
µ)2 .
i=1
De la ecuaci´ on anterior se puede observar que L on que L((x µ) se maximiza en el valor de µ de µ que minimiza
|
n
Q(µ) =
(xi
i=1
n
2
− µ)
=
n
− xi2
i=1
2µ
i=1
xi + nµ + nµ2 .
2
273
11. M´ etodos eto dos de Obtenci´ Obten ci´ on on de Estimadores
Si se calcula ahora la derivada dQ( dQ(µ)/dµ, /dµ, se iguala ´esta esta a 0 y se resuelve resuelve la ecuaci´ on on resultante para µ para µ,, se obtiene que µ que µ = = x¯n . Resulta, por tanto, que el EMV ¯ de µ de µ es µ ˆ = X n . En el ejemplo anterior se puede observar que el estimador µ ˆ no depende del 2 valor de la varianza σ varianza σ , que se supuso conocido. El EMV de la media desconocida ¯n , independientemente del valor de σ 2 . Se µ es simplemente la media muestral X ver´ a esto de nuevo en el siguiente ejemplo, en el que se deben estimar µ y σ 2 . Ejemplo 11.19 Muestre Muestreo de una distribuci distribuci´ on ´ normal normal con varianza varianza deongase ongase de nuevo que X que X 1 , . . . , Xn constituyen una muestra aleatosconocida. Sup´ ria de una distribuci´on on normal, pero sup´ ongase ahora que ambas, la media µ ongase media µ y la 2 varianza σ son desconocidas. Para cualesquiera valores observados x1 , . . . , xn , la funci´ on on de verosimilitud L(x µ, σ 2 ) de nuevo est´a dada como en el ejemplo anterior. Esta funci´ funcion o´n se debe maximizar ahora sobre todos los valores posibles de µ de µ y y 2 2 + R . En lugar de maximizar la funci´ de σ , donde µ donde µ R, σ on on de verosimilitud 2 f ( f (x µ, σ ) directamente, es de nuevo m´ as as f´ acil acil maximizar ln f ( f (x µ, σ2 ). Resulta que
|
∈
|
∈
|
L(x µ, σ2 ) = ln f ( f (x µ, σ 2 )
|
|
=
−
n ln(2π ln(2π ) 2
−
n ln σ 2 2
−
1 2σ 2
n
(xi
i=1
− µ)2.
(11.7)
Se deben obtener los valores de µ de µ y σ 2 para los cuales L cuales L((x µ, σ 2 ) sea m´ axima, axima, 2 determinando los valores de µ de µ y σ que satisfacen satisfacen las dos ecuaciones ecuaciones siguientes: siguientes:
|
∂L( ∂L (x µ, σ 2 ) ∂µ ∂L( ∂L (x µ, σ 2 ) ∂σ 2
|
= 0,
|
= 0.
(11.8)
(11.9)
De la ecuaci´on on (11.7) se obtiene la relaci´ on on µ, σ 2 )
∂L( ∂L (x ∂µ
|
1 = 2 σ
n
(xi
i=1
−
1 µ) = 2 σ
− n
xi
nµ .
i=1
Por tanto, de la ecuaci´ on on (11.8) se obtiene que µ = x ¯n . Adem´ as, as, de la ecuaci´ on on (11.7), ∂L( ∂L (x µ, σ 2 ) = ∂σ 2
|
−
n 1 + 2σ 2 2σ 4
n
(xi
i=1
− µ)2.
274
11. M´ etodos eto dos de Obtenci´ Obten ci´ on on de Estimadores
Cuando µ se reemplaza por el valor x ¯n que se acaba de obtener, de la ecuaci´on on (11.9) se obtiene que 1 σ = n 2
n
(xi
i=1
− x¯n)2.
As´ı como co mo x¯n se denomina media muestral, el estad´ estad´ıstico de la l a parte derecha de la ecuaci´ on anterior se denomina varianza muestral . Es la varianza de una on distribuci´ on que asigna probabilidad 1/n on 1/n a a cada uno de los n valores observados x1 , . . . , xn de la muestra. Se puede comprobar que los valores de µ y σ2 que satisfacen las ecuaciones (11.8) y (11.9), efectivamente proporcionan el valor m´ aximo de L(x µ, σ 2 ). Por tanto, los EMV de µ de µ y σ 2 son
|
¯n µ ˆ = X
y
n
σ2
1 = n
(X i
i=1
− X ¯n)2.
En otras palabras, los EMV de la media y la varianza de una distribuci´ on on normal son la media muestral y la varianza muestral.
Ejemplo 11.20 No unic ongase ongase que X 1 , . . . , Xn conunicid idad ad de un EMV. EMV. Sup´ stituyen una muestra aleatoria de una distribuci´ on uniforme sobre el intervalo on θ,θ + 1 , con par´ ametro θ ametro θ desconocido desconocido (θ (θ R). En este ejemplo, la f.d.p. conjunta f n (x θ) tiene la forma
|
∈
f n (x θ) =
|
1 para θ xi θ + 1 (i = 1, . . . , n), n), 0 en otro otro caso caso..
≤ ≤
La condici´ on o n de que θ xi para i = 1, . . . , n, n, es equivalente a la condici´ on on de que θ m´ın x1 , . . . , xn . An´ alogamente, alogamente, la condici´ on on de que xi θ + θ + 1 para i = 1, . . . , n, n, es equivalente a la condici´ on on de que θ m´ ax ax x1 , . . . , xn 1. Por tanto, en lugar de escribir f n (x θ) en la forma en como ya lo hemos hecho, se puede utilizar la siguiente forma:
≤
≤ }
{
≥
|
f n (x θ) =
|
1 para max a´x x1 , . . . , xn 0 en otro otro caso caso..
{
{
≤
}−
} − 1 ≤ θ ≤ m´ın{x1, . . . , xn},
Entonces, es posible seleccionar como un EMV cualquier valor de θ de θ en el intervalo m´ ax ax x1 , . . . , xn
{
} − 1 ≤ θ ≤ m´ın{x1, . . . , xn}.
En este ejemplo, el EMV no est´ a especificado un´ un´ıvocamente. De hecho, el m´etodo etod o de m´ axima axima veros verosimil imilitu itud d no proporc proporcion ionaa ayuda ayuda alguna alguna para para elegir elegir un
11. M´ etodos eto dos de Obtenci´ Obten ci´ on on de Estimadores
275
estimador de θ de θ.. La verosimilitud de cualquier valor de θ de θ fuera fuera del intervalo anterior es realmente 0. Por tanto, ning´ un un valor de θ fuera de este intervalo intervalo podr´ıa ıa haber sido estimado y todos los valores dentro del intervalo son EMV.