Cadenas de Markov 2.1 (M14)

Capítulo 2 . 2.- Cadenas de Markov. 2.1. Introducción.

Hay procesos estocásticos, tales que, la información de algún estado futuro X n n+1 1, dado que se sabe la información de los estados pasados X 0 , X 1, … , X n – 1 y del + estado presente X presente X n n , es independiente de los estados pasados y únicamente depende del estado presente X presente X n n , por su forma de comportarse, estos procesos se aplican en diversas áreas, aquí analizaremos aquellos que tienen un espacio parametral de tiempo discreto T y un espacio de estados E estados E,, finito o contable infinito. Un proceso estocástico { X n n , n ∈ T }, con espacio parametral de tiempo discreto T y un espacio de de estados E estados E finito finito o contable infinito es una cadena de si Markov si Definición 2.1.

{ X n n+1 = j | X | X 0 = i 0 , X , X 1 = i 1, … , X , X n n = { X n n+1 = j | X | X n n = = pij . P { X i } = P { X +1 = j = i } 1 = j = i } = p + probabilidad de transición o de paso, del estado i en en el tiempo n , al estado j estado j en en pij es la probabilidad el tiempo n +1, es decir, pij es es la probabilidad de transición o de paso del estado i al i al estado j estado j en en un paso. Sin pérdida de generalidad tomaremos a T y E E como subconjunto de los números enteros. Definición 2.2.

Si las pij no dependen de n , se dice que la cadena de Markov es

homogénea . La definición 2.2 nos dice que { X n n+1 = j | X | X n n = { X m = j | X | X m = i } = p = pij con m ≠ n . P { X 1 = j = i } = P { X m+1 1 = j m = + + supondremos siempre que p que pij no dependen de n . A pij =P =P { X { X 1 = j = j | X | X 0 = i } también lo podemos poner como

25 Capítulo 2 2.1. Introducción __________________________ ________________________________________ __________________________ _________________________ _________________________ _______________ ___


{ X 1 = j = j | X | X 0 = i } = P i i{ X 1 = j = j } } P { X Las probabilidades de transición p transición pij satisfacen pij ≥ 0, i , j ≥ 0

∑∈ p

y

ij

= 1.

j E

Podemos escribir todas las probabilidades de transición del estado i en en el tiempo estado j en en el tiempo n +1, de la siguiente forma matricial n , al estado j estados de X de X n n+1 1 + 0 estados de X de X n n

1

0  p00

p01

 2  p20   

p11

1  p10

p21 

2



p02  

p12   = P p22   

 

P es la matriz de probabilidades de transición.

Una matriz P se llama estocástica si si cada uno de sus elementos, pij ≥ 0, pij = 1 , es decir cada uno de los elementos de la matriz es mayor o igual

Definición 2.3.

i , j ≥ 0 y

∑

j∈E

que cero y en cada renglón su suma es uno. Una matriz P se llama doblemente estocástica si si cada uno de sus elementos pij ≥ 0 , i , j ≥ 0 , pij = 1 y pij = 1 Definición 2.4.

∑

j∈E

∑

i ∈E

La definición 2.4 nos dice que una matriz es doblemente estocástica si tanto sus columnas como sus renglones suman uno. Ejemplo 2.1. Supóngase 2.1. Supóngase que la posibilidad de que el día de mañana llueva sólo depende de la situación climatológica de hoy y no de días previos, además supongamos que si llueve hoy, la probabilidad de que mañana llueva es α y si hoy no llueve, la probabilidad de que llueva mañana mañana es β, esto quiere decir que si hoy llueve, entonces mañana no lloverá con probabilidad 1 – α y si hoy no llueve, la probabilidad de que mañana tampoco sería 1 – β, si consideramos que el estado 0 es que llueva y al estado 1

C adenas 26 adenas de Markov Capítulo 2 _________________________ _____________________________________ _________________________ __________________________ __________________________ _________________ ____


{ X 1 = j = j | X | X 0 = i } = P i i{ X 1 = j = j } } P { X Las probabilidades de transición p transición pij satisfacen pij ≥ 0, i , j ≥ 0

∑∈ p

y

ij

= 1.

j E

Podemos escribir todas las probabilidades de transición del estado i en en el tiempo estado j en en el tiempo n +1, de la siguiente forma matricial n , al estado j estados de X de X n n+1 1 + 0 estados de X de X n n

1

0  p00

p01

 2  p20   

p11

1  p10

p21 

2



p02  

p12   = P p22   

 

P es la matriz de probabilidades de transición.

Una matriz P se llama estocástica si si cada uno de sus elementos, pij ≥ 0, pij = 1 , es decir cada uno de los elementos de la matriz es mayor o igual

Definición 2.3.

i , j ≥ 0 y

∑

j∈E

que cero y en cada renglón su suma es uno. Una matriz P se llama doblemente estocástica si si cada uno de sus elementos pij ≥ 0 , i , j ≥ 0 , pij = 1 y pij = 1 Definición 2.4.

∑

j∈E

∑

i ∈E

La definición 2.4 nos dice que una matriz es doblemente estocástica si tanto sus columnas como sus renglones suman uno. Ejemplo 2.1. Supóngase 2.1. Supóngase que la posibilidad de que el día de mañana llueva sólo depende de la situación climatológica de hoy y no de días previos, además supongamos que si llueve hoy, la probabilidad de que mañana llueva es α y si hoy no llueve, la probabilidad de que llueva mañana mañana es β, esto quiere decir que si hoy llueve, entonces mañana no lloverá con probabilidad 1 – α y si hoy no llueve, la probabilidad de que mañana tampoco sería 1 – β, si consideramos que el estado 0 es que llueva y al estado 1

C adenas 26 adenas de Markov Capítulo 2 _________________________ _____________________________________ _________________________ __________________________ __________________________ _________________ ____

C adenas 26 adenas de Markov Capítulo 2 _________________________ _____________________________________ _________________________ __________________________ __________________________ _________________ ____ que no llueva, claramente bajo los los supuestos que hemos hecho éste éste ejemplo es una cadena de Markov con la siguiente matriz de transición, P =

α 1−α   β 1− β   

Ejemplo 2.2. Un apostador tiene $N , en cada juego que apuesta tiene la probabilidad p de ganar $1 o perder $1 con probabilidad 1 – p – p , , el jugador se retirará cuando se quede sin dinero o bien cuando haya duplicado su dinero original $N. Si consideramos X n n como el dinero que tienen el apostador después de la n -ésima -ésima vez que apuesta, X n n claramente es una cadena de Markov, ya que lo que va apostar únicamente dependerá del dinero que tenga actualmente y no de lo que haya jugado antes, X n n tienen espacio de estados E E = {0, 1 , 2, … , 2N}, sus probabilidades de transición son pij = p p

con j = = i +1 +1 , i = = 1, 2, … , 2N – 1

= i – – 1, i = = 1, 2, … , 2N – 1 y pij = 1 – p p con j = p00 = p2N,2N = 1 los estados 0 y 2N son estados absorbentes, este concepto lo definiremos más adelante, de aquí obtenemos la siguiente matriz de transición

0  1  1 − p 0   0 1 − p P =      0 0  0  0

0

0 

0

0

p

0 

0

0

0

p 





0

0 

0

0 

0 0

 0 0 0     1 − p 0 p   0 0 1 

= 0, 1, … } definido por Ejemplo 2.3. Sea { X n ; n =

0 X n n = =  Y1 + Y2 +  + Yn

si n = 0 si n = 1, 2,…

27 Capítulo 2 2.1. Introducción ________________________________________________________________________________


con Y 1, Y 2, … , Y n , variables aleatorias discretas, independientes e idénticamente distribuidas, con distribución de probabilidad { pk ; k = 0, 1, 2, … }. Dado que X n+1= X n + Y n+1 , tenemos que, P { X n+1 = j | X 0, X 1, … , X n } = P {Y n+1 = j – X n | X 0, X 1, … , X n } = p j − X n Claramente únicamente depende de X n . Así tenemos que el proceso { X n , n ∈ T } define una cadena de Markov con probabilidades de transición pij = P { X n+1 = j | X n = i } = p j–i y matriz de transición

 p0 p1 p2 p3  0 p p p 0 1 2  0 p0 p1 P =  0   0 0 0 p0     



       

Sea { X n ; n ∈ T , n ≥ 0} una cadena de Markov, para todo m , n ∈ T , con m , n ≥ 0 y i 0, i 1, …, i m ∈ E

Teorema 2.1.

P { X n+ 1 = i 1, … , X n+m = i m | X n = i 0 } = pi 0 i1 pi1i2  pi m −1 im

Demostración. P { X n +1 = i 1, … , X n+m = i m | X n = i 0 } = P { X n +2 = i 2, … , X n+m = i m | X n = i 0, X n +1 = i 1} P { X n +1 = i 1| X n = i 0 } por ser { X n ; n ∈ T , n ≥ 0} una cadena de Markov y por definición de probabilidad de transición = P { X n +2 = i 2, … , X n+m = i m | X n +1 = i 1} pi 0i 1 repitiendo el primer paso = P { X n +3 = i 3, … , X n+m = i m | X n+1 = i 1, X n +2 = i 2} pi 0 i 1 P { X n +2 = i 2| X n+1 = i 1} = P { X n+ 3 = i 3, … , X n+m = i m | X n +2 = i 2} pi 0 i 1 pi1i 2

C adenas de Markov 28 Capítulo 2 ________________________________________________________________________________

C adenas de Markov 28 Capítulo 2 ________________________________________________________________________________ y así sucesivamente hasta llegar a P { X n+ 1 = i 1, … , X n+m = i m | X n = i 0 } = pi 0 i1 pi1i2  pi m −1 im

 Sea π ( i ) = P { X 0 = i } la distribución inicial de X n . Sea { X n ; n ∈ T , n ≥ 0} una cadena de Markov, la ley de distribución de probabilidades del vector aleatorio ( X 0 = i 0 , X 1 = i 1, … , X n = i n ) depende de las probabilidades de transición pij y de la distribución inicial, es decir, Corolario 2.1.1.

P { X 0 = i 0 , X 1 = i 1, … , X n = i n } = π ( i0 ) pi 0i1 pi 1i 2  pin −1in

Demostración. P { X 0 = i 0 , X 1 = i 1, … , X n = i n } = P { X 1 = i 1, … , X n = i n | X 0 = i 0 } P { X 0 = i 0 } Del teorema 2.1 y de la definición de distribución inicial P { X 0 = i 0 , X 1 = i 1, … , X n = i n }= π ( i0 ) pi 0i1 pi 1i 2  pin −1in

 Los pij n para n , i , j ≥ 0, son los elementos de la matriz Pn . Teorema 2.2.

Sea { X n; n ∈ T , n ≥ 0} una cadena de Markov, para m ∈ T , con m ≥ 0 P { X n+m = j | X n = i } = pij m

para todo i , j ∈ E . Demostración. Demostremos por inducción. Para m = 1, por definición, esto es claro. Por hipótesis de inducción se cumple para m = l , ahora verifiquemos si se cumple para m = l + 1. P { X n+l +1 = j | X n = i } =

∑∈ P{X + +

n l 1

= j , X n +l = k | X n = i }

k E



=

∑∈ P{X + +

= j | X n +l = k, X n = i }P{Xn +l = k | Xn = i }

∑∈ P{X + +

= j | X n +l = k}P{X n +l = k | Xn = i }

n l 1

k E

=

n l 1

k E

por hipótesis de inducción =

∑∈ p

kj

∑∈ p

pikl =

l ik

k E

pkj

k E

= pij l +1

 Así que para una cadena de Markov, la probabilidad de transición en m pasos se define como P { X n+m = j | X n = i } = pij m . Teorema 2.3.

Sea { X n; n ∈ T , n ≥ 0} una cadena de Markov P { X n = j } =

P{X ∑ ∈

0

= i } pij n

i E

para todo j ∈ E . Demostración. P { X n = j }=

P{X ∑ ∈

n

= j , X0 = i}

P{X ∑ ∈

0

= i }P{X n = j | X 0 = i }

P{X ∑ ∈

0

= i } pij n

i E

=

i E

por el teorema anterior =

i E

 Ecuación de Chapman – Kolmogorov ) Sea { X n ; n ∈ T , n ≥ 0} una cadena de Markov, para todo m , n ∈ T , con m , n ≥ 0 e i , j ∈ E Teorema 2.4. (

pij n + m =

∑∈ p

n ik

pkjm

k E


C adenas de Markov 30 Capítulo 2 ________________________________________________________________________________ Demostración. pij n + m = P { X n +m = j | X 0 = i } =

∑∈ P{X +

= j , X m = k | X 0 = i }

∑∈ P{X +

= j | X m = k , X 0 = i }P{X m = k | X 0 = i }

n m

k E

=

n m

k E

=

∑∈ P{X +

n m

= j | X m = k}P{X m = k | X 0 = i }

k E

=

∑∈ p

m ik

pkjn

k E

 Ejemplo 2.4. Del ejemplo 2.1, consideremos que α = 0.7 (la probabilidad de que mañana llueva dado que hoy llueve) y β = 0.4 (la probabilidad de que mañana llueva dado que hoy no llueva), entonces la matriz de transición es: P =

 0.7 0.3   0.4 0.6   

¿Cuál es la probabilidad de que llueva en 4 días dado que hoy está lloviendo? 4 Tenemos que calcular p00 , para obtenerlo calculemos la matriz de transición P4 , luego entonces

P2 = P P =

 0.61 0.39   0.52 0.48   

P4 = P2 P2 =

y

 0.5749 0.4251   0.5668 0.4332   

por tanto la probabilidad de que llueva dentro de 4 días dado que está lloviendo hoy es 0.5749.

31 Capítulo 2 2.2. Clasificación de estados. ________________________________________________________________________________


2.2. Clasificación de estados.

Definición 2.5.

Si la probabilidad pij n es no cero para alguna n ≥ 1 se dice que el estado

i lleva al estado j o también que j es alcanzado o accesible desde el estado i se denota por i → j . Definición 2.6.

Se dice que los estados i, j se comunican si i → j y j → i , se denota

por i ↔ j . Definición 2.7.

Una cadena de Markov es irreducible si todos los estados se comunican.

La definición anterior nos dice que una cadena de Markov es irreducible si cada estado es alcanzado desde cualquier otro, en algún número de pasos. Teorema 2.5.

La comunicación es simétrica y transitiva es decir para estados i , j y k,

1) i ↔ j ⇒ j ↔ i 2) si i ↔ j y j ↔ k ⇒ i ↔ k Demostración . 1) se cumplen inmediatamente a partir de la definición, probemos 2). Si i ↔ j entonces existe n 1 > 0, pij n 1 > 0 y j ↔ k

n 2 entonces existe n 2 > 0 , p jk >0

usando Chapman Kolmogorov pikn1 +n 2 =

p ∑ ∈

n1 ir

n 2 >0, prkn 2 ≥ pij n 1 p jk

r E

lo que significa que si existe un n 3 tal que pikn 3 > 0 .




C adenas de Markov 32 Capítulo 2 ________________________________________________________________________________ estado j que se comunica nuevamente con él, j ↔ j , se dice que es n un estado de retorno, es decir, j es un estado de retorno si p jj >0, para alguna n ≥ 1.

Definición 2.8. Un

Definición 2.9.

Dado un estado j una clase de comunicación E j es definida como el conjunto de todos los estados k los cuales se comunican con j ; es decir k ∈ E j si, y sólo si k ↔ j . Podría pasar que E j sea un conjunto vacío, es decir, que puede existir un estado j que no se comunica ni con el mismo, j es un estado de no retorno. Teorema 2.6.

Si E1 y E2 son dos clases de comunicación, entonces E1 y E2 son

disjuntos. Demostración. Si para un estado que esté tanto en E1 como en E2, significa que E1 = E2, habremos probado que son disjuntos. Supongamos que E1 y E2 tienen un estado i en común. Sean j y k dos estados tales que E1 = E j y E2 = Ek , probemos que E j = Ek. Verifiquemos primero que E j ⊂ Ek sea h ∈ E j , dado que h ↔ j y j ↔ i , entonces h ↔i , como i ↔k entonces h ↔k, se cumple que E j ⊂ Ek,, análogamente podemos probar que Ek ⊂ E j , lo que significa que E1 = E2 cuando tienen un estado en común.

 Con la definición de clase de comunicación, tenemos que una cadena de Markov es irreducible si la cadena consiste de una sola clase de comunicación. Podemos entonces decir que todo estado j en una cadena de Markov o bien pertenece a una clase de comunicación o es un estado de no retorno. Podemos enunciar el siguiente resultado. Teorema 2.7. El

conjunto de estados E de una cadena de Markov puede escribirse como la unión de un finito o contable infinito, de conjuntos disjuntos Er , E = E1 ∪ E2 ∪ … ∪ Er ∪ …

y E E i j = ∅ para i ≠ j ,

Donde cada conjunto Er es una clase de comunicación o contiene exactamente un estado de no retorno.



Cuando un proceso entra a un conjunto C de estados y ya no puede salir nunca de él, se dice que el conjunto C de estados es cerrado, un conjunto cerrado puede contener uno o más estados, definamos formalmente a un conjunto cerrado. Definición 2.10.

Un conjunto C de estados se dice que es cerrado si pij n = 0, para alguna

n ≥ 1 y para todo i ∈ C y j ∉ C . Definición 2.11.

n n = 1 y p jk = 0 para toda n ≥ 1 y para j es un estado absorbente si, p jj

todo j ≠ k. La definición anterior nos dice que, si un conjunto cerrado C contiene solamente un estado, entonces se le llama absorbente. A partir de las definiciones es claro que si un proceso no contiene conjuntos cerrados será irreducible. Definición 2.12. El periodo

d ( i ) de retorno al estado i es definido como d ( i ) := m.c.d. {m : pii m > 0 }.

Definición 2.13.

El estado i es aperiódico si d ( i ) = 1 y periódico si d ( i ) >1.

Definición 2.14.

El tiempo de llegada a un estado j ∈ E, se define como T j = inf {n ≥ 1 | X n = j }.

La probabilidad de empezar en el estado i y llegar al estado j en m pasos es, f ij m =P i {T j = m }. Definamos a f ij = P i { T j < ∞ } =

∞

∑= P {T i

m 1

j

= m } =

∞

∑= f

m ij

m 1

como la probabilidad de que el proceso esté en i y alcance alguna vez j . f ij la podemos calcular teniendo en cuenta las siguientes opciones: 1) que de i pase a j en el primer paso con probabilidad pij o 2) que la primera transición sea a k ∈ { E – j } y después eventualmente pasar a j .


C adenas de Markov 34 Capítulo 2 ________________________________________________________________________________ De esto, podemos enunciar el siguiente resultado.

Teorema 2.8.

Para cada i, j ∈ E, p ∑ ∈{ − }

f ij = pij +

ik f kj

k

.

E j

Del teorema anterior podemos también deducir m = 1  pij  f ij m =  pik f kjm −1 m ≥ 2 ∑ k∈{E− j } Definición 2.15. Sea

{ X n ; n ∈ T , n ≥ 0} una cadena de Markov, definimos a ∞

N j =

∑= I {X

k

= j }

k 0

como el número de llegadas al estado j De la definición anterior P i{ N j = m } es la probabilidad, de estando en el estado i visitemos m veces el estado j . Teorema 2.9.

Sea { X n; n ∈ T , n ≥ 0} una cadena de Markov entonces

1) P j { N j = m } =

( f jj )

m −1

( 1 – f jj ) , m = 1, 2, …

m = 0 1 − f ij 2) P i { N j = m }=  m −1 1 1 , 2, … − = f f f m  ij ( jj ) ( jj ) Hacemos notar que ( f jj )

m −1

para i ≠ j.

significa que f jj está elevado a la potencia m –1 , que es

muy diferente a como definimos f jj m . Demostración. Demostremos 1), el que suceda el evento N j = m es equivalente a que ocurra T j 1 < ∞, T j 2 < ∞, … , T j m < ∞ , T j m +1 = ∞, donde j m representa la m -ésima llegada al estado j .



El tiempo entre las llegadas es independiente es decir, { T j 1 < ∞}, { T j 2 – T j 1 < ∞},{ T j 3 – T j 2 < ∞}, … , { T j m +1 – T j m = ∞ } son independientes, esto se debe a que Markov implica independencia de llegadas de j a j , sus respectivas probabilidades asociadas son: 1 , f jj , f jj , … , 1 – f jj la primera es uno porque ya estamos en j , luego entonces tenemos que P j { N j = m } = f jj f jj  ( 1 – f jj ) = ( f jj )

m −1

( 1 – f jj ).

Ahora demostremos 2), para m = 0, significa que j nunca será alcanzado desde i , es decir P i { N j = 0 }= P i {T j = ∞ } = 1– P i {T j < ∞ } = 1– f ij . Para m ≠ 0, la diferencia con el inciso anterior es que ya estamos en el estado j ( con probabilidad uno ) luego entonces sólo hace falta considerar la probabilidad de pasar de i a j por primera vez, esto sucederá con probabilidad P i {T j < ∞ } = f ij tenemos entonces que P i { N j = m }= f ij ( f jj )

m −1

( 1 – f jj )

 Definición 2.16.

1) j es recurrente si P j { T j < ∞ } = 1 , significa que si estamos en el estado j , la probabilidad de que el proceso regrese alguna vez al estado j es uno. 2) Si no es recurrente se dice que es transitorio. Es decir P j { T j = ∞ } > 0. 3) Si j es recurrente y E j ( T j ) = ∞ se dice que j es cero recurrente o recurrente nulo. 4) Si j es recurrente y E j ( T j ) < ∞ se dice que es recurrente positivo. Si f jj = 1 entonces j es recurrente, que f jj = 1 significa que tendremos un número infinito de llegadas a j , P { N j = ∞} = 1 y que para todo m , P { N j = m }= 0, también podemos ver que E j ( N j ) = ∞.


C adenas de Markov 36 Capítulo 2 ________________________________________________________________________________ Si f jj <1, tenemos que P j { T j < ∞ } <1, lo que significa que P j { T j = ∞ } > 0, esto significa que existe la probabilidad de nunca regresar a j , es decir, que j es transitorio. También podemos ver que si f jj <1, del teorema 2.9 es claro que la distribución de N j cuando empieza en j es una geométrica con parámetro 1– f jj . Si f jj <1 entonces N j iniciando en j se distribuye como una geométrica con parámetro 1– f jj . Teorema 2.10.

Sea R , la matriz con elementos r ij = Ei ( N j ) con i , j ∈ E, a la matriz R se le llama matriz potencia . Definición 2.17.

∞  r ij = Ei ( N j ) = Ei  ∑ I { X n = j }   n =0  ∞

=

∑= P {X i

n

= j }

n 0

∞

=

∑= p

n ij

n o

en forma matricial nos quedaría que R = I + P + P2 +  Teorema 2.11. 1)

r jj =

1 1 − f jj

2) r ij = f ij r jj con i ≠ j. Demostración. El inciso 1 sale de que la distribución de N j iniciando en j es una distribución geométrica, su valor esperado es E j ( N j ) =

1 1 − f jj

Probemos ahora 2,


37 Capítulo 2 2.2. Clasificación de estados. ________________________________________________________________________________ ∞

r ij =

∑= mP {N i

j

= m}

m 1

∞

=

∑=

m −1

mf ij (1 − f jj ) ( f jj )

m 1

∞

= f ij

∑=

m(1 − f jj ) ( f jj )

m −1

m 1

= f ij E j ( N j ) = f ij r jj

 Podemos decir que j es recurrente si, y sólo si E j ( N j ) = ∞ y j es transitorio si, y sólo si E j ( N j ) <∞.

Teorema 2.12.

1)

Si j es transitorio o recurrente nulo, entonces para todo i ∈ E lim pij n = 0.

n →∞

2)

Si j es recurrente positivo y aperiódico, entonces n lim p jj = π ( j ) > 0

n →∞

y también lim pij n = f ij π ( j )

n →∞

para todo i ∈ E. Demostración. Aquí probaremos el caso cuando j es transitorio, para una demostración de j recurrente nulo y el inciso 2 puede encontrarse en Çinlar [ 1975, p. 301]. Si j es transitorio entonces r jj = E j ( N j ) < ∞ , entonces r ij = f ij r jj < r jj < ∞


C adenas de Markov 38 Capítulo 2 ________________________________________________________________________________ ∞

r ij =

∑= p

n ij <

∞

n 0

luego entonces r ij es finito solamente si lim pij n = 0. n →∞

 Teorema 2.13. Si j es

recurrente y j → k entonces k → j y f kj = P k {T j < ∞ } = 1 .

Demostración. j → k significa que se puede pasar de j a k sin visitar a j , a la probabilidad de este evento le asignamos α > 0. Sean: A = “ nunca visitar a j desde j ” y B = “Caminar de j a k y nunca regresar a j desde k ” por ser B un caso especial de A tenemos que P{ A } ≥ P { B }, ahora bien P {A} = 1 – f jj

y

P {B} = α ( 1 – f kj )

Por ser j recurrente f jj = 1, entonces 0 = 1 – f jj = P {A} ≥ P{B} = α ( 1 – f kj ) ≥ 0 entonces, α ( 1 – f kj ) = 0 como α > 0, entonces 1 – f kj = 0 , es decir, f kj = 1. Significa también que k → j .

 Teorema 2.14. Si j es

recurrente y j → k entonces k es recurrente.

Demostración. s Si j → k significa que existe un s > 0 tal que p jk > 0 , del teorema anterior m como j es recurrente y j → k entonces k → j , es decir, existe un m > 0 tal que pkj >0 , s m es decir que p jk > 0. pkj

Usando Chapman – Kolmogorov



m + n +l pkk = P k{ X m+n+l = k} =

p ∑ ∈

m ki

pikn +l

i E

considerando un caso particular de pikn +l p ∑ ∈

m ki

p ∑ ∈

pikn +l ≥

m ki

i E

piin pikl

i E

ya que j ∈ E, tomamos el elemento j de la suma, nos queda que p ∑ ∈

m ki

piin pikl ≥ pkjm p njj p l jk

i E

es decir, que m + n +l ≥ pkjm p njj p l jk pkk

(1)

por otro lado ∞

∑= P {X

r kk = Ek( N k ) =

k

n

= k}

n 0

∞

=

∑= p

n kk

n 0

∞

p ∑ = +

≥

n kk

n m l

∞

=

∑= p + +

n m l kk

n 0

por (1) ∞

∑= n 0

n + m +l pkk

≥

∞

∑= p

m kj

p njj pl jk

n 0

= pkjm

p ljk

∞

∑= p

n jj

n 0

= pkjm p l jk E j ( N j ) como j es recurrente E j ( N j ) = ∞, luego entonces Ek( N k ) = ∞, luego entonces k es recurrente.



 Si j es recurrente, entonces existe un conjunto C j cerrado e irreducible que contiene a j .

Teorema 2.15.

Demostración. Sea C j := { j ∈ E, j →i } , como j es recurrente entonces si j →i entonces por el teorema 2.13 i → j entonces C j := { i ∈ E, j ↔i }.

 Con la demostración de este teorema y el teorema 2.6. podemos enunciar el siguiente resultado. Teorema 2.16. Los

estados recurrentes se dividen en una manera única en conjuntos cerrados e irreducibles.

Teorema 2.17.

Si { X n ; n ∈ T , n ≥ 0} es una cadena de Markov, con E irreducible

entonces. 1) Todos los estados son recurrentes. 2) Todos los estados son transitorios. Demostración. 1) Por el teorema anterior y el teorema 2.14 si j es recurrente y E es irreducible, entonces todo elemento de E debe ser recurrente. 2) Por el teorema 2.14, sabemos que para j , k ∈ E, si j es recurrente y j →k entonces k es recurrente, negando ambas proposiciones, tenemos que, si k es transitorio entonces j es transitorio, k → j .

 Si { X n ; n ∈ T , n ≥ 0} es una cadena de Markov, con E irreducible entonces. Todos los estados tienen la misma periodicidad.

Teorema 2.18.

Demostración. Sea k un estado con periodicidad d ( k ), como E es irreducible k ↔ j , entonces r s existe s >0 y r > 0, tal que p jk > 0 y pkj > 0 , ahora bien, s + r pkk

r >0 ≥ pkj s p jk



para el estado j , sea d ( j ) su periodicidad, sea n un múltiplo de d ( j ), supongamos que n no es múltiplo de d ( k ), luego entonces para s +r + n pkk

r ≥ pkj s p jj n p jk

s + r +n como n no es múltiplo de d ( k ), entonces pkk = 0, lo que significa que s n r s r n =0, pero como pkj > 0 entonces p jj =0, es una contradicción ya que n pkj p jj p jk p jk

es un múltiplo de d ( j ), entonces, por tanto d ( k ) = d ( j ).

 Si { X n ; n ∈ T , n ≥ 0} es una cadena de Markov, y sea C < ∞ un subcojunto de estados irreducible, entonces no tiene estados transitorios, ni recurrentes nulos. Teorema 2.19.

Demostración. Demostremos que C no puede tener estados transitorios, el caso de recurrente nulo es totalmente análogo. Sea j un estado transitorio por el teorema anterior significa que todos los estados en C son transitorios, ahora del teorema 2.12, si j es transitorio, entonces para algún i ∈ C lim pij n = 0

n →∞

para cada i ∈ C tenemos que

∑∈ p

n ij

= 1, entonces

j C

∑∈ p →∞

n ij

1= lim n

j C

=

p ∑∈ lim →∞

j C

n

n ij =0

es una contradicción por lo que j no puede ser transitorio.

 Ejemplo 2.5. Sea P la siguiente matriz de transición.

 0.8 0 0.2 0   0 0 1 0  P =   1 0 0 0   0.3 0.4 0 0.3  


C adenas de Markov 42 Capítulo 2 ________________________________________________________________________________ Dado que p13 >0 y p31 >0 y p12 = p14 = p32 = p34 = 0, los estados {1, 3} son cerrados e irreducibles, son recurrentes positivos por que son finitos, esto es por el teorema 2.19, los estados 2 y 4 son transitorios. 0.2

1

0.8

3 1

0.3

0.3

1

4

2

0.4

Obtengamos los elementos de la matriz R , sea { X n } una cadena de Markov , con espacio de estados E y matriz de transición P. Si j es un estado recurrente significa que: f jj = 1 ⇒ r jj = ∞, ahora bien, si i es cualquier estado, entonces i → j ⇔

f ij > 0 ⇔

r ij = f ij r jj = ∞

y si i → j ⇔ f ij = 0 ⇔

r ij = 0.

Si j es transitorio e i es recurrente, tenemos que i → j por que si i → j e i es recurrente entonces j es recurrente, caeríamos en una contradicción, así que r ij = 0 porque f ij = 0. Por último analicemos el caso en el que i , j son transitorios, sea D el conjunto de estados transitorios, sean Q y S las matrices que se obtienen a partir de P y R respectivamente, al eliminar todos los renglones y columnas correspondientes a los estados recurrentes, es decir, Q y S tienen elementos q ij = pij y s ij = r ij , con i , j ∈ D . la matriz de probabilidades de transición la podemos particionar de la siguiente manera.



P =

K 0   L Q  

de manera similar tendríamos, para m ≥ 0 en los enteros

 Km 0  P =   L Qm  ,  m  m

aquí K m es la potencia m de K similar para Q pero Lm es únicamente una matriz. Por definición

 ∞ m ∑K ∞ m =0 R = ∑ P m =   ∞ m = 0  ∑ L m  m =0 ∞

con

S =

∑= Q

m

   = ∞  m Q ∑  m =0 0

 K' 0   '   L S

= I + Q + Q2 + 

m 0

tenemos que,

SQ = Q + Q2 + Q 3 +  = QS SQ = QS = S – I

( I – Q )S = I y S( I – Q ) = I Si D es finita entonces S es la inversa de I – Q . Si no es finita podemos tener muchas soluciones. Teorema 2.20.

S es la solución minimal de ( I – Q ) Y = I, Y ≥ 0.

Demostración. Hay que demostrar que si hay otra solución Y de ( I – Q ) Y = I entonces Y ≥ S, sea Y una solución, Y ≥ 0 ( I – Q ) Y = I ⇒ Y = I + QY


C adenas de Markov 44 Capítulo 2 ________________________________________________________________________________ = I + Q( I + QY) = I + Q + Q2 Y y sustituyendo Y sucesivamente Y = I + Q + Q2 +  + Qn + Qn+1 Y,

tenemos que Y ≥ I + Q + Q2 +  + Qn ∞

S =

∑= Q

m

≤ Y .

m 0

 Si Y es una solución y S es otra solución, entonces , H = Y – S ≥ 0, y H = Y – S = I + QY – I – QS = Q ( Y – S )

= QH cada columna h de H satisface h = Qh ≥ 0

por otro lado, de S s ij = f ij r jj ≤ r jj < ∞ porque i, j son estados transitorios, la única solución de ( I – Q ) Y = I es S, si, y sólo si, la solución de h = Qh es h = 0. Corolario 2.20.1 .

S es la única solución a ( I – Q ) Y = I, Y 0 ≤ h ≤ 1 implica que h = 0 .

≥ 0 si, y sólo si h = Qh,

Ejemplo 2.6. X es una cadena de Markov con espacio de estados E = { 1, 2 , 3, 4, 5, 6, 7, 8} y matriz de transición



 0.4  0   0.5  0  P =  0   0  0.4   0.1

0.3

0.3

0

0

0

0

0.6 0.4

0

0

0

0

0  0 

 0.5 0 0 0 0 0 0   0 0 0 1 0 0 0  0 0 0.8 0.2 0 0 0   0 0 0 0 0.4 0.6 0  0.4 0 0 0 0 0 0.2   0 0.3 0 0 0.6 0 0 

o bien,

 0.4   0  0.5   P=     0  0.4   0.1 

0.3 0.3 0.6 0.4 0.5

0

0 0

0

1

0.8 0.2

0

0

0.4

0

0

0.3

0

  0      0   0.4 0.6 0  0 0 0.2   0.6 0 0 

Como podemos ver los estados 1, 2, 3 forman un conjunto irreducible, de estados recurrentes positivos, los estados 4 y 5 forman otra clase de conjunto irreducible de estados recurrentes positivos y los estados 6, 7, y 8 son estados transitorios, los cuales únicamente pueden ir a los estados 1, 2 y 3, no tienen comunicación con los estados 4 y 5. Calculemos R , para j recurrente e i cualquier estado tenemos que r ij = ∞, en caso de que i → j , tenemos que r ij = 0, únicamente nos hace falta calcular el caso en el que tanto i como j son estados transitorios (nos hace falta calcular la submatriz inferior del lado derecho), obtengamos Q que se obtienen a partir de P, al eliminar todos los renglones y columnas correspondientes a los estados recurrentes

 0.4 0.6 0    0 0.2  Q =  0  0.6 0 0   


C adenas de Markov 46 Capítulo 2 ________________________________________________________________________________ tenemos estados transitorios finitos, luego entonces S ( S que se obtienen a partir de R , al eliminar todos los renglones y columnas correspondientes a los estados recurrentes) es la inversa de I – Q −1

 0.6 −0.6 0   125 75 15  1  −0.2  =  15 75 15  , S = ( I – Q ) – 1 =  0 1  −0.6 0  66  75 45 75  1     así tenemos que la matriz R para esta cadena de Markov es

      R =        

∞ ∞ ∞ ∞ ∞ ∞ ∞ ∞ ∞

0

0

0

∞ ∞ ∞ ∞

0

∞ ∞ ∞ ∞ ∞ ∞ ∞ ∞ ∞

125

0

15 75

66

66 66

75 75 45

66 66 66

         15 66   15 66  75  66 

Ahora calculemos los valores para la matriz F. Si i , j son recurrentes y pertenecen al mismo conjunto cerrado e irreducible entonces f ij = 1. Si i es recurrente y j es transitorio entonces f ij = 0. Si i , j son recurrentes, i ∈ E1 y j ∈ E2, E1 ∩ E2 = ∅ entonces f ij = 0. Si i , j son transitorios, entonces r ij < ∞, del teorema 2.11.1 r jj =

1 1 − f jj

⇒ r jj ( 1 – f jj ) = 1 ⇒ r jj – 1 = r jj f jj ⇒ f jj = 1 –

1 r jj

y del teorema 2.11.2



r ij = f ij r jj

Teorema 2.21.

⇒ f ij =

r ij r jj

Si i es transitorio y C es un conjunto cerrado e irreducible de estados

recurrentes f ij = f ih para todo j , h ∈ C . Demostración. Para j , h ∈ C , f jh = f hj = 1 , así si la cadena llega a un estado de C , éste también visita todos los otros estados, entonces f ij = f ih .

 Sea C 1 , C 2 , … una clase de conjuntos cerrados e irreducibles y D es un conjunto de estados transitorios, donde P1, P2, … son las matrices de transición correspondientes a los conjuntos C 1 , C 2 , … y Q es la que está formada por los estados transitorios y Q1, Q2, … son las matrices de transición de los estados transitorios a los estados de la clase de conjuntos cerrados e irreducibles C 1 , C 2 , … respectivamente, la matriz P nos queda de la siguiente forma

 P1 0 0 0 P 0 2  0 P3 P =  0      Q Q Q 2 3  1

  



0 0

 0 .    Q 

Como estamos interesados únicamente en saber cuando el conjunto C j será alcanzado, sin pérdida de generalidad podemos considerarlos como estados absorbentes es decir cambiemos a P1, P2, … por 1, 1, … , así nuestra matriz de transición P la podemos rescribir de la siguiente forma

1 0 0 0 1 0   0 1 P =  0     b b b  1 2 3

  



0

  0    Q  0


C adenas de Markov 48 Capítulo 2 ________________________________________________________________________________ donde el i -ésimo elemento de b j ( b j es un vector columna ) es, la probabilidad de estando en el estado transitorio i , llegue al conjunto C j , b j ( i ) =

p ∑ ∈

ik

, con i ∈ D

k C j

o más simple  = P

I 0 B Q  

con B = ( b1, b2, …, bm ), los elementos de B son b ij =

p ∑ ∈

ik

, de aquí se sigue que

k C j

n = P

 I 0   n  Bn Q 

donde Bn =( I + Q + Q2 +  + Qn-1 )B, los elementos b n ij de la matriz Bn, nos indican la probabilidad de que en n pasos vayamos desde el estado i a C j o bien es la probabilidad que desde el estado i el proceso entre al C j en un tiempo n o antes es decir ( lo podemos ver como X 0 = i queremos llegar a X n = C j ) b n ij = P i { T j < n +1} entonces la probabilidad de que alcancemos a C j a partir del estado transitorio i en algún momento sería P i { T j < ∞ } = lim P i { T j ≤ n +1 } n →∞

= lim b n + 1ij n →∞

 n k  lim Bn+1 = lim  ∑ Q  B n →∞ n →∞  k =0   ∞ k  = ∑Q B  k =0  =SB luego entonces si i es transitorio, f ik = ( sb )ij , para todo k ∈ C j , por el teorema anterior podemos definir



)ij g ij = f ik = ( sb como la probabilidad de alcanzar el conjunto C j desde el estado transitorio i . De todo lo anterior podemos concluir que para cada estado transitorio i y una clase recurrente C j , la probabilidad de alcanzar el conjunto C j desde el estado transitorio i , es )ij para todo k en C j . g ij = f ik = ( sb Sea i un estado transitorio desde el cuál únicamente un número finito de estados transitorios puede ser alcanzado. Además, supóngase que hay únicamente una clase C de estados recurrentes, que puede ser alcanzado desde i . Entonces f ij = 1 para todo j ∈ C . Lema 2.1.

Demostración. Al existir únicamente un conjunto de estados recurrentes que son alcanzados a partir del conjunto de estados transitorios D, tenemos que la matriz B se convierte en un vector columna, por definición pij = 1 , es decir, si 1 es el vector columna

∑

j∈E

formado por puros unos, por la definición P1= 1

tenemos que, B + Q1 = 1 , o bien B = 1 – Q1 , entonces, Bn =( I + Q + Q2 +  + Qn-1 )B

=( I + Q + Q2 +  + Qn-1 )( 1 – Q1 ) =I 1+ Q1 + Q2 1+  + Qn-1 1 – Q1 – Q2 1 –  – Qn 1 = 1 – Q n 1 Así si tomamos el límite lim Bn = lim ( 1 – Qn 1 )

n →∞

dado que

∑Q

n

n →∞

< ∞, entonces lim Qn = 0, entonces el límite anterior nos queda n →∞

como lim Bn = 1 , obtenemos n →∞


C adenas de Markov 50 Capítulo 2 ________________________________________________________________________________ g ij = f ik = 1, para todo k ∈ C .

 Ejemplo 2.7. Ahora calculemos la matriz F de la cadena del ejemplo 2.6, si i , j son recurrentes y pertenecen a la misma clase entonces f ij = 1, cuando pertenecen a diferentes clases f ij = 0, si i es recurrente y j es transitorio f ij = 0. Si i , j son transitorios usamos los resultados de R para calcular r ij 1 , f ij = f jj = 1 – r jj r jj por ejemplo sea i = 6, j = 7, del ejemplo 2.6 r 67 =

75 66

y r 77 =

75 luego entonces 66

f 67 = 1. Y usando el lema 2.1 para el caso en que i es transitorio y j es recurrente f ij = 1, así

1  1 1   F =    1 1  1 

1 1 1 1

0

0

1 1 0

1 1

1 1 1 1 1 1

0

1 1

0

0.472

1

0.12

0.12

0.60

0.60

         0.20   0.20  0.12  

2.3 Distribución estacionaria.

Sea { X n ; n ∈ T , n ≥ 0} una cadena de Markov, con matriz de transición P, π es una distribución estacionaria con respecto a P o { X n ; n ∈ T , n ≥ 0} si, y sólo si

Definición 2.18.

1) π es una distribución.

51 Capítulo 2 2.3. Distribución estacionaria ________________________________________________________________________________


2) π =π P, es decir, π( j ) =

π ( i ) p para toda j ∈ E. ∑ ∈ ij

i E

Si { X n ; n ∈ T , n ≥ 0} es una cadena de Markov irreducible, aperiódica entonces todos los estados son recurrentes positivos si, y sólo si el sistema de ecuaciones lineales π( j ) = π ( i ) pij , para toda j ∈ E

Teorema 2.22.

∑ ∈ i E

∑∈ π ( j ) = 1

j E

tiene una solución π. Si existe una solución π esta es positiva, π ( j ) > 0 para toda j , π es única y

π ( j ) = lim pij n

para todo i , j ∈ E.

n →∞

Demostración. Si j es recurrente positivo y aperiódico por el teorema 2.12 lim pij n = τ ( j ) >0

n →∞

ya que para todo i , j ∈ E, f ij = 1, y p ∑∈ τ ( j ) = ∑∈ lim →∞

j E

j E

∑ p →∞ ∈

n ij

n

= lim n

n ij

=1

j E

τ es una distribución. Sea pij n +1 =

∑∈ p

n ik

pkj

k E

τ ( j ) = lim pij n +1 n →∞

∑ p →∞ ∈

pkj

p ∑∈ lim →∞

pkj

n ik

= lim n

=

k E

=

k E

n

n ik

∑∈ τ ( k ) p

kj

k E



τ = τP Todavía nos hace falta revisar su unicidad, sea π otra solución

π =π P = π PP = π PPP = π Pn

π( j ) =

π (i ) p ∑ ∈

n ij

para todo j ∈ E

i E

π (i ) p ∑ →∞ ∈

n ij

= lim n

=

i E

π ( i ) lim p ∑ →∞ ∈ i E

=

n ij

n

π ( i )τ ( j ) ∑ ∈ i E

=τ ( j )

π ( i ) ∑ ∈ i E

= τ ( j )

Ahora demostremos la otra parte del teorema, es decir, hay que probar que la existencia de una solución π al sistema de arriba implica que todos los estados son recurrentes positivos. Sea π una distribución estacionaria

π = π P = π Pn π( j ) =

π (i ) p ∑ ∈

para todo j ∈ E.

n ij

i E

Supongamos que la cadena no es recurrente positiva por el teorema 2.12, lim pij n = 0

n →∞

entonces

π( j ) = lim ∑π ( i ) pij n = n →∞

i ∈E

π ( i ) lim p ∑ →∞ ∈ i E

n

n ij

=0



esto significa que

∑∈ π ( j ) = 0,

esto es una contradicción, por tanto los estados son

j E

recurrentes positivos.

 Ejemplo 2.8. Sea X una cadena de Markov, con matriz de transición

 0.2  0.7   0  P=  0  0   0  0.1 

0.8

0

0

0

0

0.3

0

0

0

0

0  0 

 0 0.3 0.5 0.2 0 0   0 0.6 0 0.4 0 0  0 0 0.4 0.6 0 0   0.1 0.1 0.2 0.2 0.3 0.1  0.1 0.1 0 0.1 0.2 0.4 

podemos ver que los estados {0, 1} forman una clase de conjunto de recurrencia C 1, los estados {2,3,4} forman otra clase de conjunto de recurrencia C 2, ambos conjuntos está formado por estados aperiódicos y los estados {5, 6} son transitorios. Calculemos la matriz lim Pn , para calcularla usamos el teorema 2.12.2 lim pij n = f ij π ( j ) y el resultado n →∞

n →∞

del teorema 2.22. Del primer conjunto calculemos su probabilidad cuando n →∞, calculemos lim P1n , donde n →∞

P1 =

 0.2 0.8   0.7 0.3   

para calcularla tenemos que resolver el siguiente sistema de ecuaciones

π(0) = 0.2π(0)+0.7π(1) π(1) = 0.8π(0)+0.3π(1) π(0) + π(1) = 1 de la primera ecuación π(0) =

0.7 π(1), sustituyendo en la última ecuación 0.8 0.7 π(1)+π(1) = 1 0.8


C adenas de Markov 54 Capítulo 2 ________________________________________________________________________________ de aquí

π(1)=

7 8 y π(0) = 15 15

para el otro conjunto de estados recurrentes tenemos la siguiente matriz de transición

 0.3 0.5 0.2    P2 =  0.6 0 0.4   0 0.4 0.6    tenemos que resolver el siguiente sistema de ecuaciones

π(2) = 0.3π(2) + 0.6π(3) π(3) = 0.5π(2)

+0.4π(4)

π(4) = 0.2π(2) + 0.4π(3)+0.6π(4) y además

π(2) + π(3) + π(4) = 1 de la ecuación uno y dos

π(3) =

7 π(2) 6

y

5 2

π(4) = π(3)–

5 π(2) 4

ya que los estados son recurrentes y aperiódicos, sabemos que el sistema tiene solución 7 10 única, hacemos π(2)=1, obtenemos que π(3)= y π(4)= , sumamos las tres 6 6 23 cantidades π(2) + π(3) + π(4) = y luego las dividimos entre la suma para hacer que 6 6 7 10 se cumpla la última condición, obtenemos que π(2)= , π(3) = y π(4)= , para 23 23 23 calcular por completo la matriz lim Pn , nos hace falta calcular la matriz F, para esto n →∞

calculemos primero R ,. Q =

 0.3 0.1   0.2 0.4   



tenemos estados transitorios finitos, luego entonces S ( S que se obtienen a partir de R , al eliminar todos los renglones y columnas correspondientes a los estados recurrentes) es la inversa de I – Q −1 0.7 −0.1    1.5 0.25  S = ( I – Q )-1 =  =   0.5 1.75  , 0.2 0.6 −    

así tenemos que la matriz R para esta cadena de Markov es

∞ ∞  ∞ ∞   R =  0    ∞ ∞  ∞ ∞ 

0

∞ ∞ ∞ ∞ ∞ ∞ ∞ ∞ ∞ ∞ ∞ ∞ ∞ ∞ ∞

 0      0    1.5 0.25  0.5 1.75 

Ahora calculemos la matriz F,

G = SB =

 1.5 0.25   0.1 0.5   0.2 0.8   0.5 1.75   0.2 0.2  =  0.4 0.6      

entonces,

     F =       

1 1 1 1

0 1 1 1

0

1 1 1 1 1 1

0.2

0.2

0.8 0.8 0.8

0.4

0.4

0.6 0.6 0.6

 0     0     1 1  3 7 3  1  3 7 

ahora si, ya podemos obtener P∞,



      lim Pn =  n →∞      

7 15 7 15

8 15 8 15

0

1.4 15 2.8 15

1.6 15 3.2 15

0 6 23 6 23 6 23

7 23 7 23 7 23

10 23 10 23 10 23

4.8 23 3.6 23

5.6 23 4.2 23

8 23 6 23

 0      0    0 0  0 0 

Veamos ahora que ocurre en caso de que los estados sean periódicos. Teorema 2.23.

Sea X una cadena de Markov, irreducible con estados periódicos y recurrentes con periodo δ, entonces los estados pueden ser divididos en δ conjuntos disjuntos B1, B 2, … ,B δ tal que pij =0 a no ser que i ∈ B 1 y j ∈ B 2 o i ∈B2 y j ∈ B 3 o … o i ∈Bδ y j ∈B1. Demostración Sin pérdida de generalidad tomemos los estados 0 y j , dado que la cadena es irreducible 0→ j y j → 0, es decir, existen enteros r , s tal que p0r j >0 y β= p j s 0 >0 m + s = p0m j p j s 0 = p0m j β p00 m + s como el estado 0 tiene periodo δ, p00 >0 si m + s = kδ, si p0m j >0 entonces m =kδ –s

se cumple que p0m j >0, si m = α, α +δ, α + 2δ,… . Definimos para todo j ∈ Bα ,como el conjunto de todos los estados que se pueden alcanzar desde 0 sólo en los pasos α, α + δ, α + 2 δ, … y a Bα+1 el conjunto de todos los estados que se pueden alcanzados desde 0 en los pasos α +1, α +δ +1, α+2δ+1, …. Entonces pij = 0 excepto si, i ∈Bα y j ∈Bα+1 para α = 1, 2, …, δ.

 Teorema 2.24.

Sea P la matriz de transición de una cadena de Markov irreducible con estados periódicos, con periodo δ y B1, B2, … , Bδ definidos como el teorema anterior.



Entonces en la cadena de Markov con matriz de transición P = Pδ , las clases B1, B 2, … , Bδ son conjuntos cerrados e irreducibles de estados aperiódicos. Demostración. En δ pasos la cadena se mueve de B1 a B 1, de B2 a B 2 , …, de Bδ a B δ, veamos esto paso por paso, en un paso sólo podemos llegar al conjunto inmediato a él, esto es, pij =0 a no ser que i ∈ B 1 y j ∈ B 2 o i ∈B2 y j ∈ B 3 o … o i ∈Bδ y j ∈B1, en dos paso ocurriría lo siguiente, pij 2 =0 a no ser que i ∈ B1 y j ∈ B3 o i ∈B2 y j ∈ B4 o … o i ∈Bδ y j ∈B2, en δ –1 pasos, ocurriría lo siguiente, pij δ −1 =0 a no ser que i ∈ B 1 y j ∈ B δ o i ∈B2 y j ∈ B1 o … o i ∈Bδ y j ∈Bδ –1, entonces como podemos ver en δ pasos, pij δ =0 a no ser que i ∈ B1 y j ∈ B1 o i ∈B2 y j ∈ B2 o … o i ∈Bδ y j ∈Bδ, como se asevero al inicio, la matriz de transición en δ pasos la podemos poner de la siguiente forma,

 P1  P2 δ P = P =    0

     P  0



δ

analicemos que ocurre con los estados de esta matriz de transición, podemos ver que cada una de las clases de conjuntos forman un conjunto cerrado e irreducible, además son aperiódicos, p α ij > 0 para i , j ∈ Bα, recordemos que ya no trabajamos con la matriz P, ahora estamos trabajando sobre la matriz P .

 A partir de la matriz P podemos calcular n → ∞, usando el teorema 2.22, π ( j ) = δ . Hay que ver que Pn no tiene límite cuando podemos ver también que

∑

j∈E

n →∞ , excepto, cuando para todos los estados pij = 0 , sin embargo los límites de Pnδ +m existen cuando n →∞, pero dependen del estado inicial i . Con el siguiente teorema terminaremos con el estudio de los estados periódicos, sólo se demuestra la primera parte del teorema, la otra parte de la demostración se puede consultar en Çinlar [ 1975, p. 163]. Teorema 2.25.

Sea P y Bα, definidos como en el teorema anterior y supóngase que la cadena es positiva. Entonces para m ∈ {0, 1, … , δ –1} ,



π ( j ) si i ∈ Bα , j ∈ Bβ , β = α + m (mod δ )

lim pij nδ +m = 

n →∞

0

cualquier otro caso

π( j ), j ∈ E, son la única solución de π( j ) =

π (i )p ∑ ∈

ij

,

i E

∑∈ π ( j ) = δ ,

j ∈ E.

j E

Demostración. Del teorema 2.24 la cadena correspondiente a Pδ = P , tiene δ clases de conjuntos, de estados recurrentes positivos y aperiódicos. Sea π1, π2, …,πδ, la distribución límite correspondiente de B 1, B2, … Bδ y π( j ) = πα( j ) si j ∈ Bα. Sea m ∈{ 0, 1, … , δ –1} un valor fijo, supóngase que i ∈ B α, y sea β = α +m (modδ ). Tenemos, pij nδ + m =

∑ p

m ik

pkjnp

k

 ∑ pikm pkjn δ si j ∈ Bβ  = k∈Bβ 0 cualquier otro caso n δ dado que pikm =0 excepto si k ∈ Bβ , y para k ∈ Bβ , pkj = 0 a no ser que j ∈ Bβ n δ también. Para k, j ∈ Bβ , lim pkj = π( j ), independiente de k, tomando el límite en n →∞

ambos lados hemos demostrado que

π ( j ) si i ∈ Bα , j ∈ Bβ , β = α + m (mod δ )

lim pij nδ +m = 

n →∞

0

cualquier otro caso

 Con este último teorema y junto con el teorema 2.22 podemos enunciar el siguiente resultado. Corolario 2.25.1.

Sea X una cadena de Markov, y consideremos el sistema de

ecuaciones lineales



π( j ) =

π ( i ) p , j ∈ E ∑ ∈ ij

i E

Entonces todos los estados son recurrentes no nulos o positivos, si, y sólo si, existe una solución π con π ( j ) = 1

∑

j∈E

y π( j ) >0, para cada j ∈ E, y no hay otra solución. Hace falta completar nuestro estudio acerca de la relación de los tipos de estados y el límite de Pn cuando n → ∞. Si la cadena de Markov es finita, y ésta contiene estados transitorios, hay un momento en el que la cadena de Markov sale de los estados transitorios, pero si no es finita puede ocurrir que nunca salga de ellos. Sea X una cadena de Markov, con matriz de transición P, A es el conjunto de estados transitorios de la cadena, tal que A ⊂ E, y sea Q la matriz que se obtienen a partir de P, al eliminar todos los renglones y columnas correspondientes a los estados recurrentes, es decir, Q tienen elementos q ij = pij con i , j ∈ A. Q2 la obtenemos de la siguiente forma,

q ij 2 =

∑∈ q

ii1 q ij

ii1 qi1i 2

 q i

i1 A

y en general Qn sería, q ij n =

∑∈ ∑∈  ∑∈ q

i1 A i 2 A

n j

i n A

= P i { X 1 ∈ A, X 2 ∈ A, …, X n–1 ∈ A, X n = j } q = P { X ∈ A, X ∈ A, …, X ∑ ∈ n ij

i

1

2

n–1

∈ A, X n ∈ A }

j A

Si n crece, decrece

q ∑ ∈

n ij

porque

j A

{ X 1 ∈ A, X 2 ∈ A, …, X n –1 ∈ A } ⊇ { X 1 ∈ A, X 2 ∈ A, …, X n –1 ∈ A, X n ∈ A }


C adenas de Markov 60 Capítulo 2 ________________________________________________________________________________ Sea P { X ∈ A, X ∈ A, …, X ∑ q = lim →∞ ∈ →∞ n ij

f( i ) = lim n

j A

n

i

1

2

n –1

∈ A, X n ∈ A }

la probabilidad de que la cadena de Markov nunca salga de A, dado que empezó en i . Teorema 2.26.

f es la solución máxima de h = Qh

0 ≤ h ≤ 1,

además f = 0 o sup f( i )=1. i ∈A

Demostración. Sea f n ( i ) =

q ∑ ∈

n ij

= P i { X 1 ∈ A, X 2 ∈ A, …, X n –1 ∈ A, X n ∈ A }

j A

f 1 ≥ f 2 ≥ f 3 ≥  y f = lim f n n →∞

tenemos que f n+1( i ) =

q ∑ ∈

ikfn ( k )

k A

tomando el límite f ( i ) =

q ∑ ∈

ikf(k )

k A

luego entonces f es una solución a h = Qh, ahora probemos que es una solución máxima. Sea h otra solución, h ≤ 1 h = Qh entonces h = Q n h ≤ Q n 1 = fn

haciendo n → ∞ , h ≤ f, por tanto f es una solución máxima.



Sólo hace falta probar la última parte, para f = 0 es trivial, sea c = sup f( i ) i ∈A

f = Qn f ≤ c Q n 1 ≤ c fn para toda n ,

tomando límite por ambos lados f ≤ c f entonces 1 ≤ c , por lo tanto sup f( i ) = 1. i∈ A

 Teorema 2.27 .

Sea X una cadena de Markov irreducible con matriz de transición P, y Q es la matriz que obtenemos a partir de P al eliminar la fila y columna k, k ∈ E. Todos los estados son recurrentes, si, y sólo si, la única solución de h = Qh es h = 0. Demostración. Sea A = E –{ k }, como la cadena es irreducible de k podemos ir a A, y sea f( i ) = lim P i { X 1 ∈ A, X 2 ∈ A, …, X n –1 ∈ A, X n ∈ A } n →∞

Si h = 0 es la única solución a h = Qh, f( i ) = 0 para todo i , esto significa que salimos del conjunto A y regresamos a k, entonces k es recurrente y como la cadena es irreducible todos los estados son recurrentes. Ahora, si los estados son recurrentes significa que la probabilidad de quedarnos en A es cero ya que tenemos que regresar a k, por lo tanto f( i ) = 0 para todo i , lo que es lo mismo h = 0.

 A continuación veremos como clasificar los estados en base a calcular lim Pn . n →∞

Ejemplo 2.9. Sea X una cadena de Markov con espacio de estados E = {0, 1, …} y matriz de transición  0 1 0 0 0   q 0 p 0 0 

 0 P =  0 0  0

q

0

p

0

0

.

.

.

0

0

.

.

0

0

0

.

    .   . 

donde 0 < p < 1, q = 1 – p. Está cadena es llamada caminata aleatoria, si está en la posición i en el n -ésimo paso, el siguiente paso es a la posición –1 o a i +1, con i


C adenas de Markov 62 Capítulo 2 ________________________________________________________________________________ probabilidad q y p respectivamente, excepto cuando está en i =0 es seguro que va a 1. Todos los estado pueden ser alcanzados uno del otro, lo que significa que la cadena es irreducible, si empezamos en el estado cero podemos regresar a él, en al menos 2 pasos, es decir el estado 0 es periódico con periodo δ = 2, lo que significa que la cadena es periódica con periodo δ = 2, lo que no podemos ver es si los estados son recurrentes positivo o bien transitorios. Para saber como son los estados vamos a emplear la teoría vista en esta sección. Resolvamos primero el sistema de ecuaciones que se obtienen a partir de π = πP, el sistema es el siguiente:

π(0) = q π(1) π(1) = π(0) + q π(2) π(2) = pπ(1) + q π(3) π(3) = pπ(2) + q π(4) 

y así sucesivamente, poniendo a π(1) en términos de π(0) y luego a π(2) en términos de π(0) y así sucesivamente tenemos que

π(1) =

1 π(0) q

π(2) =

 p 1 1 (0) (0) π − π   = 2 π(0) q  q  q

 p 2 p 1  p π(3) =  2 π (0) − π (0)  = 3 π(0) q  q q  q 

en general tendríamos que 1  p  π( j ) =   q  q  Si p < q , entonces

j −1

π(0) =

p j −1 q j

π(0) para j = 1, 2, 3, …

p <1 y q



 1 ∞  p  j −1   1  1  2q   ( ) = 1 ( 0) = 1 (0) = π + π + π π(0) j      q   ∑ ∑ p      1 − q q − q p q   j =0 j = 0       ∞

∞

haciendo

∑= π ( j ) =1, tenemos que j 0

π(0) =

q− p 1  p  =  1 −  2 q  2q

(2.1)

Luego entonces para p < q ,

 1  p  si j = 0  1 −  2 q   π( j ) =  j −1  1  p  p  si j ≥ 1  2q  1 − q  q     

(2.2)

por el teorema 2.22. podemos decir que para p < q los estados son recurrentes no nulos o positivos. Si p ≥ q la serie converge únicamente si π(0) = 0, sabemos que para p ≥ q los estados no son recurrentes positivos, entonces los estados deben ser, recurrentes nulos o transitorios, para distinguir entre estos dos casos usaremos el teorema 2.27, excluyendo de P la fila y la columna del estado cero, obtenemos la siguiente matriz

0 q  0 Q=  0 0  0

0 

p

0

0

0

p

0

q

0

p 0

0

.

.

.

0

0

.

.

0

0

0

.

0 

    .   . 

el sistema de ecuaciones que se obtiene de h = hQ es: h (1) = ph (2) h (2) = qh (1) + ph (3) h (3) = qh (2) + ph (4) 


C adenas de Markov 64 Capítulo 2 ________________________________________________________________________________ en general tenemos h ( i ) = qh ( i – 1) + ph ( i + 1), de h ( i ) = qh ( i ) + ph ( i ), sustituimos en la anterior ecuación p( h( i +1) – h ( i ) ) = q ( h( i )– h ( i – 1) ), i = 2, 3, … y de la primera ecuación p( h( 2)– h( 1) ) = qh (1) sustituimos para obtener i = 2, 2

 q  q ( h( 2)– h (1) ) =   h (1) h (3) – h (2) = p  p  ahora lo hacemos para i = 3 2

3

 q   q  h (4) – h (3) =   ( h( 2)– h (1) ) =   h (1)  p   p  y así sucesivamente iteramos sobre i , obtenemos que i −1

i

 q   q  h ( i +1) – h ( i ) =   ( h( 2)– h (1) ) =   h (1) , i = 2, 3, …  p   p  luego entonces, h ( i +1) = ( h( i +1) – h ( i ) )+( h( i ) – h ( i – 1 ) ) +  +( h( 2)– h (1) )+h (1)

  q i =     p  

q +   p

i −1

q  +  + + 1 h (1)  p



la solución a h=hQ es de la siguiente forma

  q i −1 q  h ( i ) =    +  + + 1 c ,   p   p  

i = 1, 2, 3, …

donde c es una constante.



Si p = q , entonces tenemos que h ( i ) = ic , para toda i ≥ 1 , la única forma de que para toda i se cumpla, 0 ≤ h ( i ) ≤ 1 es que c =0. Por tanto si p = q , la única solución de h = hQ es h = 0, por el teorema 2.27 significa que los estados son recurrentes y como vimos ya anteriormente no son recurrentes no nulos, lo que significa los estados son recurrentes nulos cuando p = q . Si p > q , entonces 0 <

q < 1, la suma de lo que está dentro de los paréntesis p

sería

 q  1−   i −1 q q  p  S =   +  + + 1= q p  p  1−

i

p

tomando a c = 1 –

q , se cumple que 0 ≤ h ( i ) ≤ 1, para toda i = 1, 2, 3, … . Tenemos p

que i

 q  h ( i ) = 1 –   , para toda i = 1, 2, 3, …  p  entonces en este caso por el teorema 2.27 los estados son transitorios. En este ejemplo ya vimos como clasificar los estados, ahora calculemos la distribución límite para la cadena. Para p < q , ya vimos que los estados son recurrentes no nulos y periódicos con periodo δ = 2, tenemos dos clases de conjuntos B 1={ 0, 2, 4,…} y B2 = {1, 3, 5, …}, ya resolvimos el sistema π = πP, la única variante que habría ∞

que hacer, es que según el teorema 2.25

∑= π ( j ) =

∞

2 y no

j 0

∑= π ( j ) =1 como lo j 0

habíamos considerado, así de lugar de tener (2.1) tendríamos

π(0) =

q− p p = 1 − q q

y de lugar de tener (2.2) tendríamos



1 − p si j = 0  q  π( j ) =  j −1  1  1 − p  p  si j ≥ 1   q  q  q    luego entonces la distribución invariante para B 1 y B2 es:

 p   p p 3  ( π(0), π(2), π(4), … ) =  1 −   1, 2 , 4 ,…   q  q q  y

 p   1 p 2 p 4  ( π(1), π(3), π(5), … ) =  1 −   , 3 , 5 ,…   q  q q q  por tanto tendríamos que

1  0    p   1 2n lim P =  1 −   n →∞  q   0  . .  . 

0

p q2

0 2

p3 q 4

1 q

0

p

0

p q2

0

p3 q 4

1 q

0

p 2 q3

0

.

.

.

.

.

.

.

.

.

.

.

.

1 q

0

p 2 q3

q3

0

0



  p   q  0   p  q  .   .  .   4

5

4

5

y usando el teorema 2.25, obtenemos también

lim P2n+1

n →∞

0  1    p   0 = 1 −    q   1  . .  . 

0 3

0

p q2

0

p q 4

1 q

0

p 2 q3

0

0

p q2

0

p3 q 4

.

.

.

.

.

.

.

.

.

.

.

.

p4 q 5



  0   p  q  0   .   .  .   4

5

2.4 Ejercicios.

Ejemplo 2.10. Un artículo se almacena en una bodega de tal manera que se pueda satisfacer la demanda del artículo, la bodega puede almacenar hasta S artículos, si hay s m artículos entonces se llena la bodega hasta S , si la cantidad de artículos está entre [ sm +1,S ] no se hace nada, la demanda de artículos en la semana n es de D n , y suponemos que {D n} son variables aleatorias independientes e idénticamente distribuidas e independientes de la cantidad inicial X 0 de artículos, la demanda de k unidades en la semana sucede con una probabilidad pk y consideremos a X n como el nivel de la bodega al principio de la semana, cada semana se realiza la inspección en la bodega y en caso de que se requiera llenar la bodega, esta se llenará inmediatamente para iniciar la semana n con la bodega llena si es necesario. Tenemos el siguiente conjunto de estados E = {S , S -1, …, s m +1}, es decir, los valores que puede asumir el proceso en la semana n + 1, es;

 X n − Dn X n+ 1 =  S

X n − Dn > s m X n − D n ≤ s m

Es claro que X n+ 1 únicamente depende de X n y D n es independiente de los niveles de la bodega. La probabilidad de pasar de tener X n = i artículos en la semana n en la bodega a tener X n +1 = j artículos la calculamos de la siguiente manera: Para i ≠ S : Si s m + 1 ≤ j ≤ i entonces tenemos que D n = X n – X n +1 = i – j , por tanto pij = pi – j y para X n +1 = j = S tenemos que, X n – D n ≤ s m o bien X n – s m ≤ D n , esta ocurra con la siguiente probabilidad P{ i – s m ≤ D n } =

p ∑ ≥−

k

k i s m

Para i = S : Si s m + 1 ≤ j ≤ S – 1 entonces tenemos que D n = X n – X n +1 = S – j , por tanto pij = pS – j y para X n +1 = j = S pueden pasar dos cosas si hay demanda, tenemos que, X n – D n ≤ s m o bien X n – s m ≤ D n , esto ocurre con la siguiente probabilidad P{ S – s m ≤ D n } =

∑ ≥ −

pk

k S s m


C adenas de Markov 68 Capítulo 2 ________________________________________________________________________________ y la otra es que no tengamos demanda en toda la semana y esto ocurre con probabilidad p0 ambos eventos son disjuntos, entonces la probabilidad de que X n+ 1 = S dado que X n = S es : p0 +

∑ ≥ −

pk

k S s m

Las probabilidades de transición del estado i al estado j lo podemos poner de la siguiente forma: Si i ≠ S : para s m ≤ j ≤ i  pi − j  pij =  pk para j = S k≥∑ i −s m

Si i = S : para s m ≤ j ≤ S − 1  pS − j  pij =  p + pk para j = S  0 k ≥∑ S −s m

Por construcción todos los estados se intercomunican, todos son accesibles uno del otro, tenemos que E < ∞, cerrado e irreducible y los estados son por tanto recurrentes positivos, esto es por el teorema 2.19. Ejemplo 2.11. A Mark Goldman, vicepresidente de NBS TV, se le encargó determinar una política de programación para la cadena. La NBS compite para captar televidentes con las cadena ABS y CBC. Al principio de cada temporada cada una de las cadenas intenta captar una mayor cantidad de televidentes, incluyendo nuevos programas y volviendo a programar otros. Goldman se encontraba en problemas por que la NBS había tenido un mal desempeño en las últimas dos temporadas con el formato de sus programas. También habían surgido críticas porque la cadena tendía a cancelar sus programas con mucha rapidez si el número de televidentes era inicialmente bajo. Como resultado de las críticas se había decidido no cancelar ningún programa hasta que fuera evidente que seguiría teniendo un número reducido de televidentes. Dado que los televidentes normales con bastante frecuencia tenderían a cambiar de cadena al principio de cada temporada con el objeto de ver programas nuevos o de

69 Capítulo 2 2.4. Ejercicios ________________________________________________________________________________


volver a ver programas antiguos, Goldman ha decidido esperar a que se estabilice la proporción de televidentes que ven un programa determinado, para esto decidió estudiar el periodo en el que cada cadena estará ofreciendo un programa nuevo para que determine cuáles serán las proporciones de televidentes finales. Si se pueden predecir estos valores estará en posibilidades de tomar una decisión con respecto a un nuevo programa “X” de la NBS, sin tener que esperar hasta que las preferencias de los televidentes se vuelvan obvias a través de los datos de los “ratings” o recuentos de tasa de audiencia. Goldman considera que la selección de un televidente se ve influenciada más que nada por el programa más reciente que ha observado en ese periodo y que las proporciones finales de la realidad son valores de estados estacionarios, con base en esto, decide utilizar un enfoque de cadena de Markov para abordar el problema. Considera que el problema de selección de los televidentes se ajusta a las consideraciones de este modelo con suficiente cercanía como para permitir aplicar el modelo al problema. El grupo de trabajo de Goldman ha elaborado la siguiente matriz de transición utilizando datos recopilados en años anteriores y referentes a la forma en que los televidentes tienden a cambiar de una cadena a otra, semana a semana, para el tipo de programas que se considera: NBS CBC

ABS

NBS

0.2

0.4

0.4

CBC

0.3

0.3

0.4

ABS

0.2

0.2

0.6

En esta matriz, los valores que se muestran son la fracción de televidentes que verán el programa de cada cadena durante esta semana, dada la cadena que vieron la semana pasada. También se supone que todos los televidentes que vieron la televisión la semana pasada la verán esta semana. Calculemos π = πP, por definición π( j ) =

π (i )p ∑ ∈

ij

, obtenemos

i E

π(1) = 0.2 π(1) + 0.3 π(2) + 0.2 π(3) π(2) = 0.4 π(1) + 0.3 π(2) + 0.2 π(3) π(3) = 0.4 π(1) + 0.4 π(2) + 0.6 π(3) y además

π(1) + π(2) + π(3) = 1


C adenas de Markov 70 Capítulo 2 ________________________________________________________________________________ donde π(1) es la proporción de televidentes que se mantendrán viendo la cadena NBS, π(2) es la proporción de televidentes que se mantendrán viendo la cadena CBC y π(3) es la proporción de televidentes que se mantendrán viendo la cadena ABS. Al resolver el anterior sistema de ecuaciones encontramos que

π(1) = 0.227 π(2) = 0.273 π(3) = 0.5 lo que significa que una vez que los televidentes se han decidido con respecto a los programas que les gusta ver, 22.7 % observará lo que la NBS le ofrece. Ejemplo 2.12. Consideremos nuevamente el ejemplo 2.1 , en el cual se consideraba que la posibilidad de que el día de mañana llueva sólo depende de la situación climatológica de hoy y no de días previos, además supusimos que si llueve hoy la probabilidad de que mañana llueva es α y si hoy no llueve la probabilidad de que llueva mañana es β, esto quiere decir que si hoy llueve entonces mañana no lloverá con probabilidad 1 – α y si hoy no llueve la probabilidad de que mañana tampoco sería 1 – β, consideramos que el estado 0 es que llueva y al estado 1 que no llueva, luego entonces por la definición 2.18 π (0) y π (1) están dadas por

π (0) = α π (0) +βπ (1) π (1) = (1 – α ) π (0) +(1 – β )π (1) con π (0) + π (1) = 1

π (0)(1 – α ) = β π (1) Haciendo π(0) = 1, tenemos que π (1) = dos y nos da

1−α

β

, ambas deben sumar uno, sumamos las

β + 1−α , luego para que nos sumen uno las dividimos entre su suma, β

nos queda,

π (0) =

β 1+ β −α

y



1−α

π (1) =

1+ β −α

que es la solución a las tres ecuaciones que tenemos arriba. Si consideramos que α = 0.7 y β =0.4 (como en el ejemplo 2.4), tenemos que la 4 probabilidad estacionaria de que llueva, es π (0) = = 0.571 . 7 Ejemplo 2.13. Un apostador tiene $u , en cada juego que apuesta tiene la probabilidad p de ganar $1 o perder $1 con probabilidad 1 – p , el jugador se retirará cuando se quede sin dinero ó bien cuando haya alcanzado a obtener en total $ N . Si consideramos X n como el dinero que tienen el apostador después de la n -ésima vez que apuesta, X n claramente es una cadena de Markov, ya que lo que va apostar únicamente dependerá del dinero que tenga actualmente y no de lo que haya jugado antes, X n tienen espacio de estados E = { 0, 1 , 2, … , N } , sus probabilidades de transición son pij = p

con j = i +1 , i = 1, 2, … , N – 1

pij = 1 – p con j = i – 1, i = 1, 2, … , N – 1 y p00 = p NN = 1 Esta cadena de Markov la podemos separar en tres clases {0}, { 1, 2, …, N – 1}, y { N }, la primera y la última (el estado 0 y N ) son recurrentes y la otra es una clase de estados transitorios, esto significa que en algún momento dado el apostador o bien se queda arruinado o bien llega a ganar $ N y se retira del juego. Sea θi la probabilidad de empezar en i y que se alcance en algún momento el estado N , es decir, θi = P i {T N < ∞} = f iN , es claro que una vez que entremos al estado 0 no podremos llegar nunca a N , por tanto θ0 = 0, para obtener θ para el resto de los estados usaremos el teorema 2.8 que nos dice que f i N = piN +

p ∑ ∈{ − }

ik f kN

k

E N

si estamos en el estado i , únicamente podemos ir al estado i + 1 ó al estado i – 1 y la única forma de que piN ≠ 0 es que i = N – 1 pero por ser N absorbente tenemos que f NN = 1 , luego entonces tenemos que:

θi = f iN = pi ,i+1 f i+1, N + pi ,i –1 f i –1, N para i = 1, 2, … , N – 1


C adenas de Markov 72 Capítulo 2 ________________________________________________________________________________ o bien

θi = pi ,i+1θi+1 + pi ,i – 1 θi- 1 θi = pθi+1 + q θi- 1 dado que p + q = 1 podemos ponerlo como sigue pθi + q θi = pθi+1 + q θi- 1 entonces

θi+1 – θi =

q ( θi – θi- 1 ) p

dado que θ0 = 0, tenemos el siguiente sistema de ecuaciones

θ2 – θ1 =

q q ( θ1 – θ0 ) = θ1 p p 2

 q  q q q θ3 – θ2 = ( θ2 – θ1 ) = θ1 =   θ1 p p p  p  

 q  q θi+1 – θi = ( θi – θi- 1 ) =   p  p 

i −1

θ1

 N −1

θ N – θ N – 1

 q  q = ( θ N – 1 – θ N – 2 ) =   p  p 

θ1

Ahora sumando las primeras i –1 ecuaciones, nos da i −1  q  q 2  q   θi – θ1 = θ1  +   +  +     p  p   p  

nos da que



i  q  1 − p 1 q P1 si ≠ 1, o bien p ≠  q  2 p θi =  1 − p  1 q iP si = 1, o bien p = 1  2 p

( ) ( )

Ahora usando el hecho de que θ N =1, obtenemos

 1 − q p  1 q si 1, o bien p ≠ ≠  N 2 p q  θ1 =  1 − p  1 q 1 si = 1, o bien p =  N 2 p

( ) ( )

sustituyendo θ1 en θi nos queda como, i  q  1 − p 1 q si 1, o bien ≠ ≠ p  2 p  1 − q N θi =  p  1 q i si 1, o bien = = p  N 2 p

( ) ( )

si hacemos que N → ∞ tendríamos que θi tendería a

 q 1 − p θi =  0 

( )

i

1 2 1 si p ≤ 2 si p >

Así si p > ½, existe la probabilidad de que el apostador llegue a incrementar su fortuna infinitamente, pero si p ≤ ½, esté quedará quebrado.

Francisco Parreño Torres.

Problemas de

Ampliación de estadística.


Problemas de


PROBLEMAS DE CADENAS DE MARKOV

M1.

Obtener el espacio de estados, la distribución inicial y la matriz de probabilidades de

transición de las CMDT homogéneas que se definen a continuación:

a)Un grupo de cuatro niños juega a un juego que consiste en lanzarse una pelota de uno a otro. En cada momento el niño que tiene la pelota tiene la misma predisposición para lanzar la pelota a cualquiera de los otros tres niños. Sea X0 la variable que describe el niño que tiene la pelota inicialmente, y para n ≥1, Xn es el niño que tiene la pelota después del enésimo lanzamiento.

b) Se colocan dos bolas blancas y dos bolas negras en dos urnas de forma que cada urna contenga dos bolas. En cada extracción se saca al azar una bola de cada urna. Las dos bolas extraídas se intercambian de urna. Sea X0 el número de bolas blancas que hay inicialmente en la primera urna. Para n ≥ 1, se define Xn como el número de bolas blancas que hay en la primera urna después de haberse efectuado n extracciones, y por lo tanto n intercambios.

c) Considérese una partícula que realiza un recorrido aleatorio sobre una circunferencia en la que se han marcado 4 puntos (representados por 0,1,2 y 3) en el sentido de las agujas del reloj. La partícula tiene una probabilidad p de moverse al punto de su izquierda y 1-p de moverse al punto de su derecha(sentido contrario a las agujas del reloj). Sea X0 la posición inicial de la partícula y, para n ≥ 1, Xn describe la posición de la partícula después de n movimientos.

d)Una fábrica tiene dos máquinas, de las que sólo utiliza una en cada uno de los periodos de tiempos considerados. La probabilidad de que se averíe una máquina en un día determinado es p. Sólo hay un operario encargado de la reparación, que tarda dos días en repara una máquina, el operario encargado de su reparación no acude a repararla hasta el día siguiente. Sea (Xn, Yn) el par de variables que describen, respectivamente, el número de máquinas en condiciones de trabajar al acabar el día n e Yn la variable que describe si el trabajo de este día se ha utilizado en repara una máquina averiada que no ha sido totalmente reparada o no.

M2.

En referencia al problema 1.a, obtener la probabilidad de que después del tercer

lanzamiento la pelota esté en manos del niño

a)

Que la tenía al iniciarse el juego.

b) Que la tenía después del primer lanzamiento.

M3.

En referencia al problema 1.b, obtener a)P{Xn=1|X0=1},P{Xn=1}.

Problemas de Cadenas de Markov.

-1-


Problemas de


b)P{Xn=1,Xn-1=2, Xn-2=1|X0=1}, E{Xn}, E{Xn|Xn-1=1} M4.

Un petrolero realiza las travesías entre una Plataforma Petrolífera y una refinería y

viceversa de forma interrumpida tardando 12 horas en cada viaje. El barco es propulsado por dos motores, cada uno de los cuales puede sufrir una avería durante el trayecto con una probabilidad de 0.1. El barco puede navegar con un motor averiado. En este caso, el mecánico de a bordo intenta reparar el motor averiado, con una probabilidad de éxito de 0.6 en cada travesía. Si se averían los dos motores, el barco es remolcado a su destino y debe permanecer amarrado en el puerto durante 24 horas (el tiempo de realizar dos viajes) para ser reparado por completo. Inicialmente el barco navega en perfectas condiciones. a)

Comprobar que el sistema se puede modelizar mediante una cadena de Markov. Definir los estados de la cadena, hallar la matriz de probabilidades de transición.

b) Clasificar los estados de la cadena y hallar las clases de equivalencia.

M5.

Consideremos sucesivos lanzamientos independientes de una moneda con probabilidad p

de salir cara y probabilidad q=1-p de salir cruz. Consideremos el proceso estocástico {Xn, n ≥3} dónde Xn es una variable aleatoria que registra el número total de caras obtenidas en los lanzamientos (n-2), (n-1) y enésimo de la moneda. Discutir si este proceso estocástico es ó no una cadena de Markov.

M6.

Se realiza una sucesión de experimentos que consiste cada uno de ellos en lanzar una bola

en una de tres cajas. La bola no puede caer fuera de alguna de estas cajas y la probabilidad de que la bola caiga en cada una de ellas es 1/3. Sea Xn, n ≥ 1 la variable aleatoria que describe el número de cajas no vacías después del enésimo lanzamiento. Obtener la matriz de probabilidades de transición y la matriz de probabilidades de transición de n pasos de la cadena.

M7.

Estudiar los procesos estocásticos definidos por las matrices:

P1 =

P2 =

0.4

0.6

0

0.2

0.8

0

0.3

0.2

0.5

0

1

0

1/4

1/4

1/2

0

1/2

1/2


-2-


Problemas de

P3 =

P4 =

P5 =

M8.

0.4

0.1

0.5

0

0

0.5

0.2

0.3

0.4

0.2

0

0.4

0.5

0.1

0.3

0.1

0.4

0.1

0.4

0.1

0.1

0.2

0.2

0.5

0.6

0

0.2

0.2

0.2

0.4

0.1

0.3

1/4

0

3/4

1/4

1/2

1/4

1/2

0

1/2


Considerar un proceso markoviano con la siguiente matriz de probabilidades de

transición:

P=

1/8

1/8

3/4

1/2

1/4

1/4

3/4

0

1/4

a) ¿Cuál es el tiempo medio de primer paso de 3 a 2? b) ¿Cuales deberían ser las probabilidades iniciales de estado

π

0 =

π1

0 ,

π2

0 ,

π3

0

para que el proceso entrase en estado

estacionario después de una transición? M9.

Un taller de reparaciones puede efectuar el trabajo A o el trabajo B pero no los dos

simultáneamente; la tarea A requiere 2 días y la B 1 día. Los posibles estados del taller son pues: 1 = ninguna tarea,

2 = primer día de la tarea A

3 = segundo DIA de la tarea A

4 = tarea B

La probabilidad de una nueva demanda de tarea A al principio de cada día es a; la de la tarea B es b. No hay colas, si el taller está a mitad de ejecución de una tarea A, la llegada de una nueva demanda se pierde. La única ambigüedad se plantea cuando el taller termina un trabajo al


-3-


Problemas de


final de un día y tiene la posibilidad de empezar al día siguiente con una tarea A o una B. Las dos políticas son posibles: 1) Empezar siempre con una tarea A con preferencia a una B 2) Empezar siempre con una tarea B con preferencia a una A a)

Demostrar que para la política 1 la matriz de probabilidades de transición es:

(1- a) (1- b)

a

0

b (1- a)

0

0

1

0

(1- a) (1- b)

a

0

b (1- a)

(1- a) (1- b)

a

0

b ( 1- a)

P=

b) Encontrar las probabilidades límite de estados para este proceso c) Encontrar la matriz de probabilidades de transición para la política 2 d) ¿Cual es la relación entre los porcentajes límite de días de desocupación de ambas políticas? M10.

El siguiente proceso de Markov empieza en el estado 1

P=

0

0.5

0.5

0.4

0

0.6

0

0.2

0.8

Encontrar las probabilidades de que: a) El proceso esté en el estado 3 después de tres transiciones b) Después de la tercera transición desde el estado 3 hasta el 2 las dos

transiciones siguientes sean

2→1→3 o 2→3→3

c) El proceso entre en el estado 2 exactamente una vez en las tres primeras transiciones d) El proceso realice la transición

1 →2

exactamente una vez en las tres primeras

transiciones e) El número esperado de veces que el proceso entrará en el estado 2

durante

las tres primeras transiciones.

M11.

Supongamos que la probabilidad de que mañana llueva si hoy está lloviendo es 0.6, y que

la probabilidad de que mañana haga buen tiempo si hoy hace buen tiempo es 0.4. a) Determinar la matriz de probabilidades de transición de la cadena de

Markov correspondiente. b) Hallar la distribución de probabilidad del estado estacionario.


-4-


M12.

a)

M13.

Problemas de


Determinar las clases de las siguientes cadenas de Markov y decir si son o no recurrentes

0

0

1/3

2/3

1

0

0

0

1

0

0

0

0

1/2

1/2

0

0

1

0

0

0

1/2

1/2

0

0

1

0

0

1/2

0

0

1/2

b)

Consideremos el siguiente juego: un jugador apuesta una unidad en cada partida. Tiene

una probabilidad p de ganar y q=1-p de perder. seguirá jugando hasta que se arruina o alcanza una fortuna de T unidades. Sea Xn la fortuna del jugador en la enésima partida.

X n+1 =

Xn + 1

con probabilidad p

Xn - 1

con probabilidad q = 1 - p

Xn+1 = Xn

0 < Xn < T

Xn = 0 ó T

X n es una cadena de Markov. Supongamos que las sucesivas partidas del juego son independientes y que la fortuna inicial del jugador es X 0 a) Determinar la matriz de probabilidades de transición de 1 paso de la

cadena de Markov b) Hallar las clases de la cadena de Markov

M14.

Supongamos que una red de comunicaciones transmite dígitos binarios 0 o 1. Al recorrer

la red, existe una probabilidad q de que el dígito binario se reciba de forma incorrecta en el siguiente paso. Si X0 denota un dígito binario que entra en el sistema, X 1 el dígito recibido después de la primera transición, X 2 el dígito recibido después de la segunda transición, ... X n , entonces es una cadena de Markov. Hallar la matriz de probabilidades de transición y la distribución de probabilidad del estado estacionario.

M15.

Considerar la siguiente política (k,Q) de gestión de inventarios. Sean D 1,D2,... las

demandas de un producto en los períodos 1,2,...., respectivamente. Si la demanda durante un periodo excede el número de items disponibles, la demanda insatisfecha es retenida, de manera que se satisface cuando llega el siguiente pedido de reposición del inventario. Denotemos por Z n


-5-


Problemas de


(n=0,1,2,...) la cantidad de inventario disponible menos el número de unidades retenidas antes de efectuar un pedido de reposición de inventario al final del periodo n (Z 0=0). Si Zn es cero o positivo, no se retienen órdenes. Si Zn es negativo, entonces -Z n representa el número de unidades de demanda retrasada y no queda inventario disponible. Si al principio del periodo n, Z n=1. (La cantidad pedida es el menor múltiplo entero de 2, que lleva el nivel de inventario hasta al menos una unidad). Sean D n variables aleatorias independientes e identicamente distribuidas que toman cada uno de los valores 0,1,2,3,4 con probabilidad 1/5. Denotemos por Xn el valor del stock disponible después de efectuar el pedido al final del periodo n (X0=2). Resulta entonces: Xn= Xn-1 - Dn+2m,

Si Xn-1-Dn<1 (n=1,2,3,....)

Xn= Xn-1 - Dn,

Si Xn-1-Dn >=1

y Xn es una cadena de Markov con solo dos estados: 1,2.

a) Encontrar la Matriz de Transiciones b) Encontrar las probabilidades del estado estacionario c) Suponer que el coste de efectuar un pedido de reposición es (3+3m).

El coste de mantenimiento del stock es Z n, si Zn>=0, y cero en caso

contrario.

El coste de ruptura del stock es -4Z n, si Zn<0. Encontrar el coste medio esperado por unidad de tiempo. d) Comprobar que, en general, para una política (k,Q) los estados posibles son

k,k+1,k+2,......,k+Q-1. M16.

El Servicio Hidrológico de la Comunidad Autónoma de X planea construir un embalse

para regular la cuenca de uno de sus ríos con el objetivo de satisfacer los requerimientos de agua para regadío. La capacidad máxima del embalse previsto será de 4.000.000 m 3, o, de manera abreviada 4 unidades de agua (1 unidad de agua = 1.000.000 m 3 ). Antes de proceder a la construcción el Servicio desearía tener alguna idea sobre la efectividad del mismo a largo plazo. Para ello se ha llevado a cabo un estudio sobre los volúmenes semanales de agua aportados por el río, encontrándose con que pueden aproximarse por medio de la siguiente distribución de probabilidad discreta:

Aportación semanal en unidades de agua

2

3

4

5

------------------------------------------------------------------Probabilidad

0.3


-6-

0.4

0.2

0.1


Problemas de


El Servicio está considerando la posibilidad de contratos de regadío que requerirán el consumo de 2 unidades de agua por semana, pero adicionalmente, para mantener los estándares de calidad del agua para otros usos, deberá dejar salir al menos 1 unidad de agua por semana. Por lo tanto el objetivo semanal será dejar salir 3 unidades de agua. Si el estado del embalse (nivel del embalse) más la aportación de agua del río es menor que esta cantidad se tendrá que dejar salir menos agua, afectando la carencia a los regadíos. Si el embalse está lleno, cualquier exceso será vertido por los aliviaderos. El nivel mínimo admitido del embalse (estado mínimo) no podrá ser inferior a una unidad de agua.

a) Encontrar la matriz de probabilidades de transición, y comprobar que se trata de un proceso

markoviano. b) ¿Cuál será el número medio de semanas transcurrido desde que el embalse se encuentra en

el estado con 2 unidades de agua hasta que esté totalmente lleno? c) Supuesto el embalse en el estado mínimo con 1 unidad de agua, ¿Cuantas semanas tardará,

en promedio, en volver a estar en la misma situación? d) Suponiendo que la primera semana partimos de una situación en la que se embalsaban 3

unidades de agua ¿Cual es la probabilidad de que dos semanas después se encuentre al mínimo?.

M17.

Una tienda de venta de ordenadores personales tiene un modelo particular cuyo stock

puede reponerse semanalmente. Representemos por D 1, D 2,....., la demanda de este modelo durante la primera semana, la segunda, etc.. Suponemos que las demandas D i son variables aleatorias independientes e idénticamente distribuidas, que tienen una distribución de Poisson de parámetro

λ=2. Supongamos

que X0 representa el número de unidades del modelo en el momento inicial, X 1 el número de unidades disponibles al final de la primera semana, X 2 el número de unidades disponibles al final de la segunda semana, y así sucesivamente. Supongamos que X 0=3. El sábado por la noche la tienda efectúa un pedido al almacén central que le es servido el lunes por la mañana a primera hora. La tienda utiliza la siguiente política de gestión de stocks: si el número de unidades disponibles al final de la semana es menor de 2 unidades, la tienda efectúa un pedido de reposición de 3 unidades. En caso contrario no efectúa ningún pedido. Se supone que las ventas se pierden cuando la demanda es superior al inventario disponible. Los posibles estados del proceso son los enteros X t que representan el número de unidades disponibles al final de cada semana. Se pide:

a) Encontrar una expresión que permita evaluar iterativamente las variables aleatorias X t.


-7-


Problemas de


constituyen una cadena de Markov. b) Comprobar que las Xt, t=0,1,2,...., constituyen c) Calcular la matriz de probabilidades de transición. d) Partiendo de un estado con tres unidades disponibles, ¿Cual es el tiempo medio hasta que el

stock es cero? e) Suponiendo que cada unidad en stock comporta un coste semanal de 300 pts., ¿Cual seria el

coste medio semanal esperado a largo plazo?.

M18.

Una máquina tiene dos piezas colocadas en paralelo de manera que para funcionar utiliza

solo una de ellas, quedando la otra de repuesto para reemplazar a la que trabaja cuando esta se estropea, si está en condiciones de trabajar. Las piezas trabajan de manera que se estropean durante un periodo de tiempo dado con una probabilidad q. Supongamos que la pieza que está trabajando, en caso de que se estropee, lo hace al final de un periodo, de manera que la pieza de repuesto empieza a trabajar, si está en condiciones de hacerlo, al principio del periodo siguiente. Hay un único mecánico para reparar las piezas estropeadas, que tarda dos periodos en reparar una pieza estropeada. El proceso puede describirse mediante un vector X t de dos componentes U y V, donde U representa el número de piezas hábiles, trabajando o en condiciones de trabajar, al final del periodo t-ésimo, y V toma el valor 1 si el mecánico requiere únicamente un periodo adicional para completar una reparación, si ya está procediendo a ella, y 0 en caso contrario. Por lo tanto, el espacio de estados consta de cuatro estados: (2,0), (1,0), (0,1), y (1,1) (Por ejemplo, el estado (1,1) implica que una componente opera y la otra necesita un periodo adicional para acabar de ser reparada). Denotemos los cuatro estados por 0,1,2 y 3 respectivamente (Es decir X t = 0 quiere decir X t = (2,0), por ejemplo). a) Comprobar que

X t , t=0,1,2,......, es una cadena de Markov.

Hallar la matriz de probabilidades de transición. b) Hallar la distribución de probabilidad del estado estacionario.

M19.

Las familias de cierto país se clasifican según residan en áreas rurales, urbanas o

suburbanas. Los estudios de movilidad demográfica estiman que, en promedio, en el curso de un año, el 15% de las familias urbanas cambia de residencia y se traslada a un área suburbana, y el 5% a un área rural; mientras que el 6% de las familias residentes en áreas suburbanas se traslada a áreas urbanas, y el 4% a áreas rurales, y finalmente el 4% de las familias rurales migra a las áreas urbanas y el 6% a las suburbanas.


-8-


Problemas de


a) ¿Cuál es la probabilidad de que una familia que vive ahora en un área urbana siga

viviendo en un área urbana dentro de dos años?. ¿Y en una suburbana?. ¿Y en una rural?. b) Supongamos que en el presente el 40% de las familias del país viven en áreas urbanas,

el 35% en suburbanas y el 25% en rurales. ¿Qué porcentaje de familias vivirá en áreas urbanas dentro de dos años?. c) ¿Qué distribución de población es de prever en el futuro si las tendencias no cambian?.

M20.

Un bosque consta de dos tipos de árboles: jóvenes (entre 0 y 3 mts de altura) y adultos

(más de 3 mts). Cada año, el 30% de los árboles jóvenes muere, el 10% se vende por $20 cada uno, el 20% se mantiene entre 0 y 3 mts y el 40% crece superando los 3 mts. Cada año, el 40% de los árboles adultos se vende por $50, el 20% se vende por $20, el 30% permanece en el bosque y un 10% muere.

a)

¿Cuál es la probabilidad de que un árbol joven muera antes de ser vendido ?

b)

Si plantar un árbol joven cuesta $5, ¿cuál es el beneficio esperado para cada árbol joven plantado ?

Soluciones:

M1.

a)

b)

c)

⎡0 1 1 1⎤ ⎢ 3 3 3⎥ ⎢ ⎥ 1 1 1 ⎢ 0 ⎥ ⎢3 3 3⎥ S={0,2,3},a=(0.25,0.25,0.25,0.25), P = ⎢ 1 1 1⎥ ⎢ ⎥ 0 3 3 3 ⎢ ⎥ ⎢1 1 1 ⎥ 0⎥ ⎢ ⎣3 3 3 ⎦ 1 0 ⎤ ⎡ 0 ⎢ ⎥ S={0,1,2}, a=(1/6,4/6,1/6), P = 0.25 0.5 0.25 ⎢ ⎥ 1 0 ⎥⎦ ⎢⎣ 0 p ⎤ ⎡ 0 1 − p 0 ⎢ p 0 1− p 0 ⎥ ⎥ S={0,1,2,3},a=(0.25,0.25,0.25,0.25), P = ⎢ 0 1 − p⎥ ⎢ 0 p ⎢1 − p 0 ⎥ 0 ⎦ p ⎣

d) S={(0,0),(1,0),(1,1),(2,0),(2,1)},a=(p 2,2*p*(1-p),0,(1-p) 2,0),


-9-


Problemas de


(0, 0) (1, 0) (1,1) ( 2, 0) ( 2,1) (0, 0) 0 0 1 0 0 p (1, 0) 0 0 0 1− p P= (1,1) 1− p 0 0 0 p ( 2, 0) p 2 2 p(1 − p) 0 (1 − p) 2 0 ( 2,1) p 2 2 p(1 − p) 0 (1 − p) 2 0 M2. a) p00(3)=0.2215562 b) p00(2)=0.332667 M3. a) Irreducible y aperiódica. P{Xn=1|X0=1},P{Xn=1}.Los dos son 0.666 ya que no importa el estado inicial. b) P{Xn=1,Xn-1=2, Xn-2=1|X0=1} =p21*p12*p01(n).Aplicando Chapman-Kolgomorv. E{Xn}=0.999999, E{Xn|Xn-1=1}=1.aplicando definición de esperanza. M4. a) S={0,1,2,3} 0 Dos motores funcionando. 1 Un motor funcionando. 2 Amarrado en el puerto dia 1. 3 Amarrado en el puerto dia 2.

⎡ 0.81 0.18 0.01 ⎢ 0.54 0.42 0.04 P=⎢ 0 0 ⎢ 0 ⎢ 1 0 0 ⎣

0⎤ 0⎥ ⎥ 1⎥ ⎥ 0⎦

b) Irreducible y aperiódica.

M5. Si. M6.

⎡1 ⎢3 ⎢ P = ⎢0 ⎢ ⎢0 ⎢ ⎣⎢ M7. a) b) c) d) e)

2 3 2 3 0

⎤

0⎥

⎥

1⎥ 3⎥ 1⎥

⎥ ⎦⎥

P1: Estados{1,2} : clase absorbente. Estado 3:Transitorio. P2: Cadena irreducible y aperiódica. P3: Cadena irreducible y aperiódica. P4: Cadena irreducible y aperiódica. P5: Estado 2:Transitorio, Estados {1,3} clase absorbente.

M8. a)µ32=52/3,b)πT=(9/20,3/40,19/40)


- 10 -


Problemas de


M9. a) π1=(1-a)(1-b)/(1+a), π2=π3=a/(1+a), π4=b(1-a)/(1+a)

⎡ AB ⎢0 P=⎢ ⎢ AB ⎢ AB ⎣

b)

c)

0 0 1 aB 0 aB 0 aB

b⎤

0⎥

⎥ , A = (1 − a ), B = (1 − b) b⎥ ⎥ b⎦

Mejor la política 2.

M10. a) p13(3)=0.72 b) 0.68 c) 0.2 d) 0.4 e) 0.75 M11. a) P

⎡0.6 0.4 ⎤ =⎢ ⎥ ⎣0.6 0.4 ⎦

b) π0=0.6, π1=0.4 M12. a) Una única clase de equivalencia periódica de periodo 3. b) Estados {2,3} clase comunicante cerrada, la 1 es absorbente y la 4 es transitoria. M13.

0 0 0 ⎡ 1 ⎢1 − p 0 0 p ⎢ p ⎢ 0 1 − p 0 ⎢ a) P = M O O O ⎢ 1− p 0 T −2⎢ ⎢ 1− p T −1 ⎢ 0 0 T ⎢⎣ 0 1 2

b) C(0)={0}, C(1)={1,2,3,...,T-1}, C(T)=T M14. a) P

⎡1 − q q ⎤ =⎢ ⎥ ⎣ q 1 − q⎦ b)π0=0.5,π1=0.5.

M15. a) P

⎡0.6 0.4 ⎤ =⎢ ⎥ ⎣0.4 0.6⎦ b)π0=0.5,π1=0.5.

c)0.91 M16.


- 11 -

0 0

0⎤ 0⎥

⎥ ⎥ ⎥ ⎥ p 0 ⎥ ⎥ 0 p ⎥ 0 1 ⎥⎦


a)

Problemas de

⎡0.7 0.2 0.1 0 ⎤ ⎢ 0.3 0.4 0.2 0.1⎥ ⎥ P=⎢ 0 0.3 0.4 0.3 ⎢ ⎥ ⎢ 0 0 0.3 0.7⎥ ⎣ ⎦

b)µ24=10 semanas c)µ11=5 semanas d)p31(2)=0.09 M17.

= max {0, X i − Di } + Pi ( X i − Di ). a) Pi ( X i − Di ) = 3 si X i − Di < 2 Pi ( X i − Di ) = 0 si X i − Di ≥ 0 X i +1

b)Número finito de estados, verifica hipótesis Markoviana y estacionaria.

⎡ 0.3233 ⎢0.1428 ⎢ c) P = ⎢ 0.5940 ⎢ 0.3233 ⎢ ⎢⎣0.1428

0.2707 0.1805 0.2707 0.2707 0.1805

0.2707 0.2707 0.1353 0.2707 0.2707

0.1353 0 ⎤0 0.2707 0.1353⎥ 1 ⎥ 0 0 ⎥2 ⎥ 0.1353 0 ⎥3 0.2707 0.1353⎥⎦ 4

d)µ30=2.97 semanas e)389.9 ptas/semana. M18.

(2,0) ⎡1 − q (1,0) ⎢ 0 ⎢ a) P = (0,1) ⎢ 0 ⎢ (1,1) ⎣1 − q

q

0

0 ⎤

0 q 1 − q⎥ ⎥ 1 0 0 ⎥ ⎥ 0 ⎦ q 0

b) M19. Nomenclatura de los estados: U=0,SU=1,R=2. a)p22(2)=0.8144 b)0.31456 c) U 38/183,SU 90/183,R 55/183 M20. a)0.446 b)14.69 $


- 12 -


Cadenas de Markov. Ejercicios resueltos

Página 1

EJERCICIOS RESUELTOS DE CADENAS DE MARKOV 1) En un pueblo, al 90% de los días soleados le siguen días soleados, y al 80% de los días nublados le siguen días nublados. Con esta información modelar el clima del pueblo como una cadena de Markov.

SOLUCIÓN: Se trata de una cadena de Markov con dos estados {Soleado, Nublado} que para abreviar representaremos por {S, N}, siendo la matríz de probabilidades de  0,9 0,1   transición: P =  0 , 2 0 , 8   2) El ascensor de un edificio con bajo y dos pisos realiza viajes de uno a otro piso. El piso en el que finaliza el viaje n-ésimo del ascensor sigue una cadena de Markov. Se sabe que la mitad de los viajes que parten del bajo se dirigen a cada uno de los otros dos pisos, mientras que si un viaje comienza en el primer piso, sólo el 25% de las veces finaliza en el segundo. Por último, si un trayecto comienza en el segundo piso, siempre finaliza en el bajo. Se pide: a) Calcular la matriz de probabilidades de transición de la cadena b) Dibujar el grafo asociado c) ¿Cuál es la probabilidad de que, a largo plazo, el ascensor se encuentre en cada uno de los tres pisos.

SOLUCIÓN: a) Los estados de la cadena los denotaremos por { 0, 1 , 2} haciendo corresponder el 0 al bajo y 1 y 2 al primer y segundo piso respectivamente. Las probabilidades de transición son: p00 = P(Rn=0 / Rn-1=0), esto es la probabilidad de que el ascensor se encuentre en la planta baja si en la etapa anterior estaba en la planta baja. Obviamente es 0, porque se supone que de etapa a etapa el ascensor se mueve. p01 = P(Rn=1 / Rn-1=0), esto es la probabilidad de que el ascensor se encuentre en la planta primera si en la etapa anterior estaba en la planta baja. Obviamente es ½. Basta leer el enunciado. Y así sucesivamente vamos obteniendo las distintas probabilidades de transición cuya matriz es:  p 00 p 01 p 02   0 12 12  P

=

  p 10  p 20 

p 11 p 21



p 12  p 22 

b)

2

=

3 4 1 

0 0

  0  1 4


Página 2

c) q.P = q , siendo q = (x,y,z) los valores de las probabilidades pedidas, añadiendo la ecuación x+y+z = 1 r

r

 0 12 12    ( x, y. z ). 34 0 14  = ( x, y, x) , añadiendo x+y+z = 1. produce el siguiente sistema: 1 0 0    4 x − 3 y − 4 z = 0  x − 2 y = 0    2 x + y − 4 z = 0  x + y + z = 1

cuyas soluciones son:

x=8/17; y = 4/17; z= 5/17

3º) Un agente comercial realiza su trabajo en tres ciudades A, B y C. Para evitar desplazamientos innecesarios está todo el día en la misma ciudad y allí pernocta, desplazándose a otra ciudad al día siguiente, si no tiene suficiente trabajo. Despues de estar trabajando un día en C, la probabilidad de tener que seguir trabajando en ella al día siguiente es 0,4, la de tener que viajar a B es 0,4 y la de tener que ier a A es 0,2. Si el viajante duerme un día en B, con probabilidad de un 20% tendrá que seguir trabajando en la misma ciudad al día siguiente, en el 60% de los casos viajará a C, mientras que irá a A con probabilidad 0,2. Por último si el agente comercial trabaja todo un día en A, permanecerá en esa misma ciudad, al día siguiente, con una probabilidad 0,1, irá a B con una probabilidad de 0,3 y a C con una probabilidad de 0,6. a) Si hoy el viajante está en C, ¿cuál es la probabilidad de que también tenga que trabajar en C al cabo de cuatro días? b) ¿Cuales son los porcentajes de días en los que el agente comercial está en cada una de las tres ciudades?

SOLUCIÓN: La matriz de transición P es la siguiente para el orden A,B,C  0,1 0,3 0,6  P

=

  4  0,2 0,2 0,6  ; El apartado a) consiste en averiguar el término p 33, es decir el  0,2 0,4 0,4    4

término que ocupa la fila 3 y la columna 3 de la matriz P . lo cual se obtiene con la fila 2 3 y la columna 3 de P , cuyos valores son: 0,48  −  −   P2 =  − − 0,48  ,  0,18 0,30 0,52   

por

0,18.0,48+0,30.0,48+0,52.0,52= 0,5008

tanto

el

término

buscado

es:


Página 3

c) Nos piden las probabilidades estacionarias. Para ello hay que resolver el siguiente sistema:

 0,1 0,3 0,6    ( x, y , z ). 0,2 0,2 0,6  = ( x, y , z ) ; x + y + z = 1  0,2 0,4 0,4    Desarrollando resulta el sistema de ecuaciones lineales:

− 9 x + 2 y + 2 z = 0  3 x − 8 y + 4 z = 0  elimino y en las dos primeras: -33x+12z = 0, y elimino y en las  x + 6 y − 6 z = 0 6   x + y + z = 1 dos últimas : 12z=6 ; de ambas se deduce que x =2/11=0,1818 y = 7/22=0.3181 z = 0,5. En porcentajes serían el 18,18% para la ciudad A, el 31,81 para B y el 50% para la ciudad C.

4º) Suponga que toda la industria de refresco produce dos colas: Coca Cola y Pepsi Cola. Cuando una persona ha comprado Coca Cola ha y una probabilidad de 90% de que siga comprándola la vez siguiente. Si una persona compró Pepsi, hay 80% de que repita la vez siguiente. Se pide: a) Si una persona actualmente es comprador de Pepsi. ¿Cuál es la probabilidad de que compre Coca Cola pasadas dos compras a partir de hoy? b) Si en la actualidad una persona es comprador de Coca Cola. ¿Cuál es la probabilidad de que compre Coca Cola pasadas tres compras a partir de ahora? c) Supongamos que el 60% de toda la gente toma hoy Coca Cola y el 40% Pepsi. A tres compras a partir de ahora, ¿Qué fracción de los compradores estará tomando Coca Cola. d) Determinar el estado estable.

SOLUCIÓN: La situación se puede modelar como una cadena de Markov con dos estados {Coca-Cola, Pepsi-Cola}= {C,P} La matriz de transición para el orden C,P, es: P

=

 0,9 0,1    0 , 2 0 , 8  

a) Se pide la probabilidad de transición en dos pasos, es decir que se pide el valor 2 en fila 2, columna 1 para la matriz P , obteníendose que este es : 0,2.0,9+0,8.0,2 = 0,34 b) Al igual que en el apartado anterior se pide el valor de probabilidad de transición 1  781 219  3  ; en fila 1 y columna 1 para la matriz P . La matriz es P 3 = 1000  438 562  esto quiere decir que la solución al problema es 0,781


Página 4

c) El vector de probabilidad inicial es (0’6, 0’4), por tanto la probabilidad de consumir ambos estados a partir de tres etapas es: 2

(0,6 0,4).P 3 . Calculamos primero P , resultando que P 2 Por

tanto

P3

=

1  781 219 



,

1000  438 562 

entonces

el

=

1  83 17 



100  34

resultado

,

66 

solicitado

es

1

(6438 3562) = (0’6438 , 0’3562) ; esto es que al cabo de tres compras el 10000 64’38% comprará Coca Cola y el 35’62% comprará Pepsi Cola. d) El estado estable se determina resolviendo el sistema de ecuaciones:

 0,9 0,1   = ( x, y) añadiendo la ecuación x+y = 1, siendo x la probabilidad de 0 , 2 0 , 8  

( x, y )

que una persona compre Coca Cola a largo plazo e y lo mismo de que compre Pepsi Cola. − x + 2 y = 0 El sistema resultante es:

  x − 2 y = 0 , obsérvese que las dos primeras ecuaciones son  x + y = 1 

la misma por tanto quedémonos con las dos últimas, obteniendo como solución: x = 2/3 ; y = 1/3.

5º) La cervecería más importante del mundo (Guiness) ha contratado a un analista de investigación de operaciones para analizar su posición en el mercado. Están preocupados en especial por su mayor competidor (Heineken). El analista piensa que el cambio de marca se puede modelar como una cadena de Markov incluyendo tres estados, los estados G y H representan a los clientes que beben cerveza producida por las mencionadas cervecerías y el estado I representa todas las demás marcas. Los datos se toman cada mes y el analista ha construido la siguiente matriz de transición de los datos históricos. G G 0,7 H 0,2 I 0,1

H 0,2 0,75 0,1

I 0,1 0,05 0,8

¿Cuáles son los porcentajes de mercado en el estado estable para las dos cervecerías grandes.?


Página 5

SOLUCIÓN: Tres estados {G, H, I} El problema consiste en resolver el sistema formado por las ecuaciones siguientes: ( x, y, z ).P = ( x, y , z ); x + y + z = 1 , siendo x la probabilidad de que el consumidor compre G, y de que el consumidor compre H y z la del que consumidor compre I. De ambas expresiones se obtiene el siguiente sistema:

 − 3 x + 2 y + z = 0 20 x − 25 y + 10 z = 0  cuya solución es x = 9/26; y=10/26 z = 7/26  x + 5 y − 20 z = 0 10   x + y + z = 1 6º) En una comunidad hay 3 supermercados (S1, S2, S3) existe la movilidad de un cliente de uno a otro. El 1 de septiembre, ¼ de los clientes va al S1, 1/3 al S2 y 5/12 al S3 de un total de 10.000 personas. Cada mes esl S1 retiene el 90% de sus clientes y pierde el 10% que se va al S2. Se averiguó que el S2 solo retiene el 5% y pierde el 85% que va a S1 y el resto se va a S3, el S3 retiene solo el 40%, pierde el 50% que va al S1 y el 10% va al S2. a) Establecer la matriz de transición b) ¿Cuál es la proporción de clientes para los supermercados el 1 de noviembre? c) Hallar el vector de probabilidad estable.

SOLUCIÓN: a) La matriz de transición para el orden S1, S2, S3 es: 0   0,9 0,1   P =  0,85 0,05 0,10   0,5 0,1 0,4    b) Para el mes de noviembre (han transcurrido 2 meses desde 1 de septiembre), la proporción de clientes es  0,895 0,095 0,01    1 1 5  2  1 1 5   P =   0,8575 0,0975 0,045  = (0,8158 0,0958 0,0883)  4 3 12   4 3 12    0,735 0,095 0,17  La proporción es del 81,58% para S1, 9,58% para S2 y 8,83% para S3 c) El vector de probabilidad estable se obtiene resolviendo: ( x, y, z ).P

=

( x, y , z ); x + y + z

=

1


Página 6

El sistema resultante es: − 10 x + 85 y + 50 z = 0

 10 x − 95 y + 10 z = 0  de donde y = 2/31, z =1/93; x = 86/93  y − 6 z = 0   x + y + z = 1

7º) Los consumidores de café en el área de Pontevedra usan tres marcas A, B, C. En marzo de 1995 se hizo una encuesta en lo que entrevistó a las 8450 personas que compran café y los resultados fueron:

Compra actual Marca A = 1690 Marca B = 3380 Marca C = 3380 TOTALES

Compra en el siguiente mes Marca A Marca B Marca C 507 845 338 676 2028 676 845 845 1690 2028 3718 2704

TOTALES 1690 3380 3380

8450

a) Si las compras se hacen mensualmente, ¿cuál será la distribución del mercado de café en Pontevedra en el mes de junio? b) A la larga, ¿cómo se distribuirán los clientes de café? c) En junio, cual es la proporción de clientes leales a sus marcas de café?

SOLUCIÓN: a) A la vista de las frecuencias anteriores, las probabilidades de transición, conservando el mismo orden que la tabla (A,B,C) es:  0,3 0,5 0,2  P

=

  0 , 2 0 , 6 0 . 2    0,25 0,25 0,5   

; De marzo a Junio hay 4 etapas por lo que nos piden las

probabilidades de transición al cabo de 4 meses, las que vendrán dada por los 4 coeficientes de P

 24 50 26   1  P2 = 23 51 26   100    25 40 35   0,2376 0,4790 0,2834     0,2375 0,4791 0,2834   0,2395 0,469 0,2915   

 2376 4790 2834   1  P4 = 2375 4791 2834   10000    2395 4690 2915 

b) A la larga se trata de la situación estable:

 0,3 0,5 0,2    ( x y z ) 0,2 0,6 0,2  = ( x y z ) ; x + y + z =1  0.25 0,25 0,5   

=

Cadenas de Markov 2.1 (M14)

Recommend Documents