CADENAS DE MARKOV Definición: una cadena de Markov es un caso especial de los procesos de markov. Se usa para estudiar los comportamientos de ciertos sistemas estocásticos a corto y largo plazo Propiedad de Markov: Conocido el estado del proceso en un momento dado, su comportamiento futuro no depende del pasado. Dicho de otro modo, “dado el presente, el futuro es independiente del pasado” Ejercicio 1 cadenas de Markov Sea Xi una variable aleatoria que caracteriza el estado del sistema en puntos discretos en el tiempo t = 1, 2… . La familia de variables aleatorias {Xi} forma un proceso estocástico con una cantidad finita o infinita de estados. Proceso de Markov. Un proceso estocástico es un proceso de Markov si un estado futuro depende sólo del estado inmediatamente anterior. Esto significa que dados los tiempos cronológicos t0,t1,…,tn,la familia de variables aleatorias {Xtn} = {x1, x2, Á , xn} es un proceso de Markov si
En un proceso Markoviano con n estados exhaustivos y mutuamente excluyentes, las probabilidades en un punto específico del tiempo t = 0,1,2,… se definen como
Esto se conoce como probabilidad de transición en un paso al ir del estado i en el instante t 2 1 al estado j en el instante t. Por definición, tenemos
La notación utilizada en la matriz es una forma conveniente de resumir las probabilidades de transición en un paso:
La matriz P define una cadena de Markov. Tiene la propiedad de que todas sus probabilidades de transición pij son estacionarias e independientes a lo largo del tiempo. Aunque una cadena de Markov puede incluir un número infinito de
estados, la presentación en este capítulo se limita a sólo cadenas finitas, ya que es el único que se necesita en el texto. EJEMPLO 1 cadenas de Markov El clima en el pueblo de Centerville puede cambiar con rapidez de un día a otro. Sin embargo, las posibilidades de tener clima seco (sin lluvia) mañana es de alguna forma mayor si hoy está seco, es decir, si no llueve. En particular, la probabilidad de que mañana esté seco es de 0.8 si hoy está seco, pero es de sólo 0.6 si hoy llueve. Estas probabilidades no cambian si se considera la información acerca del clima en los días anteriores a hoy. La evolución del clima día tras día en Centerville es un proceso estocástico Si se comienza en algún día inicial (etiquetado como día 0), el clima se observa cada día t, para t 5 0, 1, 2, . . . El estado del sistema en el día t puede ser: Estado 0 = El día t es seco o bien Estado 1 = El día t es lluvioso Así, para t = 0, 1, 2, . . ., la variable aleatoria Xt toma los valores,
Xt=
seco {1 0sisidiatdiaest eslluvioso
El proceso estocástico {Xt} = {X0, X1, X2, . . .} proporciona una representación matemática de la forma en que evoluciona el clima en Centerville a través del tiempo.
P { X t +1=0| X t =0 } =0.8 ,
P { X t +1=0| X t =1 }=0.6 Estas ecuaciones también deben cumplirse si
X t +1=1
X t +1=0
se reemplaza con
(La razón es que los estados 0 y 1 son mutuamente excluyentes y
son los únicos estados posibles; por ende, las probabilidades de los dos estados deben sumar 1. Por lo tanto, el proceso estocástico tiene la propiedad markoviana, lo que lo convierte en una cadena de Markov. Utilizando la notación:
P00=P { X t +1=0| X t =0 } =0.8 ,
P10=P { X t +1=0| X t =1 }=0.6
Encontrando las probabilidades inversas
P00+ P 01=1entonces P01=1−0.8=0.2, P10+ P 11=1 entonces P11=1−0.6=0.4, Por lo tanto, la matriz de transición es:
0 1 P=0 1
[
P00 P 01 P10 P 11
]
=
P=0 1
[
0 1 0.8 0.2 0.6 0.4
]
Donde estas probabilidades de transición se refieren a la transición del estado del renglón al estado de la columna. Tenga en mente que el estado 0 hace referencia a un día seco, mientras que el estado 1 significa que el día es lluvioso, así que estas probabilidades de transición proporcionan la probabilidad del estado del clima el día de mañana, dado el estado del clima del día de hoy.
Diagrama de transición de estados EJEMPLO 2 cadenas de Markov Cada año, durante la temporada de siembra de marzo a septiembre, un jardinero realiza una prueba química para verificar la condición de la tierra. Según el resultado de la prueba, la productividad en la nueva temporada puede ser uno de tres estados: (1) buena, (2) regular y (3) mala. A lo largo de los años, el jardinero ha observado que la condición de la tierra del año anterior afecta la productividad del año actual y que la situación se describe mediante la siguiente cadena de Markov: Estado del sistema este año
Estado del P= sistema el año siguiente
1 2 3
{( 1 2 3
.2 .5 .3 0 .5 .5 0 0 1
)
Las probabilidades de transición muestran que la condición de la tierra puede o deteriorarse o permanecer como está pero nunca mejorar. Por ejemplo, si la condición de la tierra es buena en este año (estado 1) hay 20% de que no cambie el año siguiente, 50% de probabilidad de que sea regular (estado 2), y 30% de probabilidad de que se deteriorará a una condición mala (estado 3). El jardinero modifica las probabilidades de transición P utilizando un fertilizante orgánico. En este caso, la matriz de transición se vuelve:
1 2 3 P1=¿ 1 2 3
(
.2 .5 .3 0 .5 .5 0 0 1
)
El uso de fertilizante puede conducir a mejorar las condiciones del suelo.
EJEMPLO 3 cadenas de Markov Suponga ahora que el modelo del mercado de acciones se Cambia de manera que el hecho de que una acción suba mañana depende de que haya subido hoy y ayer. En particular, si la acción subió los dos días, ayer y hoy, la probabilidad de que suba mañana es de 0.9. Si la acción subió hoy pero ayer bajó, la probabilidad de que mañana suba es de 0.6. Si la acción bajó hoy pero ayer subió, la probabilidad de que mañana suba es de 0.5. Por último, si bajó durante estos dos días, la probabilidad de que mañana suba es de 0.3. Si se define el estado como la representación del hecho de que la acción baje o suba hoy, el sistema ya no es una cadena de Markov. Sin embargo, se puede transformar en una de ellas si se definen los estados como sigue: Estado Estado Estado Estado
0: 1: 2: 3:
la la la la
acción acción acción acción
aumentó hoy y ayer. aumentó hoy y ayer bajó. bajó hoy y ayer aumentó. bajó hoy y ayer.
Estos datos conducen a una cadena de Markov de cuatro estados con la siguiente matriz de transición:
0 1 P= 2 3
0 1 2 3
[
0.9 0.6 0.0 0.0
0.0 0.0 0.5 0.3
0.1 0.4 0.0 0.0
0.0 0.0 0.5 0.7
]
La figura muestra el diagrama de transición de estado de este ejemplo. Una característica interesante del ejemplo que revela este diagrama y todos los valores de 0 de la matriz de transición es que gran parte de las transiciones del estado i al j son imposibles en un solo paso. En otras palabras, pij = 0 para 8 de las 16 entradas de la matriz de transición. Sin embargo, observe cómo siempre es posible ir de cualquier estado i a cualquier estado j (incluyendo j = i) en dos pasos. Lo mismo es válido en el caso de tres pasos, cuatro pasos, etc. Por lo tanto, pij (n) > 0 para n = 2,3,.. para toda i y j.
PROBABILIDADES DE TRANSICIÓN ABSOLUTAS Y DE n PASOS Las ecuaciones de Chapman-Kolmogorov proporcionan un método para calcular estas probabilidades de transición de n pasos:
Estas ecuaciones simplemente señalan que al ir del estado i al estado j en n pasos, el proceso estará en algún estado k después de exactamente m (menor que n) pasos. Así,
(m )
(n−m)
Pik Pkj
es sólo la probabilidad condicional de que, si
comienza en el estado i, el proceso vaya al estado k después de m pasos y después al estado j en n – m pasos. Por lo tanto, al resumir estas
probabilidades condicionales sobre todos los estados posibles k se debe (n)
obtener Pij
Los casos especiales de m=1 y m=n-1 conducen a las
expresiones.
Y
Para todos los estados i y j. Estas expresiones permiten que las probabilidades de transición de n pasos se puedan obtener a partir de las probabilidades de transición de un paso de manera recursiva. Esta relación recursiva se explica mejor con la notación matricial para n=2, estas expresiones se convierten en
Donde las
P(2) ij
son los elementos de la matriz
(2)
P
. También note que estos
elementos se obtienen al multiplicar la matriz de transición de un paso por sí misma; esto es,
P(2) =P . P=P(2) De la misma manera, las expresiones anteriores de
P(n) ij cuando m=1 y m=n-
1 indican que la matriz de probabilidades de transición de n pasos es
P(n) =P P(n−1)=P(n−1) P P(n) =P P n−1 =P n−1 P (n)
P =P
n
Ejemplo de Matrices de transición de n pasos El clima en el pueblo de Centerville puede cambiar con rapidez de un día a otro. Sin embargo, las posibilidades de tener clima seco (sin lluvia) mañana es
de alguna forma mayor si hoy está seco, es decir, si no llueve. En particular, la probabilidad de que mañana esté seco es de 0.8 si hoy está seco, pero es de sólo 0.6 si hoy llueve. Estas probabilidades no cambian si se considera la información acerca del clima en los días anteriores a hoy. Estado 0 = El día t es seco o bien Estado 1 = El día t es lluvioso Encontrando las probabilidades inversas
P00+ P 01=1entonces P01=1−0.8=0.2, P10+ P 11=1 entonces P11=1−0.6=0.4, Por lo tanto, la matriz de transición es:
0 1 P=0 1
[
P00 P 01 P10 P 11
]
P=0 1
=
[
0 1 0.8 0.2 0.6 0.4
]
Determine ¿cuál sería el clima dos, tres y cuatro días después? Para dos días:
[
][
][
P(2) =P . P= 0.8 0.2 0.8 0.2 = 0.76 0.24 0.6 0.4 0.6 0.4 0.72 0.28
]
Así, si el clima está en el estado 0 (seco) en un día particular, la probabilidad de estar en el estado 0 dos días después es 0.76, por lo que la probabilidad de estar en el estado 1 (lluvia) es 0.24. En forma similar, si el clima está en el estado 1 ahora, la probabilidad de estar en el estado 0 dos días después es 0.72 mientras que la probabilidad de estar en el estado 1 es 0.28. Para tres días: (3)
3
2
[
P =P =P . P =
][
][
0.8 0.2 0.76 0.24 0.752 0.248 = 0.6 0.4 0.72 0.28 0.744 0.256
]
Para cuatro días:
[
][
][
P(4 )=P4 =P . P3 = 0.8 0.2 0.752 0.248 = 0.750 0.250 0.6 0.4 0.744 0.256 0.749 0.251
]
CLASIFICACIÓN DE ESTADOS EN UNA CADENA DE MARKOV Los estados de una cadena de Markov se clasifican con base en la probabilidad de transición Pij de P. 1. Un estado j es absorbente si está seguro de regresar a sí mismo en una transición; es decir, pij =1. 2. Un estado j es transitorio si puede llegar a otro estado pero no puede regresar desde otro estado. Matemáticamente, esto sucederá si (n)
lim P ij =0
n →∞
, para toda la i
3. Un estado j es recurrente si la probabilidad de ser revisitado desde otros estados es 1. Esto puede suceder si, y sólo si, el estado no es transitorio. 4. Un estado j es periódico con periodo de t>1 1 si es posible un retorno sólo en t, 2t, 3t,… pasos. Esto significa que
P(n) ij =0
cuando n no es
divisible entre t Ejemplo 1:
El diagrama de transición de estado que se muestra en la fi gura indica que ambos estados 1 y 2 son transitorios ya que el proceso los abandonará tarde o temprano para entrar al estado 0 o al 3 y, después, permanecerá en dicho estado de manera indefinida. Los estados 0 y 3 son recurrentes debido a que el proceso se mantendrá regresando de manera inmediata a uno de estos estados en forma indefinida, una vez que el proceso haya entrado a ese estado. El estado 0 como el 3 del ejemplo ambos son estados absorbentes ya que después de haber entrado ahí, el proceso nunca saldrá de él. Por consiguiente, el estado i es un estado absorbente si y sólo si piii=1.
Ejemplo 2:
Suponga que un proceso de Markov tiene la siguiente matriz de transición:
0 1 2 3 4
[
0 P= 1 2 3 4
1/4 3 /4 0 0 0 1 /2 1/2 0 0 0 0 0 1 0 0 0 0 1/3 2/3 0 1 0 0 0 0
]
Observe que el estado 2 es absorbente (y, por lo tanto, recurrente), porque si el proceso entra en él (tercer renglón de la matriz), nunca sale. El estado 3 es transitorio porque una vez que el proceso se encuentra en él, existe una probabilidad positiva de nunca regresar. La probabilidad de que el proceso vaya del estado 3 al estado 2 en el primer paso es 1/3 . Si el proceso está en el estado 2, permanece en ese estado. Cuando el proceso deja el estado 4, nunca vuelve. Los estados 0 y 1 son recurrentes.
TIEMPO DEL PRIMER PASO Acá nos interesa el tiempo medio del primer paso µij, definido como el número esperado de transiciones para llegar por primera vez al estado j desde el estado i. Los cálculos tienen su origen en la determinación de la probabilidad de al menos un paso del estado i al estado j, definido como ∞
f ij =∑ f ij
(n)
n=1
donde
f ij (n ) es la probabilidad del primer paso del estado i al
estado j en n transiciones. Se puede determinar una expresión para
f ij (n ) recursivamente
a partir de n−1
(n) ij
p
=f
(n) ij
+ ∑ f ij(k) p ij(n−K ) ,n=1,2, … k=1
Se supone que la matriz de transiciones P=‖ p ij‖ Si
tiene m métodos.
f ij <1 , no es seguro que el sistema pase alguna vez del estado i al estado j
y µij= ∞
Si
f ij =1 , la cadena de Markov es ergódica, y el tiempo medio del primer
paso del estado i al estado j se calcula como: ∞
µ ij=∑ n f ij
(n)
n=1
Una forma más simple de determinar el tiempo medio del primer paso de todos los estados en una matriz de n transiciones, P, es utilizar la siguiente fórmula basada en una matriz:
‖μij‖= ( I −N j )−1 1, j≠ i Donde: I= matriz de identidad (m - 1) Nj= Matriz de transiciones P sin su fila j-ésima y columna j-ésima del estado destino j 1 = vector columna (m - 1) con todos los elementos iguales a 1 La operación matricial −1
( I −N j )
−1 ( I −N j ) 1
suma en esencia las columnas de
.
Ejemplo 1 Determinar el tiempo medio de primera transición del estado 1 al 3 para una cadena de markov con la siguiente matriz de probabilidades de transición
[
0.4 0.5 0.1 P= 0.3 0.3 0.4 0.3 0.2 0.5
]
m13=1+ p 11 m13 + p12 m23 m13=1+0.4 m13+ 0.5 m23 →0.6 m23=1+0.5 m 23 Necesitamos otra ecuación
m23=1+ p 21 m 13+ p 22 m23 m23=1+0.3 m13+0.2 m23 → 0.8 m23=1+ 0.3 m13
De donde:
m13=3.93 9 m23=2.737
Ejemplo 2
[
0.4 0.5 0.1 P= 0.3 0.3 0.4 0.3 0.2 0.5 Determine
]
m11
m11=1+ p12 m21 + p13 m31=1+0.5 m21+ 0.1m31 m21=1+ p 22 m 21+ p23 m31 m21=1+ 0.3 m21 +0.4 m31 → 0.7 m21=1+0.4 m31 m31=1+ p 32 m 21+ p33 m31 m31=1+ 0.2 m21 +0.5 m31 →0.5 m31=1+0.2 m21 m11=1.7187 m21=2.8125 m31=3.1250
ANÁLISIS DE LOS ESTADOS ABSORBENTES
El análisis de las cadenas de Markov con estados absorbentes puede realizarse de forma conveniente con matrices. En primer lugar, la cadena de Markov se particiona como sigue: P=
( N0 A1 )
La disposición requiere que todos los estados absorbentes ocupen la esquina sureste de la nueva matriz. Por ejemplo, considere la siguiente matriz de transición:
1 2 P= 3 4
1 2 3 4
[
0.2 0.0 0.5 0.0
0.3 1.0 0.3 0.0
0.4 0.0 0.0 0.0
0.1 0.0 0.2 1.0
]
La matriz P puede reacomodarse y particionarse como:
1 2 P= 3 4
1 2 3 4
[{ | }] 0.2 0.5 0.0 0.0
0.3 1.0 0.0 0.0
0.4 0.3 0.0 0.0
0.1 0.2 0.0 0.0
En este caso, tenemos
(
)
N= 0.2 0.4 , 0.5 0.0
(
)
A= 0.3 0.1 , 0.3 0.2
( )
I= 1 0 0 1
Dada la definición de A y N y el vector columna unitario 1 (de todos los elementos1), se puede demostrar que: Tiempo esperado en el estado j iniciado en el estado i=elemento (i,j) de
( I −N )−1 Tiempo esperado para la absorción =
( I −N )−1 1
Probabilidad de la absorción =
( I −N )−1 A
Ejemplo: La empresa jurídica Angie Montero, emplea 3 tipos de abogados: subalternos, superiores y socios. Durante cierto año el 10% de los subalternos ascienden a superiores y a un 10% se les pide que abandonen la empresa. Durante un año cualquiera un 5% de los superiores ascienden a socios y a un 13% se les pide la renuncia. Los abogados subalternos deben ascender a superiores antes de llegar a socios. Los abogados que no se desempeñan adecuadamente, jamás descienden de categoría. a) b) c) d)
Forme la matriz de transición T Determine si T es regular, absorbente o ninguna de las 2. Calcule la probabilidad de que un abogado subalterno llegue a socio ¿Cuánto tiempo deberá permanecer en su categoría un abogado subalterno recién contratado? e) ¿Cuánto tiempo deberá permanecer en la empresa un abogado subalterno recién contratado? f) Calcule la probabilidad de que un abogado superior llegue a socio.
b) Nótese que la parte azul cielo tiene probabilidades iguales a 1, por lo tanto esta es la parte absorbente de la matriz. Por esta razón es una matriz absorbente. c) Ahora se procede a restar la matriz normal de la identidad y se halla la inversa para ver los tiempos entre estados, para posteriormente esta última ser multiplicada por la matriz absorbente y saber las probabilidades de cambios de estado
c) Al multiplicar la matriz inversa por la Absorbente se puede hallar dicha probabilidad, esta es 0.14 d) Al simplemente hallar la matriz inversa se es posible hallar el tiempo en años que debería permanecer normalmente un abogado subalterno en su compañía, serían 5 años. e) Cuando piden el tiempo que debería permanecer un abogado subalterno pero durante la empresa sería sumar el tiempo en que se queda como subalterno con el tiempo en que permanece como superior: esto es, 5+2.77= 7.77 años. f) Por último la probabilidad de que pase de subalterno a socio es mostrado en la última matriz, sería 0,28.
Simulación Montecarlo, ejemplo: Realice la simulación de una ruleta brindando el número obtenido por cada giro, realizando un total de 10 giros.
Se generara la procedimiento x 0 1 2 3 4 5 6 7
tabla
con
la
p(x) 0.125 0.125 0.125 0.125 0.125 0.125 0.125 0.125
información
F(x) 0.125 0.25 0.375 0.5 0.625 0.75 0.875 1
necesaria
para
realizar
el
Intervalos 0 0.125 0.125 0.25 0.25 0.375 0.375 0.5 0.5 0.625 0.625 0.75 0.75 0.875 0.875 1
P(x)=En la cual tenemos la probabilidad (1/8) de que con cada giro se genere un numero de los 8 probables. F(x)= es la probabilidad acumulada para cada uno de los valores Intervalos= probabilidad en la cual se encontrara el numero obtenido luego del giro de la ruleta Se realiza la cantidad de giros que se nos indica generando así un número aleatorio el cual comparando los diferentes intervalos nos mostrara el resultado posible Numero de Vueltas 1 2 3 4 5 6 7 8 9 10
Generación de números aleatorios 0.96160358 0.774084185 0.671694473 0.257482108 0.593173913 0.740499834 0.595457232 0.617167067 0.103266443 0.00522169
Resultad o Posible 7 6 5 2 4 5 4 4 0 0
