CADENAS DE MARKOV El análisis Markov (del inventor ruso Markov) es un método de analizar la conducta actual de alguna variable en un esfuerzo de predecir la conducta de la misma. Su comportamiento depende de las acciones (resultados) anteriores. Se trata de un proceso o sistema que transita de un estado a otro a medida que transcurre el tiempo. Los posibles posibles estados futuros del sistema o proceso proceso dependen de su estado presente y probabilidades asociadas a cada posible transición a un próximo estado. Cadenas de Markov es la fase final de teoría de decisiones. Aplicaciones
1. 2. 3. 4. 5. 6.
Mercadeo Finanzas Asignación de recursos Retiro y reemplazo Políticas Mantenimiento, etc
Procesos estocásticos
Procesos que evolucionan de forma no determinista a lo largo del tiempo en torno a un conjunto de estados. Proceso Markov
Se dice que un proceso es de Markov cuando verifica la propiedad de Markov: La evolución del proceso depende del estado actual y del próximo y no de los anteriores o posteriores. Un proceso Markov es un proceso estocástico. Estados
Los estados son una caracterización de la situación en que se halla el sistema en un instante dado, dicha caracterización puede ser tanto cuantitativa como cualitativa. Cadena de Markov
Es una serie de eventos en la cual la probabilidad de que ocurra un evento (estado) depende del evento (estado) inmediato superior. En efecto, las cadenas de este tipo tienen memoria. “Recuerdan" el último evento (estado) y esto condiciona las posibilidade s de los eventos (estados) futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado.
UES/FIA/EII/IOP215/2018 UES/FIA/EII /IOP215/2018
Página 1
Una forma de describir una cadena de Markov es con un diagrama de estados. En el siguiente se ilustra un sistema de Markov con cuatro estados posibles: M1, M2 , M3 y M4 y sus respectivas probabilidades condicionales o de transición Pij de moverse de un estado a otro:
Notación
Xt: característica de interés medible en el tiempo t. t: parámetro de tiempo que toma valores de un conjunto T dado. i: estado actual del proceso. j: estado del proceso después de n pasos. k: valor que toman los estados pasados. Propiedad Markoviana
Una cadena de Markov es un proceso estocástico {X t} tal que: P{Xt+1 = j | X 0 = k0, X1 = k1,…Xt-1 = kt-1, Xt = i} = P{Xt+1 = j | X t = i}, para t = 0,1,2, … y toda sucesión i, j, k 0, k1, …, kt1 (espacio de estados). Lo que denota que "el futuro es independiente del pasado, depende solo del presente" Interpretación de la propiedad markoviana
Esta propiedad se interpreta como la afirmación de que la probabilidad (condicional) de que el proceso alcance el estado futuro Xt+1 dados los estados pasados X0, X1,... X t-1y el estado actual Xt; es independiente de los estados pasados y depende solamente del estado presente Xt (es decir, que el pasado no influye en el futuro más que a través del presente). Transición
Momento en que una cadena de Markov puede cambiar de estado. Es usual que una transición se produzca a intervalos regulares de tiempo.
UES/FIA/EII/IOP215/2018
Página 2
Probabilidad de transición de un paso (p ij)
Probabilidad de que el proceso evolucione al estado j en la siguiente transición, si en este momento se encuentra en el estado i.
Probabilidad de transición de k pasos (p ij (k))
Probabilidad de que el proceso evolucione al estado j dentro de k transiciones, si en este momento se encuentra en el estado i. Probabilidad de transición
Las probabilidades condicionales: P{Xt+1 = j | X t = i}, se llaman probabilidades de transición si para cada i y j, P{X t+1 = j | X t = i} = P{X 1 = j| X 0 = i}, para toda t = 0, 1, 2,… Se denotan por pij(n), donde n es el número de pasos. Propiedades de la probabilidad de transición
pij(n) ≥ 0, para toda i y j; n = 0, 1, 2,… ∑ pij(n) = 1, para toda i; n = 0, 1, 2,… Matriz de probabilidades o de transición (P)
Matriz cuadrada de orden n, donde n es igual al número de estados del proceso. Sus componentes son las probabilidades estacionarias ij. Matriz de probabilidades de transición de un paso (P)
Matriz cuadrada de orden n, donde n es igual al número de estados del proceso. Sus componentes son las probabilidades de transición de un paso pij.
P(n) =
, para n = 0, 1, 2...
P= [pij]nxn Es una matriz de transición formada por los valores de pij, donde cada fila representa el estado inicial donde se parte y las columna el estado al que se irá en un período.
El superíndice n no se escribe cuando n = 1.
UES/FIA/EII/IOP215/2018
Página 3
Probabilidades de estado estable de Markov
Significa que la probabilidad de encontrar el proceso en cierto estado, por ejemplo j, después de número grande de transiciones tiende al valor xj y es independiente de la distribución de probabilidad inicial definida para los estados. En términos de ecuaciones matriciales se tiene:
→∞ ∑=
>0 para j= 0,1,2….M
y
∑=
Procedimiento de cálculo estado futuro a partir de la matriz de transición
Las ecuaciones de Chapman – Kolmogorov (proceso matricial) proporcionan un método para calcular la probabilidad de transición de n pasos:
pij() = ()pkj(n−m) , para toda i, j, n y 0 ≤ m ≤ n Estas ecuaciones señalan que al ir del estado i al estado j en n pasos, el proceso estará en algún estado k después de exactamente m (menor que n) pasos. Así, () kj (n−m), es sólo la probabilidad condicional de que, si se comienza en el estado i el proceso vaya al estado k después de m pasos y después al estado j en n – m pasos. Al resumir estas probabilidades condicionales sobre todos los estados posibles k se debe obtener ij (n) . Las ij (n) son los elementos de la matriz P n los cuales se obtienen multiplicando la matriz de transición de un paso por sí misma; esto es: P 2 = P. P En términos más generales, se concluye que la matriz de probabilidades de transición de n pasos, se puede obtener de la expresión: P(n) = P. P… P
p
p
p
ALGUNOS EJEMPLOS PROPUESTOS PARA CLASE Ejemplo 1
Se hizo un estudio de mercado para el cereal de dieta “ Special K ” de la marca Kellogs. Se encontró que el cereal SK tiene actualmente el 25% del mercado. Los datos a partir del año anterior indican que el 88% de los clientes de SK seguían siendo leales a él el año actual, pero el 12% cambió a cualquiera de los otros cereales de dieta que existen. Además el 85% de los clientes de la competencia seguían siendo leales, pero el 15% de ellos cambiaban al cereal SK. Asumiendo que estas tendencias continúan encuentre la parte de el cereal SK en el mercado en 2 años. Ejemplo 2
Un dueño de estaciones de gasolina está considerando el efecto sobre su negocio de una nueva estación “Los Héroes” la cual está situada en la misma calle, con la que posee actualmente la estación “Constitución” . La estación Constitución posee el 80% del mercado y la estación Los Héroes posee el 20% del mercado. UES/FIA/EII/IOP215/2018
Página 4
El análisis durante la semana pasada ha indicado las probabilidades de que los clientes paren en cada una de las estaciones: a) ¿Cuál será el porcentaje de mercado prevista para la estación Constitución y Los Héroes después de dos semanas? b) ¿Cuál sería la predicción a largo plazo, del porcentaje de mercado de la estación Constitución y Los Héroes?
Para De
Constitución Los Héroes
Constitución 0.75 0.55
Los Héroes 0.25 0.45
Ejemplo 3
Encuentre el estado estable de la siguiente situación a través de cadenas de Markov. Los datos son probabilidades de transición de un estado a otro:
A B C
A 0.7 0.2 0.1
B 0.2 0.75 0.1
C 0.1 0.05 0.8
Ejemplo 4
Se desea analizar la penetración de mercado y lealtad de clientes de dos almacenes: Almacenes SIMAN y Almacenes CARRION. Una investigación de campo ha revelado lo siguiente: El 90% de los clientes que compraron en Almacenes SIMAN en un mes, regresó en el mes siguiente. El 80% de los clientes de Almacenes CARRION, regresó a la misma cadena de la siguiente manera. Para un mercado meta de 6000 clientes, con utilidad mensual por cliente de $10.00, ¿Recomendaría a CARRION, lanzar una campaña publicitaria d e $3,500.00? Ejemplo 5
Una computadora se inspecciona cada hora. Se encuentra que está trabajando o descompuesta. Si está trabajando la probabilidad de que siga trabajando la siguiente hora es 0.9 Si está descompuesta, se toman las medidas para repararla lo que puede llevar más de una hora. Siempre que la computadora esté descompuesta, Independientemente de cuánto tiempo haya pasado, la probabilidad de que siga descompuesta la siguiente hora es 0.35. Modele el sistema como una cadena de Markov. ¿Hoy está trabajando, cuál es la probabilidad de que en 4 hrs siga trabajando? UES/FIA/EII/IOP215/2018
Página 5
