Antonio Hoyos Hoyos Chaverra. Cadenas Cadenas de Markov
INTRODUCCIÓN A LAS INTRODUCCIÓN CADENAS DE MARKOV Antonio Hoyos Chaverra Departamento de Ingeniería Industrial Facultad de Ingeniería – Universidad de Antioquia Antioquia
Antonio Hoyos Hoyos Chaverra. Cadenas Cadenas de Markov
Ag A genda 1. Objetivo 2. 3. 4. 5. 6. 7.
Introducción Conceptos básicos ¿Qué es un proceso estocástico? Definición formal de un proceso estocástico ¿Qué es una cadena de Markov? Ejemplos de cadenas de Markov
Antonio Hoyos Hoyos Chaverra. Cadenas Cadenas de Markov
Objetivo •
Definir lo qué es un proceso estocástico e introducir los conceptos de cadena de Markov y matriz de transición.
Antonio Hoyos Hoyos Chaverra. Cadenas Cadenas de Markov
Introducción Determinismo
Indeterminismo
No se tiene toda la información Racionalidad limitada No se puede procesar toda la información
Toma de decisiones
Antonio Hoyos Hoyos Chaverra. Cadenas Cadenas de Markov
Conceptos básicos es el conjunto de posibles valores resultados de un experimento
• Espacio muestral:
• Probabilidad: • Evento:
es la posibilidad de ocurrencia de un evento
subconjunto del espacio muestral
• Función de distribución:
función que asigna a cada evento
una probabilidad una función que asigna valores reales a los resultados de un experimento.
• Variable aleatoria:
Antonio Hoyos Hoyos Chaverra. Cadenas Cadenas de Markov
¿Qué es un proceso estocástico? Es un proceso que se desarrolla de manera aleatoria en el tiempo.
Mutaciones de un virus
Antonio Hoyos Hoyos Chaverra. Cadenas Cadenas de Markov
¿Qué es un proceso estocástico? Otros ejemplos: •
Los ingresos por ventas de una compañía
•
El desarrollo del tráfico en una ciudad
•
Cantidad de productos en inventario
•
Índice de homicidios de una región
•
La demanda de la l a energía eléctrica.
•
Estabilidad política política de una región
•
Asistentes a la universidad universidad el día de de parcial
¿Por qué son procesos estocásticos?
Antonio Hoyos Hoyos Chaverra. Cadenas Cadenas de Markov
Definición formal • Proceso
estocástico: es una familia de variables aleatorias en donde t toma valores del conjunto T.
, ∈
Antonio Hoyos Hoyos Chaverra. Cadenas Cadenas de Markov
Descripción de un proceso estocástico
, ∈ •
Para describir un proceso estocástico basta conocer la distribución de probabilidad conjunta de dichas variables.
•
Para cada t el sistema se encuentra en uno de un número finito de estados mutuamente excluyentes; 0, 1, 2, … , M
•
Si T es finito se trata de un proceso discreto
•
Si T es un subconjunto de los reales se trata de un proceso continuo
Antonio Hoyos Hoyos Chaverra. Cadenas Cadenas de Markov
Cadenas de Markov Una cadena de Markov es un proceso estocástico que cumple con la propiedad de perdida de memoria. Los estados futuros del proceso dependen únicamente del presente, por lo mismo son independientes independientes del pasado.
Antonio Hoyos Hoyos Chaverra. Cadenas Cadenas de Markov
Cadenas de Markov Definición formal de un proceso markoviano: Considere el proceso (
+, , −,…, , )
→
Si el proceso se encuentra en el estado i en el tiempo o etapa n. Un proceso cumple con la propiedad markoviana si: Presente
Pasado
(+ / , − −,…, , ) (+ / )
Antonio Hoyos Hoyos Chaverra. Cadenas Cadenas de Markov
Cadenas de Markov Probabilidad de transición •
La probabilidad
(+ / ) se denomina probabilidad de transición.
Probabilidades estacionarias •
Si (+ / ) ( /− ) ⋯( / ) se dice que la probabilidad es estacionaria y se denota como
Probabilidad de transición en n pasos •
(+ / ) ( / ) () Se cumple:
para toda t: 0,1,2…
0 ≤ ≤ 1 ,, , , 0,1, ,1,2, …
1
=
Antonio Hoyos Hoyos Chaverra. Cadenas Cadenas de Markov
Cadenas de Markov Matriz de transición de una etapa: matriz cuadrada formada por las probabilidades de transición.
⋮
⋮
⋮
… … … ⋱ …
⋮
0 ≤ ≤ 1 ,, 0,1,2, …
1
=
Resume todas las probabilidades de transición para las los M estados posibles del sistema.
Antonio Hoyos Hoyos Chaverra. Cadenas Cadenas de Markov
Cadenas de Markov Representación gráfica de un proceso de Markov
0
1
1 0 1 1
1
1
0
1
Un proceso de Markov puede representarse gráficamente si se conocen los M estados posibles del sistema y las probabilidades de transición asociadas a ellos.
Antonio Hoyos Hoyos Chaverra. Cadenas Cadenas de Markov
Ejemplo: problema del clima Considere el clima de la ciudad de Manhattan durante el mes de noviembre, los días son lluviosos y soleados. Si el día es soleado la probabilidad de que el siguiente sea un día soleado es de 0.4, si el día es lluvioso la probabilidad de que el siguiente sea lluvioso es de 0.7. 1. 2. 3.
¿Se trata de una cadena de Markov? Si lo es ¿cuál es la matriz de transición? Si lo es ¿represente gráficamente la cadena de Markov?
Sea Xn el estado del clima en el día n. Este es una cadena de Markov pues el clima actual depende del anterior.
,
S
LL
LLS 00..43 00..67
0.6
0.4 S
LL
0.7
Antonio Hoyos Hoyos Chaverra. Cadenas Cadenas de Markov
Ejemplo: problema del jugador Considere un jugador cuyo capital inicial es de USD 1, la probabilidad de ganar es p con una recompensa de USD 1, la posibilidad de perder es de q=1-p y con un costo de USD 1. El juego termina cuando tiene un capital de USD 3 o cuando pierde todo su dinero. 1. 2. 3.
¿Se trata de una cadena de Markov? Si lo es ¿cuál es la matriz de transición? Si lo es ¿represente gráficamente la cadena de Markov?
el capital del jugador después de n juegos dado por: + + ⋯ , en donde es el resultado del i-ésimo juego. Dado que − + + ⋯ − Si es una cadena de Markov Tenemos que − + Sea
Antonio Hoyos Hoyos Chaverra. Cadenas Cadenas de Markov
Ejemplo: problema del jugador El problema del jugador si es una cadena de Markov y su matriz de transición es: 0
1
2
1 0 1 0 0 1 0 0
0 1 2 3
3
0 0 0
0 0 1
Esta cadena puede representarse gráficamente de la siguiente manera:
1 0
1
2
3
Antonio Hoyos Hoyos Chaverra. Cadenas Cadenas de Markov
Ejemplo: problema de inventarios •
Considere un sistema de inventarios (s,S) donde se pide la cantidad necesaria para elevar el inventario al nivel S = 3 cuando el inventario es menor que s = 1, en caso contrario no se pide nada. Los pedidos se entregan al principio de la siguiente semana. La demanda semanal tiene la siguiente distribución de probabilidad (Poisson con tasa ʎ )
1.5
Demanda
0
1
2
3
4
5
Probabilidad 0.223 0.335 0.251 0.126 0.047 0.018
Sea Xn el inventario al final de la semana n. ¿Se trata de una cadena de Markov? 2. Si lo es ¿cuál es la matriz de transición? 1.
Antonio Hoyos Hoyos Chaverra. Cadenas Cadenas de Markov
Ejemplo: problema de inventarios El inventario final de la semana n esta dado por: − + −
: demanda atendida en la semana n − : cantidad pedida al final de la semana n-1
Si es una cadena de Markov
Dado que la cantidad máxima en inventario es de 3 unidades, los posibles estados son: Calculemos las probabilidades de transición:
0,1,2,3
( 0/− 0) ≥ 3 0.126 0.047 0.018 0.191 ( 1/− 0) 2 0.251 ( 2/− 0) 1 0.335 ( 3/− 0) 0 0.223 1
Antonio Hoyos Hoyos Chaverra. Cadenas Cadenas de Markov
Ejemplo: problema de inventarios Calculemos las probabilidades de transición:
( 0/− 1) ≥ 1 0.335 0.251 0.126 0.047 0.018 0.777
( 1/− 1) 0 0.223 ( 2/− 1) 0 ( 3/− 1) 0 1 ( 0/− 2) ≥ 2 0.251 0.126 0.047 0.018 0.442 ( 1/− 2) 1 0.335 ( 2/− 2) 0 0.223 ( 3/− 2) 0 1
Antonio Hoyos Hoyos Chaverra. Cadenas Cadenas de Markov
Ejemplo: problema de inventarios Calculemos las probabilidades de transición:
( 0/− 3) ≥ 3 0.126 0.047 0.018 0.191 ( 1/− 3) 2 0.251 ( 2/− 3) 1 0.335 ( 3/− 3) 0 0.223 1 La matriz de transición es:
0
0.191 00..747472 0.191 0 1 2 3
1
0 . 251 0 . 223 0 . 335 0 . 251
2
3
0.335 0.223 0 0 0.223 0 0.335 0.223
Antonio Hoyos Hoyos Chaverra. Cadenas Cadenas de Markov
Bibliografía • • •
Hillier, Frederick S., and Gerald J. Lieberman. Introduction to Operations Research. McGraw-Hill, 2001. Schwartz, B. (2004). The Paradox of Choice: Why More Is Less. New York: Ecco. Simon, H. (1957)." A Behavioral Model of Rational Choice", in Models of Man, Social and Rational: Mathematical Essays on Rational Human Behavior in a Social Setting. New York: Wiley
•
Calderon, B. (2006) “Cadenas de Markov”. Notas de clase.
