Facultad de Ingeniería Escuela de Industrias Ingeniería Civil Industrial
ICI2212 Modelos Estocásticos Profesor Claudio C. Araya Sassi
Unidad 6: Cadenas de Markov en Tiempo Continuo
Curso Período Verano, Enero de 2015
Cadenas de Markov en Tiempo Continuo
En la unidad anterior se supuso que el parámetro t del tiempo es discreto (es decir, t = 0, 1, 2, . . .). Este supuesto es adecuado para muchos problemas, pero existen ciertos casos en los que se requiere un parámetro (llamado t’) de tiempo continuo, debido a que la evolución del proceso se observa de manera continua a través del tiempo. La definición de cadena de Markov que se dio en la unidad anterior también se extiende a esos procesos continuos.
Profesor MSc. Claudio Araya Sassi
2
Formulación
Se etiquetan los estados posibles del sistema 0, 1, . . ., M. Si se comienza en el tiempo 0 y se deja que el parámetro de tiempo t’ corra de manera continua para , sea la variable aleatoria el estado del sistema en el tiempo .
′≥0 ′
( )
) toma uno de sus (M + 1) valores posibles en un intervalo, ( ≤ < después salta a otro valor en el siguiente intervalo ≤ < y así sucesivamente, donde los puntos de tránsito (, . . Entonces
.) son puntos aleatorios en el tiempo (no necesariamente enteros).
1) 2) 3)
Ahora considere los tres puntos en el tiempo:
≥0 > + > 0 , Profesor MSc. Claudio Araya Sassi
3
Formulación
Por lo tanto, el estado del sistema se ha observado en los tiempos t’= s y t’= r. Estos estados se etiquetan como
()
Dada esta información, el paso natural es buscar la distribución de probabilidad del estado del sistema en el tiempo t’= s + t . En otras palabras, ¿cuál es la probabilidad
+ () , Un proceso estocástico de tiempo continuo propiedad markoviana si
0,1,….., ;′≥0 tiene la
+ () + , 0,1,….., ≥ 0, > > 0 Profesor MSc. Claudio Araya Sassi
4
Formulación
+
Observe que es una probabilidad de transición , igual que las probabilidades de transición de las cadenas de Markov de tiempos discretos, donde la única diferencia es que ahora no es necesario que t sea entero.
Probabilidades de transición estacionarias Si las probabilidades de transición son independientes de s, de manera que
+ 0 ,
∀ >0
Función de probabilidad de transición de tiempo continuo
() 0 1, lim → 0,
; ′ ≥ 0
Un proceso estocástico de tiempo continuo es una cadena de Markov de tiempo continuo si presenta la propiedad markoviana Profesor MSc. Claudio Araya Sassi 5
Algunas variables aleatorias importantes
Cada vez que el proceso entra en el estado i, la cantidad de tiempo que pasa en ese estado antes de moverse a uno diferente es una variable aleatoria , donde
0,1,…..,
Suponga que el proceso entra en el estado en el tiempo
>0
.
Entonces, para cualquier cantidad de tiempo fijo , observe que si y solo si para toda en el intervalo .
>
′
≤ ≤ +
Por lo tanto, la propiedad markoviana (con probabilidades de transición estacionarias) implica que
> + > >
Dice que la distribución de probabilidad del tiempo que falta para que el proceso haga una transición fuera de un estado dado siempre es la misma, independientemente de cuánto tiempo haya pasado el proceso en ese estado. Profesor MSc. Claudio Araya Sassi
6
Algunas variables aleatorias importantes
En efecto, la variable aleatoria no tiene memoria; el proceso olvida su historia. Existe sólo una distribución de probabilidad (continua) que posee esta propiedad, la distribución exponencial. Esta distribución tiene un solo parámetro, llámese q, donde la media es 1/q y la función de distribución acumulada es
≤ 1 −, ≥ 0
Profesor MSc. Claudio Araya Sassi
7
Algunas variables aleatorias importantes
1. 2.
Este resultado conduce a una forma equivalente para describir una cadena de Markov de tiempo continuo:
tiene una distribución exponencial con media 1/ . Cuando sale de un estado , el proceso se mueve a otro estado , con probabilidad , donde satisface las condiciones 0 La variable aleatoria
1 =
3.
El siguiente estado que se visita después del estado i es independiente del tiempo que pasó en el estado i.
Profesor MSc. Claudio Araya Sassi
8
Algunas variables aleatorias importantes Intensidades de transición
Papel análogo a las probabilidades de transición de un paso de una cadena de Markov de tiempos discretos.
1 () 0 lim → , 0,1, 2, ……, () 0 lim → , ∀ Donde
() es la función de probabilidad de transición de tiempo continuo es la probabilidad descrita en la propiedad 2 de la diapositiva anterior parámetro de la distribución exponencial de Profesor MSc. Claudio Araya Sassi
9
Algunas variables aleatorias importantes Intensidades de transición
La interpretación intuitiva de
y es que son tasas de transición.
En particular, es la tasa de transición hacia fuera del estado i en el sentido de que es el numero esperado de veces que el proceso deja el estado i por unidad de tiempo que pasa en el estado i .
De esta forma, es el reciproco del tiempo esperado que el proceso pasa en el estado i por cada visita al estado i ; es decir,
1/[ ]
De manera similar, es la tasa de transición del estado i al estado j en el sentido de que es el numero esperado de veces que el proceso transita del estado i al estado j por unidad de tiempo que pasa en el estado i . Así,
≠
Profesor MSc. Claudio Araya Sassi
10
Algunas variables aleatorias importantes Intensidades de transición
es el parámetro de una distribución exponencial de una variable aleatoria relacionada Cada vez que el proceso entra al estado i , la cantidad de tiempo que pasara en el estado i antes de que ocurra una transición al estado j (si no ocurre antes una transición a algún otro estado) es una variable aleatoria , donde
, 0,1,……, .
Las son variables aleatorias independientes, donde cada distribución exponencial con parámetro , de manera que:
tiene una
1/ El tiempo que pasa en el estado i hasta que ocurre una transición ( ) es el mínimo (sobre ) de las .
Cuando ocurre la transición, la probabilidad de que sea al estado j es
/
Profesor MSc. Claudio Araya Sassi
11
Probabilidades de estado estable Ecuaciones de Chapman-Kolmogorov
Para cualesquiera estados i y j , y números no negativos
(0 ≤ ≤ ),
() () =
Se dice que un par de estados i y j se comunican si existen tiempos tales que .
> 0 > 0
Se dice que todos los estados que se comunican forman una clase. Si todos los estados de una cadena forman una sola clase, es decir, la cadena de Markov es irreducible.
Profesor MSc. Claudio Araya Sassi
12
Probabilidades de estado estable Probabilidades de estado estable
Si la cadena de Markov es irreducible, entonces,
> 0, lim →∞
∀ > 0
Siempre existe y es independiente del estado inicial de la cadena de Markov, para j = 0, 1, . . ., M. Las
satisfacen las ecuaciones
Profesor MSc. Claudio Araya Sassi
13
Probabilidades de estado estable Probabilidades de estado estable
Sin embargo, las siguientes ecuaciones de estado estable proporcionan un sistema de ecuaciones mas útil para obtener las probabilidades de estado estable: tasa a la que el proceso deja el estado j
tasa a la que el proceso entra al estado j desde cualquier otro estado
,
≠
0,1,…….,.
1 =
es la probabilidad (estable) de que el proceso esté en el estado j es la tasa de transición hacia fuera de j dado que el proceso se encuentra en el estado j . es la tasa de transición del estado i al j dado que el proceso se encuentra en el estado i
Profesor MSc. Claudio Araya Sassi
14
Ejemplo 1 Un taller tiene dos maquinas idénticas en operación continua excepto cuando se descomponen. Como lo hacen con bastante frecuencia, la tarea con mas alta prioridad para la persona de mantenimiento que trabaja tiempo completo es repararlas cuando sea necesario. El tiempo que se requiere para reparar una maquina tiene distribución exponencial con media de 1/2 día. Una vez que se termina la reparación, el tiempo que transcurre hasta la siguiente descompostura tiene distribución exponencial con media de un día. Estas distribuciones son independientes. Defina la variable aleatoria X (t’ ) como X (t’ ) = número de maquinas descompuestas en el tiempo t’ ,
El estado (numero de maquinas descompuestas) aumenta en 1 cuando ocurre una descompostura y disminuye en 1 cuando se termina una reparación.
Profesor MSc. Claudio Araya Sassi
15
Ejemplo 1
Como tanto las descomposturas como las reparaciones ocurren una a la vez,
0 0
El tiempo esperado de reparación es de 1/2 día, de manera que la tasa a la que se terminan las reparaciones (cuando hay maquinas descompuestas) es 2 por día, lo que implica que .
2 2
De manera similar, el tiempo esperado hasta que se descompone una maquina en operación es de un día, de manera que la tasa a la que se descompone (cuando esta en operación) es de uno por día; esto implica que .
1
Durante los tiempos en los que las dos maquinas operan, las descomposturas ocurren a una tasa de 1+1 = 2 por día, por lo que .
2
≠
Profesor MSc. Claudio Araya Sassi
16
Ejemplo 1
Probabilidades de estado estable
,
≠
0,1,…….,.
1 =
Profesor MSc. Claudio Araya Sassi
17
Ejemplo 1
Diagrama de tasas
Profesor MSc. Claudio Araya Sassi
18
Ejemplo 2
Suponga que ahora se agrega al taller una tercera máquina, idéntica a las dos primeras. La persona de mantenimiento debe atender todas las máquinas.
0 2 2 3 1 ≠
+ + 3 ⟹ 3 + + 4 ⟹ + 4 + + 3 ⟹ + 3 + + 2 ⟹ 2 Profesor MSc. Claudio Araya Sassi
19
Ejemplo 2
Diagrama de tasas
q01
3
0
q12
2
1
q10
2
q23
1
2
q21
2
Profesor MSc. Claudio Araya Sassi
3
q32
2
20
Ejemplo 2
Ecuaciones de estado estable
0,1,…,
≠
1 =
0 ∗ ∗ 1 ∗ ∗ + ∗ 2 ∗ ∗ + ∗ 3 ∗ ∗ + + + 1 Profesor MSc. Claudio Araya Sassi
21
Ejemplo 2
Ecuaciones de estado estable
3 2 4 3 + 2 3 2 + 2 2 + + + 1
1 2 3 (4) (5)
De (1) se tiene:
3 2 De (2) se tiene: 4 32 3 + 2 32 De (4) se tiene: 12 ⟹ 12 32 34 Profesor MSc. Claudio Araya Sassi
22
Ejemplo 2
Ecuaciones de estado estable Reemplazando en (5) se tiene:
+ 32 + 32 + 34 1 4 + 6 + 6 + 3 1 4 19 1 4 194 32 ∗ 194 196 196 34 ∗ 194 193 Profesor MSc. Claudio Araya Sassi
23