Clase # 6
Se ha venido suponiendo que el parámetro t del tiempo es discreto (es decir t = 0,1,...).
Cadenas de Markov de tiempo continuo
Diseñó: Andrés Gómez
Tal suposición es adecuada para muchos problemas, pero existen ciertos casos (como en algunos modelos de líneas de espera) en los que se requiere un parámetro de tiempo continuo , debido a que el proceso se está observando de manera continua a través del tiempo.
6-1
6-2
Sean: Estados posibles del sistema
0,1,..,M Los estados son discretos
Tiempo
t´=r
Tiempo pasado
t´=s
Tiempo presente
t ´ = s+t
t unidades al futuro
El sistema se observa en los tiempos r y s, y sus respectivos estados son
t ´ : Parámetro continuo
X(s) = i
X(r) = x(r)
6-3
6-4
Un proceso estocástico estocástico de tiempo continuo continuo tiene la propiedad Markoviana si
¿ Cuál es la distribución distribución de probabilidad del estado del sistema en el tiempo t ´ = s+t ?
P { X(s+t) = j | X(s) = i y X(r) = x(r) } = P { X(s+t) = j | X(s) = i} Es decir
para j=0,1,...,M
para toda r ≥ ≥0 s>r
y
t>0
P { X(s+t) = j | X(s) X(s) = i y X(r) = x(r) } para j=0,1,...,M
P { X(s+t) = j | X(s) = i}
6-5
Probabilidad de transición igual que en eventos discretos 6-6
1
Si las probabilidades de transición son independientes de s, de manera que
Se supone que
P { X(s+t) = j | X(s) = i } = P { X(t) = j | X(0) = i }
Lim pij (t) t
1
si i = j
0
si i ≠ ≠ j
0
Se llaman Probabilidades de transición estacionarias
para toda s > 0
Algunas variables aleatorias importantes Se deno tan por
pij(t) = P { X(t) = j | X(0) = i }
Sea la variable aleatoria Ti : el tiempo que pasa cada vez que el proceso está en un estado i antes de ir a otro estado diferente
Función de probabilidad de transición de tiempo continuo 6-7
Si el proceso entra en i en el tiempo s, entonces para t>0 , se observa que Ti > t si y sólo si X(t´)=i para t´ en s ≤≤ t´ ≤≤ s+t
6-8
Por tanto la propiedad Markoviana probabilidades de transición estacionarias
con
P { X(s+t) = j | X(s) = i } = P { X(t) = j | X(0) = i } i Implica que s
t´
P { Ti > t+s | Ti > s} = P { Ti > t}
t
6-9
Existe sólo una distribución continua con esta propiedad
Esta propiedad de la variable aleatoria Ti se conoce como la falta de memoria
Se expresa diciendo que
6 -1 0
La distribución del tiempo que falta para que el proceso haga una transición fuera de un estado dado, es la misma independientemente de cuánto tiempo haya pasado.
La exponencial
Está definida por P { Ti > t} = 1 - e-qt
para t ≥ ≥0
La función de densidad es f(t) qe-qt con media 1/q 6 -1 1
6 -1 2
2
Intensidades de transición Sea pij la probabilidad de pasar de un estado i a otro distinto (sin considerar el tiempo).
Definamos pij (t) : P { X(t) = j | X(0) = i } pij :
Entonces pii = 0
P { Pasar a j | Se está en i }
para todo i qi : Tasa de transición hacia fuera del estado i por unidad de tiempo que pasa en i
M
Σ pij =1
para todo i
qij : Tasa de transición del estado i al j por unidad de tiempo que pasa en i
j = 0
6 -1 3
qi = Lim t
0
= Lim t
=
0
Pi (otro≠≠ i) (t) t
= Lim
-(p ii (t) - 1) t
(p ii (0+t) - pii (0) = - Lim t t 0
-dpii (0) dt
t
0
1-p ii (t) t
qij = Lim t
0
= Lim t
Para i = 1,2,...M
qi =
6 -1 4
=
0
P ij (t) t
= Lim 0
pij (0+t) - pij (0) t
dpij (0) dt
-dpii (0) dt
t
pij (0+t) - 0 t
Para toda j ≠ ≠i
qij =
dpij (0) dt
6 -1 5
qij = qi pij ∀ ∀ j ≠ ≠
i
6 -1 6
Probabilidades de estado estable
qi = Σ q ij i≠ ≠ j
M
pij(t) = Σ p (s) * p (t - s) ik kj k=1
Sea Tij una variable aleatoria que representa el tiempo que el proceso permanece en el estado i antes de pasar al j ( si no ocurre una transición a otro estado).
ChapmanKolmogorov para procesos continuos
Los estados i,j se comunican si existen tiempos t1 ,t2 tales que pij(t1 ) > 0 y p ji(t2 ) > 0
Tij tiene una distribución exponencial con parámetro qij , es decir con media 1/ qij
6 -1 7
6 -1 8
3
Otra forma de ecuaciones
Una cadena de Markov de tiempo continuo es irreducible si todos los estados forman una sola clase.
Lim t
pij (t) = ππ j
∞ ∞
π π j q j
Probabilidades de estado estable o estacionarias
j = 0
Ecuaciones de Balance
M
=Σ
i =0
π πi pij (t)
i≠ ≠ j
π πi qij
para j = 1,2,..M
M
Σ
Las π π j satisfacen π π j
=Σ
para j = 1,2,..M y t ≥≥ 0
π π j =
0
Tasa de salidas Tasa de entradas = de un estado a ese estado
6 -1 9
Ejemplo
Cuando se termina la reparación el tiempo que transcurre hasta la siguiente descompostura se distribuye exponencial con media 1 día.
Un taller opera con 2 máquinas idénticas que operan continuamente excepto cuando se descomponen.
M1
6 -2 0
Nota: Las distribuciones son independientes
M2 Definamos la variable aleatoria X(t´) : Número de máquinas descompuestas en el tiempo t´ (los valores posibles de X(t´) son 0,1,2)
El tiempo requerido para reparar una máquina tiene distribución exponencial con media 1/2 de día
6 -2 1
Cuando corremos el parámetro t´de manera continua desde el tiempo cero, podemos hallar la evolución en el tiempo del número de máquinas descompuestas. Proceso estocástico de tiempo continuo
Cadena de Markov de tiempo continuo
6 -2 2
Podemos usar las probabilidades de estado estable para hallar la distribución de probabilidad de estado estable para el número de máquinas descompuestas.
= { X(t´) ; t´≥≥ 0 } Debemos hallar para i,j = 0,1,2
Tiempo de reparación y el tiempo hasta la siguiente descompostura tienen distribución exponencial.
6 -2 3
qi : Tasa de transición hacia fuera del estado i por unidad de tiempo que pasa en i qij : Tasa de transición del estado i al j por unidad de tiempo que pasa en i 6 -2 4
4
El estado (número de máquinas descompuestas) La tasa a la que se terminan las reparaciones (cuando hay máquinas descompuestas) es 2 máquinas por día
El tiempo esperado de reparación es 1/2 de día Aumenta en 1 cuando ocurre una descompostura
Como las descomposturas y las reparaciones ocurren una a la vez
Disminuye en 1 cuando hay una reparación
q21 = 2
q02 = 0
Esto implica q10 = 2
q20 = 0 6 -2 5
El tiempo esperado hasta que se descompone una máquina es 1 día
La tasa a la que se descomponen las máquinas (cuando está operando) es 1 por día
6 -2 6
q01 = 2
q12 = 1
Descompostura
0
1
2
Esto implica q12 = 1 Reparación
Durante los tiempos en que las dos máquinas operan, las descomposturas ocurren a una tasa de 1+1=2 por día q01 = 2
q10 = 2
q21 = 2
6 -2 7
Estas tasas de transición se pueden usar para calcular la tasa de transición total hacia fuera del estado
6 -2 8
Ecuaciones de Balance
2ππ0 = 2π π1
(para el estado 0)
3ππ1 = 2π π0 +2 π π2
(para el estado 1)
2ππ2 = π π1
(para el estado 2)
q0 = q01 = 2 q1 = q10 + q12 = 3
π π0
q2 = q21 = 2
Ecuaciones de Balance
+ ππ1 + ππ2 = 1
(Suma de probabilidades)
Cualquiera de estas ecuaciones se puede eliminar como redundante y obtendremos (π π0 , π π1 , π π2 ) = ( 2/5 , 2/5 , 1/5)
Tasa de salidas Tasa de entradas = de un estado a ese estado 6 -2 9
Ambas máquinas estarán descompuestas simultáneamente el 20% del tiempo y una máquina estará descompuesta el 40%. Las dos estarán buenas el 40% 6 -3 0
5
