4.4 a) Estados absorbentes b) Probabilidad de transición estacionaria de estados estables. estables. c) Tiempos de primer pasó. Definición 1.- Un estado absorbente es
aquel que tiene una probabilidad de ser abandonado igual a cero, o sea que, una vez comenzado es imposible dejarlo igual a cero y el proceso o se detiene completamente o se detiene para luego comenzar a partir de algún otro estado. Definición 2.- Una cadena de Markov es absorbente si: (1) tiene por lo menos un estado absorbente y (2) es posible ir desde cada estado no absorbente hasta por lo menos un estado absorbente. No es necesario tener la posibilidad de alcanzar cada estado absorbente a partir de cualquier estado no absorbente. La descripción de los procesos o sistemas que cesan (o por lo menos vuelven a comenzar) después de alcanzar determinadas condiciones se utiliza un caso especial de cadenas de Markov. Por ejemplo, después de hallar un numero predeterminado de partes aceptables o defectuosas, se suspende una inspección secuencial; después de x horas de funcionamiento se detiene una máquina para repararla o remplazarla, etc. Tales procesos pueden modelarse como una cadena de Markov absorbente. Ejemplo.- Se supone que se inspecciona componentes de un producto según el plan de inspección secuencial: seleccionar e inspeccionar artículo por artículo h asta hallar un defectuoso (rechazos) o hasta encontrar 5 partes b uenas (aceptables). Los posibles estados de este problema son: Descripción
Estado
Física:
# de partes Buenas S1 (0,0) 0 S2 (1,0) 1 S3 (2,0) 2 S4 (3,0) 3 S5 (4,0) 4 S6(5,0) 5 S7 (0,1) 0 S8 (1,1) 1 S9 (2,1) 2 S10 (3,1) 3 S11 (4,1) 4
# de partes Defectuosas 0 Precisamente 0 Al comenzar 0 0 0 0 1 Absorbente 1 1 1 1
Si se espera que el 90% de d e las partes sean aceptables, la matriz de transición es:
S1 S2 S3 S4 S5
S1 S2 S3 S4 S5 S6 S7 S8 S9 S10 S11 0.9 0.1 0.9 0.1 0.9 0.1 0.9 0.1 0.9 0.1
S6 S7 S8 S9 S10 S11
1 1 1 1 1 1
Se observa que una vez alcanzados los estados S6 hasta S11 , la probabilidad de que el proceso permanezca en el respectivo estado es 1. Por tanto es imposible (probabilidad cero) ir desde cualquiera de los estados hasta otro estado. Físicamente esto se debe a que el inspector podrá tomar una decisión de aceptación y/o rechazo en ese momento y terminar la inspección. A partir del análisis de esta clase de cadena pueden obtenerse diversas clases de información pertinente. Es posible determinar los siguientes datos: 1) El numero esperado de pasos antes de que el proceso sea absorbido 2) El número esperado de veces que el proceso está en cualquier estado dado no absorbente. 3) La probabilidad de absorción por cualquier estado absorbente dado. El primer paso del análisis es reagrupar la matriz de transición de manera que haya cuatro submatrices: I 0 P= A N
Estas matrices más pequeñas contienen elementos de probabilidad pero si se consideran individualmente no constituyen una matriz de transición. Consideradas individualmente contienen la siguiente información con respecto a las probabilidades. Se supone que hay a estados absorbentes, n estados no absorbentes y a+n=m estados totales. I=Una matriz identidad
a x a r epresenta las probabil idades de permanecer dentro de un estado absorbente. (Esta matr iz no se utiliza en cálcul os posteriores). 0=Una matr iz cero a x n i ndi ca las probabil idades de ir desde un estado absorbente hasta un estado no absorbente. A=Un a matriz n x a conti ene las probabi lidades de ir desde cualqui er estado no absorbente hasta un estado absorbentes) N= un a matr iz n x n conti ene las probabil idades de ir desde cualqui er estado ---- no absorbente. La matriz de transición revisada es:
S 6 (5,0) S 7 (0,1) S 8(1,1) S 9(2,1) S 10(3,1) S 11(4,1) S 1(0,0) S 2(1,0) S 3(2,0) S 4(3,0) S 5(4,0)
(5,0) S 6 1
(0,1) (1,1) S 7 S 8 1 1
0 0 0 0 0.9
0.1 0 0 0 0
0 0.1 0 0 0
(2,1) (3,1) (4,1) (0,0) (1,0) S 9 S 10 S 11 S 1 S 2 0 0 0 0 0 0 1 0 0 1 0 0 1 0 0 0 0 0 0 0.9 0 0 0 0 0 0.1 0 0 0 0 0 0.1 0 0 0 0 0 0.1 0 0
(2,0) S 3 0 0 0 0 0 0 0 0.9 0 0 0
(3,0) S 4 0 0 0 0 0 0 0 0 0.9 0 0
(4,0) S 5 0 0 0 0 0 0 0 0 0 0.9 0
Antes de comenzar el análisis, es importante comprender muy bien el significado y la utilidad de las dos matrices N y A. Donde N da las probabilidades de ir desde cualquier estado no absorbente hasta otro estado no absorbente en un paso exactamente. La matriz de transición P,N 2 da las probabilidades de ir desde cualquier estado no absorbente hasta otro estado no absorbente en dos pasos exactamente. N3 da esta misma información para n pasos exactamente. Además, N 0 puede representar la probabilidad de estar en un estado precisamente ahora. Puesto que esta información se conoce y como el estado no puede dejarse en ceros pasos, N 0 realmente una matriz identidad de nxn. Estar en un estado no absorbente j es la suma de los siguientes términos. El numero esperado de veces en j=1X probabilidad de estar en j al comienzo +1X probabilidad de estar en j después de 1 paso + 1X probabilidad en j después de 2 pasos + =1N0+1N+1N2 +1N3 +….. =1N0 +1N+N2 +N3 +…… La matriz N se compone de fracciones decimales pij, donde 0≤pij≤1 A medida que aumenta la potencia n, N n tiende a cero. Puede demostrarse que esta serie de matrices se comporta como una serie de potencia y que el límite de su suma es: N 0 +1N+N2 +N3 +……=(I-N)-1 I es la matriz identidad nxn. Esto es análogo a la serie algebraica de potencias I+x+x2+x3+…= donde ||≤1
Para un estado inicial dado, La matriz (I-N) -1 da el número esperado de veces que un proceso está en cada estado no absorbente antes de la absorción.
4.4.b) Probabilidades de transición estacionaria de estados estables. Teorema Sea P la matriz de transición de una cadena de M estados . Existe entonces un
vector
tal que
Se establece que para cualquier estado inicial i ,
.
El vector a menudo se llama distribución de estado estable, o también distribución de equilibrio para la cadena de Markov. Para encontrar la distribución de probabilidades de estacionario para una cadena dada cuya matriz de transición es P, según el teorema, para n grande y para toda i , (1) n Como Pij (n + 1) = ( renglón i de P )(columna j de P), podemos escribir
(2)
Ejemplo: Suponga que toda la industria de refrescos produce dos colas. Cuando una persona ha comprado la cola 1, hay una probabilidad de 90 % de que su siguiente compra se de cola 1. Si una persona compró cola 2, hay un 80 % de probabilidades que su próxima compra sea de cola 2.
Entonces : Al reemplazar la segunda ecuación por la condición
,
Obtenemos el sistema
Al despejar resulta que Por lo tanto, después de largo tiempo, hay probabilidad 2/3 de que una persona dada compre cola 1 y 1/3 de probabilidad de que una persona compre cola 2.
4.4.c) Tiempos de primer paso. Con frecuencia es conveniente poder hacer afirmaciones en términos de probabilidades sobre el número de transiciones que hace el proceso al ir de un estado i a un estado j por primera vez . este lapso se llama tiempos de primer paso al ir del estado i al estado j. cuando J=i, esta tiempo de primer paso es justo el número de transiciones hasta que el proceso regresa al estado inicial i. En este caso, el tiempo de primer paso se llama tiempo de recurrencia para el estado i. Para ilustrar estas definiciones, reconsidérese el ejemplo siguiente : Una tienda de cámaras tiene en almacén un modelo especial de cámara que se puede ordenar cada semana. Sean D 1, D2, ... las demandas de esta cámara durante la primera, segunda, ... , semana, respectivamente. Se supone que las D i son variables aleatorias independientes e idénticamente distribuidas que tienen una distribución de probabilidad conocida. Sea X 0 el número de cámaras que se tiene en el momento de iniciar el proceso, X 1 el número de cámaras que se tienen al final de la semana uno, X 2 el número de cámaras al final de la semana dos, etc. Suponga que X 0 = 3 . El sábado en la noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente política ( s, S) 1 para ordenar : si el número de cámaras en inventario al final de la semana es menor que s =1 (no hay cámaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o más cámaras en el almacén, no se hace el pedido). Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X 1} para t = 0, 1, .. es un proceso estocástico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el número posible de cámaras en inventario al final de la semana. Donde Xt es el número de cámaras en inventario al final de la semana t y se comienza con
, Suponga que ocurrió lo siguiente:
En este caso, el tiempo de primer paso para ir al estado 3 al estado 1 es dde 2 semanas, el tiempo de primer paso para ir del estado 3 al estado 0 es de 3 semanas y el tiempo de recurrencia del estado 3 es de 4 semanas. En general, los tiempos de primer paso son variables aleatorias y, por lo tanto, tienen una distribución de probabilidad asociada a ellos. Estas distribuciones de probabilidad dependen de las probabilidades de transición del proceso. En particular, denota la probabilidad de que el tiempo de primer paso del estado i al j sea igual a n. Se puede demostrar que estas probabilidades satisfacen las siguientes relaciones recursivas:
Entonces se puede calcular la probabilidad de un tiempo de primer paso del estado i al j en n pasos, de manera recursiva, a partir de las probabilidades de transición de un paso. En el ejemplo, la distribución de probabilidad de los tiempos de primer paso del estado 3 al estado 0 se obtiene como sigue:
Para i y j fijos, las
son números no negativos tales que
Esta suma puede ser menor que 1, lo que significa que un proceso que el iniciar se encuentra en el estado i puede no llegar nunca al estado j . Cuando la suma es igual a 1, las pueden considerarse como una distribución de probabilidad para la variable aleatoria, el tiempo de primer pasó. Para obtener el tiempo esperado de primer paso del estado i al estado j. Sea , que se define como:
entonces
satisface, de manera única, la ecuación:
Cuando i=j,
se llama tiempo esperado de recurrencia.
Al aplicarlo al ejemplo del inventario, estas ecuaciones se pueden usar para calcular el tiempo esperado hasta que ya no se tengan cámaras en el almacén, suponiendo que el proceso inicia cuando se tienen tres cámaras; es decir, se puede obtener el tiempo esperado de primer paso . Como todos los estados son recurrentes, el sistema de ecuaciones conduce a las expresiones
La solución simultánea de este sistema es
De manera que el tiempo esperado hasta que la tienda se queda sin cámaras es de 3.50 semanas.
