Probabilidad de Transicion Estacionaria de Estados Estables Esthela

UNIDAD 1 CADENA DE MARKOV

1.3. PROBABILIDAD DE TRANSICION DE ESTADOS ESTABLES

TEOREMA

Sea P la matriz de transición de una cadena de M estados. Existe entonces un vector tal que se establece que para cualquier estado inicial i. El vector a menudo se llama distribución de estado estable o también distribución de equi equilib librio rio para para la cade cadena na de Marko Markov v. Para Para encon encontra trarr la distri distribu buci ción ón de probabilidades de estacionario para una cadena dada cuya matriz de transición es P. según el teorema para n grande y para toda i

!omo" Pi#$n%&'( $renglón i de Pn'$columna # de P' podemos describir 

E#emplo" Supo Supong nga a que que toda toda la indus industri tria a de re)re re)resc scos os produc produce e dos dos colas colas.. !uando !uando una una persona *a comprado la cola & *ay una probabilidad de +,- de que su siguiente compra sea de cola &. Si una persona compro cola  *ay un /,- de probabilidad que su próxima compra sea de cola .

Entonces"  0l remplazar la segunda ecuación por la condición condición obtenemos obtenemos el sistema. 0l despe#ar el resulta que por lo tanto después de largo tiempo *ay probabilidad 12 de que una persona dada compre cola & y &12 de probabilidad de que una persona compre cola .

3iempos de primer pasó. !on )recuencia es conveniente poder *acer a)irmaciones en términos de probabilidad sobre el número de transición que *ace el proceso al ir de un estado i a un estado # por primera vez este lapso se llama tiempos de primer paso al ir del estado al estado #. cuando #(i este tiempo de primer paso es #usto el número de transiciones *asta que el proceso regresa al estado al estado inicial i. En este caso el tiempo de primer paso se llama tiempo de recurrencia para el estado i. para ilustrar estas de)iniciones reconsidérese el e#emplo siguiente"

4na tienda de c5maras tiene el almacén un modelo especial de c5mara que se puede ordenar cada semana. Sea 6& 67 las demandas de esta c5mara durante la primera segunda...semana respectivamente. Se supone que las 6i son variables aleatorias independientes e idénticamente distribuidas que tiene una distribución de probabilidad conocida. Sea 8, el número de c5maras que se tiene en el momento de iniciar el proceso x& el número de c5maras que se tiene al )inal de la semana uno x el número de c5maras al )inal de la semana dos etc. Suponga que x,(2. El s5bado en la noc*e la tienda *ace un pedido que le entregan el lunes en el omento de abrir la tienda. 9a tienda usa la siguiente pol:tica $sS'& paran ordenar" si el número de c5maras en inventario al )inal de la semana es menor que s(& $no *ay c5maras en la tienda' ordenar $*asta' S(2. 6e otra manera no coloca la orden $si se cuenta con una o m5s c5maras en el almacén no se *ace el pedido'. Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces ;8&< para t ( ,&7 es un proceso estoc5stico de la )orma que se acaba de describir. 9os estados posibles del proceso son los enteros , &  2 que representan el número posible de c5maras en inventario al )inal de la semana. 6onde 8t es el número de c5maras en inventario al )inal de la semana t y se comienza con" suponga que ocurrió lo siguiente"

Es este caso el tiempo de primer paso para ir al estado 2 al estado & es de  semanas el tiempo de primer paso para ir del estado 2 al estado , es de 2 semanas y el tiempo de recurrencia del estado 2 es de = semanas. En general. 9os tiempos de primer paso son variables aleatorias y por lo tanto tiene una distribución de probabilidad asociada a ellos. Estas distribuciones de probabilidad dependen de las probabilidades de transición del proceso. En particular denota las probabilidades satis)acen las siguientes relaciones recursivas"

Para i y # )i#os son números no negativos tales que esta suma puede ser menor  que & lo que signi)ican que un proceso que el iniciar se encuentran en el estado i puede no llegar nunca al estado # !uando la suma es iguala & las pueden considerar como una distribución de probabilidad para la variable aleatoria el tiempo de primer pasó.

Para obtener el tiempo esperado de primer paso del estado i al estado #. sea que se de)ine como"

Entonces satis)ace de manera única la ecuación" !uando i(# se llama tiempo esperado de recurrencia.

 0l aplicarlo al e#emplo del inventario estas ecuaciones se pueden usar para calcular el tiempo esperado *asta que ya no se tengan c5maras en el almacén suponiendo que el proceso inicia cuando se tiene tres c5maras" es decir se puede obtener el tiempo esperado de primer paso. !omo todos los estados son recurrentes el sistema de ecuaciones conduce a las expresiones. 9a solución simultanea de este sistema es de manera que el tiempo esperado *asta que la tienda se queda sin c5maras es de 2.>, semanas. !aso de aplicación.

1.4. PROBABILIDAD DE TRANSICION DE ESTADOS ABSORVENTES

Es un estado a partir de la cual existe cero probabilidad de *acer una transición )uera de ese estado que contiene al menos un estado que es posible llegar a un numero de etapas comenzando en cualquier estado no absorbente. En una cadena de Markov un con#unto ! de estados se denomina absorbentes si el sistema pertenece inde)inidamente. 4n e#emplo especial de un con#unto cerrado es un estado particular que tenga una probabilidad de transición. En este caso se denomina estado absorbente. 3odas las probabilidades que con el correr del tiempo llegaran a ser cero todo esto debido a que *ay estados de una cadena irreducible deben )ormar un con#unto cerrado y ningún otro subcon#unto puede ser cerrado. 9os estados absorbentes tendr5s sumas de que tiene probabilidad & y por los dem5s estados tendr5n a llegar a esta clase de estados. 4n sistema de Markov $o proceso de Markov o cadena de Markov' es un sistema que puede ser en uno de algunos estados $enumerados' y que puede pasar de un estado a otro durante cada instante de acuerdo a probabilidades determinadas. Si un sistema de Markov est5 en estado i ?ay una determinada probabilidad pi# de ir a estado # el próximo paso y pi#es llamado la probabilidad de transición. 4n sistema de Markov puede ser ilustrado por signi)icados de un diagrama de transición de estados que muestra todos los estados y las probabilidades de transición. $@er el e#emplo opuesto.' 9a matriz P cuya i#o entrada pi# se llama la matriz de transición asociada con el sistema. 9as entradas en cada renglón suman en total &. Por lo tanto para este caso una a  matrices de transición P podr:a ser representado en la siguiente )igura.

Sistemas absorbetes !e Mar"o#

4n estado absorbente en un sistema de Markov es un estado a partir de la cual existe cero probabilidades de salir. 4n sistema absorbente de Markov es un sistema de Markov que contiene al menos un estado absorbente tal que es posible llegar a un estado absorbente después de algún número de etapas comenzando en cualquier estado no absorbente. En el an5lisis de los sistemas absorbentes enumeramos los estados en tal manera que los estados absorbentes son los últimos. 9a matriz de transición P de un sistema absorbente entonces se ve como sigue" S

3

,

A

P(

 0qu: A est5 la matriz unidad m m $m ( número de estados absorbentes' S es una matriz cuadrada $nBm' $nBm' $n ( número total de estados de modo nBm ( el número de estados absorbentes' , es un matriz cero y 3 es un matriz $nBm' m. 9a matriz S es la matriz de transición para la circulación entre los estados de absorción. 9a matriz )undamental para el sistema absorbente es C ( $ABS'B&.