Cadenas de marko
El análisis de Markov tuvo su origen en los estudios de A.A.Markov(1906-1907) sobre la secuencia de los experimentos conectados en cadena y los intentos de descubrir matemáticamente los fenómenos físicos conocidos como movimiento browiano. La teoría general de los procesos de Markov se desarrollo en las décadas de 1930 y 1940 por A.N.Kolmagoron, W.Feller, W.Doeblin, P.Levy, J.L.Doob y otros. El análisis de Markov es una forma de analizar el movimiento actual de alguna variable, a fin de pronosticar un movimiento futuro de la misma.
Una cadena de Markov, que recibe su nombre del matemático ruso Andrei Markov, es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las c adenas de este tipo tienen memoria. “ Recuerdan” el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado. En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de compra de los deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo. En matemáticas, se define como un proceso estocástico discreto que cumple con la Propiedad de Markov, es decir, si se conoce la historia del sistema hasta su instante actual, su estado presente resume toda la información relevante para describir en probabilidad su estado futuro. Una cadena de Markov es una secuencia X1, X2, X3, … de variables aleatorias. El rango de estas variables, es llamado espacio estado, el valor de Xn es el estado del proceso en el tiempo n. Si la distribución de probabilidad condicional de Xn+1 en estados pasados es una función de Xn por sí sola, entonces: Donde xi es el estado del proceso en el instante i. La identidad mostrada es la Propiedad de Markov. Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. “ Recuerdan” el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado.
En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de compra de los deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo. El análisis de Markov, llamado así en honor de un matemático ruso que desarrollo el método en 1907, permite encontrar la probabilidad de que un sistema se encuentre en un estado en particular en un momento dado. Algo más importante aún, es que permite encontrar el promedio a la larga o las probabilidades de estado estable para cada estado. Con esta información se puede predecir el comportamiento del sistema a través del tiempo. La tarea más difícil es reconocer cuándo puede aplicarse. La caracteristica más importante que hay que buscar en la memoria de un evento a otro. Formulación de las cadenas de Markov. Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. “ Recuerdan” el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado. En la figura 4.1.1 se muestra el proceso para formular una cadena de Markov. El generador de Markov produce uno de n eventos posibles, Ej , donde j = 1, 2, . . . , n, a intervalos discretos de tiempo (que no tiene que ser iguales ). Las probabilidades de ocurrencia para cada uno de estos eventos depende del estado del generador. Este estado se describe por el último evento generado. En la figura 4.1.1, el último evento generado fue Ej , de manera que el generador se encuentra en el estado Mj . La probabilidad de que Ek sea el siguiente evento generado es una probabilidad condicional : P ( Ek / Mj ). Esto se llama probabilidad de transición del estado Mj al estado Ek. Para describir completamente una cadena de Markov es necesario saber el estado actual y todas las probabilidades de transición. Probabilidades de transición. Una forma de describir una cadena de Markov es con un diagrama de estados, como el que se muestra en la figura 4.1.2. En ésta se ilustra un sistema de Markov con cuatro estados posibles : M1, M2 , M3 y M4 . La probabilidad condicional o de transición de moverse de un estado a otro se indica en el diagrama Otro método para exhibir las probabilidades de transición es usar una matriz de transición. . La matriz de transición para el ejemplo del diagrama de estados se muestra en la tabla 4.1.1 . Otro método para exhibir las probabilidades de transición es usar una matriz de transición. .
Para n = 0, 1, 2, ….
El superíndice n no se escribe cuando n = 1. Procesos estocásticos. Un proceso estocástico se define sencillamente como una colección indexada de variables aleatorias { X1 }, donde el subíndice t toma valores de un conjunto T dado. Con frecuencia T se toma como el conjunto de enteros no negativos y X, representa una característica de interés medible en el tiempo t. Por ejemplo, el proceso estocástico, X1 , X2 , X3, .., Puede representar la colección de niveles de inventario semanales (o mensuales) de un producto dado, o puede representar la colección de demandas semanales (o mensuales) de este producto. Un estudio del comportamiento de un sistema de operación durante algún periodo suele llevar al análisis de un proceso estocástico con la siguiente estructura. En puntos específicos del tiempo t , el sistema se encuentra exactamente en una de un número finito de estados mutuamente excluyentes y exhaustivos, etiquetados 0, 1, . . , S. Los periodos en el tiempo pueden encontrarse a intervalos iguales o su esparcimiento puede depender del comportamiento general del sistema en el que se encuentra sumergido el proceso estocástico. Aunque los estados pueden constituir una caracterización tanto cualitativa como cuantitativa del sistema, no hay pérdida de generalidad con las etiquetas numéricas 0, 1, . . , M , que se usarán en adelante para denotar los estados posibles del sistema. Así la representación matemática del sistema físico es la de un proceso estocástico {Xi}, en donde las variables aleatorias se observan en t = 0, 1, 2,. . ., y en donde cada variable aleatoria puede tomar el valor de cualquiera de los M + 1 enteros 0, 1, .. , M . Estos enteros son una caracterización de los M + 1 estados del proceso. Propiedad Markoviana de 1o. orden . Se dice que un proceso estocástico tiene la propiedad markoviana si P Xt+1 = j = P X t+1 , para toda t = 0, 1, . . y toda sucesión i, j , K0 , K1 , . . , Ki-1 . Se puede demostrar que esta propiedad markoviana es equivalente a establecer una probabilidad condicional de cualquier “evento” futuro dados cualquier “evento “ pasado y el estado actual Xi = i , es independiente del evento pasado y sólo depende del estado actual del proceso. Las probabilidades condicionales PXt+1 = j se llaman probabilidades de transición. Si para cada i y j, P Xt+1 = j = pX1 = j , para toda t = 0, 1, …. Entonces se dice que las probabilidades de transición (de un paso) son estacionarias y por lo general se denotan por pij . Así, tener probabilidades de transición estacionarias implican
que las probabilidades de transición no cambian con el tiempo. La existencia de probabilidades de transición (de un paso) estacionarias también implica que, para cada i, j y n (n = 0, 1, 2,…), P Xt+n = j = pXn = j , Para toda t = 0, 1, . . . Estas probabilidades condicionales casi siempre se denotan por y se llaman probabilidades de transición de n pasos. Así, es simplemente la probabilidad condicional de que la variable aleatoria X, comenzando en el estado i, se encuentre en el estado j después de n pasos ( unidades de tiempo ). Como las son probabilidades condicionales, deben satisfacer las propiedades: Probabilidad de transición de un solo paso. Ejemplo : Una tienda de cámaras tiene en almacén un modelo especial de cámara que se puede ordenar cada semana. Sean D1, D2, … las demandas de esta cámara durante la primera, segunda, … , semana, respectivamente. Se supone que las Di son variables aleatorias independientes e idénticamente distribuidas que tienen una distribución de probabilidad conocida. Sea X0 el número de cámaras que se tiene en el momento de iniciar el proceso, X1 el número de cámaras que se tienen al final de la semana uno, X2 el número de cámaras al final de la semana dos, etc. Suponga que X0 = 3 . El sábado en la noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente política ( s, S)1 para ordenar : si el número de cámaras en inventario al final de la semana es menor que s =1 (no hay cámaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o más cámaras en el almacén, no se hace el pedido). Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X1} para t = 0, 1, .. es un proceso estocástico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el número posible de cámaras en inventario al final de la semana. Observe que {Xi}, en donde Xi es el número de cámaras en el almacén al final de la semana t ( antes de recibir el pedido }), es una cadena de Markov. Se verá ahora cómo obtener las probabilidades de transición (de un paso), es decir, los elementos de la matriz de transición ( de un paso). Suponiendo que cada Dt tiene una distribución Poisson con parámetro . Para obtener es necesario evaluar . Si , Entonces . Por lo tanto, significa que la demanda durante la semana fue de tres o más cámaras. Así, , la probabilidad de que una variable aleatoria Poisson con parámetro tome el valor de 3 o más; y se puede obtener de una manera parecida. Si , entonces . Para obtener , la demanda durante la semana debe ser 1 o más. Por esto, . Para encontrar , observe que si . En consecuencia, si , entonces la demanda
durante la semana tiene que ser exactamente 1. por ende, . Los elementos restantes se obtienen en forma similar, lo que lleva a la siguiente a la siguiente matriz de transición ( de un paso): Probabilidad de transición estacionaria de n pasos. Las ecuaciones de Chapman-Kolmogorov proporcionan un método para calcular estas probabilidades de transición de n pasos : Estas ecuaciones simplemente señalan que al ir de un estado i al estado j en n pasos, el proceso estará en algún estado k después de exactamente m ( menor que n) pasos. Así, Es solo las probabilidad condicional de que, si se comienza en el estado i, el proceso vaya al estado k despues de m pasos y después al estado j en n- m pasos. Los casos especiales de m=1 y m=n-1 conducen a las expresiones Para toda i, j, y n de lo cual resulta que las probabilidades de transición de n pasos se pueden obtener a partir de las probabilidades de transición de un paso de manera recursiva. Para n=2, estas expresiones se vuelven : Note que las son los elementos de la matriz P(2) , pero también debe de observarse que estos elementos, se obtienen multiplicando la matriz de transición de un paso por sí misma; esto es , P(2) = P * P = P2 . En términos más generales, se concluye que la matriz de probabilidades de transición de n pasos se puede obtener de la expresión : P(n) = P * P …. P = Pn = PPn−1 = Pn-1 P. Entonces, la matriz de probabilidades de transición de n pasos se puede obtener calculando la n-ésima potencia de la matriz de transición de un paso. Para valores no muy grandes de n, la matriz de transición de n pasos se puede calcular en la forma que se acaba de describir, pero cuando n es grande, tales cálculos resultan tediosos y, más aún, los errores de redondeo pueden causar inexactitudes. Ejemplo : Una tienda de cámaras tiene en almacén un modelo especial de cámara que se puede ordenar cada semana. Sean D1, D2, … las demandas de esta cámara durante la primera, segunda, … , semana, respectivamente. Se supone que las Di son variables aleatorias independientes e idénticamente distribuidas que tienen una distribución de probabilidad conocida. Sea X0 el número de cámaras que se tiene en el momento de iniciar el proceso, X1 el número de cámaras que se tienen al final de la semana uno, X2 el número de cámaras al final de la semana dos, etc. Suponga que X0 = 3 . El sábado en la noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente política ( s, S)1 para ordenar : si el número de cámaras en inventario al final de la semana es menor
que s =1 (no hay cámaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o más cámaras en el almacén, no se hace el pedido). Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X1} para t = 0, 1, .. es un proceso estocástico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el número posible de cámaras en inventario al final de la semana. Así, dado que tiene una cámara al final de una semana, la probabilidad de que no haya cámaras en inventario dos semanas después es 0.283; es decir, De igual manera, dado que se tienen dos cámaras al final de una semana, la probabilidad de que haya tres cámaras en el almacén dos semanas después es 0.097; esto es, La matriz de transición de cuatro pasos también se puede obtener de la siguiente manera : P(4) = P4 = P(2) * P(2) Así, dado que queda una cámara al final de una semana, 0.282 es la probabilidad de que no haya cámaras en inventario 4 semanas más tarde; es decir, De igual manera, dado que quedan dos cámaras en el almacén final de una semana, se tiene una probabilidad de 0.171 de que haya tres cámaras en el almacén 4 semanas después; esto es, Probabilidades de transición estacionaria de estados estables. Teorema Sea P la matriz de transición de una cadena de M estados . Existe entonces un vector tal que Se establece que para cualquier estado inicial i , . El vector a menudo se llama distribución de estado estable, o también distribución de equilibrio para la cadena de Markov. Para encontrar la distribución de probabilidades de estacionario para una cadena dada cuya matriz de transición es P, según el teorema, para n grande y para toda i , (1) Como Pij (n + 1) = ( renglón i de Pn )(columna j de P), podemos escribir (2) Ejemplo : Suponga que toda la industria de refrescos produce dos colas. Cuando una persona ha comprado la cola 1, hay una probabilidad de 90 % de que su siguiente compra se de cola 1. Si una persona compró cola 2, hay un 80 % de probabilidades que su próxima compra sea de cola 2. Entonces :
Al reemplazar la segunda ecuación por la condición , obtenemos el sistema Al despejar resulta que Por lo tanto, después de largo tiempo, hay probabilidad 2/3 de que una persona dada compre cola 1 y 1/3 de probabilidad de que una persona compre cola 2. Tiempos de primer paso. Con frecuencia es conveniente poder hacer afirmaciones en términos de probabilidades sobre el número de transiciones que hace el proceso al ir de un estado i a un estado j por primera vez . este lapso se llama tiempos de primer paso al ir del estado i al estado j. cuando J=i, esta tiempo de primer paso es justo el número de transiciones hasta que el proceso regresa al estado inicial i. En este caso, el tiempo de primer paso se llama tiempo de recurrencia para el estado i. Para ilustrar estas definiciones, reconsidérese el ejemplo siguiente : Una tienda de cámaras tiene en almacén un modelo especial de cámara que se puede ordenar cada semana. Sean D1, D2, … las demandas de esta cámara durante la primera, segunda, … , semana, respectivamente. Se supone que las Di son variables aleatorias independientes e idénticamente distribuidas que tienen una distribución de probabilidad conocida. Sea X0 el número de cámaras que se tiene en el momento de iniciar el proceso, X1 el número de cámaras que se tienen al final de la semana uno, X2 el número de cámaras al final de la semana dos, etc. Suponga que X0 = 3 . El sábado en la noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente política ( s, S)1 para ordenar : si el número de cámaras en inventario al final de la semana es menor que s =1 (no hay cámaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o más cámaras en el almacén, no se hace el pedido). Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X1} para t = 0, 1, .. es un proceso estocástico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el número posible de cámaras en inventario al final de la semana. Donde Xt es el número de cámaras en inventario al final de la semana t y se comienza con , Suponga que ocurrió lo siguiente: En este caso, el tiempo de primer paso para ir al estado 3 al estado 1 es dde 2 semanas, el tiempo de primer paso para ir del estado 3 al estado 0 es de 3 semanas y el tiempo de recurrencia del estado 3 es de 4 semanas. En general, los tiempos de primer paso son variables aleatorias y, por lo tanto, tienen una distribución de probabilidad asociada a ellos. Estas distribuciones de probabilidad dependen de las probabilidades de transición del proceso. En particular, denota la
probabilidad de que el tiempo de primer paso del estado i al j sea igual a n. Se puede demostrar que estas probabilidades satisfacen las siguientes relaciones recursivas: Entonces se puede calcular la probabilidad de un tiempo de primer paso del estado i al j en n pasos, de manera recursiva, a partir de las probabilidades de transición de un paso. En el ejemplo, la distribución de probabilidad de los tiempos de primer paso del estado 3 al estado 0 se obtiene como sigue: Para i y j fijos, las son números no negativos tales que Esta suma puede ser menor que 1, lo que significa que un proceso que el iniciar se encuentra en el estado i puede no llegar nunca al estado j . Cuando la suma es igual a 1, las pueden considerarse como una distribución de probabilidad para la variable aleatoria, el tiempo de primer paso. Para obtener el tiempo esperado de primer paso del estado i al estado j. Sea , que se define como: entonces satisface, de manera única, la ecuación: Cuando i=j, se llama tiempo esperado de recurrencia. Al aplicarlo al ejemplo del inventario, estas ecuaciones se pueden usar para calcular el tiempo esperado hasta que ya no se tengan cámaras en el almacén, suponiendo que el proceso inicia cuando se tienen tres cámaras; es decir, se puede obtener el tiempo esperado de primer paso . Como todos los estados son recurrentes, el sistema de ecuaciones conduce a las expresiones La solución simultánea de este sistema es De manera que el tiempo esperado hasta que la tienda se queda sin cámaras es de 3.50 semanas. Caso de Aplicación. Aplicación a la administración : Planeación de Personal. El anális de transición puede ser útil al planear satisfacer las necesidades de personal. Muchas firmas emplean trabajadores de diferentes niveles de clasificación dentro de la misma categoría de trabajo. Esto es común para personal de confianza, oficinistas, obreros calificados, no calificados y personal profesional. La firma debe tener el número de empleados en cada nivel de clasificación para proporcionar la oportunidad de promoción adecuada, cumplir con las habilidades necesarias para el trabajo y controlar la nómina. Una planeación de personal a largo plazo apropiada requiere que se considere el movimiento de personas tanto hacia arriba en el escalafón de clasificación como hacia afuera de la organización. El análisis de Markov puede ayudar en este esfuerzo de planeación.
El movimiento de personal a otras clasificaciones puede considerarse como una cadena de Markov. Se supone que hay tres clasificaciones; el grado 1 es la más baja. Además, los descensos se consi deran raros y se omiten. El estado “salen” es absorbente, el cual incluye renuncias, ceses, despidos y muertes. Por supuesto, todos los empleados finalmente alcanzan este estado. Las transiciones del grado 1 al grado 2 y del grado 2 al grado 3 representan promociones. Como transiciones de probabilidad, están controladas por la firma, puede establecerse el nivel que la firma determine que es necesario para cumplir sus objetivos. Como ejemplo, supóngase que la firma tiene en este momento 30 empleados del 3, 90 empleados del grado 2 y 300 empleados del grado 1 y que desea mantener este nivel de empleados durante el próximo año. Por experiencia, se espera que salgan el 30 % de los empleados de grado 1 al año, el 20 % de los empleados de grado 2 y el 10 % de aquellos que están en el grado 3. Si la política es contratar sólo en los niveles de clasificación más bajos, cuántos se deben contratar y cuántos se deben promover el siguiente año para mantener estables los niveles ?. Este problema puede resolverse sin el análisis de Markov, pero el modelo es útil para ayudar a conceptualizar el problema. Como se trata sólo de un ciclo, se usa el análisis de transición. El análisis comienza con el graado más alto. No se hacen promociones pero el 10 %, o sea, 3, sale. Todos ellos deben de reemplazarse por promociones del grado 2. En el nivel de clasificación, el 20 % sale y se deben promover 3, con una pérdida de 21. Esto se debe compensar por promoción del grado 1. Al pasar al grado 1, el 30 % sale y 21 deben promoverse, lo cual una pérdida total de 111. Por tanto, el siguiente año se deben contratar 111 empleados del nivel 1.
4.2.- Formulación de las cadenas de Markov. Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. " Recuerdan" el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado. En la figura 4.1.1 se muestra el proceso para formular una cadena de Markov. El generador de Markov produce uno de n eventos posibles, E j , donde j = 1, 2, . . . , n, a intervalos discretos de tiempo (que no tiene que ser iguales ). Las probabilidades de ocurrencia para cada uno de estos eventos depende del estado del generador. Este estado se describe por el último evento generado. En la figura 4.1.1, el último evento generado fue E j , de manera que el generador se encuentra en el estado M j .
La probabilidad de que E k sea el siguiente evento generado es una probabilidad condicional : P ( E k / M j ). Esto se llama probabilidad de transición del estado M j al estado Ek. Para describir completamente una cadena de Markov es necesario saber el estado actual y todas las probabilidades de transición. Probabilidades de transición. Una forma de describir una cadena de Markov es con un diagrama de estados, como el que se muestra en la figura 4.1.2. En ésta se ilustra un sistema de Markov con cuatro estados posibles : M 1, M2 , M3 y M4 . La probabilidad condicional o de transición de moverse de un estado a otro se indica en el diagrama
Otro método para exhibir las probabilidades de transición es usar una matriz de transición. . La matriz de transición para el ejemplo del diagrama de estados se muestra en la tabla 4.1.1 .
Otro método para exhibir las probabilidades de transición es usar una matriz de transición. . Para n = 0, 1, 2, ....
El superíndice n no se escribe cuando n = 1.
4.3.- Procesos estocásticos.
Un proceso estocástico se define sencillamente como una colección indexada de variables aleatorias { X 1 }, donde el subíndice t toma valores de un conjunto T dado. Con frecuencia T se toma como el conjunto de enteros no negativos y X, representa una característica de interés medible en el tiempo t. Por ejemplo, el proceso estocástico, X 1 , X2 , X3, .., Puede representar la colección de niveles de inventario semanales (o mensuales) de un producto dado, o puede representar la colección de demandas semanales (o mensuales) de este producto. Un estudio del comportamiento de un sistema de operación durante algún periodo suele llevar al análisis de un proceso estocástico con la siguiente estructura. En puntos específicos del tiempo t , el sistema se encuentra exactamente en una de un número finito de estados mutuamente excluyentes y exhaustivos, etiquetados 0, 1, . . , S. Los periodos en el tiempo pueden encontrarse a intervalos iguales o su esparcimiento puede depender del comportamiento general del sistema en el que se encuentra sumergido el proceso estocástico. Aunque los estados pueden constituir una caracterización tanto cualitativa como cuantitativa del sistema, no hay pérdida de generalidad con las etiquetas numéricas 0, 1, . . , M , que se
usarán en adelante para denotar los estados posibles del sistema. Así la representación matemática del sistema físico es la de un proceso estocástico {X i}, en donde las variables aleatorias se observan en t = 0, 1, 2,. . ., y en donde cada variable aleatoria puede tomar el valor de cualquiera de los M + 1 enteros 0, 1, .. , M . Estos enteros son una caracterización de los M + 1 estados del proceso.
4.4.- Propiedad Markoviana de 1o. orden .
Se dice que un proceso estocástico tiene la propiedad markoviana si P { Xt+1 = j | X0 = K0 , X1 = K1 , . ., Xt-1 = Kt-1 , = Kt-1, Xt=1}= P {X toda t = 0, 1, . . y toda
t+1
| X1 = i }, para
sucesión i, j , K 0 , K1 , . . , Ki-1 . Se puede demostrar que esta propiedad markoviana es equivalente a establecer una probabilidad condicional de cualquier "evento" futuro dados cualquier "evento " pasado y el estado actual X i = i , es independiente del evento pasado y sólo depende del estado actual del proceso. Las probabilidades condicionales P{X t+1 = j | Xt = i} se llaman probabilidades de transición. Si para cada i y j, P{ Xt+1 = j | | Xt = i } = p{X1 = j | X0 = i }, para toda t = 0, 1, .... Entonces se dice que las probabilidades de transición (de un paso) son estacionarias y por lo general se denotan por p ij . Así, tener probabilidades de transición estacionarias implican que las probabilidades de transición no cambian con el tiempo. La existencia de probabilidades de transición (de un paso) estacionarias también implica que, para cada i, j y n (n = 0, 1, 2,...), P{ Xt+n = j | | Xt = i } = p{Xn = j | X0 = i }, Para toda t = 0, 1, . . . Estas probabilidades condicionales casi siempre se denotan por y se llaman probabilidades de transición de n pasos. Así, es simplemente la probabilidad condicional de que la variable aleatoria X, comenzando en el estado i, se encuentre en el estado j después de n pasos ( unidades de tiempo ).
Como las
son probabilidades condicionales, deben satisfacer las propiedades:
4.5.- Probabilidad de transición de un solo paso.
Ejemplo : Una tienda de cámaras tiene en almacén un modelo especial de cámara que se puede ordenar cada semana. Sean D 1, D2, ... las demandas de esta cámara durante la primera, segunda, ... , semana, respectivamente. Se supone que las D i son variables aleatorias independientes e idénticamente distribuidas que tienen una distribución de probabilidad conocida. Sea X 0 el número de cámaras que se tiene en el momento de iniciar el proceso, X 1 el número de cámaras que se tienen al final de la semana uno, X 2 el número de cámaras al final de la semana dos, etc. Suponga que X 0 = 3 . El sábado en la noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente política ( s, S) 1 para ordenar : si el número de cámaras en inventario al final de la semana es menor que s =1 (no hay cámaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o más cámaras en el almacén, no se hace el pedido). Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X 1} para t = 0, 1, .. es un proceso estocástico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el número posible de cámaras en inventario al final de la semana. Observe que {X i}, en donde X i es el número de cámaras en el almacén al final de la semana t ( antes de recibir el pedido }), es una cadena de Markov. Se verá ahora cómo obtener las probabilidades de transición (de un paso), es decir, los elementos de la matriz de transición ( de un paso).
Suponiendo que cada D t tiene una distribución Poisson con parámetro Para obtener
es necesario evaluar . Por lo tanto,
. Si
, Entonces
significa que la demanda durante la
semana fue de tres o más cámaras. Así, probabilidad de que una variable aleatoria Poisson con parámetro valor de 3 o más; y
.
, la tome el
se puede obtener de una manera
parecida. Si , entonces . Para obtener demanda durante la semana debe ser 1 o más. Por esto,
, la
. Para encontrar
,
observe que si . En consecuencia, si , entonces la demanda durante la semana tiene que ser exactamente 1. por ende, . Los elementos restantes se obtienen en forma similar, lo que lleva a la siguiente a la siguiente matriz de transición ( de un paso):
4.6.- Probabilidad de transición estacionaria de n pasos. Las ecuaciones de Chapman-Kolmogorov proporcionan un método para calcular estas probabilidades de transición de n pasos :
Estas ecuaciones simplemente señalan que al ir de un estado i al estado j en n pasos, el proceso estará en algún estado k después de exactamente m ( menor que n) pasos. Así, Es solo las probabilidad condicional de que, si se comienza en el estado i, el proceso vaya al estado k despues de m pasos y después al estado j en n- m pasos.
Los casos especiales de m=1 y m=n-1 conducen a las expresiones
Para toda i, j, y n de lo cual resulta que las probabilidades de transición de n pasos se pueden obtener a partir de las probabilidades de transición de un paso de manera recursiva. Para n=2, estas expresiones se vuelven :
Note que las
son los elementos de la matriz P (2) , pero también debe de
observarse que estos elementos, se obtienen multiplicando la matriz de transición de un paso por sí misma; esto es , P (2) = P * P = P2 . En términos más generales, se concluye que la matriz de probabilidades de transición de n pasos se puede obtener de la expresión : P(n) = P * P .... P = P n = PPn-1 = Pn-1 P. Entonces, la matriz de probabilidades de transición de n pasos se puede obtener calculando la n-ésima potencia de la matriz de transición de un paso. Para valores no muy grandes de n, la matriz de transición de n pasos se puede calcular en la forma que se acaba de describir, pero cuando n es grande, tales cálculos resultan tediosos y, más aún, los errores de redondeo pueden causar inexactitudes. Ejemplo :
Una tienda de cámaras tiene en almacén un modelo especial de cámara que se puede ordenar cada semana. Sean D 1, D2, ... las demandas de esta cámara durante la primera, segunda, ... , semana, respectivamente. Se supone que las D i son variables aleatorias independientes e idénticamente distribuidas que tienen una distribución de probabilidad conocida. Sea X 0 el número de cámaras que se tiene en el momento de iniciar el proceso, X 1 el número de cámaras que se tienen al final de la semana uno, X 2 el número de cámaras al final de la semana dos, etc. Suponga que X 0 = 3 . El sábado en la noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente política ( s, S) 1 para ordenar : si el número de cámaras en inventario al final de la semana es menor que s =1 (no hay cámaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o más cámaras en el almacén, no se hace el pedido). Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X 1} para t = 0, 1, .. es un proceso estocástico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el número posible de cámaras en inventario al final de la semana.
Así, dado que tiene una cámara al final de una semana, la probabilidad de que no haya cámaras en inventario dos semanas después es 0.283; es decir, De igual manera, dado que se tienen dos cámaras al final de una semana, la probabilidad de que haya tres cámaras en el almacén dos semanas después es 0.097; esto es, La matriz de transición de cuatro pasos también se puede obtener de la siguiente manera : P(4) = P4 = P(2) * P(2) Así, dado que queda una cámara al final de una semana, 0.282 es la probabilidad de que no haya cámaras en inventario 4 semanas más tarde; es decir, De igual manera, dado que quedan dos cámaras en el almacén final de una semana, se tiene una probabilidad de 0.171 de que haya tres cámaras en el almacén 4 semanas después; esto es,
4.8.- Probabilidades de transición estacionaria de estados estables. Teorema Sea P la matriz de transición de una cadena de M estados . Existe entonces un vector
tal que
Se establece que para cualquier estado inicial i ,
.
El vector a menudo se llama distribución de estado estable , o también distribución de equilibrio para la cadena de Markov. Para encontrar la distribución de probabilidades de estacionario para una cadena dada cuya matriz de transición es P, según el teorema, para n grande y para toda i , (1) Como Pij (n + 1) = ( renglón i de P )(columna j de P), podemos escribir n
(2)
Ejemplo : Suponga que toda la industria de refrescos produce dos colas. Cuando una persona ha comprado la cola 1, hay una probabilidad de 90 % de que su siguiente compra se de cola 1. Si una persona compró cola 2, hay un 80 % de probabilidades que su próxima compra sea de cola 2.
Entonces : Al reemplazar la segunda ecuación por la condición
,
obtenemos el sistema
Al despejar resulta que Por lo tanto, después de largo tiempo, hay probabilidad 2/3 de que una persona dada compre cola 1 y 1/3 de probabilidad de que una persona compre cola 2.
Tiempos de primer paso. Con frecuencia es conveniente poder hacer afirmaciones en términos de probabilidades sobre el número de transiciones que hace el proceso al ir de un estado i a un estado j por primera vez . este lapso se llama tiempos de primer paso al ir del estado i al estado j. cuando J=i, esta tiempo de primer paso es justo el número de transiciones hasta que el proceso regresa al estado inicial i. En este caso, el tiempo de primer paso se llama tiempo de recurrencia para el estado i. Para ilustrar estas definiciones, reconsidérese el ejemplo siguiente : Una tienda de cámaras tiene en almacén un modelo especial de cámara que se puede ordenar cada semana. Sean D 1, D2, ... las demandas de esta cámara durante la primera, segunda, ... , semana, respectivamente. Se supone que las D i son variables aleatorias independientes e idénticamente distribuidas que tienen una distribución de probabilidad conocida. Sea X 0 el número de cámaras que se tiene en el momento de iniciar el proceso, X 1 el número de cámaras que se tienen al final de la semana uno, X 2 el número de cámaras al final de la semana dos, etc. Suponga que X 0 = 3 . El sábado en la noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente política ( s, S) 1 para ordenar : si el número de cámaras en inventario al final de la semana es menor que s =1 (no hay cámaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o más cámaras en el almacén, no se hace el pedido). Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X 1} para t = 0, 1, .. es un proceso estocástico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el número posible de cámaras en inventario al final de la semana. Donde Xt es el número de cámaras en inventario al final de la semana t y se comienza con
, Suponga que ocurrió lo siguiente:
En este caso, el tiempo de primer paso para ir al estado 3 al estado 1 es dde 2 semanas, el tiempo de primer paso para ir del estado 3 al estado 0 es de 3 semanas y el tiempo de recurrencia del estado 3 es de 4 semanas. En general, los tiempos de primer paso son variables aleatorias y, por lo tanto, tienen una distribución de probabilidad asociada a ellos. Estas distribuciones de probabilidad dependen de las probabilidades de transición del proceso. En particular, denota la probabilidad de que el tiempo de primer paso del estado i al j sea igual a n. Se puede demostrar que estas probabilidades satisfacen las siguientes relaciones recursivas:
Entonces se puede calcular la probabilidad de un tiempo de primer paso del estado i al j en n pasos, de manera recursiva, a partir de las probabilidades de transición de un paso. En el ejemplo, la distribución de probabilidad de los tiempos de primer paso del estado 3 al estado 0 se obtiene como sigue:
Para i y j fijos, las
son números no negativos tales que
Esta suma puede ser menor que 1, lo que significa que un proceso que el iniciar se encuentra en el estado i puede no llegar nunca al estado j . Cuando la suma es igual a 1, las pueden considerarse como una distribución de probabilidad para la variable aleatoria, el tiempo de primer paso. Para obtener el tiempo esperado de primer paso del estado i al estado j. Sea que se define como:
entonces
satisface, de manera única, la ecuación:
Cuando i=j, se llama tiempo esperado de recurrencia. Al aplicarlo al ejemplo del inventario, estas ecuaciones se pueden usar para calcular el tiempo esperado hasta que ya no se tengan cámaras en el almacén, suponiendo que el proceso inicia cuando se tienen tres cámaras; es decir, se puede obtener el tiempo esperado de primer paso . Como todos los estados son recurrentes, el sistema de ecuaciones conduce a las expresiones
,
La solución simultánea de este sistema es
De manera que el tiempo esperado hasta que la tienda se queda sin cámaras es de 3.50 semanas.
http://sistemas.itlp.edu.mx/tutoriales/investoper2/tema43.htm http://sistemas.itlp.edu.mx/tutoriales/investoper2/tema48.htm
Introducción
Las cadenas de Markov se incluyen dentro de los denominados procesos estocásticos. Dichos estudian el comportamiento de variables aleatorias a lo largo del tiempo X(t,w). Se definen como una colección de variables aleatorias {X(t,w), t I}, donde X (t,w) puede representar por ejemplo los niveles de inventario al final de la semana t. El interés de los procesos estocásticos es describir el comportamiento de un sistema e operación durante algunos periodos. Los procesos estocásticos se pueden clasificar atendiendo a dos aspectos: si el espacio de estados posibles de la variable aleatoria contiene valores discretos o continuos y de si los valores del tiempo son discretos o continuos. Las cadenas de Markov es un proceso estocástico en el que los valores del tiempo son discretos y los estados posibles de la variable aleatoria
contiene valores discretos, es decir, es una cadena estocástica de tiempo discreto.
Las cadenas de Markov, se clasifican, además, dentro de los procesos estocásticos de Markov, que son aquellos en el que el estado futuro de un proceso es independiente de los estados pasados y solamente depende del estado presente. Por lo tanto las probabilidades de transición entre los estados para los tiempos k-1 y k solamente depende de los estados que la variable adquiere dichos tiempos. INDICE
Cadenas de Markov
Las cadenas de Markov están constituidas por un conjunto de valores {X n , n :0,1,2...} que cumplen la probabilidad de alcanzar cualquier estado j de la variable depende exclusivamente del estado i alcanzado en el instante de tiempo anterior. P[Xn+1= j / Xn = i, Xn-1 = i1,..., X0=in]=P[Xn+1=j / Xn=i] i,j Se define para cada par de estados (i, j) que se alcanzan en dos pasos consecutivos de n y n+1 una probabilidad condicional denominada probabilidad de transición p ij. P[X+1=j / Xn=i] = pij Las probabilidades de transición de un paso son estacionarias, es decir, que no cambian con el tiempo. Si pij no depende del instante n se dice que la cadena de Markov es homogénea. Las probabilidades de transición estructuradas en forma matricial da lugar a lo que se denomina matriz de transición. Dicha matriz relaciona los estados de la variable en dos pasos consecutivos y n+1 a través de sus probabilidades de transición.
Periodo n+1
Periodo n
Estado 1
Estado 1
...
Estado M
p11
p1*
p1M
....
P*1
p**
p*M
Estado M
pM 1
pM*
pMM
Una probabilidad de transición p ij ^(n) de n pasos entre los estados i y j indica la probabilidad de que partiendo del estado i en pasos se llegue al estado j.
INDICE
Ecuaciones de Chapman-Kolmogorov
Estas ecuaciones proporcionan un método para determinar las probabilidades de que un proceso del estado i notada por p ij ^(n). pij ^(n) = k=0..K pik ^(m) pkj ^(-m) ; i,j,n; 0
Cada sumando representa la probabilidad de que partiendo del estado i se llegue al estado k transcurridos m períodos y posteriormente desde el estado k se llegue al estado j en n-m períodos. INDICE
Clasificación de los estados en una cadena de Markov
Las probabilidades de transición asociadas a los estados juegan un papel importante en el estudio de las cadenas de Markov. Para describir con mas detalles las propiedades de una cadena de Markov es necesario presentar algunos conceptos y definiciones que se refieren a estos estados. U estado j es accesible desde el estado i si para algún n se tiene que p ij ^(n) >0. Una cadena de Markov se puede dividir en clases. Una clase está formada por todos los estados que son accesibles entre sí . Considerando las probabilidades f ii de que el proceso regrese al estado i comenzando en el estado i se puede clasificar los estados en recurrente sí f ii =, transitorio sí f ii <1y absorbente sí pii =1. En una cadena de Markov finita e irreducible todos los estados de dicha cadena so recurrentes. El período de u estado i es el número T de períodos para el cual se cumple que p ij ^(n) =0, siendo los valores distintos de T, 2T, 3T,.. y T es el valor más elevado que cumple esa propiedad. Un estado es apériodico si la variable aleatoria puede encontrarse en el mismo estado en dos períodos consecutivos. Un estado i es recurrente positivo si comenzando en el estado i el tiempo esperado para que el proceso regrese al estado i es finito.
Un estado se denomina esgórico si es recurrente positivo y además aperiódico. Una cadena es ergórica si todos sus estados son esgóricos. INDICE
Tiempos de primera pasada.
Es importante el nº de transiciones de que hace el proceso al ir del estado i al j por primera vez; a esto se llama “tiempo de 1ª pasada”. ”Tiempo de recurrencia” será una particularización de lo anterior para i=j (nº de transiciones hasta volver al estado inicial i). En general los tiempos de 1ª pasada son variables aleatorias, donde las distribuciones de probabilidad dependen de las probabilidades de transición del proceso. Éstas probabilidades satisfacen lo siguiente:
f ij(1)=pij(1)=pij f ij(1)= pik f kj(1) k j
f ij(n)= pik f kj(n-1) k j
La última suma puede resultar menor que 1, lo que significa que un proceso que comienza en i, puede nunca alcanzar el estado j. Es sencillo calcular el tiempo de primera pasada de i a j; siendo ij esta esperanza:
ij =
n=1
n f ij(n)=1
si f ij(n)1
n=1
si f ij(n)=1 n=1
ij satisface de manera única, la ecuación:
ij =1+ pik kj k j
que reconoce que la 1ª transición puede ser al estado j o a algún otro estado k. Para el caso de ii (con j=i)es el nº esperado de transiciones para que el proceso regrese al estado i(“tiempo esperado de recurrencia”).Éstos se calculan de inmediato de la forma: 1
ii =----- siendo i las probabilidades de estado estable. i
INDICE
Estados Absorbentes.
Un estado se llama absorbente si p ik =1, es decir, si una vez que el estado llega a k, permanece ahí para siempre. Si k es un estado absorbente y el proceso comienza en i, la probabilidad de llegar a k se llama probabilidad de absorción de k (f ik ). Si se tienen 2 o más estados absorbentes, el proceso será absorbido por uno de éstos. Para saber cual, hay que resolver el sistema de ecuaciones:
M
f ik= pij f jk
para i=0,1,…,M
j=0
Esto es importante en las “caminatas aleatorias”: cadenas de Markov en las que si el sistema se encuentra en el estado i, entonces, en una sola transición, o permanece en i, o se mueve a uno de los 2 estados inmediatamente adyacentes a i. INDICE
Cadenas de Markov en tiempo continuo
Se etiquetan los estados posibles del sistema 0,1,…,M. Se comienza en 0, y t0. Sea la v.a.X(t´) el estado del sistema en t´. Tomará un valor en 0 t´
Es interesante conocer el estado del proceso en t´=s+t(t unidades en el futuro). Será sencillo conocerlo si el proceso tiene la propiedad markoviana : PX(s+t)=j/X(s)=i y X(r)=x(r)= PX(s+t)=j/X(s)=i i,j y r0, s>r y t>0.
PX(s+t)=j/X(s)=i es una probabilidad de transición. Si es independiente de s, se llamará probabilidad de transición estacionaria. Un proceso estocástico de tiempo continuo X(t); t0 es una cadena de Markov de tiempo continuo si tiene la propiedad markoviana. INDICE
Algunas v. a. importantes:
*La distribución de probabilidad del tiempo que falta para que el proceso haga una transición fuera de un estado dado es siempre la misma(independientemente del tiempo que el proceso haya pasado en ese estado), es decir:no tiene memoria. La única distribución en TC que cumple esto es la distribución exponencial: PTit=1-e-qt
para t0 (parámetro q, media 1/q).
Por tanto, describiremos la cadena de Markov: -La v.a. Ti tiene una distribución exponencial con media 1/q. -Al salir de un estado i, se pasa a otro j, con probabilidad p ij que cumple que p ij=0 para toda i, y la suma de todas las p ij es 1. -El siguiente estado que se visita tras i, es independiente del tiempo transcurrido en i. Las intensidades de transición(probabilidades de transición, pero en TC) : 1 pii(t)
d
qi= pii(0)=lim , para i=0,1,2,…,M, dt
t0
t
y 1 pij(t)
d
qi= pij(0)=lim = qi pij , para toda ji dt
t0
t
donde pij es la función de probabilidad de transición de TC, q i y qij son las tasas de transición(q i= qij ). i j
INDICE
Probabilidades de estado estable:
La función de probabilidad de transición de TC satisface las ecuaciones de Chapman-Kolmogorov, luego para cualequiera estados i,j y números t y s(0 s
M
pij= pik(s)pkj(t-s)
para i=0,1,…,M
k=1
Se dice que un par de estados i,j se comunican si existen tiempos t 1, t2 tales que pij(t1)>0 y pij(t2)>0. Todos los estados que se comunican forman una clase. Si todos los estados en una cadena forman una clase, entonces la cadena será irreducible, por lo que: pij(t)>0, para todo t>0 y todos los estados i,j , y más aún: lim pij(t)= j
llamadas probabilidades de estado estable(o estacionarias).
t
Las probabilidades estacionarias satisfacen:
j q j= i qij
para j=0,1,…,M
M
y
j=0
i j
(éstas ecuaciones se suelen llamar de balance).
j=0