1.I
FACULTAD DE INGENIERIA DE MINAS GEOLOGIA Y METALURGIA ESCUELA PROFESIONAL DE INGENIERIA DE MINAS MINAS
MODELOS DE CADENAS DE MARKOV (MONOGRAFIA) PRESENTADO EN LA ASIGNATURA DE ANALISIS DE SISTEMAS MINEROS I
GAYTÁN MONTES MIGUEL ÁNGEL TORRES AGUILAR CARLOS CHEITO
HUARAZ, 15 DE OCTUBRE DE 2012
0
0
1
CAPITULO I
1
MODELOS DE CADENA DE MARKOV
1.1 ANTESEDENTES 1 Reciben su nombre del matemático ruso ruso Andrei Andrei Andreevitch Markov (1856-1922), que las introdujo en 1907 1907.. Estos modelos muestran una estructura de dependencia simple, pero muy útil en muchas aplicaciones.
1
http://es.wikipedia.org/wiki/Cadena_de_Markov
2
Andréi Márkov
FUENTE: http://es.wikipedia.org/wiki/Cadena_de_Markov
Andréi Andréyevich Márkov (14 de junio de 1856 - 20 de julio de 1922)
fue un matemático ruso conocido por sus trabajos en la teoría de los números y la teoría de probabilidades. Márkov nació en Riazán, Rusia. Antes de los 10 años su padre, un funcionario estatal, fue trasladado a San Petersburgo donde Andréi entró a estudiar en un instituto de la ciudad. Desde el principio mostró cierto talento para las matemáticas y cuando se graduó en 1874 ya conocía a varios matemáticos de la Universidad de San Petersburgo, donde ingresó tras su graduación. En la Universidad fue discípulo de Chebyshov y tras
3
realizar sus tesis de maestría y doctorado, en 1886 accedió como adjunto a la Academia de Ciencias de San Petersburgo a propuesta del propio Chebyshov. Diez años después Márkov había ganado el puesto de académico regular. Desde 1880, tras defender su tesis de maestría, Márkov impartió clases en la Universidad y, cuando el propio Chebyshov dejó la Universidad tres años después, fue Márkov quien le sustituyó en los cursos de teoría de la probabilidad. En 1905, tras 25 años de actividad académica, Márkov se retiró definitivamente de la Universidad, aunque siguió impartiendo algunos cursos sobre teoría de la probabilidad. Márkov arrastró durante toda su vida problemas relacionados con una malformación congénita en la rodilla que le llevaría varias veces al quirófano y que, con el tiempo, fue la causa de su muerte cuando el 20 de julio del año 1922 una de las muchas operaciones a las que se sometió le produjo una infección generalizada de la que no pudo recuperarse. Aunque Márkov influyó sobre diversos campos de las matemáticas, por ejemplo en sus trabajos sobre fracciones continuas, la historia le recordará principalmente por sus resultados relacionados con la teoría de la probabilidad. En 1887 completó la prueba que permitía generalizar el teorema central del límite y que ya había avanzado Chebyshov. Pero su aportación más conocida es otra. Su trabajo teórico en el campo de los procesos en los que están involucrados componentes aleatorios (procesos estocásticos) darían fruto en un instrumento matemático que actualmente se conoce como cadena
4
de Márkov: secuencias de valores de una variable aleatoria en las que el valor de la variable en el futuro depende del valor de la variable en el presente, pero es independiente de la historia de dicha variable. Las cadenas de Márkov, hoy día, se consideran una herramienta esencial en disciplinas como la economía, la ingeniería, la investigación de operaciones y muchas otras.
1.2 OBJETIVOS 2 Generales:
Aplicar la teoría fundamental de cadenas de markov para determinar el comportamiento de la materia prima a futuro en cada proceso. Específicos:
Mostrar que el proceso es una cadena de Markov.
Construir la matriz de transición.
Mostrar que los estados son accesibles.
Mostrar que los estados se comunican.
Mostrar que los estados son recurrentes.
Mostrar que los estados son aperiódicos.
Determinar el polinomio característico y los valores propios
1.3 CADENA DE MARKOV 1.3.1 Concepto 3
Las cadenas de Markov es una herramienta para analizar el comportamiento y el gobierno de determinado de procesos estocásticos, 2
http://www.uantof.cl/facultades/csbasicas/Matematicas/academicos/emartinez/magis ter/markov/markov.pdf 3 HAMDY A. TAHA: Investigación de operaciones. Editorial PEARSON EDUCACIÓN, México S.A. de C.V., 2004 7ª Edición. Cap. 19, pag. 675
5
esto es, procesos que evolucionan de forma no determinística a lo largo del tiempo en torno a un conjunto de estados. “Las cadenas de markov son modelos probabilísticos que se usan para
predecir la evolución y el comportamiento a corto y a largo plazo de determinados sistemas” 4
Una cadena Markov, por tanto, representa un sistema que varía su estado a lo largo del tiempo, siendo cada cambio una transición del sistema. Dichos cambios no están predeterminados, aunque sí lo está la probabilidad del próximo estado en función de los anteriores, probabilidad que es constante a lo largo del tiempo (sistema homogéneo en el tiempo). A sido extraído de libro de investigación de operaciones aplicación y algoritmos del autor: Wayne L. Winston
“Un tipo especial de proceso discreto en el tiempo se llama cadena de markov. Para simplificar la exposición, se supone que en cualquier instante, el proceso estocástico discreto en el tiempo puede estar en un numero finito de estados identificados con 1, 5 2,3 ,….s.”
Una transición, el nuevo estado puede ser el mismo que el anterior y es posible que exista la posibilidad de influir en las probabilidades de transición actuando adecuadamente sobre el sistema (decisión). 4
www.fileden.com/.../2/.../S4%20-%20Cadenas%20de%20Markov.ppt WAYNE L. WINSTON investigación de operaciones aplicación y algoritmos. Editorial: Thomson (2004), 4°Edición. Cap. 17, pág. 924 5
6
DEFINICION: 6
Esta definición es recuperada de WAYNE L. WINSTON: Un prosceso estocástico discrteto en el tiempo es una cadena de markov,si para t =0,1,2,… y los estados
P(Xt+1 = t+1 Xt =t , Xt=1 = t = 1,…., X1= 1 , X0= 0 ) = P(Xt+1 = t+1 Xt =t )……………………..(1)
“Basicamente,(1)dice
que la distribucion de probabilidad del estadoi en el tiempo t+1 depende del estado en el tiempo t(t) y no depende de los estados por los que pasa la cadena en el camino a t en el istante t,enel estudio de las cadenas de markov, se hace la suposicion adicional de que para los estados y j y toda t, P(Xt+1 = Xt =) es inde pendiente de t esta suposicion permite escribir, P(Xt+1 = Xt =) =pij ” 7
1.3.2 Propiedad markoviana 8
Un proceso estocástico tiene la propiedad markoviana si las probabilidades de transición en un paso sólo dependen del estado del sistema en el período anterior (memoria limitada)
6
WAYNE L. WINSTON ..op.cit, pág. 924 Ib, pág. 925 8 nicolasinfante.ublog.cl/archivos/3102/cadenas_de_markov_12.ppt 7
7
P (n) es la matriz de transición en n pasos, de orden (M+1)x(M+1)
8
9
1.3.2.1
Procesos Estocásticos ( 9 )
Definición: “Es un conjunto o sucesión de variables aleatorias: {X(t)CG } definidas en un mismo espacio de probabilidad. Normalmente el índice t representa un tiempo y X(t) el estado del proceso estocástico en el instante t. El proceso puede ser de tiempo discreto o continuo si G es discreto o continuo. Si el proceso es de tiempo discreto, usamos enteros para representar el índice: {X1, X2, (...)” 10 Un proceso estocástico {Xt, t T} es una colección de variables
aleatorias. Esto es, para cada t T, Xt es una variable aleatoria. 9
http://es.scribd.com/doc/53238281/CADENA-DE-MARKOV www.fileden.com/.../2/.../S4%20-%20Cadenas%20de%20Markov.ppt
10
10
Índice de proceso. El conjunto T es llamado el “índice” del proceso. El índice t es a menudo interpretado como tiempo, pero puede referirse a cualquier otra cosa,. Por ejemplo, al número de un juego. Denotamos por Xt a una variable que representa el estado del proceso en el tiempo t. Espacio de estados = E. Conjunto de todos los posibles valores que la variable Xt puede tomar. Ejemplos. Xt puede ser:
Número de clientes en un supermercado
Estado del tiempo
Precio de una acción, etc.
Si T es contable se tiene un proceso discreto en el tiempo, y por lo general se usará la siguiente notación, reemplazando el subíndice t por n: {Xn, n = 0, 1,...} Si T es un intervalo, se trata de un proceso continuo en el tiempo. Notación: {Xt, t 0} proceso estocástico de tiempo continuo. En resumen, un proceso estocástico es una familia de variables aleatorias que describe la evolución de un proceso (físico) a través del tiempo. Para describirlo, bastaría con conocer la distribución conjunta de dichas variables aleatorias. 11
11
http://es.scribd.com/doc/53238281/CADENA-DE-MARKOV
11
Realización de un proceso: Conjunto particular de valores que toma el proceso. 1.3.3 Estructura probabilística del proceso (12)
Como ya se mencionó, para conocer el comportamiento de un proceso estocástico, basta con conocer la distribución conjunta de probabilidad P(x1,x2,....Xn) Considere un proceso estocástico de parámetro discreto n = 0, 1, 2,...,. Considere el conjunto de variables aleatorias X0, X1, ...,Xn. Su comportamiento puede describirse mediante la función de probabilidad conjunta. Para ello considere la siguiente probabilidad: P = P(Xn = in, Xn-1 = in-1, …, X1 = i1, X0 = i0 ) Usando la fórmula de probabilidad condicional P(AB) = P(A/B) P(B), la probabilidad anterior puede escribirse como: P = P(Xn=in, Xn-1=in-1, …, X1=i1, X0=i0) = P(Xn=in/ Xn-1=in-1, …, X1=i1, X0=i0) P(Xn-1=in-1, …, X1=i1, X0=i0) Usando de nuevo el condicional, la probabilidad se puede expresar como: P = P(Xn=in/ Xn-1=in-1, …, X1=i1, X0=i0) P(Xn-1=in-1/ Xn-2=in-2 …, X1=i1, X0=i0) P(Xn-2=in-2 …, X1=i1, X0=i0) De nuevo, usando el condicional en forma iterativa, se llega a la siguiente expresión para la probabilidad conjunta:
12
UNIVERSIDAD DE BUENOS AIRES Facultad de Ciencias Exactas y Naturales Departamento de Matemática Tesis de Licenciatura presentado: 25 de agosto de 2010 por : Pablo Groisman
12
P = P(Xn=in/Xn-1=in-1, …, X1=i1, X0=i0)xP(Xn-1=in-1/ Xn-2=in-2 …, X1=i1,
X0=i0)xP(Xn-2=in-2
…,
X1=i1,
X0=i0)
x…x P(X2=i2/X1=i1, X0=i0)xP(X1=i1/X0=i0) x P(X0=i0)
De lo anterior, se observa que la probabilidad conjunta puede expresarse en términos de las probabilidades condicionales, condicionando el resultado en el tiempo n a los resultados obtenidos en los tiempos n-1, n2,...,1 y el estado inicial, luego el resultado en el tiempo n-1 se condiciona a los resultados obtenidos en los tiempos n-2,...,1 y el estado inicial, y así sucesivamente hasta condicionar el resultado en el tiempo 1 al estado inicial. Usando la expresión anterior, se pueden calcular la probabilidad conjunta para cualquier caso, pero nuestro interés se centra en dos casos especiales: el caso independiente y el caso dependiente de Markov.
1.3.4 Caso independiente.
Si las variables aleatorias son independientes, es decir, P(Xn=in/Xn-1=in1, …, X1=i1, X0=i0) = P(Xn=in), la probabilidad conjunta está dada por: P(Xn = in, Xn-1 = in-1, …, X1 = i1, X0 = i0 ) = P(Xn = in) P(Xn-1 = in1)P(Xn-2 = in-2)…P(X1 = i1) P(X0 = i0) 1.3.5 Caso Markoviano
Suponga que la probabilidad condicional en el tiempo n, dados los períodos n-1, n-2,...,1 y 0 se puede expresar de la siguiente manera:
13
P(Xn = in/Xn-1 = in-1, Xn-2 = in-2 …, X1 = i1, X0 = i0) = P(Xn = in/Xn-1 = in-1) Es decir, el estado futuro del proceso Xn depende solo del estado presente Xn-1 y es independiente de los estados pasados (Xn-2, Xn-3 ,…, X1, X0). En este caso se dice que el proceso tiene la “propiedad Markoviana”,
o tiene pérdida de memoria, es decir, el futuro depende
únicamente del presente y es independiente del pasado. A la probabilidad condicional P(Xn = in/Xn-1 = in-1) se la denomina “probabilidad de transición” del estado Xn-1 al estado Xn en un período.
La probabilidad conjunta se expresa entonces como P(Xn
=
in,
Xn-1
=
in-1 ,
…,
X1
=
i1,
X0
=
i0)
=
P(Xn = in/Xn-1 = in-1)P(Xn-1 = in-1/ Xn-2 = in-2 )…P(X2 = i2/X1 = i1)P(X1 = i1/X0 = i0)P(X0 = i0) Ejemplos: Problema del jugador, caminata aleatoria. Considere el proceso estocástico de parámetro discreto {Xn, n = 0, 1,2,...,} que toma un número finito o infinito de valores. Supondremos que E = (0, 1,2,...,M) ó E = (0, 1,2,...) Si Xn=i decimos que el proceso se encuentra en el estado i en el tiempo o etapa n. El tiempo se denomina “etapa o paso”
Considere la secuencia Xt+1, Xt, Xt-1,...,X1, X0. Se dice que un proceso cumple la condición de Markov o tiene la propiedad markoviana si
14
P(Xt+1 = j/Xn = i, Xn-1 = in- 1…, X1 = i1, X0 = i0) = P(Xt+1 = j/Xn = i) Se tiene entonces que la probabilidad condicional de cualquier evento futuro dados el evento presente o actual y los eventos pasados depende únicamente del presente y es independiente del pasado.
13
Cuadro nº1
Fuente: www.fileden.com/.../2/.../S4%20-%20Cadenas%20de%20Markov.ppt
1.4 TIPOS DE ESTADOS Y DE CADENAS DE MARKOV DE PRIMER ORDEN (14) •
Para clasificar los estados y las CM tenemos que definir algunos conceptos:
13 14
Loc.cit Loc.cit
15
a. Tiempos del primer paso/recurrencia (Corto plazo)
•
Con lo visto hasta el momento podemos calcular la probabilidad, dado que el proceso se encuentra en el estado i, de que el proceso se encuentre en el estado j después de n periodos P ij (n).
EJEMPLO: Un vendedor de cámaras fotográficas lleva acabo la
siguiente política de inventario. Mantiene durante la semana de trabajo hasta un máximo de 3 cámaras en el almacén para su venta. Si al final de la semana le quedan en el almacén alguna cámara entonces no pide ninguna al fabricante. De partida en el almacén hay 3 cámaras (x 0=3). a) Comenta el contenido de la matriz de transición P facilitada por el comercio. b) Sabiendo que hay dos cámaras al final de la primera semana (x1=2), (x2=1), (x3=0), (x4=3) y (x5=1). Obtener el tiempo de primera pasada para ir del estado 3 al 1, y el tiempo de recurrencia del estado 3.
16
En general podemos considerar a los tiempos de primera pasada como variables aleatorias, por tanto con una distribución de probabilidad asociada a ellos. Dichas distribuciones de probabilidad dependerán de las probabilidades de transición del proceso. f ij (1)=pij (1)=pij f ij (2)=pij (2)-f ij (1) pij
............................................. f ij (n)=pij (n)-f ij (1) pij (n-1)-f ij (2) pij (n-2)....-f ij (n-1) pij
Como generalmente es bastante engorroso calcular las f ij (n) para todas las n, se suele optar por obtener el tiempo esperado de primera pasada del estado i al estado j
17
Podemos considerar f ij (n ) para (n=1,2,..) como la función de probabilidad de la variable aleatoria tiempo de primera pasada
18
19
20
1.4.1 Comportamiento a largo plazo de las cadenas de markov (15)
15
Loc.cit
21
1.5 CLASIFICACION DE LAS CADENAS DE MARKOV 16 1.5.1 Cadenas Absorbentes A) (17) En una cadena absorbente tenemos una probabilidad positiva
de llegar en algún momento a un estado absorbente, ya que en otro caso se formaría un conjunto ergódico (que no es el total) con más de un punto porque hay un número finito de estados. En toda cadena de Markov absorbente, la probabilidad de absorción (que empezando en cualquier lugar se llegue a un estado absorbente).
16
Naim Caba Villalobos .Toma de Decisiones a través de la Investigación de Operaciones. Pag.148,150 17 FREDERICK HILLIER, GERALD LIEBERMAN: Investigación de operaciones. editorial MCGRAW-HILL / INTERAMERICANA DE MEXICO 7° edición, Cap. 16, pag. 820
22
Los estados que pueden sucederse a sí mismos y, además, es posible alcanzar, por lo menos, alguno de los restantes desde ellos se llaman estados transitorios. Un estado tal que si el proceso entra en él permanecerá indefinidamente en este estado (ya que las probabilidades de pasar a cualquiera de los otros son cero), se dice estado absorbente. De una cadena de Markov que consta de estados transitorios y absorbentes se dice que es una cadena absorbente de Markov. Si una cadena de Markov contiene algún estado absorbente, la línea de la matriz de transición correspondiente a las probabilidades de transición de dicho estado constará de un 1 en la diagonal principal y ceros en los demás elementos. Será por lo tanto una matriz no regular. Para poder estudiar las cadenas de Markov absorbentes es preciso reordenar la matriz de transición de forma que las filas correspondientes a los estados absorbentes aparezcan en primer lugar. Así ordenada se dirá que la matriz de transición está en la forma canónica. Podemos dividir la matriz en forma canónica en cuatro submatrices. La primera es la matriz unidad I, del orden correspondiente. La segunda, la matriz nula. La tercera contiene las probabilidades de paso de estados transitorios a estados absorbentes. La cuarta contiene las probabilidades de estados transitorios a estados transitorios.
23
B) (18) Se señaló que el estado k se llama estado absorbente si p kk = 1, de manera que una vez que la cadena llega al estado k permanece ahí para siempre. Si k es un estado absorbente y el proceso comienza en el estado *, la probabilidad de llegar en algún momento a k se llama probabilidad de absorción al estado ¿dado
que el sistema comenzó en el estado i . Esta probabilidad se denota por f IK . Si se tienen dos o más estados absorbentes en una cadena de Markov y es evidente que el proceso será absorbido en uno de estos estados, es deseable encontrar estas probabilidades de absorción. Dichas probabilidades pueden obtenerse con sólo resolver un sistema de ecuaciones lineales que considera todas las posibilidades para la primera transición y después, dada la primera transición, considera la probabilidad condicional de absorción al estado k. En particular, si el estado k es un estado absorbente, entonces el conjunto de probabilidades de absorción f IK . el sistema de ecuaciones
Sujeta a las condiciones:
18
FREDERICK HILLIER, GERALD LIEBERMAN…op.cit ,pag. 821
satisface
24
Las probabilidades de absorción son importantes en las caminatas aleatorias. Una caminata aleatoria es una cadena de Markov con la propiedad de que, si el sistema se encuentra en el estado i, entonces en una sola transición, o bien permanecerá en i o se moverá a uno de los dos estados inmediatamente adyacentes a i. Por ejemplo, la caminata aleatoria con frecuencia se usa como modelo para situaciones que incluyen juegos de azar. Para ilustrar, considere un ejemplo sobre juegos de azar, suponga que dos jugadores (A y B), con $2 cada uno, aceptan seguir jugando y apostando S1 cada vez hasta que uno de ellos quiebre. La probabilidad de que A gane una apuesta es 1/3, por lo que la probabilidad de que gane B es 2/3. El número de dólares que tiene el jugador A antes de cada apuesta (0,1,2, 3 o 4) proporciona los estados de una cadena de Markov con matriz de transición
Comenzando en el estado 2, la probabilidad de absorción al estado 0 (A pierde todo su dinero) se puede obtener a partir del sistema de ecuaciones anterior como f 20 = 1/5 y la probabilidad de que A gane $4 (B quiebre) está dada por f 24 = 4/5.Existen muchas otras situaciones en las que los estados absorbentes juegan un papel importante. Considere una
25
tienda de departamentos que clasifica esaldo de la cuenta de un cliente como pagada (estado 0), 1 a 30 días de retraso (estado 1), 31 a 60 días de retraso (estado 2) o mala deuda (estado 3). Las cuentas se revisan cada mes y se determina el estado de cada cliente. En general, los
créditos no se extienden y se espera que los clientes paguen sus cuentas dentro de 30 días. En ocasiones, los clientes pagan sólo una parte de su cuenta. Si esto ocurre cuando el saldo queda dentro de los 30 días de retraso (estado 1), la tienda considera que este cliente permanece en el estado 1. Si esto ocurre cuando el saldo está entre 31 y 60 días de retraso, la tienda considera que el cliente se mueve al estado 1 (1 a 30 días de retraso). Los clientes que tienen más de 60 días de retraso se clasifican en la categoría de una mala deuda (estado 3); y envía las cuentas a una agencia de cobro. Después de examinar los datos de años anteriores, la tienda ha desarrollado la siguiente matriz de transición:
^^^Estado Estado 0: cuenta pagada 1: 1 a 30 días de retraso 2: 31 a 60 días de retraso 3: mala deuda
0: saldo pagado 1 0.7
1: 1 a 30 días de retraso 0 0.2
2: 31 a 60 días de retraso 0 0.1
3: mala deuda 0 0
0.5
0.1
0.2
0.2
0
0
0
1
Los clientes que pagaron su saldo (en el estado 0) y después se retrasan en el pago de nuevas compras se consideran clientes "nuevos" que inician en el estado 1.
26
1.5.2 Estados absorbentes (19) Definición. El estado k es absorbente si pkk = 1
Si el estado k es absorbente, y el proceso empieza en el estado i, entonces no se habla de probabilidades límites, tales como fueron analizadas recientemente, sino que se habla de que el estado i sea absorbido por el estado k, o “probabilidad de absorción” al estado k,
denotada por fik. 1.5.2.1
Probabilidades de absorción
Si el proceso se encuentra en el estado i (no absorbente), para calcular la probabilidad de que este estado sea absorbido por el estado k, se puede condicionar en el resultado de la primera transición, de la siguiente manera: El proceso puede hacer una transición a un estado intermedio j, y de ahí ser absorbido posteriormente por el estado k. Por lo tanto, las probabilidades de absorción f ik pueden calcularse mediante el siguiente sistema de ecuaciones:
Ejemplo Caminata aleatoria. Si el proceso se encuentra en el estado i, en el instante siguiente puede estar sólo en i-1, i e i+1.
19
http://es.scribd.com/doc/53238281/CADENA-DE-MARKOV
27
1.5.2.2 Número medio de pasos para la absorción
Si el proceso empieza en el estado i (o se encuentra en el estado i), donde i es un estado transitorio, el número medio de pasos para llegar a un estado absorbente, se puede calcular condicionando en el resultado de la primera transición, mediante el sistema de ecuaciones que se obtiene de la siguiente ecuación:
Donde T es el conjunto de estados transitorios. También se podría escribir de la siguiente manera
Donde la sumatoria se hace para todo estado k contenido en el espacio muestral, y teniendo en cuenta que
k
= 0 si k es un estado recurrente
(absorbente), es decir, si un proceso llega a un estado absorbente, el tiempo medio de absorción a partir de ese estado es cero 1.5.2.3 Probabilidad de absorción. Calculo matricial
El cálculo se basa en la matriz fundamental. Simplemente daremos los pasos requeridos en el procedimiento, sin analizar detalladamente el por qué. Supondremos que el proceso tiene m estados transitorios, s estados absorbentes y k estados recurrentes.
28
A) Se reorganizan las filas y las columnas de la matriz de transición, tal que quede expresada (parcial o totalmente) de la siguiente manera: GENERALIZANDO: (20)
Una cadena de Markov absorbente contiene p estados transitorios y q estados absorbentes. La matriz canónica del proceso presentará el aspecto siguiente:
I O Q M
I: matriz identidad de dimensión q O: matriz nula de dimensión qxp Q: matriz de dimensión pxq que contiene las probabilidades de paso de estados transitorios a absorbentes. M: matriz pxp con las probabilidades de los estados transitorios a estados transitorios.
Se llama matriz fundamental de la cadena a la matriz resultado de la operación: F=(I-M)-1 Ejemplo (Paseando por la peatonal). La peatonal de mi pueblo tiene 6
cuadras de largo, que van de norte a sur. Estoy con ganas de deambular y pasar el tiempo, y como tengo una moneda, se me ocurre tirarla y
20
loc.cit
29
caminar una cuadra hacia el norte si sale cara o una cuadra hacia el sur si sale sello. Y continúo este juego hasta salir de la peatonal, ya sea hacia el norte o hacia el sur. En este caso, podemos pensar que los estados son 0,1, . . . ,5,6, donde 0 es la esquina sur donde empieza la peatonal, 6 la esquina norte, y las esquinas intermedias se numeran entre 1 y 5. La matriz de transición puede escribirse entonces como
En este caso tenemos que pensar que las filas y columnas corresponden a los estados 0, 1,. . . , 6. Sin embargo, tenemos la novedad de que al llegar al estado 0 (la esquina sur) o 6 (la esquina norte), el «juego» se termina, por lo que ponemos un 1 en la entrada correspondiente indicando que ya nos quedamos para siempre en esa posición. 1.5.2.4
Probabilidad de transición ( 21 )
La probabilidad P(Xt+1 = j/Xt = i) se denomina “probabilidad de transición” o probabilidad de pasar del estado i al estado j en una etapa o transición.
21
loc.cit
30
1.5.2.5 Probabilidad estacionaria
Si para cada i, j y t se cumple P(Xt+1=j/Xt=i) = P(X1=j/X0=i) Se dice que las probabilidades son “estacionarias”, es decir, no cambian con el tiempo y se denotan simplemente por pij. Estas
probabilidades
de
transición
tienen
las
siguientes
propiedades:
1.5.2.6 Probabilidad de transición en n pasos
También se tiene P(Xt+n = j/Xt = i) = P(Xn = j/X0 = i) = pij(n) Y se denomina “probabilidad de transición en n pasos” Como los pij(n) son probabilidades se tiene que:
1.5.2.7 Matriz de transición en una etapa P
Es una matriz cuadrada conformada por las probabilidades de transición en una etapa P = {pij}
31
La matriz de transición debe cumplir las siguientes propiedades:
La primera propiedad se debe al hecho de que se trata de una probabilidad, y la segunda al hecho de que si en el tiempo t el proceso se encuentra en el estado i, en el tiempo t+1 se debe encontrar en cualquier estado, incluyendo el estado i. 1.5.2.8 Diagrama de transición
Una cadena de Markov se puede representar en forma gráfica mediante un diagrama de transición, en el cual los estados se representan por figuras geométricas (círculos, cuadrados, etc), y mediante flechas orientadas se indican las transiciones posibles entre los diferentes estados. (ver el problema del jugador). Ejemplo (Estado del tiempo)
32
Suponga que el estado del tiempo en un día cualquiera depende únicamente
del
estado
del
tiempo
del
día
anterior. Mas
específicamente, suponga que si llueve hoy, la probabilidad de que llueva mañana es (=0.7), y si no llovió hoy la probabilidad de que llueva mañana es (=0.4). Represente este proceso como una cadena de Markov. Solución. Si denotamos por Xn el estado del tiempo el día n, por las suposiciones dadas se concluye claramente que el proceso Xn es una cadena de Markov, con el siguiente espacio de estados: E = (Lluvia, no lluvia) = (0, 1) La matriz de transición correspondiente será:
Ejemplo (Problema del jugador) Considere un jugador A, que apuesta contra otro jugador B. En cada jugada A puede ganar un peso con probabilidad p, o puede perderlo con probabilidad q = 1-p. Sea k el capital inicial del
33
jugador A, y sea M el capital de ambos jugadores. Si denotamos por Xn el capital del jugador A después de n jugadas,
a) Es Xn una cadena de Markov?
b) Si lo es, cual sería la matriz de transición. Solución. El capital del jugador A después de n juegos es igual al capital que tiene al final del juego n-1 más el resultado obtenido al realizar el último juego n, es decir, Xn = Xn-1 + Yn donde Yn es el resultado del n-ésimo juego (±1). De la expresión anterior, se concluye que cumple la condición de Markov. Observación. El capital del jugador A después de n juegos puede expresarse en términos del capital inicial X0 ( = k) y de los resultados de las n apuestas que haga Y1, Y2,..., Yn-1, Yn. Xn = X0 + Y1 + Y2 + ... + Yn-1 + Yn Al examinar la expresión podría pensarse que no se cumple la condición de Markov. Mas sin embargo debe tenerse en cuenta que el capital después de los n-1 primeros juegos Xn-1 es igual a:
34
Xn-1 = X0 + Y1 + Y2 + ... + Yn-1 con lo cual se obtiene la expresión dada anteriormente El espacio de estados está dado por E = (0, 1, 2,..., M) Las
probabilidades
de
transición
están
dadas
por:
ya que si no se tiene capital (jugador arruinado) no se puede apostar, o si se tiene todo el capital, el oponente no puede realizar ninguna apuesta.
El problema el jugador se puede representar mediante el siguiente “diagrama de transición”.
35
1.5.2.9
Matriz de transición en n etapas
( 22 )
Probabilidad de transición en n etapas: Probabilidad de que un proceso pase del estado i al estado j en n transiciones o pasos.
P(Xn=j/X0 =i) = P(Xn+m=j/Xm=i) =
Se tiene que
=
, n, i, j 0
Cálculo de
Para pasar del estado i al estado j en dos transiciones se debe pasar por un estado intermedio k en la primera transición y luego ir del estado k al estado j en la segunda transición. Este estado k puede ser cualquiera de los estados del proceso, incluyendo los estados i y j. La figura siguiente ilustra el proceso
22
loc.cit
36
Denotemos por
la matriz formada por las probabilidades de
transición en dos etapas, cuyos elementos son las diferentes
probabilidades de transición en dos etapas
expresión resultante para
. Al analizar la
observamos este elemento es
igual al producto de la fila i de la matriz de transición en una etapa P por la columna j de la misma matriz. Es decir, la matriz de transición en dos etapas, es simplemente el producto de la matriz de transición de una etapa por sí misma. Por lo tanto,
1.5.2.10 Matriz de transición en 3 etapas Cálculo P(3)
Para pasar del estado i al estado j en tres etapas se puede pasar en el primer paso por un estado intermedio k, y luego hacer la transición del estado k al estado j en los restantes dos pasos, es decir:
37
Si P(3) es la matriz de transición en 3 pasos, entonces se tiene que
También se puede pasar al estado intermedio k en los primeros dos pasos, y luego hacer la restante transición al estado j en un paso, es decir
Es decir, P(3) se puede expresar como:
1.6 MATRIZ DE TRANSICIÓN EN N ETAPAS - P(N) ECUACIÓN DE
CHAPMAN KOLMOGOROV.
(23)
Para pasar del estado i al estado j en n etapas se puede pasar en los m primeros pasos por un estado intermedio k, y luego hacer la transición del estado k al estado j en los n-m restantes pasos, es decir:
23
http://www.ulpgc.es/hege/almacen/download/14/14483/bea_cadenas_marko.ppt
38
Si P(n) es la matriz de transición en n pasos, entonces puede expresarse como:
También para pasar del estado i al estado j en n etapas se puede pasar al estado intermedio k en los primeros n-m pasos, y luego hacer la transición al estado j en m pasos, es decir
Es decir,
se puede expresar como:
El sistema anterior de ecuaciones recibe el nombre de Ecuación de Chapman Kolmogorov:
1.7 ECUACIÓN DE CHAPMAN-KOLGOMOROV
24
Si el resultado anterior se combina con la identidad matricial Pn+m =
Pn Pm , obtenemos:
(n m)
pij
pik ( n ) pkj( m ) k
Una transición desde i hasta j
en n+m
pasos puede lograrse
moviéndose desde i hasta un punto intermedio k en n pasos (con prob p (n) i,k ) y después, dado que el proceso está en el estado k (la propiedad
de Markov permite que seamos indeferentes a la ruta recorrida), moverse
24
nicolasinfante.ublog.cl/archivos/3102/cadenas_de_markov_12.ppt.
39
hasta el estado j en
m pasos (con prob p (m) k,j ). Luego, deben
considerarse todas las opciones posibles para el punto intermedio. Ejemplo (Estado del tiempo.) ¿Cuál es la probabilidad de que llueva
dentro
de
4
días
si
está
lloviendo
hoy?.
Solución. Para responder esta pregunta debemos calcular las probabilidades
de
transición
en
cuatro
paso
La probabilidad requerida está dada por = 0.5749 Ejemplo (Sistema de inventarios.) Calcule la probabilidad de que no haya unidades en el inventario dentro de dentro de cuatro días si hoy no hay nada. La matriz de transición en varias etapas (n =2, 4, 8) se presenta en la página siguiente:
40
La probabilidad requerida está dada por
¿Qué comportamiento se observa en
= 0.3993
a medida que n
aumenta?
1.8 Probabilidades de estado Se
denomina
“probabilidad
de
estado”
a
la
probabilidad
(incondicional) de que después de n transiciones el proceso se
encuentra en el estado j, la cual denotaremos por
Cálculo 1. La probabilidad de estado
= P(Xn=j)
se puede calcular
condicionando bien sea en el estado inicial o en cualquier otro estado.
Condicionando
en
el
estado
inicial
se
tiene:
41
Si denotamos por
={
,
,...,
} un vector fila con
las probabilidades de estado, y analizamos la ecuación anterior tenemos que se puede expresar como:
=
Donde
es el vector de estado o probabilidad inicial {
=
P(X0=j)}
y
={
,
,
,...,
}
Cálculo 2. También se puede calcular
condicionando en
cualquier otro estado. Si se condiciona en el penúltimo estado que visite el proceso se tiene:
Analizado la ecuación anterior tenemos que:
= Donde n-1.
P es el vector de probabilidad de estado para la etapa
42
1.9 CADENA DE MARKOV IRREDUCIBLE (25) Se dice que una cadena de Markov es irreducible si cada estado Ej. se puede alcanzar desde cualquier otro estado Ei después de un numero finito de transiciones; o sea, para i = j,
Pij (n)
> o, para 1≤ n < ∞
En este caso todos los estados de la cadena se comunican. Estados absorbentes y estados de conjunto cerrado En una cadena de Markov un conjunto C de estados se denomina cerrado si el sistema, una vez en uno de los estados de C, permanece en C indefinidamente. Un ejemplo especial de conjunto cerrado es un estado particular Ej. que tenga una probabilidad de transición Pij = 1. En este caso Ej se denomina estado absorbente. Todos los estados de una cadena irreducible deben formar un
conjunto cerrado y ningún otro
subconjunto puede ser cerrado. El conjunto cerrado C también debe satisfacer todas las condiciones de una cadena de Markov y por ello, puede estudiarse en forma independiente. Todos los estados en una cadena de Markov infinita irreducible pueden pertenecer a una y solo a una, de las siguientes tres clases: estados transitorios, estados recurrentes nulos o estados recurrentes no nulos. En cada caso, los estados se comunican y tienen el mismo periodo. En el caso especial cuando la cadena tenga un número finito de estados, la
25
http://es.scribd.com/doc/70798113/CADENA-DE-MARKOV
43
cadena no puede constar solo de estados transitorios, ni tampoco puede contener algún estado nulo. Ejemplo
En un juego participan dos jugadores, A y B. En cada turno, se lanza una moneda al aire. Si sale cara, A le da 1 € a B. Si sale cruz, B le da 1 € a A. Al principio, A tiene 3 € y B tiene 2 €. El juego continúa hasta que alguno
de los dos se arruine. Calcular: La probabilidad de que A termine arruinándose. La probabilidad de que B termine arruinándose. El número medio de tiradas que tarda en acabar el juego Tendremos una CM con un estado por cada posible estado de cuentas de A: S={1, 2, 3, 4, 5, 0}. Descomponemos Q:
0 0 0,5 0 0,5 0 0 0 0,5 0 0,5 0 0 0,5 0 0,5 0 0 Q 0 0,5 0 0,5 0 0 0 0 0 0 1 0 0 0 0 0 0 1
0 0 0,5 0 0,5 0 0,5 0 Q' 0 0,5 0 0,5 0 0 0,5 0
0 0,5 0 0 R 0 0 0 , 5 0
44
Realizamos los cálculos necesarios: 1
0 0 0,5 1 1,6 0 , 5 1 0 , 5 0 1,2 I Q'1 0,8 0 1 0,5 0,5 0 0 0 , 5 1 0,4
0, 2 0, 4 I Q '1 R 0,6 0,8
1,2
0,8
0,4
2,4
1,6
0,8
1,6
2,4
0,8
1,2
1,2
1,6
0,8
0,6
0, 4
0, 2
Probabilidad de que A termine arruinándose. La ruina de A está representada por el estado 0, que es el 2º estado absorbente. Como empezamos en el 3 er estado transitorio (A empieza con 3 €), debemos consultar la 3ª fila, 2ª columna de (I –Q’) –1R , que nos da una probabilidad de 0,4 de que A empiece con 3 € y termine en la ruina.
Probabilidad de que B termine arruinándose Como es el suceso contrario del apartado a), su probabilidad será 1 – 0,4=0,6. También podríamos haber consultado la 3ª fila, 1ª columna de (I – Q’) –1R .
Número medio de tiradas que tarda en acabar el juego Sumamos los números medios de etapas que se estará en cualquier estado transitorio antes de la absorción, suponiendo que empezamos en
45
el 3 er estado transitorio. Dichos números medios son los que forman la 3ª fila de la matriz (I –Q’) –1. El promedio es: 0,8+1,6+2,4+1,2=6 tirada. Nota: si observamos la 1ª columna de (I –Q’) –1R, vemos que los valores van creciendo. Esto se debe a que, cuanto más dinero tenga al principio A, más probabilidad tiene de ganar el juego.
1.10 CLASIFICACIÓN SEGÚN EL NÚMERO DE CLASES FINALES (26)
Cadena Ergódica: cuando la cadena tiene una única clase final y
no tiene clases de paso.
Cadenas (ergódicas) Regulares: Son cadenas en las que el total
forma un conjunto ergódico y existe K tal que
( k )
ij
> 0 para
cualquier par de estados i, j . Una cadena de Markov se dice regular si existe alguna potencia positiva de la matriz de transición cuyas entradas sean todas estrictamente mayores que cero. Cuando el espacio de estados E es finito, si P denota la matriz de transición de la cadena se tiene que: Donde W es una matriz con todos sus renglones iguales a un mismo vector de probabilidad w, que resulta ser el vector de probabilidad invariante de la cadena. En el caso de cadenas regulares, éste vector invariante es único.
26
loc.cit
46
1.11 Tiempos de primera pasada (27) El tiempo de primera pasada corresponde al número de transiciones que hace el proceso al ir de un estado i a un estado j por primera vez. Cuando i = j, corresponde al número de transiciones para regresar al estado i y se denomina tiempo de recurrencia. Por ejemplo, en el sistema e inventarios, el número de semanas requerido para pasar de un inventario de cero a otro inventario de cero, es decir, este tiempo de recurrencia es el tiempo entre dos pedidos consecutivos Los tiempos de primera pasada son variables aleatorias y por lo tanto tiene una función de densidad.
1.12 Ecuaciones recursivas. Sea
=Probabilidad de que el tiempo de primera pasada del estado i al
estado j sea n. Para n = 1 se tiene claramente que:
Para n = 2,
representa todas las formas en que se puede pasar de i a
j en dos pasos, lo cual incluye pasar en un paso y quedarse en j el paso o transición siguiente; por lo tanto estas probabilidades deben restarse de la probabilidad de transición en dos pasos
27
lo.cit
47
Para cualquier valor de n,
representa todas las formas en que el
proceso puede pasar del estado i al estado j en n pasos, lo cual incluye pasar a j en un paso y quedarse ahí en las n-1 transiciones siguientes, o pasar a j en dos pasos y quedarse ahí en las n-2 transiciones siguientes,..., o pasar a j en los primeros n-1 pasos y quedarse ahí en la transición siguiente. Por lo tanto estas probabilidades deben restarse de la probabilidad de transición en n pasos
Sea f ij la probabilidad (incondicional) de que el proceso pase del estado i al estado j, la cual está dada por:
Entonces, como ya se había visto, el estado i es recurrente si fii=1, y es transitorio si fii<1 (no hay certeza de realizar la transición)
1.13 Tiempo esperado de primera pasada ij Corresponde al tiempo esperado para ir del estado i al estado j, y en teoría, se puede calcular usando la definición de valor esperado, a saber:
48
Los
son difíciles de calcular. Sin embargo, los ?f ij se pueden calcular
más fácilmente usando el siguiente conjunto de ecuaciones: Cálculo de
ij
.Si los estados i y j son recurrentes, los tiempos de primera
pasada se pueden calcular usando el conjunto de ecuaciones dado por:
Explicación: Para ir del estado i al estado j por primer vez se requiere: a)
Realizar
mínimo
un
paso.
Si
llega
a
j
ij
=
1
b) Si no se llega a j sino a k j, entonces partiendo de k pasa a j en un número esperado de
kj
pasos.
Primero se plantea y resuelve el sistema de ecuaciones para ?ij para i?j, y luego se calcula la ecuación correspondiente a jj. Ejemplo (Sistema de inventarios) Calcular el tiempo medio de
recurrencia del estado 0 00.
49
las
ecuaciones
a
plantear
y
resolver
son
las
siguientes:
Realizado el cálculo de 10, 20 y 30 se calcula 00 como:
00 = 1+ p01 10+ p02 20+ p03 30 Las ecuaciones resultantes son:
De (3) se obtiene 10 = 1/0.777 = 1.287 (4) (4) en (2): 20 = (1 + 0.335 x 1.287)/(1-.223) = 1.842 (5) (4)y (5) en (1): 30 =(1 + 0.251 x 1.287)/(1 - .223) = 2.497 00 = 1 + .251 x 1.287 + .335 x 1.842 + .223 x 2.497 = 2.497 ¿Cómo se interpreta 00=2.497? Tiempo entre pedidos
50
1.14 Probabilidades de largo plazo de las Cadenas de Markov (Probabilidades de estado estable) (28) Al examinar las probabilidades de transición en n pasos
, se observa
que a medida que n aumenta, estas probabilidades tienden hacia una constante
, independiente del valor inicial de i es decir, puede existir una
probabilidad límite, independiente de su estado inicial. Esta probabilidad límite está dada por
Un comportamiento similar se observó para la probabilidad de estado para dos condiciones iniciales diferentes (gráfico de n vs qj(n)). Además, los valores límites eran los mismos. Es decir,
1.14.1 Cálculo de probabilidades de estado estable
Recordemos que
se puede calcular como:
Usando la expresión de la derecha tenemos que:
28
serdis.dis.ulpgc.es/.../-DIAPOSITIVAS-CADENAS%20DE%20MAR...
51
Como
Teniendo en cuenta lo anterior, se tiene que
Si definimos el vector fila
tenemos que la ecuación anterior
se puede escribir en forma matricial como
(se obtiene un sistema
de M+1 ecuaciones y M+1 variables)
Como los
forman una distribución de probabilidad, entonces
.
Por lo tanto, las probabilidades de estado estable (o en régimen permanente) deben satisfacer el siguiente sistema de ecuaciones:
52
Se observa que existen M+2 ecuaciones y M+1 variables, lo cual quiere decir que hay una redundante, la cual no puede ser la última (¿por qué?). 1.14.2 Condiciones para la existencia de las probabilidades límites
a) Si el proceso es irreducible, existen las probabilidades límites b) Si el proceso es ergódico, esas probabilidades son independientes del estado inicial 1.14.3 Tiempos medios de recurrencia
Se puede demostrar que los tiempos medios de recurrencia expresar en términos de las probabilidades límites como
= 1/
se pueden
53
2 CONCLUCIONES
I.
Como conclusión de las cadenas de Markov nos permite hacer análisis sobre el estudio de los comportamientos de ciertos sistemas en ciertos periodos que pueden ser cortos o largos. Además se tiene una relación con las probabilidades absolutas. Pero sin embargo lo más importante es el estudio del comportamiento sistemas a largo plazo, cuando el número de transiciones tiene al infinito.
II.
Los estados en las cadenas de Markov serán útiles para el estudio del comportamiento de los sistemas a largo plazo.
III.
Que todos los estados en una cadena de Markov infinita irreducible pueden pertenecer a una, y solo una, de las siguientes tres clases: estados transitorios, estados recurrentes nulos o estados recurrentes no nulos.
54
IV.
Al abordar este tema es para conocer más o menos las probabilidades de un experimento, esto a su vez nos permitirá conocer a corto y plazo los estados en que se encontrarían en periodos o tiempos futuros y tomar decisiones que afectarán o favorecerán nuestros intereses, y tomar una decisión de manera consciente y no se comentan muchos errores.
V.
Para la formulación de Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. “Recuerdan” el último evento y esto
condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado. El proceso para formular una cadena de Markov se muestra en la siguiente figura:
Fuente: los alumnos
55
VI.
El generador de markov produce uno de n eventos posibles, Ej , donde j = 1, 2, …. n, a intervalos discretos de tiempo (que no tiene
que ser iguales ). Las probabilidades de ocurrencia para cada uno de estos eventos dependen del estado del generador. Este estado se describe por el último evento generado. En la figura 1., el último evento generado fue Ej , de manera que el generador se encuentra en el estado Mj .
VII.
Un proceso estocástico se define sencillamente como una colección indexada de variables aleatorias {X1 }, donde el subíndice t toma valores de un conjunto T dado. Con frecuencia T se toma como el conjunto de enteros no negativos y X, representa una característica de interés medible en el tiempo t. Por ejemplo, el proceso estocástico, X 1 , X 2 , X3, .., Puede representar la colección de niveles de inventario semanales (o mensuales) de un producto dado, o puede representar la colección de demandas semanales (o mensuales) de este producto.
VIII.
Propiedad markoviana de 1 o. orden: Se dice que un proceso estocástico tiene la propiedad markoviana si P Xt+1 = j = P X t+1, para toda t = 0, 1, y toda Sucesión i, j , K0 , K1 , . . , Ki-1.
56
Se puede demostrar que esta propiedad markoviana es equivalente a establecer una probabilidad condicional de cualquier “evento” futuro dados cualquier “evento “pasado y el estado actual
Xi = i, es independiente del evento pasado y sólo depende del estado actual del proceso. Las probabilidades condicionales PXt+1 = j se llaman probabilidades de transición. Si para cada i y j,
IX.
se dice que las probabilidades de transición (de un paso) son estacionarias y por lo general se denotan por pij . Así, tener probabilidades de transición estacionarias implica que las probabilidades de transición no cambian con el tiempo. La existencia de probabilidades de transición (de un paso) estacionarias también implica que, para cada i, j y n (n = 0, 1, 2,…),
P Xt+n = j = pXn = j ,
X.
En la teoría de los procesos estocásticos y, en particular, en la teoría de las cadenas de Markov, se denomina probabilidad de transición, Py, a la probabilidad de que estando el sistema en el estado E¡ en el momento n pase al estado E¡ en el momento n + 1. Una forma de describir una cadena de markov es con un diagrama de estados, como el que se muestra en la figura 4.1.2. En ésta se ilustra un sistema de markov con cuatro estados posibles: M1, M2 , M3 y M4 . La probabilidad condicional o de transición de moverse de un estado a otro se indica en el diagrama.
57
Fuente: los alumnos XI.
Probabilidades de transición estacionaria de estados estables
Sea P la matriz de transición de una cadena de M estados . Existe entonces un vector
tal que
Se establece que para cualquier estado inicial i El vector
a menudo se llama distribución de estado
estable, o también distribución de equilibrio para la cadena de Markov.
Para encontrar la distribución de probabilidades de estacionario para una cadena dada cuya matriz de transición es P, según el teorema, para n grande y para toda i, (1) Como Pij (n + 1) = ( renglón i de Pn )(columna j de P), podemos escribir (2)
58
3 BIBLIOGRAFIA 3.1 CONSULTADA
1. HAMDY A. TAHA: Investigación de operaciones. Editorial PEARSON EDUCACIÓN, México S.A. de C.V., 2004 7ª Edición. Cap. 19, pag. 675 2. FREDERICK HILLIER, GERALD LIEBERMAN: Investigación de operaciones. editorial MCGRAW-HILL / INTERAMERICANA DE MEXICO
7°
edición, Cap.
16, pag. 820 3.
Naim Caba Villalobos . Toma
de Decisiones a través de la Investigación de
Operaciones. Pag.148,150 4. WAYNE L. WINSTON investigación de operaciones aplicación y algoritmos. Editorial: Thomson (2004), 4°Edición. Cap. 17, pág. 924 5. nicolasinfante.ublog.cl/archivos/3102/cadenas_de_markov_12.ppt 6. serdis.dis.ulpgc.es/.../-DIAPOSITIVAS-CADENAS%20DE%20MAR... 7. http://www.uantof.cl/facultades/csbasicas/Matematicas/academicos/emartinez/ma gister/markov/markov.pdf
59
8. www.fileden.com/.../2/.../S4%20-%20Cadenas%20de%20Markov.ppt 9. http://es.scribd.com/doc/53238281/CADENA-DE-MARKOV 10. http://www.ulpgc.es/hege/almacen/download/14/14483/bea_cadenas_marko.ppt 11. http://es.scribd.com/doc/70798113/CADENA-DE-MARKOV
3.2 NO CONSULTADA 1.
Kijima,
Masaaki
(1997). Markov
Processes
for
Stochastic
Modeling (1st edición). Cambridge: Chapman & Hall. ISBN 0 412 60660 7. 2.
Leo Breiman. Probability . Original edition published by AddisonWesley, 1968; reprinted by Society for Industrial and Applied Mathematics, 1992. ISBN 0-89871-296-3. (See Chapter 7.)
3.3 BASICA 1. WAYNE L. WINSTON investigación de operaciones aplicación y algoritmos. Editorial: Thomson (2004), 4°Edición. Cap. 17, pág. 924 2. FREDERICK HILLIER, GERALD LIEBERMAN: Investigación de operaciones. editorial MCGRAW-HILL / INTERAMERICANA DE MEXICO
7°
edición, Cap.
16, pag. 820
3.4 CITADA 1. WAYNE L. WINSTON investigación de operaciones aplicación y algoritmos. Editorial: Thomson (2004), 4°Edición. Cap. 17, pág. 924 2. www.fileden.com/.../2/.../S4%20-%20Cadenas%20de%20Markov.ppt
60
SUMARIO PORTADA…………………………………………………………………………………………………………I
DEDICATORIA…………………………………………………………………………………………………II SUMARIO……………………………………………………………………………………………………III-V
PROLOGO……………………………………………………………………………………………………V-VII INTRODUCCION…………………………………………………………………………………………VII-XI
CAPITULO I :MODELOS DE CADENA DE MARKOV……………………………………………………………………………… 1
1
MODELOS DE CADENA DE MARKOV ........................................................................... 1 1.1
ANTESEDENTES .................................................................................................. 1
1.2
OBJETIVOS .......................................................................................................... 4
1.3
CADENA DE MARKOV .......................................................................................... 4
1.3.1
Concepto ................................................................................................... 4
1.3.2
Propiedad markoviana ............................................................................... 6
1.3.3
Estructura probabilística del proceso () ................................................... 11
61
1.3.4
Caso independiente. ................................................................................. 12
1.3.5
Caso Markoviano ...................................................................................... 12
1.4
TIPOS DE ESTADOS Y DE CADENAS DE MARKOV DE PRIMER ORDEN () ........... 14
1.4.1 1.5
Comportamiento a largo plazo de las cadenas de markov () ................... 20
CLASIFICACION DE LAS CADENAS DE MARKOV ................................................ 21
1.5.1
Cadenas Absorbentes ............................................................................... 21
1.5.2
Estados absorbentes () .............................................................................. 26
1.6
MATRIZ DE TRANSICIÓN EN N ETAPAS - P(N) ECUACIÓN DE CHAPMAN
KOLMOGOROV. () ........................................................................................................ 37 1.7
ECUACIÓN DE CHAPMAN-KOLGOMOROV ...................................................... 38
1.8
Probabilidades de estado
1.9
CADENA DE MARKOV IRREDUCIBLE () ............................................................. 42
1.10
CLASIFICACIÓN SEGÚN EL NÚMERO DE CLASES FINALES () ............................. 45
.................................................................... 40
Cadena Ergódica: .............................................................................................. 45
Cadenas (ergódicas) Regulares: ........................................................................ 45
1.11
Tiempos de primera pasada () .......................................................................... 46
1.12
Ecuaciones recursivas. ...................................................................................... 46
1.13
Tiempo esperado de primera pasada ij........................................................... 47
1.14
Probabilidades de largo plazo de las Cadenas de Markov (Probabilidades de
estado estable) () .......................................................................................................... 50 1.14.1
Cálculo de probabilidades de estado estable
....................................... 50
