Unidad.-iv.Cadenas de Markov

INTRODUCCION En los problemas de toma de decisiones, con frecuencia surge la necesidad de tomar decisiones basadas en fenómenos que tienen incertidumbre asociada a ellos. Esta incertidumbre proviene de la variación inherente a las fuentes de esa variación que eluden el control o proviene de la inconsistencia de los fenómenos naturales. En lugar de manejar esta variabilidad como cualitativa puede incorporarse al modelo matemático y manejarse en forma cuantitativa. Por lo general este tratamiento se puede lograr si el fenómeno natural muestra un cierto grado de regularidad de manera que sea posible describir la variación mediante un modelo probabilístico. Este capitulo presenta modelos de probabilidad para procesos que evolucionan en el tiempo de una manera probabilística. Tales procesos se llaman procesos estocásticos . El capitulo esta dedicado a un tipo especial llamado cadena de Markov .

Las cadenas de Markov tienen una propiedad: Particular de que las probabilidades que describen la forma en que el proceso evolucionara en el futuro dependen solo del estado actual en que se encuentra el proceso y, por tanto son independientes de los eventos ocurridos en el pasado. Muchos procesos se ajustan a esta descripción por lo que las cadenas de Markov constituyen una clase de modelos probabilísticos de gran importancia. La teoría de los procesos estocásticos se centra en el estudio y modelización de sistemas que evolucionan a lo largo del tiempo, o del espacio, de acuerdo a unas leyes no determinísticas, esto es, de carácter aleatorio.

4.2.-FORMULACION DE CADENAS DE MARKOV Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. "Recuerdan “el ultimo evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado. En la figura se muestra el proceso para formular una cadena de Markov; el generador de Markov produce uno de n eventos posibles. Ej. Donde j = 1,2, . . . , n, a intervalos discretos de tiempo (que no tiene que ser iguales ). Las probabilidades de ocurrencia para cada uno de estos eventos dependen del estado del generador. Este estado se describe por el ultimo evento generado. En la figura 4.1.1, el último evento generado fue Ej. de manera que el generador se encuentra en el estado Mj.

FIGURA 4..1.1