CONCEPTO DE CADENA DE MARKOV:
Las cadenas de Markov son una herramientas para analizar el comportamiento comportamiento y el gobierno de determinados tipos de procesos estocásticos, esto es, procesos que evolucionan de forma no deterministicas a lo largo del tiempo en torno a un conjunto de estados.
Una cadena de Markov, Markov, por lo tanto, representa un sistema de varia su estado a lo largo del tiempo, siendo cada cambio una transición del sistema. Dichos cambios no están predeterminado, aunque aunque si lo esta la probabilidad del próximo estado en función de los estados anteriores, probabilidad que es constante a lo largo del tiempo (sistema homogéneo en el tiempo). Eventualmente, en una transición, el nuevo estado puede ser el mismo que el anterior y es posible que exista la posibilidad de influir en las probabilidades de transición actuando adecuadamente sobre el sistema (decisión).
Los diagramas de estado muestran el conjunto de estados por los cuales pasa un objeto durante su vida en una aplicación en respuesta a eventos (por ejemplo, mensajes recibidos, tiempo rebasado o errores), junto con sus respuestas y acciones. También ilustran qué eventos pueden cambiar el estado de los objetos de la clase. Normalmente contienen: estados y transiciones. Como los estados y las transiciones incluyen, a su vez, eventos, acciones y actividades
MATRIZ DE TRANSICION:
Una matriz de transición para una cadena de Markov de n estado es una matriz de n X n con todos los registros no negativos y con la propiedad adicional de que la suma de los registros de cada columna (o fila) es 1. Por ejemplo: las siguientes son matrices de transición.
El comportamiento de cambo de marca de los consumidores h sido modelado como una cadena de Markov, para ayudar a desarrollar las estrategias de mercadotecnia. A manera de ejemplo, obsérvese el siguiente comportamiento de cambio de marca descrito en la siguiente tabla para una muestra de 250consumidores de un producto. Número de consumidores que cambian la marca i en la semana 6 j en la semana 7.
El primer renglón indica que, de 80 personas que compraron la marca 1 en la semana 6, 72 volvieron a adquirirla en la semana 7, 4 prefirieron la marca 2 y 4 la marca 3. Sin embargo, nótese que 12 personas cambiaron la marca 2 por la marca 1 y 2 personas cambiaron la marca 3 por la marca 1. A si pues, para la marca 1, la perdida de 8 clientes se compensó con creces por la conquista de 14 clientes. Entre la sexta y la séptima semanas, la marca 1 aumentó su participación en el mercado de 32%(80/250) a 34,4% (86/250). La matriz de probabilidades de transición para la tabla de contingencia es P:
La matriz P es una estimación de la matriz verdadera, pues solamente representa el comportamiento de una muestra de 250 consumidores, durante a un periodo de dos semanas. Los elementos P11, P22 y P33 de la matriz P son medidas del “poder de retención” de las tres marcas; los restantes elementos Pij reflejan el “poder de atracción” de la marca j, suponiendo que la compra anterior haya sido a favor de la marca i. Los elementos de cada fila reflejan la probabilidad de que una marca retenga a sus clientes o los pierda frente a otras marcas. Los elementos de cada columna resumen la probabilidad de que una marca retenga a sus clientes o conquiste a otros a costa de cada marca de la competencia. Suponiendo que la participación en los mercados que tienen la tres marcas del ejemplo son 30%, 38% y 32&, respectivamente, durante la séptima semana. Si la matriz de transición P (maestral), se considera una buena estimación de la verdadera matriz de transición (poblacional), es posible predecir las participaciones de mercado esperada en la octava semana por medio de la multiplicación de matrices. Así entonces:
Las participaciones en el mercado predichas durante la octava semana son 32,08%, 37,64% y 30,28%, respectivamente para la tres marcas. Generalizando, podemos decir que si un proceso de Markov donde el sistema puede encontrarse en cualquiera de m estados posibles, las probabilidades pueden escribirse por medio del vector X=(x1 x2……..xm) donde xj representa probabilidad de que el sistema se halle en el estado j. En los estados actuales de un proceso de Markov Xk, los estados después del siguiente experimento (transición) pueden calcularse mediante la multiplicación con de matrices. XK+1 = X K P Con base en la ecuación anterior se puede afirmar que:
Generalizando:
Ya que en este caso X0 corresponde al vector X7.
REPRESENTACIÓN GRAFICA DE UNA MATRIZ DE TRANSICIÓN: Es el arreglo numérico donde se condensa las probabilidades de un estado a otro. A través de una grafica de matriz de transición se puede observar el comportamiento estacionario representado por una cadena de Markov tal que los estados representan la categoría en que se encuentre clasificado. Como se aprecia a continuación:
La matriz de transición es para una política estacionaria dada:
CALCULO DE PROBABILIDADES DE TRANSICION Y DE ESTADO ESTABLE
Para determinar las probabilidades de los diversos estados que ocurren en ensayos sucesivos, necesitamos información sobre la probabilidad de que un cliente permanezca con la misma tienda o cambie a la tienda competidora conforme continúa el proceso de una semana a otra. Debido a que las probabilidades indican que un cliente puede moverse o hacer una transición de un estado en un periodo dado, a otro estado en el siguiente período, estas probabilidades se llaman probabilidades de transición.
Ejemplo:
APLICACIONES
El método de las cadenas de Markov consiste en emplear la información probabilística en el análisis de tendencias con el fin de predecir sus resultados. Tienen diversas aplicaciones en los negocios, la sociología, las ciencias físicas y la biología. Por ejemplo en los negocios, las cadenas de Markov son útiles para el análisis de los datos referentes a la satisfacción de un cliente con un producto y para el efecto de la publicidad del producto, así como predecir que sector del mercado el producto dominara finalmente. En sociología, las cadenas de markov se aplican por una parte al análisis de tendencias sociológicas, como la reducción de la clase media de Estados Unidos y el crecimiento de los suburbios a expensas de las ciudades del centro y las áreas rurales, así como para la predicción del resultado final de dichas tendencias. Además también sirven para pronosticar el clima, para analizar la herencia genética, y para predecir la fluctuación diaria de los precios de las acciones negociables.
PROGRAMACIÓN DINÁMICA La programación dinámica es un enfoque general para la solución de problemas en los que es necesario tomar decisiones en etapas sucesivas. Las decisiones tomadas en una etapa condicionan la evolución futura del sistema, afectando a las situaciones en las que el sistema se encontrará en el futuro (denominadas estados), y a las decisiones que se plantearán en el futuro. Conviene resaltar que a diferencia de la programación lineal, el modelado de problemas de programación dinámica no sigue una forma estándar. Así, para cada problema será necesario especificar cada uno de los componentes que caracterizan un problema de programación dinámica. El procedimiento general de resolución de estas situaciones se divide en el análisis recursivo de cada una de las etapas del problema, en orden inverso, es decir comenzando por la última y pasando en cada iteración a la etapa antecesora. El análisis de la primera etapa finaliza con la obtención del óptimo del problema. 10.1 MODELOS DE PROGRAMACIÓN DINÁMICA Existen tres modelos diferentes manejados por WINQSB. * Problema de la diligencia (Stagecoach Problem)
EL PROBLEMA DE LA DILIGENCIA Ejemplo :
Considérese el gráfico que contempla las rutas posibles para ir desde la ciudad 1 hasta la ciudad 10. Cada nodo representa una ciudad y los arcos la infraestructura vial disponible. La tabla recoge el costo asociado al desplazamiento entre cada par de nodos para cada una de las etapas. Supondremos que todos los desplazamientos tienen la misma duración, y que el viaje ha de realizarse en cuatro etapas. Cada una de ellas se corresponde con un único desplazamiento entre un par de nodos del grafo, así al finalizar la primera etapa estaremos en una de las ciudades 2, 3 ó 4. La segunda etapa finalizará en la ciudad 5, la número 6 ó la número7. La tercera jornada nos llevará a la ciudad 8 o a la número 9. La cuarta etapa permite finalizar el viaje en la ciudad 10.
Introducción
Las cadenas de Markov se incluyen dentro de los denominados rocesos estocásticos. Dichos estudian el comportamiento de variables aleatorias a lo largo del tiempo X(t,w). Se definen como una colección de variables aleatorias {X(t,w), t I}, donde X (t,w) puede representar or ejemplo los niveles de inventario al final de la semana t. El interés de los procesos estocásticos es describir el comportamiento de un sistema e operación durante algunos periodos. Los procesos estocásticos se pueden clasificar atendiendo a dos aspectos: si el espacio de estados posibles de la variable aleatoria contiene valores discretos o continuos y de si los valores del tiempo son discretos o continuos. Las cadenas de Markov es un proceso estocástico en el que los valores del tiempo son discretos y los estados posibles de la variable aleatoria contiene valores discretos, es decir, es una cadena estocástica
de tiempo discreto.
Las cadenas de Markov, se clasifican, además, dentro de los rocesos estocásticos de Markov, que son aquellos en el que el estado uturo de un proceso es independiente de los estados pasados y solamente depende del estado presente. Por lo tanto las probabilidades de transición entre los estados para los tiempos k-1 y k solamente depende de los estados que la variable adquiere dichos tiempos.
Formulación de modelos
La parte innovadora de la IO es sin duda alguna su enfoque modelístico, producto de sus creadores aunado a la presión de supervivencia de la guerra o la sinergia generada al combinarse diferentes disciplinas, una descripción del enfoque es la siguiente. 1. Se define el sistema real en donde se presenta el problema. Dentro del sistema interactúan normalmente un gran numero de variables. 2. Se seleccionan las variables que norman la conducta o el estado actual del sistema, llamadas variables relevantes, con las cuales se define un sistema asumido del sistema real. 3. Se construye un modelo cuantitativo del sistema asumido, identificando y simplificando las relaciones entre las variables relevantes mediante la utilización de funciones matemáticas. 4. Se obtiene la solución al modelo cuantitativo mediante la aplicación de una o más de las técnicas desarrolladas por la IO. 5. Se adapta e imprime la máxima realidad posible a la solución teórica del problema real obtenida en el punto 4, mediante la consideración de factores cualitativos o no cuantificables, los cuales no pudieron incluirse en el modelo. Además se ajusta los detalles finales vía el juicio y la experiencia del tomador de decisiones. 6. Se implanta la solución en el sistema real. La investigación de operaciones obtiene la solución del problema real indirectamente, y no como normalmente se intentaría pasando directamente del problema real a la solución rea
