Problema 21.2-4 Cadena de Markov (2)

PROBLEMA 22.2-4 Un hombre juega póker cada sábado en la noche en su casa con el mismo grupo de amigos. Si un sábado en la noche ofrece refrescos (con costo esperado de $14), el siguiente, el grupo tendrá una probabilidad de jugar de buen humor de 7/8 y de hacerlo de mal humor de 1/8. Si no lo hace, el siguiente sábado el grupo jugara de buen humor con una probabilidad de 1/8 y de mal humor con una probabilidad de 7/8 sin importar el humor de este sábado. Es más, si la noche comienza de mal humor y el no ofrece refrescos, el grupo lo molestara y tendrá una perdida esperada en el póker de $75. De otra manera su promedio de ganancias o pérdidas en el juego es cero. El hombre quiere encontrar la política óptima óptima para determinar cuándo ofrecer  refresco para minimizar su costo promedio esperado semanal (a largo plazo). a) Formule este problema como un proceso de decisión markoviano; identifique identifi que estados y  decisiones. Encuentre C ik  ik .

Estado 0 1

Decisión 1 2

Condición Buen humor  Mal humor 

Acción Dar refresco No dar refresco

Decisión Estado 0 1

Estados relevantes 0,1 1

Cik 1 14 -

2 14 75

b) Identifique todas las políticas (determinísticas estacionarias). Para cada una, elabora una matriz de transición y obtenga la expresión del costo promedio esperado a largo plazo por periodo en términos de las probabilidades de estado estable desconocidas.

π0= 7/8π0 + 1/8π1 π1= 1/8π0 + 7/8 π1

La solución simultánea es: π0 = 1/2,

π1 = 1/2.

El costo promedio esperado (a la larga) por semana para esta política es: 14 π0 +75 π1 = 44.5/2= $22.5

Ganancia = (probabilidad de

Pérdida = (probabilidad de mal

buen humor x $14)

humor x $75) Costo or ofrecer refresco Costo por no ofrecer refresco

Conclusión: Según la matriz de transición del problema, la mejor opción para reducir los costos al máximo (minimizar el costo) es ofrecer refrescos en el primer sábado, ya que solo generara un costo de 21.625 y la opción de no dar nada crea un costo mucho más alto de 67.375.