INSTITUTO TECNOLÓGICO DE SAN JUAN DEL RÍO
INVESTIGACIÓN DE OPERACIONES II PROGRAMACIÓN DINÁMICA José Luis Reséndiz Cerda 03/07/2013
La programación dinámica es una técnica matemática útil para la toma de decisiones secuenciales interrelacionadas. Proporciona un procedimiento sistemático para determinar la combi nación óptima de decisiones. 0
Contenido
PROGRAMACIÓN DINÁMICA .................................................................................................................
1
Introducción .............................................................................................................................................
1
1.- Características problemas de programación dinámica ............................................................... 2.- Ejemplos modelos de programación dinámica
1
............................................................................ 3
3.- Programación dinámica determinística .........................................................................................
7
4.- Programación dinámica probabilística ...........................................................................................
8
5.- Problema de dimensionalidad de programación dinámica
........................................................ 9
Conclusión .............................................................................................................................................
11
Bibliografía .................................................................................................................................................
11
EJERCICIOS .............................................................................................................................................
12
Problema 1 ............................................................................................................................................
12
Problema 2 ............................................................................................................................................
14
Problema 3 ..............................................................................................................................................
0
Problema 4 ..............................................................................................................................................
2
Problema 5 ..............................................................................................................................................
1
PROGRAMACIÓN DINÁMICA Introducción La programación dinámica es una técnica matemática útil para la toma de decisiones secuenciales interrelacionadas. Proporciona un procedimiento sistemático para determinar la combi nación óptima de decisiones. En contraste con la programación lineal, no cuenta con una formulación matemática estándar “del” problema de programación dinámica, si no que se trata de un enfoque de tipo general para solucionar problemas; además, las ecuaciones específicas que se usan deben ajustarse a la situación particular. Por tanto, es necesario cierto grado de creatividad y un buen conocimiento de la estructura general de los problemas de programación dinámica para reconocer cuándo y cómo un problema puede ser resuelto por medio de estos procedimientos.
1.- Características problemas de programación dinámica etapas, cada una de las cuales requiere de una política de 1.- El problema se puede dividir en etapas, decisión. decisión. En el problema de la diligencia se hizo una división literal en cuatro etapas (viajes) que corresponden a las cuatro jornadas en diligencia. La política de decisión en cada etapa fue qué 1
póliza de seguro elegir, esto es, qué destino elegir para la siguiente jornada en diligencia. De manera parecida, otros problemas de programación dinámica requieren tomar una serie de decisiones interrelacionadas, cada una de las cuales corresponde a una etapa del problema . 2.- Cada etapa tiene cierto número de estados asocia dos con su inicio. Los estados asociados con cada etapa del problema de la diligencia son los estados (o territorios) en los que el caza fortunas puede encontrarse al iniciar esa jornada específica del viaje. En general, los estados son las distintas condiciones posibles en las que se puede encontrar el sistema en cada etapa del problema. El número de estados puede ser finito — como en el problema de la diligencia — o infinito, como en otros ejemplos subsecuentes. 3.- El efecto de la política de decisión en cada etapa es transformar el estado actual en un estado asociado con el inicio de la siguiente etapa, quizá según una distribución de probabilidad. La decisión del caza fortunas sobre su siguiente destino lo conduce de su estado actual al siguiente estado en su viaje. 4.- El procedimiento de solución está diseñado para encontrar una política óptima para manejar el problema completo, es decir, una receta para elaborar la política de decisión óptima para cada etapa en cada uno de los estados posibles. En el problema de la diligencia, el procedimiento de solución se basa en construir una tabla de cada etapa ( n) que prescribe la decisión óptima ( x *n) para cada estado posible ( s). Así, además de identificar las tres soluciones óptimas (rutas óptimas) del problema completo, los resulta dos muestran también cómo debe proceder el caza fortunas en caso de que sea desviado a un estado que no se encuentra en la ruta óptima. En cualquier problema, la programación dinámica proporciona este tipo de receta política sobre qué hacer en todas las circunstancias posibles (a esto se debe que la decisión real que se toma al llegar a un estado en particular se llama política de decisión). 5.- Dado el estado actual, una política óptima para las etapas restantes es independiente de la política adoptada en etapas anteriores. Por tanto, la decisión inmediata óptima depende sólo del estado actual y no de cómo se llegó ahí. Éste es el principio de optimalidad de la programación dinámica. 6.- El procedimiento de solución comienza cuando se determina la política óptima para la última etapa. La política óptima para la última etapa prescribe la política óptima de decisión para cada estado posible en esa etapa. Es común que la decisión de este problema de una etapa sea trivial, como lo fue en el problema de la diligencia. 7.- Se dispone de una relación recursiva que identifica la política óptima para la etapa n, dada la política óptima para la etapa n +1. En el problema de la diligencia, la relación recursiva que se obtuvo es
Entonces, para encontrar la política óptima de decisión cuando se comienza en el estado s de la etapa n se necesita encontrar el valor que minimice xn. El costo mínimo correspondiente se obtiene al usar este valor de xn para después seguir la política óptima cuando el proceso se encuentra en el estado xn en la etapa n+1. 2
La forma precisa de la relación recursiva difiere de un problema a otro de programación dinámica, pero se usará una notación análoga a la que se introdujo en la sección anterior, como se resume a continuación:
2.- Ejemplos modelos de programación dinámica Problema de la ruta más corta Supongamos que deseamos seleccionar la ruta por carretera más corta entre dos ciudades. La red en la figura 12.1 proporciona las posibles rutas entre la ciudad de inicio en el nodo 1 y la ciudad destino en el nodo 7. Las rutas pasan por ciudades intermedias designadas por los nodos 2 a 6.
3
Podemos resolver este problema enumerando todas las rutas entre los nodos 1 y 7 (hay cinco rutas). Sin embargo, la enumeración exhaustiva es computacionalmente insoluble en redes grandes. Para resolver el problema por PD, primero lo descomponemos en etapas como se indica mediante las líneas de rayas verticales en la figura 12.2.A continuación, realizamos por separado los cálculos en cada etapa. La idea general para determinar la ruta más corta es calcular las distancias (acumulativas) más cortas a todos los nodos terminales de una etapa, y luego utilizarlas como datos de entrada a la etapa inmediatamente subsiguiente. Partiendo del nodo 1, la etapa 1 llega a tres nodos terminales (2, 3 y 4) y sus cálculos son simples. Resumen de la etapa 1. Distancia más corta del nodo 1 al nodo 2 5 7 millas ( desde el nodo 1) Distancia más corta del nodo 1 al nodo 3 5 8 millas ( desde el nodo 1) Distancia más corta del nodo 1 al nodo 4 5 5 millas ( desde el nodo 1)
Resumen de la etapa 2. Distancia más corta del nodo 1 al nodo 5 5 12 millas ( desde el nodo 4) Distancia más corta del nodo 1 al nodo 6 5 17 millas ( desde el nodo 3) El último paso es considerar la etapa 3. Se puede llegar al nodo de destino 7 desde el nodo 5 o desde el 6. Utilizando los resultados resumidos desde la etapa 2 y las distancias de los nodos 5 y 6 al nodo 7, obtenemos
4
Resumen de la etapa 3. La distancia más corta desde el nodo 1 al nodo 7 5 21 millas ( desde el nodo 5) El resumen de la etapa 3 muestra que la distancia más corta entre los nodos 1 y 7 es de 21 millas. Para determinar la ruta óptima comenzamos con el resumen de la etapa 3, donde el nodo 7 se conecta al nodo 5; en el resumen de la etapa 2 el nodo 4 se conecta al nodo 5, y en el resumen de la etapa 1 el nodo 4 se conecta al nodo 1. Por lo tanto, la ruta más corta es 1 S4 S5 S7. El ejemplo revela las propiedades básicas de los cálculos de PD. 1. Los cálculos en cada etapa son una función de las rutas factibles de dicha etapa, y sólo de esa etapa. 2. Una etapa actual está conectada a la etapa inmediatamente precedente sólo (sin tener en cuenta las etapas anteriores) con base en el resumen de distancias más cortas de la etapa inmediatamente precedente. Modelo de la mochila Un barco de 4 toneladas puede cargarse con uno o más de tres artículos. La siguiente tabla da el peso unitario, w i , en toneladas y el ingreso unitario en miles de dólares, ri , para el artículo i . El objetivo es determinar la cantidad de unidades de cada artículo que maximizará el rendimiento total.
Como el peso unitario w i y el peso máximo W son enteros, el estado xi asume sólo valores enteros. Etapa 3. El peso exacto a ser asignado a la etapa 3 (artículo 3) no se conoce con anticipación pero puede suponer uno de los valores 0, 1,…, y 4 (porque W 5 4 toneladas y w3 5 1 tonelada). Un valor de m3 es factible sólo si w3 m3 <= x 3. Por lo tanto se excluyen todos los valores no factibles (con w3m3> x 3). El ingreso para el artículo 3 es 14 m3. En consecuencia, la ecuación recursiva para la etapa 3 es
5
6
3.- Programación dinámica determinística Esta sección profundiza en el enfoque de programación dinámica en los problemas determinísticos, en los cuales el estado de la siguiente etapa está determinado por completo por el estado y la política de decisión de la etapa actual.
Algunas Aplicaciones De La Programación Dinámica Determinística • Modelo De La Ruta Más Corta • Modelo De Volumen -Carga “Mochila” • Modelo Del Número De Empleados • Modelo De Reemplazo De Equipos • Modelo De Asignación De Recursos • Modelo De Inventarios
Problemas de asignación de recursos Los problemas de asignación de recursos, en los que se debe asignar una cantidad limitada de recursos entre varias actividades, se pueden resolver con frecuencia con programación dinámica. Recuerde que hemos resuelto esos problemas mediante programación lineal. Para usar programación lineal para asignar recursos, se deben hacer tres hipótesis: Hipótesis 1 La cantidad de recursos asignados a una actividad puede ser cualquier número no negativo. Hipótesis 2 El beneficio obtenido de cada actividad es proporcional a la cantidad de recursos asignados a la actividad. Hipótesis 3 El beneficio obtenido con más de una actividad es la suma de los beneficios obtenidos con las actividades individuales. Aún si no son válidas las hipótesis 1 y 2, la programación dinámica se puede usar para resolver con eficiencia los problemas de asignación de recursos cuando es válida la hipótesis 3 y cuando la cantidad de recursos asignados a cada actividad es elemento de un conjunto finito. Problema general de asignación de recursos Suponga que tenemos w unidades de un recurso disponible, y T actividades a las que puede asignar este recurso. Si la actividad t se realiza en un nivel xt (suponemos que xt debe de ser un número no negativo), entonces la actividad t usa gt(xt) unidades del recurso, y se obtiene el 7
beneficio rt(xt). El problema de determinar la asignación de recursos que maximiza el beneficio total, sujeto a la disponibilidad de recurso puede formular como:
Donde xt debe de ser el elemento de {0,1,2….}. Para resolver (1) con programación dinámica
definimos a ft(d) como el beneficio máximo que se puede obtener de las actividades t, t+1, …..,T. podemos generalizar las formulas recursivas escribiendo.
Donde xt debe de ser entero no negativo que cumple con gt (xt) ≤ d. Sea xt(d) cualquier valor de xt que alcance ft(d). Para usar la Ecs. (2) para determinar una asignación optima de recursos a las actividades 1,2,…T comenzamos por determinar todas las fT(.) y las xT(.).
4.- Programación dinámica probabilística La programación dinámica probabilística difiere de la programación dinámica determinística en que el estado de la etapa siguiente no queda completamente determinado por el estado y la decisión de la política en el estado actual. En lugar de ello existe una distribución de probabilidad para lo que será el estado siguiente. Sin embargo, esta distribución de probabilidad todavía esta completamente determinada por el estado y la decisión de la política del estado actual. En la siguiente figura se describe diagramáticamente la estructura básica que resulta para la programación dinámica probabilística, en donde N denota el número de estados posibles en la etapa n+1.
8
Contribución de la Etapa n
Etapa n+1 Sn+1 1
Etapa n
Probabilidad
C1
f*n+1(1)
P1 Estado
Sn
Decisión
Xn
P2
C2
PN
fn(Sn,Xn)
2
f*n+1(2)
CN 3
f*n+1(3)
Cuando se desarrolla de esta forma para incluir todos los estados y decisiones posibles en todas las etapas, a veces recibe el nombre de árbol de decisión. Si el árbol de decisión no es demasiado grande, proporciona una manera útil de resumir las diversas posibilidades que pueden ocurrir.
5.- Problema de dimensionalidad de programación dinámica En todos los modelos de PD presentados en este capítulo, el estado en cualquier etapa está representado por un solo elemento. Por ejemplo, en el modelo de la mochila, la única restricción es el peso del artículo. De manera más realista en este caso, el volumen de la mochila también puede ser una restricción viable, en cuyo caso se dice que en cualquier etapa el estado es bidimensional: peso y volumen. El aumento en la cantidad de variables de estado incrementa los cálculos en cada etapa. Esto es particularmente evidente en cálculos tabulares de PD debido a que el número de filas en cada tabla corresponde a todas las posibles combinaciones de las variables de estado. Esta dificultad computacional en ocasiones se conoce en la literatura como el maleficio de dimensionalidad. El siguiente ejemplo se escogió para demostrar el problema de dimensionalidad . También sirve para demostrar la relación entre programación lineal y dinámica. EJEMPLO
Acme Manufacturing fabrica dos productos. La capacidad diaria del proceso de fabricación es de 430 minutos. El producto 1 requiere 2 minutos por unidad, y el producto 2 requiere 1 minuto por unidad. No hay límite en la cantidad producida del producto 1, pero la demanda diaria del producto 2 es de 230 unidades. La utilidad unitaria del producto 1 es de $2 y la del producto 2 es de $5. Determine la solución óptima por medio de PD. El problema se representa por medio del siguiente programa lineal:
9
Los elementos del modelo de PD son los siguientes: 1. La etapa i corresponde al producto i , i 5 1, 2. 2. La alternativa xi es la cantidad de producto i, i 5 1, 2. 3. El estado (v2, w2) representa las cantidades de los recursos 1 y 2 (tiempo de producción y límites de demanda) utilizados en la etapa 2. 4. El estado (v1, w1) representa las cantidades de los recursos 1 y 2 (tiempo de producción y límites de demanda) utilizados en las etapas 1 y 2.
La optimización de la etapa 1 implica la solución de un problema minimax (generalmente más difícil). Para este problema establecemos v1=430 y w1=230, lo cual da 0<= x 1<=215. Como min (4302 x 1, 230) es la envoltura menor de dos líneas que se cortan, se desprende que
10
Conclusión La programación dinámica utilizada para la resolución de problemas complejos, es muy útil para la toma de decisiones en algunos tipos de casos, y nos ayuda a optimizar, mejorar y aumentar productividad, tiempos, calidad y ayuda a elegir la mejor opción.
Bibliografía Frederick S. Hillier, G. J. (2010). Programación dinámica. En G. J. Frederick S. Hillier, Introducción a la investigación de operaciones (págs. 392-423). México: Interamericana editores S.A de C.V. Taha, H. A. (2012). Programación dinámica determinística. En H. A. Taha, Investigación de operaciones (págs. 429456). México: Pearson education.
11
EJERCICIOS Problema 1 La familia Simpson va a salir de vacaciones desde su ciudad natal Springfield. La familia desea visitar n ciudades y dispone de un total de M días para hacerlo, con M ≥ n. La familia desea saber cuántos días permanecer en cada ciudad de modo de maximizar la satisfacción total de sus vacaciones sabiendo que para cada ciudad i existe una función de satisfacción gi que es función del número de días de permanencia. 1. Plantee un modelo de programación dinámica para resolver la planificación de las vacaciones de los Simpson. 2. Suponga que n = 3 y M = 5 y que las funciones de beneficio gk(xk) vienen dadas por:
3. ¿Cuál es la política Optima de permanencia de los Simpson en cada ciudad si la función de beneficios viene dada por gi(xi) =1 para todo i donde xi es el número de días que permanecerán los Simpson en la ciudad i y existen 3 ciudades para ser distribuidas en 7 días? 2. Debemos resolver los problemas asociados a cada etapa partiendo desde la última 4, para cada uno de los posibles estados en que puede llegar el problema a la etapa en cuestión. Para resolver cada uno de estos problemas haremos una enumeración explícita de los casos posibles para cada etapa y seleccionaremos la mejor 5. Ciudad 3: y3 g3(0) g3(1) g3(2) g3(3) g3(4) g3(5) f3(y3) x∗ 3 0 0 i i i i i 0 0 1 0 1 i i i i 1 1 2 0 1 3 i i i 3 2 3 0 1 3 3 i i 3 2,3 4 0 1 3 3 2 i 3 2,3 5 0 1 3 3 2 1 3 2,3 i: infactible, es decir, la familia no puede quedarse esa cantidad de días porque ya no le quedan tantos. Ciudad 2: g2(x2)+f3(y2-x2) 12
y2 0 1 2 3 4 5
x2 = 0 0+0 0+1 0+3 0+3 0+3 0+3
x2 = 1 i 1+0 1+1 1+3 1+3 1+3
x2 = 2 i i 4+0 4+1 4+3 4+3
x2=3 i i i 6+0 6+1 6+3
x2 = 4 i i i i 8+0 8+1
x2 = 5 i i i i i 8+0
f2(y2) 0 1 4 6 8 9
x∗ 2 0 0,1 2 4 4 4,3
i: infactible, es decir, la familia no puede quedarse esa cantidad de días porque ya no le quedan tantos. Ciudad 1: En este caso, como sabemos que inicialmente (antes de visitar la primera ciudad), la familia dispone de 5 días para sus vacaciones, solo analizamos el caso y1 = 5 g1(x1)+f2(y1-x1) x1 = 0, x1 = 1, x1 = 2, x1 = 3, x1 = 4, x1 = 5 f1(y1) Finalmente existen 3 soluciones óptimas, todas con beneficio óptimo =9, cuyas estadías en cada ciudad viene dadas por: Solución Itinerario 1 Itinerario 2 Itinerario 3
Ciudad 1 0 0 1
Ciudad 2 3 4 4
Ciudad 3 2 1 0
WinQSB
13
Problema 2
Método Manual Etapa 4
C78+f4(8)=3+3=6
F2(4)=
F4(8)=3
C79+f4(9)=3+4=7
C45+f3(5)=3+4=7
F4(9)=4
Etapa 2
C46+f3(6)=1+7=8
Etapa 3
F2(2)=
C47+f3(7)=5+6=11
F3(5)=
C25+f3(5)=6+4=10
Etapa 1
c58+f4(8)=1+3=4
C26+f3(6)=4+7=11
F1(1)=
c59+f4(9)=3+4=7
C27+f3(7)=6+6=12
C12+f2(2)=2+10=12
F3(6)=
F2(3)=
C13+f2(3)=4+7=11
C68+f4(8)=6+3=9
C35+f3(5)=3+4=7
C14+f2(4)=3+7=10
C69+f4(9)=3+4=7
C36+f3(6)=2+7=9
F3(7)=
C37+f3(7)=4+6=10
Camino óptimo=1, 4, 5, 8, 10 14
WinQSB
Análisis detallado
Problema 3 Un prestigioso taller mecánico, especialista en mantención y reparación de motores, tiene una máquina especializada para estos fines y desea saber cuándo cambiar dicha máquina. Para ello cuenta con los siguientes datos: •
Una maquina nueva cuesta C [u.m].
•
El taller puede mantener una máquina por 1, 2 o 3 años.
•
Una máquina con i años de uso puede ser vendida en el mercado en vi [u.m].
•
El costo anual de mantención de una máquina con i años de uso es mi [u.m].
0
El taller busca una política óptima de reemplazo que minimice los costos totales durante 5 años restringidos a que siempre debe haber una máquina sabiendo que se compró una máquina el año 1 y que se venderá al final del año 5. Solución En el problema identificamos: Etapas: Corresponden a los años del horizonte (t0, t1, t2, ..., t5). Decisiones: En cada etapa debemos decidir si conservar o cambiar la máquina. Estados: Edad de la máquina al final de la etapa (lt0, lt1, lt2, ..., lt5). Notamos que: 1.
En t0 estamos obligados a comprar y en t5 obligados a vender.
2. El espacio de edades posibles varía dependiendo de la etapa: l0 E {0}, l1 E 1,l2 E {1, 2}, l3 , l4 , l5 E {1, 2, 3} Definimos: ft (li) = Costo de la política óptima desde ti hasta el final, dado que la edad de la máquina del analizar en ti es li. Con esto, lo que queremos calcular es ft0(0). Año 5 La máquina debe venderse al final del último año, al valor correspondiente a la edad de la máquina. ft5(l5) = −vl5
Año 4 El problema a resolver dependerá de la edad que tenga la máquina. En efecto, si tuviera 3 años no tendríamos más que cambiar. ft4(3) = −v3 + C + m1 + ft5(1) {−v2+C+m1+ft5(1) (Cambiar) ft4(2) = { −v1+C+m1+ft5(1) (Cambiar) ft4(1) =
m3 + ft5(3) m2 + ft5(2)
(Conservar) (Conservar)
Año 3 El problema a resolver nuevamente dependerá de la edad que tenga la máquina. ft3(3) = —v3 + C + m1 + ft4(1) {—v2+C+m1+ft4(1) (Cambiar) ft3(2) = m3 + ft4(3)
(Conservar)
1
{ —v1 +C+m1+ft4(1) (Cambiar) ft3(1) = m2 + ft4(2)
(Conservar)
Año 2 El problema a resolver nuevamente dependerá de la edad que tenga la máquina. Sin embargo, en el año 2 (dado que se compra una nueva en t1), solo podría tener una edad de 1 o 2. Año 1 El problema a resolver nuevamente dependerá de la edad que tenga la máquina. Pero, en el año 1 (dado que se compra una nueva en t1), solo podría tener una edad de 1. { —v1 + C + m1 + ft2(1) (Cambiar) ft1(1) = m2 + ft2(2) (Conservar) Año 0 Al inicio del primer periódo, necesariamente debemos comprar una máquina nueva. ft0(0)=C+m1+ft1(1)
Problema 4 Considérese el gráfico que contempla las rutas posibles para ir desde la ciudad 1 hasta la ciudad 10. Cada nodo representa una ciudad y los arcos la infraestructura vial disponible. La tabla recoge el costo asociado al desplazamiento entre cada par de nodos para cada una de las etapas. Supondremos que todos los desplazamientos tienen la misma duración, y que el viaje ha de realizarse en cuatro etapas. Cada una de ellas se corresponde con un único desplazamiento entre un par de nodos del grafo, así al finalizar la primera etapa estaremos en una de las ciudades 2, 3 ó 4. La segunda etapa finalizará en la ciudad 5, la número 6 o la número 7. La tercera jornada nos llevará a la ciudad 8 o a la número 9. La cuarta etapa permite finalizar el viaje en la ciudad 10.
2
Método Manual Etapa 4
C78+f4(8)=3+3=6
F2(4)=
F4(8)=3
C79+f4(9)=3+4=7
C45+f3(5)=5+4=9
F4(9)=4
Etapa 2
C46+f3(6)=6+7=13
Etapa 3
F2(2)=
C47+f3(7)=7+6=13
F3(5)=
C25+f3(5)=7+4=11
Etapa 1
c58+f4(8)=1+3=4
C26+f3(6)=4+7=11
F1(1)=
c59+f4(9)=4+4=8
C27+f3(7)=6+6=12
C12+f2(2)=2+11=13
F3(6)=
F2(3)=
C13+f2(3)=4+7=11
C68+f4(8)=6+3=9
C35+f3(5)=3+4=7
C14+f2(4)=3+9=11
C69+f4(9)=3+4=7
C36+f3(6)=2+7=9
F3(7)=
C37+f3(7)=4+6=10
Camino óptimo=1, 3, 5, 8, 10
WinQSB
3
Análisis detallado
Problema 5 La carga de un avión se distribuye con el propósito de maximizar el ingreso total. Se consideran 5 elementos y sólo se necesita uno de cada uno. La compañía gana 5000 u.m. por elemento más una bonificación por elemento. El avión puede transportar 2000 libras. Valor de Elemento Peso. Lb Volumen, bonificación 1 1000 70 700 2 1100 100 800 3 700 100 1100 4 800 80 1000 5 500 50 700 Max Z =5700x1+5800x2+6100x3+6000x4+5700x5 s.a. 1000x1+1100x2+700x3+800x4+500x5<=2000 x j<=1 Método Manual 5700m1+f2(x1-1000m1) x1 m1=0 m1=1 1 5700 2 5800 3 6100 6100 4 6000 6000 5 5700 5700
Solución óptima f1(x1) m1 5700 0 5800 0 6100 1 6000 1 5700 1
1
WinQSB Peso
Volumen
2
