PROGRAMACIÓN DINÁMICA DETERMINÍSTICA
INTRODUCCIÓN A LA PROGRAMACIÓN DINÁMICA Una forma razonable y comúnmente empleada de resolver un problema es definir o caracterizar su solución en términos de las soluciones de subproblemas del mismo. Esta idea proporciona métodos eficientes de solución para problemas en los que los subproblemas son versiones más pequeñas del problema original. La programación dinámica es útil para resolver un problema donde se deben tomar una serie de decisiones interrelacionadas. La programación dinámica encuentra la solución óptima de un problema con n variables, descomponiéndolo descomponiéndolo en n etapas, siendo cada etapa un subproblema de una sola variable. Conviene resaltar que a diferencia de la programación lineal, el modelado de problemas de programación dinámica no sigue una forma estándar. Así, para cada problema será necesario especificar cada uno de los componentes que caracterizan un problema de programación dinámica. La solución de problemas mediante esta técnica se basa en el llamado principio de optimalidad que establece la idea de que Dado el estado actual, la decisión óptima para cada una de las etapas restantes no tiene que depender de los estados ya alcanzados o de las decisiones tomadas previamente. Esta técnica llega a una solución trabajando hacia atrás, partiendo del final del problema hacia el principio, por lo que un problema enorme e inmanejable se convierte en una serie de problemas más pequeños y manejables. La programación dinámica se utiliza ta nto en problemas lineales como no lineales. li neales.
PROGRAMACIÓN DINÁMICA DETERMINÍSTICA En este tipo de programación dinámica, el estado de la siguiente etapa está determinado por completo por el estado y la política de decisión de la etapa actual . El caso probabilístico es en el cual existe una distribución de probabilidad del valor posible del siguiente estado. Se analizará posteriormente.
NATURALEZA RECURSIVA DE LA PROGRAMACIÓN DINÁMICA Los cálculos de programación dinámica se hacen en forma recursiva, ya que la solución óptima de un subproblema se usa como dato para el siguiente subproblema. Para cuando se resuelve el último subproblema se obtiene la solución óptima de todo el problema. La f orma en la que se hacen los cálculos recursivos depende de cómo se descomponga el problema original. En particular, los subproblemas se vinculan normalmente mediante restricciones comunes. Al pasar de un subproblema al siguiente se debe mantener la factibilidad de esas restricciones comunes.
RECURSIÓN EN AVANCE Y EN REVERSA Se usa la recursión en avance, cuando los cálculos se hacen de la primera etapa a la última etapa; y se usa la recursión en reversa, cuando los cálculos se hacen de la última etapa a la primera etapa. Con las recursiones en avance y en reversa se obtiene la misma solución. Aunque el procedimiento en avance parece más lógico, en las publicaciones sobre programación dinámica se usa la recursión en reversa. La razón de esta preferencia es que, en general, la recursión en reversa es más eficiente desde el punto de vista computacional.
ELEMENTOS DE UN PROBLEMA DE PROGRAMACIÓN DINÁMICA
ETAPA ( n n ) Es el período de tiempo, lugar, fase o situación en donde se produce un cambio debido a una x ). decisión ( x n
s ) Muestra la situación actual del sistema cuando nos encontramos en la etapa n . En la ESTADO ( s n
terminología de la programación dinámica, a s n se le llama estado del sistema en la etapa n . De hecho, se considera que el estado del sistema en la etapa n es la información que enlaza, conecta o vincula las etapas, de tal modo que se puedan tomar las decisiones para las etapas restantes sin volver a examinar cómo se llegó a las decisiones de las etapas anteriores. También se puede decir que por estado se quiere dar a entender la información que se necesita en cualquier etapa para tomar una decisión óptima.
x n ) Hacen referencia a toma de decisiones (o política de decisión) VARIABLES DE DECISIÓN ( x
que se producen en una etapa y que produce un cambio en el estado actual del sistema.
FUNCIÓN RECURRENTE ( f n ) Refleja el comportamiento del sistema en función de los estados y de las variables de decisión: f n (s , n x ). n La recursión relaciona el costo o la contribución ganada durante alguna etapa con el costo o la contribución ganada en la etapa posterior de forma acumulativa.
La programación dinámica se puede describir en un diagrama como el siguiente: n=1
s1
n=2
x 1
s2
n=3
x 2
s3
n=4
x 3
s4
x 4
f 4(s4 , x 4 ) f 3(s3 , x 3 ) f 2(s2 , x 2 ) f 1(s1 , x 1 ) Evolución del sistema
N = número de etapas n = etiqueta de la etapa actual (n = 1, 2, … N) s n = estado actual de la etapa n x n = variable de decisión de la etapa n x n * = valor óptimo de x n (dado s n )
En la etapa n , el proceso se encuentra en algún estado s n . Al tomar la decisión x n se mueve a algún estado s n+1 en la etapa n+1, etapa en la que se habría contribuido con f n * +1(s n+1 ), que incluye las contribuciones contribuciones de las etapas siguientes; al acumular esta cantidad con la contribución actual (por ejemplo la contribución inmediata c s s n nx ) x n n a la función objetivo se tiene a f n (s n , x ) n como la contribución de la etapa n en adelante. Dados s n y n , sea x n * el mejor valor entre todos los valores que pueda adoptar x n al calcular su propio * f n (s n , x ) n , y sea f n (s ) n el valor mínimo correspondiente a todos los f n (s , n x ) n . Entonces: * f n * (s ) n = min f n (s n , x ) n = f n (s n , x n )
donde: f n (s n , x ) ) + costo futuro mínimo (etapas n+1 en adelante) n = costo mínimo inmediato (etapa n * = c s sn n x x n n + f n +1(s n+1 )
Los valores de c s s n nx x n n son los incurridos al establecer s n el estado actual y x n el destino inmediato. Seleccionando el valor óptimo a la variable x n * y determinando la contribución total a la función objetivo f n * (s ) n , el procedimiento de solución se mueve atrás una etapa.
1
CARACTERÍSTICAS DE UN PROBLEMA DE PROGRAMACIÓN DINÁMICA Para que un problema pueda ser resuelto con la técnica de programación dinámica, debe cumplir con ciertas características: o
o o o o
El problema puede ser dividido en etapas , cada una de las cuales requiere de una política de decisión . Cada etapa se relaciona con una cierta cantidad de etapas. Cada etapa tiene cierto número de estados asociados con su inicio. La decisión óptima de cada etapa depende solo del estado actual y no de las decisiones d ecisiones anteriores. La decisión o política de decisión tomada en una etapa determina el modo en que el estado de la etapa actual se transforma en el estado de la etapa siguiente.
EJEMPLO PROTOTIPO DE PROGRAMACIÓN DINÁMICA El siguiente problema se elaboró especialmente para ilustrar las características de la programación dinámica e introducir la terminología empleada en ésta. (Pudiera relacionárselo con el modelo de red de la ruta más corta, pero en realidad es éste el que utiliza la filosofía de la programación dinámica) 7
B
Tomando en cuenta el siguiente sistema de caminos, si se encuentra inicialmente en el nodo A, encontrar la trayectoria más económica para llegar al nodo J considerando que los valores que se encuentran en las ramas representan los costos de trasladarse de un nodo a otro.
E
4
1
6
4
2
H 3
3
A
4
6 2
C
J
F 3
4
4
I
3 4
3 1
D
3 5
G
Solución:
Si se tomara la decisión de ir por la ruta más barata en cada etapa, ésta sería: A – B – F – I – J con un costo total asociado de 13. Pero note que si desde el nodo A llegamos al nodo F mediante D, en lugar de ir por B el costo sería menor.
El evaluar todas las posibles rutas y sus costos asociados sería una tarea tediosa. Mediante la programación dinámica se puede hallar la solución con mucho menor esfuerzo.
2
Variables de decisión:
x n : destino inmediato de la etapa n, donde: (n = 1, 2, 3, 4)
Estado:
s n : lugar donde se encuentra en la etapa n
Ruta a seleccionar:
A – A – x x 1 – x – x 2 – x – x 3 – x – x 4, donde x 4 = J
Como el destino final es J y se alcanza al terminar ter minar la etapa 4, entonces f 5 * (x 4 ) = f 5 * (J) = 0
El objetivo es encontrar f 1* (A) y la ruta correspondiente. La programación dinámica la encuentra al determinar en forma sucesiva f 4* (s 4 ), f 3* (s 3 ), f 2 * (s 2 ) y f 1* (s 1 )
Función recursiva: f 4(s 4 , x 4 )= c s s x + f 5 * (x 4 ) 4 4
Etapa 4:
Cuando se está en la última etapa, el destino final es x 4 = J y su estado actual s 4 puede ser H o I , de manera que su último tramo es desde s 4 hacia J. Por lo tanto, f 4* (s 4 ) = f 4(s 4 , J) = c s s4J 4 J Solución óptima f 4* (s4 ) x 4*
s4
f 4(s4 ,x 4 )= c s4 x 4 + f 5 5 *(x *(x 4 ) x 4 = J
H
J
3
J
I
J
4
J
s3
f 3(s3 ,x 3 )= c s3 x 3 + f 4*(x 3 ) x 3 = H x 3 = I
Etapa 3:
E
1+3=4
Solución óptima f 3* (s3 ) x 3*
4+4=8
4
H
F
6+3=9
3+4=7
7
I
G
3+3=6
3+4=7
6
H
Etapa 2: Solución óptima f 2 2 * (s2 ) x 2 2*
s2
f 2 2 (s (s2 ,x 2 2 )= c s2 x 2 2 ) 2 + f 3*(x 2 x 2 2 =E x 2 2 =F x 2 2 =G
B
7+4=11
C
3+4=7
2+7=9
4+6=10
7
E
D
4+4=8
1+7=8
5+6=11
8
EoF
4+7=11
6+6=12
11
EoF
Etapa 1:
s1 A
f 1(s1 ,x 1 )= c s1 x 1 + f 2 2 *(x *(x 1 ) x 1 =B x 1 =C x 1 =D 2+11=13
4+7=11
3+8=11
Solución óptima f 1* (s1 ) x 1* 11
CoD
Interpretación: Costo total =11
A-C-E-H-J, Ruta2: A-D-E-H-J A-D-E-H-J, Ruta3: A-D-F-I-J A-D-F-I-J Ruta1: A-C-E-H-J
3
