Universidad del Zulia Facultad de Ingeniería División de Estudios para Graduados Instituto de Cálculo Aplicado
OPTIMIZACIÓN PARA INGENIEROS Optimización Con Restricciones (Notas de clase)
Prof. Luis Zerpa
Abril 2006
Índice General
1.
2.
Condiciones Condiciones para la optimización optimización con restricciones restricciones ............ ...... ............ ............ ............ ............ ............ ............ ............ ............ ............ .......2 .2 1.1.
Restricci Restricciones ones .....................................................................................................................2
1.2.
Plano Plano Tangen Tangente te ..................................................................................................................3
1.3.
Condici Condiciones ones necesari necesarias as de primer primer orden orden ............................................................................5
1.4.
Condiciones Condiciones necesarias necesarias de segundo segundo orden......... orden... ............ ............ ............ ............ ............ ............ ............ ............ ............ ............ ........... ..... 6
1.5.
Condiciones Condiciones necesarias necesarias de primer orden con restricciones restricciones de desigualdad....... desigualdad............. ............ ............ .......6 .6
1.6.
Condiciones Condiciones necesarias necesarias de segundo segundo orden con restricciones restricciones de desigualdad desigualdad ............ ...... ............ ........... ..... 8
Métodos de Programación Programación no lineal con restricciones restricciones...... ............ ............ ............ ............ ............ ............ ............ ............ ............ .......... ....9 9 2.1.
Métodos Métodos de función función de penaliza penalización ción ..................................................................................9
2.2.
Métodos Primarios ( Primal Methods) ..............................................................................12
2.3.
Métodos Métodos de Direc Dirección ción Factibl Factiblee ........................................................................................13
2.4.
Métodos de Conjunto Activo ............................................................................................15
2.5.
Método Método de Proye Proyecci cción ón de Gradiente Gradiente ................................................................................18
1. Condiciones para la optimización con restricciones En esta sección se presentan las condiciones necesarias y suficientes que se satisfacen en los puntos solución de un problema de optimización con restricciones. Estas condiciones definen los multiplicadores de Lagrange y una cierta matriz Hessiano, los cuales forman los fundamentos para el desarrollo y análisis de algoritmos para la solución de problemas de optimización con restricciones.
1.1. Restricciones El problema general de optimización con restricciones se puede plantear de la siguiente forma: Minimizar f ( x) Sujeto a
h1( x) = 0
g1( x) ≤ 0
h2( x) = 0
g2( x) ≤ 0
M
M
g p( x) ≤ 0
hm( x) = 0 x ∈ Ω ⊂ E
n
donde m ≤ n y las funciones f , hi, i = 1, 2,…, m y g j, j = 1, 2,…, p son continuas, y usualmente se asume que tienen segundas derivadas parciales continuas. Las restricciones h( x) = 0, g( x) ≤ 0 son conocidas como restricciones funcionales, mientras que la restricción x ∈ Ω es un conjunto restricción. Un punto x ∈ Ω que satisface las restricciones funcionales se dice que es factible.
1.1.1. Restricciones activas Se dice que una restricción de desigualdad gi( x) ≤ 0 está activa en un punto factible x si gi( x) = 0, y está inactiva en x si gi( x) < 0. Por convención, se refiere a cualquier restricción de igualdad hi( x) = 0 como activa en cualquier punto factible. Las restricciones activas en un punto factible x restringen el dominio factible en la vecindad de x, mientras las otras, restricciones inactivas, no tienen influencia en la vecindad del x. Por lo tanto, al estudiar las propiedades de un mínimo local, es claro que solo se toman en cuenta las restricciones activas.
1.2. Plano Tangente Un conjunto de restricciones de igualdad sobre E n h1( x) = 0 h2( x) = 0 M
hm( x) = 0 n define un subconjunto de E que puede ser visto como una hipersuperficie de dimensión n-m. Si las restricciones tienen primeras derivadas continuas, se puede decir que la superficie definida por estas es suave.
Asociado con un punto en una superficie suave se tiene un plano tangente a ese punto (ver figura 1).
Figura 1. Plano tangente a una superficie en un punto Una curva sobre una superficie S es una familia de puntos x(t ) ∈ S parametrizados continuamente por t para a ≤ t ≤ b. Ahora, consideremos todas las curvas diferenciables de S que pasan por un punto x*. El plano tangente a x* está definido por la colección de las derivadas con respecto a x* de todas estas curvas. El plano n tangente es un subespacio de E . (Ver figura 2)
∇h(x*)
x*
Figura 2. Plano tangente de una superficie de 3 dimensiones Para superficies definidas por un conjunto de restricciones activas, el plano tangente se puede expresar en términos de las derivadas de las restricciones hi que definen una superficie. Pero primero hay que definir un punto regular .
Definición: Un punto x* que satisface las restricciones activas h( x*) = 0 se dice que es un punto regular de las restricciones si los vectores gradientes ∇h1( x*), ∇h2( x*), …, ∇hm( x*) son linealmente independientes. Luego, en un punto regular es posible caracterizar el plano tangente en términos de los gradientes de las restricciones.
Teorema: En un punto regular x* de la superficie S definida por h( x*) = 0 el plano tangente es igual a M = { y:∇h( x*) y = 0}
1.3. Condiciones necesarias de primer orden Lemma: Sea x* un punto regular de las restricciones h(x) = 0 y un punto extremo local (máximo o mínimo) de f sujeto a estas restricciones. Entonces, todo y ∈ E n que satisface ∇h( x*) y = 0 también debe satisfacer
∇ f ( x*) y = 0 Es decir, ∇ f ( x*) es ortogonal al plano tangente. Esto implica que ∇ f ( x*) es una combinación lineal de los gradientes de h en x*, una relación que conlleva a la introducción de los multiplicadores de Lagrange.
Teorema: Sea x* un extremo local de f sujeto a las restricciones h( x) = 0. Asumiendo que x* es un m punto regular de estas restricciones. Entonces existe un vector λ ∈ E tal que, ∇ f ( x*) + λT∇h( x*) = 0
Nótese que las condiciones necesarias de primer orden ∇ f ( x*) + λT∇h( x*) = 0 junto con las restricciones h( x*) = 0 dan un total de n+m ecuaciones con n+m variables compuestas por x* y λ . Por lo tanto, las condiciones necesarias son un conjunto completo, al menos localmente, debido que definen una solución única. A la combinación lineal de la función objetivo y las restricciones se le conoce como Langragiano. T
l( x,λ) = f ( x) + λ h( x)
1.3.1. Ejemplo 1 Considere el problema Minimizar Sujeto a
x1 x2 + x2 x3 + x1 x3 x1 + x2 + x3 = 3
x 2
+ x3 + λ = 0 + x3 + λ = 0 + λ = 0
Las condiciones necesarias son: x1 x1
+ + x2
Estas tres ecuaciones junto con la restricción dan cuatro ecuaciones que se pueden resolver para determinar las cuatro incognitas x1, x2, x3, λ. La solución es x1 = x2 = x3 = 1; λ = -2.
1.4. Condiciones de segundo orden Condiciones necesarias de segundo orden. Suponiendo que x* es un mínimo local de f sujeto a m h( x) = 0 y que x* es un punto regular de estas restricciones. Entonces existe un λ ∈ E tal que,
∇ f ( x*) + λT∇h( x*) = 0 Si denotamos M como el plano tangente M = { y:∇h( x*) y = 0}, luego la matriz T
L( x*) = F (x*) + λ H ( x*)
F(x*) Hessiano de la función, H(x*) Hessiano de las restricciones
T es semidefinida positiva en M , es decir, y L( x*) y ≥ 0 para todo y ∈ M .
La matriz L es el Hessiano del Langragiano, una matriz de segundas derivadas parciales con respecto de x del Langragiano l.
Condiciones suficientes de segundo orden. Suponga que existe un punto x* que satisface h( x*) = 0, y un λ ∈ E tal que, m
∇ f ( x*) + λT∇h( x*) = 0 Suponga también que la matriz L(x) = F (x*) + λ H ( x*) es definida positiva en M = { y:∇h( x*) y = 0}, T
es decir, para y ∈ M , y ≠ 0, y L( x*) y > 0. Entonces x* es un mínimo local de f sujeto a h( x*) = 0. T
1.5. Condiciones necesarias de primer orden con restricciones de desigualdad Definición: Sea x* un punto que satisface las restricciones h(x*) = 0
g(x*) ≤ 0
y sea J el conjunto de índices j para los cuales g j(x*) = 0. Luego, se dice que x* es un punto regular de las restricciones si los vectores gradiente ∇hi( x*), ∇g j( x*), 1 ≤ i ≤ m, j ∈ J son linealmente independientes.
Condiciones de Kunh-Tucker . Sea x* un punto mínimo relativo para el problema Mimizar f(x) h(x*) = 0 g(x*) ≤ 0 Sujeto a y suponiendo que x* es punto regular para las restricciones. Entonces existe un vector λ ∈ E m y un vector μ ∈ E p con μ ≥ 0 tal que ∇ f ( x*) + λT∇h( x*) + μT∇g( x*) = 0 T
μ
g( x*) = 0
1.5.1. Ejemplo 2 Considere el problema 2 2 2 x1 + 2 x1 x2 + x2 – 10 x1 – 10 x2
Minimizar Sujeto a
x1 + x2 ≤ 5 2
2
3 x1 + x2 ≤ 6 Las condiciones necesarias de primer orden junto con las restricciones son 4 x1 + 2 x2 - 10 + 2μ1 x1 + 3μ2 = 0 2 x1 + 2 x2 – 10 + 2μ1 x2 + μ2 = 0 μ1 ≥ 0, μ2 ≥ 0 2
2
μ1( x1 + x2 – 5) = 0 μ2(3 x1 + x2 – 6) = 0
Para encontrar la solución se definen varias combinaciones de restricciones activas y se chequea el signo de los multiplicadores de Lagrange resultantes. En este problema se puede probar fijando, ninguna, una o dos restricciones activas. Asumiendo la primera restricción activa y la segunda inactiva se obtiene, 4 x1 + 2 x2 - 10 + 2μ1 x1 = 0 2 x1 + 2 x2 – 10 + 2μ1 x2 = 0 2
2
x1 + x2 = 5
se obtiene la solución, x1 = 1, x2 = 2, μ1 = 1
Esta solución satisface la segunda restricción. Por lo tanto, debido a que µ1 > 0, se concluye que esta solución satisface las condiciones necesarias de primer orden.
1.6. Condiciones de segundo orden con restricciones de desigualdad Condiciones necesarias de segundo orden . Suponga que las funciones f , g, h, ∈ C y que x* es un m punto regular de las restricciones. Si x* es un punto mínimo relativo, entonces existe un λ ∈ E y un p vector μ ∈ E con μ ≥ 0 tal que se cumplen las condiciones de primer orden y T T L( x*) = F (x*) + λ H ( x*) + μ G( x*) 2
es semidefinida positiva sobre el subespacio tangente de las restricciones activas de x*.
Condiciones suficientes de segundo orden . Sea f , g, h, ∈ C 2. Las condiciones suficientes para que un punto x* que satisface las restricciones sea un punto mínimo relativo son que exista λ ∈ E m y un vector p μ ∈ E , tal que, μ≥0 T
μ
g( x*) = 0
∇ f ( x*) + λT∇h( x*) + μT∇g( x*) = 0 y la matriz Hessiana del Langragiano, T
T
L( x*) = F (x*) + λ H ( x*) + μ G( x*)
sea definida positiva en el subespacio M ’ = { y:∇h( x*)y = 0, ∇g j( x*)y = 0 para j ∈ J}
donde
J = { j:g j( x*) = 0, μ j >0}
2. Métodos de Programación no lineal con restricciones Los problemas con restricciones son más difíciles de resolver debido a los requerimientos adicionales que la solución debe satisfacer. La mayoría de los métodos propuestos para resolver este tipo de problemas están basados en uno de los siguientes conceptos: 1. Extensión de la metodología lineal a través de repetidas aproximaciones lineales 2. Transformación de un problema con restricciones en una secuencia de problemas sin restricciones mediante el uso de funciones de penalización 3. Uso de tolerancias flexibles para acomodar vectores x de regiones posibles y no posibles En este curso estudiaremos los últimos dos conceptos.
2.1. Métodos de función de penalización En esencia:
Problema de Programación No Lineal con restricciones
Problema sin restricciones
se transforma
ó Secuencia de problemas sin restricciones
Por ejemplo, supóngase que se quiere encontrar el mínimo de f ( x ) = ( x1 − 3) + (x 2 + 2 ) 2
2
h( x ) = x1 + x 2 − 4 = 0
sujeto a
Se puede deducir una nueva función objetivo sin restricciones, P ( x ) = ( x1 − 3) + ( x 2 + 2) + ( x1 + x 2 − 4 ) 2
2
2
al sumarle el cuadrado de la restricción a f ( x) como una penalización. Durante la minimización de P( x) el vector x es forzado por la penalización a satisfacer la restricción.
Los métodos de función de penalización se pueden dividir en dos clases:
• Métodos Paramétricos: son caracterizados por uno o más parámetros ajustables que ponderan la función de penalización formada por las restricciones. Estos a su vez se pueden dividir en: o
o
o
•
Métodos de punto interior : Mantener lejos de los bordes de la región factible mediante la suma de la función de penalización. Métodos de punto exterior : generar una secuencia de puntos no factibles que en el límite llegan a una solución factible. La función de penalización previene de irse muy lejos de la región factible. Métodos mixtos: requeridos especialmente con restricciones de igualdad. Algunas restricciones son satisfechas y otras no, pero todas son satisfechas dentro de una tolerancia cuando se alcanza una solución.
Métodos No paramétricos: tratan a la función objetivo como una restricción adicional la cual es sucesivamente apegada a partir de la información desarrollada en la solución del problema.
En resumen: El enfoque de funciones de penalización es transformar el problema no lineal con restricciones en una secuencia de problemas sin restricciones sumando una ó más funciones de restricción a la función objetivo y eliminando así tales restricciones.
Formalmente la transformación del problema es como sigue: r
x ∈ E n
Minimizar f ( x )
Sujeto a m restricciones de igualdad h j ( x ) = 0 j = 1,…, m y ( p-m) restricciones de desigualdad g j ( x ) ≥ 0 j = m+1,…, p
Minimizar
P ( x
( k )
,ρ
( k )
m
) = f ( x ) + ∑ ρ ( k )
i =1
Donde k k P( x ( ) , ρ ( ) )
ρi
( k )
≥0
H (hi (x (k ) ))
H (hi ( x
(k ) i
(k )
p
)) + ∑ ρ ( )G (g ( x ( ) )) k
i
i = m +1
: función aumentada generalizada, o función de penalización : factores de ponderación : funcional de hi (x ( k ) )
k
i
G (g i (x (k ) ))
: funcional de g i (x ( k ) )
k
: pasos de la búsqueda numérica
Selecciones típicas para funciones de restricciones de desigualdad G (g i (x ( k ) )) 1. G1 (g i (x ( k ) )) à +∞ si g i ( x ) à 0
+
è
x siempre es un punto interior.
2. G 2 (g i (x ( k ) )) à 0 si g i ( x ) à 0
è
sólo son aceptados puntos exteriores.
3. G3 (g i (x (k ) )) > 0 para g i ( x ) < 0
y
G 4 (g i (x (k ) )) = 0 para g i ( x ) ≥ 0. Esta opción no
contempla la satisfacción de la restricción excepto en la solución.
Para restricción de igualdad una selección funcional típica es: H (hi ( x )) à 0 si hi ( x ) à 0
Una forma típica para las restricciones de igualdad es H (hi ( x )) = hi ( x ) 2
Adicionalmente, para todas las selecciones anteriores se requiere que: p
lim
k → ∞
∑ ρ ( )G(g ( x ( ) )) = 0 k
i
i = m +1 m
lim
k → ∞
k
i
∑ ρ ( ) H (h ( x ( ) )) = 0 k
i
k
i
i =1
lim P( x (k ) , ρ (k ) ) − f ( x (k ) ) = 0 k → ∞
Es decir, el efecto de las restricciones en la función aumentada es gradualmente disminuido a medida que la búsqueda progresa, y completamente eliminado en el límite, de forma tal que el valor de la función aumentada converge al mismo valor de f ( x) y el extremo de P( x) es el mismo de f ( x).
2.2. Métodos Primarios (Primal Methods ) Considerando el problema general de optimización de una función no-lineal Minimizar f ( x )
r
x ∈ E n
Sujeto a m restricciones de igualdad h j ( x ) = 0 j = 1,…, m y ( p-m) restricciones de desigualdad g j ( x ) ≤ 0 j = m+1,…, p Es decir, minimizar f sobre la región en E n definida por las restricciones. Asumiendo que todas las ecuaciones tienen derivadas parciales de tercer orden continuas. Los métodos primarios que resuelven problemas de optimización con restricciones son métodos de búsqueda que trabajan sobre el problema original directamente buscando dentro de la región factible la solución óptima. Durante el proceso de búsqueda: • Cada punto en el proceso es factible • El valor de la función objetivo siempre decrece Para un problema con n variables y con sólo m restricciones de igualdad, los métodos primarios trabajan en el espacio factible de dimensiones n – m.
2.2.1. Ventajas de Métodos Primarios A continuación se enuncian las ventajas de los métodos primarios que hacen que sean recomendados para la solución de los problemas de programación no lineal con restricciones. 1. Ya que siempre trabajan dentro de la región factible, si el proceso termina antes de alcanzar la solución (algo bastante probable), el punto terminal es factible y probablemente cercano al óptimo, por lo que representa una solución aceptable al problema práctico. 2. Frecuentemente, se puede garantizar que genera una secuencia convergente, es decir, el punto límite debe ser al menos un óptimo (mínimo) local que satisface las restricciones. 3. No depende de la estructura del problema (e.g., convexidad) por lo tanto aplican a problemas generales.
2.2.2. Desventajas: 1. Requieren que el punto inicial sea factible 2. Están plagados de dificultades computacionales derivadas de la necesidad de mantenerse dentro de la región factible a medida que el proceso progresa (en especial, con restricciones no lineales). Algunos métodos pueden fallar si no se toman precauciones en problemas con restricciones de desigualdad.
2.2.3. Razón de convergencia: • Su razón de convergencia es competitiva con relación a otros métodos y en especial con •
restricciones lineales. Están frecuentemente entre los más eficientes.
Debido a su balance entre su aplicabilidad general y simplicidad tienen un rol importante entre los algoritmos de programación no lineal.
2.3. Métodos de Dirección Factible La idea de estos métodos es tomar pasos a través de la región factible de la forma: r
r
x k +1 = x k +α k d k
αk es seleccionado para minimizar f de forma tal que el punto xk +1 y el segmento que une xk y xk +1 sea factible. Esto motiva el uso de direcciones factibles como direcciones de búsqueda. Definición
r
d k es una dirección factible en x k si ∃α > 0 tal que x k +α k d k es factible para todo α (0 ≤ α ≤ α )
Los métodos de dirección factible son una extensión de los métodos de optimización sin restricciones, donde cada paso es la composición de la selección de una dirección factible y una búsqueda lineal restringida.
Un ejemplo representativo de este tipo de métodos es el Método Simplificado de Zoutendijk: Supongamos el siguiente problema con restricciones lineales. Minimizar f ( x ) sujeto a r
T r
a1 x ≤ b1 M r T r
a m x ≤ bm
r
T r
Dado un punto factible, x k , sea I el conjunto de índices de restricciones activas, ai x ≤ bi para i ∈ I. La dirección d k es seleccionada por la solución del siguiente problema lineal. Minimizar ∇ f ( x k )d r
sujeto a ai d ≤ 0 , i ∈ I T
n
∑ d i
=1
i =1
donde d =(d 1, d 2,…, d n)
Existen dos problemas con los métodos de dirección factible que requieren modificaciones en la mayoría de los casos, estos son: 1. En problemas generales puede no existir ninguna dirección factible, e.g., en problemas con restricciones de igualdad no lineales se puede presentar que no existen segmentos de línea recta desde x k que sean factibles. xk Conjunto factible
Para estos problemas es necesario relajar nuestro requerimiento de factibilidad permitiendo que los puntos se desvíen ligeramente de la superficie de restricción, o introducir el concepto de movimiento a lo largo de curvas en lugar de líneas rectas. 2. En su forma más simple la mayoría de los métodos de dirección factible no son globalmente convergentes. Ellos están sujetos a zig-zageo donde la secuencia de puntos puede converger a un punto que no es un extremo local restringido.
Es posible desarrollar algoritmos de direcciones factibles que superen estas limitaciones, sin embargo estos métodos son complejos. Un enfoque más simple es utilizar métodos de conjuntos activos.
2.4. Métodos de Conjunto Activo La idea principal de los métodos de conjunto activo es particionar las restricciones de desigualdad en dos grupos: 1. Aquellas tratadas como activas 2. Aquellas tratadas como inactivas (esencialmente ignoradas)
Consideremos el siguiente problema, Minimizar f ( x ) sujeto a g ( x ) ≤ 0
(sólo tomando en cuenta restricciones de desigualdad)
Las condiciones necesarias son: r
r
∇ f ( x ) + λT ∇g ( x ) = 0 r g ( x ) ≤ 0 r
r
λ T g ( x ) = 0 r
λ T ≥ 0 De forma más simple, y en términos de las restricciones activas, r r ∇ f ( x ) + λi ∇g i ( x ) = 0 Condiciones de problema con i∈ A restricciones de igualdad r g i ( x ) = 0 i ∈ A
∑
r
g i ( x ) < 0
i ∉ A
λi ≥ 0 i ∈ A r
λ = 0 i ∉ A
Restricciones inactivas Activación de multiplicadores correspondientes a restricciones activas
Es claro que si el conjunto de restricciones activas es conocido, el problema original puede ser reemplazado por el problema correspondiente que tiene sólo restricciones de igualdad. Suponga que se tiene un conjunto activo y el problema correspondiente con restricciones de igualdad se resuelve. Si las otras restricciones son satisfechas y los multiplicadores de Lagrange son positivos, entonces la solución es correcta. La idea es definir en cada paso o fase del algoritmo un conjunto de restricciones (denominado conjunto de trabajo) que son tratadas como activas. El conjunto de trabajo es seleccionado como un subconjunto de las restricciones realmente activas para el punto actual, y así el punto es factible para el conjunto de trabajo. El algoritmo luego procede a moverse sobre la superficie definida por el conjunto de trabajo hacia un mejor punto. En este nuevo punto el grupo de trabajo puede ser cambiado.
2.4.1. Componentes de un método de conjunto activo 1. Determinación del conjunto de trabajo que es un subconjunto de las restricciones activas. 2. Movimiento sobre la superficie definida por el conjunto de trabajo hacia un punto mejor. La superficie definida por el conjunto de trabajo se denomina “Superficie de trabajo”.
2.4.2. Cambios en el conjunto de trabajo 1. Supongamos que para un conjunto de trabajo dado W el problema con restricciones de igualdad Minimizar f ( x ) sujeto a g i ( x ) = 0
i ∈ W
es solucionado llegando al punto xw que satisface g i ( x ) < 0 , i ∈ W . Este punto satisface las condiciones necesarias: r r ∇ f ( xw ) + λi ∇g i (x w ) = 0
∑
i∈W
• •
Si λi ≥ 0 para todo i ∈ W , el punto xw es una solución local del problema original. Si existe un i ∈ W tal que λi < 0, la función objetivo puede decrecer relajando la restricción i. Esto es consecuencia de la interpretación de los multiplicadores de Lagrange, debido a que un pequeño decremento en el valor de la restricción desde 0 hasta – c puede conducir a cambios en la función objetivo de λic, el cual es negativo. Así eliminando la restricción i del conjunto de trabajo, se puede obtener una mejor solución.
2. Durante el curso de la minimización de f ( x) sobre la superficie de trabajo, es necesario monitorear los valores de las otras restricciones para asegurarse de que estas no son violadas, ya que todos los puntos definidos por el algoritmo deben ser factibles. Frecuentemente pasa que mientras se mueve en la superficie de trabajo se encuentran nuevas restricciones. Entonces, es conveniente incluir esta restricción en el conjunto de trabajo.
2.4.3. La Estrategia Una estrategia completa de conjunto activo para eliminar y adicionar restricciones puede ser desarrollada combinando las dos ideas anteriores. 1. Se inicia con un conjunto de trabajo dado y se comienza a minimizar sobre la superficie de trabajo. 2. Si nuevas restricciones son encontradas, ellas se agregan al conjunto de trabajo, pero ninguna es eliminada. 3. Finalmente, se obtiene un punto que minimiza f con respecto al conjunto de trabajo actual.
4. Se determinan los multiplicadores de Lagrange • Si todos los multiplicadores son positivos la solución es óptima • En caso contrario, las restricciones con multiplicadores negativos son eliminadas del conjunto de trabajo 5. El procedimiento es reiniciado con este nuevo conjunto de trabajo y f decrecerá en el próximo paso. Esta estrategia requiere definir un procedimiento para minimizar sobre la superficie de trabajo que permita agregar restricciones al conjunto de trabajo y que luego de eliminar una restricción asegure que la función objetivo es estrictamente decreciente. Está garantizado que este método converge a la solución óptima.
2.4.4. Dificultades • Algunos problemas con conjuntos activos incorrectos deben ser resueltos (problemas intermedios)
• La solución de esos problemas intermedios, en general, deben ser puntos mínimos globales exactos para determinar el signo correcto de los multiplicadores de Lagrange y para asegurar que durante el siguiente proceso de descenso la superficie de trabajo anterior no se encuentre otra vez.
2.4.5. Aspectos prácticos • Se eliminan restricciones utilizando varios criterios antes de que un mínimo exacto sea encontrado en la superficie de trabajo.
• La convergencia no puede ser garantizada para muchos de estos métodos. Ellos están sujetos al zig-zageo. Sin embargo, esto ocurre con poca frecuencia.
• Con refinamientos, es frecuentemente efectivo Es claro que un componente fundamental de un algoritmo de conjunto activo es el algoritmo que resuelve un problema con restricciones de igualdad para minimizar sobre la superficie de trabajo.
2.5. Método de Proyección de Gradiente Motivación: método de descenso más rápido. El (-∇ f ) es proyectado sobre la superficie de trabajo para definir la dirección de movimiento.
2.5.1. Para restricciones lineales Consideremos el problema de la forma: Minimizar f ( x ) sujeto a r T r
ai x ≤ bi , i ∈ I 1 r T r
ai x = bi , i ∈ I 2
Siempre se puede asumir que el proceso es iniciado en un punto factible. r
T r
En este punto habrán algunas restricciones activas ( q) ai x = bi y otras inactivas. Las activas integran el conjunto de trabajo W ( x). Se determina la dirección factible (vector d k ) que satisfaga ∇ f(x)d < 0 (este movimiento causa que la función decrezca). T Inicialmente, se consideran direcciones que satisfacen ai d = 0, i ∈ W ( x), de forma tal que todas las restricciones permanezcan activas.
La dirección particular que se utilizará es la proyección del gradiente negativo (- ∇ f ) sobre el subespacio definido por el conjunto de trabajo.
1.
Computo de la proyección de -∇f(x) Sea Aq una matriz compuesta por filas de las restricciones activas.
Aq será q × n (de rango q < n. Número máximo de filas o columnas linealmente independientes) d debe yacer en el subespacio que satisfaga Aq d = 0
Se puede demostrar que: r
(
d k = − I − Aq Aq Aq T
T −1
)
Aq ∇ f = − Pk ∇f
donde, Pk es la matriz de proyección, que además es una dirección de descenso. Si d k calculada con la fórmula anterior es diferente de cero, entonces es una dirección de descenso sobre la superficie de trabajo. Luego, se considera la selección de tamaño del paso.
r
r
En la medida que α incrementa desde cero, el punto x k +1 = x k +α k d k se mantendrá factible y la función decrece. 1. Se encuentra la longitud del segmento factible emanando desde x y se minimiza f sobre este segmento. 2. Si el mínimo ocurre en su punto final, una nueva restricción se hará activa y será incluida en el conjunto de trabajo. Posteriormente, se considera la posibilidad de que la proyección del gradiente negativo es cero. En este caso tenemos
∇ f ( x ) + λk T Aq = 0 y xk satisface las condiciones necesarias para un mínimo en la superficie de trabajo, 1. Si λk correspondientes a las restricciones activas son positivos, se satisfacen las condiciones Kuhn-Tucker y el proceso termina. 2. Si uno de los componentes de λk es negativo, es posible remover la restricción correspondiente para moverse en una nueva dirección hacia un punto mejor. En resumen un paso del método de proyección de gradiente para restricciones lineales es como sigue: 1. Determinar el subespacio de restricciones activas M , y formar la matriz Aq, W ( x).
(
2. Calcular la matriz de proyección P = I − Aq Aq Aq T
T −1
)
Aq , y la dirección de descenso
d k = − Pk ∇ f ( x k )
3. Si d ≠ 0, encontrar α 1 tal que max{α : x + αd es factible }
α 2 tal que min { f ( x + αd ) : 0 ≤ α ≤ α 1 }
(Figura 3)
x k +1 = x k + α 2 d y se regresa al paso 1.
(
4. Si d = 0, encontrar λ = − Aq Aq
T −1
)
Aq ∇ f (x )
T
a. Si λ j ≥ 0, para todo j correspondientes a las restricciones activas, se satisfacen las condiciones Kuhn-Tucker y el proceso termina. b. De otra forma, se elimina la fila de Aq correspondiente a la desigualdad con el λ más negativo, y se regresa a 2.
α1 =
bnq − Anq ⋅ xk 2.5
Anq ⋅ d k
2
1 1 Anq = 0 1
x1 + x2 – 2.5 ≤ 0
xk
d k
1.5
2.5 0
x1 + 8/3 x2 – 4 ≤ 0
1
bnq =
α1 0.5
0.9363 − 0.3511
d k =
x1 ≥ 0 0
x2 ≥ 0
1.7088 α1 = 4.272
-0.5
0
0.5
1
1.5
2
2.5
3
Figura 3. Cálculo del máximo paso factible sobre la dirección de descenso
2.5.2. Para restricciones no lineales El vector de dirección d k , en el caso de restricciones no lineales, no es en general una dirección factible ya que la superficie puede ser curva. 1. Se mueve en la dirección de la proyección del gradiente negativo hasta un punto y. 2. Luego se hace un movimiento perpendicular al plano tangente del punto original para encontrar un punto factible sobre la superficie de trabajo. Tentativamente, este procedimiento se dirige fuera de la región factible y luego regresa. Esto introduce nuevas dificultades que requieren de interpolaciones y solución de ecuaciones no lineales. El cálculo de la proyección es también más difícil
[
T −1
Pk = I − ∇h( x k ) ∇h( x k )∇h ( x k ) T
]
∇h(xk )
donde, h( x k ) incluye las restricciones activas tanto de igualdad como de desigualdad.
