Métodos Matemáticos en Macroeconomía Alvaro J. Riascos Villegas Facultad de Economía Universidad de los Andes Agosto 17 de 2006
ii
ii
Prefacio Esta monografía es una introducción informal a los métodos matemáticos más utilizados en el estudio de economías a lo largo del tiempo. Especí ficamente, esta se centra en los métodos de programación dinámica y el método de Lagrange para resolver problemas de optimización dinámica con o sin incertidumbre y en tiempo discreto. Aquí no hay nada original excepto por el esfuerzo que se ha hecho para hacer de esta monografía un puente agradable de recorrer entre los tratamientos básicos de estas técnicas usualmente relegados a los apéndices de los libros de macroeconomía utilizados en un curso del pregrado y los libros más avanzados que se estudian a nivel de doctorado. Mi deuda con los libros y artículos clásicos en el tema es evidente en muchos de los capítulos y sólo por descuido no están referenciados todos los libros y artículos sobre los que me base para escribir esta monografía. A los autores les pido disculpas y prometo corregir esto en futuras versiones. Muchas personas me han ayudado directa o indirectamente a mejorar esta monografía. En especial, agradezco los innumerables alumnos que padecieron las primeras versiones de estas notas en diferentes cursos de macroeconomía avanzada o de métodos matemáticos en macroeconomía. Me re fiero a alumnos en la Universidad Javeriana, Universidad de los Andes, Universidad del Valle y del Instituto de Matemáticas Puras y Aplicadas de Río de Janeiro. De manera más especí fica, agradezco a Katherine Aguirre, Aguirre, Andrés Arias, Olga Lucia Briñez, Marcela Eslava, Juanita Gonzalez, Franz Hamann, Luisa Estefanía Valdéz, Valdéz, Nini Johanna Serna y Mauricio Villamizar. Cualquier error es mi responsabilidad. Finalmente quiero agradecer al Banco de la República por la disponibilidad de tiempo y el ambiente propicio durante el tiempo que estuve en el departamento de investigaciones económicas donde fue escrita gran parte de esta monografía.
iii
iv
PREFACE
Capítulo 1
Economía Dinámica En términos generales la actividad económica no puede modelarse como un proceso estático en el tiempo y en condiciones de certidumbre. En la vida real, este proceso es dinámico e incierto y por lo tanto es natural preguntarse hasta que punto la teoría del equilibrio general, como la formularon Arrow y Debreu permite describir la toma de decisiones económicas más realistas. Es bien sabido que el modelo básico de equilibrio general (Arrow-Debreu en infinitas dimensiones) es lo su ficientemente general como para abarcar en términos ideales esta situación. En este modelo el espacio de consumo puede tomarse de tal manera que incluya decisiones intertemporales o contingentes a la realización de eventos aleatorios. Basta indexar los diferentes bienes al momento o evento en el cual son consumidos como cualquier otra característica que los define. De hecho, desde el punto de vista teórico este abordaje es muy importante. Sin embargo, también es evidente que este modelo no explota de manera explícita la dimensión temporal del problema ni tampoco reconoce la imposibilidad, bastante real en la práctica, de diversificación del riesgo que resulta de la realización de los eventos aleatorios.1 En este capítulo introduciremos de manera informal los métodos matemáticos que serán utilizados en el resto del libro. En la sección 1.1 estudiaremos el prototipo de modelo que aparece en el estudio de economías dinámicas, el modelo básico de crecimiento económico, que utilizaremos para introducir las dos técnicas principales para resolver modelos dinámicos. El primero pertenece a los métodos de la Programación Dinámica, sección 1.2 y el segundo a los de Control Óptimo (i.e. el método de Lagrange o, más generalmente, el método del Hamiltoniano), sección 1.3. La característica fundamental del primer método, como quedará claro más adelante, es que explota la naturaleza recursiva del problema. Es decir, el hecho de que la estructura del problema de decisión es la misma en todos los períodos. El segundo método, explota la geometría del problema. 1 Existen
principalmente dos modelos para el estudio de las economías a lo largo del tiempo con o sin incertidumbre. El modelo de agentes con vidas in finitamente largas y el modelo de generaciones traslapadas. En este libro nos dedicaremos únicamente al primero.
1
2
CAPÍTULO 1. ECONOMÍA DINÁMICA
El modelo básico de crecimiento es un problema en el cual las decisiones no dependen para nada de eventos aleatorios y en el cual éstas son tomadas por un agente representativo (o planificador central) sujeto a una secuencia de restricciones de recursos. Más adelante permitiremos que las decisiones dependan de eventos aleatorios y explicaremos cómo extender los métodos de la Programación Dinámica y Control Óptimo al caso estocástico.
1.1.
El Modelo Básico de Crecimiento
El problema que queremos estudiar es el del crecimiento de una economía cuando sus agentes deben determinar de manera óptima cuánto consumen y cuánto ahorran en cada instante del tiempo. La parte ahorrada en cada momento se puede invertir en acumulación de capital para el período siguiente, permitiéndole aumentar su producción y por lo tanto sus posibilidades de consumo. Un modelo sencillo de crecimiento en un ambiente determinístico (el modelo básico de crecimiento) pero que a la vez ilustra plenamente los métodos de la Programación Dinámica podría especificarse de la siguiente manera (Ramsey [1928], Cass [1965] y Koopmans [1965]). Supongamos que existen una gran cantidad de agentes idénticos, con vidas infinitamente largas y que en cada período del tiempo deben decidir cómo utilizar el único bien de consumo que se produce en esta economía. Sea yt la cantidad producida de este bien durante el período t utilizando como único insumo la cantidad de capital kt . Suponemos que todas las variables son per capita y que la población no crece. Las posibilidades de producción de esta economía las representamos a través de una función de producción neoclásica f (ver Apéndices), de tal manera que yt = f (kt ). Hacemos las hipótesis habituales sobre f : f es una función continua, estrictamente creciente, estrictamente cóncava y f (0) = 0. Además supondremos que Lim f 0 (k) → ∞ (condición de Inada), y Lim f 0 (k) → 0. k→0 k→∞ En el período t el producto se divide entre el consumo en este período c t , y la inversión bruta i t . Es decir: ct + it = f (kt ), ct , kt ≥ 0 para todo t
(1.1)
Asumimos que el capital se deprecia a una razón constante δ ∈ [0, 1]; luego la dinámica del capital es: kt+1 = (1 − δ )kt + it
(1.2)
Además, suponemos que cada agente tiene una misma cantidad de capital inicial k0 ≥ 0. Finalmente, los agentes tienen preferencias U sobre todas las secuencias de consumo; asumimos que dichas preferencias son de la siguiente forma: ∞
U (c0 , c1 ,...) =
X t=0
β t u(ct ), β ∈ (0, 1)
(1.3)
1.2. PROGRAMACIÓN DINÁMICA
3
Donde u(ct ) representa la utilidad del consumo en el mismo instante t, y β es un factor que descuenta la utilidad de consumo en el futuro. Implícitamente, hemos supuesto que los agentes le dan más importancia al presente. Otra posible interpretación de β es que representa la probabilidad de no morir de un período a otro. Así mismo, podríamos considerar el mismo problema con un beta diferente cada período (β t ∈ (0, 1)), pero por simplicidad no consideramos ese caso. La pregunta que queremos responder en esta economía es: ¿Dado un k 0 ≥ 0, cómo deben consumir los agentes a través del tiempo (c0 , c1 ,...) de tal forma que maximicen su utilidad 1.3, sujeto a la restricción de recursos 1.1 y a la ecuación 1.2 que describe la evolución de la única variable de estado de esta economía, kt ?. Esta terminología relacionada con variables de estado, será clara más adelante. Suponemos que u satisface las mismas propiedades que f y que además, es acotada (esta última garantiza que 1.3 tiene sentido para toda secuencia (c0 , c1 ,...)). Formalmente el problema es: ∞
m´ ax
X
β t u(ct ), β ∈
(0, 1)
t=0
kt+1 ct + it
= (1 − δ )kt + it = f (kt ), ct , kt ≥ 0 para todo t.
Este problema lo llamamos el Problema Secuencial.
1.2. Programación Dinámica Supongamos que dado k0 nosotros conseguimos resolver el problema anterior y el valor máximo de la función objetivo lo denotamos por v(k0 ) (v se llama la función valor ). Imaginemos ahora el problema del agente representativo un período más tarde. Dada una cantidad de capital inicial k 1 , el agente representativo debe resolver un problema con la misma estructura del anterior y su valor máximo debe ser v(k1 ), de esta manera, si interpretamos el coeficiente β como un factor que trae a valor presente las utilidades futuras del agente , entonces βv(k1 ) no es más que el valor presente de la utilidad máxima que puede conseguir el agente representativo desde el período uno en adelante, dado que en el período uno tenía una cantidad inicial de capital k1 . Si k0 es el capital inicial en el primer período, entonces: u(f (k0 ) + (1 − δ )k0 − k1 ) + βv(k1 ),
es la utilidad presente dados k 1 y k 0 , y el objetivo del agente representativo es entonces escoger k 1 . Luego, su problema se reduce a: m´ ax {u(f (k0 ) + (1 − δ )k0 − k1 ) + βv(k1 )} k1
s.a : 0 ≤ k1 ≤ f (k0 ) + (1 − δ )k0
4
CAPÍTULO 1. ECONOMÍA DINÁMICA
o equivalentemente, m´ ax{u(c0 ) + βv((1 − δ )k0 + f (k0 ) − c0 )} c0
s.a : 0 ≤ c0 ≤ f (k0 ) + (1 − δ )k0
Luego, v debe satisfacer: v(k0 ) = s.a
m´ ax{u(c0 ) + βv((1 − δ )k0 + f (k0 ) − c0 )} c0
:
0 ≤ c0 ≤ f (k0 ) + (1 − δ )k0
Obsérvese que en la expresión anterior no hay nada especial con el argumento en los períodos 0 y 1 que no pueda ser usado en los períodos n y n + 1 para cualquier n. Luego debe ser que para todo período n se cumple la ecuación funcional:
v(kn ) = m´ ax {u(cn ) + βv((1 − δ )kn + f (kn ) − cn )} cn
s.a
:
(1.4)
0 ≤ cn ≤ f (kn) + (1 − δ )kn
Así, si conociéramos la función v , entonces la secuencia óptima {cn } quedaría caracterizada como las soluciones al último problema para cada uno de los períodos. La formulación anterior, en términos de una ecuación funcional, pone en evidencia el carácter recursivo del problema. La ecuación 1.4 la llamaremos la ecuación de Bellman . Olvidándonos de los subíndices, vemos que si k es el monto de capital en un cierto período, entonces el consumo óptimo c en el mismo período es la solución al problema: v(k) = m´ ax u(c) + βv((1 − δ )k + f (k) − c)) c
s.a
:
(1.5)
0 ≤ c ≤ f (k) + (1 − δ )k
Este problema lo llamamos el Problema Funcional asociado al Problema Secuencial con el que iniciamos esta sección. Visto de esta forma, el problema se reduce a encontrar una función real v tal que satisfaga el problema 1.5. Una forma de ver este problema es la siguiente: sea T una aplicación del conjunto de funciones continuas y limitadas sobre R , definida por la siguiente regla: dada g, T [g] (k) = s.a
:
m´ ax{u(c) + βg((1 − δ )k + f (k) − c)} c
0 ≤ c ≤ f (k) + (1 − δ )k
Más adelante veremos que el operador T está bien de finido (ésta es una aplicación sencilla del Teorema del Máximo). Ahora, el problema 1.5 es equivalente a encontrar un punto fi jo del operador T , luego debemos demostrar la existencia del punto fi jo y en lo posible dar un método para encontrarlo.2 La idea consiste 2 Una
función v es punto fi jo de T si T [ v ] = v.
5
1.2. PROGRAMACIÓN DINÁMICA
en dar una estructura especial al conjunto de las funciones continuas y acotadas (una métrica que lo haga un espacio métrico completo 3 ) y probar que el operador T es una contracción 4 . De esta manera podemos aplicar el Teorema del Punto Fijo para Contracciones y así obtener tanto la existencia de una función v que resuelva el problema (4), como un método para encontrarla dado por este mismo teorema. Sin entrar en mayores detalles por ahora, utilizaremos el Teorema del Punto Fijo para contracciones para resolver el ejemplo siguiente. Informalmente este teorema nos dice que si T es una contracción, entonces existe una única v, punto fi jo de T y además, dado cualquier v 0 en el dominio T se tiene: l´ım T n (v0 ) = v
n→∞
El método de programación dinámica afirma que, bajo ciertas condiciones, v (k0 ) es el valor máximo del problema secuencial cuando el capital inicial es k 0 . Adicionalmente, si h es la función de finida sobre los stocks de capital k tal que c = h(k) es el consumo que resuelve el problema de maximización: m´ ax {u(c) + βv((1 − δ )k + f (k) − c))} c
s.a : 0 ≤ c ≤ f (k) + (1 − δ )k
para todo k, entonces la secuencia {kt , ct } de finida por kt+1 = f (kt ) − h(kt ) + (1 − δ )kt , ct = h(kt ) es una secuencia que resuelve el problema secuencial. La función h la llamamos la función de política . El siguiente caso particular del modelo básico de crecimiento ilustra las ideas principales. Ejemplo 1 (Brock y Mirman [1972]). Sea u(ct ) = log(ct ), f (kt ) = ktα donde α ∈ (0, 1) y δ = 1 (la función u no satisface todas las hipótesis impuestas anteriormente (en particular, no es acotada); sin embargo, más adelante veremos como adaptar la teoría a este caso) entonces el problema de crecimiento discutido hasta ahora se reduce a: ∞
m´ ax {ct }
X
β t log(ct )
t=0
kt+1 = k tα − ct , ct , kt ≥ 0
s.a :
El problema funcional asociado es: v(k) = m´ ax{log(c) + βv(k α − c)} c
s.a 3 Una
:
0 ≤ c ≤ kα
métrica es una función d del espacio X × X en los números Reales. La función toma dos elementos de dicho espacio y les asigna un valor real llamado distancia. Toda métrica debe cumplir con tres condiciones: d (x, x) = 0, d(x, y ) = d (y, x) ≥ 0 y la desigualdad del triángulo. Un espacio métrico es aquel al que se le ha asignado una métrica. Por otra parte, un espacio métrico completo es aquel en el que toda sucesión de Cauchy converge (Ver Apéndice). 4 Un operador T en un espacio métrico h X, di en los Reales, se dice que es una contracción si existe β ∈ (0, 1) tal que: d (T ( x) , T ( y)) 6 β · d(x, y ) para todo x, y ∈ X.
6
CAPÍTULO 1. ECONOMÍA DINÁMICA
Para resolver este problema utilizaremos el método dado por el Teorema del Punto Fijo para contracciones. Sea v0 = 0, entonces: v1 (k) =
m´ ax{log(c)} c
0 ≤ c ≤ kα
:
s.a
este problema tiene la solución de esquina c = k α , luego v1 (k) = α log(k). Para calcular v2 resolvemos el problema: v2 (k) = m´ ax{log(c) + βα log(k α − c)} c
que lo reseulve c =
kα 1+βα
0 ≤ c ≤ kα
:
s.a
, luego
v2 (k) = α(1 + βα)log(k) + βα log
Ahora de igual forma podemos deducir que: v3 (k) =
µ ¶ βα 1 + βα
2 2
− log(1 + βα).
2
α(1 + βα + β α )log(k) + β α log
µ
¶
µ ¶ βα 1 + βα
+
βα + β 2 α2 (βα + β α )log 1 + βα + β 2 α2 2 − log(1 + βα + β α2 ) − β log(1 + βα) 2 2
µP ¶
luego en general vemos que vn (k) = An + α
n−1 i=0
(βα)i log(k), donde An es
una constante que debemos determinar. Se sigue que v(k) = A + 1−αβα log(k) donde A es una constante que podemos encontrar simplemente observando que v debe satisfacer: v(k) = m´ ax{log(c) + βv(k α − c)} c
s.a
:
0 ≤ c ≤ kα
Es decir, A+
α α log(k) = m´ ax{log(c) + β (A + log(k α − c))} c 1 − βα 1 − βα α s.a : 0 ≤ c ≤ k
Se puede mostrar que la solución a este problema es c = (1 − βα)kα y v(k) = βα 1 α 1−β (log(1 − βα) + 1−βα log(βα)) + 1−βα log(k). De esta forma tenemos que la variable de estado evoluciona según esta formula: kt+1 = β αktα y la escogencia óptima para la variable de control, dada la variable de estado, es: ct = (1 − βα)ktα .
Como mencionamos anteriormente, la función que expresa la escogencia óptima de las variables de control en términos de las variables de estado se llama la función de política. Por lo tanto, en este caso la función de política es ct = (1 − βα)kta
7
1.2. PROGRAMACIÓN DINÁMICA
Una vez resuelto el problema de la existencia, el siguiente paso es describir de la manera más precisa posible las propiedades de la función valor v y de la trayectoria óptima {kt } asociada a la trayectoria óptima del consumo. Si bien algunas características de la solución van a depender de la forma particular de las funciones de producción y utilidad, otras características muy importantes se cumplen de manera más general como por ejemplo, la unicidad de la solución óptima y la estabilidad de las trayectorias . Supongamos que el problema secuencial (excepto por el valor del capital inicial) tiene una solución de estado estacionario. Esto es, una solución en la que todas las variables crecen a una tasa constante e igual a cero, por ejemplo kt = k ∗ para todo t. El problema de estabilidad consiste en saber si, comenzando con un valor inicial de capital k0 diferente al valor k∗ , la solución óptima al problema secuencial converge con el tiempo a la solución de estado estacionario. Es decir, si k t → k∗ cuando t → ∞. En el ejemplo anterior tenemos que existen dos soluciones de estado esta1 cionario. Una corresponde a k ∗ = 0 y la otra a k ∗ = (βα) 1 α . En el primer caso, es fácil ver que no se cumple la propiedad de estabilidad mientras que en el segundo, como α ∈ (0, 1) si se cumple la propiedad de estabilidad. Posteriormente estudiaremos esta propiedad para un problema más general. Ejemplo 2 (Long y Plosser [1983]) Consideremos el modelo básico de crecimiento con oferta laboral. Sea nt ∈ (0, 1) la cantidad de trabajo que ofrece el agente representativo y l t la cantidad de tiempo que dedica al ocio. Supongamos que lt + nt = 1. Sea u(ct , lt ) = θ log(ct ) + (1 − θ) log(lt ); f (kt , nt ) = k tα n 1t −α y δ = 1. Así, el problema secuencial es: −
∞
Max s.a kt+1
X
β t (θ log(ct ) + (1 − θ) log(1 − nt ))
t=0
: = ktα n 1t −α − ct
El problema funcional asociado es: v(k) =
m´ ax{θ log(c) + (1 − θ) log(1 − n) + βv(kα n1−α − c)} (1.6) c,n
s.a 0
: 6
c 6 k α n1−α
0
6
n61
Aplicando la misma metodología del ejemplo anterior, suponemos que v0 = 0. Es claro que la solución está en el extremo para el consumo y es interior para el empleo. Luego podemos escribir el lagrangiano asociado como (obsérvese que este es un problema de optimización estático): L = θ log(kα n1−α ) + (1 − θ) log(1 − n)
Las condiciones de primer orden implican que: n =
θ(1 − α) 1 − θα
8
CAPÍTULO 1. ECONOMÍA DINÁMICA
Reemplazando en la restricción obtenemos: c = k
α
∙ θ(1
− α)
1 − θα
¸
1−α
y por lo tanto la función v1 (k) es:
Ã
v1 (k) = θ log k
α
∙ θ(1
− α)
1 − θα
¸ ! 1−α
µ
¶
θ(1 − α) + (1 − θ)log 1 − = 1 − θα
= αθ log k + A1
donde A1 es una constante. Teniendo v1 (k) podemos calcular v2 (k): v2 (k) = m´ ax{θ log(c) + (1 − θ) log(1 − n) + βαθ log(kα n1−α − c) + βA(1.7) 1} c,n
s.a 0 0
: 6 6
c 6 k α n1−α n61
Ahora, podemos derivar las condiciones de primer orden con respecto a c y n : [c] [n]
θ βθα − α 1−α =0 c k n −c 1−θ βθα : − + α 1−α (1 − α)(k αn−α ) = 0 1−n k n c − :
Con un poco de álgebra encontramos encontramos: n =
θ(1 + αβ )(1 − α) 1 − αθ + βθα(1 − α)
c =
kα θ(1 + αβ )(1 − α) 1 + αβ 1 − αθ + βθα(1 − α)
∙
¸
1−α
Reemplazando en la ecuación 1.7 obtenemos: v2 (k) = αθ(1 + αβ ) log k + A2 ,
donde A2 es una constante. Si continuamos iterando es posible encontrar un patrón en las iteraciones: vn (k) = αθ(1 + αβ + ... + αn−1 β n−1 )log k + An
por lo tant,o un buen candidato a ser punto fi jo es: v =
αθ log k + A 1 − αβ
9
1.3. EL MÉTODO DE LAGRANGE
Ahora, debemos veri fi car que efectivamente este candidato es el correcto; reemplazando en la ecuación 1.6 y de nuevo escribiendo las condiciones de primer orden obtenemos: [c]
:
[n]
:
θ βαθ = c (1 − αβ ) (kα n1−α − c) 1−θ βαθ(1 − α)kα n−α = 1−n (1 − αβ ) (k α n1−α − c)
Simpli fi cando encontramos estos candidatos a las funciones de política: n = c =
θ(1 − α) 1 − α (θ + β − θβ ) (1 − αβ )k
α
µ
θ(1 − α) 1 − α (θ + β − θβ )
(1.8)
¶
1−α
(1.9)
Finalmente, reemplazando en la ecuación 1.6 obtenemos: αθ log k + A 1 − αβ
"
= θ log (1 − αβ )k
α
µ
θ(1 − α) 1 − α (θ + β − θβ )
¸
¶ # 1−α
θ(1 − α) +(1 − θ)log 1 − + 1 − α (θ + β − θβ )
∙
µ ¶ µ
αθ β log[kα 1 − αβ −(1 − αβ )k
α
∙
θ(1 − α) 1 − α (θ + β − θβ )
θ(1 − α) 1 − α (θ + β − θβ )
¸
1−α
¶
1−α
] + βA
No es di fi cil convencerse de que existe una constante A que resuelve esta ecuación. Las ecuaciones 1.8 y 1.9 efectivamente son las funciones de política que estábamos buscando y describen las trayectorias óptimas del consumo c y del trabajo n. Obsérvece que el nivel de empleo es independiente del estado de la economia k. Esto re fl eja el hecho de que la función de utilidad es logarítmica en el trabajo y por lo tanto, el efecto ingreso y sustitución se cancelan. Sustituyendo el consumo y el trabajo óptimos en la ecuación de acumulación del capital, encontramos la trayectoria óptima del capital: θ(1 − α) kt+1 = αβ 1 − α (θ + β − θβ )
∙
La inversión será:
¸
1−α
ktα
I t = k t+1 − (1 − δ )kt = k t+1
1.3. El Método de Lagrange Un método mucho más antiguo que el de la programación dinámica y que se utilizaba bastante para resolver problemas con una estructura similar al problema secuencial que hemos estado estudiando, es el conocido como las Ecuaciones
10
CAPÍTULO 1. ECONOMÍA DINÁMICA
de Euler o más generalmente como el Método de Lagrange (este a su vez, es un caso particular de la teoría del control óptimo) 5 . Una vez más utilizaremos el modelo básico de crecimiento para ilustrar las ideas principales de este método. Obsérvese que el problema de optimización en el modelo básico de crecimiento se puede escribir de forma equivalente como: ∞
m´ ax {ct }
s.a
:
X
β t u (f (kt ) − kt+1 + (1 − δ )kt )
t=0
0 ≤ kt+1 ≤ f (kt ) + (1 − δ )kt k0 dado.
Para simplificar un poco la notación introduciremos las siguientes de finiciones. Sea r(kt , kt+1 ) = u (f (kt ) − kt+1 + (1 − δ )kt ) y Γ(kt ) = {k ∈ R : 0 ≤ k ≤ f (kt ) + (1 − δ )kt } entonces el problema del modelo básico de crecimiento es equivalente a: ∞
m´ ax
{ct ,kt }
s.a
:
kt+1
∈
X
β t r(kt , kt+1)
t=0
Γ (kt )
k0 dado.
Ahora, supongamos que {kt∗ } es una secuencia que resuelve el problema. ∗ Intuitivamente, el valor óptimo k t+1 debe ser solución al problema:
© ¡ ¢ ¡ m´ ax
kt+1 ∈Γ(kt ) ∗
ª
∗ r(kt∗ , kt+1) + βr(kt+1 , kt+2 )
Es decir, si la solución es interior, es necesario que la secuencia satisfaga lo que se conoce como las ecuaciones de Euler :
¢
∗ ∗ ∗ ∂r kt∗ , kt+1 ∂r kt+1 , kt+2 + β = 0, t = 0,... ∂k t+1 ∂k t+1
que es una ecuación en diferencias finitas de segundo orden. Obsérvese que solo tenemos una condición inicial k0 , luego debe faltar algo más para caracterizar completamente la solución, de lo contrario, existirian in finitas soluciones, una para cada k 1 . La condición que está faltando es la condición de transversalidad : t ∂r
lim β
t→∞ 5 Las Ecuaciones de Euler,
¡ ¢
∗ kt∗ , kt+1 kt∗ ≤ 0 ∂k t
(1.10)
como su nombre lo indica, se deben al matemático suizo Leonard Euler (1707-1783). Euler ha sido uno de los cientí ficos más prolí ficos e importantes de la historia. Su trabajo en ésta área lo hizo en un contexto continuo, dando inicio a lo que se conoce como el cálculo de variaciones. La Teoría del Control Óptimo fue desarrollada principalmente por matemáticos rusos en la primera mitad de este siglo, principalmente por Pontryagin y sus colaboradores. La programación dinámica se debe al matemático norteamericano Richard Bellman quien introdujo el método en una monografía publicada en el año 1957 (Bellman [1957]).
11
1.4. EJERCICIOS Y SOLUCIONES
En los próximos capítulos discutiremos una interpretación de esta condición. Intuitivamente, a lo largo de la trayectoria óptima el valor presente de la utilidad marginal de una unidad adicional de capital en el in finito no debe ser positiva. Ejemplo 3 (Brock y Mirman [1972] una vez más). Aplicando las ecuaciones de Euler al ejemplo de Brock y Mirman obtenemos: −
1 ∗ kt∗α − kt+1
∗α−1 αkt+1 + β ∗α =0 ∗ kt+1 − kt+2
(1.11)
Es fácil obtener la solución de estado estacionario a partir de esta ecuación en diferencias fi nitas. Sin embargo, no es obvio cómo utilizar la condición de transversalidad, ecuación 1.10, para resolver esta ecuación por fuera del estado estacionario. De hecho, más adelante dedicaremos un buen esfuerzo a explotar la condición de transversalidad. Por el momento, basta con observar que la anterior k ecuación se puede reducir a una ecuación de primer orden. Sea xt = ktt+1 α , entonces el sistema es equivalente a: ∗
∗
µ
1 − xt+1 1 − xt
¶
xt = αβ
y la condicion de transversalidad se puede reescribir como: lim β t
t→∞
α 1 − xt
= 0.
Ahora basta con observar que una solución particular de estas dos ecuaciones es xt = αβ, es decir, kt+1 = αβk tα que genera una dinámica que satisface simultaneamente las ecuaciones de Euler y la condición de transversalidad.
En este capítulo hemos hecho un tour por las ideas más importantes que surgen en el estudio de las economías a lo largo del tiempo y a las cuales nos dedicaremos a estudiar de una manera más formal en los próximos capítulos.
1.4. Ejercicios y Soluciones Ejercicio 1 Supongamos que estamos interesados en la solución de estado estacionario del ejemplo 1. Sea r la tasa de interés real de la economía y suponga 1 que el factor de descuento β es igual a 1+r . Probar que el nivel de consumo en el estado estacionario es una función decreciente de la tasa de interés. Solución 1 Para mostrar que el consumo en estado estacionario es una función decreciente de la tasa de interés, utilizaremos la regla de la cadena: ∂c ∗ ∂c ∗ ∂β = ∂r ∂β ∂r
Del ejemplo 1 sabemos que: k∗ = (βα) 1
1 α
−
⇒ c∗ = (1 − βα)(βα) 1
1 α
−
12
CAPÍTULO 1. ECONOMÍA DINÁMICA
Derivando c∗ con respecto a β obtenemos: α
∂c ∗ α(βα) 1 α = (1 − β ) > 0 ∂β β (1 − α) −
Derivando β con respecto a r obtenemos: ∂β = −(1 + r)−2 < 0 ∂r
De estas dos ecuaciones se desprende que el nivel de consumo del estado estacionario es una función decreciente de la tasa de interés. Ejercicio 2 Mostrar formalmente que en el ejemplo de Brock y Mirman.
1. Se cumple la propiedad de estabilidad para k∗ > 0 pero no para k∗ = 0. 2. Si el capital inicial esta por debajo del capital de estado estacionario, la tasa de crecimiento del capital es una función decreciente del nivel de capital. Esta es una ilustración de la hipótesis de convergencia en la teoría del crecimiento 3. Supongamos que f (kt ) = Aktα donde A es una constante. Mostrar que la dinámica óptima del capital es kt+1 = βαAktα y la función de política es ct = (1 − βα)Aktα . Utilizando dos valores diferentes de A ilustrar la hipótesis de convergencia condicional: controlando por diferentes parámetros fundamentales ( A diferentes) mostrar que los países que están relativamente más lejos de su estado estacionario crecen más rápido que los que están relativamente más cerca. Ejercicio 3 El problema de comerse un pastel (tomado de Stockey — Lucas [1989]). Supongamos que tenemos una cantidad x 0 de pastel. Cada período cortamos un poco y nos lo comemos. La utilidad instantánea de comerse un pedazo es igual al logaritmo del tamaño del pedazo.
1. Escribir el problema como un problema de programación dinámica. 2. Encontrar la función valor y la función de política (sugerencia: la función valor es logarítmica). Solución 2 (Ejercicio 3) Llamemos xt la cantidad de pastel que queda en el periodo t. El pedazo de pastel que nos comemos puede de fi nirse como la diferencia entre el pastel que tenemos en t y el que queda en t + 1. Así, el problema puede ser formulado de la siguiente forma: ∞
m´ ax {xt }
X
β t ln(xt − xt+1 )
t=0
0 ≤ xt+1 ≤ xt x0 dado.
13
1.4. EJERCICIOS Y SOLUCIONES
Para usar una notación similar a la del capítulo, podemos replantear el problema secuencial de la siguiente manera: ∞
m´ ax
X
β t ln(ct )
t=0
0 ≤ ct ≤ xt y xt+1 = x t − ct
Donde ct es la cantidad de pastel que nos comemos en t. El problema funcional es: v(xt ) = m´ ax{ln(ct ) + βv(xt − ct )} 0 ≤ ct ≤ xt
Utilizando la sugerencia para resolver el problema (o alternativamente, hacer algúnas iteraciones para convencerse de que esta es un buen candidato), suponemos que la función valor es de la forma: donde A y B constantes.
v(xt ) = A ln(xt ) + B
Las condiciones de primer orden del problema funcional implican: xt+1 =
β xt (1 + βA)
Substituyendo en la ecuación funcional:
µ
¶
βA A ln(xt )+B = v(xt ) = ln(xt )+ln 1 − +β A ln 1 + βA
∙
µ ¶ βA 1 + βA
+ A ln(xt ) + B
Utilizando el método de coe fi cientes indeterminados, podemos veri fi car que A y B son constantes: A = B
1 1 − β
µ
¶
βA = ln 1 − + β A ln 1 + βA ln(1 − β ) β ln (β ) = + 1 − β (1 − β )2
∙
Luego: xt+1 = βxt
µ ¶ ¸ βA 1 + βA
+B
¸
14
CAPÍTULO 1. ECONOMÍA DINÁMICA
Bibliografía [1] Bellman, R. (1957). Dynamic Programming. Princeton University Press.
[2] Brock, W.A. Mirman, L. (1972). Optimal Economic Growth and Uncertainty: The No Discounting Case. International Economic Review, Vol 14, No. 3, pp. 560 - 573.
[3] Cass, D. 1965. Optimum Growth in an Aggregative Model of Capital Accumulation. Review of Economic Studies. 32:3, 233-240.
[4] Koopmans, T. 1965. On the concept of optimal growth, en: The Econometric Approach to Development Planning (Rand-McNally).
[5] Long, John B, Jr and Plosser, Charles I, 1983. Real Business Cycles Journal of Political Economy, Vol. 91 (1) pp. 39-69.
[6] Ramsey, Frank P. 1928. A mthematical theory of saving. Economic Journal 38:543-559.
[7] Stokey, N. And Robert Lucas, Jr. with Edward Prescott. 1989. Recursive Methods in Economic Dynamics. Harvard University Press.
15
16
BIBLIOGRAFÍA
Capítulo 2
Programación Dinámica: El caso determinístico El objetivo en esta parte será formalizar los métodos presentados en el capítulo anterior para un problema lo su ficientemente general como para incluir algunos modelos bastante importantes que se encuentran en la literatura, como por ejemplo, los modelos de crecimiento y los modelos de ciclos reales. 1 El problema típico (o problema secuencial) que queremos resolver tiene la forma: ∞
sup
X
β t r(xt , ut )
{ut } t=0
s.a
:
xt+1 = g (xt , ut ) ,
ut x0
∈
Γ(xt ), t =
∈
X dado,
0, 1, 2,...
donde xt ∈ Rn , ut ∈ Rm , X ⊂ Rn , r y g son funciones de X × R m en R y X respectivamente; y Γ es una correspondencia de X en Rm (ver Apéndice). La función r la llamamos función de retorno (instantáneo) y usualmente será la utilidad instantánea del agente representativo. Las variables xt se llaman variables de estado que típicamente son el monto de capital o la cantidad de activos que tiene el agente representativo en el instante t . La función g describe la evolución de las variables de estado dada una escogencia de las variables ut que llamamos variables de control. Finalmente, la correspondencia Γ describe las posibilidades de escogencia de las variables de control que tiene el agente cuando la economía se encuentra en un estado xt . La idea de todo esto es la siguiente: las variables xt caracterizan el estado de la economía, es decir, el ambiente económico frente al cual un agente debe tomar una decisión. Como ya habíamos señalado, x t puede ser el monto de capital (como en el modelo básico de crecimiento) que existe en la economía, lo cual determina las posibilidades de 1 Esta
parte está basada en el capítulo 4 de Stokey-Lucas [1989].
17
18CAPÍTULO 2.
PROGRAMACIÓN DINÁMICA: EL CASO DETERMINÍSTICO
producción de las firmas y consecuentemente, el nivel de consumo o inversión, en este caso las variables de control, que los agentes pueden escoger. Esto se captura a través de la restricción u t ∈ Γ(xt ). De esta forma, dado x 0 (el estado inicial de la economía) el agente observa las posibilidades que tiene para escoger el control inicial u0 sabiendo que éste le determinará el estado de la economía (x1 = g (x0 , u0 )) y las posibilidades de escogencia del control un período mas tarde (u1 ∈ Γ(x1 )); y así sucesivamente. Bajo estas restricciones el agente debe procurar escojer los controles con el fin de maximizar el valor presente de los retornos futuros. Obsérvese que el ejemplo de Brock y Mirman de las notas anteriores es un caso particular de este tipo de problemas. Ahí x t = kt , ut = ct , r(ct ) = log (ct ) , g(kt , ct ) = k tα − ct , Γ(kt ) = {ct : 0 ≤ c t ≤ k tα } y X = R ++ . De igual forma, es fácil ver que el modelo básico de crecimiento considerado del capítulo anterior, también es un caso particular del problema secuencial que estamos estudiando en esta parte. A todo problema secuencial (PS) como el de arriba, le asociamos un problema funcional (PF): v(x) = sup{r(x, u) + βv(g(x, u))} u
s.a
:
u ∈ Γ(x).
La función h que nos da el valor de u que resuelve el problema anterior para cada x, la llamamos función de política ( o correspondencia de política según sea el caso). Nuestro objetivo es ahora encontrar las condiciones bajo las cuales se cumple el Principio de Optimalidad de Bellman : Sea v la función que resuelve el problema funcional entonces, bajo ciertas condiciones, v(x0 ) es el valor máximo que puede alcanzar el problema secuencial y si {(x∗t , u∗t )} es tal que: v(x∗t ) = r(x∗t , u∗t )+ βv(g(x∗t , u∗t )) para t = 0, 1, 2,..., donde u ∗t ∈ Γ(x∗t ), x∗t+1 = g (x∗t , u∗t ) , x∗0 = x 0 entonces, {(x∗t , u∗t )} resuelve el problema secuencial. Más aún, probaremos un converso para cada una de las a firmaciones anteriores. Comencemos por hacer algunas hipótesis básicas para que el problema secuencial tenga sentido. Definición 1 Una secuencia de estados y controles {(xt , ut )}t=0,1..., en X ×Rm es una dinámica factible desde x0 para el problema secuencial, si ut ∈ Γ(xt ) y xt+1 = g (xt , ut ) para t = 0, 1, 2,...,. En este caso decimos que la secuencia de controles {ut } es un plan factible desde x0 . El conjunto de todas las dinámicas factibles desde x 0 lo denotamos por Π(x0 ). Frecuentemente, y abusando un poco del lenguaje, diremos que {xt }t=0,... es una dinámica factible desde x0 .
Las siguientes hipótesis aunque, no las más generales, serán su ficientes para desarrollar las ideas principales. Condición 1 todo x).
Γ(x) es
diferente de vacio para todo x ∈ X (i.e., Γ(x) 6 = φ para
19 Condición 2 β ≥ 0 y para todo x0 ∈ X , existe M x0
∈ R tal que
P ∞
β t r(xt , ut ) ≤
t=0
M x0 para toda dinámica factible {xt }t=0,1... desde x0 .
Anotación 1 La forma más común para garantizar la condición anterior es utilizando lo que en la literatura se conoce como condición de no-ponzi. Más adelante volveremos sobre este punto.
Esta condición asume, implícitamente, que para toda dinámica factible desde x0 la suma infinita existe. Además, en las condiciones anteriores pemitimos que para ciertas dinámicas fáctibles la suma sea −∞. Sin embargo: Condición 3 β ≥ 0 y para todo x0 ∈ X , existe una dinámica factible {(xt , ut )}t=0,1,... desde x0 y un mx0 ∈ R tal que la secuencia de sumas parciales {S n }n=0,1,.. , S n = n
P
β t r(xt , ut ) satisface mx0 ≤ S n para todo n.2
t=0
Es claro que si r es acotada y β ∈ [0, 1) entonces las condiciones 2 y 3 se cumplen. En los ejercicios se dan otras condiciones bajo las cuales la condición 2 se cumplen. Bajo las condiciones anteriores podemos definir la función v : X → R donde ∞ v (x0 ) = sup β t r(xt , ut ). Es decir, v(x0 ) es el valor supremo del (PS).
P e
e
e
e
{(xt ,ut )}∈Π(x0 )t=0
Llamamos a la función v la función valor del problema. La primera relación importante entre el (PS) y el (PF) nos la da la siguiente proposición. Proposición 1 Bajo las condiciones 1, 2 y 3, v resuelve el PF.
e
Proof. Sea ε > 0 , u0 ∈ Γ(x0) y x1 = g(x0 , u0 ). Como v (x1 ) es el valor supremo del (PS) con valor inicial x1 , entonces existe una dinámica factible
desde x1 , {(x1 , u1 ), (x2 , u2 ),...} tal que, {(x0 , u0 ), (x1 , u1 ),...} ∈
Γ(x0 ) luego
P ∞
β t−1 r(xt , ut ) ≥ v (x1 ) − ε. Ahora
t=1
v(x0 ) ≥
e
e e
P e ∞
β t r(xt , ut ) ≥ r(x0 , u0 ) + β
t=0
v (x1 ) − βε = r(x0 , u0 ) + β v (g(x0 , u0 )) − βε . Como esto es verdad para todo ε > 0 y u 0 es cualquier elemento Γ(x0 ) entonces tenemos que v(x0 ) ≥ r(x0 , u0 )+ β v (g(x0 , u0 )) para todo u0 ∈ Γ(x0 ) es decir, v(x0 ) ≥ sup {r(x0 , u0 ) + β
e e e e
e
e
u0 ∈Γ(x0 )
v (g(x0 , u0 ))}. Olvidándonos de los subíndices tenemos v(x) ≥ sup {r(x, u) +
e
u∈Γ(x)
β v(g(x, u))}. Ahora, para probar la desigualdad contraria, argumentamos de la misma forma: Sea ε > 0, entonces existe una dinámica factible desde x0 ,
e Pe
{(x0 , u0 ), (x1 , u1 ),...} tal que v(x0 ) ≤
∞
β t r(xt , ut )+ ε ≤ r(x0 , u0 )+β v(x1 )+ ε.
t=0
ee
De nuevo como ε es arbitrario tenemos v (x0 ) ≤ r(x0, u0 )+ β v (x1 ) luego v(x0 ) ≤ 2 Hacer
e
este supuesto utilizando todas las dinámicas factibles es más restrictivo y no se cumpliría para la función de utilidad logarítmica ni para la función de utilidad CES con parámetro σ < 1 .
20CAPÍTULO 2.
PROGRAMACIÓN DINÁMICA: EL CASO DETERMINÍSTICO
sup {r(x0 , u0 )+β v(g(x0 , u0 ))}. Nuevamente, olvidándonos de los subíndices,
e
u0 ∈Γ(x0 )
obtenemos la desigualdad que nos faltaba. La siguiente proposición nos da un converso parcial de la anterior y las condiciones bajo las cuales se cumple una de las a firmaciones del Principio de Optimalidad. Proposición 2 Bajo las condiciones 1, 2 y 3, si v resuelve el PF y l´ım β t v (xt ) = t→∞ 0 para todo x0 ∈ X y dinámica factible {xt } desde x0 (condición de transversalidad fuerte), entonces v = v. Es decir, v resuelve el PS.
e
Proof. Vamos a probar dos cosas. Primero probaremos que v (x0 ) ≥
P ∞
β t r(xt , ut )
t=0
para toda dinámica factible desde x 0 y segundo que para todo > 0, existe una ∞ dinámica factible {(xt , ut )}t=0,1,.. desde x0 tal que v (x0) ≤ β t r(xt , ut ) + ε.
P
t=0
Estas dos afirmaciones implican que v es la función valor del problema. Para demostrar la primera, como v es solución del (PF) entonces para toda dinámica factible {(xt , ut )} ∈ Π(x0 ) tenemos: v (x0 ) ≥ r (x0 , u0) + βv(x1 ) ≥ r (x0 , u0 ) + βr(x1 , u1 ) + β 2 v(x1 ) ≥ .... k
≥
P
β t r(ut , xt ) + β k+1v (xk+1 ) (aqui utilizamos l´ım β t v (xt ) ≥ 0). Usando t→∞
t=0
la condición 2 y haciendo k
→ ∞ obtenemos v (x0 ) ≥
P ∞
β t r(xt , ut ). Para
t=0
demostrar la segunda a firmación, sea ε > 0 arbitrario y {δ n } una secuencia de ∞ números reales tal que δ t β t ≤ ε. Como v resuelve el (PF) entonces existe u 0
P
t=0
tal que v(x0 ) ≤ r(x0, u0 ) + βv(g(x0 , u0 ))+ δ 0 . Sea x1 = g(x0, u0 ) y por la misma razón que arriba, existe u1 ∈ Γ(x1 ) tal que: v(x1) ≤ r(x1, u1 ) + βv(x2 ) + δ 1 . Luego, v(x0 ) ≤ r(x0 , u0) + βr(x1 , u1) + β 2 v(x2 ) + δ 0 + βδ 1 . Continuando de esta manera podemos encontrar una dinámica factible {(xt , ut )} ∈ Π(x0) que ∞ ∞ satisfaga: v(x0 ) ≤ β t r(xt , ut ) + δ t β t + l´m β t v (xt ) (aqui utilizamos l´m β t v (xt ) ≤ 0) ≤
t=0
P ∞
P
β t r(xt , ut ) + ε.
P
t=0
ı
t→∞
ı
t→∞
t=0
Esta proposición muestra que el problema funcional tiene una única solución que satisface la condición de transversalidad.3 4 3 Para
variaciones de esta última proposición cuando la condición de transversalidad no se cumple, ver Stockey-Lucas[1989], ejercicio 4.3. 4 En la literatura de optimización dinámica el término condición de transversalidad generalmente se re fiere a una condición necesaria (o su ficiente) que se debe cumplir en la solución del problema. Usaremos esta terminología. En la literatura de la Teoría del Equilibrio con Mercados Incompletos con horizonte infinito el término generalmente se re fiere a restricciones asintóticas sobre el nivel de endeudamiento en el que pueden entrar los agentes (Ver Magill y Quinzii [1994]). En este último sentido se parece más a una conndición de no-ponzi.
21 Anotación 2 Intuitivamente l´ım β t v (xt ) > 0 implica que se están subutilizant→∞
do los recursos cuando la dinámica factible es {xt }. Si l´m β t v (xt ) < 0 ocurre t→∞ lo contrario. Esta interpretación sugiere que la condición de transversalidad es muy fuerte y por lo tanto no debe ser una condición necesaria (Ver ejercicio 8). Intuitivamente, uno pensaría que esta condición es, a lo sumo, necesaria a lo largo de una dinámica que resuelve el PS. ı
Nuestro objetivo ahora es caracterizar los planes óptimos . Es decir, aquellos planes factibles (si es que alguno existe) que permiten alcanzar el supremo del PS. Obsérvese que un plan factible determina unívocamente una dinámica factible. Proposición 3 Supongamos que se cumplen las condiciones 1, 2 y 3. Sea {(x∗t , u∗t )} una dinámica factible desde x∗0 que permite alcanzar el supremo del PS, entonces:
e¡ ¢
v(x∗t ) = r (x∗t , u∗t ) + β v x∗t+1 , t = 0, 1, 2,...
e
(2.1)
Anotación 3 Obsérvese que aquí podemos cambiar v por v .
e
Proof. Como (x∗t , u∗t ) alcanza el supremo del (PS) entonces: ∗
P ∞
∗
r (x0 , u0 ) + β
t
∗
∗
∗
P ∞
∗
β r(xt+1, ut+1) ≥ r (x0 , u0 ) + β
t=0
dinámica {(x∗1 , u1 ), (x2 , u2 ),...} ∈ Γ (x∗1 ) , luego
P ∞
t
P ∞
β t r(x∗t , u∗t ) =
t=0
β r(xt+1 , ut+1) para toda
t=0
β t r(x∗t+1 , u∗t+1) ≥
t=0
P ∞
β t r(xt+1 , ut+1 ),
t=0
para toda dinámica {(x∗1 , u1 ), (x2 , u2),...} ∈ Γ (x∗1 ) . Ahora como {(x∗1 , u∗1 ), (x∗2 , u∗2 ),...} ∈ ∞ ∗ ∗ β t r(x∗t+1 , u∗t+1). Volviendo a la primera ecuación tenΓ (x1 ) entonces v (x1 ) = emos entonces:
eP P ∞
t=0
t
β r(x∗t , u∗t ) = r (x∗0 , u∗0 ) + β v (x∗1 ) pero la primera sumatoria
e
t=0
es igual a v (x∗0 ) por la definición de {(x∗t , u∗t )} . Esto demuestra la afirmación para t = 0. Para los otros períodos basta utilizar inducción. Finalmente tenemos un converso para esta proposición que nos da las condiciones bajo las cuales se cumple la otra a firmación del Principio de Optimalidad.
e
Proposición 4 Bajo las condiciones 1, 2 y 3, si {(x∗t , u∗t )} es una dinámica factible desde x∗0 que satisface (1) y tal que l´ımβ t v (x∗t ) ≤ 0, (condición de transversalidad débil) entonces {(x∗t , u∗t )} resuelve el PS.
e
Proof. Como {(x∗t , u∗t )} es una dinámica factible desde x∗0 entonces
P ∞
β t r (x∗t , u∗t ) ≤
t=0
v (x∗0 ). Ahora, sustituyendo k veces en (1) el valor de v (x∗t ) en términos de
e¡ ¢ e
k
e P
v x∗t+1 llegamos a: v(x∗0 ) =
e e¡ ¢
β t r (x∗t , u∗t )+β k+1 v x∗k+1 y usando que l´ımsup β t v(x∗t ) ≤
t=0
e
22CAPÍTULO 2.
PROGRAMACIÓN DINÁMICA: EL CASO DETERMINÍSTICO
0 podemos concluir que
or, tenemos
P ∞
P ∞
β t r (x∗t , u∗t ) ≥ v(x∗0 ) luego por la desigualdad anteri-
t=0
β t r (x∗t , u∗t ) = v(x∗0 ).
t=0
e
e
Anotación 4 Intuitivamente, si a lo largo de una dinámica factible que satis face (1) no se subutilizan recursos, entonces esta debe ser una dinámica factible óptima para el problema secuencial. El ejercicio 9 ilustra el caso de un problema dinámico para el cual existe un plan factible que satisface (1) pero que no es un plan óptimo para el problema secuencial.
Como consecuencia inmediata de las cuatro proposiciones anteriores tenemos el siguiente teorema que resume las relaciones entre el (PS) y el (PF). Teorema 1 Equivalencia del (PS) y el (PF): Bajo las condiciones 1, 2 y 3 y si la condición de transversalidad se satisface, el (PS) y el (PF) tienen las mismas soluciones en términos de valor y dinámicas óptimas. Anotación 5 En ocasiones la escogencia inteligente del espacio de estados X puede dar paso a la aplicación rigurosa del método que hemos explicado. Ver el ejemplo 4.
Hasta este punto hemos estudiado la relación entre el problema funcional y el problema secuencial, pero aún no hemos dado un método para resolver ninguno de los dos excepto por el método que introdujimos informalmente en el capítulo anterior para resolver el problema funcional. La programación dinámica no tendría tanto valor si no fuera porque para el (PF) existen varios métodos de solución. Nos concentraremos aquí en el método más importante desde el punto de vista teórico y práctico para resolver el problema funcional, pues éste sirve para demostrar la existencia de soluciones (al igual que sus propiedades más importantes) y a la vez, motiva algunos métodos numéricos importantes para resolver el (PF). Para esto necesitamos pedir un poco más sobre la correspondencia Γ y la función de retorno r que lo que se pide en las condiciones 1, 2 y 3. Condición 4 Γ es una correspondencia de valores compactos (i.e., Γ(x) es = φ para todo x. compacto para todo x), continua y Γ(x) 6 Condición 5 β ∈ (0, 1) y la función retorno es acotada y continua sobre el grafo de Γ.5 Anotación 6 Bajo estas condiciones el supremo se realiza como un máximo.
Es claro que los supuestos 4 y 5 implican 1, 2 y 3. Además β ∈ (0, 1), luego bajo estas condiciones se cumple el Teorema de Equivalencia (Teorema 1). El método que expondremos para resolver el problema funcional nace, como se observó en las notas pasadas, de la identificación del (PF) con un problema de 5 El
grafo de Γ es el conjunto: {(x, y ) ∈ X × Rm : y
∈ Γ(x)}
23 punto fi jo. Informalmente, al (PF) le asociamos un operador T de cierto espacio de funciones sobre X en sí mismo. Este se de fine de la siguiente manera: Dada una función f en este espacio de funciones (más adelante explicaremos cúal es), T [f ] es la función que evaluada en x ∈ X nos da: T [f ] (x) = sup{r(x, u) + βv(f (x, u))} u
s.a
:
u ∈ Γ(x).
Así el PF se reduce a calcular un punto fi jo del operador T . Ahora, bajo el supuesto 5 es claro que v, y por lo tanto v por la primera proposición, es una función acotada sobre el conjunto X, y puesto que el operador T está definido a través de un problema de maximización, entonces sería natural buscar un punto fi jo en el espacio de las funciones reales, continuas y acotadas sobre X ; C a (X ). Si encontramos un punto fi jo del operador T en C a(X ) y por lo tanto una solución del PF, entonces, por el Teorema de Equivalencia, esta solución debe ser el valor supremo del PS. Una vez tenemos la función valor podemos proceder a encontrar el plan óptimo, resolviendo paso a paso el problema de maximización que aparece en el PF, es decir, encontrando la función política h. Otra forma de encontrar el plan óptimo sería resolviendo el sistema de ecuaciones (1) . La esperanza en estos procedimientos radica en el siguiente teorema, muy usado en matemáticas.
e
Teorema 2 (Punto Fijo para Contraccciones) : Supongamos que se cumplen 4 y 5 y sea C a(X ) el espacio de las funciones reales, continuas y acotadas sobre X con la norma del supremo k·k . Entonces el operador T de fi nido sobre C a (X ) es una aplicación de este espacio en sí mismo, T : C a (X ) → C a(X ); tiene un único punto fi jo v y además para cualquier v0 ∈ C a (X ) se tiene: kT n [v0 ] − vk ≤ β n kv0 − vk , n = 0, 1, 2,... En particular l´ım T n [v0 ] = v en la métrica del supremo. Adicionalmente, n→∞ la correspondencia de política h es de valores compactos y hemicontinua superi-
ormente. Proof. Ver Stokey-Lucas [1989] página 79. Usaremos estos resultados para resolver el siguiente modelo de crecimiento con inversión en capital humano. Ejemplo 4 ( Crecimiento con inversión en capital humano). 6 En este modelo de crecimiento supondremos que los únicos factores de producción en cada período son el capital humano ht y el tiempo que el agente representativo dedica al trabajo nt . Más concretamente, la función de producción de esta economía depende únicamente del capital humano efectivo en cada período: ht nt . Es decir, yt = f (ht nt ), donde f es la función f (x) = xα , α ∈ (0, 1). Cambiando simplemente las unidades con las que medimos este tiempo, podemos suponer que nt ∈ [0, 1]. Ahora, la evolución del capital humano en esta economía depende 6 Tomado
de Stokey-Lucas página 111. A su vez, este modelo tiene origen en el clásico artículo de Lucas [1988] y en Usawa [1964].
24CAPÍTULO 2.
PROGRAMACIÓN DINÁMICA: EL CASO DETERMINÍSTICO
PHI 1+delta
1-delta
0 Figura 1 Figura 2.1:
del tiempo dedicado a trabajar, siendo la acumulación del capital humano menor entre más tiempo se dedique al trabajo y mayor entre menos tiempo se dedique a éste. Esto re fl eja el hecho que, para acumular capital humano y aumentar la productividad, el agente debe dedicar tiempo a esta tarea, por ejemplo estudiando o capacitándose, dejando entonces de trabajar un poco. 7 Una forma de capturar esta dinámica es la siguiente: Sea ht+1 = h t Ψ (nt ) donde Ψ es una función de [0, 1] en R+ , con estas características: Ψ es continua, estrictamente cóncava, estrictamente decreciente y tal que Ψ(0) = 1 + λ, Ψ(1) = 1 − δ , donde λ, δ ≥ 0 ( fi gura 1). 7 Por
eso decimos que este es un modelo de crecimiento con inversión en capital humano, a diferencia de otros en los que entre más se trabaja más se aprende al adquirir mayor experiencia, etc. Ver ejemplo siguiente (Aprendiendo Haciendo).
1
25 La idea de esta función es la siguiente: si el agente decide no trabajar, entonces su capital humano se apreciará a una tasa λ, re fl ejando esto el hecho de que al no trabajar el agente puede dedicar todo su tiempo a estudiar o capacitarse con el fi n de incrementar su capital. En el otro extremo, si el agente decide dedicar todo su tiempo al trabajo, entonces no tendrá tiempo para capacitarse y su capital humano se depreciará a una tasa δ. La concavidad de la función implica que, entre más tiempo el agente dedique a acumular capital humano, menos acumulará de éste en el margen. El agente representativo en esta economía puede consumir todo lo que produce y su variable decisión en cada período es cuánto tiempo debe dedicarse al trabajo. Sea β σ∈ (0, 1) y supongamos que tiene una utilidad instantánea de consumo: u(c) = cσ , donde σ ∈ (0, 1) . El problema del agente representativo es entonces: ∞
sup
X
{nt } t=0
β t u (f (ht nt ))
s.a : ht+1 = ht Ψ (nt ) h0 dado.
En este ejemplo, la variable de control es n t , la variable de estado es ht , la función de retorno es u ◦ f, ht+1 = g (ht , nt ) = ht Ψ (nt ) , Γ (ht ) = {nt : 0 ≤ nt ≤ 1} y X = R+ . Ahora, es fácil probar que se satisfacen las condiciones del Teorema de Equivalencia (Teorema 1). Basta con notar que el capital humano se acumula o desacumula a una tasa máxima λ y δ respectivamente, y que por lo tanto: ∞
∞
X
β t u (f (ht nt )) ≤
t=0
X t=0
(β (1 + λ)ασ )t
(h0 nt )ασ σ
para toda dinámica factible desde h0 . Ahora, la desigualdad de la derecha es un número fi nito siempre que β (1 + λ) < 1. Pasemos ahora al problema funcional: v(ht ) = m´ ax {u (f (ht nt )) + βv(ht Ψ (nt ))} {nt }
s.a
:
0 ≤ nt ≤ 1
Ahora aplicaremos el Teorema del Punto Fijo para encontrar la función valασ ασ or. Sea v0 = 0, entonces v1(h) = m´ax (nh) ⇒ n = 1 ⇒ v1 (h) = hσ , por σ 0≤n≤1 lo tanto, v2 (h) = m´ax
0≤n≤1
½
n o ¾ ½
(nh)ασ (hΨ(n))ασ + β = h ασ m´ax 0≤n≤1 σ σ
nασ (Ψ(n))ασ + β σ σ
¾
Luego, el valor de n que resuelve este problema no depende de h. Esto implica que ασ v2 (h) = A2 hσ , donde A2 es una constante positiva. De igual forma vn (h) = ασ An hσ , donde An es una constante positiva. Es natural entonces, proponer
26CAPÍTULO 2.
PROGRAMACIÓN DINÁMICA: EL CASO DETERMINÍSTICO ασ
como candidato a función valor, una función de la forma v(h) = A hσ . La constante A puede encontrarse observando que v debe satisfacer la ecuación funcional. Es decir,
½
hασ (hn)ασ hασ Ψ (n)ασ A = m´ ax + βA σ σ σ {n} s.a : 0 ≤ n ≤ 1
¾
No es difícil demostrar que la función de política es una constante n∗ ∈ (0, 1]. Es decir, no interesa cual sea el nivel de capital humano h, el agente siempre escoge trabajar n∗ . Por lo tanto la tasa de crecimiento del capital humano es constante, pues, ht+1 = h t Ψ (nt ) = h t Ψ (n∗), luego hht+1 = constante. El valor t exacto de esta constante depende de la forma explícita de Ψ. Anotación 7 Si Ψ (n) = γn θ , donde θ < 0 (obsérvese que esta función no satisface las condiciones de arriba 8 ) es fácil mostrar que la función de política es: 1 nt = (−βAθγ ασ ) ασ(1
θ)
−
donde: ασ
A = βγ
³
ασ θ
−θ + ( −θβγ
)
,
´
1 θ
−
.
Preguntas: ¿Es ésta una solución?¿ Por qué existe esta solución? Ejemplo 5 (Aprendiendo haciendo). Consideremos otro caso de crecimiento endógeno e inversión en capital humano, utilizando exactamente la misma notación del ejemplo anterior. Ahora, la única diferencia es la forma como vamos a de fi nir la función de acumulación de capital humano. En el caso anterior, había un costo de invertir en dicho capital. El agente debía sacri fi car parte de su tiempo educándose (por lo cual dejaba de trabajar) para incrementar su capital humano. En este caso, por el contrario, el capital humano se acumula gracias a la experiencia y el trabajo en el proceso de producción. Es decir, el capital humano se aumenta en la medida que trabajamos. La motivación detrás de esta especi fi cación tiene origen en el papel que la experiencia juega en la productividad del trabajo.9 Tenemos el mismo problema del agente representativo expuesto arriba: ∞
sup s.a ht+1
:
X
β t u (f (ht nt ))
{nt } t=0
= ht Ψ (nt ) , h0 dado.
La diferentes interpretaciones sobre la forma como se acumula capital humano están ligadas a la forma funcional de Ψ. De fi nimos Ψ (nt ) = γ nθt , donde γ > 0 8 Nótese
que Ψ (nt ) = γ θnθt −1 < 0 (los retornos a la inversión en capital humano 1 − nt , son crecientes) y Ψ (nt ) = γθ (θ − 1)nθt −2 > 0 (los retornos marginales a la inversión en capital humano 1 − nt , son crecientes). 9 La idea de Aprendiendo Haciendo ( “Learning by Doing”) se debe a Arrow[1962]. 0
00
27 y θ ∈ ( −∞, 1) . Ahora si θ ≥ 0 entonces la acumulación de capital humano es un producto del trabajo. Este es el caso de “aprendiendo haciendo”. 10 La variable de control es n t , la variable de estado es h t , la función de retorno es u ◦ f, ht+1 = g (ht , nt ) = h t Ψ (nt ) , Γ (ht ) = {nt : 0 ≤ nt ≤ 1} y X = R + . El problema funcional asociado es: v(ht ) =
sup {u (f (ht nt )) + βv(ht Ψ (nt ))} {nt }
s.a
:
0 ≤ nt ≤ 1 σ
Tenemos la misma forma funcional de la función de utilidad u(c) = cσ , y de la función de producción f (nh) = (nh)α . ασ n Sea v0 (h) = 0, entonces es muy fácil ver que vn (ht ) = hσt (βγ ασ )i , y
P
i=0
la función de política en cada iteración es nt = 1. Luego la función valor de nuestro problema es: hασ 1 t σ 1 − βγ ασ
v(ht ) =
Es fácil ver que en efecto la función de política es: nt = 1. Luego la dinámica del capital es: ht+1 = γ ht . Si γ > 1 entonces tenemos crecimiento endógeno. Anotación 8 Obsérvese que en los últimos dos ejemplos no existe una solución de estado estacionario en las variables en niveles. Ejemplo 6 Hercowitz-Sampson (1986). Consideremos el modelo básico de crecimiento con: U (c, l) yt kt+1
= log(c − a(1 − l)γ ) = ktα n 1t −α = kt
µ¶ it kt
1−δ
= k tδ i1t −δ , a > 0; γ > 1
Primero, vamos a demostrar que la función de utilidad es cóncava. Para esto, debemos calcular la matriz Hessiana de dicha función y determinar si es semide fi nida negativa.11 Derivamos primero respecto a cada una de las variables: ∂U ∂c ∂U ∂l 10 Nótese
que
1)nθt −2
0
Ψ
1 c − a(1 − l)γ γa(1 − l)γ −1 = U 2 (c, l) = c − a(1 − l)γ = U 1 (c, l) =
(nt ) = γ θnθt −1 > 0 (los retornos a la experiencia es creciente) y
00
Ψ
(nt ) =
< 0 (los retornos marginales a la experiencia son decrecientes). de las características de una matriz semide finida negativa es que sus menores principales son menores o iguales a 0. Los menores principales se obtienen quitando la i-ésima fi la y la i-ésima columna de la matriz y tomando el determinante de la matriz resultante. En este caso, sólo necesitamos encontrar los menores principales de orden 1 (quitando la primera columna y fila o quitando la segunda columna y fila) y el determinante de la matriz. γθ (θ −
11 Una
28CAPÍTULO 2.
PROGRAMACIÓN DINÁMICA: EL CASO DETERMINÍSTICO
Las derivadas parciales de segundo orden nos determinan la siguiente matriz Hessiana: H =
∙ U (c, l)
U 12 (c, l) 11 U 21 (c, l) U 22 (c, l)
¸
⎡ = ⎣
1 −aγ (1−l) γ (c−a(1−l) )2 γ−
−1 (c−a(1−l)γ )2 γ−1
−aγ (1−l) (c−a(1−l)γ )2
γ−2
−γ (γ −1)a(1−l) (c−a(1−l)γ )
[ γa(1−l)γ 1 ]2 −
− (c−a(1−l)γ )2
⎤ ⎦
Calculamos ahora el determinante de la matriz H : |H |
= =
£
¤
2
aγ (1 − l)γ −1 γ (γ − 1)a(1 − l)γ −2 [aγ (1 − l)γ −1 ]2 + = − (c − a(1 − l)γ )3 (c − a(1 − l)γ )4 (c − a(1 − l)γ )4 γ (γ − 1)a(1 − l)γ −2 > 0 (c − a(1 − l)γ )3
Los menores principales de orden 1 son: |H 1 | = U 11 (c, l) =
−1
(c − a(1 − l)γ )2
£
< 0
¤µ 2
γa(1 − l)γ −1 |H 1 | = U 22 (c, l) = − (c − a(1 − l)γ )2
¶
(γ − 1)(c − a(1 − l)γ ) + 1 < 0 aγ (1 − l)γ
Ahora vamos a demostrar que la función valor tiene la siguiente forma: v(kt ) = D 0 + D1 ln kt ,
con D i constantes. Reemplazando en la ecuación de Bellman, tenemos: D0 + D1 ln k
n
γ
³
³¡
= m´ ax log (c − an ) + β Do + D1 ln k
0 ≤ c≤y 0 ≤ n≤1
δ
α 1−α
k n
=
0
=
0
−c
¢ ´´o 1−δ
Las condiciones de primer orden son:
−aγn γ −1
c − anγ
1 (1 − δ ) D1 − β α 1−α γ c − an (k n − c) α −α (1 − δ ) D1 (1 − α) k n + β (kα n1−α − c)
Manipulando algebraicamente encontramos la primera condición de primer orden obtenemos: 1 (1 − δ ) D1 = β c − anγ k αn1−α − c k α n1−α − c = β (1 − δ ) D1 c − β (1 − δ ) D1 anγ k α n1−α + β (1 − δ ) D1 anγ = β (1 − δ ) D1 c + c kα n1−α + β (1 − δ ) D1 anγ c = , β (1 − δ ) D1 + 1
29 y para la segunda condición: ⇒
aγn γ −1 (1 − δ ) D1 (1 − α) k α n−α = β c − anγ (k α n1−α − c)
¡
¢
k α n1−α − c aγn γ −1 = β (1 − δ ) D1 (1 − α) kα n−α (c − anγ ) ⇒ aγk α nγ −α − aγn γ −1 c = β (1 − δ ) D1 (1 − α) kα n−α c − β (1 − δ ) D1 (1 − α) ak α nγ −α ⇒ (aγk α + β (1 − δ ) D1 (1 − α) akα ) nγ −α = α 1−α − β (1 − δ ) D1 anγ α −α γ −1 k n β (1 − δ ) D1 (1 − α) k n + aγn β ( 1 − δ ) D1 + 1 α ⇒ (β ( 1 − δ ) D1 + 1) (aγk + β (1 − δ ) D1 (1 − α) ak α ) nγ −α = ⇒
¡
¢
β (1 − δ ) D1 (1 − α) k2α n1−2α + β 2 (1 − δ )2 D12 (1 − α) akα nγ −α + aγn γ −αk α − a2 γn 2γ −1 β (1 − δ ) D1 ⇒ (β ( 1 − δ ) D1 + 1) (aγk α + β (1 − δ ) D1 (1 − α) ak α ) nγ −α = β (1 − δ ) D1 (1
0
1−2 − α) k2α n α
³
2
2
+ β (1 − δ )
D12 (1 − α) +
a2 β (1 − δ ) D1 γn 2γ −1 ⇒ (γ + (1 − α)) ak α = (1 − α) k 2α n1−γ −α − a2 γn −(1−γ −α) = (1 − α) k 2αn2(1−γ −α) − (γ + (1 − α)) ak α n1−γ −α − a2 γ
´
γ ak α nγ −α −
Tenemos así
n
1−γ −α α
k
(γ + (1 − α)) a ±
=
(γ + (1 − α)) a ±
=
q q
((γ + (1 − α)) a)2 − 4 (1 − α) a2 γ 2 (1 − α)
γ 2 a2 + 2γ (1 − α) a2 + (1 − α)2 a2 − 4 (1 − α) a2 γ
2 (1 − α) γa + (1 − α) a ± γa − (1 − α) a 2 (1 − α) γa 1−α
= =
Concluímos que:
n = c =
µ
γa 1−α
Π1 k
Ψ1
k
−α
¶
1 1−γ −α
=
µ ¶ γa
1−α
1 1−γ−α
k
α
1+γ +α
−
= Π2 k Ψ2
30CAPÍTULO 2.
PROGRAMACIÓN DINÁMICA: EL CASO DETERMINÍSTICO
Sustituyendo estas expresiones en la ecuación de Bellman D0 + D1 ln k
= m´ ax
(h
³£ ¡
β D0 + D1 ln
¤ ¢ ´i ) ´´ ¢¢ ¡¡ ¢¢
γ γ Ψ2 Ψ + Π1 k 1 − aΠ2 k 1−δ − 1 α k δ Π2 kα k(1−α)Ψ2 − Π1 kΨ1
ln
= ln [Π1 − aΠγ 2 ] + Ψ1 ln k + βD 0 + β (1 − δ ) D1 ln
³³ ¡¡
1−α (1−α) k Π2
Ψ1
γ
+α
− Π1 k Ψ1
+ βδD1 ln (k)
= ln [Π1 − aΠγ 2 ] + Ψ1 ln k + βD 0 + β (1 − δ ) D1 ln Π12−α − Π1 + β (1 − δ ) D1 Ψ1 ln k + βδD1 ln (k) = ln [Π1 − aΠγ 2 ] + βD 0 + β (1 − δ ) D1 ln (Ψ1 + βD 1 ((1 − δ ) Ψ1 + δ ) )ln k
1−α − Π1 Π2
+
Concluímos D0 = ln [Π1 − aΠγ 2 ] + βD 0 + β (1 − δ ) D1 ln D1 = Ψ1 + βD 1 ((1 − δ ) Ψ1 + δ )
¡¡
1−α − Π1 Π2
¢¢
De aquí D1 − βD 1 ((1 − δ ) Ψ1 + δ ) = D1
=
Ψ1 Ψ1
1 − β ((1 − δ ) Ψ1 + δ )
Por lo tanto ln [Π1 − aΠγ 2 ] (1 − β ((1 − δ ) Ψ1 + δ )) + β (1 − δ ) Ψ1 ln D0 = (1 − β ) (1 − β ((1 − δ ) Ψ1 + δ ))
¡¡
1−α − Π1 Π2
¢¢
Con algo de álgebra fi nalmente obtenemos: D0 + D1 ln kt
= βD 0 + βD 1 (1 − δ ) ln(Π12−α − Π1 ) + +ln(Π1 − aΠγ 2 ) + ( Ψ1 + βD 1 (δ + Ψ1 (1 − δ ) )) ln kt
Viendo esta expresión, las constantes D deben cumplir las siguientes condiciones: D0 D1
= βD 0 + βD 1 (1 − δ ) ln(Π12−α − Π1 ) + ln(Π1 − aΠγ 2) = Ψ1 + βD 1 (δ + Ψ1 (1 − δ ))
Al resolver este sistema de dos ecuaciones y dos incógnitas, obtenemos: D0
=
D1
=
¡
¢
β Ψ1 (1 − δ )2 ln Π12−α − Π1 (1 − βδ − β Ψ1 (1 − δ ) )(1 − β ) Ψ1
1 − βδ − β Ψ1 (1 − δ )
31 Efectivamente la función propuesta cumple con las características necesarias para ser una función valor. Ahora podemos determinar la dinámica óptima del capital con las ecuaciones (2). Sustituyéndolas en la ecuación de acumulación del capital, encontramos: 12 kt+1 = k tδ (ktα n 1t −α − ct )1−δ = k tδ (ktα
y simpli fi cando,
³ ´ Ψ2
Π2 kt
δ+Ψ1 (1−δ)
kt+1 = (Π12−α − Π1 )1−δ kt
1−α
Ψ
− Π1 kt 1 )1−δ
= Π3 ktΨ3
El próximo ejemplo es bastante importante y estudiado en la literatura. Como ya lo habíamos mencionado antes, para la mayoría de los problemas de economía dinámica es imposible encontrar explícitamente una fórmula para la función de política y por eso debemos recurrir a métodos numéricos. Un método bastante importante consiste en reducir el problema original, mediante una aproximación, a un problema como el que se discute a continuación. Ejemplo 7 (Control Óptimo Lineal). La característica fundamental de este problema es que la función objetivo es cuadrática y la dinámica de la variable de estado está dada por una función lineal. Bajo estas condiciones mostraremos que el control óptimo es una función lineal de las variables de estado, razón por la cual el problema lleva este nombre. Concretamente, el problema que queremos resolver es: ∞
sup s.a xt+1
X
β t (x0t Qxt + u0t Rut + 2x0t W ut )
t=0
: = Axt + Bu t , x0 dado,
y donde R y Q son matrices simétricas; de fi nida negativa, y semide fi nida negativa respectivamente.1314 Aqui x0 denota el vector transpuesto de x. Existen otras condiciones adicionales para garantizar que este problema tiene solución y que ésta se puede obtener con el método iterativo. Para simpli fi car las cosas supondremos que estamos en estos casos. El lector puede consultar Ljungqvist y Sargent [2004] o Bertsekas y Shreve[1978]. Sea ν 0 = 0, luego ν 1 (x) = sup {x0 Qx + u0 Ru + 2x0 W u} . Las condiciones de u
primer orden son:15 2u0 R + 2x0 W = 0
⇒ u = −R−1 W 0 x ⇒ ν 1 (x) = x0 (Q −
12 Recuerde que y − c = i 13 Recuerde que una matriz
A es simétrica si A0 = A. Una matriz simétrica A (m × m) 6 0. En el caso de las matrices es semide fi nida negativa si x Ax 6 0 para todo m-vector x = de fi nidas negativas la desigualdad anterior es estricta. Ver Lutkepohl [1993]. 14 Obsérvese que restricciones de la forma x t+1 = Ax t + A1 xt−1 + ... + Ap xt−p + Bu t + B1 ut−1 + ... + Bq ut−q pueden escribirse en la forma que aquí consideramos. 15 Para encontrar las condiciones de primer orden hemos utilizado las siguientes reglas para la diferenciación de matrices (ver Lutkepohl: “Introduction to Multiple Time Series Analysis”.): y = y y Sean y , x dos vectores de dimensión m y A una matriz m × m, entonces ∂y∂xx = ∂x ∂x 0
0
0
∂x Ax ∂x
0
0
= x (A + A )
0
0
32CAPÍTULO 2.
PROGRAMACIÓN DINÁMICA: EL CASO DETERMINÍSTICO
W R−1 W 0 )x. Esta primera iteración nos sugiere que la función valor de este
problema es probablemente una forma cuadrática. 16 Supongamos entonces que ν j (x) = x 0 P j x para una matriz P j simétrica. Entonces: ν j +1 (x) = sup {x0 Qx + u0 Ru + 2x0 W u + β (Ax + Bu)0 P j (Ax + Bu)} u
Las condiciones de primer orden son: 2u0 R + 2x0 W + βB 0 P j Ax + β (x0 A0 P j B) + 2βu 0 B 0 P j B = 0 ⇒ u = −(R + βB 0 P j B)−1 (βB 0 P j A + W 0 )x, siempre que R + βB 0 P j B sea invertible. Substituyendo en la ecuación funcional y con algo de álgebra llegamos a (dejamos esto como ejercicio): ν ¯j+1 (x) = x 0 [(Q + βA 0 P j A − (βA 0 P j B + W )(R + βB 0 P j B)−1 (βB 0 P j A + W 0 )]x,
en particular: P j +1 = Q + βA 0 P j A − (βA 0 P j B + W )(R + βB 0 P j B)−1 (βB 0 P j A + W 0 ).
La anterior ecuación se denomina la ecuación de Riccati Iterando esta ecuación llegamos a una matriz P que caracteriza la función valor del problema y la función de política: ut = −(R + βB 0 P B)−1 (βB 0 P A + W 0 )xt
Como puede observarse de esta ecuación, el control óptimo es una función lineal de las variables de estado.
2.1.
Ejercicios y Soluciones
Ejercicio 4 Escribir el modelo básico de crecimiento y el ejemplo de Long y Plosser en la notación de este capitulo. Solución 3 Para el modelo básico de crecimiento. ∞
m´ ax
X
∞
t
β log(ct ) = m´ ax
t=0
X
β t r(xt , ut )
t=0
xt+1
= kt+1 = k tα + (1 − δ )kt − ct = g(xt , ut )
donde X = R ++, xt = kt , ut = ct , y Γ(xt ) = {c ∈ R : 0 6 c 6 ktα + (1 − δ )kt } Ejercicio 5 Estudiar la estabilidad de la solución en el ejemplo de HercowitzSampson. Ejercicio 6 En este ejercicio se dan otra condiciones bajo las cuales se cumple la condición 2 (Ver De La Croix - Michel [2002], págima 326). Supongamos que para todo u ∈ U las funciones g(·, u) y r(·, u) son no decrecientes y adicionalmente para todo x ∈ X 16 Si
A es simétrica (m × m) y x es un m-vector, la función x Ax es llamada una forma cuadrática en x. 0
33
2.1. EJERCICIOS Y SOLUCIONES
1. g(x) = sup {g(x, u)} ∈ X u∈Γ(x)
2. r(x) = sup {r(x, u)} ∈ R u∈Γ(x)
3. Para todo x0 ∈ X existen bx0 y β x0 ∈ R, β x0 > β tal que para toda secuencia {xt }t=0,1,... , xt+1 = g(xt ) tenemos β tx0 r(xt ) ≤ bx0 para todo t. Probar que bajo las condiciones de este ejercicio se cumple la condición 2. Solución 4 (10) Si xt ≤ xt en t, lo cual se cumple en particular para t = 0 ya que x0 = x0 , tenemos por inducción que se cumple para cualquier t, luego: xt+1 = g (xt , ut ) ≤ g (xt ) ≤ g (xt ) = xt+1 . Por otro lado r (xt , ut ) ≤ r (xt ) ≤ T
r (xt ). Como consecuencia, tenemos que la sucesión S T =
X
β t [r (xt , ut ) − r (xt )]
t=0
es no-creciente, ya que cada término en la sumatoria es negativo o nulo. (S T − S T −1 = β T [r (xT , uT ) − r (xT )] ≤ 0). La sucesión S T tiene por lo tanto un límite en R ∪ {−∞}. Tambien podemos sin pérdida de generalidad suponer que r (xt ) ≥ 0 (es su fi enciente con reemplazar r (xt ) por m´ ax {0, r (xt )}. utilizando T
(3) tenemos B T =
X
T
t
β r (xt ) ≤
t=0
X t=0
δt b δt0 x0
=
1 1−δ/δ0 bx0
. La sucesión creciente
B T tiene entonces un límite fi nito, de lo cual deducimos que la sucesión de T
sumas fi nitas
X
β t r (xt , ut ) tiene un límite en R ∪ {−∞}.
t=0
Ejercicio 7 Utilizando las condiciones del ejercicio anterior, demostrar la Proposición 3 sin imponer la condición de transversalidad (Ver De La Croix - Michel [2002]). Solución 5 (11) Siguiendo el ejercicio 10 tenemos que la sucesión de sumas es fi nita.y pertenece a R ∪ {−∞}. Mas aún están acotadas por arriba por una constante ∞ ∞
X
β t r (xt , ut ) ≤
t=0
X
β t r (xt ) ≤
t=0
bx0 1 − δ/δ 0
Para toda trayectoria factible que empiece en xo tenemos ∞
X
∞
t
β r (xt , ut ) = r (x0 , u0 ) + β
t=0
X
β t r (xt+1, ut+1 )
t=0
Ahora tomamos la cota superior dado u0 sobre el conjunto de las trayectorias factibles para las cuales x1 = g (x0 , u0 ), ∞
r (x0 , u0 ) + sup
X
β t r (xt , ut ) = r (x0 , u0 ) + β v (g (x0 , u0 ))
t=1
e
Luego tomamos la cota superior sobre u0 ∈ Π (x0 ) y obtenemos
e¡ ¢
v (x∗t ) = r (x∗t , u∗t ) + β v x∗t+1
e
34CAPÍTULO 2.
PROGRAMACIÓN DINÁMICA: EL CASO DETERMINÍSTICO
Ejercicio 8 Sobre la proposición (2) . Considere el siguiente problema de maximización: ∞
m´ ax
X
ct
t=0
0 ≤ ct ≤ xt − xt+1, xt ≥ 0, x0 6 = 0 dado.
Obsérvese que en este problema hemos colocado β = 1. 1. Mostrar que para cualquier x0 dado, el valor máximo del problema anterior es x0 . Es decir v (x) = x. Ahora, supóngase que utilizáramos el problema funcional para encontrar esta función. El problema funcional asociado es:
e
v(x) = sup{c + v(x − c)} c
s.a
:
0≤c≤x
2. Veri fi car que para cualquier constante k , la función v(x) = x + k es solución del problema funcional pero no satisface la condición de transversalidad (Ayuda: considere la dinámica factible {(x0 , 0)} ∈ Π(x0 ), entonces l´m β t v (xt ) = v (x0 ) = x 0 + k = 6 0). Luego, aquí tenemos un caso en el t→∞ que no se aplica la proposición (2) y más aún, este ejemplo muestra que la condición de transversalidad no es una propiedad necesaria. ı
Solución 6 El problema es: ∞
m´ ax
X
ct
t=0
s.a : 0 ≤ ct ≤ xt − xt+1 x0 = 6 0 dado.
1. Es claro que el consumo óptimo se da cuando c t = xt − xt+1, luego
P ∞
P ∞
ct =
t=0
xt − xt+1 = x 0 − x1 + x1 − x2 + ... = x 0 − xn ≤ x0 ⇒ v(x0 ) ≤ x0 . De
e e
t=0
otra parte, el plan factible {x0 , 0, 0,...}, tiene utilidad x0 . Luego v (x) = x para todo x. 2. Para probar que v(x) = x + k es una función que resuelve el problema funcional asociado al problema secuencial basta con substituir y veri fi car que se cumple la ecuación funcional para cualquier valor constante de k. Finalmente, es claro que no se cumple la condición de transversalidad de la proposición 2. Para ver esto, obsérvese que para que ésta se cumpliera deberíamos de tener: l´m β t v(xt ) = 0 para toda dinámica factible {(xn , cn )}. t→∞ En particular, para la dinámica factible {(x0 , x0 ) , (0, 0) , (0, 0) ,...} tenemos: ı
l´ım β t v(xt ) = x t + k = 0 + k 6 =0
t→∞
35
2.1. EJERCICIOS Y SOLUCIONES
Ejercicio 9 Con relación al ejercicio anterior, mostrar que la dinámica factible {(x0 , 0)} no es óptimo pero sí satisface la ecuación (1) . (Ayuda: Obsérvese que la utilidad que le da al agente ese plan es nula, mientras que la máxima utilidad posible es x 0 ). Además, muestre por qué no se cumplen las hipótesis de la proposición 4. Anotación 9 Se sigue de los dos ejercicios anteriores que nuestras condiciones son más debiles que las del ejercicio 6. No es difícil convencerse que la condición de transversalidad en De La Croix - Michele [2002] es una consecuencia de la condición (3) en el el ejercicio 6. Solución 7 (Ejercicio 9)Es fácil ver que la dinámica factible {(x0 , 0) , (x0 , 0) , (x0, 0) ,...} no es óptima desde el punto de vista del problema secuencial, pues da una utilidad de cero. De otra parte, es fácil ver que esta dinámica factible satis face el Principio de Optimalidad de Bellman (equación 2.1) para v(x) = x. Además, no se cumple la condición de transversalidad de la proposición 5, pues l´ımt→∞ β t v(xt ) = x t = x 0 6 = 0.
Ejercicio 10 Completar el paso que se dejó como ejercicio en el ejemplo sobre Control Óptimo Lineal. Solución 8 (14) Tenemos:
©
ª
vj+1 (x) = sup x0 Qx + u0 Ru + 2x0 W u + β (Ax + Bu)0 P j (Ax + Bu) u
y las condiciones de primer orden implican que −1
(βB 0 P j A + W 0 ) x
−1
(βB 0 P j A + W 0 ) x
u = − (R + βB 0 P j B)
Reemplazando tenemos: vj+1 (x) =
³
x0 Qx + − (R + βB 0 P j B)
³
−1
2x0 W − (R + βB 0 P j B)
³ ³ ³ ³
´³ ´ ´´ ´´ 0
−1
R − (R + βB 0 P j B)
(βB 0 P j A + W 0 ) x + −1
β Ax + B − (R + βB 0 P j B)
(βB 0 P j A + W 0 ) x
−1
P j Ax + B − (R + βB 0 P j B)
(βB 0 P j A + W 0 ) x
0
×
´
(βB 0 P j A + W 0 ) x +
36CAPÍTULO 2.
PROGRAMACIÓN DINÁMICA: EL CASO DETERMINÍSTICO
Simpli fi cando obtenemos vj+1 (x) = x0 Qx +
µ
0
0 0
0
x (βB P j A + W )
³ ³ µ µ ³ ³
−1
R (R + βB 0 P j B) 0
³
0
(R + βB P j B)
0
−1
0
0
0
×
(βB 0 P j A + W 0 ) x +
2x W − (R + βB P j B) 0
´¶ ´
−1
0
´
(βB P j A + W ) x + 0 0
0
0
β x A + x (βB P j A + W ) P j Ax + B − (R + βB 0 P j B)
³
−1
0
´¶ ¶ ´´
−1
− (R + βB P j B)
0
B0 ×
(βB 0 P j A + W 0 ) x
lo cual implica que,
h
−1
vj+1 (x) = x 0 Q + βA 0 P j A − (βA 0 P j B + W ) (R + βB 0 P j B)
i
(βB 0 P j A + W 0 ) x
Ejercicio 11 Considere el siguiente problema de maximización con “persistencia de hábitos”17 ∞
X
β t (ln ct + γ ln ct−1 )
t=o
s.s : ct + kt+1 6 Aktα ,
donde: 0 < β < 1; A > 0; 0 < α < 1; k0 > 0 dado, y c−1 dado. 1. Escribir la ecuación de Bellman 2. Demuestre que la solución a dicha ecuación tiene esta forma: v(k, c−1 ) = E + F ln k + G ln c−1
y demostrar que la política óptima tiene la forma: ln kt+1 = I + H ln kt
Donde E,F,G, H, I son constantes. Dé fórmulas explícitas para estas constantes en términos de los parámetros del problema. Para esto, es necesario que encuentre la función de política.
1. La ecuación de Bellman es: v(k, c−1 ) = 17 Tomado
de Sargent [1987].
m´ ax {ln c + γ ln c−1 + βv(Akα − c)}
06 c6 Akα
37
2.1. EJERCICIOS Y SOLUCIONES
2. Para verificar que la sugerencia es en efecto resuelve el problema funcional, simplemente substituimos en la ecuación funcional: E +F ln k+G ln c−1 = m´ ax {ln c + γ ln c−1 + β (E + F ln(Akα − c) + G ln c)} c
Las condiciones de primer orden son: [c] :
1 βF β G − + = o c Ak α − c C
Finalmente encontramos que: (1 + βG)Ak α c = (1 + βG + βF )
Al sustituir esta fórmula en la ecuación de Bellman tenemos: E + F ln k + G ln c−1
= ln
∙ (1 + βG)Ak
α
¸
+ γ ln c−1 + βE + (1 + βG + βF ) (1 + βG)Ak α (1 + βG)Ak α +F ln(Akα − ) + G ln (1 + βG + βF ) (1 + βG + βF )
∙
¸
Desarrollando algebráicamente encontramos: E + F ln k + G ln c−1
Las constantes serán:
µ
¶
(1 + βG)A = (1 + βG) ln + βF ln (1 + βG + βF ) +βE + α(1 + βG + βF ) ln k + γ ln c−1
∙ (1 + βG)A ¸
µ
βF A (1 + βG + βF )
¸
βF A E = (1 + βG) ln + βF ln + βE 1 + βG + βF 1 + βG + βF F = α(1 + βG + βF ) G = γ
∙
Si sustituimos la fórmula de F y simpli ficamos encontramos los valores finales de E y F: 1
¸
βα(1 + βγ ) E = (1 + βγ )ln(A(1 − αβ )) + ln(αβA) 1 − β 1 − αβ 1 + βγ F = α 1 − αβ G = γ
∙
Estas expresiones me permiten garantizar que efectivamente la función arriba mencionada es la función valor. Para encontrar la función de política solo tenemos que sustituir los valores de F y G para obtener: c =
(1 + βG)Ak α 1 + βγ + βα 11+βγ −αβ
¶
+
38CAPÍTULO 2.
PROGRAMACIÓN DINÁMICA: EL CASO DETERMINÍSTICO
La manipulación algebráica nos da esta función de política: c = (1 − αβ )Ak α
Este valor de c nos permite encontrar la expresión apropiada para el capital, basándonos en la función de acumulación arriba mencionada: kt+1 = Ak tα − (1 − αβ )Akα
Con facilidad, se puede ver que: ln kt+1 = ln(αβA) + α ln kt
Así, I = ln(αβA) H = α
Con lo cual la política óptima del capital es la expresada en el enunciado del problema. Para terminar un par de preguntas: Es la solución válida aún para γ < 0 (i.e., formación de hábitos)? Cómo debemos interpretar estas soluciones?
Bibliografía [1] Arrow, K. 1962. ”The Economic Implications of Learning by Doing”. Review of Economic Studies. Junio: 155-173. [2] Bertsekas, D. Shreve, S. 1978. Stochastic Optimal Control: The Discrete Time Case. New York, Academic Press. [3] Chan-Lau, J. 1997. ”Business Cycle properties of Endogenous Growth Models”. Tesis Doctoral. Universidad de Columbia. [4] De La Croix, D. Michel, P. 2002. ATheory of Economic Growth. Cambridge University Press. [5] Hercovitz, Z: Sampson, M. 1991. Output Growth, the real wage, and employment fluctuations. American Economic Review, Vol 81, No. 5 pp. 1215-1237. [6] Ljungvist, L. y T. Sargent. 2004. Recursive Macroeconomic Theory. MIT Press. [7] Lucas, R. 1988. ”On the mechanics of Economic Development ”. JMT 22, páginas 3-42. [8] Lutkepohl, H. 1993. Introduction to Multiple Time Series Analysis. SpringerVerlag. [9] Magill, M y MQuinzii. 1994. Infinite Horizon Incomplete Markets. Econometrica. Vol 62, No. 4, 853-880. [10] Sargent, T. 1987. Dynamic Macroeconomic Theory. Harvard University Press. [11] Stockey, N. Lucas, R y Prescott, E. 1989. Recursive Methods in Economic Dynamics. Harvard University Press. [12] Usawa, H. 1964. ”Optimal growth in a two sector of capital accumulation ”. Review of Economic Studies 31:1-25. 39
40
BIBLIOGRAFÍA
Capítulo 3
Más Programación Dinámica y el Método de Lagrange En esta parte, nos dedicaremos a estudiar algunas propiedades importantes de la función valor las cuales nos permitirán usar los métodos del cálculo diferencial para resolver problemas de economía dinámica. Primero comenzaremos con algunas propiedades geométricas como la monotonicidad y concavidad de la función valor, y luego pasaremos a la propiedad más importante que se refiere a la diferenciabilidad de ésta. Como se podrá apreciar más adelante, este resultado es por sí solo bastante importante, pero además, aclara las relaciones existentes entre el método de programación dinámica y los métodos basados en el lagrangiano. Para poder hacer esto, es necesario imponer más restricciones sobre el problema que las impuestas hasta el momento.
3.1. Algunas Propiedades de la Función Valor La primera propiedad que probaremos es que bajo ciertas condiciones la función valor es estrictamente creciente. Para esto necesitamos las hipótesis: Condición 6 Para cada u ∈ Rm, las funciones r(·, u) : X −→ R , g(·, u) : X −→ X son estrictamente creciente y creciente, respectivamente. Condición 7
Γ es
monótona: Es decir, si x0 ≥ x ⇒ Γ(x0 ) ⊇ Γ(x).
Proposición 5 (La función valor es estrictamente monótona): Suponga que se cumplen las condiciones 4, 5, 6 y 7. Entonces la función valor es estrictamente creciente. Proof. Sea C a (X ) el espacio de las funciones reales, continuas y acotadas con la norma del supremo y C c (X ) ⊂ C a (X ) el espacio de las funciones reales,
41
42CAPÍTULO 3.
MÁS PROGRAMACIÓN DINÁMICA Y EL MÉTODO DE LAGRANGE
continuas,acotadas y crecientes. Es fácil ver que este es un subespacio cerrado de C a (X ), por lo tanto, es tambien un espacio completo en la norma del supremo. Por el Teorema de Equivalencia, la función valor queda caracterizada como la única solución del problema funcional en C a(X ). Ahora, lo primero que vamos a probar es que si f ∈ C a (X ) es creciente, entonces T (f ) es una función estrictamente creciente: Sea x 0 ≥ x ⇒ g(x0 , u) ≥ g(x, u) para toda u , por la condición 6 y porque f es creciente ⇒ f (g(x0 , u)) ≥ f (g(x, u)) ⇒ r(x0 , u) + βf (g(x0 , u)) > r(x, u) + βf (g(x, u))
por la condición 6 ⇒ m´ ax {r(x, u) + βf (g(x0 , u))} > m´ ax {r(x, u) + βf (g(x, u))} ⇒ u∈Γ(x)
u∈Γ(x) 0 m´ ax {r(x, u) + βf (g(x , u))} > m´ ax {r(x, u) + βf (g(x, u))} u∈Γ(x ) u∈Γ(x) 0
por la condi-
ción 7
⇒ T f (x0 ) > T f (x).
Ahora, como C c (X ) es un subespacio cerrado de C a (X ) entonces la función valor v esta en C c (X ) y como T [v] = v entonces v es estrictamente creciente. Anotación 10 La proposición anterior no se aplica al ejemplo de Brock y Mirman por dos razones. Primero, si X = R + la función retorno instantáneo no es acotada en el grafo de Γ y segundo, esta función no es estrictamente creciente en x (pues de hecho, no depende de x). El primer problema es fácil de resolver mediante una escogencia inteligente del espacio de estados (más adelante volveremos sobre este punto). Para la segunda, obsérvese que sí r(·, u) : X −→ R es apenas creciente, entonces la conclusión del teorema se puede modi fi car por: la función valor es creciente (y no necesariamente estrictamente creciente).
Estudiaremos ahora la concavidad de la función valor. El resultado principal es, bajo ciertas condiciones, la función valor es estrictamente cóncava y la correspondencia de política es una función contínua. En particular, resulta que bajo estas mismas condiciones, existe un único plan óptimo que resuelve el problema secuencial. Condición 8 Sea X un conjunto convexo. Condición 9 Supongamos que las funciones r y g son estrictamente cóncava y cóncava, respectivamente. Condición 10 La correspondencia Γ es convexa:
1.
Γ (x) es
un conjunto convexo para todo x ∈ X.
2. Dado λ ∈ [0, 1], x, x0 ∈ X y x = 6 x0 , entonces si u implica que λu + (1 − λ)u0 ∈ Γ(λx + (1 − λ)x0 ).
∈ Γ (x) y u0 ∈ Γ (x0 )
Proposición 6 (La función valor es estrictamente cóncava): Bajo las condiciones 4, 5, 8, 9 y 10, la función valor es estrictamente cóncava y la correspondencia de política es una función continua.
3.1. ALGUNAS PROPIEDADES DE LA FUNCIÓN VALOR
43
Proof. Por el Teorema de Equivalencia, la función valor queda caracterizada por la solución al problema funcional. Lo primero que probaremos es que si f ∈ C a (X ) es cóncava y creciente , entonces T (f ) es estrictamente cóncava y creciente: Dados λ ∈ [0, 1], x, x0 ∈ X y x 6= x 0 , sean u y u0 tales que resuelven el problema de máximización de finido por T f (x) y T f (x0 ) respectivamente. Entonces como λu + (1 − λ)u0 ∈ Γ(x + (1 − λ)x0 ) por la condición 10, tenemos que: T f (λx + (1 − λ)x0 ) ≥ r(λx + (1 − λ)x0 , λu + (1 − λ)u0 ) + βf (g(λx + (1 − λ)x0 , λu + (1 − λ)u0 )) > λr(x, u)+(1 − λ)r(x0 , u0 )+ λβf (g(x, u))+(1 − λ)βf (g(x0 , x)), por la condición 9 y porque f es cóncava y creciente. Ahora, como u y u0 resuelven el problema de máximización de finido por T f (x) y T f (x0 ), se sigue que esta última expresión es igual a: λT f (x¯) + (1 − λ)T f (x0 ).
Basta ahora argumentar de la misma forma que en la proposición anterior para concluir con la prueba de la primera a firmación: el espacio de las funciones continuas, cóncavas, crecientes y acotadas, es un subespacio cerrado de C a (X ). Finalmente, como la función valor es estrictamente cóncava, entonces la solución al problema de maximización que define la función de política tiene siempre una única solución, pues la función objetivo es estrictamente cóncava por la primera parte de esta proposición y por la condición 9 y la máximización se hace sobre un conjunto convexo por la primera parte de la condición 10. La continuidad se sigue de que una función h.c.s es en efecto una función continua (ver Apéndice). Con este resultado estamos casi listos para el Teorema de Diferenciabilidad , que se sigue como una consecuencia inmediata del Teorema de Benveniste Scheinkman.1 Por último necesitamos: Condición 11 Las funciones r y g son continuamente diferenciables en el interior del grafo de Γ. Condición 12 2 Sea (x∗ , u∗ ) en el interior del grafo de Γ tal que existe una función diferenciable τ , de fi nida en una vecindad abierta V de x∗ tal que τ : V → U y para todo x ∈ V, τ (x) ∈ Γ (x) y g (x, τ (x)) = g(x∗ , u∗ ). Ejemplo 8 Recordemos el ejemplo de Brock y Mirman. Ahí xt = k t , ut = c t , r(ct ) = log (ct ) , g(kt , ct ) = k tα − ct , Γ(kt ) = {ct : 0 ≤ ct ≤ ktα } y X = R ++. Es fácil ver que dado un stock de capital y un consumo en el interior del grafo de Γ la condición 12 se cumple.
El siguiente teorema, además de darnos un resultado sobre la existencia de la derivada de la función valor, nos da una fórmula muy útil para ésta. Una forma de acordarse de la fórmula es: escriba el problema funcional y derive a ambos lados con respecto a las variables de estado quitando la función máximo. 1 Ver Benveniste y Sheinkman [1979]. 2 Ver De la Croix - Michel [2002], página
334. En realidad, es su ficiente con que r y g sean diferenciables en un punto particular. Ver Teorema 3.
44CAPÍTULO 3.
MÁS PROGRAMACIÓN DINÁMICA Y EL MÉTODO DE LAGRANGE
Teorema 3 (Diferenciabilidad de la Función Valor): Bajo las condiciones 4, 5, 8, 9, 10, 11 y 12; si x 0 ∈ int(X ) y h(x0 ) ∈ int(Γ(x0 )), entonces la función valor es continuamente diferenciable en x0 y su derivada está dada por: n
X
∂v (x0 ) ∂r (x0 , h(x0 )) = + β ∂x i ∂x i
j=1
∂v(g(x0 , h(x0 ))) ∂g j (x0 , h(x0 )) , ∂x j ∂x i
para todo i = 1, ...n. Proof. Esta es una version del Teorema de Benveniste-Scheinkman. Ver De la Croix y Michel [2002], página 334.
3.2. El Método de Lagrange Consideremos de nuevo el problema secuencial general y de finamos el Lagrangiano (truncado) asociado £t : X × U × Rn × Rn → R £t (xt , ut , λt , λt+1 ) = r(xt , ut ) +
βλ t+1 · g (xt , ut ) − λt · xt
donde (xt , ut , λt , λt+1) ∈ X × U × Rn × Rn . Definición 2 Dada una dinámica factible {(xt , ut )}t=0,1,...desde x0 , decimos que la secuencia de precios (sombra) {λt }t=0,1,... en Rn , soportan la dinámica factible {(xt , ut )}t=0,1,... si para todo t = 0, 1..., la secuencia {(xt , ut , λt , λt+1)}t=0,1,... maximiza £t sobre el conjunto Π (x0 ) × Rn × Rn ⊂ X × U × Rn × Rn . Teorema 4 . Sea {(x∗t , u∗t )} una dinámica factible desde x0 con x∗t ∈ int(X ) para todo t. Entonces bajo las condiciones 8, 9 y 10; {(x∗t , u∗t )} resuelve el problema secuencial si y solo si:
1. Existe una secuencia de precios {λt }t=0,1,... en R n que soportan la dinámica {(x∗t , u∗t )}t=0,1,...y 2. Para toda dinámica factible {(xt , ut )}t=0,1,...desde x0 tal que ∞, se
cumple la siguiente condición de transversalidad.
P ∞
β t r(xt , ut ) <
t=0
l´ım β t λt · (xt − x∗t ) ≥ 0
t→∞
Proof. Ver Michel [1990] o De la Croix et. al [2002], página 336. Anotación 11 En la próxima sección estableceremos una relación muy importante entre los precios que soportan una dinámica factible y el valor marginal (en términos de la función valor) de una unidad adicional de x0 a lo largo de la dinámica óptima. Esto nos permitira dar una interpretación muy clara de la condición de transversalidad en el método de Lagrange.
3.2. EL MÉTODO DE LAGRANGE
45
Corolario 1 Bajo las condiciones del teorema 4, sí xt ≥ 0 y λt ≥ 0 para todo t, una condicion su fi ciente para que se satisfaga la condición de transversalidad es: l´ım β t λt · x∗t = 0
t→∞
Proof. La demostración es parecida al caso de las ecuaciones de Euler pero sin utilizar diferenciabilidad (Ver Teorema 4.15 página 98 Stockey y Lucas [1989]).
Obsérvese que el Teorema 4 reduce el problema (PS) a un problema mucho más sencillo. En el primero, el objetivo era encontar secuencias in finitas que maximizaran una función objetivo con infinitos argumentos, mientras que el Método de Lagrange, reduce el problema a encontrar una secuencia in finita que resuelva infinitos problemas de optimización pero donde cada problema consiste en maximizar una función objetivo con finitos argumentos. Esto debería de llamarnos la atención sobre las herramientas existentes para resolver problemas de optimización estáticos. El siguiente teorema pone de mani fiesto la potencia del método de Lagrange. Teorema 5 Bajo las mismas condiciones del Teorema 4, y las condiciones 11 y 12; si {(x∗t , u∗t )} es tal que (x∗t , u∗t ) ∈ int(Π (x0 ) × U ) para todo t entonces la secuencia de precios {λt }t=0,1,... en R soporta la dinámica {(x∗t , u∗t )}t=0,1,... si y solo si se cumplen las siguientes condiciones de primer orden para todo t = 0, 1,....,
1.
∂ £t (x∗t , u∗t , λ∗t , λ∗t+1) ∂r(x∗t , u∗t ) ∂g (x∗t , u∗t ) = + βλ t+1 − λt = 0 ∂x ∂x ∂x
2.
∂ £t (x∗ , u∗ , λ∗ ) ∂r(x∗t , u∗t ) ∂g (x∗t , u∗t ) = + βλ t+1 =0 ∂u ∂u ∂u
3. x∗t+1 − g (x∗t , u∗t ) = 0
Anotación 12 En ocasiones, por analogía con el caso estático, escribimos el Lagrangiano del (PS) como: ∞
£
=
X
∞
t
β r(xt , ut ) +
t=0
X
Λt+1 (g (xt , ut ) − xt+1 ) − Λ0 (x0 ).
t=0
Si informalmente procedemos a maximizar £ con respecto a estados y controles (asumiendo soluciones interiores y diferenciabilidad) y de fi nimos λt = Λβtt , entonces obtenemos las mismas ecuaciones de primer orden que en el anterior teorema. Esta es una manera heurística de obtener las ecuaciones que caracterizan la solución del (PS) cuando utilizamos el método de Lagrange.
46CAPÍTULO 3.
MÁS PROGRAMACIÓN DINÁMICA Y EL MÉTODO DE LAGRANGE
Ejemplo 9 ( Ecuaciones de Euler ): En el capítulo 2 estudiamos de manera informal un caso particular del método de Lagrange que se conoce como las ecuaciones de Euler. El problema típico al que éste se re fi ere es de la forma: ∞
sup
X
{ut } t=0
β t r(xt , xt+1)
s.a
:
xt+1 x0
∈
Γ(xt ), t =
∈
X dado.
(3.1)
0, 1, 2,...
Que en nuestra notación se podría escribir de la forma: ∞
sup
X
β t r(xt , ut )
(3.2)
{ut } t=0
xt+1 ut x0
s.a = ut ∈
Γ(xt ), t =
∈
X, dado.
0, 1, 2,...
Utilizando el Teorema 5, las condiciones de primer orden son: ∂r(x∗t , u∗t ) = λ t ∂x
∂r(x∗t , u∗t ) + βλ t+1 = 0 ∂u
(3.3)
(3.4)
Substituyendo la ecuación 3.3 en la ecuación 3.4 obtenemos las ecuaciones de Euler:
¡ ¢ ¡
¢
∂r x∗t , x∗t+1 ∂r x∗t+1 , x∗t+2 + β = 0, t = 0,... ∂x t+1 ∂x t+1
Ahora si xt ≥ 0 y la función de retorno instantáneo es creciente en xt entonces λ t ≥ 0 por la ecuación 3.3 y la condición de tranversalidad del método de lagrange es por el corolario 1: l´ım β t
t→∞
∂r(x∗t , u∗t ) ∗ · xt = 0 ∂x
(3.5)
Anotación 13 Obsérvese que las condiciones derivadas en el capítulo 1 para el modelo básico de crecimiento son un caso particular de las anteriores. Anotación 14 Por el corolario 1 la condición de transversalidad 3.5 es sólo una condición su fi ciente.
3.3. LA RELACIÓN ENTRE EL MÉTODO DE PROGRAMACIÓN DINÁMICA Y EL DE LAGRANGE 47
3.3. La Relación entre el Método de Programación Dinámica y el de Lagrange Tomemos ahora el problema desde el punto de vista de la programación dinámica. Sea v la función valor del problema y {(x∗t , u∗t )}t=0,1... una dinámica factible desde x0 (es decir, informalmente, una secuencia para la cual la ecuación de Bellman se cumple). Entonces esta dinámica es una solución al problema secuencial si se cumplen las siguientes condiciones: ∂r (x∗t , u∗t ) ∂v(g(x∗t , u∗t )) ∂g(x∗t , u∗t ) + β =0 ∂u ∂x ∂u
Ahora, por el Teorema de Diferenciabilidad sabemos que si se cumple entonces: ∂v (x∗t ) ∂r (x∗t , u∗t ) ∂v(g(x∗t , u∗t )) ∂g(x∗t , u∗t ) = + β ∂x ∂x ∂x ∂x ∗
t) Sea λ t = ∂v(x (el precio sombra de la variable de estado ), entonces las tres ∂x ecuaciones anteriores son equivalentes a las tres ecuaciones del Teorema 5.
Anotación 15 Obsérvese que las condiciones de transversalidad del método de programación dinámica y el de Lagrange son ligeramente diferentes. Anotación 16 En el caso de las ecuaciones de Euler: λt =
∗
∗
∂r(xt ,ut ) ∂x
=
∗
∂v(xt ) ∂x .
3.4. Algunas Propiedades de las Dinámicas Óptimas Como vimos en el capítulo 2, una pregunta fundamental sobre las trayectorias óptimas es sí estas son estables. Más especi ficamente, nos preguntamos si las trayectorias son globalmente estables o apenas localmente estables. El siguiente teorema muestra que por lo menos para el modelo básico de crecimiento, bajo ciertas hipótesis, las trayectorias son estables globalmente. El ejemplo que le sigue nos recuerda que la estabilidad global no es un resultado general. Teorema 6 Teorema de estabilidad (Turnpike). Vamos a considerar el modelo básico de crecimiento: ∞
m´ ax s.a
:
X
β t u(ct )
t=0
kt+1 = f (kt ) + (1 − δ )kt − ct 0 6 ct 6 f (kt ) k0 dado.
Donde δ, β ∈ (0, 1). Utilizaremos las siguientes hipótesis:
48CAPÍTULO 3.
MÁS PROGRAMACIÓN DINÁMICA Y EL MÉTODO DE LAGRANGE
1. f : [0, ∞) → R+ continua, estrictamente creciente, estrictamente cóncava y C 1 en (0,0). 2. u : [0, ∞) → R+ continua, estrictamente creciente, estrictamente cóncava y C 1 en (0,0). 3. f (0) = 0, l´m f ´(k) = ı
k→0
∞, l´ım f ´(k) = 0 k→∞
y l´m u0 (k) = ∞ ı
k→0
Las hipótesis anteriores garantizan que existe un único k , tal que f (k) = k. A su vez, esto implica que existe un stock de capital máximo, km´ax = k + (1 − δ )k a lo largo de cualquier dinámica factible. Por lo tanto, el conjunto de las dinámicas factibles es un conjunto acotado y la función de utilidad u, y de producción f, son funciones acotadas sobre el conjunto de dinámicas factibles (recordemos que estas funciones son por hipótesis, continuas). De lo anterior se sigue que el problema secuencial y el problema funcional son equivalentes y por lo tanto, la función valor v del problema secuencial es la única solución al problema funcional: v(k) =
e
m´ ax {u(c) + βv(f (k) + (1 − δ )k − c)}
06 c6 f (k)
Nuestra tarea ahora es caracterizar de la manera más precisa posible la dinámica óptima de este problema: kt+1 = g(kt ) = f (kt ) − h(kt ), donde h es la función de política. Supongamos que h(k) es diferente de 0 y f (k) cuando k ∈ (0, km´ax ]. Esto es intuitivamente obvio pues la utilidad marginal del consumo es in fi nita en cero luego h(k) = 6 0, y porque el factor de descuento intertemporal β = 6 0, luego h(k) = 6 f (k) (no es óptimo consumirse todo el producto en un período). Sin embargo, la demostración formal de esto requiere un poco de trabajo. Bajo estas hipótesis, estamos listos para demostrar el Teorema de Estabilidad Global (o Turnpike) para el modelo básico de crecimiento. ∗ Sea kt+1 = g (kt∗ ) la dinámica óptima para el problema anterior con k0∗ = k0. Entonces:
e e
e
a) g es estrictamente creciente; b) Existen dos puntos estacionarios (i.e. k∗ = g (k∗ )), k∗ = 0 y k∗ =
e
f 0−1 ( β1
+ δ − 1).
c) Si k0 ∈ (0, km´ax ] entonces l´m kt∗ = k ∗ . ı
t→∞
e
Puesto que la solución al problema funcional es interior entonces por el Teorema de Diferenciabilidad de la función valor las siguientes condiciones son necesarias en el óptimo: u0 (h(k)) = βv0 (g(k)), condición de primer orden
e
3.4. ALGUNAS PROPIEDADES DE LAS DINÁMICAS ÓPTIMAS
49
v0 (k) = βv0 (g(k))(f 0 (k) + (1 − δ )), teorema diferenciabilidad
e
Para mostrar que g es estrictamente creciente (primera a fi rmación), utilizaremos la anterior condición de primer orden que se puede reescribir como: u0 (f (k) + (1 − δ )k − g(k)) = βv0 (g (k))
e
e e e
La prueba es por contradicción. Supongamos que k 1 < k2 y g (k1 ) ≥ g (k2 ), entonces es fácil ver que si la ecuación anterior se cumple en k 1 , enotnces no se puede cumplir en k2 , por la concavidad estricta de u y ν. La segunda a fi rmación tiene dos partes. Que cero es un punto estacionario es obvio. Si k∗ 6 = 0, entonces k∗ debe satisfacer: u0 (f (k) + (1 − δ )k − g (k)) = βv 0 (g (k)),
luego, f 0 (k∗ ) = (
e
1 + δ − 1) β
e
y queda demostrada la segunda a fi rmación. Por último, para demostrar la estabilidad global recordemos que si ν es cóncava entonces: v0 (g (k))((f 0 (k) + (1 − δ )) − β1 )
e
k − g(k)
< 0 para todo k 6 = g(k)
Luego, como f es cóncava, f 0 (k) + (1 − δ ) ≶ β1 ⇔ k ≷ k∗ ⇒ k ≷ g(k) siempre que k ≷ k∗ Esto quiere decir que si k0 < k∗ entonces k0 < k1∗ < k2∗ ... < k∗ . Luego la secuencia tiene que converger a k∗ porque es el único punto estacionario diferente de cero. Un argumento parecido se aplica cuando k0 > k∗ .
La estabilidad global es usualmente muy difícil de probar. La estabilidad local es en general mucho más fácil de probar. Presentamos ahora un ejemplo de inestabilidad, tomado de Stokey-Lucas; en él, se han modi ficado algunas de las (estrictas) condiciones impuestas para garantizar la estabilidad global del problema. Ejemplo 10 (Inestabilidad global de las dinámicas óptimas). El modelo es el siguiente. El individuo posee una dotación de trabajo en cada período, pero ésta no entra en su función de utilidad. Hay dos bienes para producir: un bien de capital y un bien de consumo. Asumamos que los bienes de consumo se producen con capital y trabajo, mientras que los de capital sólo se producen con trabajo; además, supongamos que: ct = n t f (kt /nt ) kt+1 = 1 − nt 0 6 nt
6
1
50CAPÍTULO 3.
MÁS PROGRAMACIÓN DINÁMICA Y EL MÉTODO DE LAGRANGE
Donde n t es el trabajo necesario para producir bienes de consumo. Notemos que el acervo de capital debe encontrarse en el rango [0,1]. Vamos hacer las mismas hipótesis anteriores con relación a f y u. Y fi nalmente supongamos que: l´ım nf (k/n) = 0, ∀k ∈ [0, 1]
n→0
Eliminando c con la primera ecuación en la función de utilidad y eliminando n con la segunda ecuación llegamos al siguiente problema funcional: v(k) = m´ ax
y∈[0,1]
½∙
u (1 − y)f
µ ¶¸ ¾ k
+ βv(y)
1−y
Sea g la función que nos da la dinámica óptima. La condición de primer orden y el teorema de diferenciabilidad de la función valor implican que: 0
∙
e
µ ¶¸ ½ ¸ ¸¾ ∙ ∙ e e e e e e µ ¶¸ µ ¶ ∙ e e ee µ ¶µ ¶µ ¶
u (1 − g (k))f
k 1 − g(k)
× f
k k k − f 0 1 − g (k) 1 − g(k) 1 − g(k)
v0 (k) = u 0 (1 − g(k))f
k 1 − g(k)
f 0
k 1 − g(k)
= βv0 [g (k)]
(1)
(2)
Para encontrar los puntos estacionarios sustituimos k∗ = g(k∗) en las ecuaciones anteriores y eliminamos v0 : f
k∗ 1 − k∗
−
k∗ + β f 0 1 − k∗
k∗ = 0 1 − k∗
No es difícil demostrar que existe un único k∗ ∈ (0, 1) que resuelve la ecuación anterior. Ahora, a diferencia del ejemplo anterior, la función g (k) no es creciente. Dado que cuando k = 0, todo el trabajo se utiliza en la producción de capital, por lo cual g (0) = 1. Así g no puede ser creciente cerca a cero. Esto nos lleva a oscilaciones del sistema. La estabilidad del sistema depende de la pendiente g en k∗ .
e
e
e
e
En el siguiente teorema mostraremos que bajo ciertas condiciones mínimas es posible obtener cualquier función suave g, que describa la dinámica óptima de las variables de estado, de un problema de programación dinámica como el que hemos estudiado hasta este momento. Considere el problema general en donde estudiamos las ecuaciones de Euler.
e
Teorema 7 (Boldrin y Montrucchio). Sea X un conjunto compacto en R y g : X → X cualquier función C 2 . Sea Γ(x) = X ∀x ∈ X. Entonces existe una función de retorno r y un factor de descuento β tal que (X, Γ, r , β ) satisfacen las propiedades usuales y g de fi ne la dinámica óptima para el problema secuencial asociado a (X, Γ, r , β ) .
e
e
En otras palabras, cualquier función suave, por extraña que sea, es la dinámica optima de alguna economía. El siguiente ejemplo ilustra el anterior teorema.
51
3.5. EJERCICIOS Y SOLUCIONES
Ejemplo 11 (Tomada de Stockey y Lucas, página 139). Considere la siguiente ecuación en diferencias: xt+1 = g (xt ) = 4xt − 4x2t . Es fácil ver que g : [0, 1] → [0, 1], y además satisface todas las condiciones del teorema anterior. La siguiente grá fi ca deja claro cuáles son las dinámicas óptimas de este problema. El Teorema de Boldrin y Montrucchio tiene varias implicaciones interesantes. De una parte, el Teorema dice que el problema típico que nos hemos propuesto resolver (i.e. el problema secuencial), donde cada uno de los fundamentales del problema (i.e. β,r, g y Γ) satisfacen las hipótesis naturales sobre una economía, no parecen imponer mayores restricciones sobre las dinámicas observadas en el mundo real (i.e. la función de política h o la dinámica óptima g ). Este es una especie de “análogo” al Teorema de Sonnenschein-Mantel-Debreu en la teoría del consumidor. Es decir, la forma de modelar propuesta hasta el momento es tan general, que puede tener como implicación cualquier cosa, y en ese sentido, puede no ser una teoría refutable. En el caso del Teorema de Sonnenschein-Mantel-Debreu son diversas las soluciones que se han encontrado que conllevan a resultados positivos.3 Por otra parte, el Teorema de Boldrin y Montrucchio implica que es posible crear ciclos endógenos como los observados en las economía reales. El ejemplo 11 ilustra de una manera muy estilizada esta a fi rmación. Esta idea, de que era posible obtener ciclos endógenos a partir de modelos económicos razonables, motivo una gran cantidad de investigaciones sobre el tema. Según el mismo Boldrin,4 con los años el entusiasmo disminuyó debido a que, según las investigaciones, para obtener ciclos como los observados en el mundo real eran necesarios parámetros poco realistas para la economía arti fi cial como por ejemplo, un β muy pequeño (i.e. una tasa de interés real muy alta).
e
e
e
3.5. Ejercicios y Soluciones Ejercicio 12 Con referencia al ejemplo sobre las ecuaciones de Euler, demostrar que las ecuaciones de Euler y la condición de transversalidad son condiciones su fi cientes para para encontrar un óptimo al problema secuencial. Solución 9 Tenemos que demostrar que para todo T : T
X
β t (r(x∗t , x∗t+1 ) − r(xt , xt+1)) ≥ 0
t=0
3 El
lector interesado en este problema, su importancia y el estado del arte puede referirse a la entrevista de www.webpondo.org con Herakles Polemarchakis: www.webpondo.org/interviews_9.htm 4 Ver la entrevista de www.webpondo.org con Michele Boldrin: www.webpondo.org/files/opinion/Boldrin %20para %20webpondo %20revised.pdf
52CAPÍTULO 3.
MÁS PROGRAMACIÓN DINÁMICA Y EL MÉTODO DE LAGRANGE
Figura 3.1:
53
3.5. EJERCICIOS Y SOLUCIONES
Ahora, T
X X X
β t (r(x∗t , x∗t+1) − r(xt , xt+1 ))
t=0
≥
T
=
∂r(x∗t , x∗t+1) ∂ r(x∗t , x∗t+1 ) ∗ β ( · (xt − xt ) + · x∗t+1 − xt+1 ∂x t ∂x t+1 t=0
T −1 t=0
¡
t
β t (
¢
∂r(x∗t , x∗t+1) ∂r(x∗t , x∗t+2) + β ) · x∗t+1 − xt+1 + ∂x t+1 ∂x t+1
∂ r(x∗T , x∗T +1 ) ∗ β T xT +1 − xT +1 ∂x t+1 ∗ ∗ T ∂ r(xT , xT +1 ) = β x∗T +1 − xT +1 ∂x t+1 ∗ ∗ T ∂r(xT +1 , xT +2 ) = −β x∗T +1 − xT +1 ∂x t ∗ ∗ T ∂r(xT +1 , xT +2 ) ∗ ≥ −β xT +1 = 0 ∂x t
¡ ¡
¢ ¢
¡
¡
¢
¢
Ejercicio 13 Cosidere el problema de la fi rma ( kt denota el acervo de capital de la fi rma): ∞
X
1 1 β t (akt − bkt2 − c(kt+1 − kt )2 ) 2 2 {kt } t=0
m´ ax
k0 dado.
1. Dar una interpretación económica del problema (ver Stokey-Lucas[1989], página 95). 2. Utilizar las ecuaciones de Euler para encontrar la trayectoria óptima del capital. (Ayuda: la función de política es lineal) Ejercicio 14 Utilizando bien sea el método de la Programación Dinámica o las Ecuaciones de Euler, resolver el ejercicio 1.3 de Sargent. ∞
m´ ax s.a At+1 A0
:
X
β t u(ct )
t=0
Rt (At − ct ) > 0 dado.
6
donde: 0 < β < 1; R1t −α < 1/β, u(ct ) =
1 1−α ; α > 0. 1−α c
54CAPÍTULO 3.
MÁS PROGRAMACIÓN DINÁMICA Y EL MÉTODO DE LAGRANGE
Solución 10 El problema determinístico es el siguiente: ∞
m´ ax s.a
β t u(ct )
t=0
:
At+1 A0
X
Rt (At − ct ) > 0, dado,
6
donde: 0 < β < 1, Rt1−α < 1/β , u(ct ) = 1−1 α c1−α ; α > 0 La función de utilidad considerada en este ejercicio no cumple con todas las condiciones que hemos impuesto al problema pues es no acotada. La condición sobre R, sin embargo, garantiza que la función valor que vamos a suponer más adelante es efectivamente la solución a la ecuación de Bellman. Suponemos que: v(A) = BA 1−α
Sustituyendo en la ecuación de Bellman, encontramos: BA
1−α
½
c 1−α = m´ax + βB(A − c)1−α R1−α c> 0 1−α
¾
La condición de primer orden es la siguiente: c−α = βB(1 − α)(A − c)−α R1−α
Lo que implica: k
c =
1
−
α
1+k
1
−
A
α
Donde k = βB(1 − α)R1−α Sustituyendo en la ecuación de Bellman este resultado y después de algunas manipulaciones, podemos determinar el valor de B :
³
1/α
1 − β
B =
£ ¤´ R1−α
1/α−α
1−α
La función de política es:
³
1/α
c = 1 − β
£ ¤´ R1−α
1/α
A
Ejercicio 15 Algoritmo de Howard (Ver Sargent [1987]): Hasta ahora, la principal forma como hemos utilizado el método de la programación dinámica ha sido para encontrar la función valor, mediante iteraciones, y posteriormente, la función de política. El siguiente algorítmo por el contrario, itera sobre la función de política. La idea es comenzar con una función de política inicial; dicha función de política se sustituye en la función de retorno. Haciendo la suma, obtenemos
55
3.5. EJERCICIOS Y SOLUCIONES
la función valor asociada a esa función de política. Ahora, utilizamos esta función valor y la sustituimos en la parte derecha de la ecuación de Bellman y encontramos la función de política que resuelve el problema de maximización de Bellman. Utilizando esta nueva función de política repetimos el proceso hasta que las nuevas funciones de política sean prácticamente iguales. La intución es muy sencilla, el primer paso consiste en calcular la utilidad cuando seguimos una funcíon de po´ litica arbitraria fi ja y que no podemos cambiar en ningun período. En el segundo paso lo que calculamos es el mejor control en t = 0 dado que a partir de t = 1 estamos atados de las manos y debemos utilizar la regla arbitraria con la que comenzamos. Al repetir el proceso varias veces, lo que buscamos es que la función de política óptima en t se apróxime a la función de política en t + 1. 1. Considere el problema de Brock-Mirman: ∞
X
β t ln ct
t=o
s.s : ct + kt = Akα k0 dado.
donde A > 0, 1 > α > 0. Suponga que la dinámica óptima del capital es: kt+1 = h 0(Aktα ) para una constante h0 ∈ (0, 1) . Aplicar el algoritmo de Howard para encontrar el h0 que resuelve el anterior problema. 2. Consideremos el ejemplo sobre control optimo lineal. Si comenzamos con una función de política µ = −F 0 x donde F 0 es un vector 1 × n mostrar que el algorítmo de Howard se reduce a iterar las ecuaciones: P j F j +1
= Q + F j0 RF j − 2W F j + β (A − BF j )0 P j (A − BF j ) = (R + βB 0 P j B)−1 (βB 0 P j A + W 0 )
Solución 11 Primera parte. Sustituyendo en la función de retorno ct en términos de la función de política sugerida, tenemos: ∞
J 0 (k0 ) =
X
β t ln(Aktα − h0 Aktα ) = B 0 +
t=0
α ln(k0 ) 1 − αβ
Donde B 0 es una constante independiente de k 0 . Obsérvese que el cálculo de B 0 es irrelante para calcular la función de política que resuelve el problema funcional cuando utilizamos J 0(k0) como la función valor. Ahora queremos resolver el siguiente problema: m´ax {ln(Akα − k 0 ) + βJ 0 (k0 )} k
0
56CAPÍTULO 3.
MÁS PROGRAMACIÓN DINÁMICA Y EL MÉTODO DE LAGRANGE
Que es lo mismo que:
½
µ
¶¾
α m´ ax ln(Ak − k ) + β B0 + ln(k 0 ) k 1 − αβ 0
α
0
Escribiendo las condiciones de primer orden de este problema llegamos a la dinámica óptima del modelo de Brock - Mirman. Es decir, el algoritmo converge en un paso. Para veri fi car esto utilizando el algoritmo de Howard, calcule una función de política más. Sea: ∞
J 1 (k0 ) =
X
β t ln(Aktα − αβAktα )
t=o
Es fácil demostar que el siguiente problema lo resulelve la misma función de política anterior: m´ ax {ln(Akα − k 0 ) + βJ 1 (k0 )} k
0
Luego, hemos llegado a una función de política invariante utilizando el algoritmo propuesto.
Bibliografía [1] Benveniste, L. Scheinkman, J. 1979. ”On the diff erentiability of the value function in dynamic models of economics”. Econometrica 47: 727-732. [2] De La Croix, D. Michel, P. 2002. A Theory of Economic Growth. Cambridge University Press. [3] Michel, P. 1990. Some Clarifications on the Transversality Conditions. Vol 58, No. 3, 705-723. [4] Sargent, T. 1987. Dynamic Macroeconomic Theory. Harvard University Press. [5] Stokey, N. Lucas, R y Prescott, E. 1989. Recursive Methods in Economic Dynamics. Harvard University Press. [6] Bellman, R. 1957. Dynamic Programing. Princeton University Press.
57
58
BIBLIOGRAFÍA
Capítulo 4
Economía Dinámica: el caso estocástico En la teoría desarrollada hasta este momento hemos excluido por razones de simplicidad el carácter incierto sobre el cual se toman la mayoría de las decisiones económicas. Por esto queremos decir que, en la mayoría de los casos, cuando los diferentes agentes económicos se ven en la obligación de tomar una decisión ellos desconocen por lo menos parcialmente, el ambiente económico. Por ejemplo, las decisiones en el campo de la agricultura dependen estrechamente del comportamiento climático. Siendo éste un factor impredecible, los agentes no tienen otra alternativa que tomar sus decisiones contingentes a la realización de estos eventos aleatorios. Las decisiones en el mercado bursátil son también altamente inciertas. Comprar o no acciones depende del comportamiento futuro de los precios, que desde el punto de vista de los agentes, son bastante impredecibles. Igualmente en la industria, muchas decisiones de inversión dependen de la tasa de interés o la tasa de cambio, variables altamente impredecibles. Por esta razón, debemos buscar otra forma de modelar el comportamiento racional de los agentes (en el sentido de que estos maximizan una función de utilidad que refleja sus preferencias sobre las diferentes alternativas), y que lleve en consideración el carácter contingente (o condicional) con el que los agentes deben tomar sus decisiones. Una alternativa es suponer que los agentes maximizan la utilidad esperada de sus decisiones, o por ejemplo, el bene ficio esperado en el caso de una firma. Aquí desarrollamos este punto de vista y comenzaremos con la estructura general de estos problemas.1 El primer punto a discutir, que es de vital importancia para nuestro estudio, es la forma de modelar los eventos aleatorios2 . Sin entrar en detalles, supongamos que tenemos un espacio de probabilidad ( Ω, z, P ), donde Ω representa el conjunto de todos los acontecimientos o sucesos posibles que puedan tener algu1 Estas notas están basadas en el capítulo (2) de 2 Para una introducción a nivel intermedio a la
consultar Carvajal y Riascos [2005].
59
Stokey-Lucas [1989]. teoría de la probabilidad el lector puede
60
CAPÍTULO 4. ECONOMÍA DINÁMICA: EL CASO ESTOCÁSTICO
na relevancia para la actividad económica; z representa los eventos (conjuntos de sucesos) que pueden ocurrir y P es la probabilidad (objetiva) con la que se realizan estos eventos3 . Ahora, estos resultados posibles, resumidos en el conjunto Ω, deben tener una manifestación muy particular en el ambiente económico bajo consideración. Más concretamente, debemos pensar en la forma como esos resultados afectan el marco analítico sobre el que se va trabajar. La forma usual de hacerlo, es a través de variables aleatorias definidas sobre este espacio de probabilidad. Más especí ficamente, a través de un proceso estocástico {θt } , que en cada instante t y para cada realización ω ∈ Ω, nos dice cómo afecta éste, nuestro marco analítico (el lector podrá encontrar una discusión más detallada en el Apéndice). Para el tipo de problemas que consideraremos, el efecto de estas realizaciones se manifiesta en la dinámica que siguen las variables de estado. En los ejemplos veremos de manera precisa la forma como pueden manifestarse. En general, el problema secuencial en un ambiente estocástico tiene típicamente la forma:
"X ∞
sup E s.a xt+1 ut x0
#
β t r (xt , ut )
t=0
: = g(xt , ut , θt+1) ∈ Γ (xt ) ∈ X, dado,
donde x t ∈ Rn , u t ∈ Rm, X ⊂ Rn , θt ∈ Rl , r es una función de X × Rm en R, g es una función de X × Rm × Ω en X y Γ es una correspondencia de X × Ω en R m. Mantenemos la interpretación usual de las funciones, pero es necesario especificar la estructura del problema de decisión en cada período. Las variables x en este problema van a resumir el ambiente económico completo sobre el cual se toman las decisiones. Estas son las variables de estado que pueden ser de dos tipos: estados endógenos y estados exógenos (probablemente aleatorios) y que, cuando sea necesario los distinguiremos de la siguiente forma. Los estados endógenos los denotaremos por xt ∈ Rns y los estados exógenos los denotaremos por zt ∈ Rne donde n = ns + n e . Las variables θt+1 son variables aleatorias 3 Se puede hacer
una distinción importante entre riesgo e incertidumbre que tiene origen en los escritos de Keynes [1921] y Knight [1921]. Fundamentalmente la idea consiste en distinguir una situación de riesgo, donde la realización de un evento es aleatoria pero con distribución conocida como por ejemplo, el resultado de tirar unos dados no sesgados, y una de incertidumbre, en donde la distribución es desconocida como por ejemplo, el resultado de una carrera de caballos. Keynes y Knight argumentaban que en las mayoría de las decisiones económicos era mucho más importante la segunda forma de incerteza. En este libro no haremos tal distinción pues siempre invocaremos la hipótesis de expectativas racionales para resolver nuestros modelos. Una implicación de ésta es que la probabilidad (subjetiva) que los agentes económicos utilizan para determinar la incerteza de los eventos es, en equilibrio, la misma que la probabilidad verdadera (objetiva) con la que estos ocurren. Este es uno de los supuestos básicos de la hipótesis de expectativas racionales. Las consecuencias económicas de distinguir entre estas dos formas de incerteza es una área activa de investigacíon en teoría económica. Por ejemplo, para ver sus consecuencias en la valoración de activos, el lector puede consultar Epstein y Wang [1994].
61 exógenas que asumimos son independientes e idénticamente distribuidas y que son la fuente de la incertidumbre de la economía. Anotación 17 Por el momento supondremos que el estado inicial x0 es un valor especí fi co co de X . Sin embargo, más adelante vamos a generalizar al caso en que la información inicial sobre los estados estada dada en la forma de una distribución inicial conocida.
Asociado al problema secuencial, tenemos el siguiente problema funcional: v (xt ) =
sup ut ∈Γ(xt )
{r(xt , ut ) + βE t [v(g (xt , ut , θ t+1)]} )]} ,
donde E t [.] denota el valor esperado dada la información hasta el período t (más concretamente, la información al comenzar el período t ). En nuestro caso, esta información corresponde al conocimiento de x0 , x1,...,xt . Obsérvese que el conocimiento en t de las variables de estado hasta t supone implícitamente el conocimiento de todos los controles u0 , u1,...,ut−1 (hasta t − 1 ) y de todas las variables exógenas θ0 , θ1 ,...,θt (hasta t). Al finalizar el período, ut es conocido. Como puede sospecharse a partir de esta formulación, la teoría de la programación dinámica en el caso estocástico se desarrolla de manera análoga al caso determinístico. Esto es cierto con relación a la equivalencia entre los dos problemas problemas bajo ciertas ciertas condicion condiciones, es, al método método iterativ iterativoo e incluso, incluso, a los métodos numéricos. Como el análisis formal de la teoría, es ligeramente más complicado que el caso determinístico y requiere de una formación sólida en teoría de la probabilidad en lo que sigue, procederemos de manera informal. En particular, supondremos que el problema funcional siempre tiene solución y que el supremo se realiza como un máximo. Por lo tanto de ahora en adelante escribiremos el problema con el operador de maximización. Todas las características mencionadas presentan di ficultades técnicas más complejas que en el caso determinístico pero no dejan de estar estrechamente relacionadas. Con el objeto de familiarizar más al lector con los problemas estocásticos, los siguientes ejemplos se muestran como generalizaciones naturales de los ejemplos tratados en las notas anteriores. Por ahora, vale la pena resaltar una primera diferencia importante con las ideas desarrolladas en los capítulos anteriores: el análogo al estado estacionario de los modelos determinísticos. El primer ejemplo nos servirá como una introducción al concepto de estado estacionario y la propiedad de estabilidad en el caso estocástico. El ejemplo típico es, una vez más, el modelo básico de crecimiento. Supongamos que la incertidumbre en la economía se re fleja en cambios aleatorios en el sector productivo de la economía. Uno puede pensar en el caso de que el sector productivo dependa de condiciones climáticas o en el caso en que al interactuar muchos agentes con información incompleta y asimétrica sobre las condiciones del mercado, estos tomen decisiones en una dirección u otra, que en el agregado parezcan aleatorias. Más explícitamente, supongamos que la producción en esta economía está sujeta a choques (o perturbaciones) estocásticas que alteran la
62
CAPÍTULO CAPÍTULO 4. ECONOMÍA ECONOMÍA DINÁMICA: DINÁMICA: EL CASO ESTOCÁSTIC ESTOCÁSTICO O
producción de acuerdo a la siguiente especi ficación: yt = z = z t f (k ( kt ) ,
donde {zt } es una secuencia de variables aleatorias i.i.d. 4 Es decir, independientes e idénticamente distribuidas. Así, el problema del agente representativo es: ∞
m´ ax ax s.a
X
β t u (ct )
t=0
kt+1
: = zt f (k ( kt ) − ct + (1 − δ ) kt
ct , kt
≥
0 k0 , z0 dados.
En este ejemplo, la variable de estado endógena es kt , la variable de estado exógena es zt, la variable de control es ct y la fuente de incertidumbre es la misma variable de estado z t . Luego, para expresar el problema en exactamente la misma forma que el problema secuencial de arriba, introducimos una variable θ t = z t y de esta manera la función de transición g la podemos identi ficar como: (kt+1, zt+1) = g( g (kt , zt , ct , θt+1 ) = (zt f (k ( kt ) − ct + (1 − δ ) kt , θ t+1)
y { ct : Γ(kt , zt ) = {c
0 ≤ ct ≤ zt ktα + (1 − δ ) kt }
Anotación 18 Si suponemos, como usualmente se hace en la literatura, que log (zt ) sigue un proceso autorregresivo de primer orden: log (zt ) = ρlog (zt−1 ) + θt entonces la función de transición g la podríamos identi fi car car como: (kt+1, log(z log(zt+1)) = g( g (kt , zt , ct , θt+1) = (zt f (k ( kt ) − ct + (1 − δ ) kt , ρ log log (zt ) + θ t+1)
De igual manera que en el caso determinístico, en general, la solución de este problema requiere de métodos numéricos. Por esta razón, utilizaremos la especificación de Brock y Mirman para poder resolver explícitamente el modelo e ilustrar las ideas principales. Ejemplo 12 (Brock y Myrman [1972], el caso estocástico). Supongamos que el capital se deprecia completamente al fi nal nal de cada período ( δ δ = 1), que la función de producció producciónn es de la forma f (k ( kt ) = zt ktα donde α ∈ (0, (0, 1) y que la función de utilidad es logarítmica. logarítmica. Así, nuestro problema se transforma transforma en: ∞
m´ ax ax s.a kt+1 4 Por
:
X
β t log log (ct )
t=0
= zt ktα − ct k0 , dado.
[log(zt )] = 0 simplicidad, suponemos que E [log(
63 Ahora, de manera informal, si utilizáramos el método iterativo para encontrar la función valor, no es difícil sospechar, después de un par de iteraciones, que un buen candidato a ser la función valor es: v(k, z ) = a + b + b log(k log(k ) + c + c log(z log(z ), donde a, b y c son constantes que debemos determinar. Nos proponemos ahora veri fi car car que en efecto ésta es la forma de la función valor. De la ecuación funcional, sabemos que debe cumplirse que: a+b log(k log(kt )+c )+c log(z log(zt ) =
sup
0≤ct ≤zt ktα
{log(c log(ct ) + βE t [a + b log(z log(zt ktα − ct ) + c log(z log(zt+1)]} )]}
Claramente, la solución a este problema debe ser interior. Las condiciones de primer orden implican que el consumo óptimo es: ct =
zt ktα 1 + βb
Sustituyendo en la ecuación de Bellman es fácil ver que a = 1−1 β ln(1 − αβ ) + αβ 1 ln( αβ ), b = (1−ααβ) (1−β)(1−αβ) αβ) ln(αβ αβ) y c = (1−αβ) αβ) son constantes que hacen nuestro candidato a función valor satisfacer la ecuación de Bellman. Luego, la función de política es: ct = (1 − βα) βα )zt ktα
y la dinámica óptima del capital esta dada por: kt+1 = βαz β αzt ktα
(4.1)
Ahora, como punto de referencia para pensar con relación al problema de estabilidad bajo incertidumbre, nos referiremos al ejemplo anterior. Puesto que la dinámica del capital es un proceso estocástico, no es del todo claro en qué sentido es que el capital converge a un capital de “estado estacionario”. Una posibilidad natural, es que la distribución que caracteriza la dinámica del capital en cada instante φ t , “converja” en algún sentido que debemos especi ficar, a una distribución φ, que proponemos como la distribución que caracteriza el estado estacionario, invariante a la dinámica de éste (esto es ciertamente más general que suponer que la convergencia es a una distribución concentrada concentrada en un punto). punto). Es decir, si el estado inicial de la economía es una realización de la distribución φ, el capital óptimo el período siguiente debe estar caracterizado por la misma distribución φ. Para caracterizar mejor esta última propiedad, debemos saber calcular cómo evoluciona la distribución del capital según la función que determina su dinámica óptima y la forma como se va revelando la información. Esto es, la distribución del capital en t + 1 es: φt+1 (b (b) = P (k ( kt+1 ≤ b) = P (αβz ( αβz t ktα ≤ b) = P (z ( zt ktα ≤ b/αβ )
luego, utilizando el teorema de probabilidad total tenemos φt+1 (b (b) =
Z µ
¶
b P zt ≤ | k t = a dφt (a (a) = αβa α
Z
G(
b )dφt (a (a) , αβa α
64
CAPÍTULO 4. ECONOMÍA DINÁMICA: EL CASO ESTOCÁSTICO
donde G es la distribución del choque tecnológico. Ahora, sea H (a, b) = P (kt+1 ≤ b | kt = a) . La función de transición H la podemos interpretar como la probabilidad que en t + 1 el capital sea menor o b igual a b dado que en t el capital era a. Obsérvese que H (a, b) = G( αβa α ), que es una distribución conocida, luego podemos expresar la distribución del capital en t + 1 como: φt+1 (b) =
Z
H (a, b) dφt (a)
(4.2)
En el lenguaje de la teoría de la probabilidad, decimos que la dinámica óptima del capital es un Proceso de Markov con función de transición H (a, b) . La ecuación 4.2 es el análogo, en términos de la distribución del stock de capital, de la ecuación 4.1. Usando este lenguaje, la propiedad de estabilidad puede enunciarse como: Existe una distribución φ , “límite” de las distribuciones {φt } , tal que: φ (b) =
Z
H (a, b) dφ (a) .
En este caso, decimos que la distribución φ es invariante a la función de transición H. La distribución φ es nuestro análogo estocástico al estado estacionario en el caso determinístico. Ejemplo 13 (Brock y Mirman [1972], el caso estocástico una vez más) A diferencia del ejemplo anterior en donde nos preguntabamos por la distribución invariante del stock de capital ahora, por simplicidad, calcularemos la distribución invariante del logaritmo del stock de capital. Luego supongamos que ln (zt ) N 0, σ 2 . Vamos a mostrar que ln (kt ) N (µt , σ 2t ) y que la secuencia µt , σ 2t t=0,1... de medias y varianzas convergen a constantes µ y σ 2 respectivamente . La conjetura natural, que más tarde formalizaremos, es que la distribución de ln (kt ) converge en algún sentido a una distribución invariante φ N µ, σ 2 (obsérvese que φ sería la distribución invariante del logarítmo del stock de capital. Anteriormente encontramos que la dinámica óptima del capital es: ∼
¡ ¢
©¡ ¢ª
∼
∼
¡ ¢
kt+1 = βαzt ktα
Tomando logarítmos, tenemos: ln kt+1 = ln(βα) + ln(zt ) + α ln(kt ),
esto implica que: ln kt+1 = (1 + α)ln(βα) + ln(zt ) + α ln(zt−1 ) + α2 ln kt−1 .
¡ ¢
¡ ¢
Esto implica que si ln(k0 ) N µ0, σ20 , entonces ln(kt ) N µt , σ2t (obsérvece que esto incluye el caso en que k0 es una constante conocida). ∼
∼
65 Si reemplazamos hacia atrás sucesivamente hasta llegar a la primera observación de k, k0 , encontramos la siguiente expresión:
ÃX ! t
ln kt+1 =
i
α
t
ln(βα) +
i=0
X
αi ln(zt−i ) + αt+1 ln k0
(4.3)
i=0
Tomando el valor esperado de esta ecuación y teniendo en cuenta la distribución de zt obtenemos:
ÃX ! "ÃX ! X "X # ÃX ! t
αi
E [ln kt+1] =
ln(βα) + αt+1 ln k0
(4.4)
i=0
Ahora, a partir de la ecuación 4.3, la varianza V de ln kt+1 es: t
V [ln kt+1]
= V
t
αi
ln(βα) + αt+1 ln k0 +
i=0 t
= V
#
αi ln(zt−i )
i=0
αi ln(zt−i )
i=0
y como zt son variables aleatorias i.i.d, entonces cov [ln(zt ), ln(zt−i )] = 0 para todo i 6 = 0. Luego t
α2i σ 2
V [ln kt+1] =
(4.5)
i=0
Las ecuaciones 4.3, 4.4 y 4.5 implican que ln(kt ) ∼ N (µt , σ2t ) donde µt
=
σ 2t
=
¡ ¢ ³ ´
1
1 − αt+1 ln(βα) + αt+1 ln k0
1−α 1 1 − α2(t+1) σ 2 1 − α2
Nótese que si α ∈ (0, 1) entonces:
l´ım µt
=
l´ım σ 2t
=
t→∞
t→∞
ln(αβ ) 1−α σ2 1 − α2
y ln(kt ) sigue un proceso AR(1) estacionario.
Una pregunta fundamental es si el estado estacionario determinístico del capital del modelo de Brock y Mirman k∗, es igual a la media del estado estacionario estocástico, k = E [exp[φ]]. La respuesta es negativa. Para demostarlo utlizamos la desigualdad de Jensen (Ver Apéndice). Como la función exponencial es estrictamente convexa (y φ no es constante) entonces k = E [exp φ] >
³ ´
exp[E [φ]] = exp(µ) = αβ 1
1
α
−
5 Otra
= k ∗ .5
manera de ver esto es utilizando la siguiente propiedad de las distribuciones lognormales. Si X es una variable aleatoria tal que log(X ) ∼ N (µ, σ2 ) entonces E [X ] = exp(µ + 1 2 σ ) 2
66
CAPÍTULO 4. ECONOMÍA DINÁMICA: EL CASO ESTOCÁSTICO
Anotación 19 Sin embargo, obsérvese que log[k∗ ] = E [φ]. Ejemplo 14 (Control Óptimo Lineal. Basado en Sargent [1987]). Consideremos el problema:6
"X
#
∞
sup E
β t (x0t Qxt + u0t Rut + 2x0t W ut )
t=0
s.a
: = Axt + Bu t + εt+1
xt+1
x0 dado,
donde εt es un proceso estocástico i.i.d con media cero y matriz de varianzacovarianza Σ. El lector puede veri fi car fácilmente que la función valor de este problema es: v(x, ε) = x 0 P x +
β
tr(P Σ), 1 − β donde tr denota la traza de la matriz y P es la misma que teníamos en el
problema determinístico (i.e la solución al problema de Riccati). De otra parte, la función de política es: ut = −(R + βB 0 P B)−1 (βB 0 P A + W 0 )xt = −F xt
Luego, la dinámica óptima ésta dada por: xt+1 = (A − BF )xt + εt+1.Obsérvese que la función de política es la misma función de política del caso determinístico. Esta propiedad la llaman los economistas el principio de equivalencia determinística y es una característica muy particular de los problemas lineales-cuadráticos y no una propiedad general de los problemas de optimización dinámica estocástica. El resultado depende de tres características de este ejemplo: La función retorno es cuadrática, la dinámica de transición de las variables de estado es lineal y E [εt+1 | xt ] = 0 Ejemplo 15 El costo en bienestar de las fl uctuaciones económicas. 7 El agente representativo:
"X
#
∞
c1−σ − 1 E β t t ) 1 −σ t=0
Supongamos que el consumo sigue el siguiente proceso estocástico: 1 ct = (1 + λ)(1 + µ)t exp(− σ2z )zt , 2
donde ln(zt )˜N (0, σ2z ). Luego E [ct ] = (1 + λ)(1 + µ)t .8 Obsérvese que el valor esperado del consumo crece a un tasa µ y en ausencia de incertidumbre esta es la 6 Basado en Sargent [1987]. 7 Basado en Lucas [1987]. 8 Se sigue de: E [exp(− 1 σ2 )z ] = 2 z t −1 σ2 2 z
1
−1 ( t )2 )dt, 2 σ
−∞ ∞ exp( ) exp( ) √ exp( −∞ ∞ exp( ( − ) ) = 1 √ 1
2 2πσ z
−1 2
t
t
2 2πσ z σ2 z
σz
2
.
z
completando
cuadrados
obtenemos
67 tasa de crecimiento del consumo. La componente exp(− 12 σ 2z )zt es la responsable de las fl uctuaciones del consumo. De esta manera tenemos una interpretación clara de los parámetros µ y σ2z . Ahora, de fi namos el bienestar de una economía para parámetros dados λ, µ y σ2z , como:
"X # ∞
β t U (ct )
W (λ,µ,σ 2z ) = E
t=0
El costo en bienestar de pasar de una tasa de crecimiento µ0 a µ es el valor de λµ que resuelve: W (λu , µ , σ 2z ) = W (0, µ0 , σ 2z )
No es difícil demostrar que para preferencias logarítmicas:9
µ ¶ 1 + µ0 1+µ
λu =
β
1−β
−1
El costo en bienestar de pasar de una economía con volatilidad 0 a σ2z , es el valor de λ que resuelve: W (λσ , µ , σ 2z ) = W (0, µ, 0)
Este valor se puede calcular como:
⎡ P¡ (1 + λ )(1 + µ) exp( E ⎣ ∞
σ
t=0
¢
1−σ − 12 σ 2z )zt
t
1−σ
− ((1 + µ)t )
=0
⎤ ⎦
1 (1 + λσ )1−σ exp(− σ2z (1 − σ))E [exp((1 − σ)log zt )] = 1 2 1 1 ⇒ (1 + λσ )1−σ exp(− σ2z (1 − σ)) exp( σ 2z (1 − σ)2 ) = 1 2 2 1 ⇒ (1 + λσ )1−σ exp(− σ2z ((1 − σ) − (1 − σ)2 )) = 1 2 1 2 1−σ ⇒ ((1 + λσ ) exp(− σ z σ)) =1 2 ⇒
luego: λσ = exp
µ ¶ 1 2 σσ 2 z
− 1 '
1 2 σσ 2 z
Para tener una idea de las magnitudes, la siguiente tabla muestra los costos de las fl uctuaciones económicas para varios grupos de países y valores del parámetro de aversión al riesgo σ. Los valores de las volatilidades son tomados de las primeras notas. Utilizamos la volatilidad de la tasa de crecimiento del producto como una proxy de la volatilidad de la componente cíclica del consumo. 9 Ayuda:
∞
t
tβ = β
t=0
d dβ
∞ βt
t=0
=
β
(1−β )2
.
68
CAPÍTULO 4. ECONOMÍA DINÁMICA: EL CASO ESTOCÁSTICO
σz ( %)
Developing
Industrial
G7
4.13
2.25
2.11
σ
1 0.09 0.025 0.02 5 0.45 0.1 0.1 10 0.9 0.2 0.2 Costo en bienestar en términos de consumo anual ( %) Los mayores valores que se observan corresponden al coe fi ciente más alto de aversión al riesgo. En este caso, lo que la tabla nos indica es que para los países en desarrollo el costo puede estar alrededor del 0.9 % y para los industrializados alrededor del 0.2 %. Si bien estas magnitudes no resultan ser despreciables, sí son bastante inferiores a los efectos de cambiar de tasa de crecimiento, o a otros costos como por ejemplo, el costo de un nivel de in fl ación anticipado entre el 10 % y 30 %. Más adelante calcularemos este costo para el caso colombiano.10
La versión estocástica del método de Lagrange es una aplicación de la fórmula de Benveniste y Scheinkman al caso estocástico. Informalmente: ∂v (xt ) ∂r (xt , h(xt )) = + βE t ∂x i ∂x i
"X n
k=1
#
∂v(g(xt , h(xt ), θt+1)) ∂g k (xt , h(xt ), θt+1) , ∂x k ∂x i
y las condiciones de primer orden del problema funcional son: ∂r (xt , h(xt )) + βE t ∂u j
"X n
k=1
#
∂v(g(xt , h(xt ), θt+1)) ∂g k (xt , h(xt ), θt+1) = 0 ∂x k ∂u j
Anotación 20 Obsérvese que para todo i, k tal que x i , xk son variables de estat ),θ t+1 ) t ),θ t+1 ) do endógenas y exógenas respectivamente, ∂gk (xt ,h(x = 0 y ∂gk (xt ,h(x = ∂x i ∂u j 0 para todo j.
En lo que sigue será útil separar las variables de estado endógenas de las variables de estado exógenas. Denotemos por x las variables de estado endógenas y por z las exógenas. Luego, si denotamos por gx las componentes de g que determinan la dinámica de de las variables endógenas, x t+1 = g x (xt , zt , µt , θt+1) y por gz las componentes de g que determinan la dinámica de de las variables exógenas, z t+1 = g z (zt , θt+1) entonces por la observación anterior podemos escribir las anteriores ecuaciones como: ∂v (xt , zt ) ∂r (xt , zt , h(xt , zt )) = +βE t ∂x i ∂x i 10 El
"X n s
k=1
#
∂v(xt+1, zt+1) ∂g x,k (xt , zt , h(xt , zt ), θt+1 ) , i = 1,...ns ∂x k ∂x i
cálculo más sencillo que podríamos hacer sobre el costo en bienestar de la in flación anticipada sería utilizando las perdida en el surplus del consumidor con base en la demanda real del dinero de pasar a un nivel inflacionario más alto. Esta forma de calcular el costo de la inflación anticipada aparece por primera vez en Bailey, Martin [1956]. The Welfare Cost of In fl ationary Finance. JPE, April, 62(2), 93-110.
69 y, ∂r (xt , zt , h(xt , zt )) +βE t ∂u j
"X n s
k=1
#
∂v(xt+1 , zt+1) ∂g x,k (xt , zt , h(xt , zt ), θt+1) = 0, j = 1,...m ∂x k ∂u j
donde (xt+1, zt+1) = (gx (xt , zt , h(xt , zt ), θt+1), gz (zt , θt+1)). t ,zt ) Sea λi,t = ∂v(x , i = 1,...ns entonces estas dos ecuaciones se pueden ∂x i reescribir como: ∗
¸
∂r(x∗t , zt , u∗t ) ∂ gx (x∗t , zt , u∗t , θt+1) + βE t λt+1 · − λi,t = 0, i = 1,...ns (4.6) ∂x i ∂x i
∙
¸
∂r(x∗t , zt , u∗t ) ∂ gx (x∗t , zt , u∗t , θt+1) + βE t λt+1 · = 0, j = 1,...m (4.7) ∂u j ∂u j
∙
y la dinámica de las variables de estado endógenas: x∗t+1 = g x (x∗t , zt , u∗t , θt+1)
(4.8)
Si λt ≥ 0 y x t ≥ 0, la condición de Transversalidad es: l´ım β t λt · x∗t = 0
t→∞
Ahora, como tenemos ns variables de estado endógenas, ns multiplicadores de Lagrange y m el número de variables de control entonces en total tenemos 2ns + m variables endógenas. Por otro lado, tenemos n s condiciones de primer orden para los estados endógenos (4.6), m ecuaciones para los controles (4.7) y ns ecuaciones dinámicas para las variables de estados endógenas (4.8) para un total de constituyen un sistema de 2ns + m ecuaciones. Finalmente, tenemos ns condiciones iniciales para las variables de estado endógenas y una condición terminal (condición de transversalidad). ∂r(xt ,zt ,ut ) x Cuando ∂g y sustituyendo en la segunda ∂x i = 0 entonces λi,t = ∂x i condición de primer orden obtenemos las ecuaciones de Euler estocásticas. Al igual que en el caso determinístico, una forma de obtener informalmente estas ecuaciones es mediante la maximización del siguiente lagrangiano: ∗
"X "X ∞
£
= E t
β i r(xt+i , zt+i , ut+i )
i=0
∗
#
∞
+E t
#
Λt+i+1 (gx (xt+i , zt+i , h(xt+i , zt+i ), θ t+i+1 ), gz (zt+i , θ t+i+1 )) − xt+i+1 )
i=0
−Λt (xt )
Si definimos λ t = orden.
Λt
βt
entonces obtenemos las mismas condiciones de primer
70
CAPÍTULO 4. ECONOMÍA DINÁMICA: EL CASO ESTOCÁSTICO
4.1.
Ejercicios y Soluciones
Ejercicio 16 El problema es el siguiente:
"X # ∞
m´ ax E s.a ct + kt+1
β t ln ct
t=0
:
zt ktα k0 , z0 dado,
6
y donde {zt } es i.i.d con ln(zt )˜N [0, σ2 ]. Utilizar el algoritmo de Howard para resolver el problema (Ayuda: Suponga que la dinámica óptima del capital es de la forma kt+1 = a 0 (zt ktα ) donde a0 es una constante. Solución 12 Considerando el algorítmo de Howard, primero proponemos una dinámica óptima del capital: kt+1 donde a0
= a0 (ktα z t ) ∈ [0, 1] es una constante
(1)
De acuerdo al algoritmo, tenemos:
"X ∞
J 0 (k0 , z0 ) = E 0
β t ln (ktα z t − kt+1)
t=0
#
(2)
Con kt+1 que cumple la ecuación 1. Después de algo de álgebra, la ecuación 2 queda de la siguiente manera:
"X
# "X
∞
J 0 (·) = E 0
# "X
∞
β t ln(1 − a0 ) + E 0
t=0
∞
β t ln(zt ) + E 0
t=0
β t α ln(kt )
t=0
#
Sabiendo que E 0 [ln zt ] = 0 ∀t > 0 ; E 0 [ln z0 ] = ln z0 ; ln(1 − a0 ) es una constante y que β ∈ [0, 1], desarrollando algebráicamente encontramos: ln(1 − a0 ) J 0 (·) = + ln z0 + αE 0 1 − β
"X ∞
t=0
#
β t ln(kt )
(3)
Si actualizamos para t y t-1 la ecuación 1 y además tomamos logaritmos, resulta: ln(kt ) = ln(a0 ) + α ln(a0 ) + α2 ln(kt−2 ) + ln(zt−1 ) + α ln(zt−2 )
Sustituyendo progresivamente tendremos:
ÃX ! t−1
ln kt = ln (a0 )
α
i=0
i
t−1
t
+ α ln(k0 ) +
X i=0
αi ln(zt−1−i )
71
4.1. EJERCICIOS Y SOLUCIONES
Como α ∈ (0, 1) :
µ µ ¶¶ 1 − αt 1−α
ln kt = ln a0
t−1
+ αt ln k0 +
αi ln (zt−1−i )
i=0
Reemplazando esta expresión en la ecuación (3), J 0 (·) =
X
ln((1 − a0 )) + ln(z0 ) + 1 − β
"X à µ µ ¶¶ ∞
αE 0
β t ln a0
t=0
1 − αt 1−α
!#
t−1
+ αt ln(k0 ) +
X
αi ln(zt−1−i )
i=0
Tomando esperanzas y teniendo en cuenta que α y β son menores que uno, podemos simpli fi car algebráicamente esta expresión hasta encontrar: ln(1 − a0 ) βα ln(a0 ) α ln k0 J 0 (·) = + + + 1 − β (1 − αβ ) (1 − β ) 1 − αβ
Sean: A0 =
ln A(1−a0 ) 1−β
+
βα ln(Aa0 ) (1−αβ)(1−β) ;
A1 =
2−αβ 1−αβ
J 0 (·) = A0 + A1 ln z0 +
µ ¶
2 − αβ ln(z0 ) 1 − αβ
entonces:
α ln(k0 ) 1 − αβ
Para continuar con el algoritmo de Howard debemos maximizar: m´ ax {ln (ktα z t − kt+1) + βE t [J 0 (kt+1, zt+1)]} = m´ ax kt+1
½
ln (ktα z t − kt+1) +
La condición de primer orden es: 1
βE t
µ
α ln (kt+1) A0 + A1 ln (zt+1) + 1 − αβ
− α + βE t kt z t − kt+1
∙
¶¾
¸
α 1 · = 0 1 − αβ kt+1
Debido a que zt se conoce en t, podemos eliminar el valor esperado; con algo de álgebra obtenemos la dinámica óptima del capital similar a la que habíamos propuesto anteriormente: kt+1 = βαktα z t (4) Nótese que hemos llegado a la dinámica del capital que se encontró en el problema de Brock y Mirman. Es fácil ver que con una iteración más del algoritmo de Howard, volvemos a encontrar la misma dinámica óptima. Ejercicio 17 Consideremos la versión estocástica del modelo de Long y Plosser. Es decir, el mismo modelo básico de crecimiento donde las preferencias son logarítmicas en consumo y ocio (i.e. u(c, l) = θ ln(c) + ( 1 − θ)ln(l)), y el capital se deprecia completamente cada período. Suponga que ln (zt ) = ρln (zt−1 ) + θ t , θ t ruido blanco y ρ ∈ (0, 1) .
72
CAPÍTULO 4. ECONOMÍA DINÁMICA: EL CASO ESTOCÁSTICO
1. Probar que las trayectorias óptimas son de la forma: ct = π 1 zt ktα , kt+1 = π 2 zt ktα , donde π 1 y π 2 son constantes. 2. Mostrar que el consumo y el producto siguen un proceso autoregresivo de orden 2 (i.e., AR(2)). Solución 13 El problema secuencial es:
"X
#
∞
Max E 0 kt+1
=
β t (θlnct + (1 − θ)ln(1 − nt ))
t=0 α 1−α zt kt n t − ct ,
k0 , z0 dados.
El problema funcional asociado es: v(k, z) = M ax{θln(c) + (1 − θ)ln(1 − n) + βE t [v (k 0 , z 0 )]} c,n
0 6 c 6 zk α n1−α , 0 6 n61 k0 = zk α n1−α − c ln (z 0 ) = ρln (z) + θ0
Iterando: v0 (k, z) = 0 v1 (k, z) = M ax{θln(c) + (1 − θ)ln(1 − n)} c,n
Como la función logaritmo es una función estrictamente creciente, la solución óptima del consumo, c, está en el extremo, c = k αn1−α . Además, la solución para la cantidad de trabajo, n, es interior; porque ln (1) = 0 y ln (0) = −∞ luego v1 (k, z) = =
Max {θln(zk α n1−α ) + (1 − θ)ln(1 − n)}
06 n6 1
Max {θln(z) + αθln(k) + (1 − α) θln(n) + (1 − θ)ln(1 − n)}
06 n6 1
Las condiciones de primer orden son: (1 − α) θ (1 − θ) − =0 n 1−n
y con un poco de álgebra se tiene: n = c = zk
α
(1 − α) θ 1 − αθ
∙ (1
− α) θ
1 − αθ
¸
1−α
73
4.1. EJERCICIOS Y SOLUCIONES
luego: v1 (k, z) = θln (z) + αθln (k) + (1 − α) θln
Sea A1 = (1 − α) θln v2 (k, z) =
h i (1−α)θ 1−αθ
+ (1 − θ) ln
∙ (1
− α) θ
1 − αθ
h i 1−θ 1−αθ
¸
+ (1 − θ)ln
∙1
−θ
1 − αθ
¸
entonces:
Max {θln(c)+(1−θ)ln(1−n)+βE [θln(z 0 ) + αθln(k 0 ) + A1 ]} 0 6 c 6 zk α n1−α 06n61
donde k 0 = zkα n1−α −c y como ln(z 0 ) = ρln(z)+θ0 entonces E [ln(z 0 )] = ρln(z). Teniendo en cuenta que en t se conoce zt , kt , nt , y ct entonces: v2 (k, z) =
£
¤
Max {θln (c)+(1−θ)ln(1−n)+βθρln (z)+βαθln zk α n1−α − c +βA 1 } α 1 −α 0 6 c 6 zk n 06n61
Las soluciones son interiores y las condiciones de primer orden son: [c] : [n] :
− (1 − θ)
1−n
+
θ βαθ − =0 c zk α n1−α − c βαθ zk α n1−α − c
(1 − α) zk α n−α = 0
Resolviendo para el consumo y el trabajo obtenemos: c = n =
zk αn1−α 1 + βα
θ (1 − α) (1 + αβ ) , 1 − αθ + αθβ (1 − α)
por lo tanto: v2 (k, z) = θ (1 + βρ + βα) ln(z) + αθ (1 + βα) ln(k) + A2 ,
donde A 2 es una constante. A partir de las dos primeras iteraciones parece obvio que después de n iteraciones la función valor es de la forma:
"X # n=1
vn (k, z) = a ln(z) + αθ
(αβ )i ln(k) + An
i=0
Luego un buen candidato a ser la solución al problema funcional es una función de la forma: v (k, z) = aln(z) +
αθ ln(k) + A 1 − αβ
74
CAPÍTULO 4. ECONOMÍA DINÁMICA: EL CASO ESTOCÁSTICO
donde a y A son constantes que debemos determinar. Sustituyendo en la ecuación funcional y con un poco de álgebra se obtiene: A =
"
1
θln (1 − αβ ) 1 − β +
1
µ
∙1
θ (1 − α) 1 + α (θβ − θ − β )
− θ − αβ + αθβ
(1 − θ) ln 1 − β 1 + α (θβ − θ − β )
"µ
1
¸
¶ # 1−α
βαθ θ (1 − α) + ln αβ 1 − β (1 − αβ ) 1 + α (θβ − θ − β ) θ (1 − βρ) (1 − αβ )
a =
y la función de política es:
ct = π 1 zt ktα ,
donde: π 1 = (1 − αβ )
µ
θ (1 − α) 1 + α (θβ − θ − β )
La dinámica óptima del capital es:
¶
1−α
kt+1 = z t ktα n 1t −α − ct
luego:
kt+1 = π 2 zt ktα
donde: θ (1 − β ) π 2 = αβ 1 + α (θβ − θ − β )
∙
¸
1−α
¶ # 1−α