Notas Notas de Clase Clase
Introducción a la Programación Dinámica Pedro Elosegui Abril 2004 La programación dinámica es una metodología para resolver problemas intertemporales, muy utilizado en problemas que incluyen incertidumbre acerca de valores futuros. Aunque, en este caso nos concentraremos en la solución de un problema sin incertidumbre1 . Supongamos Supongamos un modelo de AR (agent (agentee represe representat ntativo ivo)) que maximiza maximiza su función de utilidad intertemporal (con los supuestos usuales) que depende del consumo (cs ), sujeto sujeto a u na restricci restricción ón presupuest presupuestaria aria que incluye incluye u n ingreso ingreso ( ys ) y bonos (bs) . (1) U t =
P1
s¡ t u (cs ) s=t ¯
(2) bs+1 = (1 + r )bs + y s ¡ cs 1 T l im T !1 y sujeto a la condición de transversalidad, lim ) bt+ T +1 ¸ 0 !1 ( 1+r
La programación dinámica dinámica sup one que existe existe una ecuación de valor valor V ( ::)(que puede asumirse asumirse diferencia diferenciable ble bajo ciertas ciertas condicio condiciones) nes) comunmen comunmente te llamada llamada ecuación de Bellman, que da el máximo valor de u t sujeto al valor de la riqueza inicial del agente w t, donde esta riqueza del agente es una ecuación dinámica que evoluciona en el tiempo. El problema pro blema de maximización intertemporal intertemporal pu ede plantearse plantearse como un problema recursivo recursivo que involucr involucra a a la ecuación ecuación d e Bellman. Bellman. Como el agente selecselecciona una asignación de consumos para todo el sendero temporal, la selección de c t debe maximizar U t+1 teniendo en cuenta el efecto de ct sobre w t+1 . El comporta comportamie mient nto o futur futuro o del del agente gente debe debe ser ser compa compatibl tiblee con la maximaximización de sus planes intertemporales, entonces entonces U t = u(C t )+ ¯V (wt+1 ) , donde V ( w t+1 ) es el plan óptimo dado wt+1 . Este ejercicio se repite cada período dentro del sendero sendero óptimo. óptimo. Entonces Entonces la ecuaci ecuación ón de Bellman se caracteri caracteriza za como: 1
Ver Obstfeld y Rogo¤ (1998). (1998). Foundations oundations of International International Macroeconomics. Pag. Pag. 718.
1
(3) V ( wt ) = max ct f u( ct ) + ¯ V (w t+1 )g sujeto a (4) wt+1 = F (w t ; ct ) La solución implica una condición de primer orden respecto de la variable de control ( C t ), de las cuáles se derivan las condiciones de maximización intra e intertemporalesusuales. En este caso, (5) u0 (ct ) + ¯V w (wt+1 ) = 0 y se utiliza el auxilio del Teorema del Envolvente, u0 (C ) = V w (w ), el efecto de un cambio marginal en la riqueza genera el mismo efecto sobre la utilidad intertemporal del agente sin importar si se trata de un cambio en el econsumo y/o en el ahorro, esta condición es igual a la interpretación del multiplicador lagrangiano en el problema de maximización restringida más usual. Note que la partición que surge a partir del planteo de la ecuación de Bellman facilita la solución y la intuición en modelos que incluyen incertidumbre, ya que en tal caso la incertidumbre estará restringida a la función de valor correspondiente al período t + 1 (claramente no hay incertidumbre en t ) y el problema se vuelve lineal y puede llegar a simpli…carse. No obstante, la solución de un problema utilizando ecuación de Bellman es más un arte que una ciencia, en muchos casos problemas simples se pueden resolver de forma recursiva empezando desde el T …nal, en otros casos la función de valor no puede ser determinada unívocamente. No obstante, para nuestro objetivo, la resolución de ejercicios simples nos permite captar la idea intuitiva detrás del método de resolución de programación de Bellman.Veremos dos aplicaciones, una corresponde a la solución del ejercicio ya planteado y otra corresponde a un problema de dinero en la función de utilidad. Para el ejemplo que planteamos a l inicio, de…nimos la riqueza del agente a partir del valor p resente d e los ingresos futuros del agente más los bonos acumulados hasta el período:
(6) wt+1 = (1 + r) bt+1 +
P1
1 s¡( t+1) ys s=t+1 ( 1+r )
Note que la serie de valor presente del ingreso se puede descomponer de la siguiente manera: P 1 1 1 s¡( t+1) ys = yt+1 + ( 1+ (7) 1 )yt+2 + ( 1+ )2 yt+3 + :::: = s=t+1 ( 1+r ) r r P r 1 s¡t 1+r 1+r ys = ( 1+ = (1+ r ) 1 ) y + ( (1+ )y t+2 + ( (1+ )y t+3 + ::::: s=t+1 ( 1+ r ) 1+ r t+1 r)2 r )3 y de la restricción presupuestaria (2) sabemos que b t+1 = (1 + r)b t + y t ¡ ct
2
reemplazando nos queda, (8) wt+1 = (1 + r)((1 + r)bt + yt ¡ ct ) +
P1
1 s¡(t+1) y s s=t+1 ( 1+ r )
(9) wt+1 = (1 + r)((1 + r)bt + yt ¡ ct ) + (1 + r )
P1
1
s=t+1 ( 1+ r )
s ¡t
ys
Note que, P1 P1 (10) (1 + r )yt + (1 + r ) s=t+1 ( 1+1 r ) s¡t ys = (1 + r ) s=t ( 1+1 r )s¡ ty s = r (1 + r )yt + ( 1+ )y t+1 + ::: 1+r Entonces podemos agrupar, (11) w t+1 = (1 + r )((1 + r )bt +
P1
1
s=t( 1+ r )
s¡t
ys ¡ ct))
Por lo tanto, la restricción presupuestaria re‡eja el sendero intertemporal de la evolución de la riqueza del agente: (12) w t+1 = (1 + r )(w t ¡ ct) Nuestro ejercicio será entonces,
(13) V ( w t) = max ct fu (ct ) + ¯V (w t+1 )g sujeto a (12) w t+1 = (1 + r )(w t ¡ ct ) La condición de primer orden es, (14) u0 (ct ) ¡ (1 + r)¯ V w (w t+1 ) = 0 que usando el teorema de la envolvente, (15) u 0( c) = V w (w ) se transforma en la conocida condición de optimalidad intertemporal del consumo o ecuación de Euler: (16) u 0 (ct) ¡ (1 + r )¯u 0 (ct+1 ) = 0
Dinero en la función de utilidad Introducir el d inero en un modelo d e equilibrio general con agente representativo genera ciertas di…cultades. Una de las características del dinero esta dado por el hecho de que no paga tasa de interés. Por esta razón el dinero es dominado en términos de retorno por otros activos (i.e. bonos) que pagan una tasa de interés. No obstante, a pesar del costo que insume su tenencia existe una demanda positiva de dinero. Al analizar el dinero en un modelo de equilibrio 3
general debemos tener en cuenta que la presencia de este costo de oportunidad genera que ningún agente racional que maximiza su utilidad esperada, dependiente del consumo, quiera tener dinero en su poder, salvo que se lo obligue a tener dinero a través de algún mecanismo adicional. Utilizando la restricción presupuestaria pod emos mostrar claramente el costo de oportunidad de tener dinero. Supongamos que el agente recibe una transferencia ¿ t de dinero de parte del gobierno, además recibe un ingreso yt , consume ct y tiene acceso a dos tipos de activos, uno llamado bono bt que paga una tasa de interés R t ( que suponemos constante para simpli…car), y otro llamado dinero m t que no paga tasa de interés. Suponemos que todas las variables están expresadas en términos reales, con el nivel de precios esta dado por p t. La restricción presupuestaria del agente en el período t esta dada por: (1) yt + ¿ t +
m t¡1 1+ ¼t
+ bt¡1 (1 + R) = c t + mt + bt
La ecuación (1) muestra los ingresos, más las tenencias de bonos y dinero del período anterior (con los respectivos intereses) y los ”usos”, consumo del período, b onos y tenencias de dinero. Note además, que en términos reales M t¡1 M 1 P t¡1 m t¡1 m 1 pt = P t¡ = 1+t¡ pt P t P t¡1 = ¼t con 1 + ¼ t = pt¡1 . t pt¡1
En t + 1 la restricción (1) se transforma en (2), (2) y t+1 + ¿ t+1 +
mt
1+¼ t+1
+ bt (1 + R) = c t+1 + m t+1 + bt+1
Despejando bt y reemplazando en (1), t+1 (3) y t + y1+ + ¿ t + R
+
m t+1 1+R
+
¿ t+1
1+R
mt¡1 + 1+ + bt¡1 (1 + R ) = ct + ¼t
c t+1
1+R
+
mt
1+¼ t+1
R+¼t+1 1+R
b t+1
1+R
La ecuación (3) muestra por un lado el ”valor presente” al período t de los ingresos del agente, incluyendo s u ”dotación inicial” de bonos y dinero, mientras que del lado derecho muestra el valor presente del consumo del agente más el valor presente de las tenencias futuras de dinero y bonos. Se observa también un término que muestra el costo de oportunidad en términos de la tasa de interés perdida debido a la tenencia de dinero en lugar de bonos. Podemos seguir iterando para calcular la restricción presupuestaria en valor presente: P1 P1 (4) t=0 (1+ytR)t + t=0 (1+¿ tR)t + P R+¼ t+1 mt + 1 t=0 1+¼ t+1 (1+R )t 1+ R
mt¡1
1+ ¼t
+ bt¡1 (1 + R ) =
P1
ct t=0 (1+ R )t
En esta restricción estamos haciendo dos supuestos usuales que tienen que ver con condiciones de solvencia. cuales son? 4
Una manera razonable de justi…car la demanda de dinero para realizar transacciones radica en la idea de que tener dinero en efectivo ahorra tiempo, hay que ir menos veces al cajero automático generando menores costos de transacción, y un mayor nivel de utilidad (?). Quizás una persona puede de esta forma ahorrar tiempo, disfrutando más libremente del tiempo de ocio mientras hace compras. A un economista argentino se le ocurrió postular la idea de incluir el dinero en la función de utilidad, desde entonces este modelo se conoce como el Modelo de S idrauski (ver Blanchard y Fisher, cap 4). La función de utilidad estará dada por: (5) U (ct ; mt ) con m t = U m > 0 (?).
M t P t
y los supuestos usuales, U c > 0 ; U cc < 0 , junto con el supuesto
Problema de optimización del agente representativo,
(6) M ax (ct;m t;b t)
P1
t=0
¯ t U (ct ; mt )
sujeto a la restricción presupuestaria (1) o en su defecto (4), recuerde que (4) es la versión en valor presente de (1). Veremos la resolución del modelo por el Método de Optimización Dinámica y luego por el Método de Lagrange como ejercicio. A. Resolución por Ecuación de Bellman 2 :
(7) M ax (c t;m t;bt)
P1
t t=0 ¯ U (c t ; m t )
sujeto a (8) yt + ¿ t + (9) wt = yt + ¿ t +
m t¡1 1+¼ t
m t¡1 1+¼ t
+ bt¡ 1 (1 + R) = c t + mt + bt
+ bt¡ 1 (1 + R) = c t + mt + bt
(10) b t = w t ¡ mt ¡ ct La ecuación de Bellman está dada por: (11) V ( w t) = max (ct;m t;bt )fu (ct ; m t) + ¯V ( wt+1 )g sujeto a, (12) w t+1 = yt+1 + ¿ t+1 +
mt
1+ ¼t+1
+ bt+1 (1 + R)
Podemos reemplazar wt+1 y b t = w t ¡ mt ¡ ct en la ecuación de Bellman: (13) 2 Esta
sección puede ampliarse viendo el cap.2 de Carl E. Walsh (2001). Monetary Theory and Policy.
5
V (w t) = m a x (c t;m t) fu (ct ; mt ) + ¯V ( y t+1 + ¿ t+1 + ct ) (1 + R))g
mt
1+ ¼t+1
+ ( wt ¡ mt ¡
Condiciones de primer órden, respecto a ct y mt : (14) u c( ct ; mt ) ¡ ¯ V w ( wt+1 ) (1 + R ) = 0 (15) u m (ct ; mt ) ¡ ¯V w (w t+1 ) 1+¼1t+1 + ¯V w (w t+1 ) (1 + R) = 0 Condiciones de solvencia intertemporal: (16) limt!1 ¯ t ¸tx t = 0 con xt = bt ; m t Por el Teorema de la Envolvente: (17) ¸ t = u c ( ct ; m t) = V w (wt ) Reemplazando (14) en (15), (18) u m (ct ; mt ) ¡ ¯u c( ct+ 1 ; m t+1 ) 1+¼1t+1 + ¯ uc (ct+1 ; mt+1 ) (1 + R) = 0 Donde la utilidad marginal del dinero iguala a la utilidad marginal del consumo considernado el costo en términos de utilidad que se paga como consecuencia del costo de oportunidad de tener dinero medido en términos de ”utiles de consumo”. Usando la condición que surge del Teorema de la Envolvente, ¸t+1 = u c(ct+1 ; m t+1 ) = V w (w t+1 ), reemplazando en la condición de primer orden:
(19) u c( ct ; mt ) ¡ ¯ uc (ct+1 ; mt+1 ) (1 + R) = 0 De aqui surge la Ecuación de Euler o condición de o ptimalidad intertemporal (interprete..): (20)
u c (ct ;mt ) = uc (c t+1;mt+1)
(1+ R )¯
De la ecuación (18), dividiendo por uc (ct; m t ), surge la condición de optimalidad intratemporal (por que?): ;m t+1) ;mt+1) (c t;m t) (21) uum ¡ ¯ 1+ ¼1t+1 uc(ucct(+1 + ¯ (1 + R ) uc(ucct(+1 =0 c t;m t) ct ;mt ) c (c t;m t) (22)
um (c t;m t) uc (c t;m t)
= ¯ ( 1+¼1t+1 ) (1+1R) ¯ ¡ 1 = 1¡ 1+¼1t+1
1 (1+R)
=
it
1+i t
Donde i t = Rt + ¼ t+1 es la tasa de interés nominal. De esta condición se deriva la demanda de dinero, que depende positivamente del consumo y negativamente d e la t asa de interés nominal. Podemos p robar con una función de utilidad aditiva y separable como u (ct; m t ) = ln ct + ° ln mt B. Resolución por Método de Lagrange:
La maximización intertemporal sujeta a la restricción presupuestaria expresada en términos del valor presente: 6
(1) L = P1 ¡ t=0
P1
P
P1
1 t yt t=0 ¯ U (c t; m t )+¸ ( t=0 (1+ R )t + P1 R+¼ t+1 ct mt t=0 1+¼ t+1 (1+R)t 1+ R ) (1+R) t ¡
mt¡1 ¿ t t=0 (1+ R)t + 1+ ¼t +b t¡1 (1
+ R)
Note que al utilizar la restricción en valor presente sólo requerimos un ¸ ya que se trata de sólo una restricción. Las condiciones de primer orden son: (2) Lc = ¯ t uc (ct; m t ) ¡ ¸ (1+1R)t = 0 (3) Lm = ¯ tu m (ct ; mt ) ¡ ¸ 1+¼ t+11(1+ R)t
R +¼ t+1 1+ R
=0
De (1) surge, ¯ tu c( ct ; m t) = ¸ ( 1+1R)t , entonces ¯ t+1 uc (ct+1 ; mt+1 ) = ¸ (1+R1)t+1 , de donde, ¯t u (c ;m )
t t (4) ¯t+1uc(cct+1 = ¸ (1+1R)t ;m t+1)
(1+R)t+1 ¸
= ¯ (1 + R )
Condición intertemporal: u ( c ;m )
(5) uc(cct+1t ;mtt+1) = ¯ (1 + R) Esta es la usual condición de Euler. Donde R es la tasa de interés real. Evaluando (2) en t e igualando con (3), (6) ¯ t um (ct ; mt ) =
R +¼t+1 t 1 1+¼ t+1 1+R ¯ u c (ct ; m t)
Condición intratemporal:
(7)
u m( ct ;mt ) uc ( ct ;mt )
=
R+¼t+1 1 1+¼ t+1 1+ R
=
it
1+ it
De la condición (7) surge que la demanda de dinero depende del nivel de consumo (o ingreso) y de la tasa de interés nominal. it 1 Por lo tanto(8) m d = u¡ m ( 1+ it u c ( ct ; m t))
7