Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Economía Matemática - Teoría de Control Óptimo
Martín Brun -Mijail Yapor
Facultad de Ciencias Económicas y de Administración - UdelaR
Agosto - Diciembre, 2017
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Índice
1 Introducción
2 Teoría del Control Óptimo
3 El Principio del máximo
4 El Hamiltoniano de valor corriente
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Introducción
Optimización dinámica busca responder la pregunta, ¾cuál es
el valor óptimo para cada período de tiempo de una variable
de elección?
Por tanto, debemos encontrar un valor para CADA momento
en el intervalo de tiempo relevante para el problema (el que
eventualmente puede ser in nito)
Lo que queremos encontrar ahora es una función, y no solo un
único valor (como en la optimización estática).
La idea es que cada función nos estará dando valores distintos
del funcional que estemos maximizando.
Tenemos que elegir entonces la función que nos de el mayor
valor (si es un problema de maximización).
En esta clase plantearemos el problema en tiempo continuo.
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Introducción
Supongamos que tenemos los siguientes caminos para
transportar una carga desde el punto inicial A hasta el terminal
Z. El costo del transporte depende del largo del camino y de la
topografía del mismo (por tanto, no necesariamente la línea
recta es la más conveniente). En este ejemplo estado=latitud y
stage=longitud (en general en los problemas que veremos el
stage estará dado por la variable tiempo). Buscamos minimizar
costos, eligiendo el camino óptimo.
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Introducción
El funcional: V [y (t)]. Mapea funciones en valores (en el
ejemplo anterior podía ser el costo del transporte entre A y Z).
Al maximizarlo (o minimizarlo) nos permite elegir la función
óptima.
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Introducción
Distintos puntos terminales del problema: (a) t = T (problema
con linea vertical terminal) (consumo a lo largo de T años);
(b) y = Z (problema con linea horizontal terminal) (meta
in ación) y (c) Z = φ(T ) (curva terminal) (calidad vs rapidez)
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Teoría del control óptimo
En los problemas de control óptimo tenemos 3 variables
relevantes en vez de las 2 que veníamos viendo. Ahora además
de V (funcional) y de y (variable de estado) tenemos u
(variable de control). La variable u es la que le da nombre a
esta teoría y que pasará a ocupar el escenario central del
problema (relegando a y a un rol secundario).
Esto será así siempre y cuando a través de u logremos afectar
el camino que sigue y . Por tanto en nuestro problema ahora
deberemos tener una ecuación que vincule a ambas variables:
dy ·
= y (t) = f [t, y (t), u(t)] (1)
dt
Esta ecuación se llama ecuación de movimiento del problema.
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Teoría del control óptimo
El problema que pretendemos resolver tiene la siguiente forma:
RT
Max. V [u] = 0 F [t, y (t), u(t)] dt
·
s.a. y (t) = f [t, y (t), u(t)]
y (0) = y0
y (T ) = yT
El propósito de la teoría de control optimo será
encontrar la trayectoria temporal óptima para la variable
de estado y y la variable de control u. Esta teoría
centrará su atención en una o más variables de control
que sirven como instrumentos de optimización.
El desarrollo más importante en la teoría del control óptimo es
el llamado principio del máximo, el que permite revolver el
problema.
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Ejemplo
Supongamos una economía con un stock nito de petroleo
(P(t)), siendo P (0) = P0 .
A medida que el petroleo es extraído, la reserva se irá
reduciendo en: ∂P(t)
∂t = −E (t). Siendo E (t) la tasa de
extracción de petroleo en t .
E (t) cuali ca como variable de control dado que posee las
siguientes 2 propiedades:
1. Está sujeta a nuestra elección discrecional.
2. El valor de E (t) afecta a la trayectoria de P(t) (variable de
estado).
La variable E (t) nos permite conducir la variable de estado
P(t) a la posición que deseamos, en cualquier momento del
tiempo, a través de la ecuación diferencial: ∂P(t)
∂t = −E (t).
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Ejemplo
Direccionando acertadamente la variable de control, podemos
proponernos optimizar algún criterio de performance expresado
en una función objetivo.
Podríamos plantearnos por ejemplo la maximización del valor
presente de la utilidad (o ganancia) derivada del uso del
petroleo extraído durante un período de tiempo [0, T ].
El problema podría plantearse como:
Z T
Max U(E )e −ρt dt (2)
0
∂P (t)
s.a. = −E (t) ,
∂t
P (0) = P0 , P (T ) libre, P0 , T dados
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Control óptimo: algunas características
La teoría del control óptimo permite resolver casos donde el
camino de la variable de control no es continuo (ej. botón de
prendido de la computadora, u=1 prendida, o u=0 apagada).
Solo necesitamos que sea continuo de a intervalos.
La variable de estado debe ser continua, pero no hay problema
si solo es diferenciable en intervalos.
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Teoría del control óptimo
El problema que pretendemos resolver tiene la siguiente forma:
Z T
Max V = F [t, y (t), u(t)] dt (3)
0
·
s.a. y (t) = f [t, y (t), u(t)]
y (0) = y0
El desarrollo más importante en la teoría del control ó ptimo
es el llamado principio del máximo, que permite revolver
problemas como este.
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Principio del máximo
1 Primer paso
En el primer paso del desarrollo del principio del máximo
incorporaremos la ecuación de movimiento en la función a
optimizar y luego la expresaremos en términos del
Hamiltoniano (el que será de nido más abajo). Tenemos que
la ecuación de movimiento es:
·
f (t, y , u) − y = 0, ∀t ∈ [0, T ] (4)
Con lo cual la suma de estos valores 0 entre el período 0 y el T
también tiene que ser cero:
Z T
·
h i
λ(t) f (t, y , u) − y dt = 0 (5)
0
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Principio del máximo
Sumando esta última expresión a V tenemos:
T Z
·
h i
J = V+ λ(t) f (t, y , u) − y dt
0
Z T Z T
·
h i
= F (t, y , u)dt + λ(t) f (t, y , u) − y dt = (6)
0 0
Z Tn
·
h i o
= F (t, y , u) + λ(t) f (t, y , u) − y dt
0
Esta función objetivo tendrá igual solución que V , ya que J
toma iguales valores que V a lo largo de la ecuación de
movimiento.
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Principio del máximo
De namos la función Hamiltoniana (o el Hamiltoniano) como:
H(t, y , u, λ) ≡ F (t, y , u) + λ(t)f (t, y , u) (7)
La sustitución del Hamiltoniano simpli ca la ecuación (7) en:
Z T Z T Z T
· ·
h i
J= H(t, y , u, λ) − λ(t)y dt = H(t, y , u)dt− λ(t)y dt
0 0 0
(8)
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Principio del máximo
Integrando por partes (recordar que
RT · RT ·
0
u v dt = u(t)v (t)|T
0
− 0 uvdt ) la última integral de la
ecuación anterior será igual a:
Z T Z T ·
·
− λ(t)y dt = −λ(t)y (t)|T
0 + λy (t)dt = (9)
0 0
Z T ·
= −λ(T )yT + λ(0)y0 + y (t)λdt
0
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Principio del máximo
Sustituyendo esta expresión en (9):
Z T Z T ·
J = H(t, y , u, λ)dt + y (t)λdt − λ(T )yT + λ(0)y0 =
0 0
Z T
·
= H(t, y , u, λ) + y (t)λ dt − λ(T )yT + λ(0)y0 (10)
0
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Principio del máximo
2. Segundo paso
La introducción de λ(t) no debe afectar el valor que tome J
siempre y cuando:
·
f (t, y , u) − y = 0, ∀t ∈ [0, T ] (11)
Notar que esa condición es igual a la siguiente (esta será una
de las 3 condiciones para el máximo):
· ∂H
y= (12)
∂λ
Para mostrarlo, basta con tener en cuenta que
H(t, y , u, λ) ≡ F (t, y , u) + λ(t)f (t, y , u) (13)
Entonces: ∂H
∂λ = f (t, y , u) y por tanto:
· ∂H ·
y= ∂λ ⇒ y = f (t, y , u).
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Principio del máximo
3. Tercer paso
Ahora nos ocuparemos de u(t) y de su efecto sobre y (t)
Introduciremos perturbaciones en estas curvas de forma de
generar una familia de curvas, y luego derivaremos condiciones
que solo cumplirán las funciones óptimas.
u(t) = u ∗ (t) + εp(t) (14)
∗
y (t) = y (t) + εq(t) (15)
∂T
T = T ∗ + ε∆T =⇒ = ∆T (16)
∂ε
∗ ∂yT
yT = yT + ε∆yT =⇒ = ∆yT (17)
∂ε
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Principio del máximo
Expresaremos J en función de ε, lo que nos permitir á tomar a
J como una función en una única variable, de donde la
condición de primer orden será:
∂J
|ε=0 = 0 (18)
∂ε
Ya que por de nición y ∗ (t) y u ∗ (t) es la solución óptima,
tenemos:
TZ(ε)
·
J(ε) = H [t, y ∗ + εq(t), u ∗ + εp(t), λ] + λ [y ∗ + εq(t)] dt
0
−λ(T )yT + λ(0)y0 (19)
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Principio del máximo
4. Paso cuatro
Ahora aplicamos la condición: ∂J
∂ε |ε=0 = 0.
Llegamos a (notar que si tenemos J(x) = 0b (x)F (t, x)dt ⇒
R
Rb
dx = 0 (x)Fx (t, x)dt + F [b(x), x] b (x)):
dJ(x) 0
Z T (ε)
·
·
∂H ∂H ∂T (ε)
q(t) + p(t) + λq(t) dt + H + λy
0 ∂y ∂u t=T (ε) ∂ε
·
−λ(T )∆yT − yT λ(T )∆T (20)
(la derivada del segundo término de (19) con respecto a ε es
(derivada de un producto)):
·
∂ε − yT ∂T ∂ε = −λ(T )∆yT − yT λ(T )∆T )
∂λ(T ) ∂T
−λ(T ) ∂yT
El término λ(0)y0 desaparece cuando lo derivamos con
respecto a epsilon.
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Principio del máximo
Podemos reescribir uno de los componentes de (20) como:
· ∂T .
λy = λ(T )yT ∆T (21)
t=T ∂ε
De este modo, cuando (20) es igualada a cero, la condición de
primer orden es:
Z T
·
∂J ∂H ∂H
= ( + λ)q(t) + p(t) dt+[H]t=T ∆T −λ(T )∆yT = 0
∂ε 0 ∂y ∂u
(22)
Los tres componentes tienen diferentes cosas arbitrarias: la
integral contiene curvas de perturbación p(t) y q(t), mientras
que los otros dos involucran ∆T y ∆yT ; de este modo, se
deben igualar cada uno de los términos que multiplican a estas
cosas arbitrarias a 0, para asegurarnos que sean 0 siempre.
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Principio del máximo
Igualando el término dentro de la integral a cero, podemos
deducir 2 nuevas condiciones:
∂H ·
= −λ (23)
∂y
∂H
= 0 (24)
∂u
La primera nos da la ecuación de movimiento de la variable de
coestado, y la segunda representa la max. de H .
Ya que el problema más simple tiene la T ja, y libre el estado
(yT ), el término ∆T = 0, pero no así ∆yT ; y por tanto para
hacer desaparecer el término −λ(T ) ∆yT , debemos imponer
la restricción:
λ(T ) = 0. (25)
Esta ultima condición es llamada condición de transversalidad
(para el caso de línea terminal vertical).
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Principio del máximo. Condiciones terminales alternativas.
Cuando las condiciones terminales son distintas lo que cambia
es la condición de transversalidad, las demás condiciones para
un óptimo se mantienen.
Línea terminal horizontal. En este caso yT esta jo y por tanto
∆yT = 0, pero el momento del tiempo en que termina el
problema no tiene por que serlo.
Entonces si tenemos en cuenta
Z T
·
∂J ∂H ∂H
= ( + λ)q(t) + p(t) dt+[H]t=T ∆T −λ(T )∆yT = 0
∂ε 0 ∂y ∂u
(26)
vemos que:
[H]t=T = 0 (27)
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
Principio del máximo. Condiciones terminales alternativas.
Curva terminal. En este caso yT = φ(T ). Entonces
∆yT = φ0 (T )∆T , entonces si tenemos en cuenta
Z T ·
∂J ∂H ∂H
= ( + λ)q(t) + p(t) dt+[H]t=T ∆T −λ(T )φ0 (T )∆T =
∂ε 0 ∂y ∂u
(28)
vemos que (para un valor arbitrario de ∆T ) la condición ahora
es:
H − λφ0 = 0 (29)
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
El Hamiltoniano de valor corriente
En algunas aplicaciones económicas de la teoría de control
óptimo, se suele introducir un factor de descuento e −ρt en el
integrando de la función objetivo:
F (t, y , u) = G (t, y , u).e −ρt (30)
Con esta modi cación, el problema de control óptimo será:
ZT
Max. V = G (t, y , u).e −ρt dt (31)
0
·
s.a. y = f (t, y , u) y cond. de frontera
El Hamiltoniano toma la forma:
H = G (t, y , u).e −ρt + λf (t, y , u) (32)
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
El valor corriente del Hamiltoniano
Como el factor de descuento agrega complejidad a las
derivadas de H , en algunos casos será deseable de nir una
nueva función hamiltoniana que esté libre de ese factor.
Llamaremos HC , valor corriente del hamiltoniano, a una
transformación algebraica de H :
HC ≡ H.e ρt = G (t, y , u) + m.f (t, y , u) (33)
Y a m(t) como el multiplicador de valor corriente m :
m(t) = λe ρt (34)
Tenemos entonces la siguiente igualdad:
H ≡ Hc .e −ρt (35)
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
El Principio del Máximo Revisado
Trabajar con Hc en vez de H implica cambios en la
formulación del problema a maximizar.
La primera condición de este problema es maximizar H con
respecto a u para cada momento del tiempo. Esta condición
no se modi ca, excepto por sustituir H por Hc , dado que el
término e −ρt es constante para cualquier t . La condición
revisada se simpli ca:
M á[Link] ∀t [0, T ] (36)
u
La ecuación de movimiento para la variable de estado debe
reformularse teniendo en cuenta que:
· ∂H ∂Hc
y = = f (t, y , u) = (37)
∂λ ∂m
Mijail Yapor Economía Matemática - Teoría de Control Óptimo
Introducción Teoría del Control Óptimo El Principio del máximo El Hamiltoniano de valor corriente
El Principio del Máximo Revisado
La
.
ecuación de movimiento para la variable de coestado,
dy , debe modi carse transformando cada lado de esta
λ = − ∂H
ecuación en una expresión que involucre al multiplicador
lagrangeano m y luego igualando esos resultados.
· ·
Para el lado izq. tenemos: λ = me −ρt − ρme −ρt .
Para el lado derecho: −∂H ∂Hc −ρt
∂y = − ∂y e .
Igualando tenemos la ecuación de movimiento para m:
· ∂Hc
m=− + ρm (38)
dy
Por último, la condición de transversalidad revisada, para el
caso de una línea vertical terminal sería:
λ(T ) = 0 =⇒ m(T ).e −ρt = 0 ⇒ m(T ) = 0 (39)
y para una línea terminal horizontal quedaría:
[H]t=T = 0 =⇒ [Hc ]t=T .e −ρt = 0 ⇒ [Hc ]t=T = 0
Mijail Yapor Economía Matemática - Teoría de Control Óptimo