Motivación Control óptimo en tiempo continuo Extensiones Aplicaciones

Teorı́a Económica y Finanzas

Optimización dinámica: Control óptimo

David Huari Leasaski

GRUPO LAMBDA PERÚ

Agosto 2016

David Huari Leasaski (LAMBDA) Control óptimo Agosto 2016 1 / 23

Motivación Control óptimo en tiempo continuo Extensiones Aplicaciones

Contenido

1 Motivación
2 Control óptimo en tiempo continuo
Planteamiento del problema
El principio del máximo de pontryagin (1958)
Condiciones suficientes
3 Extensiones
Tipos de condiciones finales
Varias variables
Derivadas de orden superior
Hamiltoniano en tiempo corriente
4 Aplicaciones
Modelo de Ramsey

David Huari Leasaski (LAMBDA) Control óptimo Agosto 2016 2 / 23

Motivación Control óptimo en tiempo continuo Extensiones Aplicaciones

Contenido

1 Motivación
2 Control óptimo en tiempo continuo
Planteamiento del problema
El principio del máximo de pontryagin (1958)
Condiciones suficientes
3 Extensiones
Tipos de condiciones finales
Varias variables
Derivadas de orden superior
Hamiltoniano en tiempo corriente
4 Aplicaciones
Modelo de Ramsey

David Huari Leasaski (LAMBDA) Control óptimo Agosto 2016 3 / 23

Motivación Control óptimo en tiempo continuo Extensiones Aplicaciones

Optimización dinámica
Cálculo de variaciones (Bernoulli, siglo XVII)
Control óptimo (Pontryagin, 1950-1960)
Programación dinámica (Bellman, 1957)

David Huari Leasaski (LAMBDA) Control óptimo Agosto 2016 4 / 23

Motivación Control óptimo en tiempo continuo Extensiones Aplicaciones

David Huari Leasaski (LAMBDA) Control óptimo Agosto 2016 5 / 23

Motivación Control óptimo en tiempo continuo Extensiones Aplicaciones

Contenido

1 Motivación
2 Control óptimo en tiempo continuo
Planteamiento del problema
El principio del máximo de pontryagin (1958)
Condiciones suficientes
3 Extensiones
Tipos de condiciones finales
Varias variables
Derivadas de orden superior
Hamiltoniano en tiempo corriente
4 Aplicaciones
Modelo de Ramsey

David Huari Leasaski (LAMBDA) Control óptimo Agosto 2016 6 / 23

Motivación Control óptimo en tiempo continuo Extensiones Aplicaciones

Planteamiento del problema

Z t1
máx J = f (x , u, t)dt
u t0

sa :
x̊ = g(x , u, t), t ∈ [t0 , t1 ]
x (t0 ) = x0 ,
x (t1 ) = x1 ,
u ∈ U, x ∈ V = C ([t0 , t1 ], R)

x es variable de estado y u variable de control

J es una función: J : V 7→ R, (V esp. vectorial normado)
t0 y t1 son instante inicial y final, respectivamente
x (t0 ) y x (t1 ) son estado inicial y final, respectivamente
U conjunto de controles admisibles

David Huari Leasaski (LAMBDA) Control óptimo Agosto 2016 7 / 23

Motivación Control óptimo en tiempo continuo Extensiones Aplicaciones

El principio del máximo de pontryagin (1958)

Theorem
Sea u ? el control óptimo y x ? estado óptimo en cada t ∈ [t0 , t1 ].
Entonces, ∃ λ(t), tal que el Hamiltoniano definido por

H(x , u, λ, t) = f (x , u, t) + λg(x , u, t)

posee un máximo (mı́nimo) en u ? , es decir,

H(x ? , u ? , λ, t) ≥ H(x , u, λ, t), ∀u ∈ U, t ∈ [t0 , t1 ]

Además
Hx = −λ̊,
Hλ = x̊ ,

David Huari Leasaski (LAMBDA) Control óptimo Agosto 2016 8 / 23

Motivación Control óptimo en tiempo continuo Extensiones Aplicaciones

El principio del máximo de pontryagin (1958)

Ejemplo 1
Z 1
mı́n J = (x + u 2 )dt
u 0

sa :
x̊ = u, t ∈ [0, 1]
x (0) = 0
x (1) = 0

Ejemplo 2
Z e
1
mı́n J = u 2 dt
u 2 0

sa :
x̊ = x − u, t ∈ [0, e]
x (0) = 0
x (e) = 10
David Huari Leasaski (LAMBDA) Control óptimo Agosto 2016 9 / 23
Motivación Control óptimo en tiempo continuo Extensiones Aplicaciones

El principio del máximo de pontryagin (1958)

Ejemplo x: Minimización de costos

Una empresa tiene un pedido de N unidades de un producto que debe atender en un
periodo de un año. Además, sabemos que la empresa no tiene unidades de dicho
producto en inventarios. La dinámica del costo total depende de cuánto produce la
empresa y del ritmo con que lo hace:

C (t) = 2Y (t) − (Y̊ (t))2

donde C (t) y Y (t) son el costo total y la producción en el instante t, respectivamente.

La ecuación nos dice que el costo total crecerá cuando se produzca más, pero producir
mas rapido tiene un efecto importante sobre la reducción de los costos en cada instante.
Asuma que al inicio de las operaciones el estado de la producción es cero: Y (0) = 0 y
también que Y (1) = N. Se necesita conocer cuál debe ser la trayectoria óptima de
producción para minimizar el costo total en el periodo de un año. Analice gráficamente
que sucede con la evolución óptima de la producción y con el costo mı́nimo cuando N
crece.

David Huari Leasaski (LAMBDA) Control óptimo Agosto 2016 10 / 23

Motivación Control óptimo en tiempo continuo Extensiones Aplicaciones

El principio del máximo de pontryagin (1958)

Ejemplo 3: Maximización de beneficios

Un monopolio tiene una función de costos dad por:

C (x ) = αx 2 + β

donde x es el nivel de producción. La función de demanda es:

p̊ = Ap + x − B

Todos los parámetros son positivos. Encontrar el máximo de

Z T
J= (px − C (x ))dt
0

sa :
p(0) = p0
p(T ) = pT

David Huari Leasaski (LAMBDA) Control óptimo Agosto 2016 11 / 23

Motivación Control óptimo en tiempo continuo Extensiones Aplicaciones

Condiciones suficientes

Theorem
∂2H
Condición necesaria de segundo orden. Si ∂u 2
≤ 0 =⇒ u ? es candidato a
máximo

Theorem
Mangasarian. Sean u ? (t), x ? (t) y λ? (t) las trayectorias óptimas luego de
aplicar el PM, , ∀t ∈ [t0 , t1 ], en el problema de control óptimo. Si se
verifican:
1 f y g cóncavas en x , u, ∀t ∈ [t0 , t1 ]
2 λ? (t) ≥ 0, ∀t ∈ [t0 , t1 ], si f es no lineal en x , u
Entonces, u ? el el control óptimo del problema, con x ? trayectoria de
estado óptima y λ? trayaectoria óptima del coestado.

Verificar las condiciones de segundo orden y Mangasarian en los ejemplos

anteriores.
David Huari Leasaski (LAMBDA) Control óptimo Agosto 2016 12 / 23
Motivación Control óptimo en tiempo continuo Extensiones Aplicaciones

Condiciones suficientes

Ejemplo 4: La ecuación de Euler

Z T
J[x ] = f (x , x̊ , t)dt
0

sa :
x (0) = x0
x (T ) = libre, T dado

David Huari Leasaski (LAMBDA) Control óptimo Agosto 2016 13 / 23

Motivación Control óptimo en tiempo continuo Extensiones Aplicaciones

Contenido

1 Motivación
2 Control óptimo en tiempo continuo
Planteamiento del problema
El principio del máximo de pontryagin (1958)
Condiciones suficientes
3 Extensiones
Tipos de condiciones finales
Varias variables
Derivadas de orden superior
Hamiltoniano en tiempo corriente
4 Aplicaciones
Modelo de Ramsey

David Huari Leasaski (LAMBDA) Control óptimo Agosto 2016 14 / 23

Motivación Control óptimo en tiempo continuo Extensiones Aplicaciones

Tipos de condiciones finales

Condiciones de transversalidad
1 Si t1 dado y x (t1 ) libre =⇒ λ(t1 ) = 0
2 Si t1 libre y x (t1 ) dado =⇒ H? (t1 ) = 0
3 Si x (t1 ) ≥ xmin , t1 dado, =⇒ λ(t1 ) ≥ 0, x ? (t1 ) ≥ xmin ,
λ(t1 )(x ? (t1 ) − xmin ) = 0
4 Si t1 → ∞,
x (t1 ) dado =⇒ lı́mt→∞ H(t) = 0
x (t1 ) libre =⇒ lı́mt→∞ H(t) = 0 y lı́mt→∞ λ(t) = 0
lı́mt→∞ x (t) ≥ xmin =⇒ lı́mt→∞ λ(t) ≥ 0 y
lı́mt→∞ λ(t)(x (t) − xmin ) = 0

David Huari Leasaski (LAMBDA) Control óptimo Agosto 2016 15 / 23

Motivación Control óptimo en tiempo continuo Extensiones Aplicaciones

Tipos de condiciones finales

Ejemplo 5: t1 dado y x (t) libre

u2
Z 2
mı́n J = (2x − 3u − )dt
u 0 2
sa :
x̊ = x + u, t ∈ [0, 2]
x (0) = 5

Ejemplo 6: t1 libre y x (t) dado

Z t1
mı́n J = (t 2 + u 2 )dt
t1 ,u 0

sa :
x̊ = u, t ∈ [0, t1 ]
x (0) = 4
x (t1 ) = 5
David Huari Leasaski (LAMBDA) Control óptimo Agosto 2016 16 / 23
Motivación Control óptimo en tiempo continuo Extensiones Aplicaciones

Tipos de condiciones finales

Ejemplo 7: t1 dado y x (t1) acotado

Z 1
mı́n J = (x 2 + u 2 )dt
u 0

sa :
x̊ = u, t ∈ [0, 1]
x (0) = 0
x (1) ≥ 1

David Huari Leasaski (LAMBDA) Control óptimo Agosto 2016 17 / 23

Motivación Control óptimo en tiempo continuo Extensiones Aplicaciones

Varias variables

Z t1
máx J = f (x, u, t)dt
u t0

sa :
x̊i = gi (x, u, t), ∀i = 1, . . . , n

x(t0 ) = x0
x(t1 ) libre, t1 dado

David Huari Leasaski (LAMBDA) Control óptimo Agosto 2016 18 / 23

Motivación Control óptimo en tiempo continuo Extensiones Aplicaciones

Varias variables

Ejemplo 8
Z 1 2
u
mı́n J = ( )dt
u 0 2
sa :
x̊1 = x2 ,
x̊2 = u,
x1 (0) = x2 (0) = 0
x1 (1) = 2, x2 (1) = 3

David Huari Leasaski (LAMBDA) Control óptimo Agosto 2016 19 / 23

Motivación Control óptimo en tiempo continuo Extensiones Aplicaciones

Hamiltoniano en tiempo corriente

Sea el siguiente problema de control:

Z T
máx J = f (x , u)e −ρt dt
u 0

sa :
x̊ = g(x , u), t ∈ [0, T ]
x (t0 ) = x0 ,
Se define el Hamiltoniano y el coestado de valor corriente como

H = He ρt , λ = λe ρt

Las condiciones del PM vienen dadas por:

˚
λ = −Hx + λρ,

x̊ = Hλ
David Huari Leasaski (LAMBDA) λ(T )e ρT
Control =0
óptimo Agosto 2016 20 / 23
Motivación Control óptimo en tiempo continuo Extensiones Aplicaciones

Hamiltoniano en tiempo corriente

Ejemplo 9
Z 10
máx J = (x − u 2 )e −t dt
u 0

sa :
x̊ = x + u,
1
x (0) = ,
2

David Huari Leasaski (LAMBDA) Control óptimo Agosto 2016 21 / 23

Motivación Control óptimo en tiempo continuo Extensiones Aplicaciones

Contenido

1 Motivación
2 Control óptimo en tiempo continuo
Planteamiento del problema
El principio del máximo de pontryagin (1958)
Condiciones suficientes
3 Extensiones
Tipos de condiciones finales
Varias variables
Derivadas de orden superior
Hamiltoniano en tiempo corriente
4 Aplicaciones
Modelo de Ramsey

David Huari Leasaski (LAMBDA) Control óptimo Agosto 2016 22 / 23

Motivación Control óptimo en tiempo continuo Extensiones Aplicaciones

Modelo de Ramsey

Ejemplo 10
Z T
máx U(0) = e −(ρ−n)t u(c(t))dt
c(t) 0

sa :
k̊(t) = f (k(t)) − c(t) − (δ + n)k(t),

k(0) = k0
donde u 0 > 0, u 00 < 0, f (0) = 0, f 0 > 0, f 00 < 0

David Huari Leasaski (LAMBDA) Control óptimo Agosto 2016 23 / 23