Control Óptimo

Optimización Económica 2

Braulio Calagua Control Óptimo

Ejemplo 1
Hay cierto recurso finito en una economı́a que se extrae a la tasa u(t). Se
denota por x(t) a la cantidad del recurso en el instante t. Se usa todo lo que
se extrae del recurso, por lo que la cantidad del recurso se reduce según
d
x(t) = −u(t)
dt
Se desea maximizar la utilidad total (descontada a la tasa ρ ∈ ]0, 1[) obtenida
por el uso del recurso sobre un horizonte de tiempo [0, T ] dado, sabiendo que
al inicio la cantidad del recurso es x0 .

Braulio Calagua Control Óptimo

Ejemplo 1
Hay cierto recurso finito en una economı́a que se extrae a la tasa u(t). Se
denota por x(t) a la cantidad del recurso en el instante t. Se usa todo lo que
se extrae del recurso, por lo que la cantidad del recurso se reduce según
d
x(t) = −u(t)
dt
Se desea maximizar la utilidad total (descontada a la tasa ρ ∈ ]0, 1[) obtenida
por el uso del recurso sobre un horizonte de tiempo [0, T ] dado, sabiendo que
al inicio la cantidad del recurso es x0 .
El problema a considerar es
Z T
máx e −ρt U(x(t)) dt
0

sujeto a
ẋ = −u
x(0) = x0

Braulio Calagua Control Óptimo

Ejemplo 2
Una firma recibe un pedido de B unidades a ser entregado en el momento T .
La empresa busca establecer un plan de producción para cumplir con el pedido y
minimizar los costos, siendo el inventario inicial cero unidades.

Denotando x(t) la producción acumulada (inventario) en el instante t, y u(t) la tasa

de producción, se considera que el costo total de producción en el instante t es dado
por
c1 u(t)u(t) + c2 x(t)
donde c1 y c2 son constantes. (Interpretamos que el costo unitario de producción
crece linealmente con la tasa de producción, y el costo unitario de almacenaje por
unidad de tiempo es constante).

Braulio Calagua Control Óptimo

Ejemplo 2
Una firma recibe un pedido de B unidades a ser entregado en el momento T .
La empresa busca establecer un plan de producción para cumplir con el pedido y
minimizar los costos, siendo el inventario inicial cero unidades.

Denotando x(t) la producción acumulada (inventario) en el instante t, y u(t) la tasa

de producción, se considera que el costo total de producción en el instante t es dado
por
c1 u(t)u(t) + c2 x(t)
donde c1 y c2 son constantes. (Interpretamos que el costo unitario de producción
crece linealmente con la tasa de producción, y el costo unitario de almacenaje por
unidad de tiempo es constante).

Teniendo en cuenta que la tasa de cambio del inventario es la tasa de producción, el

problema a considerar es Z T
mı́n c1 u 2 (t) + c2 x(t) dt
0
sujeto a
ẋ = u
x(0) = 0 , x(T ) = B , u(t) ≥ 0

Braulio Calagua Control Óptimo

Ejemplo 3

Se desea determinar el consumo óptimo C (t) sobre el intervalo de tiempo finito

[0, T ] de manera que se maximice el flujo de utilidad descontada a la tasa
r ∈ ]0, 1[. La utilidad instantánea U(t) depende del consumo U(t) = u(C (t)) y
el capital K (t) que posse el individuo en el instante t se rige por

K̇ (t) = i ×K (t) + w (t) − C (t)

donde i es la tasa de interés, y w (t) es el salario instantáneo (exógeno).

Braulio Calagua Control Óptimo

Ejemplo 3

Se desea determinar el consumo óptimo C (t) sobre el intervalo de tiempo finito

[0, T ] de manera que se maximice el flujo de utilidad descontada a la tasa
r ∈ ]0, 1[. La utilidad instantánea U(t) depende del consumo U(t) = u(C (t)) y
el capital K (t) que posse el individuo en el instante t se rige por

K̇ (t) = i ×K (t) + w (t) − C (t)

donde i es la tasa de interés, y w (t) es el salario instantáneo (exógeno).

El problema a considerar es
Z T
máx e −rt u(C (t)) dt
0

sujeto a
K̇ (t) = i ×K (t) + w (t) − C (t)
K (0) = K0

Braulio Calagua Control Óptimo

Formulación general del problema

Estudiaremos inicialmente el problema

Z T
máx f (x, u, t)dt
t0
s.a.
ẋ = g (x, u, t)
x(t0 ) = x0 , x(T ) libre
u(t) ∈ Ω

donde f y g son funciones de clase C 1 , t0 y T son fijos, x0 y Ω son dados.

Braulio Calagua Control Óptimo

La variable x(t) es llamada variable de estado, la cual es continua y
diferenciable por tramos. La variable u(t) es llamada variable de control, la
cual es continua por tramos.

La variable de control u(t) junto con la EDO ẋ = g (x, u, t) y la condición

inicial x(t0 ) = x0 determinan de forma única x(t), por ello el problema es
determinar la variable de control u(t) de forma óptima.

Braulio Calagua Control Óptimo

Máximo de Pontryagin
Se define el Hamiltoniano H como la función

H(x, u, λ, t) = f (x, u, t) + λg (x, u, t)

Principio del Máximo:

Si (x ∗ (·), u ∗ (·)) es óptimo, entonces existe λ∗ (·) continua y diferenciable por
tramos tal que
1) u ∗ (t) es solución de máx H(x ∗ (t), · , λ∗ (t), t) ∀ t ∈ [t0 , T ]
Ω
Es decir, fijando t ∈ [t0 , T ]:

H(x ∗ (t), u ∗ (t), λ∗ (t), t) ≥ H(x ∗ (t), u, λ∗ (t), t) ∀ u ∈ Ω

∂H
2) ẋ = ‘ecuación de movimiento de x’.
∂λ
∂H
3) λ̇ = − ‘ecuación de movimiento de λ (variable de co-estado)’.
∂x
4) λ(T ) = 0 ‘condición de transversalidad’ (propia para esta formulación
del problema).

Braulio Calagua Control Óptimo

Observaciones:
∂H ∂2H
La condición 1) se puede reemplazar por = 0 cuando ≤ 0 sobre
∂u ∂u 2
Ω ⊂ R intervalo (si la solución es interior).
∂H
De = 0 se despeja u en términos de x y λ para sustituir en 2) y 3) y
∂u
obtener un sistema de EDO con x(t0 ) = x0 y λ(T ) = 0.
Si el problema es de minimización sólo cambia 1):
u ∗ (t) es solución de mı́n H(x ∗ (t), · , λ∗ (t), t) ∀ t ∈ [t0 , T ]
Ω

∂H ∂2H
Luego, bastarı́a con = 0 siempre que ≥0
∂u ∂u 2

Braulio Calagua Control Óptimo

Ejemplos
Determine las variables x(·), u(·) y λ(·) se satisfacen el Principio del Máximo
para los siguientes problemas:
i)
Z 1
máx (x + u)dt
0
s.a.
ẋ = 1 − u 2
x(0) = 1 , x(1) libre
ii)
Z 1
mı́n (x + u 2 )dt
0
s.a.
ẋ = −u
x(0) = 0 , x(1) libre

Braulio Calagua Control Óptimo

iii)
Z 2
máx (2x − 3u)dt
0
s.a.
ẋ = x + u
x(0) = 4 , x(2) libre
u(t) ∈ [0, 2]

iv)
Z 5
máx (xu − x 2 − u 2 )dt
1
s.a.
ẋ = x + u
x(1) = 2 , x(5) libre

Braulio Calagua Control Óptimo

Otra formulación del problema

Considere el problema
Z T
máx f (x, u, t)dt + S(x(T ))
t0
s.a.
ẋ = g (x, u, t)
x(t0 ) = x0 , x(T ) libre
u(t) ∈ Ω

donde f , g y S son funciones de clase C 1 , t0 y T son fijos, x0 y Ω son dados.

En el Principio del Máximo se sustituye la condición 4) por

λ(T ) = S 0 (x(T ))

Braulio Calagua Control Óptimo

Ejemplo

Aplique el Principio del Máximo para el siguiente problema:

Z 1
mı́n (x + u 2 )dt + (x(1))2
0
s.a.
ẋ = −u + t
x(0) = 2 , x(1) libre

Braulio Calagua Control Óptimo

Otras condiciones finales
En cada uno de los siguientes casos, la condición de transversalidad 4) del principio
del máximo se sustituye por la condición en azul:
1 T conocido, x(T ) conocido (digamos x(T ) = x1 ).

x(T ) = x1

2 T libre, x(T ) conocido.

H(x(T ), u(T ), λ(T )) = 0

3 T libre, x(T ) libre.

λ(T ) = 0 ∧ H(x(T ), u(T ), λ(T )) = 0

4 T conocido, x(T ) acotado inferiormente (digamos x(T ) ≥ x1 ).

x(T ) ≥ x1 , λ(T ) ≥ 0 , (x(T ) − x1 )λ(T ) = 0

Braulio Calagua Control Óptimo

Condiciones suficientes

Condición suficiente de Mangansarian

Si x ∗ (·), u ∗ (·) y λ∗ (·) satisfacen las condiciones necesarias al aplicar el
principio del máximo de Pontryagin, y se cumple que:
i) f y g son cóncavas en (x, u).
ii) λ(t) ≥ 0 ∀ t ∈ [t0 , T ] en caso g sea no lineal.
entonces u ∗ (·) es el control óptimo y x ∗ (·) es la variable de estado óptima para
el problema.

Observaciones:

Si g es lineal no es necesaria la condición ii).

Si la funcional objetivo se expresa con S(x(T )), se agrega la condición que
la función S debe ser cóncava.
Para el problema de minimización reemplazar convexidad por concavidad.

Braulio Calagua Control Óptimo

Hamiltoniano en tiempo corriente

Dado ρ > 0, consideremos el problema

Z T
máx F (x, u)e −ρt dt
t0
s.a.
ẋ = g (x, u, t)
x(t0 ) = x0
u(t) ∈ Ω

y alguna condición final para T o x(T ).

Se define el Hamiltoniano en tiempo corriente H c como

H c (x, u, m, t) = F (x, u) + m g (x, u, t)

Braulio Calagua Control Óptimo

Hamiltoniano en tiempo corriente

Para este caso, el principio del máximo se puede expresar como:

Si (x ∗ (·), u ∗ (·)) es óptimo, entonces existe m∗ (·) continua y diferenciable por

tramos tal que
1) u ∗ (t) es solución de máx H c (x ∗ (t), · , m∗ (t), t) ∀ t ∈ [t0 , T ]
Ω
∂H c
2) ẋ =
∂m
∂H
3) ṁ = − + ρm
∂x
4) la correspondiente condición de transversalidad según las condiciones
finales.

Braulio Calagua Control Óptimo

Problemas con horizonte temporal infinito

Consideremos el problema
Z ∞
máx f (x, u, t)dt
t0
s.a.
ẋ = g (x, u, t)
x(t0 ) = x0
u(t) ∈ Ω

y asumamos que el funcional objetivo es un número real para cada control

admisible (esto es ası́ cuando f (x, u, t) = F (x, u)e −ρt siendo F es una función
acotada).

Braulio Calagua Control Óptimo

Problemas con horizonte temporal infinito

Las tres primeras condiciones del principio del máximo se mantienen, y la

condición de transversalidad dependerá de
si no hay ninguna condición.

Se usa la condición lı́m λ(t) = 0 junto con lı́m H|t = 0.

t→∞ t→∞

si hay la condición lı́mt→∞ x(t) = xss .

En este caso, ésta es la condición a utilizar junto con lı́m H|t = 0.

t→∞

Braulio Calagua Control Óptimo