MAP434 - Contrôle de modèles dynamiques

Équation de Hamilton–Jacobi–Bellman (HJB)

Alexandre Ern
ENPC - INRIA - X

amphi du mardi 28 mai 2019

Alexandre Ern (ENPC - INRIA - X) MAP434 (A10) 28 mai 2019 1 / 16

Plan de la séance

Fonction valeur

Principe d’optimalité de Bellman et équation HJB

Application au système LQ

Bilan : PMP vs. HJB

Poly, chapitre 8

Alexandre Ern (ENPC - INRIA - X) MAP434 (A10) 28 mai 2019 2 / 16

Système de contrôle non-linéaire

On considère le système de contrôle non-linéaire

ẋu (t) = f (t, xu (t), u(t)), ∀t ∈ [0,T ], xu (0) = x0

xu : [0,T ] → Rd , T > 0, CI x0 ∈ Rd
u : [0,T ] → U ⊂ Rk , sous-ensemble fermé non-vide
f : [0,T ] × Rd × U → Rd

On cherche un contrôle optimal u ∈ U = L1 ([0,T ]; U) qui minimise le critère

Z T
J(0, x0 ; u) = g (t, xu (t), u(t)) dt + h(xu (T ))
0

avec g : [0,T ] × Rd × U → R et h : Rd → R

Alexandre Ern (ENPC - INRIA - X) MAP434 (A10) 28 mai 2019 3 / 16

Fonction valeur

On plonge ce problème dans une famille de problèmes de contrôle optimal

posés sur Is = [s,T ] avec la CI x(s) = ξ; la famille est ainsi paramétrée par
s ∈ [0,T ] et ξ ∈ Rd

ẋu (t) = f (t, xu (t), u(t)), t ∈ Is , xu (s) = ξ

Z
J(s, ξ; u) = g (t, xu (t), u(t)) dt + h(xu (T )), ∀u ∈ Us = L1 (Is ; U)
Is

La fonction valeur V : [0,T ] × Rd → R est t.q.

V (s, ξ) = inf J(s, ξ; u)

u∈Us

En s = T , on a V (T , ξ) = h(ξ), ∀ξ ∈ Rd

Alexandre Ern (ENPC - INRIA - X) MAP434 (A10) 28 mai 2019 4 / 16

Non-différentiabilité de la fonction valeur

La fonction valeur n’est pas toujours différentiable en tout point ...

On considère le système de contrôle et le critère

ẋu (t) = u(t) ∈ U = [−1, 1], ∀t ∈ Is , xu (s) = ξ, J(s, ξ; u) = h(xu (T ))

où h est paire, régulière, t.q. h0 (x) < 0 si x > 0 (e.g., h(x) = e −x )
2

si ξ > 0, le contrôle optimal est u ≡ 1 et V (s, ξ) = h(ξ + T − s)

si ξ < 0, le contrôle optimal est u ≡ −1 et V (s, ξ) = h(ξ − T + s)
si x = 0, il y a deux contrôles optimaux u ≡ ±1 et V (s, 0) = h(±(T − s))

En conclusion, on a V (s, ξ) = h(T − s + |ξ|), qui est régulière sauf en ξ = 0

V (T , ξ)
V (s , ξ)

Cet exemple illustre un phénomène important et général : la perte de

régularité de V en les points où existent plusieurs contrôles optimaux

Alexandre Ern (ENPC - INRIA - X) MAP434 (A10) 28 mai 2019 5 / 16

Principe d’optimalité de Bellman
(Thm. 8.3) Soit (s, ξ) ∈ [0,T [ × Rd ; pour tout s 0 ∈ [s,T ], on a
Z 
V (s, ξ) = inf 0 g (t, xu (t), u(t)) dt + V (s 0 , xu (s 0 ))
u∈Uss Iss 0
0 0 0
avec Iss = [s,s 0 ] et Uss = L1 (Iss ; U)
0
Preuve : tout u ∈ Us peut être identifié à un couple (u1 , u2 ) ∈ Uss × Us 0 en
posant u1 = u|Iss 0 et u2 = u|Is 0
0
u1 produit la trajectoire x1 ≡ xu1 sur Iss t.q. x1 (s) = ξ
u2 produit la trajectoire x2 ≡ xu2 sur Is 0 t.q. x2 (s 0 ) = xu (s 0 ) = x1 (s 0 )
on conclut grâce à l’additivité du critère le long de la trajectoire
Z 
V (s, ξ) = inf g (t, xu (t), u(t)) dt + h(xu (T ))
u∈Us Is
Z nZ o
= inf g (t, x1 (t), u1 (t)) dt + g (t, x2 (t), u2 (t)) dt + h(x2 (T ))
0 0
(u1 ,u2 )∈Uss ×Us 0 Iss Is 0
Z nZ o
= inf g (t, x1 (t), u1 (t)) dt + inf g (t, x2 (t), u2 (t)) dt + h(x2 (T ))
0 0 u2 ∈Us 0
u1 ∈Uss Iss Is 0
Z 
= inf g (t, x1 (t), u1 (t)) dt + V (s 0 , x1 (s 0 ))
0 0
u1 ∈Uss Iss

Alexandre Ern (ENPC - INRIA - X) MAP434 (A10) 28 mai 2019 6 / 16

Hypothèses

Les hypothèses sur la dynamique sont les suivantes

f continue sur [0,T ] × Rd × U, uniformément en u ∈ U
∂f
f dérivable p.r. à x et ∂x continue bornée sur [0,T ] × Rd × U
∃C ≥ 0 t.q. |f (t, x, u)| ≤ C (1 + |x| + |u|) sur [0,T ] × Rd × U

Les hypothèses sur le critère sont les suivantes

g continue sur [0,T ] × Rd , uniformément en u ∈ U
∃ν > 0, ∃C ≥ 0 t.q. g (t, x, u) ≥ ν|u|2 − C sur [0,T ] × Rd × U
h continue et minorée sur Rd

Ces hypothèses sont des CS pour que

∀u ∈ U = L1 ([0,T ]; U), ∃! trajectoire xu ∈ AC ([0,T ]; Rd )
J a bien un sens et V (s, ξ) > −∞, ∀(s, ξ) ∈ [0,T ] × Rd

Alexandre Ern (ENPC - INRIA - X) MAP434 (A10) 28 mai 2019 7 / 16

Équation HJB (1)

On rappelle que le Hamiltonien associé au système de contrôle non-linéaire

est H : [0,T ] × Rd × Rd × U → R t.q.

H(t, x, p, u) = p † f (t, x, u) + g (t, x, u)

Le Hamiltonien minimisé est H[ (t, x, p) = inf u∈U H(t, x, p, u)

L’équation HJB prend la forme suivante :

∂V
(s, ξ) + H[ s, ξ, ∂V


∂s ∂ξ (s, ξ) = 0

avec la condition à l’instant final V (T , ξ) = h(ξ)

Dans l’exemple précédent, H(x, p, u) = pu, U = [−1, 1]
H[ (x, p) = −|p|
là où V (s, ξ) = h(T − s − |ξ|) est régulière (ξ 6= 0), elle satisfait l’équation
HJB ∂V ∂s
− | ∂V
∂ξ
| = 0 (le vérifier!)

Alexandre Ern (ENPC - INRIA - X) MAP434 (A10) 28 mai 2019 8 / 16

Équation HJB (2)

(Thm. 8.4) En tout point (s, ξ) ∈ [0,T [ × Rd où la fonction valeur est
différentiable, elle satisfait l’équation HJB
la preuve repose sur le principe d’optimalité de Bellman : un contrôle u est
optimal ssi à tout instant s ∈ [0,T ] sur la trajectoire associée x, le contrôle
restreint aux instants ultérieurs u|[s,T ] est optimal pour le nouveau problème
ayant l’état courant x(s) comme état initial

Si une fonction W régulière (C 0 sur [0,T ] × Rd et C 1 sur [0,T [ × Rd ) satisfait

l’équation HJB et la condition en temps final et si U est borné, on a W ≡ V
ce résultat montre que l’équation HJB a au plus une solution régulière
il s’étend au cas U non borné sous hypothèse de décroissance de W quand
|ξ| → +∞ uniformément en t

Alexandre Ern (ENPC - INRIA - X) MAP434 (A10) 28 mai 2019 9 / 16

Preuve du Thm. 8.4 (1)
On se restreint au cas où U est borné
Soit (s, ξ) ∈ [0,T [ × Rd un point où la fonction valeur est différentiable
On applique le principe d’optimalité ci-dessus avec s 0 = s + δ, 0 < δ < T − s
Z 
V (s, ξ) = inf g (t, xu (t), u(t)) dt + V (s + δ, xu (s + δ))
u∈Uss+δ Iss+δ
Puisque U est borné, les hypothèses sur f impliquent que
supt∈Iss+δ |xu (t) − ξ| ≤ C δ, uniformément en δ et en u
R
on en déduit que xu (s + δ) = ξ + I s+δ f (s, ξ, u(t)) dt + o(δ) unif. en u
s

Comme V est supposée différentiable en (s, ξ), on obtient

  Z 
† 1
V (s+δ, xu (s+δ)) = V (s, ξ)+δ ∂V
∂s (s, ξ)+ ∂V
∂ξ (s, ξ) δ f (s, ξ, u(t)) dt +o(δ)
Iss+δ
Les hypothèses sur g impliquent que
Z Z
g (t, xu (t), u(t)) dt = g (s, ξ, u(t)) dt + o(δ)
Iss+δ Iss+δ

Alexandre Ern (ENPC - INRIA - X) MAP434 (A10) 28 mai 2019 10 / 16

Preuve du Thm. 8.4 (2)

En reportant dans le principe d’optimalité, en simplifiant par V (s, ξ) et en

divisant par δ, et comme les termes en o(δ) sont uniformes en u, il vient
 Z  Z 
∂V 1 ∂V † 1
∂s (s, ξ)+ inf δ g (s, ξ, u(t)) dt+ ∂ξ (s, ξ) δ f (s, ξ, u(t)) dt = o(1)
u∈Uss+δ Iss+δ Iss+δ

On conclut en remarquant que (s et ξ sont fixés)

 Z  Z 
1 ∂V † 1
inf δ g (s, ξ, u(t)) dt + ∂ξ (s, ξ) δ f (s, ξ, u(t)) dt
u∈Uss+δ Iss+δ Iss+δ
n o
= inf g (s, ξ, v ) + ∂V
∂ξ (s, ξ)† f (s, ξ, v ) = inf H(s, ξ, ∂V
∂ξ (s, ξ), v )
v ∈U v ∈U

a inf u∈Uss+δ δ1 I s+δ Φ(u(t)) dt = inf v ∈U Φ(v ) où Φ : Rk → R

R
on
s
on note I1 le premier infimum et I2 le deuxième
∀u ∈ Uss+δ , on a Φ(u(t)) ≥ inf v ∈U Φ(v ), ∀t ∈ Iss+δ , d’où I1 ≥ I2
∀v ∈ U, en considérant
R la fonction constante égale à v , on obtient
Φ(v ) ≥ inf u∈Uss+δ δ1 I s+δ Φ(u(t)) dt, d’où I2 ≥ I1
s

Alexandre Ern (ENPC - INRIA - X) MAP434 (A10) 28 mai 2019 11 / 16

Synthèse d’un feedback optimal
On suppose que la fonction valeur est régulière (C 0 ([0,T ] × Rd ) ∩ C 1 ([0,T [ × Rd ))
On suppose que ∀(s, ξ) ∈ [0,T ] × Rd , on peut trouver un feedback optimal
ũ(s, ξ) ∈ arg min H(s, ξ, ∂V
∂ξ (s, ξ), v )
v ∈U
l’existence est assurée par les hypothèses sur f et g
en général, on n’a pas unicité, ni dépendance continue en (s, ξ)
on suppose que l’on peut choisir ũ(s, ξ) pour résoudre le système différentiel
d
dt
x(t) = f (t, x(t), ũ(t, x(t))), t ∈ [0,T ], x(0) = x0
(Prop. 8.7) u(t) = ũ(t, x(t)) est un contrôle optimal sur [0,T ]
d
on a dt V (t, x(t)) = ∂V
∂s
(t, x(t)) + ∂V∂ξ
(t, x(t))† f (t, x(t), u(t)), p.p. t ∈ [0,T ]
comme V satisfait l’équation HJB, ∂s (t, x(t)) + H[ (t, x(t), ∂V
∂V
∂ξ
(t, x(t))) = 0
par définition de u, H[ (t, x(t), ∂V
∂ξ
(t, x(t))) = H(t, x(t), ∂V
∂ξ
(t, x(t)), u(t))
comme H(t, x, p, u) = p † f (t, x, u) + g (t, x, u), il vient
d
V (t, x(t)) = −g (t, x(t), u(t)), p.p. t ∈ [0,T ]
dt
RT
d’où V (0, x0 ) = 0 g (t, x(t), u(t)) dt + h(x(T )) = J(0, x0 ; u), i.e., u est bien
un contrôle optimal
Alexandre Ern (ENPC - INRIA - X) MAP434 (A10) 28 mai 2019 12 / 16
Fonction valeur et état adjoint
On suppose qu’il existe un contrôle optimal u : [0,T ] → U
on note x : [0,T ] → Rd la trajectoire correspondante et p : [0,T ] → Rd l’état
adjoint introduit dans le PMP
on suppose que V est différentiable en tout (s, x(s)), ∀s ∈ [0,T ]
∂V
Dans ces conditions, on a p(s) = ∂ξ (s, x(s)), ∀s ∈ [0,T ]
on a V (s, x(s)) = J(s, x(s); u|Is ) (principe d’optimalité de Bellman)
pour tout ξ ∈ Rd , V (s, ξ) = inf u∈Us J(s, ξ; u) ≤ J(s, ξ; u|Is )
la fonction ξ 7→ V (s, ξ) − J(s, ξ, u|Is ) est donc maximale en ξ = x(s); par
∂ ∂
suite, ∂ξ i
V (s, x(s)) = ∂ξ i
J(s, x(s), u|Is ), ∀i ∈ {1:d}
on vérifie aisément que
Z
∂ ∂g ∂h
J(s, x(s), u|Is ) = (t, x(t), u(t))† yi (t) dt + (x(T ))† yi (T )
∂ξi Is ∂x ∂x
∂f
où ẏi (t) = ∂x
(t, x(t), u(t))yi (t), ∀t ∈ Is , yi (s) = ei = (δij )j∈{1:d}
†
en introduisant l’état adjoint t.q. dtd
p = − ∂x∂f
p − ∂g
∂x
∂h
, p(T ) = ∂x (x(T )), et en
intégrant par parties en temps, il vient
Z
∂ d
p(t)† yi (t) dt + p(T )† yi (T ) = p(s)† ei


J(s, x(s), u|Is ) = −
∂ξi Is dt

Alexandre Ern (ENPC - INRIA - X) MAP434 (A10) 28 mai 2019 13 / 16

Application au système LQ
On considère la famille de systèmes LQ
ẋu (t) = Axu (t) + Bu(t), ∀t ∈ Is , xu (s) = ξ, u ∈ L2 (Is ; Rk )
Z n
1 1 o 1
J(s, ξ; u) = u(t)† Ru(t) + xu (t)† Qxu (t) dt + xu (T )† Dxu (T )
Is 2 2 2
Le Hamiltonien est H(x, p, u) = p (Ax + Bu) + 2 u Ru + 21 x † Qx et le
† 1 †

Hamiltonien minimisé est

1 1
H[ (x, p) = min H(x, p, u) = p † Ax − p † BR −1 B † p + x † Qx
u∈Rk 2 2
l’unique minimiseur étant ũ = −R −1 B † p
La fonction valeur satisfait V (T , ξ) = 12 ξ † Dξ et l’équation HJB
∂V  ∂V † 1  ∂V † −1 † ∂V 1
+ Aξ − BR B + ξ † Qξ = 0
∂s ∂ξ 2 ∂ξ ∂ξ 2
On vérifie que V (s, ξ) = 21 ξ † P(s)ξ (où P vérifie l’équation de Riccati) est
bien solution
V est ici régulière sur [0,T ] × Rd ; on notera l’unicité du contrôle optimal
Alexandre Ern (ENPC - INRIA - X) MAP434 (A10) 28 mai 2019 14 / 16
Exemple : planification du mouvement

Mouvement d’un point matériel avec critère quadratique

Z T
1 1
ẋu (t) = u(t), J(s, ξ; u) = (u(t)2 + xu (t)2 ) dt + xu (T )2
s 2 2
1
Hamiltonien H(x, p, u) = pu + + u 2 ), d’où H[ (x, p) = 21 (x 2 − p 2 ) avec
2 (x
2

ũ = −p; on obtient l’équation HJB

2 ∂V 2
∂V 1
V (T , ξ) = 21 ξ 2


∂s + 2 ξ − ( ∂ξ ) = 0,

on cherche une solution de la forme V (s, ξ) = 12 µ(s)ξ 2

il vient µ0 (s) = µ(s)2 − 1, µ(T ) = 1, d’où µ ≡ 1
le contrôle optimal (sous forme de feedback) est

ũ(s, ξ) = − ∂V
∂ξ
(s, ξ) = −µ(s)ξ = −ξ

si bien que d
dt
x(t) = −x(t); d’où x(t) = x0 e −t et u(t) = −x0 e −t

Alexandre Ern (ENPC - INRIA - X) MAP434 (A10) 28 mai 2019 15 / 16

Bilan : PMP vs. HJB

Le PMP
fournit une CN d’optimalité
fournit le contrôle optimal en boucle ouverte (fonction du temps)
repose sur la résolution d’équations différentielles ordinaires
ne s’applique (sauf rares exceptions) qu’aux systèmes déterministes

La programmation dynamique via la résolution de l’équation HJB

fournit une CS d’optimalité
fournit le contrôle optimal en boucle fermée (fonction de l’état)
repose sur la résolution d’une équation aux dérivées partielles (ce qui devient
intractable lorsque la dimension d de l’espace des états est grande ...)
s’applique aux systèmes déterministes et stochastiques

Alexandre Ern (ENPC - INRIA - X) MAP434 (A10) 28 mai 2019 16 / 16