Cours Optimisation
Cours Optimisation
Licence 2 SEA
OPTIMISATION STATIQUE
Diomandé Lanciné
Email: diomandelancine202@[Link]
1- Optimisation des fonctions de plusieurs variables
1.1- Optimisation sans contraintes
1.1.1- Extréma sans contraintes
Définition 1
i) Soit 𝒪 un ensemble ouvert de ℝ𝑛 , 𝑎 ∈ 𝒪 est un minimum local (resp. minimum local
strict) de 𝑓 si il existe un réel 𝑟 > 0 tel que pour tout 𝑥 ∈ 𝒪\{𝑎}, on ait
‖𝑥 − 𝑎‖ ≤ 𝑟 ⇒ 𝑓(𝑥) ≥ (resp. >)𝑓(𝑎)
ii) On dit que 𝑎 ∈ ℝ𝑛 est un maximum local (resp. maximum local strict) de 𝑓 s’il existe un
réel 𝑟 > 0 tel que pour tout 𝑥 ∈ 𝒪\{𝑎}, on ait :
‖𝑥 − 𝑎‖≥ 𝑟 ⇒ 𝑓(𝑥) ≤ (resp. <)𝑓(𝑎)
iii) On dit que 𝑎 est un extrémum local si 𝑎 est un minimum local ou bien un
maximum local.
iv) Lorsque ∀ 𝑥 ∈ 𝒪\{𝑎}, 𝑓(𝑥) ≥ 𝑓(𝑎) (resp. > 𝑓 (𝑎), ≤ 𝑓(𝑎), < 𝑓(𝑎), on dira que 𝑎 est un
minimum global (resp. minimum global strict, maximum global, maximum global strict).
Remarque 1
La fonction atteint un maximum local en 𝑎 s’il existe un réel 𝑟 > 0 tel que 𝑓(𝑎) ≥
𝑓 (𝑥 ), ∀ 𝑥 𝜖 𝐵𝑟 (𝑎). Il y a un maximum global en a si 𝑓 (𝑎) ≥ 𝑓(𝑥 ) ∀ 𝑥 ∈ 𝒪. Il existe un unique
maximum local (global) en 𝑎 s’il existe 𝑟 > 0 tel que 𝑓(𝑎) > 𝑓 (𝑥 ) ∀ 𝑥 𝜖 𝐵𝑟 (𝑎)( ∀ 𝑥 ∈
𝒪 ), 𝑥 ≠ 𝑎.
De façon similaire, un minimum local (global) est atteint en 𝑏 ssi
𝑓 (𝑏) ≤ 𝑓(𝑥 ) ∀ 𝑥 𝜖 𝐵𝑟 (𝑏)( ∀ 𝑥 𝜖 𝑂), 𝑥 ≠ 𝑏. Ce minimum est unique si l’inégalité est stricte.
1.1.2- Extremum local sans contrainte : condition de premier ordre
Théorème 1
Soit 𝒪 un ouvert de ℝ𝑛 et 𝑓: 𝒪 → ℝ une fonction de classe 𝐶 1 . Soit 𝑎 ∈ 𝒪 un extrémum local
de 𝑓, alors le gradient de 𝑓 au point 𝑎 est nul :
∇𝑓 (𝑎) = 0
Preuve
La preuve utilise le résultat connu pour les fonctions à une variable réelle. Soit 𝑈 𝜖 ℝ𝑛 et 𝐷 =
{𝑡 𝜖 ℝ: 𝑎 + 𝑡𝑢 ∈ 𝒪}. Considérons la fonction 𝑔: 𝐷 → ℝ définie par 𝑔(𝑡) = 𝑓(𝑎 + 𝑡𝑢). On sait
que 𝒪 est un extrémum local de 𝑔 et que 0 appartient forcément à un intervalle ouvert inclus
dans 𝐷. On a donc 𝑔’(0) = 0, ce qui s’écrit aussi :
𝑛
∑ 𝜕𝑖 𝑓(𝑎)𝑢𝑖 = 0
𝑖=1
1
Soit 𝑖 ∈ {1, … , 𝑛}. En prenant 𝑢𝑖 = 1 𝑒𝑡 𝑢𝑗 = 0 𝑠𝑖 𝑖 ≠ 𝑗, l’égalité précédente devient
𝜕𝑖 𝑓(𝑎) = 0. Comme 𝑖 est arbitraire, on a bien montré que toutes dérivées partielles (donc le
gradient), s’annulent.
Remarque 2
i) Considérons le cas 𝑛 = 2. L’annulation du gradient correspond à l’annulation de toutes
les dérivées partielles. Ainsi le théorème 2 exprime que si 𝑎 est un extrémum local alors
le plan tangent au graphe de 𝑓 au point (𝑎, 𝑓(𝑎)) a pour équation 𝑧 = 𝑓(𝑎). Le plan
tangent est donc parallèle au plan 0𝑥𝑦, ce qui est assez intuitif.
ii) Le théorème 2 ne donne qu’une condition nécessaire d’existence d’un extrémum local.
Cette condition n’est pas suffisante : on peut très bien avoir un gradient nul en un point
sans que ce point soit un extrémum local, comme le montre l’exemple de la fonction
d’une variable réel 𝑥 ↦ 𝑥 3 en 0.
iii) Ce résultat ne s’applique pas lorsque la fonction est définie sur un ensemble qui n’est pas
ouvert : la fonction 𝑓: [0,1] → ℝ définie par 𝑓 (𝑥) = 𝑥 admet 0 pour minimum global et
1 pour maximum global sans que la dérivée ne s’annule en ces points.
iv) Le point a pour lequel ∆𝑓 (𝑎) = 0 est appelé point critique ou point stationnaire de 𝑓.
Exemple 1
On demande de déterminer les potentiels extréma de la fonction 𝑓 (𝑥, 𝑦) = 𝑥 3 − 𝑦 3 + 9𝑥𝑦.
On commence par calculer les dérivées premières partielles et on les égalise à zéro.
𝜕𝑓 𝜕𝑓
= 3𝑥 2 + 9𝑦 = 0 et = −3𝑦 2 + 9𝑥 = 0
𝜕𝑥 𝜕𝑥
1
La première équation donne 𝑦 = − 3 𝑥 2 . En substituant dans la seconde équation on obtient.
1 2 2 1
0 = −3𝑦 + 9𝑥 = −3 (− 𝑥 ) + 9𝑥 = − 𝑥 4 + 9𝑥
2
3 3
Cette équation peut être réécrite :
27𝑥 − 𝑥 4 = 𝑥(27 − 𝑥 3 ) = 0
dont les solutions sont : 𝑥 = 0 et 𝑥 = 3. En substituant ces solutions dans l’équation
1
𝑦 = − 3 𝑥 2 on obtient 𝑦 = 0 et 𝑦 = −3. Les solutions recherchées sont donc les points (0, 0)
et (3, 3).
A ce stade on peut conclure que les seuls candidats pour un maximum ou un minimum local
sont les points (0, 0) et (3, −3).
2
1.1.3- Optimisation sans contrainte : Les conditions suffisantes du second ordre
Rappel
Soit 𝑓: 𝒪 → ℝ une fonction définie sur un ouvert 𝒪 ⊂ ℝ𝑛 de classe 𝐶 2 . On appelle matrice
Hessienne de 𝑓 la matrice des dérivées seconde de 𝑓.
𝜕2𝑓 𝜕2𝑓
(∗) ⋯
𝜕𝑥12 𝜕𝑥𝑛 𝜕𝑥1
∆2 𝑓 (. ) = ⋮ ⋱ ⋮
𝜕2𝑓 𝜕2𝑓
[ 𝜕𝑥1𝜕𝑥𝑛 … ]
𝜕𝑥𝑛 2
Théorème 2
Soit 𝒪un ouvert de ℝ𝑛 . Soit 𝑓: 𝒪 → ℝ une fonction de classe𝐶 2 . Soit𝑎 ∈ 𝒪. On a les deux
propriétés suivantes :
i) (CN) Si 𝑎 est un minimum local de f alors ∇𝑓(𝑎) = 0 et ∇2 𝑓 (𝑎) ≥ 0
ii) (CS) Si ∇𝑓(𝑎) = 0 et ∇2 𝑓 (𝑎) > 0 alors 𝑎 est un minimum local de 𝑓.
Preuve
i) Soit 𝑎 un minimum local de 𝑓. On sait d’après la condition du premier ordre que
nécessairement ∇𝑓(𝑎) = 0. Par ailleurs, d’après la formule de Taylor-Young quand
ℎ → 0,
1
𝑓 (𝑎 + ℎ) = 𝑓 (𝑎) + 〈∇𝑓(𝑎), ℎ〉 + ℎ𝑇 ∇2 𝑓 (𝑎)ℎ + 0 (‖ℎ‖22 )
2
Mais ∇𝑓(𝑎) = 0 et 𝑎 un minimum local. Donc si on prend 𝑣 ∈ ℝ𝑛 , alors pour un certain
1
𝑡0 > 0, on aura pour 0 < 𝑡 ≤ 𝑡0 et 𝑡 → 0, 2 (𝑡𝑣)∇2 𝑓 (𝑎)(𝑡𝑣) + 0(‖ℎ‖22 ) ≥ 0. C’est-à-dire
𝑣 𝑇 ∇2 𝑓(𝑎)𝑣 ≥ 0 donc ∇2 𝑓 (𝑎) ≥ 0.
ii) Supposons que ∇𝑓(𝑎) = 0 et ∇2 𝑓 (𝑎) > 0 d’après la formule de Taylor-Young, quand
ℎ → 0,
1 1 ℎ 𝑇 ℎ
𝑓(𝑎 + ℎ ) − 𝑓(𝑎) = 〈∇𝑓 (𝑎), ℎ 〉 + 2 ℎ 𝑇 ∇2 𝑓(𝑎 )ℎ + 0 (‖ℎ ‖22 )‖ℎ ‖22 (2 (‖ℎ‖ ) ∇2 𝑓 (𝑎) (‖ℎ‖ ) + 𝜊(1))
2 2
Par ailleurs, 𝑣 𝑇 ∇2 𝑓 (𝑎)𝑣 > 0 pour tout 𝑣 𝜖 𝑆2𝑛−1 où 𝑆2𝑛−1 = {𝑣 ∈ ℝ𝑛 : ‖𝑣‖ 2 = 1} est la
sphère Euclidienne de ℝ𝑛 . Or 𝑆2𝑛−1 est compact (c’est un fermé borné de ℝ𝑛 ) et
𝑣 → 𝑣 𝑇 ∇2 𝑓 (𝑥 )𝑣 est continue donc
𝑖𝑛𝑓𝑣 ∈ 𝑆2𝑛−1 𝑣 𝑇 𝛻 2 𝑓(𝑥 )𝑣 = 𝜎0 > 0,
𝜎0
𝑓 (𝑎 + ℎ) − 𝑓 (𝑎) ≥ ‖ℎ‖22 ( + 𝜊(1))
2
3
Par définition de 𝜊(1), il existe 𝜀 > 0 tel que pour tout ℎ ∈ ℝ𝑛 tel que||ℎ||2 ≤ 𝜀, on a
𝜊(1) ≤ 𝜎0 /4. Alors, pour tout ℎ ∈ 𝐵̆𝜀 (0), on a 𝑓(𝑎 + ℎ) − 𝑓(𝑎) ≥ 0. Donc 𝑎 est bien un
minimum local de 𝑓∎
Théorème 3
Soit 𝑎 un point critique de 𝑓: 𝒪 → ℝ où 𝒪 est un ouvert de ℝ𝑛 .
i) Si la matrice Hessienne ∇2 𝑓 (𝑎) induit une forme quadratique définie positive.
(𝑖. 𝑒 ℎ𝑇 ∇2 𝑓 (𝑎)ℎ > 0 ∀ℎ ≠ 0), alors 𝑎 est un minimum local strict de 𝑓.
ii) Si la matrice Hessienne ∇2 𝑓(𝑎) induit une forme quadratique définie négative
(𝑖. 𝑒 ℎ𝑇 ∇2 𝑓 (𝑎)ℎ < 0, ∀ ℎ ≠ 0) alors 𝑎 est un maximum local strict de 𝑓.
Preuve : Idem que la preuve du théorème 3∎
On peut aussi utiliser le critère sur les mineurs de la matrice Hessienne ∇2 𝑓(𝑎) qui évite le
calcul de valeurs propres.
Théorème 4 : (Rappel)
Soit 𝒪un ouvert de ℝ𝑛 une fonction de classe𝐶 2 . Soit 𝑎 un élément 𝒪 soit 𝑀𝑖 (𝑎) le iième mineur
principal de la matrice Hessienne ∇2 𝑓(𝑎).
i) Si (−1)𝑖 𝑀𝑖 (𝑎) > 0 ∀𝑖 ∈ {1, … , 𝑛}, alors ∇2 𝑓 (𝑎) est définie négative
ii) Si 𝑀𝑖 (𝑎) > 0 ∀𝑖 ∈ {1, … , 𝑛}, alors ∇2 𝑓(𝑎) est définie positive.
iii) Si les conditions (i) et (ii) se vérifient au sens large, on ne peut pas conclure
Si la condition (i) tient pour tout 𝑥 ∈ 𝒪, alors 𝑓 est strictement concave. Si la condition (ii)
tient pour tout 𝑥 ∈ 𝒪, alors 𝑓 est strictement concave
Conséquence 1
Soit 𝒪 un ouvert de ℝ𝑛 . Soit 𝑓: 𝒪 → ℝ une fonction de classe 𝐶 2 . Soit 𝑎 ∈ 𝒪 un point critique
de 𝑓
i) Si (−1)𝑖 𝑀𝑖 (𝑎) > 0 ∀𝑖 ∈ {1, … , 𝑛}, alors 𝑓 atteint un maximum en 𝑎.
4
𝜆𝑡 2
= 𝑓 (𝑎 ) + + 𝑡 2 𝜀(𝑡)
2
Un cas particulier important est celui où la matrice ∇2 𝑓 (𝑎) ne possède pas de valeur propre
nulle (ce qui signifie que son déterminant est non nul). C’est-à-dire lorsque certaines valeurs
propres sont strictement négatives : On dit que 𝑎 est un point selle ou point col.
Au niveau des mineurs ce cas particulier se retrouve lorsque les mineurs principaux dominant
de ∇2 𝑓 (𝑎) vérifie 𝑀𝑛 (𝑎) ≠ 0 (dernier mineur principal dominant non nul) mais ne satisfait ni
la condition (i) ni la condition (ii) du Théorème 5.
Exercice 1
1) Montrer que 𝑓 (𝑥, 𝑦, 𝑧) = 𝑥 2 + 2𝑦 2 + 3𝑧 2 + 2𝑥𝑦 + 2𝑥𝑧 est strictement convexe
2) En déduire que ℎ(∙) = 100 − 𝑓(𝑥, 𝑦, 𝑧) est concave
Du local au global
Les résultats précédents permettent uniquement d’identifier des extréma locaux sur un ouvert
𝒪 les extréma globaux peuvent ne pas exister (c’est par exemple le cas d’une fonction 𝑓: ℝ →
ℝ telle que lim 𝑓 (𝑥 ) = +∞ et lim 𝑓 (𝑥 ) = −∞). Aussi si la fonction est définie sur un
𝑥→+∞ 𝑥→−∞
ensemble non ouvert, il faut aussi regarder comment elle se comporte sur le bord de son
domaine de définition pour savoir si les extréma globaux existent et s’ils font partie des extréma
locaux identifiés sur l’intérieur du domaine de définition.
Théorème 5
Soit 𝒪 un ouvert de ℝ𝑛 et 𝑓: 𝒪 → ℝ une fonction de classe𝐶 2 . Soit 𝑎 ∈ 𝒪.
i) Si 𝑎 minimise 𝑓 et que 𝑓 est strictement convexe alors 𝑓(𝑎) est l’unique minimum
global de 𝑓 (𝑖. 𝑒, 𝑓 (𝑎) < 𝑓(𝑥) ∀ 𝑥 ∈ 𝑂, 𝑥 ≠ 𝑎)
ii) Si 𝑎 maximise 𝑓 et que 𝑓 est strictement convexe alors 𝑓(𝑎) est l’unique maximum
global de 𝑓 (𝑖. 𝑒, 𝑓 (𝑎) > 𝑓(𝑥) ∀ 𝑥 ∈ 𝑂, 𝑥 ≠ 𝑎)
Preuve
On considère uniquement le second point, le premier pouvant se déduire en considérant la
fonction – 𝑓.
Si 𝑎 maximum globalement 𝑓 mais que 𝑎 n’est pas unique, alors il existe d’autres points
𝑎′ ≠ 𝑎 tels que : 𝑓(𝑎′ ) ≠ 𝑓(𝑎). Si on pose 𝑎𝑡 = 𝑡𝑎′ + (1 − 𝑡)𝑎, alors la stricte concavité
nécessite que :
𝑓 (𝑎𝑡 ) > 𝑡𝑓 (𝑎′ ) + (1 − 𝑡)𝑓(𝑎)∀ 𝑡 ∈ [0,1], parce que 𝑓 (𝑎′ ) = 𝑓(𝑎), ceci requiert que :
𝑓 (𝑎𝑡 ) > 𝑡𝑓 (𝑎′ ) + (1 − 𝑡)𝑓(𝑎), c’est-à-dire 𝑓 (𝑎1 ) > 𝑓(𝑎′). Ce qui est contradictoire au fait
que 𝑎’ est un maximum global∎
Théorème 6 : Conditions suffisantes pour un extremum global
Soient 𝒪 un ouvert de ℝ𝑛 et 𝑓: 𝒪 → ℝ une fonction de classe𝐶 2 . Soient 𝑎 ∈ 𝒪 et 𝑏 ∈ 𝒪.
5
i) si 𝑓 est strictement concave et ∇𝑓(𝑎) = 0 alors 𝑓 atteint un unique maximum global en
𝑎
ii) si 𝑓 est strictement convexe et ∇𝑓(𝑏) = 0 alors 𝑓 atteint un unique minimum global en
𝑏.
Exercice 2
1) Déterminer les points critiques de la fonction :
𝑓 : ℝ𝑛 → ℝ
(𝑥, 𝑦, 𝑧) → 𝑥 2 + 6𝑥𝑦 + 𝑦 2 − 3𝑦𝑧 + 4𝑧 2 − 10𝑥 − 5𝑦 − 21𝑧
2) Dire pour chacun des points critique s’il s’agit d’un maximum, un minimum ou un point
selle.
2- Optimisation sous contraintes
2.1- Extréma liés : conditions du premier ordre pour les contraintes d’égalité
Dans tout ce programme 𝒪 désignera un ensemble ouvert de ℝ𝑛 , et 𝑓 : 𝒪 → ℝ une fonction. On
souhaite alors trouver les extréma de la fonction 𝑓/𝑠 (restriction de 𝑓 à 𝑆) où 𝑆 est un sous-
ensemble de 𝒪 du type 𝑆 = {𝑥 ∈ 𝒪, ℎ1 (𝑥 ) = 0, ℎ2 (𝑥 ) = 0, … , ℎ𝑝 (𝑥 ) = 0}, pour des fonctions
ℎ𝑖 : 𝑓 : 𝒪 → ℝ données avec 1 ≤ 𝑖 ≤ 𝑝. 𝑆 est appelé l’ensemble des contraintes.
Définition 1
Soit 𝑓 : 𝒪 → ℝ, soit 𝑆 ⊂ 𝑂 un fermé de ℝ𝑛 , soit b 𝑎 ∈ 𝑆. On dit que :
i) 𝑎 est un minimum local de 𝑓 sur 𝑆 quand il existe 𝑟 > 0 tel que pour tout 𝑥 ∈ 𝑆 ∩
𝐵̅(𝑎, 𝑟), 𝑓(𝑎) < 𝑓 (𝑥 ) où 𝐵̅(𝑎, 𝑟) = {𝑥 ∈ ℝ𝑛 : ||𝑥 − 𝑎|| ≤ 𝑟}
ii) 𝑎 est un minimum global de 𝑓 sur 𝑆 quand pour tout 𝑥 ∈ 𝑆, 𝑓(𝑥 ) ≥ 𝑓(𝑎).
On définit un maximum local ou global en inversant le signe de l’inégalité entre 𝑓(𝑥 ) 𝑒𝑡 𝑓 (𝑎).
2.1.1- Cas d’une fonction de deux variables et d’une seule contrainte
Considérons le problème d’optimisation sous contrainte suivant :
max{𝑓 (𝑥1 , 𝑥2 )}
𝑆
𝐶 = {(𝑥1 , 𝑥2 ) ∈ ℝ2 : ℎ1 (𝑥1 , 𝑥2 ) = 0}
L’objectif ici est de trouver la courbe de niveau de la fonction 𝑓 correspondant à la valeur la
plus élevée et rencontrant le graphe de la contrainte 𝐶. Cela signifie que cette courbe de niveau
ne peut pas couper 𝐶 (sinon il existe une courbe de niveau plus élevée. La courbe de niveau à
valeur maximale doit donc être tangente à 𝐶 au point 𝑥 ∗ comme le montre la figure ci-dessous
6
Les deux courbes sont tangentes au point 𝑥 ∗ si et seulement si leurs pentes sont égales en ce
point. C’est-à-dire :
𝜕𝑓 𝜕𝑓 𝜕ℎ 𝜕ℎ 𝜕𝑓 𝜕ℎ 𝜕𝑓 𝜕ℎ
− 𝜕𝑥 ⁄𝜕𝑥 = − 𝜕𝑥1 ⁄𝜕𝑥1 ou − 𝜕𝑥 ⁄𝜕𝑥1 = − 𝜕𝑥 ⁄𝜕𝑥1 = 𝜆
1 2 1 2 1 1 2 2
𝜕ℎ1 𝜕ℎ1
Pour que ce raisonnement ait un sens il faut nécessairement que : ≠ 0 et ≠ 0. Ceci
𝜕𝑥1 𝜕𝑥2
conduit à la définition suivante :
Définition 2 (Condition de qualification de la contrainte)
La contrainte 𝑆 = {𝑥 ∈ 𝒪, ℎ1 (𝑥 ) = 0} est dite qualifiée en 𝑎 ∈ 𝑆 si l’une des deux conditions
est vérifiée :
i) ∇ℎ1 (𝑎) ≠ 0
ii) ℎ1 est linéaire
Théorème 7 : (Cas 𝒑 = 𝟏 ; 𝒏 = 𝟐)
Soit ℎ: 𝒪 → ℝ une fonction de classe 𝐶 1 et 𝑆 = {(𝑥, 𝑦) ∈ 𝒪: ℎ(𝑥, 𝑦) = 0}. Supposons
également que 𝑓 est de classe 𝐶 1 . Si (𝑥 ∗ , 𝑦 ∗ ) est un minimum local de 𝑓 sur 𝑆 et si ∇ℎ(𝑎) ≠ 0,
alors il existe un nombre réel 𝜆∗ tel que ∇𝑓(𝑎) = 𝜆∗ ∇ℎ(𝑎).
Preuve
Supposons par exemple 𝜕2 ℎ(𝑎) ≠ 0 (le cas 𝜕1 ℎ(𝑎) ≠ 0 se traite de façon similaire). Le
théorème des fonctions implicites assure l’existence de deux intervalles ouverts 𝐼 et 𝐽 tels que
(𝑥 ∗ , 𝑦 ∗ ) ∈ 𝐼 × 𝐽 ⊂ 𝒪 et d’une fonction 𝜙 : 𝐼 → 𝐽 et telle que :
Ainsi, 𝑥 ∗ est un minimum local de la fonction 𝑘: 𝐼 → ℝ définie par 𝑘(𝑥 ) = 𝑓(𝑥, 𝜙(𝑥)). Donc
nécessairement,
𝑘 ′ (𝑥 ∗ ) = 𝜕1 𝑓(𝑥 ∗ , 𝑦 ∗ ) + 𝜕2 𝑓(𝑥 ∗ , 𝑦 ∗ ) + 𝜙′(𝑥 ∗ ) = 0
∗ 𝜕 ℎ(𝑥 ∗,𝑦 ∗ )
Comme le théorème des fonctions implicites assure que 𝜙 ′(𝑥 ) = − 𝜕1ℎ(𝑥 ∗,𝑦 ∗ ), l’égalité
2
∗ ∗) ∗ ∗ ∗) ∗ 𝜕2 𝑓(𝑥 ∗,𝑦 ∗ )
précédente conduit à : 𝜕1 𝑓 (𝑥 , 𝑦 = 𝜆 𝜕1 ℎ(𝑥 , 𝑦 avec 𝜆 = 𝜕 ∗ ,𝑦 ∗ ) . De plus il est
2 ℎ(𝑥
immédiat que 𝜕2 𝑓 (𝑥 ∗ , 𝑦 ∗ ) = 𝜆∗ 𝜕2 ℎ(𝑥 ∗ , 𝑦 ∗ ) et donc le théorème est démontré∎
7
Remarque 4
(i) 𝜆∗ est appelé multiplicateur de Lagrange associé à la contrainte ℎ.
(ii) Comme pour le cas sans contraintes, les points (𝑥 ∗ , 𝑦 ∗ ) satisfaisant ∇ℎ(𝑥 ∗ , 𝑦 ∗ ) ≠ 0 et
∇ℎ(𝑥 ∗ , 𝑦 ∗ ) = 𝜆∗ ∇ℎ(𝑥 ∗ , 𝑦 ∗ ) pour un certain 𝜆∗ ne sont pas forcément des extrémums. Un travail
supplémentaire est nécessaire pour étudier la nature de ces points.
Interprétation du coefficient 𝝀∗
Supposons que le problème de minimisation de (𝑥, 𝑦) ↦ 𝑓(𝑥, 𝑦) sous contraintes 𝑐 (𝑥, 𝑦) = 𝑏
admette une solution (𝑥 ∗ (𝑏), 𝑦 ∗ (𝑏)) et que cette solution soit de casse 𝐶 1 par rapport à 𝑏. Soit
𝜆∗ (𝑏) le multiplicateur de Lagrange associé. On peut remarquer qu’en posant ℎ(𝑥, 𝑦) =
𝑐 (𝑥, 𝑦) − 𝑏, on se retrouve dans la situation du cours et que ∇ℎ(𝑥, 𝑦) = ∇𝐶 (𝑥, 𝑦) pour tout
(𝑥, 𝑦) ∈ 𝒪. Alors nous avons d’une part les égalités :
𝑑 𝑑𝑥 ∗ 𝑑𝑦 ∗
𝑓(𝑥 ∗ (𝑏), 𝑦 ∗ (𝑏)) = 𝜕1 𝑓(𝑥 ∗ (𝑏), 𝑦 ∗ (𝑏)) (𝑏) + 𝜕2 𝑓(𝑥 ∗ (𝑏), 𝑦 ∗ (𝑏)) (𝑏)
𝑑𝑏 𝑑𝑏 𝑑𝑏
𝑑𝑥 ∗ 𝑑𝑦 ∗
= 𝜆∗ (𝑏)𝜕1 ℎ(𝑥 ∗ (𝑏), 𝑦 ∗ (𝑏)) (𝑏) + 𝜆∗ (𝑏)𝜕2 ℎ(𝑥 ∗ (𝑏), 𝑦 ∗ (𝑏)) (𝑏)
𝑑𝑏 𝑑𝑏
Et d’autre part, en décrivant l’égalité 𝑐(𝑥 ∗ (𝑏), 𝑦 ∗ (𝑏) = 𝑏 par rapport à 𝑏 on obtient :
𝑑𝑥 ∗ 𝑑𝑦 ∗
1 = 𝜕1 𝑐(𝑥 ∗ (𝑏), 𝑦 ∗ (𝑏)) (𝑏) + 𝜕2 𝑐(𝑥 ∗ (𝑏), 𝑦 ∗ (𝑏)) (𝑏)
𝑑𝑏 𝑑𝑏
𝑑𝑥 ∗
On en déduire que : 𝜆∗ (𝑏) = 𝑓(𝑥 ∗ (𝑏), 𝑦 ∗ (𝑏))
𝑑𝑏
8
𝜕ℎ1 𝜕ℎ1 𝜕ℎ1
⋯
𝜕𝑥1 𝜕𝑥2 𝜕𝑥𝑛
𝜕ℎ2 𝜕ℎ2 𝜕ℎ2
𝐽𝐻 = 𝜕𝑥1 …
𝜕𝑥2 𝜕𝑥𝑛
⋮ ⋮ ⋮
𝜕ℎ𝑝 𝜕ℎ𝑝 ⋱ 𝜕ℎ𝑝
…
[ 𝜕𝑥1 𝜕𝑥2 𝜕𝑥𝑛 ]
Les points 𝑥 ∗ ∈ 𝑆 pour lesquels il existe des nombres réels 𝜆∗1 , … , 𝜆∗𝑝 tels que l’égalité
précédente soit vérifiée sont appelés points stationnaires du problème d’optimisation sous
contrainte.
Exemple
Trouver une solution au problème min
𝑚𝑖𝑛 (2𝑥 + 𝑦 ∶ 𝑥 2 + 𝑦 2 = 1)
La fonction objectif est 𝑓: (𝑥, 𝑦) ∈ ℝ2 → 2𝑥 + 𝑦 et la contrainte est : 𝑆 = {(𝑥, 𝑦) ∈
ℝ2 : ℎ, (𝑥, 𝑦) = 0} où ℎ, (𝑥, 𝑦) = 𝑥 2 + 𝑦 2 − 1
Existence d’une solution : 𝑓 est continue et 𝑆 est compact (fermé borné), donc d’après
Weierstrass. Le problème admet une solution.
Qualification : S est définie par une seule contraint d’égalité. Il suffit alors de vérifier que :
(∇ℎ, (𝑥, 𝑦)) est libre pour assurer que 𝑆 est qualifiée en (𝑥, 𝑦). Or une famille d’un seul vecteur
est libre si et seulement si ce vecteur est non nul. Or ∇ℎ, (𝑥, 𝑦) = (2𝑥, 2𝑦) ≠ 0 pour tout
(𝑥, 𝑦) ∈ 𝑆. Donc 𝑆 est bien qualifiée en tout point de 𝑆.
Conditions KKT. D’après le théorème des extrema liés, si (𝑥, 𝑦) ∈ 𝑆 est solution au problème
alors nécessairement il existe 𝜆1 ∈ 𝐼𝑅 tel que : ∇𝑓(𝑥, 𝑦) + 𝜆1 ∇ℎ1 (𝑥, 𝑦) = 0. On a :
2 2𝑥
∇𝑓 (𝑥, 𝑦) = ( ) et ∇ℎ1 (𝑥, 𝑦) = ( )
1 2𝑦
L’équation KKT s’écrit donc ici par : il existe 𝜆 tel que :
2 + 𝜆(2𝑥) = 0
{
1 + 𝜆(2𝑦) = 0
En particulier, 𝜆 ≠ 0 et comme, par ailleurs (𝑥, 𝑦) ∈ 𝑆 (c’est-à-dire 𝑥 2 + 𝑦 2 = 1) on obtient
le système d’équations suivant :
9
2𝑦 = 𝑥
{
𝑥 + 𝑦2 = 1
2
Qui a pour solution (2,1)/√5 et − (2,1)/√5. On sait donc que les solutions au problème sont
parmi ces deux points grâce au théorème des extrema liés. On calcul ensuite les valeurs prises
par k fonction objectif en ces deux points identifiés par la condition KKT :
2 1 2 1
𝑓( , ) = √5 et 𝑓 (− , ) = −√5
√5 √5 √5 √5
Le lien entre le Lagrangien et le problème d’optimisation sous contrainte est expliqué dans la
proposition suivantes :
Proposition 1
Un point 𝑥 ∗ ∈ ℝ𝑛 est un point stationnaire pour le problème 𝒫 si et seulement s’il existe 𝜆∗ ∈
ℝ𝑝 tel que (𝑥 ∗ , 𝜆∗ ) soit un point critique du Lagrangien (c’est-à-dire tel que ∇ℒ(𝑥 ∗ , 𝜆∗ ) = 0
Preuve
Un point (𝑥 ∗ , 𝜆∗ ) est un point critique du Lagrangien si et seulement si :
𝜕ℒ 𝑝
(𝑥 ∗ , 𝜆∗ ) = ℎ𝑖 (𝑥 ∗ ) = 0, (1 ≤ 𝑖 ≤ 𝑛) et ∇𝑥 𝑓(𝑥 ∗ ) − ∑𝑖=1 𝜆𝑖 ℎ𝑖 (𝑥 ∗ ) = 0
𝜕𝜆𝑖
On voit donc que (𝑥 ∗ , 𝜆∗ ) est un point critique du Lagrangien si et seulement si 𝑥 ∗ est un point
stationnaire du problème 𝒫, associé au vecteur des multiplicateurs de Lagrange 𝜆∗ .
Théorème 9
On suppose la fonction 𝑓 convexe (resp. concave) et de classe 𝐶 1 . Soient 𝐴 une matrice de taille
(𝑝, 𝑛) et de rang 𝑝 et 𝑏 un vecteur de ℝ𝑛 . Si 𝑥 ∗ est un point stationnaire du problème
d’optimisation de 𝑓 sous la contrainte 𝐴𝑥 = 𝑏, alors 𝑥 ∗ est minimum (resp. maximum) global
pour ce problème.
Preuve
On considère le cas convexe. Soient 𝜆∗ le multiplicateur de Lagrange associé à 𝑥 ∗ et g la
fonction définie sur O par :
10
𝑔(𝑥 ) = ℒ(𝑥, 𝜆∗ ) = 𝑓 (𝑥 ) − (𝜆∗ )𝑇 (𝐴𝑥 − 𝑏).
Alors g est une fonction convexe (en tant que somme de fonction convexes) et 𝑥 ∗ est un point
critique de g. d’après le résultat de l’optimisation sans contrainte des foncions convexes, 𝑥 ∗ est
un minimum global de g. comme on a l’égalité 𝑔(𝑥 ) = 𝑓(𝑥) si 𝐴𝑥 = 𝑏, on en déduit que 𝑥 ∗ est
minimum global de f sous la contrainte 𝐴𝑥 + 𝑏. Le cas concave se déduit en posant 𝑓 ′ = −𝑓.
Théorème 10
On suppose que 𝑓, ℎ1 , … , ℎ𝑝 sont des fonctions à valeurs réelles et de classe 𝐶 1 sur un ouvert 𝒪
de ℝ𝑛 et que l’ensemble des contraintes 𝑆 = {𝑥 ∈ 𝑂 ∶ ℎ1 (𝑥 ) = 0, … , ℎ𝑝 (𝑥) = 0} est un
compact de ℝ𝑛 . Alors le problème d’optimisation sous contrainte admet un minimum global et
un maximum global.
Remarque 6
Si 𝒪 = ℝ𝑛 , il suffit juste de montrer que 𝑆 est un sous-ensemble borné deℝ𝑛 . En effet 𝑆 est
un fermé de 𝑉 : si (𝑥𝑛 ) est une suite de 𝑆 telle que lim 𝑥𝑛 = 𝑥, la continuité des fonctions
𝑛→+∞
ℎ𝑖 (1 ≤ 𝑖 ≤ 𝑝) assure que ℎ𝑖 (𝑥 ) = 0 ∀ 0 ≤ 𝑖 ≤ 𝑝 et donc que 𝑥 est dans 𝑆.
2.2- Extrema liés : Conditions suffisantes du second ordre pour des contraintes
d’égalité
Définition 6
Soit ℒ le Lagrangien associé au programme d’optimisation sous contraintes 𝒫. On note
∇2𝑥𝑥 ℒ(𝑥, 𝜆). La matrice Hessienne par rapport à x et pour 𝛌 fixé c’est-à-dire :
𝜕11 ℒ(𝑥, 𝜆) … 𝜕1𝑛 ℒ(𝑥, 𝜆)
∇2𝑥𝑥 ℒ (𝑥, 𝜆) =[ ⋮ ⋮ ⋮ ].
𝜕𝑛1 ℒ(𝑥, 𝜆) … 𝜕𝑛𝑛 ℒ(𝑥, 𝜆)
Les conditions suffisantes ou du deuxième ordre permettant de déterminer s’il s’agit d’un
maximum ou d’un minimum reposent sur le calcul des mineurs de la matrice hessienne bordée
suivante :
𝟎𝒑 𝑱𝒉
( 𝑻 𝟐
)
𝑱𝒉 𝛁𝒙𝒙 𝓛(𝒙, 𝝀)
Où 𝑱𝒉 représente la matrice jacobienne formée par les ℎ𝑖 et 𝟎𝒑 représente la matrice nulle de
ℳ𝑝 (ℝ).
𝜕2ℒ
Notons le mineur principal qui contient 𝜕𝑥 2 comme dernier élément de la diagonale principale
1
𝜕 2ℒ
par |𝑴𝟏 |. |𝑴𝟐 | correspond au mineur principal qui contient 𝜕𝑥 2 comme dernier élément de la
2
diagonale principale et ainsi de suite. La condition suffisante pour l’existence d’un minimum
ou d’un maximum dépend des signes des mineurs principaux |𝑴𝒌+𝟏 |, |𝑴𝒌+𝟐 |, … , |𝑴𝒏 | =
𝟐
|𝛁𝒙𝒙 𝓛(𝒙, 𝝀)|.
Mentionnons qu’il existe au moins une contrainte (𝑘 ≥ 1) et que, par conséquent, |𝑴𝟏 |
n’intervient jamais dans les calculs. La condition suffisante pour l’existence d’un extremum
est donnée dans théorème suivant :
11
Théorème 12
La fonction 𝑓 soumise aux contraintes ℎ1 , … , ℎ𝑝 admet :
(i) Un maximum au point candidat si les mineurs principaux sont de signe alterné, le
signe de |𝑴𝒌+𝟏 | étant celui de(−1)𝑘+1 ,
(ii) Un minimum si les mineurs principaux |𝑴𝒌+𝟏 |, |𝑴𝒌+𝟐 |, … , |𝑴𝒏 | sont de même signe,
celui de (−1)𝑘
Exercice
3- Extrema liés conditions du premier ordre pour des contraintes mixtes (théorème
et condition de Karush-Kuhn-Tucker (KKT))
Dans cette section on donne le théorème de KKT qui est une généralisation du théorème des
extrema liés au cas d’un ensemble de contrainte K défini par des contraintes d’égalité et des
contraintes d’inégalité. C’est-à-dire on étudie les problèmes de la forme.
𝒫 min 𝑓(𝑥)
𝑥∈𝐾
(ii) 𝜇𝑗 ≥ 0 ∀ 𝑗 = 1, … , 𝑙
(iii) 𝜇𝑗 ℎ𝑗 (𝑎) = 0 ∀ 𝑗 = 1, … , 𝑙
Définition 7
On dit que la contrainte 𝐾 du problème 𝒫 satisfait la condition de Mangasarian-Fromovitz en
un point 𝑎 ∈ 𝐾 quand :
(i) La famille (∇𝑔𝑖 (𝑎), … , ∇𝑔𝑟 (𝑎) est une famille libre de vecteur de ℝ𝑛
(ii) On note 𝑗(𝑎) = {𝑗 ∈ {1, … , 𝑙 }: ℎ𝑗 (𝑎) = 0}. Si 𝐽(𝑎) ≠ ∅ alors il existe un 𝑈 ∈ ℝn tel que :
12
Proposition 2
Soit K la contrainte définie pour le problème 𝒫 ci-dessus. Soit 𝑎 ∈ 𝐾. On suppose que K
satisfait la condition de Mangasarian-Fromovitz en a : Alors K est qualifiée en a.
Définition 8 (Contraintes affines ou localement affines (QC-A)
Définition 9
Soit K la contrainte définie comme celle du problème 𝒫 et 𝑎 ∈ 𝐾. On dit que 𝑎 vérifie les
conditions KKT quand il existe 𝜆1 … 𝜆𝑟 ∈ ℝ et et 𝜇1 , … , 𝜇𝑙 ∈ ℝ tels que :
(i) ∇𝑓(𝑎) + ∑𝑟𝑖=1 𝜆𝑖 𝛻𝑔𝑖 (𝑎) + ∑𝑙𝑗=1 𝜇𝑗 𝛻ℎ𝑗 (𝑎) = 0
(ii) 𝜇𝑗 ≥ 0 ∀ 𝑗 = 1, … , 𝑙
(iii) 𝜇𝑗 ℎ𝑗 (𝑎) = 0 ∀ 𝑗 ∈ {1, … , 𝑙 }
Proposition 4
Soit 𝐾 une contrainte de la forme de celle de la définition ci-dessus où 𝑔1 … 𝑔𝑟 : 𝑈 → ℝ sont
des fonctions affines et ℎ1 , … , ℎ𝑙 : 𝑈 → ℝ sont des fonctions de classe 𝐶 1 et convexes. Si la
condition de Stater est satisfaite alors la contrainte 𝐾 est qualifiée.
La condition (ii) est appelée condition dual feasability et la condition (iii) est appelée
complementary condition.
13
Méthodologie pour résoudre un problème d’optimisation différentiable grâce au
théorème de KKT
On peut systématiser l’application du théorème de KKT pour la résolution de problème sous
contrainte de la forme du problème 𝒫. On donne ici les étapes :
0) On vérifie que les fonctions 𝑓, 𝑔1 , … , 𝑔𝑟 ℎ1 , … , ℎ𝑙 sont bien de classe C1.
1) Preuve de l’existence d’une solution
2) On cherche les points de K où la contrainte n’y est pas qualifiée. On note par 𝐸1 ⊂ 𝐾 cet
ensemble.
3) On cherche les points de K vérifiant la condition KKT. On note par 𝐸2 ⊂ 𝐾 cet ensemble.
4) Par le théorème de KKT, si 𝒫 a une solution alors nécessairement elle est dans 𝐸1 ∪ 𝐸2 .
5) On évalue f en tous les points de 𝐸1 ∪ 𝐸2 pour identifier celui ou ceux qui minimise f.
Exemple :
Trouver les solutions au problème d’optimisation sous contrainte.
𝒫: min (𝑥 + 2𝑦 + 3𝑧 ∶ 𝑥 2 + 𝑦 2 + 𝑧 2 = 1 ; 𝑥 + 𝑦 + 𝑧 ≤ 0)
On pose des notations afin d’identifier la fonction objectif et la contrainte : pour tout (𝑥, 𝑦, 𝑧) ∈
ℝ3
𝑓 (𝑥, 𝑦, 𝑧) = 𝑥 + 2𝑦 + 3𝑧 ; 𝑔1 (𝑥, 𝑦, 𝑧) = 𝑥 2 + 𝑦 2 + 𝑧 2 − 1 et ℎ1 (𝑥, 𝑦, 𝑧) = 𝑥 + 𝑦 + 𝑧
La fonction objectif est donnée par f et la contrainte est 𝐾 = {𝑎 ∈ ℝ3 : 𝑔1 (𝑎) = 0, ℎ1 (𝑎) ≤ 0}
1) K est compact (en tant qu’intersection de deux fermé dont l’un est borné) et f est continue,
donc 𝒫 admet au moins une solution
On rappelle que 𝐽(𝑎) = {𝑗: ℎ𝑗 (𝑎) = 0} si 𝐽(𝑎) = 𝛷 alors la seconde condition de Mangasarian-
Fromovitz est vérifiée. Sinon 𝐽(𝑎) ≠ 𝛷 et comme il n’y a qu’une seule contrainte d’inégalité,
on a forcément 𝐽(𝑎) = {1} et donc ℎ1 (𝑎) = 0, c’est-à-dire 𝑥 + 𝑧 + 𝑦 = 0. Pour 𝑣 =
(−1, −1, −1), on a : 〈∇𝑔, (𝑎), 𝑣〉 = −2(𝑥 + 𝑦 + 𝑧) = 0 et 〈∇h, (𝑎), 𝑣〉 = −3 < 0
Donc la deuxième condition de Mangasarian-Fromovitz est vérifiée dans tous les cas. On en
déduit que K est qualifiée en a et comme ceci est vraie pour tout 𝑎 ∈ 𝐾, on a montré que K est
qualifiée. Autrement dit, l’ensemble 𝐸1 induit dans la méthodologie ci-dessus est vide.
3) On cherche des points 𝑎 = (𝑥, 𝑦, 𝑧) ∈ 𝐾 vérifiant les conditions KKT. Soit 𝑎 = (𝑥, 𝑦, 𝑧) ∈
𝐾. Si a vérifie les conditions KKT alors il existe 𝜆1 𝑒𝑡 𝜇1 ∈ ℝ tels que
14
1 2𝑥 1 0
a. (2) + 𝜆1 (2𝑦) + 𝜇1 (1) = (0)
3 2𝑧 1 0
b. 𝜇1 ≥ 0
c. 𝜇1 ℎ1 (𝑎) = 0
En ajoutant la contrainte que 𝑎 ∈ 𝐾 au condition KKT, on veut résoudre le système d’équation
suivant :
1 + 2𝜆1 𝑥 + 𝜇1 = 0
2 + 2𝜆1 𝑦 + 𝜇1 = 0
3 + 2𝜆1 𝑧 + 𝜇 = 0
𝜇1 ≥0
(
𝜇1 𝑥, 𝑦, 𝑧 ) =0
2 2 2
𝑥 +𝑦 +𝑧 =0
{ 𝑥+𝑦+𝑧 ≤0
On a forcément 𝜆1 ≠ 0 car 𝜇1 ≥ 0 et sinon les 3 premières équations ne pourrait pas être
vérifiées. On a alors en réécrivant ces 3 équations :
−𝜇1 −1 −𝜇1−2 −𝜇1−3
𝑥= ; y= ; 𝑧= (1)
2𝜆1 2𝜆1 2𝜆1
√14 √14
Mais pour 𝜆1 = − on a 𝑥 + 𝑦 + 𝑧 > 0. Donc forcément 𝜆1 = alors le seul point
2 2
vérifiant la condition de KKT est :
−1 −2 −3
, ,
√14 √14 √14
5) Comme on sait que le problème admet au moins une solution et qu’il n’ y a qu’un seul point
vérifiant les conditions KKT et que la contrainte est qualifiée, c’est forcément cet unique point
qui est solution à 𝒫. Cette solution est unique vu qu’il n’y a qu’un seul point satisfaisant les
conditions KKT et pas de problème de qualification.
Théorème 14 (Théorème de l’optimalité)
Considérons le problème de maximisation suivant :
ℳ: max 𝑓 (𝑥, 𝑎) 𝑠. 𝑡. 𝐾
15
𝑔1 (𝑥, 𝑎) = ⋯ = 𝑔𝑟 (𝑥, 𝑎) = 0
𝐾 = {𝑥 ∈ 𝑂 ∶ }
ℎ1 (𝑥, 𝑎) ≤ 0, … , ℎ𝑒 (𝑥, 𝑎) ≤ 0
Supposons que pour chaque a, il existe une solution 𝑥 ∗ (𝑎) au problème 𝓜. Alors pour ce
vecteur de paramètre a, la valeur maximale de la fonction objectif f est 𝑓(𝑥 ∗ (𝑎), 𝑎). Ceci définie
une nouvelle fonction, 𝑣 (𝑎), appelée la fonction de valeur. Formellement on note : 𝑉 (𝑎) =
𝑚𝑎𝑥𝑓(𝑥. 𝑎)
𝑔1 (𝑥, 𝑎) = ⋯ = 𝑔𝑟 (𝑥, 𝑎) = 0
𝑠. 𝑐 𝐾 = {𝑥 ∈ 𝑂 ∶ }
ℎ1 (𝑥, 𝑎) ≤ 0, … , ℎ𝑒 (𝑥, 𝑎) ≤ 0
16