0% ont trouvé ce document utile (0 vote)
2 vues17 pages

Cours Optimisation

Transféré par

assena2005
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd
0% ont trouvé ce document utile (0 vote)
2 vues17 pages

Cours Optimisation

Transféré par

assena2005
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

Université Polytechnique de Bingerville

Licence 2 SEA

OPTIMISATION STATIQUE

Diomandé Lanciné
Email: diomandelancine202@[Link]
1- Optimisation des fonctions de plusieurs variables
1.1- Optimisation sans contraintes
1.1.1- Extréma sans contraintes
Définition 1
i) Soit 𝒪 un ensemble ouvert de ℝ𝑛 , 𝑎 ∈ 𝒪 est un minimum local (resp. minimum local
strict) de 𝑓 si il existe un réel 𝑟 > 0 tel que pour tout 𝑥 ∈ 𝒪\{𝑎}, on ait
‖𝑥 − 𝑎‖ ≤ 𝑟 ⇒ 𝑓(𝑥) ≥ (resp. >)𝑓(𝑎)
ii) On dit que 𝑎 ∈ ℝ𝑛 est un maximum local (resp. maximum local strict) de 𝑓 s’il existe un
réel 𝑟 > 0 tel que pour tout 𝑥 ∈ 𝒪\{𝑎}, on ait :
‖𝑥 − 𝑎‖≥ 𝑟 ⇒ 𝑓(𝑥) ≤ (resp. <)𝑓(𝑎)

iii) On dit que 𝑎 est un extrémum local si 𝑎 est un minimum local ou bien un
maximum local.
iv) Lorsque ∀ 𝑥 ∈ 𝒪\{𝑎}, 𝑓(𝑥) ≥ 𝑓(𝑎) (resp. > 𝑓 (𝑎), ≤ 𝑓(𝑎), < 𝑓(𝑎), on dira que 𝑎 est un
minimum global (resp. minimum global strict, maximum global, maximum global strict).
Remarque 1
La fonction atteint un maximum local en 𝑎 s’il existe un réel 𝑟 > 0 tel que 𝑓(𝑎) ≥
𝑓 (𝑥 ), ∀ 𝑥 𝜖 𝐵𝑟 (𝑎). Il y a un maximum global en a si 𝑓 (𝑎) ≥ 𝑓(𝑥 ) ∀ 𝑥 ∈ 𝒪. Il existe un unique
maximum local (global) en 𝑎 s’il existe 𝑟 > 0 tel que 𝑓(𝑎) > 𝑓 (𝑥 ) ∀ 𝑥 𝜖 𝐵𝑟 (𝑎)( ∀ 𝑥 ∈
𝒪 ), 𝑥 ≠ 𝑎.
De façon similaire, un minimum local (global) est atteint en 𝑏 ssi
𝑓 (𝑏) ≤ 𝑓(𝑥 ) ∀ 𝑥 𝜖 𝐵𝑟 (𝑏)( ∀ 𝑥 𝜖 𝑂), 𝑥 ≠ 𝑏. Ce minimum est unique si l’inégalité est stricte.
1.1.2- Extremum local sans contrainte : condition de premier ordre
Théorème 1
Soit 𝒪 un ouvert de ℝ𝑛 et 𝑓: 𝒪 → ℝ une fonction de classe 𝐶 1 . Soit 𝑎 ∈ 𝒪 un extrémum local
de 𝑓, alors le gradient de 𝑓 au point 𝑎 est nul :
∇𝑓 (𝑎) = 0
Preuve
La preuve utilise le résultat connu pour les fonctions à une variable réelle. Soit 𝑈 𝜖 ℝ𝑛 et 𝐷 =
{𝑡 𝜖 ℝ: 𝑎 + 𝑡𝑢 ∈ 𝒪}. Considérons la fonction 𝑔: 𝐷 → ℝ définie par 𝑔(𝑡) = 𝑓(𝑎 + 𝑡𝑢). On sait
que 𝒪 est un extrémum local de 𝑔 et que 0 appartient forcément à un intervalle ouvert inclus
dans 𝐷. On a donc 𝑔’(0) = 0, ce qui s’écrit aussi :
𝑛

∑ 𝜕𝑖 𝑓(𝑎)𝑢𝑖 = 0
𝑖=1

1
Soit 𝑖 ∈ {1, … , 𝑛}. En prenant 𝑢𝑖 = 1 𝑒𝑡 𝑢𝑗 = 0 𝑠𝑖 𝑖 ≠ 𝑗, l’égalité précédente devient
𝜕𝑖 𝑓(𝑎) = 0. Comme 𝑖 est arbitraire, on a bien montré que toutes dérivées partielles (donc le
gradient), s’annulent.
Remarque 2
i) Considérons le cas 𝑛 = 2. L’annulation du gradient correspond à l’annulation de toutes
les dérivées partielles. Ainsi le théorème 2 exprime que si 𝑎 est un extrémum local alors
le plan tangent au graphe de 𝑓 au point (𝑎, 𝑓(𝑎)) a pour équation 𝑧 = 𝑓(𝑎). Le plan
tangent est donc parallèle au plan 0𝑥𝑦, ce qui est assez intuitif.

ii) Le théorème 2 ne donne qu’une condition nécessaire d’existence d’un extrémum local.
Cette condition n’est pas suffisante : on peut très bien avoir un gradient nul en un point
sans que ce point soit un extrémum local, comme le montre l’exemple de la fonction
d’une variable réel 𝑥 ↦ 𝑥 3 en 0.

iii) Ce résultat ne s’applique pas lorsque la fonction est définie sur un ensemble qui n’est pas
ouvert : la fonction 𝑓: [0,1] → ℝ définie par 𝑓 (𝑥) = 𝑥 admet 0 pour minimum global et
1 pour maximum global sans que la dérivée ne s’annule en ces points.

iv) Le point a pour lequel ∆𝑓 (𝑎) = 0 est appelé point critique ou point stationnaire de 𝑓.
Exemple 1
On demande de déterminer les potentiels extréma de la fonction 𝑓 (𝑥, 𝑦) = 𝑥 3 − 𝑦 3 + 9𝑥𝑦.
On commence par calculer les dérivées premières partielles et on les égalise à zéro.
𝜕𝑓 𝜕𝑓
= 3𝑥 2 + 9𝑦 = 0 et = −3𝑦 2 + 9𝑥 = 0
𝜕𝑥 𝜕𝑥
1
La première équation donne 𝑦 = − 3 𝑥 2 . En substituant dans la seconde équation on obtient.

1 2 2 1
0 = −3𝑦 + 9𝑥 = −3 (− 𝑥 ) + 9𝑥 = − 𝑥 4 + 9𝑥
2
3 3
Cette équation peut être réécrite :
27𝑥 − 𝑥 4 = 𝑥(27 − 𝑥 3 ) = 0
dont les solutions sont : 𝑥 = 0 et 𝑥 = 3. En substituant ces solutions dans l’équation
1
𝑦 = − 3 𝑥 2 on obtient 𝑦 = 0 et 𝑦 = −3. Les solutions recherchées sont donc les points (0, 0)
et (3, 3).
A ce stade on peut conclure que les seuls candidats pour un maximum ou un minimum local
sont les points (0, 0) et (3, −3).

2
1.1.3- Optimisation sans contrainte : Les conditions suffisantes du second ordre
Rappel
Soit 𝑓: 𝒪 → ℝ une fonction définie sur un ouvert 𝒪 ⊂ ℝ𝑛 de classe 𝐶 2 . On appelle matrice
Hessienne de 𝑓 la matrice des dérivées seconde de 𝑓.

𝜕2𝑓 𝜕2𝑓
(∗) ⋯
𝜕𝑥12 𝜕𝑥𝑛 𝜕𝑥1
∆2 𝑓 (. ) = ⋮ ⋱ ⋮
𝜕2𝑓 𝜕2𝑓
[ 𝜕𝑥1𝜕𝑥𝑛 … ]
𝜕𝑥𝑛 2

Théorème 2
Soit 𝒪un ouvert de ℝ𝑛 . Soit 𝑓: 𝒪 → ℝ une fonction de classe𝐶 2 . Soit𝑎 ∈ 𝒪. On a les deux
propriétés suivantes :
i) (CN) Si 𝑎 est un minimum local de f alors ∇𝑓(𝑎) = 0 et ∇2 𝑓 (𝑎) ≥ 0
ii) (CS) Si ∇𝑓(𝑎) = 0 et ∇2 𝑓 (𝑎) > 0 alors 𝑎 est un minimum local de 𝑓.
Preuve
i) Soit 𝑎 un minimum local de 𝑓. On sait d’après la condition du premier ordre que
nécessairement ∇𝑓(𝑎) = 0. Par ailleurs, d’après la formule de Taylor-Young quand
ℎ → 0,
1
𝑓 (𝑎 + ℎ) = 𝑓 (𝑎) + 〈∇𝑓(𝑎), ℎ〉 + ℎ𝑇 ∇2 𝑓 (𝑎)ℎ + 0 (‖ℎ‖22 )
2
Mais ∇𝑓(𝑎) = 0 et 𝑎 un minimum local. Donc si on prend 𝑣 ∈ ℝ𝑛 , alors pour un certain
1
𝑡0 > 0, on aura pour 0 < 𝑡 ≤ 𝑡0 et 𝑡 → 0, 2 (𝑡𝑣)∇2 𝑓 (𝑎)(𝑡𝑣) + 0(‖ℎ‖22 ) ≥ 0. C’est-à-dire
𝑣 𝑇 ∇2 𝑓(𝑎)𝑣 ≥ 0 donc ∇2 𝑓 (𝑎) ≥ 0.
ii) Supposons que ∇𝑓(𝑎) = 0 et ∇2 𝑓 (𝑎) > 0 d’après la formule de Taylor-Young, quand
ℎ → 0,
1 1 ℎ 𝑇 ℎ
𝑓(𝑎 + ℎ ) − 𝑓(𝑎) = 〈∇𝑓 (𝑎), ℎ 〉 + 2 ℎ 𝑇 ∇2 𝑓(𝑎 )ℎ + 0 (‖ℎ ‖22 )‖ℎ ‖22 (2 (‖ℎ‖ ) ∇2 𝑓 (𝑎) (‖ℎ‖ ) + 𝜊(1))
2 2

Par ailleurs, 𝑣 𝑇 ∇2 𝑓 (𝑎)𝑣 > 0 pour tout 𝑣 𝜖 𝑆2𝑛−1 où 𝑆2𝑛−1 = {𝑣 ∈ ℝ𝑛 : ‖𝑣‖ 2 = 1} est la
sphère Euclidienne de ℝ𝑛 . Or 𝑆2𝑛−1 est compact (c’est un fermé borné de ℝ𝑛 ) et
𝑣 → 𝑣 𝑇 ∇2 𝑓 (𝑥 )𝑣 est continue donc
𝑖𝑛𝑓𝑣 ∈ 𝑆2𝑛−1 𝑣 𝑇 𝛻 2 𝑓(𝑥 )𝑣 = 𝜎0 > 0,
𝜎0
𝑓 (𝑎 + ℎ) − 𝑓 (𝑎) ≥ ‖ℎ‖22 ( + 𝜊(1))
2

3
Par définition de 𝜊(1), il existe 𝜀 > 0 tel que pour tout ℎ ∈ ℝ𝑛 tel que||ℎ||2 ≤ 𝜀, on a
𝜊(1) ≤ 𝜎0 /4. Alors, pour tout ℎ ∈ 𝐵̆𝜀 (0), on a 𝑓(𝑎 + ℎ) − 𝑓(𝑎) ≥ 0. Donc 𝑎 est bien un
minimum local de 𝑓∎
Théorème 3
Soit 𝑎 un point critique de 𝑓: 𝒪 → ℝ où 𝒪 est un ouvert de ℝ𝑛 .
i) Si la matrice Hessienne ∇2 𝑓 (𝑎) induit une forme quadratique définie positive.
(𝑖. 𝑒 ℎ𝑇 ∇2 𝑓 (𝑎)ℎ > 0 ∀ℎ ≠ 0), alors 𝑎 est un minimum local strict de 𝑓.

ii) Si la matrice Hessienne ∇2 𝑓(𝑎) induit une forme quadratique définie négative
(𝑖. 𝑒 ℎ𝑇 ∇2 𝑓 (𝑎)ℎ < 0, ∀ ℎ ≠ 0) alors 𝑎 est un maximum local strict de 𝑓.
Preuve : Idem que la preuve du théorème 3∎
On peut aussi utiliser le critère sur les mineurs de la matrice Hessienne ∇2 𝑓(𝑎) qui évite le
calcul de valeurs propres.
Théorème 4 : (Rappel)
Soit 𝒪un ouvert de ℝ𝑛 une fonction de classe𝐶 2 . Soit 𝑎 un élément 𝒪 soit 𝑀𝑖 (𝑎) le iième mineur
principal de la matrice Hessienne ∇2 𝑓(𝑎).
i) Si (−1)𝑖 𝑀𝑖 (𝑎) > 0 ∀𝑖 ∈ {1, … , 𝑛}, alors ∇2 𝑓 (𝑎) est définie négative

ii) Si 𝑀𝑖 (𝑎) > 0 ∀𝑖 ∈ {1, … , 𝑛}, alors ∇2 𝑓(𝑎) est définie positive.

iii) Si les conditions (i) et (ii) se vérifient au sens large, on ne peut pas conclure
Si la condition (i) tient pour tout 𝑥 ∈ 𝒪, alors 𝑓 est strictement concave. Si la condition (ii)
tient pour tout 𝑥 ∈ 𝒪, alors 𝑓 est strictement concave
Conséquence 1
Soit 𝒪 un ouvert de ℝ𝑛 . Soit 𝑓: 𝒪 → ℝ une fonction de classe 𝐶 2 . Soit 𝑎 ∈ 𝒪 un point critique
de 𝑓
i) Si (−1)𝑖 𝑀𝑖 (𝑎) > 0 ∀𝑖 ∈ {1, … , 𝑛}, alors 𝑓 atteint un maximum en 𝑎.

ii) Si 𝑀𝑖 (𝑎) > 0 ∀𝑖 ∈ {1, … , 𝑛}, alors 𝑓 atteint un minimum en 𝑎.


Remarque 3
Si pour tout point critique 𝑎 ∈ 𝒪, la matrice Hessienne ∇2 𝑓(𝑎) possède une valeur propre
strictement positive et une autre strictement négative alors 𝑎 n’est pas un extrémum local. En
effet en considérant un vecteur propre 𝑣 de norme 1 associé à la valeur propre 𝜆 on peut montrer
que la fonction d’une variable réelle 𝑔: 𝑡 → 𝑓(𝑎 + 𝑡𝑣) admet un minimum (resp. maximum
local strict si 𝜆 > 0 (resp. < 0). Pour le voir, il suffit d’écrire le 𝑑𝑙 de 𝑔 à l’ordre 2 au voisinage
de 0
1 1
𝑓 (𝑎 + 𝑡𝑣) = 𝑔𝑡 = 𝑔(0) + 𝑔′ (0)𝑡 + 𝑔′′ (0)𝑡 2 + 𝑡 2 𝜀(𝑡) = 𝑓 (𝑎) + 𝑣 𝑇 ∇2 𝑓 (𝑎)𝑣𝑡 2 + 𝑡 2 𝜀(𝑡)
2 2

4
𝜆𝑡 2
= 𝑓 (𝑎 ) + + 𝑡 2 𝜀(𝑡)
2

Un cas particulier important est celui où la matrice ∇2 𝑓 (𝑎) ne possède pas de valeur propre
nulle (ce qui signifie que son déterminant est non nul). C’est-à-dire lorsque certaines valeurs
propres sont strictement négatives : On dit que 𝑎 est un point selle ou point col.
Au niveau des mineurs ce cas particulier se retrouve lorsque les mineurs principaux dominant
de ∇2 𝑓 (𝑎) vérifie 𝑀𝑛 (𝑎) ≠ 0 (dernier mineur principal dominant non nul) mais ne satisfait ni
la condition (i) ni la condition (ii) du Théorème 5.
Exercice 1
1) Montrer que 𝑓 (𝑥, 𝑦, 𝑧) = 𝑥 2 + 2𝑦 2 + 3𝑧 2 + 2𝑥𝑦 + 2𝑥𝑧 est strictement convexe
2) En déduire que ℎ(∙) = 100 − 𝑓(𝑥, 𝑦, 𝑧) est concave
Du local au global
Les résultats précédents permettent uniquement d’identifier des extréma locaux sur un ouvert
𝒪 les extréma globaux peuvent ne pas exister (c’est par exemple le cas d’une fonction 𝑓: ℝ →
ℝ telle que lim 𝑓 (𝑥 ) = +∞ et lim 𝑓 (𝑥 ) = −∞). Aussi si la fonction est définie sur un
𝑥→+∞ 𝑥→−∞
ensemble non ouvert, il faut aussi regarder comment elle se comporte sur le bord de son
domaine de définition pour savoir si les extréma globaux existent et s’ils font partie des extréma
locaux identifiés sur l’intérieur du domaine de définition.
Théorème 5
Soit 𝒪 un ouvert de ℝ𝑛 et 𝑓: 𝒪 → ℝ une fonction de classe𝐶 2 . Soit 𝑎 ∈ 𝒪.
i) Si 𝑎 minimise 𝑓 et que 𝑓 est strictement convexe alors 𝑓(𝑎) est l’unique minimum
global de 𝑓 (𝑖. 𝑒, 𝑓 (𝑎) < 𝑓(𝑥) ∀ 𝑥 ∈ 𝑂, 𝑥 ≠ 𝑎)

ii) Si 𝑎 maximise 𝑓 et que 𝑓 est strictement convexe alors 𝑓(𝑎) est l’unique maximum
global de 𝑓 (𝑖. 𝑒, 𝑓 (𝑎) > 𝑓(𝑥) ∀ 𝑥 ∈ 𝑂, 𝑥 ≠ 𝑎)
Preuve
On considère uniquement le second point, le premier pouvant se déduire en considérant la
fonction – 𝑓.
Si 𝑎 maximum globalement 𝑓 mais que 𝑎 n’est pas unique, alors il existe d’autres points
𝑎′ ≠ 𝑎 tels que : 𝑓(𝑎′ ) ≠ 𝑓(𝑎). Si on pose 𝑎𝑡 = 𝑡𝑎′ + (1 − 𝑡)𝑎, alors la stricte concavité
nécessite que :
𝑓 (𝑎𝑡 ) > 𝑡𝑓 (𝑎′ ) + (1 − 𝑡)𝑓(𝑎)∀ 𝑡 ∈ [0,1], parce que 𝑓 (𝑎′ ) = 𝑓(𝑎), ceci requiert que :
𝑓 (𝑎𝑡 ) > 𝑡𝑓 (𝑎′ ) + (1 − 𝑡)𝑓(𝑎), c’est-à-dire 𝑓 (𝑎1 ) > 𝑓(𝑎′). Ce qui est contradictoire au fait
que 𝑎’ est un maximum global∎
Théorème 6 : Conditions suffisantes pour un extremum global
Soient 𝒪 un ouvert de ℝ𝑛 et 𝑓: 𝒪 → ℝ une fonction de classe𝐶 2 . Soient 𝑎 ∈ 𝒪 et 𝑏 ∈ 𝒪.

5
i) si 𝑓 est strictement concave et ∇𝑓(𝑎) = 0 alors 𝑓 atteint un unique maximum global en
𝑎
ii) si 𝑓 est strictement convexe et ∇𝑓(𝑏) = 0 alors 𝑓 atteint un unique minimum global en
𝑏.

Exercice 2
1) Déterminer les points critiques de la fonction :
𝑓 : ℝ𝑛 → ℝ
(𝑥, 𝑦, 𝑧) → 𝑥 2 + 6𝑥𝑦 + 𝑦 2 − 3𝑦𝑧 + 4𝑧 2 − 10𝑥 − 5𝑦 − 21𝑧
2) Dire pour chacun des points critique s’il s’agit d’un maximum, un minimum ou un point
selle.
2- Optimisation sous contraintes
2.1- Extréma liés : conditions du premier ordre pour les contraintes d’égalité
Dans tout ce programme 𝒪 désignera un ensemble ouvert de ℝ𝑛 , et 𝑓 : 𝒪 → ℝ une fonction. On
souhaite alors trouver les extréma de la fonction 𝑓/𝑠 (restriction de 𝑓 à 𝑆) où 𝑆 est un sous-
ensemble de 𝒪 du type 𝑆 = {𝑥 ∈ 𝒪, ℎ1 (𝑥 ) = 0, ℎ2 (𝑥 ) = 0, … , ℎ𝑝 (𝑥 ) = 0}, pour des fonctions
ℎ𝑖 : 𝑓 : 𝒪 → ℝ données avec 1 ≤ 𝑖 ≤ 𝑝. 𝑆 est appelé l’ensemble des contraintes.
Définition 1
Soit 𝑓 : 𝒪 → ℝ, soit 𝑆 ⊂ 𝑂 un fermé de ℝ𝑛 , soit b 𝑎 ∈ 𝑆. On dit que :
i) 𝑎 est un minimum local de 𝑓 sur 𝑆 quand il existe 𝑟 > 0 tel que pour tout 𝑥 ∈ 𝑆 ∩
𝐵̅(𝑎, 𝑟), 𝑓(𝑎) < 𝑓 (𝑥 ) où 𝐵̅(𝑎, 𝑟) = {𝑥 ∈ ℝ𝑛 : ||𝑥 − 𝑎|| ≤ 𝑟}
ii) 𝑎 est un minimum global de 𝑓 sur 𝑆 quand pour tout 𝑥 ∈ 𝑆, 𝑓(𝑥 ) ≥ 𝑓(𝑎).
On définit un maximum local ou global en inversant le signe de l’inégalité entre 𝑓(𝑥 ) 𝑒𝑡 𝑓 (𝑎).
2.1.1- Cas d’une fonction de deux variables et d’une seule contrainte
Considérons le problème d’optimisation sous contrainte suivant :
max{𝑓 (𝑥1 , 𝑥2 )}
𝑆

𝐶 = {(𝑥1 , 𝑥2 ) ∈ ℝ2 : ℎ1 (𝑥1 , 𝑥2 ) = 0}
L’objectif ici est de trouver la courbe de niveau de la fonction 𝑓 correspondant à la valeur la
plus élevée et rencontrant le graphe de la contrainte 𝐶. Cela signifie que cette courbe de niveau
ne peut pas couper 𝐶 (sinon il existe une courbe de niveau plus élevée. La courbe de niveau à
valeur maximale doit donc être tangente à 𝐶 au point 𝑥 ∗ comme le montre la figure ci-dessous

6
Les deux courbes sont tangentes au point 𝑥 ∗ si et seulement si leurs pentes sont égales en ce
point. C’est-à-dire :
𝜕𝑓 𝜕𝑓 𝜕ℎ 𝜕ℎ 𝜕𝑓 𝜕ℎ 𝜕𝑓 𝜕ℎ
− 𝜕𝑥 ⁄𝜕𝑥 = − 𝜕𝑥1 ⁄𝜕𝑥1 ou − 𝜕𝑥 ⁄𝜕𝑥1 = − 𝜕𝑥 ⁄𝜕𝑥1 = 𝜆
1 2 1 2 1 1 2 2

𝜕ℎ1 𝜕ℎ1
Pour que ce raisonnement ait un sens il faut nécessairement que : ≠ 0 et ≠ 0. Ceci
𝜕𝑥1 𝜕𝑥2
conduit à la définition suivante :
Définition 2 (Condition de qualification de la contrainte)
La contrainte 𝑆 = {𝑥 ∈ 𝒪, ℎ1 (𝑥 ) = 0} est dite qualifiée en 𝑎 ∈ 𝑆 si l’une des deux conditions
est vérifiée :
i) ∇ℎ1 (𝑎) ≠ 0
ii) ℎ1 est linéaire
Théorème 7 : (Cas 𝒑 = 𝟏 ; 𝒏 = 𝟐)
Soit ℎ: 𝒪 → ℝ une fonction de classe 𝐶 1 et 𝑆 = {(𝑥, 𝑦) ∈ 𝒪: ℎ(𝑥, 𝑦) = 0}. Supposons
également que 𝑓 est de classe 𝐶 1 . Si (𝑥 ∗ , 𝑦 ∗ ) est un minimum local de 𝑓 sur 𝑆 et si ∇ℎ(𝑎) ≠ 0,
alors il existe un nombre réel 𝜆∗ tel que ∇𝑓(𝑎) = 𝜆∗ ∇ℎ(𝑎).
Preuve
Supposons par exemple 𝜕2 ℎ(𝑎) ≠ 0 (le cas 𝜕1 ℎ(𝑎) ≠ 0 se traite de façon similaire). Le
théorème des fonctions implicites assure l’existence de deux intervalles ouverts 𝐼 et 𝐽 tels que
(𝑥 ∗ , 𝑦 ∗ ) ∈ 𝐼 × 𝐽 ⊂ 𝒪 et d’une fonction 𝜙 : 𝐼 → 𝐽 et telle que :

{(𝑥, 𝑦) ∈ 𝐼 × 𝐽. ℎ(𝑥, 𝑦) = 0} = {(𝑥, 𝜙(𝑥 )): 𝑥 ∈ 𝐼}

Ainsi, 𝑥 ∗ est un minimum local de la fonction 𝑘: 𝐼 → ℝ définie par 𝑘(𝑥 ) = 𝑓(𝑥, 𝜙(𝑥)). Donc
nécessairement,
𝑘 ′ (𝑥 ∗ ) = 𝜕1 𝑓(𝑥 ∗ , 𝑦 ∗ ) + 𝜕2 𝑓(𝑥 ∗ , 𝑦 ∗ ) + 𝜙′(𝑥 ∗ ) = 0
∗ 𝜕 ℎ(𝑥 ∗,𝑦 ∗ )
Comme le théorème des fonctions implicites assure que 𝜙 ′(𝑥 ) = − 𝜕1ℎ(𝑥 ∗,𝑦 ∗ ), l’égalité
2
∗ ∗) ∗ ∗ ∗) ∗ 𝜕2 𝑓(𝑥 ∗,𝑦 ∗ )
précédente conduit à : 𝜕1 𝑓 (𝑥 , 𝑦 = 𝜆 𝜕1 ℎ(𝑥 , 𝑦 avec 𝜆 = 𝜕 ∗ ,𝑦 ∗ ) . De plus il est
2 ℎ(𝑥
immédiat que 𝜕2 𝑓 (𝑥 ∗ , 𝑦 ∗ ) = 𝜆∗ 𝜕2 ℎ(𝑥 ∗ , 𝑦 ∗ ) et donc le théorème est démontré∎

7
Remarque 4
(i) 𝜆∗ est appelé multiplicateur de Lagrange associé à la contrainte ℎ.
(ii) Comme pour le cas sans contraintes, les points (𝑥 ∗ , 𝑦 ∗ ) satisfaisant ∇ℎ(𝑥 ∗ , 𝑦 ∗ ) ≠ 0 et
∇ℎ(𝑥 ∗ , 𝑦 ∗ ) = 𝜆∗ ∇ℎ(𝑥 ∗ , 𝑦 ∗ ) pour un certain 𝜆∗ ne sont pas forcément des extrémums. Un travail
supplémentaire est nécessaire pour étudier la nature de ces points.
Interprétation du coefficient 𝝀∗
Supposons que le problème de minimisation de (𝑥, 𝑦) ↦ 𝑓(𝑥, 𝑦) sous contraintes 𝑐 (𝑥, 𝑦) = 𝑏
admette une solution (𝑥 ∗ (𝑏), 𝑦 ∗ (𝑏)) et que cette solution soit de casse 𝐶 1 par rapport à 𝑏. Soit
𝜆∗ (𝑏) le multiplicateur de Lagrange associé. On peut remarquer qu’en posant ℎ(𝑥, 𝑦) =
𝑐 (𝑥, 𝑦) − 𝑏, on se retrouve dans la situation du cours et que ∇ℎ(𝑥, 𝑦) = ∇𝐶 (𝑥, 𝑦) pour tout
(𝑥, 𝑦) ∈ 𝒪. Alors nous avons d’une part les égalités :
𝑑 𝑑𝑥 ∗ 𝑑𝑦 ∗
𝑓(𝑥 ∗ (𝑏), 𝑦 ∗ (𝑏)) = 𝜕1 𝑓(𝑥 ∗ (𝑏), 𝑦 ∗ (𝑏)) (𝑏) + 𝜕2 𝑓(𝑥 ∗ (𝑏), 𝑦 ∗ (𝑏)) (𝑏)
𝑑𝑏 𝑑𝑏 𝑑𝑏

𝑑𝑥 ∗ 𝑑𝑦 ∗
= 𝜆∗ (𝑏)𝜕1 ℎ(𝑥 ∗ (𝑏), 𝑦 ∗ (𝑏)) (𝑏) + 𝜆∗ (𝑏)𝜕2 ℎ(𝑥 ∗ (𝑏), 𝑦 ∗ (𝑏)) (𝑏)
𝑑𝑏 𝑑𝑏

Et d’autre part, en décrivant l’égalité 𝑐(𝑥 ∗ (𝑏), 𝑦 ∗ (𝑏) = 𝑏 par rapport à 𝑏 on obtient :
𝑑𝑥 ∗ 𝑑𝑦 ∗
1 = 𝜕1 𝑐(𝑥 ∗ (𝑏), 𝑦 ∗ (𝑏)) (𝑏) + 𝜕2 𝑐(𝑥 ∗ (𝑏), 𝑦 ∗ (𝑏)) (𝑏)
𝑑𝑏 𝑑𝑏

𝑑𝑥 ∗
On en déduire que : 𝜆∗ (𝑏) = 𝑓(𝑥 ∗ (𝑏), 𝑦 ∗ (𝑏))
𝑑𝑏

En d’autres termes, 𝜆∗ (𝑏) s’interprète comme la variation approximative de la valeur minimale


de 𝑓|𝑆 lorsque on augmente d’une unité la valeur de 𝑏.

En économie 𝜆∗ représente la valeur de la ressource associée à la contrainte


2.1.2- Cas général
Le théorème précédent se généralise au cas de 𝑛 variable et 𝑝 contraintes.
Condition de qualification des contraintes
La contrainte 𝑆 est qualifiée en 𝑎 ∈ 𝑆 si l’une des deux conditions est vérifiée
(i) La famille formée par : {∇ℎ1 (𝑎), ∇ℎ2 (𝑎), … , ∇ℎ𝑝 (𝑎)} est libre

(ii) Les contraintes hi sont linéaires


Remarque 5
La condition (i) signifie que la matrice jacobéenne des fonctions contrainte ℎ𝑖 , 𝑖 = 1, … , 𝑝
notée 𝐽𝐻 et de taille (𝑝, 𝑛) est de rang 𝑝 lorsqu’elle est évaluée en 𝑎. On dit alors que les ℎ𝑖
satisfont la condition de qualification non dégénérée (CQND)

8
𝜕ℎ1 𝜕ℎ1 𝜕ℎ1

𝜕𝑥1 𝜕𝑥2 𝜕𝑥𝑛
𝜕ℎ2 𝜕ℎ2 𝜕ℎ2
𝐽𝐻 = 𝜕𝑥1 …
𝜕𝑥2 𝜕𝑥𝑛
⋮ ⋮ ⋮
𝜕ℎ𝑝 𝜕ℎ𝑝 ⋱ 𝜕ℎ𝑝

[ 𝜕𝑥1 𝜕𝑥2 𝜕𝑥𝑛 ]

Théorème 8 : théorème des extrema liés


On suppose que 𝑓, ℎ1 , … , ℎ𝑝 sont des fonctions réelles de classe 𝐶 1 sur un ouvert 𝒪 de ℝ𝑛 et
soit 𝑆 = {𝑥 ∈ 𝑂: ℎ1 (𝑥 ) = 0, … , ℎ𝑝(𝑥 ) = 0}. Supposons que 𝑥 ∗ soit un extremum local de 𝑓 sur
𝑆 et que : ∇ℎ1 (𝑥 ∗ ), … , ∇ℎ𝑝 (𝑥 ∗ ) soient des vecteurs linéairement indépendants. Alors il existe
des nombres réels : 𝜆∗1 , 𝜆∗2 , … , 𝜆∗𝑝 , appelés multiplicateurs de Lagrange tels que :

∇𝑓(𝑥 ∗ ) = 𝜆∗1 ∇ℎ1 (𝑥 ∗ ) + ⋯ + 𝜆∗𝑝 ∇ℎ𝑝 (𝑥 ∗ ). (Condition de Karush-Kuhn-Tucker (KKT)).

Les points 𝑥 ∗ ∈ 𝑆 pour lesquels il existe des nombres réels 𝜆∗1 , … , 𝜆∗𝑝 tels que l’égalité
précédente soit vérifiée sont appelés points stationnaires du problème d’optimisation sous
contrainte.
Exemple
Trouver une solution au problème min
𝑚𝑖𝑛 (2𝑥 + 𝑦 ∶ 𝑥 2 + 𝑦 2 = 1)
La fonction objectif est 𝑓: (𝑥, 𝑦) ∈ ℝ2 → 2𝑥 + 𝑦 et la contrainte est : 𝑆 = {(𝑥, 𝑦) ∈
ℝ2 : ℎ, (𝑥, 𝑦) = 0} où ℎ, (𝑥, 𝑦) = 𝑥 2 + 𝑦 2 − 1
Existence d’une solution : 𝑓 est continue et 𝑆 est compact (fermé borné), donc d’après
Weierstrass. Le problème admet une solution.
Qualification : S est définie par une seule contraint d’égalité. Il suffit alors de vérifier que :
(∇ℎ, (𝑥, 𝑦)) est libre pour assurer que 𝑆 est qualifiée en (𝑥, 𝑦). Or une famille d’un seul vecteur
est libre si et seulement si ce vecteur est non nul. Or ∇ℎ, (𝑥, 𝑦) = (2𝑥, 2𝑦) ≠ 0 pour tout
(𝑥, 𝑦) ∈ 𝑆. Donc 𝑆 est bien qualifiée en tout point de 𝑆.
Conditions KKT. D’après le théorème des extrema liés, si (𝑥, 𝑦) ∈ 𝑆 est solution au problème
alors nécessairement il existe 𝜆1 ∈ 𝐼𝑅 tel que : ∇𝑓(𝑥, 𝑦) + 𝜆1 ∇ℎ1 (𝑥, 𝑦) = 0. On a :
2 2𝑥
∇𝑓 (𝑥, 𝑦) = ( ) et ∇ℎ1 (𝑥, 𝑦) = ( )
1 2𝑦
L’équation KKT s’écrit donc ici par : il existe 𝜆 tel que :
2 + 𝜆(2𝑥) = 0
{
1 + 𝜆(2𝑦) = 0
En particulier, 𝜆 ≠ 0 et comme, par ailleurs (𝑥, 𝑦) ∈ 𝑆 (c’est-à-dire 𝑥 2 + 𝑦 2 = 1) on obtient
le système d’équations suivant :

9
2𝑦 = 𝑥
{
𝑥 + 𝑦2 = 1
2

Qui a pour solution (2,1)/√5 et − (2,1)/√5. On sait donc que les solutions au problème sont
parmi ces deux points grâce au théorème des extrema liés. On calcul ensuite les valeurs prises
par k fonction objectif en ces deux points identifiés par la condition KKT :
2 1 2 1
𝑓( , ) = √5 et 𝑓 (− , ) = −√5
√5 √5 √5 √5

Il n’y a qu’une seule solution au problème qui est :


2 1
(− ,− ).
√5 √5

2.1.3- Point de vue du Lagrangien


Définition 5
Soient 𝑓, ℎ1 , … , ℎ𝑝 des fonctions réelles 𝐶 1 sur un ouvert 𝒪 de ℝ𝑛 et 𝑆 = {𝑥 ∈ 𝑂 ∶ ℎ1 (𝑥 ) =
0, … , ℎ𝑝 (𝑥 ) = 0}. Soit 𝒫, le problème d’optimisation sous contrainte associé, c’est-à-dire la
recherche des extremums de 𝑓/𝑠 . On appelle Lagrangien du problème 𝒫 la fonction ℒ définie
sur 𝒪 × ℝ𝑛 par :
𝑝
ℒ (𝑥, 𝜆) = 𝑓 (𝑥 ) − ∑𝑖=1 𝜆𝑖 ℎ𝑖 (𝑥)

Le lien entre le Lagrangien et le problème d’optimisation sous contrainte est expliqué dans la
proposition suivantes :
Proposition 1
Un point 𝑥 ∗ ∈ ℝ𝑛 est un point stationnaire pour le problème 𝒫 si et seulement s’il existe 𝜆∗ ∈
ℝ𝑝 tel que (𝑥 ∗ , 𝜆∗ ) soit un point critique du Lagrangien (c’est-à-dire tel que ∇ℒ(𝑥 ∗ , 𝜆∗ ) = 0
Preuve
Un point (𝑥 ∗ , 𝜆∗ ) est un point critique du Lagrangien si et seulement si :
𝜕ℒ 𝑝
(𝑥 ∗ , 𝜆∗ ) = ℎ𝑖 (𝑥 ∗ ) = 0, (1 ≤ 𝑖 ≤ 𝑛) et ∇𝑥 𝑓(𝑥 ∗ ) − ∑𝑖=1 𝜆𝑖 ℎ𝑖 (𝑥 ∗ ) = 0
𝜕𝜆𝑖

On voit donc que (𝑥 ∗ , 𝜆∗ ) est un point critique du Lagrangien si et seulement si 𝑥 ∗ est un point
stationnaire du problème 𝒫, associé au vecteur des multiplicateurs de Lagrange 𝜆∗ .
Théorème 9
On suppose la fonction 𝑓 convexe (resp. concave) et de classe 𝐶 1 . Soient 𝐴 une matrice de taille
(𝑝, 𝑛) et de rang 𝑝 et 𝑏 un vecteur de ℝ𝑛 . Si 𝑥 ∗ est un point stationnaire du problème
d’optimisation de 𝑓 sous la contrainte 𝐴𝑥 = 𝑏, alors 𝑥 ∗ est minimum (resp. maximum) global
pour ce problème.
Preuve
On considère le cas convexe. Soient 𝜆∗ le multiplicateur de Lagrange associé à 𝑥 ∗ et g la
fonction définie sur O par :

10
𝑔(𝑥 ) = ℒ(𝑥, 𝜆∗ ) = 𝑓 (𝑥 ) − (𝜆∗ )𝑇 (𝐴𝑥 − 𝑏).
Alors g est une fonction convexe (en tant que somme de fonction convexes) et 𝑥 ∗ est un point
critique de g. d’après le résultat de l’optimisation sans contrainte des foncions convexes, 𝑥 ∗ est
un minimum global de g. comme on a l’égalité 𝑔(𝑥 ) = 𝑓(𝑥) si 𝐴𝑥 = 𝑏, on en déduit que 𝑥 ∗ est
minimum global de f sous la contrainte 𝐴𝑥 + 𝑏. Le cas concave se déduit en posant 𝑓 ′ = −𝑓.

Théorème 10
On suppose que 𝑓, ℎ1 , … , ℎ𝑝 sont des fonctions à valeurs réelles et de classe 𝐶 1 sur un ouvert 𝒪
de ℝ𝑛 et que l’ensemble des contraintes 𝑆 = {𝑥 ∈ 𝑂 ∶ ℎ1 (𝑥 ) = 0, … , ℎ𝑝 (𝑥) = 0} est un
compact de ℝ𝑛 . Alors le problème d’optimisation sous contrainte admet un minimum global et
un maximum global.
Remarque 6
Si 𝒪 = ℝ𝑛 , il suffit juste de montrer que 𝑆 est un sous-ensemble borné deℝ𝑛 . En effet 𝑆 est
un fermé de 𝑉 : si (𝑥𝑛 ) est une suite de 𝑆 telle que lim 𝑥𝑛 = 𝑥, la continuité des fonctions
𝑛→+∞
ℎ𝑖 (1 ≤ 𝑖 ≤ 𝑝) assure que ℎ𝑖 (𝑥 ) = 0 ∀ 0 ≤ 𝑖 ≤ 𝑝 et donc que 𝑥 est dans 𝑆.
2.2- Extrema liés : Conditions suffisantes du second ordre pour des contraintes
d’égalité
Définition 6
Soit ℒ le Lagrangien associé au programme d’optimisation sous contraintes 𝒫. On note
∇2𝑥𝑥 ℒ(𝑥, 𝜆). La matrice Hessienne par rapport à x et pour 𝛌 fixé c’est-à-dire :
𝜕11 ℒ(𝑥, 𝜆) … 𝜕1𝑛 ℒ(𝑥, 𝜆)
∇2𝑥𝑥 ℒ (𝑥, 𝜆) =[ ⋮ ⋮ ⋮ ].
𝜕𝑛1 ℒ(𝑥, 𝜆) … 𝜕𝑛𝑛 ℒ(𝑥, 𝜆)
Les conditions suffisantes ou du deuxième ordre permettant de déterminer s’il s’agit d’un
maximum ou d’un minimum reposent sur le calcul des mineurs de la matrice hessienne bordée
suivante :
𝟎𝒑 𝑱𝒉
( 𝑻 𝟐
)
𝑱𝒉 𝛁𝒙𝒙 𝓛(𝒙, 𝝀)
Où 𝑱𝒉 représente la matrice jacobienne formée par les ℎ𝑖 et 𝟎𝒑 représente la matrice nulle de
ℳ𝑝 (ℝ).
𝜕2ℒ
Notons le mineur principal qui contient 𝜕𝑥 2 comme dernier élément de la diagonale principale
1
𝜕 2ℒ
par |𝑴𝟏 |. |𝑴𝟐 | correspond au mineur principal qui contient 𝜕𝑥 2 comme dernier élément de la
2
diagonale principale et ainsi de suite. La condition suffisante pour l’existence d’un minimum
ou d’un maximum dépend des signes des mineurs principaux |𝑴𝒌+𝟏 |, |𝑴𝒌+𝟐 |, … , |𝑴𝒏 | =
𝟐
|𝛁𝒙𝒙 𝓛(𝒙, 𝝀)|.
Mentionnons qu’il existe au moins une contrainte (𝑘 ≥ 1) et que, par conséquent, |𝑴𝟏 |
n’intervient jamais dans les calculs. La condition suffisante pour l’existence d’un extremum
est donnée dans théorème suivant :
11
Théorème 12
La fonction 𝑓 soumise aux contraintes ℎ1 , … , ℎ𝑝 admet :
(i) Un maximum au point candidat si les mineurs principaux sont de signe alterné, le
signe de |𝑴𝒌+𝟏 | étant celui de(−1)𝑘+1 ,
(ii) Un minimum si les mineurs principaux |𝑴𝒌+𝟏 |, |𝑴𝒌+𝟐 |, … , |𝑴𝒏 | sont de même signe,
celui de (−1)𝑘
Exercice

Trouver les extrémums de la fonction : 𝑓(𝑥, 𝑦) = 5𝑥 2 + 6𝑦 2 − 𝑥𝑦 sous la contrainte


ℎ(𝑥, 𝑦) = 𝑥 + 2𝑦 = 24 et donner leurs natures

3- Extrema liés conditions du premier ordre pour des contraintes mixtes (théorème
et condition de Karush-Kuhn-Tucker (KKT))
Dans cette section on donne le théorème de KKT qui est une généralisation du théorème des
extrema liés au cas d’un ensemble de contrainte K défini par des contraintes d’égalité et des
contraintes d’inégalité. C’est-à-dire on étudie les problèmes de la forme.

𝒫 min 𝑓(𝑥)
𝑥∈𝐾

Où 𝑓: 𝒪 → ℝ, 𝒪 est un ouvert de ℝ𝑛 et 𝐾 est une contrainte de la forme


𝑔1 (𝑥 ) = ⋯ = 𝑔𝑟 (𝑥 ) = 0
𝐾 = {𝑥 ∈ 𝑈 ∶ }
ℎ1 (𝑥 ) ≤ 0, … , ℎ𝑙 (𝑥 ) ≤ 0
Pour 𝑔1 … 𝑔𝑟 : 𝒪 → ℝ définissant des contraintes d’égalité et ℎ1 , … , ℎ𝑙 : 𝒪 → ℝ définissant les
contraintes d’inégalité.
Théorème 13 : (Théorème de KKT)
On suppose que les fonctions 𝑔1 … 𝑔𝑟 , ℎ1 , … , ℎ𝑙 sont des classes 𝐶 1 . Soit 𝑎 ∈ 𝐾. On suppose
que 𝐾 est qualifiée en 𝑎. Si 𝑎 est un minimum local de 𝑓 restreint à 𝐾 alors il existe 𝜆1 … 𝜆𝑟 ∈ ℝ
et 𝜇1 , … , 𝜇𝑙 ∈ ℝ tels que :
(i) ∇f(a) + ∑𝑟𝑖=1 𝜆𝑖 ∇𝑔𝑖 (𝑎) + ∑𝑙𝑗=1 𝜇𝑗 ∇ℎ𝑗 (𝑎) = 0

(ii) 𝜇𝑗 ≥ 0 ∀ 𝑗 = 1, … , 𝑙

(iii) 𝜇𝑗 ℎ𝑗 (𝑎) = 0 ∀ 𝑗 = 1, … , 𝑙

Définition 7
On dit que la contrainte 𝐾 du problème 𝒫 satisfait la condition de Mangasarian-Fromovitz en
un point 𝑎 ∈ 𝐾 quand :
(i) La famille (∇𝑔𝑖 (𝑎), … , ∇𝑔𝑟 (𝑎) est une famille libre de vecteur de ℝ𝑛

(ii) On note 𝑗(𝑎) = {𝑗 ∈ {1, … , 𝑙 }: ℎ𝑗 (𝑎) = 0}. Si 𝐽(𝑎) ≠ ∅ alors il existe un 𝑈 ∈ ℝn tel que :

(1) 〈∇g 𝑖 (𝑎), 𝑣〉 = 0 pour tout 𝑖 = 1, … , 𝑟


(2) 〈∇h𝑗 (𝑎), 𝑣〉 < 0 pour tout 𝑗 ∈ 𝐽(𝑎)

12
Proposition 2
Soit K la contrainte définie pour le problème 𝒫 ci-dessus. Soit 𝑎 ∈ 𝐾. On suppose que K
satisfait la condition de Mangasarian-Fromovitz en a : Alors K est qualifiée en a.
Définition 8 (Contraintes affines ou localement affines (QC-A)

On dit que la contrainte K satisfait la condition QC-A en un point 𝑎 ∈ 𝐾 quand :


(i) (𝑔𝑖 )𝑟𝑖=1 et (ℎ𝑗 )𝑗∈𝐽(𝑎) sont affines dans un voisinage ouvert de a.
(ii) (ℎ𝑗 )
𝑗∈𝐽(𝑎)
sont continues en a.
Où on rappelle que 𝑗(𝑎) = {𝑗 ∈ {1, … , 𝑙 }: ℎ𝑗 (𝑎) = 0}
Tout comme la condition de Mangasarian-Fromovitz, la condition QC-A est suffisante pour
assurer la qualification en un point.
Propositions 3

Soit K la contrainte définie pour le problème 𝒫. Soit 𝑎 ∈ 𝐾. On suppose que 𝐾 satisfait la


condition QC – A en 𝑎. Alors 𝐾 est qualifié

Définition 9

Soit K la contrainte définie comme celle du problème 𝒫 et 𝑎 ∈ 𝐾. On dit que 𝑎 vérifie les
conditions KKT quand il existe 𝜆1 … 𝜆𝑟 ∈ ℝ et et 𝜇1 , … , 𝜇𝑙 ∈ ℝ tels que :
(i) ∇𝑓(𝑎) + ∑𝑟𝑖=1 𝜆𝑖 𝛻𝑔𝑖 (𝑎) + ∑𝑙𝑗=1 𝜇𝑗 𝛻ℎ𝑗 (𝑎) = 0
(ii) 𝜇𝑗 ≥ 0 ∀ 𝑗 = 1, … , 𝑙
(iii) 𝜇𝑗 ℎ𝑗 (𝑎) = 0 ∀ 𝑗 ∈ {1, … , 𝑙 }

Définition 10 (condition de Stater)


𝑔1 (𝑥 ) = ⋯ = 𝑔𝑟 (𝑥 ) = 0
Soit 𝐾 = {𝑥 ∈ 𝑈 ∶ }
ℎ1 (𝑥 ) ≤ 0, … , ℎ𝑒 (𝑥 ) ≤ 0
Où 𝑈 est un sous-ensemble convexe ouvert de ℝ𝑛 , 𝑔1 … 𝑔𝑟 : 𝑈 → ℝ sont des fonctions affines
et ℎ1 , … , ℎ𝑙 : 𝑈 → ℝ sont des fonctions convexes différentiables.
On dit que la contrainte 𝐾 satisfait la condition de Stater quand il existe 𝑥0 ∈ 𝐾 tel que
ℎ𝑗 (𝑥0 ) < 0 pour tout 𝑗 = 1, … , 𝑙.

Proposition 4
Soit 𝐾 une contrainte de la forme de celle de la définition ci-dessus où 𝑔1 … 𝑔𝑟 : 𝑈 → ℝ sont
des fonctions affines et ℎ1 , … , ℎ𝑙 : 𝑈 → ℝ sont des fonctions de classe 𝐶 1 et convexes. Si la
condition de Stater est satisfaite alors la contrainte 𝐾 est qualifiée.
La condition (ii) est appelée condition dual feasability et la condition (iii) est appelée
complementary condition.

13
Méthodologie pour résoudre un problème d’optimisation différentiable grâce au
théorème de KKT
On peut systématiser l’application du théorème de KKT pour la résolution de problème sous
contrainte de la forme du problème 𝒫. On donne ici les étapes :
0) On vérifie que les fonctions 𝑓, 𝑔1 , … , 𝑔𝑟 ℎ1 , … , ℎ𝑙 sont bien de classe C1.
1) Preuve de l’existence d’une solution
2) On cherche les points de K où la contrainte n’y est pas qualifiée. On note par 𝐸1 ⊂ 𝐾 cet
ensemble.
3) On cherche les points de K vérifiant la condition KKT. On note par 𝐸2 ⊂ 𝐾 cet ensemble.
4) Par le théorème de KKT, si 𝒫 a une solution alors nécessairement elle est dans 𝐸1 ∪ 𝐸2 .
5) On évalue f en tous les points de 𝐸1 ∪ 𝐸2 pour identifier celui ou ceux qui minimise f.
Exemple :
Trouver les solutions au problème d’optimisation sous contrainte.
𝒫: min (𝑥 + 2𝑦 + 3𝑧 ∶ 𝑥 2 + 𝑦 2 + 𝑧 2 = 1 ; 𝑥 + 𝑦 + 𝑧 ≤ 0)
On pose des notations afin d’identifier la fonction objectif et la contrainte : pour tout (𝑥, 𝑦, 𝑧) ∈
ℝ3
𝑓 (𝑥, 𝑦, 𝑧) = 𝑥 + 2𝑦 + 3𝑧 ; 𝑔1 (𝑥, 𝑦, 𝑧) = 𝑥 2 + 𝑦 2 + 𝑧 2 − 1 et ℎ1 (𝑥, 𝑦, 𝑧) = 𝑥 + 𝑦 + 𝑧
La fonction objectif est donnée par f et la contrainte est 𝐾 = {𝑎 ∈ ℝ3 : 𝑔1 (𝑎) = 0, ℎ1 (𝑎) ≤ 0}

0) Les fonctions 𝑔1 , ℎ1 et f sont de classe C1car ce sont des polynômes de ℝ3

1) K est compact (en tant qu’intersection de deux fermé dont l’un est borné) et f est continue,
donc 𝒫 admet au moins une solution

2) Soit 𝑎 = (𝑥, 𝑦, 𝑧) ∈ 𝐾. Etudions la qualification de K en a. on peut par exemple vérifier la


condition de Mangasarian-Fromovitz. On a ∇𝑔1 = (2𝑥, 2𝑦, 2𝑧) ≠ 0 car 𝑎 ∈ 𝐾 et donc
(∇, 𝑔(𝑎)) est libre- donc la première condition de Mangasarian-Fromovitz est satisfaite.
Passons à la seconde condition.

On rappelle que 𝐽(𝑎) = {𝑗: ℎ𝑗 (𝑎) = 0} si 𝐽(𝑎) = 𝛷 alors la seconde condition de Mangasarian-
Fromovitz est vérifiée. Sinon 𝐽(𝑎) ≠ 𝛷 et comme il n’y a qu’une seule contrainte d’inégalité,
on a forcément 𝐽(𝑎) = {1} et donc ℎ1 (𝑎) = 0, c’est-à-dire 𝑥 + 𝑧 + 𝑦 = 0. Pour 𝑣 =
(−1, −1, −1), on a : 〈∇𝑔, (𝑎), 𝑣〉 = −2(𝑥 + 𝑦 + 𝑧) = 0 et 〈∇h, (𝑎), 𝑣〉 = −3 < 0

Donc la deuxième condition de Mangasarian-Fromovitz est vérifiée dans tous les cas. On en
déduit que K est qualifiée en a et comme ceci est vraie pour tout 𝑎 ∈ 𝐾, on a montré que K est
qualifiée. Autrement dit, l’ensemble 𝐸1 induit dans la méthodologie ci-dessus est vide.

3) On cherche des points 𝑎 = (𝑥, 𝑦, 𝑧) ∈ 𝐾 vérifiant les conditions KKT. Soit 𝑎 = (𝑥, 𝑦, 𝑧) ∈
𝐾. Si a vérifie les conditions KKT alors il existe 𝜆1 𝑒𝑡 𝜇1 ∈ ℝ tels que

14
1 2𝑥 1 0
a. (2) + 𝜆1 (2𝑦) + 𝜇1 (1) = (0)
3 2𝑧 1 0
b. 𝜇1 ≥ 0
c. 𝜇1 ℎ1 (𝑎) = 0
En ajoutant la contrainte que 𝑎 ∈ 𝐾 au condition KKT, on veut résoudre le système d’équation
suivant :
1 + 2𝜆1 𝑥 + 𝜇1 = 0
2 + 2𝜆1 𝑦 + 𝜇1 = 0
3 + 2𝜆1 𝑧 + 𝜇 = 0
𝜇1 ≥0
(
𝜇1 𝑥, 𝑦, 𝑧 ) =0
2 2 2
𝑥 +𝑦 +𝑧 =0
{ 𝑥+𝑦+𝑧 ≤0
On a forcément 𝜆1 ≠ 0 car 𝜇1 ≥ 0 et sinon les 3 premières équations ne pourrait pas être
vérifiées. On a alors en réécrivant ces 3 équations :
−𝜇1 −1 −𝜇1−2 −𝜇1−3
𝑥= ; y= ; 𝑧= (1)
2𝜆1 2𝜆1 2𝜆1

D’après la complementary condition, on a


−3𝜇1 −6
𝜇1 . (𝑥 + 𝑦 + 𝑧) = 0 Mais d’après (1) on a 𝑥 + 𝑦 + 𝑧 = donc 𝜇1 (−3𝜇1 − 6) = 0. Alors
2𝜆1
soit 𝜇1 = 0, soit 𝜇1 = −2 . Mais comme 𝜇1 ≥ 0 on a nécessairement 𝜇1 = 0. Ainsi dans (1)
on obtient :
1 2 3
𝑥 = − 2𝜆 ; y= − 2𝜆 et 𝑧 = − 2𝜆 et comme 𝑥 2 + 𝑦 2 + 𝑧 2 = 1 on en déduit que 𝜆1 ∈
1 1 1
√14
{± }
2

√14 √14
Mais pour 𝜆1 = − on a 𝑥 + 𝑦 + 𝑧 > 0. Donc forcément 𝜆1 = alors le seul point
2 2
vérifiant la condition de KKT est :
−1 −2 −3
, ,
√14 √14 √14

5) Comme on sait que le problème admet au moins une solution et qu’il n’ y a qu’un seul point
vérifiant les conditions KKT et que la contrainte est qualifiée, c’est forcément cet unique point
qui est solution à 𝒫. Cette solution est unique vu qu’il n’y a qu’un seul point satisfaisant les
conditions KKT et pas de problème de qualification.
Théorème 14 (Théorème de l’optimalité)
Considérons le problème de maximisation suivant :

ℳ: max 𝑓 (𝑥, 𝑎) 𝑠. 𝑡. 𝐾

où 𝑓: 𝑂 → ℝ est une fonction définie sur un ouvert O de ℝ𝑛 , x un vecteur de O.

𝑎 = (𝑎11 , … , 𝑎𝑛 ) un vecteur de paramètres pouvant intégrer la fonction f ou les contraintes et ,

15
𝑔1 (𝑥, 𝑎) = ⋯ = 𝑔𝑟 (𝑥, 𝑎) = 0
𝐾 = {𝑥 ∈ 𝑂 ∶ }
ℎ1 (𝑥, 𝑎) ≤ 0, … , ℎ𝑒 (𝑥, 𝑎) ≤ 0

Supposons que pour chaque a, il existe une solution 𝑥 ∗ (𝑎) au problème 𝓜. Alors pour ce
vecteur de paramètre a, la valeur maximale de la fonction objectif f est 𝑓(𝑥 ∗ (𝑎), 𝑎). Ceci définie
une nouvelle fonction, 𝑣 (𝑎), appelée la fonction de valeur. Formellement on note : 𝑉 (𝑎) =
𝑚𝑎𝑥𝑓(𝑥. 𝑎)
𝑔1 (𝑥, 𝑎) = ⋯ = 𝑔𝑟 (𝑥, 𝑎) = 0
𝑠. 𝑐 𝐾 = {𝑥 ∈ 𝑂 ∶ }
ℎ1 (𝑥, 𝑎) ≤ 0, … , ℎ𝑒 (𝑥, 𝑎) ≤ 0

Partout ou un maximum existe


Théorème 15 : (Théorème du maximum)
Supposons K compact, 𝑓: 𝑂 → ℝ est continu et que la contrainte K est qualifiée alors,
a. Une solution du problème 𝓜 existe pour tout 𝑎 ∈ 𝐴 et, par conséquent la fonction
de valeur V(a) est définie sur l’ensemble des paramètre A.
b. ii) La fonction de valeur 𝑉: 𝐴 → ℝ est continue
c. iii) Soit (𝑥 𝑘 , 𝑎𝑘 ) une suite de point dans ℝ𝑛 𝑋𝐴 qui converge vers (𝑥 ∗ 𝑒𝑡 𝑎 ∗ ) ∈
ℝ𝑛 𝑋 𝐴. Si pour tout 𝑘, 𝑥 𝑘 est une solution de 𝓜 lorsque𝑎 = 𝑎𝑘 alors 𝑥 𝑘 est solution
de 𝓜 lorsque 𝑎 = 𝑎𝑘 .
d. iv) Si pour tout 𝑎 ∈ 𝐴 la solution de 𝓜 est unique et donnée par la fonction 𝑥(𝑎),
alors la fonction 𝑥: 𝐴 → ℝ𝑛 est continue

Théorème 16 (Théorème de l’enveloppe)


Considérons le problème 𝓜 lorsqu’il y a juste une contrainte (soit 𝑔1 = 0 𝑜𝑢 ℎ1 ≤ 0) et
supposons que la fonction objectif, f et la fonction de contrainte, notée g, sont continument
différentiable en (x, a) sur un ensemble ouvert O X A de ℝ𝑛 . Pour tout 𝑎 ∈ 𝐴, supposons que
𝑥(𝑎) ∈ 𝑂 est la seule solution du problème et continument différentiable en a sur A, et que la
contrainte 𝑔(𝑥(𝑎), 𝑎) ≤ 0 est bornée pour tout 𝑎 ∈ 𝐴. Soit ℒ(𝑥, 𝑎, 𝝀) le Lagrangien du
problème 𝓜 et supposons que (𝑥(𝑎), 𝜆(𝑎)) est solution des conditions de KKT. Finalement
supposons que V(a) est la fonction de valeur associée au problème 𝓜. Alors le théorème de
l’enveloppe établit que pour tout 𝑎 ∈ 𝐴,
𝜕𝑉(𝑎) 𝜕ℒ
= 𝜕𝑎𝑖 |
𝜕𝑎𝑖 𝑥(𝑎),𝜆(𝑎)

16

Vous aimerez peut-être aussi