THÈSE

pour obtenir le grade de docteur délivré par

l’Université des Antilles
❧
EA 2440
ECOLE DOCTORALE N°589 :
Milieu insulaire tropical à risques : protection, valorisation, santé et développement

Discipline : Mathématiques Appliquées

Approche numérique de problèmes

d’optimisation et applications
Présentée par Florian LABARRE le 20 décembre 2021

Directeur de thèse : Paul-Émile MAINGÉ, MCF-HDR, Université des Antilles

Co-encadrant de thèse : Remy-Robert JOSEPH, MCF, Université des Antilles

Composition du jury:

Isabelle CHALENDAR Professeur Université Gustave Eiffel Examinatrice

Jalal FADILI Professeur ENSI de Caen Rapporteur
Hoai An LE THI Professeur Université de Lorraine. Examinatrice
Paul-Émile MAINGÉ MCF-HDR Université des Antilles Directeur
Abdellatif MOUDAFI Professeur Université Aix-Marseille Rapporteur
Paul Silvère NUIRO MCF-HDR Université des Antilles Examinateur
Hassan RIAHI Professeur Université Cadi Ayyad Rapporteur
Remerciements
Je tiens naturellement à remercier mon directeur de thèse, Paul-Émile MAINGÉ
pour la confiance qu’il m’a témoignée en acceptant la direction de mes travaux. Je
lui suis reconnaissant de m’avoir fait bénéficier, tout au long de ce travail de sa
grande compétence, de sa rigueur intellectuelle, de son dynamisme et de son efficacité
certaine que je n’oublierai jamais.
Je remercie grandement Monsieur Remy-Robert JOSEPH d’avoir accepté d’être
mon co-encadrant de thèse.
C’est un grand honneur pour moi de remercier les Professeurs Jalal FADILI,
Abdellatif MOUDAFI et Hassan RIAHI d’avoir accepté d’être rapporteurs de cette
thèse et pour m’avoir fourni une multitude de remarques pertinentes. Je remercie
aussi les Professeurs Hoai An LE THI, Isabelle CHALENDAR ainsi que Monsieur
Paul Silvère NUIRO d’avoir accepté de laisser leurs activités pour participer à mon
jury de thèse.
Je remercie la Collectivité Territoriale de Martinique d’avoir permis le financement
de cette thèse, et particulièrement Mme Alix ALMONT pour sa gentillesse.
J’adresse mes chaleureux remerciements à mon frère Julien LABARRE et son
conjoint Jeremy Ratier pour leur soutien moral, à ma compagne Célia MARIE-
JOSEPH d’avoir toujours cru en moi et de m’avoir motivé tout au long de cette thèse,
à mon père Philippe LABARRE et à ma mère Christiane LABARRE de m’avoir
supporté et pour leurs encouragements. Je n’oublie pas ma belle famille Roselyne,
Henri, Alexa et Karl-Anthony MARIE-JOSEPH d’avoir toujours été présent pour
me motiver à terminer ce travail.
Merci à tous ceux qui ont participé de près ou de loin à l’aboutissement de ce
travail, je pense en particulier à Kephren BALTHAZARD pour nos nombreuses
conversations et à Arnaud NALLAMOUTOU et sa mère.
Je remercie également Mesdames Mariette LAURENT-PEDURAND et Marie-
Line REMUS pour avoir toujours répondu à mes questions pour et leur gentillesse.
 Résumé

Cette thèse est consacrée à l’étude de systèmes dynamiques dissipatifs et à

la conception d’algorithmes pour la résolution de problèmes d’optimisation (tels
que la minimisation de fonctions convexes et, plus généralement, le calcul de zéros
d’opérateurs monotones) dans un cadre Hilbertien réel.
Dans un premier temps, nous proposons et étudions, dans un cadre continu, des
dynamiques rapides de type Newton pour la résolution de ces problèmes. Le système
dynamique considéré est d’abord inspiré par la reformulation d’une équation du second
ordre de type Nesterov stabilisée (par l’ajout d’un amortissement géométrique Hessien)
pour la minimisation de fonctions convexes. Cette stratégie est ensuite étendue au cas
d’opérateurs monotones généraux. Cela nous permet de traiter simultanément les deux
problèmes d’optimisation considérés via un système dissipatif du premier ordre ne
faisant intervenir que le gradient de la fonction objectif et l’approximation de Yosida
d’un opérateur général. Cette dernière formulation constitue un cadre particulièrement
adapté à la construction de schémas numériques issus de variantes discrètes de notre
modèle continu. Elle permet, en effet, de s’affranchir de la discrétisation temporelle
de termes contraignants qui pourraient donner lieu à des schémas coûteux en calculs
et/ou limités en application.
Puis, nous nous intéressons à la minimisation structurée de fonctions convexes non
lisses, à l’aide d’un algorithme issu d’une discrétisation temporelle de notre modèle
du premier ordre. L’algorithme AFB (Accelerated Forward-Backward), récemment
proposé comme variante convergente de FISTA (Fast Iterative Shrinkage-Thesholding
Algorithm), est obtenu comme cas particulier de notre schéma numérique. Outre les
propriétés de convergence bien connues de AFB, nous démontrons la convergence
rapide vers zéro des sous-gradients de la fonction objectif. Ceci n’était démontré
jusqu’alors que pour des fonctions suffisamment régulières.
Finalement, concernant de la résolution d’inclusions monotones structurées plus
générales, nous proposons et nous étudions un algorithme de type Forward-Backward
incorporant un terme inertiel, un terme de relaxation ainsi qu’un terme correcteur.
Nous démontrons, en plus de la convergence de la méthode, des propriétés proches
de celles obtenues dans le cadre de la minimisation convexe structurée en termes de
vitesse discrète et de résidus de points fixes.

Mots-clés : Systèmes dissipatifs · opérateurs maximaux monotones · minimisation

structurée · inclusion monotone · méthode proximal ·

iv
 Abstract

This thesis is devoted to the study of dissipative dynamical systems and to the
design of algorithms related to optimization problems (such as convex minimization,
and more generally, the computation of zeros of monotone operators) in a real Hilbert
framework.
In a first step, we propose and study, in a continuous framework, fast Newton-like
dynamics related to these problems. The considered dynamical system is first inspired
by the reformulation of a (stabilized) second order Nesterov-type equation (by adding
a geometric Hessian damping) for the minimization of convex functions. This strategy
is then extended to the case of general monotone operators. This allows us to treat
simultaneously the two considered optimization problems, via first-order dissipative
system that only involves the gradient of the objective function and the Yosida
approximation of a general operator. This last formulation constitutes a particularly
well-adapted framework for the design of numerical schemes based upon discrete
variants of our continuous model. Indeed, it allows us to get rid of the temporal
discretization of constraining terms which could lead to computationally expensive
and/or processes of limited applications.
Next, we focus on convex and non-smooth structured minimization problems,
by using new class of algorithms derived from a temporal discretization of our first-
order model. The process AFB (Accelerated Forward-Backward), which was recently
proposed as a convergent variant of FISTA (Fast Iterative Shrinkage-Thesholding
Algorithm), is obtained as a special case of our numerical scheme. In addition to the
well-known convergence properties for AFB, we prove the fast convergence to zero of
the subgradients of the objective function. This last feature was established so far
for sufficiently smooth functions only.
Finally, regarding the numerical approach to more general structured monotone
inclusions, we propose and study a Forward-Backward algorithm incorporating an
inertial term, a relaxation factor and a correction term. In addition to the convergence
of the method, we prove similar properties to those obtained for convex structured
minimization in term of discrete velocity and fixed-point residual.

Keywords : Dissipative system · maximally monotone operators · structured

minimization · monotone inclusion · proximal method ·
Sommaire

Notations ix

Introduction 1

1 Rappels : travaux séminaux 5

1.1 Contexte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2 Minimisation de fonctions convexes . . . . . . . . . . . . . . . . . . . 6
1.3 Minimisation stochastique : cas du machine learning . . . . . . . . . . 13
1.4 Cas général des inclusions monotones . . . . . . . . . . . . . . . . . . 19

2 Un modèle général du premier ordre pour des dynamiques conti-

nues de type Newton gouvernées par des opérateurs maximaux
monotones 23
2.1 Résumé et principaux résultats . . . . . . . . . . . . . . . . . . . . . 23
2.2 Article en anglais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

3 Minimisation structurée de fonctions convexes non lisses avec dé-

croissance rapide des sous-gradients 63
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.2 Préliminaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.3 Résultats généraux pour une analyse de Lyapunov . . . . . . . . . . . 73
3.4 Analyse de la convergence de la méthode . . . . . . . . . . . . . . . . 80
3.5 Simulations numériques . . . . . . . . . . . . . . . . . . . . . . . . . . 102
3.6 Annexe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

vii
4 Algorithmes forward-backward accélérés pour la résolution d’inclu-
sions monotones structurées 125
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
4.2 Propriétés de type Lyapunov . . . . . . . . . . . . . . . . . . . . . . . 132
4.3 Analyse de la convergence de la méthode. . . . . . . . . . . . . . . . . 141
4.4 Une variante plus générale de l’algorithme proposé . . . . . . . . . . . 152
4.5 Simulations numériques . . . . . . . . . . . . . . . . . . . . . . . . . . 156
4.6 Annexe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160

5 Conclusions et perspectives 165

Bibliographie 167

viii
Notations

Ensembles
∅ : désigne l’ensemble vide.
N := {0, 1, 2, 3 . . . } désigne l’ensemble des entiers naturels.
N∗ := {1, 2, 3 . . . } désigne l’ensemble des entiers naturels non nuls.
Z := {. . . − 2, −1, 0, 1, 2 . . . } désigne l’ensemble des entiers relatifs.
R : l’ensemble des nombres réels.
R+ : l’ensemble des nombres réels positif.
L1 ([a, b], H) : ensemble des fonctions Lebesgue-intégrables sur [a, b] à valeurs dans H.
L∞ [0, ∞) : ensemble des fonctions essentiellement bornées sur [0, +∞[.
2X : ensemble des parties de l’ensemble X .

Espace de Hilbert
H : espace de Hilbert réel.
⟨., .⟩ : produit scalaire sur H.
∥.∥ : norme induite par le produit scalaire sur H.
→ : convergence forte dans H.
⇀ : convergence faible dans H.
I : désigne l’opérateur identité sur H.

Opérateurs multivoques
A : H → 2H : opérateur multivoque sur H.
gr A := {(x, u) ∈ H × H, u ∈ Ax} : graphe de A.
dom A := {x ∈ H, Ax ̸= ∅} : domaine de A.
ran A := A(H) : l’image de A.
zer A := {x ∈ H | 0 ∈ Ax} : ensemble des zéros de A.
A−1 := H → 2H : u 7→ {x ∈ H, u ∈ Ax} : inverse de A.
JλA := (I + λA)−1 : résolvante de A d’indice λ > 0.
Aλ := λ1 (I − Jλ A) : approximation de Yosida de A
d’indice λ > 0.

ix
Fonctions
gr f := {(x, y) ∈ H × R | f (x) = y} : graphe de f : H → [−∞, +∞].
epi f := {(x, y) ∈ H × R | y ≥ f (x)} : épigraphe de f : H → [−∞, +∞].
dom f := {x ∈ H | f (x) < ∞} : domaine effectif de f : H → [−∞, +∞].
∇f : gradient de f : H → R.
argmin f : ensemble des minimiseurs de f .
proxµf : opérateur proximal de f d’indice µ > 0.
∂f (u) : sous-différentiel de Fenchel de f en u.

Définitions relatives à un opérateur multivoque

Un opérateur multivoque A : H → 2H est dit
• monotone si

∀(x, y) ∈ gr A, ∀(y, y ′ ) ∈ gr A, ⟨y − y ′ , x − x′ ⟩ ≥ 0

• α-fortement monotone (avec α > 0) si A − αI est monotone, i.e, si

∀(x, y) ∈ gr A, ∀(y, y ′ ) ∈ gr A, ⟨y − y ′ , x − x′ ⟩ ≥ α∥x − x′ ∥2 ,

• maximal monotone si A est monotone et s’il n’existe pas d’opérateur B :

H → 2H tel que gr A ⊂ gr B et A ̸= B.
• β-cocoercif (avec β > 0) si A est univoque et si

∀(x, x′ ) ∈ H2 , ⟨Ax − Ax′ , x − x′ ⟩ ≥ β∥Ax − Ax′ ∥2 ,

x
Introduction

Cette thèse de mathématiques porte sur la conception de systèmes dynamiques

dissipatifs pour la résolution d’inclusions monotones structurés dans les espaces de
Hilbert réels. Le problème général étudié est le suivant

(A) trouver x ∈ H tel que 0 ∈ Ax + Bx,

où A : H → 2H et B : H → H sont des opérateurs maximaux monotones et où H

désigne un espace de Hilbert réel. Le problème (A) intervient dans de nombreux
domaines notamment dans les équations aux dérivées partielles [25, 33, 50, 95] en
statistiques, en machine-learning [59, 107], en théorie des jeux [33], dans le traitement
du signal [49, 33] et de l’image [41, 39, 99].
Un exemple bien connu du problème (A) est la minimisation d’une fonction
convexe que l’on présente sous la forme structurée avec A = ∂g et B = ∇f où
∂g désigne le sous-différentiel d’une fonction g : H →] − ∞, +∞] convexe et semi-
continue inférieurement et ∇f est le gradient d’une fonction f : H →] − ∞, +∞[
convexe et différentiable.
De nombreuses techniques aussi bien discrètes que continues ont déjà été proposées
pour traiter le problème (A) (méthode de la plus grande pente, du point proximal,
de Douglas-Rachford, Forward-Backward, FISTA, Accelerated Forward-Backward
etc.). Parmi ces méthodes, on peut citer AFB qui correspond à une version discrète
d’un système dissipatif du second ordre permettant de résoudre le problème (A)
dans le cas où f est lisse et g est non lisse. Une particularité de cet algorithme est
qu’il produit une convergence en valeur en o(n−2 ) au lieu de O(n−1 ) proposé par la
méthode Forward-Backward qui est elle basée sur une discrétisation en temps de la
méthode de la plus grande pente.
On se propose ici d’améliorer les résultats existants via l’introduction de nouveaux
systèmes dissipatifs et de schémas numériques associés.

1
Introduction

Le chapitre 1 présente des rappels concernant les principales méthodes de réso-

lutions d’inclusions monotones. Dans ce chapitre, nous rappelons dans un premier
temps les algorithmes classiques de minimisation de fonctions convexes existants
ainsi les techniques couramment utilisées dans le cadre de minimisation stochastique
et enfin nous rappelons quelques méthodes classiques de résolution d’inclusions
monotones générales en précisant leurs avantages et inconvénients.
Le chapitre 2 est consacré à l’étude d’un modèle continu de type Newton qui s’avère
approprié, du point de vue numérique, à la résolution de problèmes de minimisation
convexe et plus généralement d’inclusions monotones. Des algorithmes permettant de
résoudre ces problèmes ont été récemment inspirés par des discrétisations implicites
en temps de la version continue (stabilisée) de la méthode du gradient accéléré de
Nesterov faisant intervenir un terme d’amortissement Hessien supplémentaire (afin
d’atténuer les effets d’oscillations observées au niveau des trajectoires). Cependant,
en raison de la présence du terme Hessien, ces variantes discrètes nécessitent plusieurs
évaluations (par itération) du gradient ou de l’opérateur proximal. Nous proposons, en
ce sens, un modèle du premier ordre ne faisant plus intervenir le terme Hessien et qui
peut être étendu au cas d’un opérateur maximal monotone quelconque. Notre modèle
du premier ordre provient de la reformulation d’une variante liée à une équation
de type Nesterov. Nous étudions simultanément les trajectoires de notre modèle en
ce qui concerne la minimisation convexe et les inclusions monotones en considérant
notre système lorsqu’il est gouverné par la somme du gradient d’une fonction convexe
différentiable et (à une constante multiplicative près) de l’approximation de Yosida
d’un opérateur maximale monotone. Il s’avère que notre modèle du premier ordre
offre un nouveau cadre pour les variantes discrètes, tout en conservant les principales
caractéristiques asymptotiques de l’équation de type Nesterov (stabilisée). Nous
démontrons l’existence et l’unicité d’une solution pour notre système dynamique,
puis, en nous appuyant sur une analyse de Lyapunov, nous étudions le comportement
asymptotique des trajectoires. Finalement, nous présentons deux algorithmes (un
pour la minimisation convexe structurée et un autre pour la résolution d’inclusion
monotone générale) de type Forward-Backward relaxé obtenus via une discrétisation
en temps de notre système dynamique.
Le chapitre 3 (sur lequel est basé l’article [72]) est destiné à l’étude d’une variante
discrète du système dynamique étudié au chapitre 2 concernant la minimisation
convexe structurée non lisse. La méthode AFB (« Accelerated Forward-Backward »)

2
qui a été récemment discutée comme une variante améliorée de FISTA (« Fast Itera-
tive Thresholding Algorithm ») est retrouvée comme cas particulier de l’algorithme
proposé pour un certain jeu de paramètres. Sur la base d’une suite de type énergie,
nous montrons que l’algorithme étudié dans ce chapitre jouit des propriétés bien
connues de AFB, à savoir que celui-ci génère des suites convergentes (xn ) qui mi-
nimisent les valeurs de la fonction objectif avec un taux de o(n−2 ). Notre méthode
offre, cependant, quelques degrés de liberté supplémentaires comparée à AFB grâce
à un réglage approprié des paramètres qui peuvent être utilisés pour influencer
(accélérer) la convergence des itérés. Une autre spécificité importante du schéma
proposé est qu’il peut être considéré comme un modèle discret issu d’une formulation
du premier ordre du système dynamique de type Newton étudié au chapitre 2. Ceci
nous permet d’étendre au cadre non lisse, une propriété de convergence rapide vers
zéro des sous-gradients, établie jusqu’à présent pour les dynamiques discrètes de
type Newton avec des potentiels lisses uniquement. En particulier, comme nouveau
résultat, nous montrons que cette dernière propriété s’applique également à AFB.
Des simulations numériques sont en outre réalisées afin d’illustrer les propriétés des
algorithmes considérés par rapport à d’autres algorithmes existants.
Le chapitre 4 est consacré à l’étude d’une généralisation, au cas des inclusions
monotones structurées, de l’algorithme étudié au chapitre 3 dans le cadre de la
minimisation convexe structurée. Plus précisément, nous développons un algorithme
de type Forward-Backward pour le calcul des zéros de la somme d’un nombre fini
d’opérateurs maximaux monotones. On considère, en premier lieu, une modification de
la méthode classique Forward-Backward pour deux opérateurs monotones généraux,
en incorporant un terme inertiel (proche des techniques d’accélération introduites
par Nesterov), un terme de relaxation constant ainsi qu’un terme correcteur. Dans
un cadre Hilbertien réel, nous démontrons la convergence faible des itérés générés par
notre méthode ainsi que des taux o(n−1 ) en termes de vitesse discrète et de résidu du
point fixe au lieu des taux classiques de O(n−1 ). Dans un second temps, l’algorithme
proposé est ensuite adapté à des inclusions monotones plus générales.
Le chapitre 5 présente, quant à lui, les conclusions de cette thèse ainsi que quelques
perspectives de recherches en lien avec ce travail.

3
Chapitre 1

Rappels : travaux séminaux

1.1 Contexte
Dans ce chapitre, H désigne un espace de Hilbert réel pour lequel on note ⟨., .⟩
le produit scalaire et ∥ . ∥ := ⟨., .⟩, la norme associée. Considérons le problème
p

d’inclusion monotone général suivant

(1.1.1) trouver x∗ ∈ H tel que 0 ∈ Ax∗ + Bx∗ ,

où A : H → 2H et B : H → H sont deux opérateurs maximaux monotones. Nous

présentons quelques algorithmes classiques pour la résolution du problème (1.1.1).
Nous commencerons, par nous restreindre au cas particulier où A = ∂f et B = ∂g
où f, g : H → R ∪ {+∞} sont des fonctions convexes, propres et semi-continues
inférieurement. Avec ces considérations, le problème (1.1.1) devient le problème de
minimisation suivant

(1.1.2) trouver x∗ ∈ H tel que Θ(x∗ ) = min{Θ(x) := f (x) + g(x)}.

x∈H

Nous supposons que S := argminH Θ(x) ̸= ∅ et nous passons en revue les algorithmes
de minimisation classiques ainsi que leurs avantages et inconvénients suivant leur
domaine d’applications et les hypothèses requises sur les fonctions f et g.

5
Chapitre 1 – Rappels : travaux séminaux

1.2 Minimisation de fonctions convexes

Dans cette section, nous rappelons les méthodes classiques de type de descente
de gradient (proximale ou non) et nous étudions leurs différentes évolutions. Notons
que ces méthodes de résolution sont grandement appréciées compte tenu de leur
simplicité et des faibles hypothèses (en général) requises pour leurs convergences.

1.2.1 La méthode de la plus grande pente

Considérons le problème (1.1.2) avec g ≡ 0, c’est-à-dire

(1.2.3) min f (x),

x∈H

où f : H → R est une fonction convexe, propre et continûment différentiable. Les

systèmes dynamiques sont couramment utilisés pour résoudre le problème (1.2.3).
L’un des plus connus est donné par

(1.2.4) ẋ(t) + ∇f (x(t)) = 0.

Notons que les points d’équilibres des trajectoires x(.) générées par (1.2.4) sont
exactement les éléments qui minimisent de f . D’un point de vue pratique, une
discrétisation de (1.2.4) donne pour λk > 0

xk+1 − xk
(1.2.5) + ∇f (xk ) = 0 ⇐⇒ xk+1 = xk − λk ∇f (xk ).
λk

Cette méthode générale est connue sous le nom de « méthode de la plus grande pente »
ou « méthode de descente de gradient ». Il existe plusieurs variantes basées sur la
descente de gradient (à pas fixe, à pas optimal, etc.) suivant les valeurs prises par la
suite (λk ). Lorsque f est à gradient lipschitzien, la méthode de descente du gradient
associée au problème (1.2.3) possède un taux de convergence en valeurs suivant

(1.2.6) f (xk ) − f (x∗ ) = O(k −1 ),

(voir [83, Corollary 2.1.2]) et si de plus f est fortement convexe, alors

(1.2.7) f (xk ) − f (x∗ ) = O(ρk ),

6
 1.2. Minimisation de fonctions convexes

pour un certain 0 < ρ < 1 (voir [83, Theorem 2.1.15]), ce qui représente une
convergence linéaire.

1.2.2 La méthode des sous-gradients

Bien que la méthode de descente de gradient génère un algorithme simple à implé-
menter et nécessite des hypothèses relativement faibles, celle-ci requiert néanmoins
que la fonction à minimiser soit différentiable. Ainsi, la méthode de la descente de
gradient ne s’applique pas à une fonction F non différentiable, ce qui est notamment
le cas lorsque l’on considère le problème (1.1.2) avec une fonction g non différentiable.
Afin de contourner ce problème, une autre approche consiste à remplacer le gradient
par la notion de sous-gradient.

Définition 1.2.1. Soit f : H → R ∪ {+∞} une fonction convexe propre. On dit que
u ∈ H est un sous-gradient de f en x ∈ dom f si

(1.2.8) ∀y ∈ H, f (y) ≥ f (x) + ⟨u, y − x⟩.

L’ensemble des sous-gradients de f en x est appelé sous-différentiel de Fenchel

de f en x et est noté ∂f (x). Autrement dit, on a

(1.2.9) ∂f (x) := {u ∈ H | ∀y ∈ H, f (y) ≥ f (x) + ⟨u, y − x⟩}.

Dans le cas où x ∈ H\ dom f , on pose ∂f (x) = ∅.

Remarque 1.2.1. Notons que ∂f peut être vu comme un opérateur multivoque de H

dans 2H et que lorsque f est différentiable dans la Définition (1.2.1), nous avons pour
tout x ∈ H, ∂f (x) = {∇f (x)}. De plus, d’après la Définition (1.2.1), on observe
qu’un élément x∗ ∈ H minimise f sur H si et seulement si 0 ∈ ∂f (x∗ ).

Lorsqu’on ne suppose plus la régularité de la fonction f , l’équation (1.2.4) devient

l’équation du gradient généralisé.

(1.2.10) ẋ(t) + ∂f (x(t)) ∋ 0.

Cette dernière a été étudiée par plusieurs auteurs (voir [21, 35]). Ceux-ci ont notam-
ment démontré la convergence faible des trajectoires vers un élément de argminH f ,

7
Chapitre 1 – Rappels : travaux séminaux

dès lors que argminH f =

̸ ∅. Ce résultat invite alors à considérer une discrétisation
de (1.2.10) comme alternative à la méthode (1.2.5), via l’algorithme donné pour
(λk ) ⊂]0, +∞[ par :

(1.2.11) xk+1 = xk − λk gk où gk ∈ ∂f (xk ).

La méthode des sous-gradients conserve la simplicité de celle de la descente de

gradient. Cependant, contrairement à celle-ci, il peut arriver que −gk ne soit pas une
direction de descente de f en xk (voir [29]). Ainsi, à chaque itération, il est nécessaire
de garder à jour une liste conservant la trace de la plus petite valeur de f (xk ) jusqu’à
l’itération courante, pour cela, la quantité fk∗ suivante est considérée

(1.2.12) fk∗ := min f (xi ),

i=0,1,...k

la suite (fk∗ )k≥0 ainsi générée est clairement décroissante. Sous certaines conditions
sur la suite de pas (λk )k∈N et en supposant que la fonction f soit lipschitzienne, il a
été démontré (voir [23, Theorem 8.13] et [83, Theorem 3.2.2]) que
√
(1.2.13) fk∗ − f (x∗ ) = O(1/ k),

où f (x∗ ) est une valeur optimale de f . Et si de plus, on suppose f fortement convexe,

alors

(1.2.14) fk∗ − f (x∗ ) = O(1/k).

On constate alors que la méthode des sous-gradients se révèle être moins performante
que la descente de gradient. Ainsi l’utilisation des sous-gradients pour résoudre le
problème (1.1.2) ne permet pas d’avoir une convergence comparable à la descente de
gradient donné par l’algorithme 1. Une autre approche s’avère donc nécessaire.

1.2.3 La méthode de descente proximale

Considérons toujours le problème (1.1.2) avec g ≡ 0, c’est-à-dire

(1.2.15) min f (x),

x∈H

8
 1.2. Minimisation de fonctions convexes

avec cette fois une fonction f : H →] − ∞, +∞] convexe, propre et semi-continue

inférieurement.

Définition 1.2.2 (Opérateur proximal). Soit f : H →] − ∞, +∞] une fonction

convexe propre et semi-continue inférieurement. On appelle opérateur proximal
de f de paramètre λ > 0 l’opérateur proxλf défini pour tout x ∈ H par
 
1
(1.2.16) 2
proxλf (x) := argmin f (v) + ∥v − x∥2 .
v∈H 2λ

Remarque 1.2.2. Notons que pour x ∈ H, la fonction f (.) + 1/(2λ)∥. − x∥22

intervenant dans (1.2.16) est fortement convexe et n’est pas partout égale à +∞,
celle-ci admet donc un unique élément v ∗ minimisant f (v) + 1/(2λ)∥v − x∥22 pour
tout v ∈ H. Ainsi l’opérateur proxλf donné par (1.2.16) est bien défini.

Une méthode développée vers 1970 par Martinet [75, 76] (voir aussi [69, 89])
consiste à choisir x0 ∈ H ainsi qu’une suite (λk ) ⊂]0, +∞[ et effectuer pour k ≥ 0

(1.2.17) xk+1 = proxλk f (xk ).

Remarque 1.2.3. Rappelons que l’opérateur proximal peut être vu comme une
généralisation de l’opérateur de projection [22, 45]. En effet, lorsque f := ιC est la
fonction indicatrice d’un convexe fermé C ⊂ H alors pour tout λ > 0 on a

1 1
 
proxλf (x) = argmin ιC (v) + 2λ
∥v − x∥22 = argmin 2λ
∥v − x∥22 = PC (x),
v∈H v∈C

où PC désigne l’opérateur de projection sur C.

Notons par ailleurs que pour f ≡ 0, on obtient pour tout λ > 0
 
1
(1.2.18) proxλf (x) = argmin ∥v − x∥22 = x.
v∈H 2λ

Remarque 1.2.4. L’opérateur proximal peut aussi être vu comme un moyen de créer
un schéma de descente de gradient implicite. En effet, en supposant que la fonction f
introduite dans la Définition 1.2.2 soit continûment différentiable, une discrétisation
implicite en temps de l’équation différentielle (1.2.4) donne pour λk > 0

xk+1 − xk
(1.2.19) + ∇f (xk+1 ) = 0.
λk

9
Chapitre 1 – Rappels : travaux séminaux

Ainsi, en résolvant l’équation xk+1 + λk ∇f (xk+1 ) = xk pour xk+1 et en utilisant la

définition de l’opérateur résolvante, on obtient (1.2.17).

Le principal défaut de la méthode proximale (1.2.17) est qu’elle est difficile

à mettre en pratique, car, d’après sa définition (1.2.2), à chaque itération il faut
minimiser la quantité f (.)+ 2λ
1
∥.−x∥22 pour x ∈ H, ce qui s’avère être aussi compliqué
que de minimiser f (.) sauf si l’opérateur proximal est simple à calculer. Dans ce
dernier cas, la méthode proximale se révèle être efficace pour résoudre le problème
(1.1.2).
Lorsque la fonction g est prise en compte dans le problème (1.1.2), l’algorithme
(1.2.17) devient l’algorithme de descente de gradient proximal (ou algorithme Forward-
Backward) (voir [34, 55, 89]) donné par

(1.2.20) xk+1 = proxλk g (xk − λk ∇f (xk )),

où (λk ) est une suite réelle strictement positive et où l’application prox est définie par
(1.2.17). À l’aide de la Remarque 1.2.4, on observe que le schéma (1.2.20) combine
une étape de descente explicite (forward) concernant la fonction régulière f et une
étape implicite (backward) concernant la fonction g.
Notons que le schéma (1.2.20) peut s’écrire sous la même forme que (1.2.5),

(1.2.21) xk+1 = xk − λk Mλk (xk ),

où Mλ (x) := λ1 (x−proxλg (x−λ∇f (x))). L’opérateur Mλ est souvent appelé opérateur

gradient généralisé, cette appellation se justifie par le fait qu’en prenant g ≡ 0 dans
l’expression de Mλ , on obtient Mλ = ∇f d’après (1.2.18).
Faisons à présent les hypothèses suivantes :
(A1) f : H →] − ∞, +∞[ est une fonction convexe différentiable dont le gradient
est L-lipschitzien,
(A2) g : H →] − ∞, +∞] est une fonction convexe propre et semi-continue
inférieurement,
(A3) S := argmin(f + g) ̸= ∅.
H

Il a été démontré, sous les hypothèses (A1), (A3) et (A3) ainsi que pour
λk := λ ∈]0, 1/L[, que les itérés xk générés par l’algorithme de la descente de gradient

10
 1.2. Minimisation de fonctions convexes

proximale (1.2.20) convergent faiblement vers un élément de S et vérifient les taux

∥xk+1 − xk ∥ = O(k −1 ) et (f + g)(x) − minH (f + g) = O(k −1 ) (voir [22, 23]). Comme
énoncé dans [44] (voir aussi [88]), cette méthode de converge encore pour λ ∈]0, 2/L[
mais ne permet pas d’avoir une estimation précise de la vitesse de convergence.
Cependant lorsque f est fortement convexe, la suite (xk ) générée par la méthode
de gradient proximale (1.2.20) avec un pas constant λk := λ ∈]0, 2/L[ converge
linéairement vers l’unique élément de S.
Dans la pratique, bien que la méthode de descente proximale soit efficace et
qu’elle ne demande pas trop de contraintes sur les fonctions f et g, elle s’avère est
relativement lente notamment lorsque f n’est pas fortement convexe. Elle est en fait
comparable à la méthode (1.2.5) que l’on retrouve en prenant g ≡ 0 dans (1.1.2)
(voir Remarque (1.2.3)).

1.2.4 Méthodes de gradients (proximales) accélérées : boule

pesante avec frottement, FISTA et AFB
En 1964 Polyak [91] développa une méthode connue sous le nom de « boule
pesante avec frottement » (Heavy-ball with friction), qui s’écrit pour (x0 , x1 ) ∈ H2
et pour k ≥ 0
(
yk = xk + βk (xk − xk−1 ),
(1.2.22) HBF :
xk+1 = yk − λk ∇f (xk ),

où {βk , λk } ⊂]0, +∞[. La différence par rapport à la méthode de gradient classique

est qu’à chaque itération, le point extrapolé yk est utilisé au lieu de xk . L’accélération
obtenue s’explique par le fait que la nouvelle itération est donnée en prenant un pas
qui est une combinaison de la direction xk − xk−1 et de la direction anti-gradient
−∇f (xk ).

Remarque 1.2.5. De nombreux auteurs [2, 6, 10, 61, 56] ont analysé le modèle
continu général provenant de (1.2.22) donné, pour une fonction réelle positive λ, par

(1.2.23) ẍ(t) + λ(t)ẋ(t) + ∇f (x(t)) = 0.

Cette dernière peut être vue comme une amélioration du système (1.2.4) par l’ajout
d’un terme d’amortissement λ(t)ẋ(t). Dans le cas où λ(t) = λ > 0, Alvarez [2]

11
Chapitre 1 – Rappels : travaux séminaux

(voir aussi Attouch-Goudou-Redont [10]) a montré que les trajectoires de (1.2.23)

convergent faiblement vers un élément de argminH f dès lors que f : H → R est
convexe et que argminH f ̸= ∅. D’autres auteurs (voir [36, 37]) se sont intéressés à
(1.2.23) pour une fonction λ(.) plus générale et vérifiant certaines propriétés.

Le schéma (1.2.22) est à la base de nombreux algorithmes de type inertiels. Dans

le cas des méthodes proximales, l’algorithme FISTA (Fast Iterative SoftThreshold
Algorithm), proposé par Beck-Teboulle [24], figure parmi les plus connus. Notons que
bien que le nom de cette méthode fasse référence à l’opérateur « soft-thresholding »,
celle-ci a été étendue à un opérateur plus général. L’algorithme FISTA est basé sur
un schéma proposé en 1983 par Nesterov [81] et repris par Güler [57] qui se présente
sous la forme
 √
1+ 4a2k−1 +1


 a k = 2
,
(1.2.24) FISTA : yk = xk + k−1a −1
(xk − xk−1 ),
 ak

 x
k+1= prox (y − λ ∇f (y )).
λk g k k k

Bien que les schémas (1.2.24) et (1.2.22) fassent tous les deux intervenir un terme
inertiel, la différence majeure se situe dans l’évaluation du gradient. En effet, celle-ci
se fait en yk dans (1.2.24) et en xk pour (1.2.22). Cette différence peut être vu comme
une correction de la direction à prendre pour le calcul de l’itéré xk+1 suivant. Il a été
démontré [24, Theorem 4.4], sous les hypothèses (A1), (A2) et (A3), que la suite
(xk )k≥0 produite par l’algorithme (1.2.24) avec un pas constant λk := λ ∈]0, 1/L]
vérifie (f + g)(x) − minH (f + g) = O(k −2 ) (lorsque k → +∞).

Remarque 1.2.6. Le taux de convergence O(k −2 ) obtenu par(1.2.24) concernant

la convergence en valeur est une amélioration comparée à la méthode de descente
proximale (1.2.20) et ce malgré le fait que les calculs soient essentiellement les
mêmes (i.e, une descente de gradient et un calcul de prox). Notons qu’il n’a pas été
prouvé que la suite des itérés (xk ) générée par la méthode (1.2.24) converge. On doit
cependant à Chambolle-Dossal [40] d’avoir démontré la convergence faible des itérés
(xk ) en utilisant une variante de FISTA, connue sous le nom d’algorithme AFB
(« Accelerated Forward-Backward »). Cette dernière s’écrit pour tout k ≥ 1 par
(
k−1
yk = xk + k+α (xk − xk−1 ),
(1.2.25) AFB :
xk+1 = proxλg (yk − λ∇f (yk )).

12
 1.3. Minimisation stochastique : cas du machine learning

Attouch-Peypouquet [14] ont démontré, pour α > 3, que la suite (xk )k générée par
(1.2.25) satisfait Θ(xk ) − Θ(x∗ ) = o(k −2 ) (où x∗ ∈ S) ainsi que ∥xk+1 − xk ∥ = o(k −1 )
où k désigne le nombre d’itérations.

Notons que plusieurs auteurs [16, 19, 20, 105] ont étudié le modèle continu associé
à (1.2.25) (dans le cas non proximal) donné par

α
(1.2.26) ẍ(t) + ẋ(t) + ∇f (x(t)).
t

Cette équation est à rapprocher de (1.2.23) dans le cas particulier où λ(t) = αt−1
avec α > 0, ce dernier terme agissant comme un amortissement visqueux (autrement
dit qui tend lentement vers 0). Il a notamment été prouvé (voir [16]) que, pour α ≥ 3,
les trajectoires générées par (1.2.26) vérifient f (x(t)) − minH f = O(t−2 ) lorsque
t → +∞.

1.3 Minimisation stochastique : cas du machine

learning

1.3.1 Minimisation convexe régularisée

Considérons le problème de minimisation structuré (1.1.2)

(1.3.27) trouver x∗ ∈ H tel que Θ(x∗ ) = min{Θ(x) := f (x) + g(x)},

x∈H

où les fonctions f et g sont telles que

(B1) f := n1 ni=1 fi où chaque fi : H → R sont des fonctions convexes et
P

différentiables,
(B2) g : H → R ∪ {−∞, +∞} est une fonction convexe propre et inférieurement.
On retrouve couramment ce type de problème en statistique et en machine
learning pour effectuer des régressions ou des classifications régularisées. Pour des
données d’entraînement (ai , bi ), les fonctions fi les plus couramment utilisées sont
— Lasso : avec fi (w) := 21 (bi − ⟨x, ai ⟩)2 et g(x) := µ∥x∥1 ,
— Ridge régularisée : fi (x) := 21 (bi − ⟨x, ai ⟩)2 et g(w) := µ∥w∥22 ,
— Logistique régularisée : fi (x) := ln(1 + exp(−bi ⟨x, ai ⟩)), et g(x) = µ∥x∥1
(ou alors g(w) = µ∥x∥22 ),
— Elastic net : fi (x) := ln(1 + exp(−bi ⟨x, ai ⟩)), et g(x) = µ1 ∥x∥1 + µ2 ∥x∥22 .

13
Chapitre 1 – Rappels : travaux séminaux

L’ajout d’un terme régularisateur g par rapport au problème (1.3.28) se justifie

par le besoin d’éviter le surapprentissage (« overfitting » en anglais), un phénomène
qui intervient lorsque les valeurs obtenues par l’algorithme s’adaptent trop parfai-
tement aux données d’apprentissage et ne permettent pas de généraliser le modèle
prédictif. On se retrouve alors avec un modèle qui épouse parfaitement les données
d’entraînement, mais qui prédit très mal de nouvelles données. Le but de la régulari-
sation est de pénaliser les valeurs extrêmes des paramètres lors de l’apprentissage
(entraînement), car en effet, ces valeurs sont généralement dues à un surapprentissage.
La Figure 1.3.1 illustre deux cas de surapprentissage. L’un lors d’une classification
(a) et l’autre lors d’une régression (b). Concernant, l’image (a), la courbe en vert
représente un cas de surapprentissage, car bien que cette dernière sépare effectivement
les points bleus des points rouges, la courbe ainsi obtenue ne permet pas une généra-
lisation lors de l’ajout d’un nouveau point (bleu ou rouge). De même, concernant
l’image (b) de la Figure 1.3.1, la courbe en bleu illustre un cas de surapprentissage
lors d’une régression. Dans les deux images (a) et (b), la courbe en noir, bien que
n’étant pas parfaite (car ne séparant ou ne passant pas par tous les points) est
malgré tout une courbe idéale car elle est simple et permet d’obtenir facilement des
prédictions pour de nouvelles données.

(a) Classification (b) Régression

Figure 1.3.1 – Phénomène de surapprentissage1 2 .

1. [Link]
2. [Link]

14
 1.3. Minimisation stochastique : cas du machine learning

1.3.2 Méthodes de descente de gradient stochastiques

Dans cette section, nous rappelons la méthode de descentes de gradient stochas-
tique ainsi que ces différentes évolutions. Dans un premier, nous nous restreignons
au cas de (1.3.27) avec g ≡ 0, c’est à dire au problème suivant
n
1X
(1.3.28) min f (x) := fi (x).
x∈H n i=1

Si l’on effectue la méthode de descente de gradient classique pour résoudre le problème

(1.3.28), nous devons exécuter l’itération suivante

(1.3.29) GD : xk+1 ← xk − λk ∇f (xk ),

avec (λk ) ⊂ R+ et où ∇f désigne le gradient de f . D’après (1.2.6) et (1.2.7), la

suite (xk )k∈N générée par le schéma (1.3.29) donne, dans le cas où λ est constant,
un taux de convergence en valeurs sous-linéaire, et lorsque f est de plus fortement
convexe, un taux de convergence linéaire. Bien que ce dernier taux de convergence soit
intéressant, on remarque cependant que pour déterminer l’itéré xk+1 dans (1.3.29), il
est nécessaire de calculer le gradient entier de f donné par ∇f = (1/n) ni=1 ∇fi ,
P

constitué des n gradients ∇fi . Cela conduit alors à effectuer beaucoup d’opération
et de calculs à chaque itération, et de plus cette complexité s’accroît linéairement
à mesure que n augmente. Ce schéma se révèle alors être mal adapté au problème
(1.3.30). Une méthode devenue classique permettant de surmonter cette difficulté,
tout en gardant la forme générale et la simplicité du schéma (1.3.29), consiste à
remplacer le gradient ∇f par un estimateur sans biais ∇k de celui-ci, de telle sorte
que E(∇k ) = ∇f (xk ). Il s’agit là de l’idée générale des méthodes de gradient dites
« stochastiques ».
Les méthodes de type gradient stochastiques ne sont pas récentes et remontent
aux années 1950 [64, 96], mais elles se sont beaucoup développées ces dernières
années compte tenu du développement du machine-learning et de la simplicité de
leur implémentation [27, 28, 102].

15
Chapitre 1 – Rappels : travaux séminaux

Dans sa version la plus simple, l’algorithme de gradient stochastique consiste à

effectuer à chaque itération

(1.3.30) SG : xk+1 ← xk − λk ∇k , avec ∇k := ∇fik ,

où (λk )k∈N ⊂ R+ désigne la longueur du pas (appelé aussi taux d’apprentissage) et

où ik est un indice choisit au hasard de façon uniforme dans {1, . . . , n} à chaque
itération k. Le principal intérêt du schéma (1.3.30) réside dans le fait que l’estimateur
∇k , jouant le rôle du gradient, ne dépend plus de la taille n de l’échantillon considéré.
Ce schéma est donc adapté aux problèmes impliquant un très grand nombre d’obser-
vations fi . Néanmoins cette méthode comporte certains défauts comme la lenteur de
la convergence, car l’estimateur ∇k := ∇fik possède une variance qui ne disparaît
pas au fil des itérations. En effet, même en partant d’une solution optimale x∗ , il
n’y a aucune raison que ∇k (x∗ ) := ∇fik (x∗ ) = 0. Afin de réduire cette variance, on
choisit habituellement la suite (λk )k∈N ⊂ R+ de (1.3.30) comme étant décroissante
(en général de la forme λk = Ck −α avec C > 0 et α ∈]0, 1[), mais cela entraîne un
plus grand nombre d’itérations pour atteindre une solution optimale (voir [92, 93,
100]).
En effet, le taux de convergence de la méthode de descente stochastique (1.3.30)
pour la résolution du problème (1.3.28), que sous certaines conditions (voir [80]) est
√
(1.3.31) E(f (xk ) − f (x∗ ) = O(1/ k),

dans le cas où la fonction f de (1.3.28) est convexe et est

(1.3.32) E(f (xk ) − f (x∗ ) = O(1/k),

lorsque f fortement convexe (voir [80]) où k désigne le nombre d’itération.

Afin d’améliorer la convergence du schéma général (1.3.30), diverses techniques
ont été développées. Nous passons en revue certaines d’entre elles qui sont devenues
par la suite des piliers majeurs pour le développement de nouvelles méthodes de type
stochastiques.

16
 1.3. Minimisation stochastique : cas du machine learning

1.3.3 Quelques techniques de réduction de variance

[Link] Mini-lots (minibatch)

Comme mentionné précédemment, la lenteur de la convergence du schéma général

de la méthode de descente de gradient stochastique (1.3.30) provient en premier lieu
du terme ∇k . Ce dernier n’étant qu’un estimateur du gradient de f , il possède une
certaine variance qui ne disparaît pas à mesure que le nombre d’itérations grandit.
Une des idées les plus simple pour construire un estimateur ∇k plus précis consiste à
utiliser non pas un seul échantillon fi pour l’estimateur du gradient dans (1.3.30)
mais une sélection de fi où i ∈ Ik = [i1 , i2 , . . . , ic ] avec card(Ik ) = c ∈ N∗ , autrement
de prendre ∇k de la façon suivante :

b
1X
(1.3.33) ∇k := fi .
c j=1 j

Cette méthode permet d’obtenir un meilleur estimateur du gradient, cependant

celle-ci s’avère est plus coûteuse en terme de calculs comparée à (1.3.30).

[Link] Un estimateur plus précis

Plutôt que d’utiliser une suite (λk )k∈N décroissante afin de diminuer la variance,
il s’avère plus judicieux d’avoir un meilleur estimateur du gradient ∇f , i.e, remplacer
∇k := ∇fik dans (1.3.30) par un nouvel estimateur de telle sorte que la variance de
ce nouvel estimateur diminue (en moyenne) au fil des itérations. D’abord Johnson et
Zhang [63] pour le cas d’une seule fonction f puis Xiao et Zhang [109] pour la version
proximale (correspondant au problème (1.3.27)) proposèrent de choisir l’estimateur

(1.3.34) ∇k := ∇fik (xk ) − ∇fik (xs ) + ∇f (xs ),

où ik est choisi au hasard et de manière uniforme dans {1, . . . , n} et où xs est un

itéré que l’on garde en mémoire et que l’on met à jour toutes les m (avec m ≥ n)
itérations.

On constate alors que les tentatives de réduction de la variance pour les algorithmes
de type stochastiques induisent une quantité de travail et un coût supplémentaire.

17
Chapitre 1 – Rappels : travaux séminaux

1.3.4 Quelques techniques d’accélération de convergence

[Link] Utilisation de pas constants

Si l’on fait le choix d’utiliser des pas (λk ) constant au lieu de pas décroissant,
alors la convergence de la méthode stochastique (1.3.30) peut se décomposer en
deux cas (voir [67] et [79, Proposition 2.4]). Le premier cas va dépendre de k et
converger linéairement vers 0 tandis que le deuxième cas sera indépendant de k mais
ne convergera pas vers 0. Ainsi, avec un pas λk = λ constant, l’itération (1.3.30) aura
une convergence linéaire jusqu’a un certain point pour lequel les valeurs oscilleront
et en général les itérations n’iront pas plus loin, car, la convergence de la méthode
(1.3.30) avec un pas constant n’a été démontrée que sous des hypothèses très fortes
sur les fonctions fi (voir [104]).

[Link] Ajout d’un terme inertiel

En plus des divers choix de l’estimateur ∇k du gradient pour réduire la variance

et de l’utilisation de pas constants, il est possible de recourir à des techniques d’accé-
lération de type déterministe afin d’accélérer la convergence des itérés. Citons par
exemple les algorithmes développés par Nitanda [85] et Allen-Zhu [1] qui combinent
un terme inertiel de type Nesterov (voir [23, 24, 81]) avec les méthodes de réduction
de variance énoncé dans les section précédentes.

18
 1.4. Cas général des inclusions monotones

1.4 Cas général des inclusions monotones

Considérons le problème d’inclusion générale (1.1.1)

(1.4.35) trouver x∗ ∈ H tel que 0 ∈ Ax∗ + Bx∗ ,

où A et B sont des opérateurs A et B vérifiant les conditions suivantes

(C1) A : H → 2H est un opérateur maximal monotone,
(C2) B : H → H est un opérateur maximal monotone et 1/β-cocoercif,
(C3) zer(A + B) ̸= ∅.

1.4.1 La méthode du point proximal

Dans le cas particulier où B ≡ 0, le problème (1.4.35) devient simplement

(1.4.36) trouver x∗ ∈ H tel que 0 ∈ Ax∗ .

Une des méthodes parmi les plus couramment utilisées pour résoudre (1.4.36) est la
méthode du point proximal qui consiste à effectuer pour x0 ∈ H et (λk ) ⊂]0, +∞[
l’algorithme suivant

(1.4.37) PPA : xk+1 = JλAk (xk ),

où JλAk est l’opérateur résolvante de A d’indice λk . Sous l’hypothèse zer(A) ̸= ∅ ainsi

que sous certaines conditions sur la suite (λk ), Rockafellar [97] et Brézis-Lions [32]
ont prouvé que la suite (xk ) générée par (1.4.37) converge faiblement vers un élément
x∗ ∈ zer(A). Güler ([58, Corollary 5.1]), quant à lui donna un contre-exemple pour
lequel la suite (xk ) converge faiblement, mais pas fortement. Notons que lorsque A
est supposé fortement monotone, alors la suite (xk ) générée par la méthode PPA
converge fortement (et linéairement) vers l’unique élément zer(A) (voir [22, Example
23.40]).
Observons que le schéma (1.4.37) est une généralisation du schéma (1.2.17) dans
le cas où A est un opérateur maximal monotone quelconque et que la méthode
(1.4.37) provient d’une discrétisation implicite en temps du système

(1.4.38) ẋ(t) + Ax(t) ∋ 0,

19
Chapitre 1 – Rappels : travaux séminaux

qui correspond au cas général de (1.2.10). La méthode (1.4.37) a, par la suite, fait
l’objet de nombreuses variantes relaxées et inertielles (voir [3, 8, 12, 13, 46]) dans le
but d’obtenir des taux de convergence similaires à ceux atteints dans le cadre de la
minimisation convexe.

1.4.2 Méthodes d’éclatement

Lorsque A + B est maximal monotone dans (1.4.35), l’approche directe consistant
à effectuer la méthode du point proximal à l’opérateur A + B n’est envisageable
que dans le cas où la résolvante de l’opérateur A + B est simple à calculer, ce qui
est rarement le cas en pratique. Ainsi, une astuce devenue classique par la suite est
d’« éclater » le problème (1.4.35) en utilisant les résolvantes de A et de B.

Algorithme de Douglas-Rachford

Un des algorithmes d’éclatement les plus connus et ne nécessitant pas d’hypothèses

fortes sur les opérateurs A et B est la méthode Douglas-Rachford (D-R en abrégé)
(voir, par exemple, [69]) dont la forme générale est donnée pour x0 ∈ H par

(1.4.39) D-R : xk+1 = (JλA (2JλB − I) + (I − JλB ))(xk ).

Sous la condition zer(A + B) ̸= ∅, l’algorithme de D-R génère des suites (xk ) qui
convergent faiblement vers un élément x∗ ∈ H vérifiant JλB (x∗ ) ∈ zer(A + B) (voir
[22, Theorem 26.11]). Cependant, bien que la méthode (1.4.39) ne nécessite pas
d’hypothèses particulières sur les opérateurs A et B, celle-ci requiert néanmoins le
calcul des résolvantes de A et de B, ce qui peut s’avérer coûteux en pratique, voire
restrictif lorsque la résolvante d’un des opérateurs est difficile à calculer.

Algorithme Forward-Backward

Lorsque l’opérateur B est univoque, une autre approche pour résoudre (1.1.1)
consiste effectuer l’algorithme « Forward-Backward » [69, 89]

(1.4.40) FB : xk+1 = JλAk (xk − λk Bxk ).

La méthode FB est une généralisation de la méthode de gradient proximal (1.2.20)

dans le cas où les sous-différentiels des fonctions sont remplacés par des opérateurs

20
 1.4. Cas général des inclusions monotones

maximaux monotones plus généraux. Notons que lorsque B ≡ 0, la méthode FB se

réduit la méthode PPA. Sous les hypothèses (C1)-(C3) ainsi que pour λ ∈]0, 2β[,
il a été démontré (voir par exemple [22, Theorem 25.8]) que la méthode FB génère
des suites (xk ) faiblement convergentes. En particulier, lorsque A est α-fortement
monotone ou lorsque B est à la fois fortement monotone et cocoercif, les itérés générés
par le schéma (1.4.40) convergent linéairement vers un élément de zer(A + B) (voir
[22, Proposition 25.9]).

Algorithme Forward-Backward-Forward

Afin d’assouplir l’hypothèse de cocoercivité requise par l’algorithme FB, Tseng

[106] proposa la méthode suivante connue sous le nom de « Forward-Backward-
Forward »
(
yk = JλA (xk − λBxk ),
(1.4.41) FBF :
xk+1 = yk + λBxk − λByk .

Sous la condition zer(A + B) ̸= ∅ et moyennant quelques évaluations supplémen-

taires de l’opérateur B, ce schéma produit des suites (xk ) et (yk ) qui convergent
faiblement vers un élément de zer(A+B) et requiert seulement que B soit lipschitzien
(voir [22, Theorem 26.17]).

21
Chapitre 2

Un modèle général du premier ordre pour

des dynamiques continues de type Newton
gouvernées par des opérateurs maximaux
monotones

2.1 Résumé et principaux résultats

Soit H un espace de Hilbert réel pour lequel nous notons ⟨., .⟩ le produit scalaire et
∥ . ∥ la norme associée. L’objectif de ce chapitre est de proposer un système dynamique
dissipatif de type Newton dans le but d’offrir un cadre adapté à la conception de
nouvelles méthodes d’approximation, à la fois performante et peu coûteuse en
calcul, concernant deux problèmes d’optimisation particuliers : la minimisation d’une
fonction convexe Φ : H → R et le calcul d’un zéro d’un opérateur maximal monotone
A : H → 2H .
La plupart des modèles concernant les méthodes accélérées se basent sur une
dynamique de type Newton du second ordre faisant intervenir la Hessienne d’une
fonction objectif ou la dérivée d’un opérateur dépendant du temps. Nous proposons
un système dynamique ne faisant pas intervenir ces derniers termes, ceci dans le but
de concevoir des algorithmes (via une discrétisation), sans termes encombrants ni
hypothèses restrictives sur les opérateurs.

23
Chapitre 2 – Un modèle général du premier ordre pour des dynamiques continues de type Newton
gouvernées par des opérateurs maximaux monotones

Dans un premier temps, nous supposons Φ de classe C 2 et nous considérons

l’équation du second ordre suivante

(2.1.1) ẍ(t) + τ (t)ẋ(t) + β dtd (∇Φ(x(t)) + εAλ(t) x(t)) + η(t)(∇Φ(x(t)) + εAλ(t) x(t)) = 0,

où ∇Φ désigne le gradient de Φ, Aλ est l’approximation de Yosida de A d’indice

λ > 0, et où les paramètres sont donnés par :

(2.1.2) ε ≥ 0, β = 1, τ (.) = κ − θ − θ̇
θ
et η(.) = κ − θ̇θ ,

où κ et θ(.) désignent respectivement une constante et une fonction réelle strictement

positives. Plus précisément, θ sera choisi de la forme

κν(t) − ν̇(t)
(2.1.3) θ(t) = ,
ν(t) + e

où e est une constante strictement positive et ν une fonction réelle strictement

positive (ν̇ désigne la dérivée de ν).

Nous montrons, via la proposition suivante, que (2.1.1)-(2.1.2)-(2.1.3) est équi-

valent à un système dynamique du premier ordre.

Proposition 2.1.1. Supposons que Φ : H → R soit deux fois continûment différen-

tiable et que A : H → 2H soit un opérateur maximal monotone. Soient κ > 0 ainsi
que θ et λ deux fonctions strictement positives de classe C 1 sur [0, +∞[. Supposons
qu’il existe λm > 0 tel que λ(t) ≥ λm > 0 pour t ≥ 0. Alors, pour tout (x0 , ẋ0 ) ∈ H2 ,
les assertions (i1) et (i2) suivantes sont équivalentes :
(i1) x : [0, +∞[→ H est une solution classique de (2.1.1) avec ẋ(0) = ẋ0 , x(0) = x0 .
(i2) (x, y) : [0, +∞[→ H2 , pour un certain y ∈ C 1 ([0, +∞[: H), est une solution de
classe C 2 × C 1 du système
(
ẋ + ∇Φ(x) + εAλ(.) x + θ(.)(y − x) = 0,
(2.1.4)
ẏ + κ(y − x) = 0,

1
avec x(0) = x0 et y(0) = − θ(0) (ẋ0 + ∇Φ(x0 ) + εAλ(0) x0 ) + x0 .

24
 2.1. Résumé et principaux résultats

La proposition précédente permet de nous intéresser exclusivement au système

dynamique (2.1.4), qui non seulement possède toujours du sens lorsque Φ n’est que
de classe C 1 mais s’avère aussi plus simple à manipuler.
Par la suite, nous faisons les hypothèses suivantes :

(H1) Φ : H → R est une fonction convexe différentiable et son gradient

∇Φ est lipschitzien sur les sous-ensembles bornés de H,
(H2) A : H → 2H est un opérateur maximal monotone,
(H3) S := (ϵA)−1 (0) ∩ (∇Φ)−1 (0) ̸= ∅.

Puis, nous démontrons l’existence et l’unicité des solutions de (2.1.4) via la

proposition suivante.

Proposition 2.1.2. Soit Φ : H → R une fonction et A : H → 2H un opérateur

vérifiant les conditions (H1)-(H3). Soit κ > 0 et considérons des applications réelles
λ(.) et θ vérifiant :

(2.1.5) λ ∈ C 0 ([0, +∞[) et, pour t ≥ 0, λ(t) ∈ [λm , +∞[ ,

(2.1.6) θ ∈ C 0 ([0, +∞[) et, pour t ≥ 0, θ(t) ∈ [0, θM ]),

pour certaines constantes strictement positives λm et θM . Alors pour toutes données

initiales (x0 , y0 ) ∈ H2 , il existe une unique solution classique globale (x, y) du système
(2.1.4) vérifiant (x(0), y(0)) = (x0 , y0 ).

Dans le but d’obtenir des résultats asymptotiques concernant les trajectoires

générées par le système (2.1.4), les conditions suivantes seront requises :

(2.1.7a) ν(.) est positive, de classe C 2 et croissante sur [0, +∞[,

(2.1.7b) ν̇
ν
est décroissante et ν̇
ν
< κ sur [0, +∞[, (i.e ρ > 0 et ρ ↗),
(2.1.7c) il existe M > 0 tel que supt≥0 |ν̇(t)| ≤ M.

Des conditions supplémentaires sur ν seront aussi nécessaires afin d’obtenir la

convergence faible des trajectoires vers un équilibre :

25
Chapitre 2 – Un modèle général du premier ordre pour des dynamiques continues de type Newton
gouvernées par des opérateurs maximaux monotones

(2.1.8) ν(t) → +∞, ν̇(t) → l ∈ [0, +∞[, ν̈(t) → 0 (lorsque t → +∞),

(2.1.9) ν ∈ C 3 ([0, +∞[).

De plus, les paramètres λ(.) et e sont choisis de telle sorte que

(2.1.10a) 0< 2M
ρ(0)
< e, où ρ(0) = κ − ν̇(0)
ν(0)
.
(ν + e)2
(2.1.10b) λ = λc , pour une constante λc > ( 4ϵ ) inf s∈( 2M ,e) 1
s(e−s)
.
θ ρ(0)

S’agissant du cas ϵ > 0 (autrement dit lorsque Aλ est pris en compte dans (2.1.4))
nous considérons les hypothèses supplémentaires suivantes :
Z +∞
ϵ
(2.1.11) ϵν ∈ L ([0, +∞[) et
(3) ∞
3
dt < +∞.
0 ν (t)

En tenant compte des hypothèses précédentes, nous démontrons le théorème

suivant qui concerne le comportement asymptotique des solutions générées par (2.1.4).

Théorème 2.1.1. Soient Φ : H → R et A : H → 2H vérifiant (H1)-(H3).

Supposons que (x, y) : [0, +∞[→ H2 soit une solution classique globale de (2.1.4), où
{κ, e} ⊂]0, +∞[ et où ν(.) et λ(.) satisfont respectivement (2.1.7) et (2.1.10). Alors
nous avons les propriétés suivantes :
R +∞
(2.1.12) 0 ν(t)(Φ(x(t)) − inf H Φ) dt < +∞,
R +∞ R +∞
(2.1.13) 0 ν(t)∥ẋ(t)∥2 dt < +∞, 0 ν(t)∥y(t) − x(t)∥2 dt < +∞,
R +∞ 2 R +∞
(2.1.14) 0 ϵλ(t)ν(t) Aλ(t) x(t) dt < +∞, 0 ν 2 (t)∥∇Φ(x(t))∥2 dt < +∞,
(2.1.15) Φ(x(t)) − inf H Φ = o(ν −2 (t)),
(2.1.16) ∥y(t) − x(t)∥ = o(ν −1 (t)), ∥ẋ(t) + ∇Φ(x(t)) + ϵAλ(t) x(t)∥ = o(ν −1 (t));
Si , de plus, ν(.) satisfait (2.1.8)-(2.1.11) , alors :
(2.1.17) ∥ẋ(t)∥ = o(ν −1 (t)),
(2.1.18) lim ϵλ(t)∥Aλ(t) x(t)∥ = 0,
t→+∞

(2.1.19) ∃x̄ ∈ S t.q x(.) ⇀ x̄ faiblement dans H.

Dans le cas particulier où ν(t) = M t + ν0 (pour certaines valeurs strictement positives

M et ν0 ), nous avons le résultat suivant.

26
 2.1. Résumé et principaux résultats

Théorème 2.1.2. Soient Φ et A vérifiant (H1)-(H3), soient {κ, e, ν0 , M } ⊂]0, +∞[

tels que ν0 > M κ−1 et e > κν2M ν0
0 −M
. Supposons que (x, y) : [0, +∞[→ H2 est une solu-
0 −M ) t+ν0 +e)3
tion classique globale de (2.1.4), avec θ(t) = M κt+(κν
M t+ν0 +e
et λ(t) = λc (M(M
κt+(κν0 −M ))
1
pour une certaine constante λc > inf 0<s< 2M ν0 s(e−s) . Alors il existe x̄ ∈ S tel que
κν0 −M
x(.) ⇀ x̄ faiblement dans H, et nous avons
R +∞
(2.1.20) 0
t(Φ(x(t)) − inf H Φ) dt < +∞, Φ(x(t)) − inf H Φ = o(t−2 ),
R +∞
(2.1.21) 0
t∥ẋ(t)∥2 dt < +∞, ∥ẋ(t)∥ = o(t−1 ),
R +∞
(2.1.22) 0
t∥y(t) − x(t)∥2 dt < +∞, ∥y(t) − x(t)∥ = o(t−1 ),
R +∞ ϵ
2
(2.1.23) 0 t
λ(t) Aλ(t) x(t) dt < +∞,
R +∞ 2
(2.1.24) 0
t ∥∇Φ(x(t))∥2 dt < +∞,
(2.1.25) ∥∇Φ(x(t)) + ϵAλ(t) x(t)∥ = o(t−1 ),
(2.1.26) lim ϵλ(t)∥Aλ(t) x(t)∥ = 0.
t→+∞

Enfin, en effectuant une discrétisation en temps pour h > 0, nous suggérons deux
algorithmes selon les cas suivants :
– Dans le cas où A = 0 et Φ := Θsm + Θns avec Θsm : H → R une fonction
convexe différentiable et Θns : H → R ∪ {+∞} une fonction convexe et semi-continue
inférieurement, on obtient (pour h > 0)

(2.1.27a) zk = xk − hθk (yk − xk ),

∂(Θns )
(2.1.27b) xk+1 = Jh (zk − h∇(Θsm )(xk )),
(2.1.27c) yk+1 = yk − hκ(yk − xk ).

– Dans le cas où Φ = 0 et A : H → 2H est un opérateur maximal monotone, on

obtient le schéma (pour h > 0)

1+hθk−1
(2.1.28a) zk−1 = yk−1 + κh
(yk − yk−1 ),
λk−1
(2.1.28a) xk = z
λk−1 +h k−1
+ h
JA (z ),
λk−1 +h λk−1 +h k−1

(2.1.28a) yk+1 = (1 − hκ)yk + (hκ)xk .

Notons qu’une seule évaluation du gradient est nécessaire pour effectuer l’algorithme
(2.1.27) et une seule évaluation proximale de A est requise pour (2.1.28).

27
Chapitre 2 – Un modèle général du premier ordre pour des dynamiques continues de type Newton
gouvernées par des opérateurs maximaux monotones

2.2 Article en anglais

FIRST-ORDER FRAMEWORKS FOR CONTINUOUS
NEWTON-LIKE DYNAMICS GOVERNED BY
MAXIMALLY MONOTONE OPERATORS1

Abstract
In a Hilbert framework, we discuss a continuous Newton-like model that is well-
adapted in view to numerical purposes for solving convex minimization and more
general monotone inclusion problems. Algorithmic solutions to these problems were
recently inspired by implicit temporal discretizations of the (stabilized) continuous
version of Nesterov’s accelerated gradient method with an additional Hessian damping
term (so as to attenuate the oscillation effects). Unfortunately, due to the presence
of the Hessian term, these discrete variants require several gradients or proximal
evaluations (per iteration). An alternative methodology can be realized by means
of a first-order model that no more involves the Hessian term and that can be
extended to the case of an arbitrary maximally monotone operator A. Our first-
order model originates from the reformulation of a closely related variant to the
Nesterov-like equation. Its dynamics are studied (simultaneously) with regard to
convex minimization and monotone inclusions by considering it when governed by
the sum of the gradient of a convex differentiable function and (up to a multiplicative
constant) the Yosida approximation of a maximally monotone operator, with an
appropriate adjustment of the regularization parameter. It turns out that our model,
offers a new framework for discrete variants, while keeping the main asymptotic
features of the (stabilized) Nesterov-like equation. Two new algorithms are then
suggested relative to the considered optimization problems.

Key words : Asymptotic behavior · first-order differential equation · dissipative

systems · maximal monotone operators · potential and non-potential operators ·
cocoercive operators · Yosida approximation · coupled systems · Nesterov acceleration
· Newton-like convergence

1. Labarre, F., Maingé, PE. First-Order Frameworks for Continuous Newton-like Dynamics
Governed by Maximally Monotone Operators. Set-Valued Var. Anal (2021). [Link]
1007/s11228-021-00593-1

28
 2.2. Article en anglais

Mathematics Subject Classification (2010) MSC 37N40 · MSC 46N10 · MSC

49M30 · 26 MSC 65K05 · MSC 65K10 · MSC 90B50 · MSC 90C25

2.2.1 Introduction
Let H be a real Hilbert space with inner product and induced norm denoted by ⟨., .⟩
and ∥.∥, respectively. The purpose of this paper is to propose fast continuous Newton-
like dynamics that are intended to offer a well-adapted framework for the design of
new performing (reliable and computationally cheap) approximation methods for
two particular problems : the minimization of a convex function Φ : H → R and the
computation of a zero of an arbitrary maximally monotone operator A : H → 2H .
These are issues of great importance that encompass many real-world problems
arising in equilibrium theory and game theory (in the economic field) but also in
partial differential equations to name but a few [25, 33, 50, 95] (also see [26, 48, 98,
105] for related topics).
The above methodology is commonly used in optimization, by considering appro-
priate discrete counterparts of evolution equations whose trajectories are anchored to
the solution set of some considered problem. Nonetheless, such a continuous model
is required to have a nice form so as to avoid the presence of some constraining
terms that can lead to numerical methods that are computationally expensive or of
limited effectiveness in applications. This applies even more now that most of the
pertinent models (dedicated to the development of speed up optimization processes)
rely upon second-order Newton-like dynamics that involves the Hessian of an objec-
tive function (see, e.g., Attouch-Chbani-Fadili-Riahi [18], Shi-Du-Jordan-Su [103],
for convex minimization) or the derivative of a time-dependent operator (see, e.g.,
Attouch-László [12, 11], for monotone inclusions).
Specifically, we propose simultaneously (from a mathematical viewpoint), for
both the considered problems, a continuous framework with a view to designing
accelerated variants of (existing) related algorithms, without any embarrassing terms
or restrictive assumptions on the involved operators. Two simple algorithms are then
suggested from this setting. In particular, only one proximal evaluation of A, for
approximating its zeroes, will be required per iteration compared with the discrete
model proposed in [12] with the same acceleration purposes. A similar advantage
is also obtained relative to convex differentiable minimization problems. Only one
evaluation of the gradient of Φ will be required per iteration in comparison with the

29
Chapitre 2 – Un modèle général du premier ordre pour des dynamiques continues de type Newton
gouvernées par des opérateurs maximaux monotones

algorithms developed in [18, 103] which involve the difference of gradients of Φ at

two successive iterates (as an approximation of the Hessian of Φ). Below we describe
our strategy.

[Link] A second-order system

Our strategy consists first of considering, when Φ is C 2 and for some β > 0 and
some real-valued functions τ (.) and η(.), the following second-order equation :

d
(2.2.1) ẍ(t) + τ (t)ẋ(t) + β Ψ(t, x(t)) + η(t)Ψ(t, x(t)) = 0,
dt

which is driven by the time-dependent operator Ψ(t, .) = ∇Φ(.) + ϵAλ(t) , where ϵ ≥ 0,

λ(.) is a positive mapping, and Aλ := λ1 (I − (I + λA)−1 ) is the Yosida approximation
of A (with index λ). This model allows us, among others, to cover simultaneously the
continuous approaches to minimization problems and monotone inclusion problems.
Note that important instances of (2.2.1, in which τ (t) = αt−1 (for some α > 0) and
η(t) = 1, were recently considered in the literature. Note indeed that, with these
parameters τ and η, when taking ϵA = 0 (namely ϵAλ = 0), equation (2.2.1) reduces
to

(2.2.2) ẍ(t) + αt−1 ẋ(t) + β∇2 Φ(x(t))ẋ(t) + ∇Φ(x(t)) = 0,

while for Φ = 0 and ϵ = 1 it becomes

d
(2.2.3) ẍ(t) + αt−1 ẋ(t) + β


Aλ(t) x(t) + Aλ(t) x(t) = 0.
dt

Some reminders are given relative to (2.2.2) and (2.2.3) :

- The model (2.2.2), which was investigated by Attouch-Peypouquet-Redont [15],
can be regarded as an over-damped dynamical system that involves two types of
damping : a geometrical damping and an isotropic linear damping with a vanishing
viscous parameter. Its trajectories were proved to be weakly convergent, along with
the convergence rates ∥ẋ(t)∥ = o(t−1 ) (for the velocity), Φ(x(t)) − inf H Φ = o(t−2 )
(for the function values), and a property of fast decay of the gradient illustrated
R +∞
by t0 t2 ∥∇Φ(x(t))∥2 dt < ∞ (for t0 > 0). Note that the algorithms discussed in
[18] were mainly inspired from temporal implicit discretizations of (2.2.2) and other
second-order related models.

30
 2.2. Article en anglais

- The model (2.2.3) has been recently studied by Attouch-László [11]. Its trajecto-
ries, under the conditions α > 1, β ≥ 0 and λ(t) = λ̄t2 with λ̄ > (α−1)−2 , were shown
to be weakly convergent, along with the rates ∥ẋ(t)∥ = o(t−1 ), ∥Aλ(t) x(t)∥ = o(t−2 ),
and the integral estimates
R +∞ R +∞
t0
t∥ẋ(t)∥2 dt < ∞, t0
t−1 (λ(t)∥Aλ(t) x(t)∥)2 dt < ∞ (for t0 > 0).

Let us mention that the numerical process considered by Attouch-László [12] comes
from a temporal implicit discretization of (2.2.3).
It would be interesting to obtain similar results that in [11, 15] by using different
parameters τ and η that primarily lead to a better suited framework for discrete
models.

[Link] An equivalent first-order system

The sequel of our strategy consists of using the appropriate set of parameters :

(2.2.4) β = 1, τ (.) = κ − θ − θ̇
θ
and η(.) = κ − θθ̇ ,

for some κ > 0 and some positive mapping θ(.). Let us discuss the motivations for
these parameters :
- On the one hand, we show (see Proposition 2.2.1) that (2.2.1) can be rewritten
as the first-order differential system

(2.2.5a)
 
ẋ(t) + ∇Φ(x(t)) + ϵAλ(t) x(t) + θ(t)(y(t) − x(t)) = 0,
(2.2.5b) ẏ(t) + κ(y(t) − x(t)) = 0,

which still makes sense when Φ is only C 1 and which can be easily generalized to
the non-smooth case of Φ.
- On the other hand, via (2.2.5) we can obtain closely related models to (2.2.2)
and (2.2.3) when choosing the specific parameter

κν(t) − ν̇(t)
(2.2.6) θ(t) = ,
ν(t) + e

along with some constant e > 0 and some positive and differentiable mapping ν.
Indeed, taking (for instance) ν(t) = M t + ν0 with M > 0 and ν0 > 0, we obtain (see

31
Chapitre 2 – Un modèle général du premier ordre pour des dynamiques continues de type Newton
gouvernées par des opérateurs maximaux monotones

Remark 2.2.3) that the second-order system (2.2.1) holds with parameters τ and η
−1
such that τ (t) ∼ (1+κe)M
t
and η(t) ∼ κ (as t → ∞). This observation suggests that
(2.2.1) with parameters given by (2.2.4) and (2.2.6) (together with an appropriate
choice of ν) asymptotically behaves like (2.2.2) and (2.2.3), while its equivalent
first-order formulation (2.2.5) is highly suitable for numerical purposes.

[Link] An overview of the main results

The evolution system (2.2.5)-(2.2.6) is well-posed (see Proposition 2.2.2) and it

will be considered under the condition S := (∇Φ)−1 (0) ∩ (ϵA)−1 (0) ̸= ∅. This way,
based on the first-order formulation (2.2.5), we will develop a technical analysis so
as to show that its trajectories converge weakly to elements of S. In specific, by the
study of (2.2.5)-(2.2.6) in the potential case (which corresponds to ϵ = 0, or A = 0),
we cover the convergence analysis of the system (relative to convex minimization)

(2.2.7) ẋ(t) + ∇Φ(x(t)) + θ(t)(y(t) − x(t)) = 0, ẏ(t) + κ(y(t) − x(t)) = 0,

while (2.2.5)-(2.2.6) in the non-potential case (which corresponds to ϵ > 0 and

Φ = 0) allows us to cover the convergence analysis of the following system (relative
to monotone inclusions)

(2.2.8) ẋ(t) + Aλ(t) x(t) + θ(t)(y(t) − x(t)) = 0, ẏ(t) + κ(y(t) − x(t)) = 0.

At first sight, the introduction of the coefficient ϵ seems to be optional but

it will be crucial in computations, for a better legibility, especially when using
the co-coerciveness of Aλ in our estimations. Let us underline that the particular
asymptotic properties of the Nesterov-like differential equations (2.2.2) and (2.2.3) are
retrieved for systems (2.2.7) and (2.2.8), respectively. Under convenient assumptions
on the parameters θ and λ we establish (among others) the weak convergence of the
trajectories of (2.2.5)-(2.2.6) towards equilibria together with the following properties
(see Theorems 2.2.1 and 2.2.2) :
R +∞
(2.2.9a) ∥ẋ(t)∥ = o(t−1 ), 0
t∥ẋ(t)∥2 dt < ∞,
(2.2.9b) Φ(x(t)) − inf H Φ = o(t−2 ),
R +∞ 2 R +∞
2
(2.2.9c) 0
t ∥∇Φ(x(t))∥2 dt < ∞, 0
ϵ
t
λ(t) Aλ(t) x(t) dt < ∞,
(2.2.9d) ϵ∥Aλ(t) x(t)∥ = o(t−2 ),

32
 2.2. Article en anglais

where λ(t) ∼ λ̄t2 as t → ∞ (for some constant λ̄). The proof of our convergence
results relies on Lyapunov properties for the functional Es,q related to (2.2.6)-(2.2.5)
and defined for (s, q) ∈ [0, ∞) × S, by

(2.2.10) Es,q = 21 ||s(q − x) + ν(y − x)||2 + s(e−s)

2
∥x − q∥2 + ν(ν+e)
θ
Φ̃(x),

where Φ̃ = Φ − inf H Φ.

[Link] Assumptions

In order to establish our main convergence results for (2.2.5)-(2.2.6), we make

the following assumptions :
(H1) Φ : H → R is convex differentiable and its gradient ∇Φ is Lipchitz
continuous on the bounded subsets of H.
(H2) A : H → 2H is a maximally monotone operator.
(H3) S := (ϵA)−1 (0) ∩ (∇Φ)−1 (0) ̸= ∅.

Given some positive parameters κ and ν(.) we set ρ := κ − νν̇ (if ν is differentiable)
and we assume that the following conditions are satisfied :

(2.2.11a) ν(.) is positive, of class C 2 and non-decreasing on [0, ∞),

(2.2.11b) ν̇
ν
is non-increasing and ν̇
ν
< κ on [0, ∞), (namely ρ > 0 and ρ ↗),
(2.2.11c) there exists M > 0 such that supt≥0 |ν̇(t)| ≤ M.

The parameter λ(.) and the constant e involved in (2.2.6) are assumed to be such
that :

(2.2.12a) 0< 2M
ρ(0)
< e, where ρ(0) = κ − ν̇(0)
ν(0)
.
(ν + e)2
(2.2.12b) λ = λc , with some constant λc > ( 4ϵ ) inf s∈( 2M ,e) 1
s(e−s)
.
θ ρ(0)

The following additional conditions on ν will also be needed so as to reach the

(weak) convergence (to equilibria) of the trajectories :

(2.2.13) ν(t) → +∞, ν̇(t) → l ∈ [0, ∞), ν̈(t) → 0 (as t → ∞),

(2.2.14) ν ∈ C 3 ([0, ∞)).

33
Chapitre 2 – Un modèle général du premier ordre pour des dynamiques continues de type Newton
gouvernées par des opérateurs maximaux monotones

Regarding the case ϵ > 0 (which means that Aλ is taken into account in our
problem) we need the supplementary requirements on ν :
Z +∞
ϵ
(2.2.15) ϵν (3) ∞
∈ L [0, ∞), dt < ∞
0 ν 3 (t)

[Link] Organization of the paper

The present paper is organized as follows. Section 2 exposes some specific results
regarding our model (equivalence between the first and second order systems, existence
and uniqueness of trajectories and basic properties regarding the involved parameters).
Section 3 is devoted to the construction of a Lyapunov functional associated with
our first order system. Section 4 presents our main convergence results. In Section
5 we suggest algorithms issued from discrete variants of our continuous model for
monotone inclusion problems and convex minimization.

2.2.2 Specific results on the considered system

[Link] From a second to a first-order system

Let us expose the equivalence between the two systems (2.2.1) and (2.2.5).

Remark 2.2.1. Let z ∈ (ϵA)−1 (0) (from (H3)), let x : [0, ∞) → H, and assume
that λ(t) ≥ λm > 0 (for t ≥ 0). Then, by Lemma A.1, for any {t1 , t2 } ⊂ [0, ∞) we
readily obtain
∥ϵAλ(t1 ) x(t) − ϵAλ(t2 ) x(t)∥ ≤ 3ϵ |λ(t1 )−λ(t
λ2m
2 )|
∥x(t) − z∥.
Consequently, it is readily checked that the mapping A : t → ϵAλ(t) x(t) is Lipschitz
continuous on bounded intervals of [0, ∞), provided that x and λ are so. This gua-
rantees that A is absolutely continuous on [0, ∞), hence, that it is also differentiable
almost everywhere on [0, ∞).

The following proposition is inspired by a similar result from Alvarez-Attouch-

Bolte-Redont [4].

34
 2.2. Article en anglais

Proposition 2.2.1. Suppose that Φ : H → R is twice continuously differentiable

and that A : H → 2H is maximally monotone. Let κ be some positive constant, let
θ and λ be positive functions of class C 1 on [0, ∞), such that λ is bounded away
from zero, and set τ (.) = κ − θ − θθ̇ , η(.) = κ − θ̇θ and Ψ(t, x) = ∇Φ(x) + ϵAλ(t) x, for
(t, x) ∈ [0, ∞) × H and ϵ ≥ 0. Then, for any (x0 , ẋ0 ) ∈ H2 , the following statements
(i1) and (i2) are equivalent :
(i1) x : [0, ∞) → H is a C 2 solution to the second-order differential equation

(2.2.16) ẍ + τ ẋ + d
dt
Ψ(., x) + ηΨ(., x) = 0,

with ẋ(0) = ẋ0 , x(0) = x0 .

(i2) (x, y) : [0, ∞) → H2 , for some y ∈ C 1 ([0, ∞); H), is a C 2 × C 1 solution to
the first-order system
(
ẋ + Ψ(., x) + θ(y − x) = 0,
(2.2.17)
ẏ + κ(y − x) = 0,

1
with x(0) = x0 and y(0) = − θ(0) (ẋ0 + Ψ(0, x0 )) + x0 .

Proof. Let us prove that (i1) ⇒ (i2). For t ≥ 0 we set

Rt
z(t) = 0 [τ (u)ẋ(u) + η(u)Ψ(u, x(u))] du − (ẋ0 + Ψ(0, x0 )).
Then, integrating (2.2.16) on [0, t] with t ≥ 0 and differentiating z, gives us the
following two equalities

(2.2.18a) ẋ(t) + Ψ(t, x(t)) + z(t) = 0,

(2.2.18b) ż(t) − τ (t)ẋ(t) − η(t)Ψ(t, x(t)) = 0,

with initial conditions (x(0), z(0)) = (x0 , −(ẋ0 + Ψ(0, x0 )). Multiplying (2.2.18a) by
η, and adding the resulting equality to (2.2.18b) allows us to get rid of the term
η(t)Ψ(t, x(t)) in (2.2.18b), so as to obtain

(2.2.19a) ẋ(t) + Ψ(t, x(t)) + z(t) = 0,

(2.2.19b) η(t)ẋ(t) + η(t)z(t) + ż(t) − τ (t)ẋ(t) = 0.

Let us now define y = 1θ z + x. It follows that z = θ(y − x) and ż = θ(ẏ − ẋ) + θ̇(y − x).

35
Chapitre 2 – Un modèle général du premier ordre pour des dynamiques continues de type Newton
gouvernées par des opérateurs maximaux monotones

Using also τ = κ − θ − θ̇
θ
and η = κ − θθ̇ , we can successively rewrite (2.2.19b) as
follows :

0 = η ẋ + ηz + ż − τ ẋ
   
= κ − θ̇θ ẋ + κ − θ̇θ θ(y − x) + θ(ẏ − ẋ) + θ̇(y − x) − 1θ (θ(κ − θ) − θ̇)ẋ

= θẏ + θκ(y − x).

Hence, as θ is positive, we deduce that (x, y) verifies the following system

(2.2.20) ẋ(t) + Ψ(t, x(t)) + θ(t)(y(t) − x(t)) = 0,

(2.2.21) ẏ(t) + κ(y(t) − x(t)) = 0,

with initial conditions (x(0), y(0)) = (x0 , − θ(0) 1

(ẋ0 + Ψ(0, x0 )) + x0 ).
Let us prove that (i2) ⇒ (i1). Differentiating the first equation of (2.2.17) yields
ẍ + dtd Ψ(., x) + θ̇(y − x) + θ(ẏ − ẋ) = 0,
while the second equation of the system gives us ẏ = −κ(y − x). So, by substituting
the previous result into the former equation, we obtain
ẍ + dtd Ψ(., x) + (θ̇ − κθ)((y − x) − θẋ) = 0.
Furthermore, the first equation of (2.2.17) can be rewritten as y − x = − ẋ+Ψ(.,x)
θ
. As
a consequence, the prior second-order
 equation becomes

d θ̇ θ̇
ẍ + dt Ψ(., x) + κ − θ Ψ(., x) + κ − θ − θ ẋ = 0.
This ends the proof. ■

[Link] Basic properties on the involved parameters

Some useful observation regarding the considered parameters are made through
the following remarks.

Remark 2.2.2. Note that θ(.) introduced in (2.2.6) can be rewritten as

νρ
(2.2.22) θ= ,
ν+e

where ρ := κ − νν̇ . This formulation of θ will be very helpful in our upcoming

computations, besides the following arguments :
(i1) From (2.2.22) we have 1θ = ρ1 ( νe + 1). Then, as ν and ρ are assumed to
be positive (from (2.2.11a) and (2.2.11b)), we deduce that θ is positive. Moreover,

36
 2.2. Article en anglais

observing that ρ1 and νe + 1 are non-increasing (from conditions (2.2.11a)-(2.2.11b))

entails that 1θ is so, hence θ is non-decreasing. In addition, from the definition
ρ := κ − ν̇ν , we obviously infer that ρ(t) ∈ (0, κ] for t ≥ 0, and that ρ(t) → κ as
t → ∞ (under condition (2.2.13)). Consequently, by (2.2.22), we obtain θ(t) ∈ (0, κ)
for t ≥ 0 and θ(t) → κ as t → ∞.
(i2) It can be noticed that (2.2.11c) yields 0 < ν(t) ≤ M t + ν(0), which simply
R +∞ 1
leads to 0 ν(t) dt = +∞.
Remark 2.2.3. The following items (j1)-(j3) are also of great importance with
regard to our methodology :
(j1) Let us stress that conditions (2.2.11) and (2.2.13) guarantee that the mappings
τ (.) = κ − θ − θ̇θ and η(.) = κ − θ̇θ (where θ is given by (2.2.6)) are continuously
differentiable on [0, ∞) and satisfy

(2.2.23) τ (t) ∼ 1
ν(t)
(l + κe) and η(t) ∼ κ (as t → +∞).

Indeed, by Remark 2.2.2, we know that θ is well-defined and positive on [0, ∞) under
condition (2.2.11). Moreover, from ν ∈ C 2 , ν > 0 and θ = κν−
ν+e
ν̇
(hence θ = κ − ν̇+κe
ν+e
),
we can see that θ ∈ C 1 ([0, ∞)) and we readily get

(2.2.24) θ(κ − θ) = (κν−ν̇)(ν̇+κe)

(ν+e)2
and θ̇ = ν̇(ν̇+κe)−(ν+e)ν̈
(ν+e)2
.

Consequently, by these observations, we deduce that the functions τ (.) and η(.) (in
light of their definitions) belong to C 1 ([0, ∞)) and we obtain
   
τ= 1
κν−ν̇
(ν̇ + κe) (κν−2
ν+e
ν̇)
+ ν̈ and η =κ− 1
(κν−ν̇)
ν̇(ν̇+κe)
ν+e
− ν̈ .

So, under the the additional condition (2.2.13), we obviously obtain (2.2.23).
(j2) Let us recall that λ(.) (defined in (2.2.12b)) is of the form λ = λθc (ν + e)2 (for
some λc > 0). So it is easily seen under condition (2.2.11) that λ(.) is differentiable
on [0, ∞). Moreover it can be checked that condition (2.2.13) ensures that λ satisfies
the following properties :

(2.2.25a) λc


λ(t) ∼ κ
ν 2 (t) (as t → ∞);
(2.2.25b) |λ̇(t)| ≤ k2 ν(t), for t ≥ 0 (k2 being some positive constant);
(2.2.25c) ∃t0 > 0 s.t. λ is non-decreasing on [t0 , ∞).

37
Chapitre 2 – Un modèle général du premier ordre pour des dynamiques continues de type Newton
gouvernées par des opérateurs maximaux monotones

Indeed, (2.2.25a) is obvious since θ(t) ∼ κ (as t → ∞) according to Remark

(ν+e)3
2.2.2. Furthermore, we simply have λ = λc (κν− ν̇)
(by using the definition of θ) and
from a quick calculation we obtain

(ν+e) 2
λ̇(t) = λc (κν− ν̇)2
(3ν̇(κν − ν̇) − (ν + e)(κν̇ − ν̈))
(ν+e)2
= λc (κν− ν̇)2
(ν(2κν̇ + ν̈) − 3ν̇ 2 − e(κν̇ − ν̈)) .

Then, by ν̇(t) → l and ν̈(t) → 0 (as t → ∞), we can see that λ̇ν → 2lλ κ
c
is bounded,
which ensures (2.2.25b) and (2.2.25c) (as λ̇(t) is positive for t large enough).
(j3) For ϵ > 0, under the supplementary conditions (2.2.14)-(2.2.15), the function
η(.) is continuously differentiable on [0, ∞) and we show that (e + ν)η̇ is bounded on
[0, ∞).Indeed, by an easy computation, for ν ∈ C 3 ([0, ∞)) we obtain η̇ = θ12 (θ̇2 − θθ̈),
2 +κeν̇
together with θ̇ = ν̇(ν+e) ν̈
2 − (ν+e) (in light of (2.2.24)), which gives us
2ν̇ (ν̇+κe) (3)
θ̈ = 2ν̈(ν+e)
ν̇+κeν̈
2 − 2 (ν+e)3
ν
− (ν+e) ν̇ ν̈
+ (ν+e) 2,

where ν (3) stands for the third derivative of ν. Clearly, by these formulations of η̇,
θ̇ and θ̈, along with the boundedness of ν̇, ν̈ and ν (3) (under condition (2.2.13) and
(2.2.15)), while recalling that θ is positive and non-decreasing [0, ∞) (from Remark
2.2.2), we infer that
(ν + e)|η̇| ≤ θ21(0) (ν + e)|θ̇2 | + θ(0)
1
(ν + e)|θ̈|) ≤ k1 , for some constant k1 ≥ 0.

[Link] Existence and uniqueness results

Actually, we establish a result regarding the model (2.2.5) (independently of the

specific formulation of θ given by (2.2.6)).

Proposition 2.2.2. Let a function Φ : H → R and an operator A : H → 2H verify

conditions (H1)-(H3), let κ > 0, and consider real-valued mappings λ(.) and θ
satisfying :

(2.2.26) λ ∈ C 0 ([0, ∞)) and, for t ≥ 0, λ(t) ∈ [λm , ∞) (for some constant λm > 0) ;
(2.2.27) θ ∈ C 0 ([0, ∞)) and, for t ≥ 0, θ(t) ∈ [0, θM ] (for some constant θM > 0).

Then for any Cauchy data (x0 , y0 ) ∈ H2 , there exists a unique global classical
solution (x, y) to (2.2.5) verifying the initial condition (x(0), y(0)) = (x0 , y0 ).

38
 2.2. Article en anglais

Proof. Observe that (2.2.5) can be formulated as

(2.2.28) U̇ (t) + ∇Φ̄(U (t)) + E(t, U ) = 0,

where U = (x, y), while Φ̄ : H2 → H2 and E(t, .) : H2 → H2 are defined for any
t ≥ 0 and for any (u, v) ∈ H2 by
!T !T
Φ(u) ϕ1 (t, u, v)
(2.2.29) Φ̄(u, v) = , E(t, (u, v)) = ,
0 ϕ2 (t, u, v)

along with ϕ1 (t, u, v) = ϵAλ(t) u + θ(t)(v − u) and ϕ2 (t, u, v) = κ(v − u). Note that
(2.2.28) is governed by the sum of the convex subdifferential operator ∂ Φ̄ = ∇Φ̄ and
the operator E : [0, ∞) × H2 → H2 . In view of applying [31, Proposition 3.12] (see
also [60, Proposition 6.2.1]) we prove that E satisfies the following properties (a)
and (b) :
(a) E(t, .) is globally Lipschitz continuous on H2 . Clearly, given t ≥ 0 and
(ui , vi ) ∈ H2 (for i = 1, 2), and invoking the boundedness of θ in (2.2.27) we readily
obtain
∥ϕ1 (t, u1 , v1 ) − ϕ1 (t, u2 , v2 )∥ ≤ ϵ∥(Aλ(t) u1 − Aλ(t) u2 )∥ + θM ∥(v1 − u1 ) − (v2 − u2 )∥.
Moreover, recalling that Aλ is λ−1 -Lipschitz continuous and assuming that
λ(t) ≥ λm > 0 (for some constant λm ), we also have
∥(Aλ(t) u1 − Aλ(t) u2 )∥ ≤ λ1m ∥u1 − u2 ∥.
Then, by the previous two inequalities  we get
ϵ
∥ϕ1 (t, u1 , v1 ) − ϕ1 (t, u2 , v2 )∥ ≤ λm + θM (∥v1 − v2 ∥ + ∥u1 − u2 ∥) ;
while an easy computation gives us
∥ϕ2 (t, u1 , v1 ) − ϕ2 (t, u2 , v2 )∥ ≤ κ (∥v1 − v2 ∥ + ∥u1 − u2 ∥) .
It follows that E(t, .) is globally Lipschitz continuous on H2 .
(b) For any T ∈ (0, ∞), (u, v) ∈ H2 , E(., u, v) ∈ L2 (0, T ; H2 ). Taking z ∈
(ϵA)−1 (0) (under condition (H3)), by Lemma A.1 and recalling that λ(t) ≥ λm > 0,
we obtain
∥ϵAλ(t1 ) u − ϵAλ(t2 ) u∥ ≤ 3 |λ(t1 )−λ(t
λ2m
2 )|
∥u − z∥.
Then, the continuity of λ on [0, ∞) yields that the mapping t 7→ ϵAλ(t) u is also
continuous on [0, ∞). So, in light of the definition of ϕ1 and ϕ2 , we infer that
E(., u, v) is continuous on [0, ∞) (as are ϕ1 and ϕ2 ). It follows immediately the
desired result of item (b).

39
Chapitre 2 – Un modèle général du premier ordre pour des dynamiques continues de type Newton
gouvernées par des opérateurs maximaux monotones

Therefore, by [31, Proposition 3.12], there exists a unique pair (x, y) ∈

C([0, ∞), H2 ) such that x and y are absolutely continuous on every compact
subset of (0, ∞) and satisfy (2.2.5) almost everywhere. Hence by continuity of ∇Φ(.)
on H, we infer that (x, y) ∈ C 1 ([0, ∞), H2 ). ■

2.2.3 Preliminary estimations

[Link] A general equality for closely related models

Consider the more general model given by

(2.2.30a) ẋ(t) + ψ(t) + θ(t)(y(t) − x(t)) = 0,

(2.2.30b) ẏ(t) + κ(y(t) − x(t)) = 0,
(2.2.30c) θ(t) = κν(t)−ν̇(t)
ν(t)+e
,

where ψ : [0, ∞) → H is continuous, e is a positive constant, and ν is a positive

and differentiable mapping on [0, ∞). As a key element of our analysis, we associate
with any solution (x, y) to (2.2.30) the functional Gs,q defined for any couple (s, q) ∈
[0, +∞[×H by

1 s(e − s)
(2.2.31) Gs,q := ||s(q − x) + ν(y − x)||2 + ∥x − q∥2 .
2 2

Lemma 2.2.1. Let ψ : [0, ∞) → H be a continuous function, and suppose that

(x, y) : [0, ∞) → H2 is a global classical solution to (2.2.30), where {κ, e} are positive
constants, while ν(.) is a positive and differentiable function that verifies ν̇ < κν on
[0, ∞). Then, for any (s, q) ∈ [0, ∞) × H, on [0, ∞) we have

(e+ν)2
(2.2.32) Ġs,q + s(e + ν)⟨ψ, x − q⟩ + ρ
⟨ψ, ẋ⟩ = −ν 2 T˜s ,

where ρ = κ − ν̇ν , together with

  2  
(2.2.33) T˜s = ρ y − x + 1 e−s e−s s+3e


θ
1− 2(e+ν)
ẋ + 4ρν ν
+ 4 ∥ẋ∥2 .

Proof. Observe that (2.2.31) can be written as Gs,q = seb + sνa + ν 2 c, where
b(.) := 12 ∥x − q∥2 , a(.) := ⟨q − x, y − x⟩ and c(.) := 12 ∥y − x∥2 . Consequently, the

40
 2.2. Article en anglais

derivative of Gs,q on [0, ∞) is given by

(2.2.34) Ġs,q = seḃ + sν̇a + sν ȧ + ν 2 ċ + 2ν̇νc.

The rest of the proof can be divided into the following steps (A1)-(A3) :
(A1) In order to estimate the time derivative Ġs,q , we evaluate separately each
of the terms occurring on the right side of (2.2.34). Let us prove the following basic
results on a(.) and c(.) :

(2.2.35a) a = −θ−1 P + θ−1 W,

(2.2.35b) ȧ = −Q + −1 + κθ−1 P − κθ−1 W,

(2.2.35c) ḃ = −P, ċ = −κ∥u∥2 − Q,

where P = ⟨q − x, ẋ⟩, Q = ⟨ẋ, u⟩, W = ⟨ψ, x − q⟩ and u = y − x.

From the definitions of a(.) and c(.), we immediately have
ȧ = −Q − P + R and ċ = −κ∥u∥2 − Q, where R := ⟨ẏ, q − x⟩.
From (2.2.5) we get ẋ + ψ − κθ ẏ = 0. Taking the scalar product of each side of this
latter equality with q − x amounts to P − W − κθ R = 0, which can be rewritten as
R = κθ P − κθ W . Moreover, by a = ⟨q − x, u⟩ and u = − κ1 ẏ, we deduce that a = − κ1 R.
Hence, taking into account the latter formulation of R yields a = − 1θ P + 1θ W, that is
(2.2.35a). Next, by combining this formulation of R with the previous last estimate of
ȧ, we get ȧ = −Q + −1 + κθ P − κθ W, that is (2.2.35b). The first result in (2.2.35c) is

obvious from the definition of b. In addition, from c(t) = (1/2)∥u(t)∥2 with u = y − x,

it is deduced that ċ = ⟨u̇, u⟩. Then, by u̇ = ẏ − ẋ and ẏ = −κu, we obtain the second
result in (2.2.35c).
(A2) Now, we are in position to prove that

(2.2.36) ν̇


Ġs,q = − (ν 2 + sν) ⟨ẋ, u⟩ − s(ν + e)W − ν 2 κ − ν
∥u∥2 ,

where u = y − x and W = ⟨ψ, x − q⟩. From (2.2.34), we directly get

Ġs,q = seḃ + sν̇a + sν ȧ + ν 2 ċ + 2ν̇νc.
So, using (2.2.35a)-(2.2.35b)-(2.2.35c)
 and
 ḃ = −P , we have
1 1
Ġs,q = −seP + sv̇ − θ(t) P + θ(t) W
+sν −Q + −1 + κθ P − κθ W + ν 2 (−κ∥u∥2 − Q) + ν̇ν∥u∥2 .

41
Chapitre 2 – Un modèle général du premier ordre pour des dynamiques continues de type Newton
gouvernées par des opérateurs maximaux monotones

Hence, recalling that θ = κν−ν̇

, we get e = − ν̇θ + ν −1 + κ
, so that the previous


ν+e θ
equality reduces to
Ġs,q = − (ν 2 + sν) Q + θs (ν̇ − κν)W + ν (ν̇ − κν) ∥u∥2 .
Thus, recalling that ν̇ − κν = −θ(ν + e) leads to the desired result.
(A3) Now, we are in position to prove the main result of the lemma. Take q ∈ H.
According to Lemma 2.2.1 we have
Ġs,q + s(e + ν)W = − (ν 2 + sν) Q − ν 2 ρ∥u∥2 .
Moreover, in light of ẋ + ψ + θu = 0 (from (2.2.5)), we readily get
∥ẋ∥2 + ⟨ψ, ẋ⟩ + θ⟨u, ẋ⟩ = 0.
2
Thus, multiplying this last equality by µ := (e+ν)
ρ
and adding the resulting equality
to the previous estimate on Ġs,q amounts to
Ġs,q + s(e + ν)W + µ⟨ψ, ẋ⟩ = − (ν 2 + sν + µθ) ⟨ẋ, u⟩ − ν 2 ρ∥u∥2 − µ∥ẋ∥2 ,
or equivalently
Ġs,q + s(e + ν)W + µ⟨ψ, ẋ⟩ = −ν 2 T˜s ,
where T˜s = w⟨ẋ, u⟩ + σ∥ẋ∥2 + ρ∥u∥2 , with w = 1 + νs + µθν2
and σ = νµ2 . Now we give
an alternative formulation of the mapping T˜s . One can easily check that T˜s can be
rewritten as
2  2

T˜s = ρ u + 2ρ w
ẋ + 4ρσ−w
4ρ
∥ẋ∥2 .
2
Moreover, by θ = e+ν
ρν
and µ = (ν+e)
ρ
, we get µθ
ν2
= νe + 1, and so, by w = 1 + s
ν
+ µθ
ν2
(hence w = ν + 2) and
s+e
 noticing that
e
+ 1 ,we obtain


s+e
 ρ= θ
1
ν
+2 (e−s)
w
= ν
2θ νe +1
= 1
1− = 1θ 1 − 2(e+ν)
2ν
e
e−s
.
2ρ ( ) θ ν
+1
2
Observing in addition that σ = (ν+e)
ρν 2
, we also obtain
2
2
e
4σρ − w2 = 4 ν + 1 − ν + 2 = e−s
s+e


s+3e

ν ν
+ 4 .
So, combining the
 last expression
 2 of T̃ and
the previous two results gives us
T˜s = ρ u + 1 1 − e−s ẋ + 1 e−s s+3e + 4 ∥ẋ∥2 .


θ 2(e+ν) 4ρ ν ν
This along with our last estimation on yields the desired result. ■

[Link] Exhibiting a Lyapunov functional

In this section we state our main result regarding the Lyapunov-like function Es,q
introduced in (2.2.10).

42
 2.2. Article en anglais

Lemma 2.2.2. Let (H1)-(H3) hold, and let (x, y) : [0, +∞[→ H2 be a classical
solution to (2.2.5)-(2.2.6), with positive constants {κ, e}, a function ν(.) verifying
(2.2.11), and a positive mapping λ(.). Then, for (s, q) ∈ [0, e] × S, on [0, ∞), we have

(2.2.37)
2
Ės,q + (s − ec )v Φ̃(x) + ϵsλv∥Aλ x∥2 + ϵ vρ ⟨Aλ x, ẋ⟩ ≤ −ν 2 T˜s .

2M
where ec = ρ(0)
, v = e + ν, ρ = κ − νν̇ , and T̃s is defined in (2.2.33).

Proof. Note that (2.2.5)-(2.2.6) enters the setting of (2.2.30) with ψ = ∇Φ(x)+ϵAλ x.
Take q ∈ S (hence ϵAλ (q) = 0 and ∇Φ(q) = 0). In light of Lemma 2.2.1, with this
particular expression of ψ, we obtain
2
Ġs,q + svW + vρ Z = −ν 2 T˜s ,
where W = ⟨∇Φ(x)+ϵAλ x, x−q⟩ and Z = ⟨∇Φ(x)+ϵAλ x, ẋ⟩. Let us estimate W and
Z. Using the convexity of Φ and the λ-co-coerciveness of Aλ , by Φ̃(x) = Φ(x) − Φ(q)
we get ⟨∇Φ(x), x − q⟩ ≥ Φ̃(x) and ⟨ϵAλ x, x − q⟩ ≥ ϵλ∥Aλ x∥  . It follows immediately
2

that W ≥ Φ̃(x) + ϵλ∥Aλ x∥2 . Moreover, noticing that dtd Φ̃(x) = ⟨∇Φ(x), ẋ⟩, we
  2
simply have Z = dtd Φ̃(x) + ϵ⟨Aλ x, ẋ⟩. Setting µ = vρ (or equivalently µ = ν(ν+e) θ
,
as θ = ν+eνρ
(from (2.2.22))), by these two results in light of the previous estimate on
Ġs,q , we are led to

(2.2.38) Ġs,q + ϵC + D ≤ −ν 2 T˜s ,

 
where C(.) = sλv∥Aλ x∥ + µ⟨Aλ x, ẋ⟩ and D =
2
sv Φ̃(x) + µ dtd Φ̃(x) . Let us evaluate
 
D. From its definition we clearly have D = µΦ̃ + (sv − µ̇) Φ̃. Concerning the
d
dt
 
derivative of µ, by µ = ρ × (ν + e) we also have µ̇ = ρ × dt v + dt ρ1 × v 2 ; hence,
1 2 1 d 2 d
 
noticing from condition (2.2.11b) that ρ is non-decreasing (thus dtd ρ1 ≤ 0), and
recalling that supt≥0 ∥ν̇(t)∥ ≤ M (from (2.2.11c)), we get
1
µ̇ ≤ ρ(0) × dtd (e + ν)2 = 2ν̇(e+ν)
ρ(0)
≤ 2M v
ρ(0)
.
Consequently,
 by the hpreviousiestimates we deduce that
d 2M
D ≥ dt µΦ̃(x) + s − ρ(0) v Φ̃(x).
So, combining this last inequality with (2.2.38) entails (2.2.37). ■

43
Chapitre 2 – Un modèle général du premier ordre pour des dynamiques continues de type Newton
gouvernées par des opérateurs maximaux monotones

Remark 2.2.4. Clearly, by (2.2.12) and setting ec = 2M

ρ(0)
, we have ec ∈ (0, e) and
(ν+e)2
λ = λc θ
, where λc is assumed to verify λc > ( 4ϵ ) inf s∈(ec ,e) 1
s(e−s)
. Moreover, we
(ν+e)3
recall that θ = (κν−ν̇)
e+ν
(from (2.2.6)). This amounts to λ = λc (κν−ν̇) = λc µ(e+ν)
ν
(where
ν(e+ν)2
µ= κν−ν̇
).
So, it is not difficult to see for ϵ > 0 that the assumptions (2.2.12) on
the function λ(.) can be alternatively expressed as : ec ∈ (0, e) and λ = νsµ(e+ν)
c (e−sc )δ
,
for some sc ∈ (ec , e) and some δ > 0 such that ϵδ ∈ [0, 4).

Proposition 2.2.3. Let Φ : H → R and A : H → 2H verify (H1)-(H3) and let

(x, y) : [0, +∞[→ H2 be a global classical solution of (2.2.5)-(2.2.6), with positive
constants {κ, e} and mappings ν(.) and λ(.) satisfying (2.2.11) and (2.2.12). Then,
for (s, q) ∈ (0, e] × S, we have the following inequality on [0, ∞) :

(2.2.39) Ės,q + (s − ec ) v(Φ − Φ(q)) + sλvϵ∥Aλ x + v

2sλρ
ẋ∥2 ≤ −ν 2 Ts ,

2M
where ec = ρ(0) , v = e + ν, ρ = κ − νν̇ , while Ts is defined, for some sc ∈ (ec , e) and
some δ > 0 (occurring in Remark 2.2.4) verifying ϵδ ∈ [0, 4), by
  2
1 e−s
Ts = ρ y − x + 1− ẋ
(2.2.40) θ 2(e+ν)
1 s+3e
+ 4 − ϵδ + ϵδs (s



+ 4ρν (e − s) ν
− sc )(e − sc − s) ∥ẋ∥2 .

So, the functional Esc ,q is non-increasing and convergent as t → ∞.

Proof. It can be noticed that (2.2.39) reduces to (2.2.37) when ϵ = 0. Now, we let
ϵ > 0 and we consider the quantity C(.) := sλv∥Aλ x∥2 + µ⟨Aλ x, ẋ⟩ that arises in the
left side of (2.2.37). To estimate C, we take s ∈ (0, e) and we set ks = 2sλv
µ
. So, by
∥Aλ x∥2 = ∥Aλ x + ks ẋ − ks ẋ∥2 we simply have
∥Aλ x∥2 = ∥Aλ x + ks ẋ∥2 − 2ks ⟨Aλ x, ẋ⟩ − ks2 ∥ẋ∥2 .
Hence, by µ = 2sλvks (from definition of ks ) along with the definition of C, we get
C = sλv ||Aλ x + ks ẋ||2 + (µ − 2sλvks ) ⟨Aλ x, ẋ⟩ − sλvks2 ∥ẋ∥2
= sλv ||Aλ x + ks ẋ||2 − sλvks2 ∥ẋ∥2 ,
or equivalently C = sλv ||Aλ x + ks ẋ||2 − ν 2 γ∥ẋ∥2 , where γ := ν −2 (sλvks2 ). This, in
light of (2.2.37), amounts to
Ės,q + [s − ec ] v Φ̃(x) + sλvϵ ||Aλ x + ks ẋ||2 ≤ −ν 2 (T˜s − ϵγ∥ẋ∥2 ).
Observe from Remark 2.2.4 that λ = νsc (e−s µv
c )δ
, for some sc ∈ (ec , e) and some δ > 0
such that ϵδ ∈ [0, 4). In addition, by the definition of γ we get γ = ν −2 (sλvks2 ) =
µ2
ν −2 4sλv (since ks = 2sλv µ
), hence, from λ = νsc (e−s µv
c )δ
, we get

44
 2.2. Article en anglais

2
µ
γ = ν −2 4sv × νsc (e−s
µv
c )δ
= sc (e−s
4sρν
c )δ
.
Therefore, setting u = y − x and using the definition of T˜s in Lemma 2.2.1, we have
2
T˜s − ϵγ∥ẋ∥2 − ρ u + 1θ ẋ − e−s 2ρν
ẋ
 
= e−s s+3e sc δ


+ 4 ∥ẋ∥2 − ϵ 4sρν (e − sc )∥ẋ∥2
 4ρν  ν   
sc (e−sc )
= e−s s+3e δ

2
+ 4 − ϵδ ∥ ẋ∥ + ϵ(e − s) − ϵ ∥ẋ∥2
 4ρν  ν  4ρν
 s

= e−s s+3e δ ϵ

2


4ρν ν
+ 4 − ϵδ ∥ ẋ∥ + 4ρν s
(s − sc )(e − sc − s)∥ẋ∥2 .
It follows from our previous estimate on Ės,q that
Ės,q + [s − ec ] v Φ̃(x) + sλvϵ ||Aλ x + ks ẋ||2 ≤ −ν 2 Ts ,
 
where Ts = T˜s + ( sϵ )(s − sc )(e − sc − s) 4ρν δ
∥ẋ∥2 . This leads to (2.2.39). The
remainder of the proof is obvious. ■

2.2.4 Asymptotic properties of a classical solution

[Link] Main convergence results

[Link] The general case

In this section we expose our main asymptotic results regarding (2.2.5)-(2.2.6).

Theorem 2.2.1. Let Φ : H → R and A : H → 2H verify (H1)-(H3) and assume

that (x, y) : [0, +∞[→ H2 is a global classical solution to (2.2.5)-(2.2.6), where {κ, e}
are positive constants, ν(.) and λ(.) satisfy (2.2.11) and (2.2.12). Then the following
properties are reached :
R +∞
(2.2.41) 0 ν(t)(Φ(x(t)) − inf H Φ) dt < ∞,
R +∞ R +∞
(2.2.42) 0 ν(t)∥ẋ(t)∥2 dt < ∞, 0 ν(t)∥y(t) − x(t)∥2 dt < ∞,
R +∞ 2 R +∞ 2
(2.2.43) 0 ϵλ(t)ν(t) Aλ(t) x(t) dt < ∞, 0
ν (t)∥∇Φ(x(t))∥2 dt < ∞,
(2.2.44) Φ(x(t)) − inf H Φ = o(ν −2 (t)),
(2.2.45) ∥y(t) − x(t)∥ = o(ν −1 (t)), ∥ẋ(t) + ∇Φ(x(t)) + ϵAλ(t) x(t)∥ = o(ν −1 (t));

If, in addition, (2.2.13)-(2.2.15) are satisfied by ν(.), then :

(2.2.46) ∥ẋ(t)∥ = o(ν −1 (t)),

(2.2.47) lim ϵλ(t)∥Aλ(t) x(t)∥ = 0,
t→+∞

(2.2.48) ∃x̄ ∈ S, s.t. x(.) ⇀ x̄ weakly in H.

45
Chapitre 2 – Un modèle général du premier ordre pour des dynamiques continues de type Newton
gouvernées par des opérateurs maximaux monotones

Theorem 2.2.1 will be proved in Section 2.2.5.

The next result is a direct consequence of Theorem 2.2.1 relative to the special
case when ν(t) = M t + ν0 (for some positive constants M and ν0 ).

Theorem 2.2.2. Let Φ and A verify (H1)-(H3), let {κ, e, ν0 , M } be positive

constants such that ν0 > M κ−1 and e > κν2M ν0
0 −M
and assume that (x, y) : [0, +∞[→ H2
0 −M )
is a global classical solution to (2.2.5), along with θ(t) = κMMt+(κν t+ν0 +e
and λ(t) =
(M t+ν0 +e)3 1
λc (κM t+(κν0 −M )) for some constant λc > inf 0<s< 2M ν0 s(e−s) . Then there exists x̄ ∈ S
κν0 −M
such that x(.) ⇀ x̄ weakly in H, and the following properties are reached :
R +∞
(2.2.49) 0
t(Φ(x(t)) − inf H Φ) dt < ∞, Φ(x(t)) − inf H Φ = o(t−2 ),
R +∞
(2.2.50) 0
t∥ẋ(t)∥2 dt < ∞, ∥ẋ(t)∥ = o(t−1 ),
R +∞
(2.2.51) 0
t∥y(t) − x(t)∥2 dt < ∞, ∥y(t) − x(t)∥ = o(t−1 ),
R +∞ ϵ
2
(2.2.52) 0 t
λ(t) Aλ(t) x(t) dt < ∞,
R +∞ 2
(2.2.53) 0
t ∥∇Φ(x(t))∥2 dt < ∞,
(2.2.54) ∥∇Φ(x(t)) + ϵAλ(t) x(t)∥ = o(t−1 ),
(2.2.55) lim ϵλ(t)∥Aλ(t) x(t)∥ = 0.
t→+∞

Proof. It can be checked in this setting that conditions (2.2.11) holds whenever
ν0 > M κ−1 . Conditions (2.2.13)-(2.2.15) are also obviously satisfied, while (2.2.12a)
reduces to e > κν2M ν0
0 −M
. Theorem 2.2.2 is then directly deduced from Theorem 2.2.1.
■

[Link] Two particular cases

There we specialize our convergence results to the two systems (2.2.7) and (2.2.8)
separately.

46
 2.2. Article en anglais

Theorem 2.2.3. Let Φ : H → R be a convex differentiable function whose gradient

∇Φ is Lipschitz continuous on bounded sets and verifies S∇Φ := (∇Φ)−1 (0) ̸= ∅. Let
{κ, e, ν0 , M } be positive constants such that ν0 > M κ−1 , and let (x, y) : [0, +∞[→ H2
0 −M )
be a global classical solution to (2.2.7), along with θ(t) = κMMt+(κνt+ν0 +e
. Then there
exists x̄ ∈ S∇Φ such that x(.) ⇀ x̄ weakly in H, and we have :
R +∞
(2.2.56) 0
t(Φ(x(t)) − inf H Φ) dt < ∞, Φ(x(t)) − inf H Φ = o(t−2 ),
R +∞
(2.2.57) 0
t∥ẋ(t)∥2 dt < ∞, ∥ẋ(t)∥ = o(t−1 ),
R +∞
(2.2.58) 0
t∥y(t) − x(t)∥2 dt < ∞, ∥y(t) − x(t)∥ = o(t−1 ),
R +∞ 2
(2.2.59) 0
t ∥∇Φ(x(t))∥2 dt < ∞, ∥∇Φ(x(t))∥ = o(t−1 ).

Proof. Theorem 2.2.3 is immediately deduced from Theorem 2.2.2 with ϵ = 0. ■

Theorem 2.2.4. Let A : H → 2H be a maximally monotone operator such that

SA := A−1 (0) ̸= ∅, let {κ, e, ν0 , M } be positive constants such that ν0 > M κ−1 and
e > κν2M ν0
0 −M
, and assume that (x, y) : [0, +∞[→ H2 is a global classical solution to
0 −M ) (M t+ν0 +e)3
(2.2.8), along with θ(t) = κMMt+(κν
t+ν0 +e
and λ(t) = λ c (κM t+(κν0 −M ))
for some constant
1
λc verifying λc > inf 0<s< 2M ν0 s(e−s) . Then there exists x̄ ∈ SA such that x(.) ⇀ x̄
κν0 −M
weakly in H, and we have :
R +∞
(2.2.60) 0
t∥ẋ(t)∥2 dt < ∞, ∥ẋ(t)∥ = o(t−1 ),
R +∞
(2.2.61) 0
t∥y(t) − x(t)∥2 dt < ∞, ∥y(t) − x(t)∥ = o(t−1 ),
R +∞ 1
2
(2.2.62) 0 t
λ(t) Aλ(t) x(t) dt < ∞,
(2.2.63) lim λ(t)∥Aλ(t) x(t)∥ = 0.
t→+∞

Proof. Theorem 2.2.4 follows from Theorem 2.2.2 with ϵ = 1 and Φ = 0. ■

Observe that the Newton-types convergence results obtained for (2.2.2) and (2.2.3)
by Attouch-Peypouquet-Redont [15] and Attouch-László [11], respectively, are also
valid for the proposed systems (2.2.7) and (2.2.8).

[Link] Some related results

Let us underline that Theorem 2.2.1 gives us sufficient conditions on parameters

that ensure the convergence of the trajectories of the first-order system (2.2.5)-(2.2.6)
towards an element of ∇Φ−1 (0) ∩ (ϵA)−1 (0), that is a common solution of a convex

47
Chapitre 2 – Un modèle général du premier ordre pour des dynamiques continues de type Newton
gouvernées par des opérateurs maximaux monotones

minimization problem and a monotone inclusion, where Φ is smooth C 1 convex

function with locally Lipschitz continuous gradient and where A is a maximally
monotone operator. So far, most of the research efforts in the literature have been
devoted to solving these two kinds of problems separately.
As special instances of Theorem 2.2.1 we cover both the particular issues. These
results (see Theorems 2.2.3 and 2.2.4) allow us to reach the same convergence rates
that were obtained relative to the second-order Newton-like systems (2.2.2) and
(2.2.3), by Attouch-Peypouquet-Redont [15] (for minimizing a C 2 convex function)
and Attouch-László [11] (for an arbitrary monotone inclusion), respectively. Recall
that Attouch-László [12] also considered a discrete variant of (2.2.3) of proximal-type
and showed that its iterates inherit the good features of the continuous model.
Other recent developments on minimizing a C 2 convex function Φ deal with
dynamical systems combining geometric damping with temporal scaling. Let us
mention, for instance, the approaches by Attouch-Balhag-Chbani-Riahi [17], Attouch-
Chbani-Fadili-Riahi [18] and Shi-Du-Jordan-Su [103] which enter the second-order
system

(2.2.64) ẍ(t) + γ(t)ẋ(t) + β(t)∇2 Φ(x(t))ẋ(t) + b(t)∇Φ(x(t)) = 0,

where the coefficients γ, β : [t0 , +∞[→ R+ (for some t0 > 0) take account of the
viscous and Hessian-driven damping, respectively, and where b : R+ → R+ is a
time scale parameter. Note that (2.2.64) reduces to (2.2.2) when β(t) = β (for
some constant β > 0) and b(t) = 1. Contrary to Theorem 2.2.1, the studies in
[17, 18, 103] do not prove the convergence of the trajectories, and no estimates
are given regarding the velocity. Only convergence rates of the gradient and the
function values are estimated, depending on the involved parameters. It turns out
for bounded temporal scaling that the optimal estimates reached by the authors are
R +∞ 2
t0
t ∥∇Φ(x(t))∥2 dt < ∞ (fast decay of the gradient) and Φ(x(t))−inf H Φ = O(t−2 )
(for the function values), which are obtained as a particular case of Theorem 2.2.1,
with an even better rate Φ(x(t)) − inf H Φ = o(t−2 ). These optimal properties were
found out in [103, Theorem 5 and Corollary 4.2], in Euclidean spaces, for (2.2.64)
when γ(t) = 3t−1 , β(t) = β (for some β > 0) and b(t) = 1 + 3βt−1 , relative to
smooth C 2 convex and Lipschitz continuous functions Φ. The same properties were
stated in [18, Theorem 2.3], in Hilbert spaces, regarding (2.2.64) when γ(t) = αt−1

48
 2.2. Article en anglais

(for some α ≥ 3), β(t) = β (with β > 0) and b(t) = 1 + βt−1 , relative to smooth
C 2 convex functions Φ with locally Lipschitz continuous gradient. Other significant
accelerations are proposed in [18, 17], based upon reparametrization in time of
non-autonomous dissipative dynamical systems. This comes into play when using
unbounded temporal scaling b(.). An major concern with this latter approach is to
lead to discrete counterparts of proximal-types with unbounded proximal indexes.
Indeed the resulting algorithms appear to be somewhat difficult to adapt to the
context of structured minimization problems.

2.2.5 Proof of Theorem 2.2.1

Suppose that (x, y) is a global classical solution to (2.2.5)-(2.2.6) under conditions
(H1)-(H3), (2.2.11) and (2.2.12), and introduce the following notations : v = e + ν,
2
µ = vρ and ksc = 2sµc λv , where ρ and sc are given in Proposition 2.2.3, and set
2M
ec = ρ(0) .

[Link] Proof of items (2.2.41)-(2.2.45)

This first part of the proof can be divided into the following steps (B1)-(B3) :
(B1) Let us prove (2.2.41)-(2.2.42) and other useful estimates. As an immediate
consequence of Proposition 2.2.3 we establish the following results :
Esc ,q (0)κ
(2.2.65a) Φ(x(t)) − inf H Φ ≤ v 2 (t)
,
(2.2.65b) sc (e−sc )
2
∥x − q∥2 ≤ Esc ,q (0),
R +∞
(2.2.65c) 0
v(t)(Φ(x(t)) − inf H Φ)dt ≤ Esscc−e
,q (0)
c
,
R +∞ 2 Esc ,q (0)
(2.2.65d) 0
ϵλ(t)v(t) Aλ(t) x(t) + ksc (t)ẋ(t) dt < sc
,
R +∞ 4κEsc ,q (0)
(2.2.65e) 0
ν(t)∥ẋ(t)∥2 dt ≤ (4−ϵδ)(e−sc )
,
 
R +∞ Esc ,q (0)κ2
(2.2.65f) 0
ν 2 (t)∥θ(t)u(t) + 1 − e−sc
2v(t)
ẋ(t)∥2 dt ≤ ρ(0)
,
R +∞  
2κEsc ,q (0)
(2.2.65g) 0
ν(t)∥u(t)∥2 dt ≤ θ2 (0)
4
(4−δ)(e−sc )
+ κ
ρ(0)
.

Note that estimates (2.2.41)-(2.2.42) follow directly from (2.2.65c), (2.2.65e) and
(2.2.65g).
Let (s, q) ∈ [0, e] × S. By the definition of Es,q in (2.2.10), we have µΦ̃(x) ≤ Es,q ,
2
where µ := vρ and Φ̃ := Φ − Φ(q), as well as sc (e−s) 2
∥x − q∥2 ≤ Es,q . Moreover,

49
Chapitre 2 – Un modèle général du premier ordre pour des dynamiques continues de type Newton
gouvernées par des opérateurs maximaux monotones

we know that Esc ,q is non-increasing (by Proposition 2.2.3) and, as ρ ≤ κ (from

2 2
Remark 2.2.2), we also have µ ≥ vκ . Then it is deduced that vκ Φ̃ ≤ Esc ,q (0) and that
sc (e−sc )
2
∥x − q∥2 ≤ Esc ,q (0), which leads to (2.2.65a) and (2.2.65b). Furthermore, by
integrating the inequality (with s = sc ) in Proposition 2.2.3 and observing that Esc ,q
is non-negative, we have (for t ≥ 0)
Rt
(sc − ec ) 0 v(r)Φ̃(x(r)) dr
Rt 2
(2.2.66) +sc 0 ϵλ(r)v(r) Aλ(r) x(r) + ksc (r)ẋ(r) dr
Rt 2
+ 0 ν (r)Tsc (r) dr ≤ Esc ,q (0) − Esc ,q (t) ≤ Esc ,q (0),

with ksc = 2scvλρ and Tsc = ρ∥u + θ−1 g ẋ∥2 + 4ρϵ e−sc
∥ẋ∥2 ,

sc +3e

ν ν
+ 4 − ϵδ
where g(t) = 1 − 2v(t)
e−sc
. So, recalling that sc − ec > 0 and that Φ̃ and Tsc are non-
negative mappings, by passing to the limit as t → +∞ in the previous inequality
R +∞ R +∞
yields 0 v(r)Φ̃(x(r)) dr < ∞ and 0 ϵλ(r)v(r)∥Aλ(r) x(r) + ksc (r)ẋ(r)∥2 dr < ∞,
namely (2.2.65c) and (2.2.65d). It is also immediate from (2.2.66) that
R +∞
(2.2.67) 0
ν 2 (r)Tsc (r) dr ≤ Esc ,q (0).

On the one hand, by definition of Tsc and by ρ ≤ κ (from Remark 2.2.2), we have
ν 2 Tsc ≥ (e−sc4κ
)(4−ϵδ)
ν∥ẋ∥2 ,
which, in light of (2.2.67) and recalling that sc ∈ (ec , e) and that ϵδ ∈ [0, 4), entails
R +∞
0
ν(r)∥ẋ(r)∥2 dr ≤ (e−sc4κ E (0), that is (2.2.65e). On the other hand, again
)(4−ϵδ) sc ,q
using the above definition of Tsc while reminding that ρ(0) ≤ ρ and θ ≤ κ (from
Remark 2.2.2), we readily get
ν 2 Tsc ≥ ρ(0)
κ2
ν 2 ∥θu + g ẋ∥2 .
R +∞ 2
This, by (2.2.67), gives us 0 ν 2 (t)∥θ(t)u(t) + g(t)ẋ(t)∥2 dt ≤ κ Eρ(0) sc ,q (0)
, that is
(2.2.65f). Let us prove (2.2.65g). It is not difficult to check that 0 ≤ g ≤ 1 as
e − sc > 0, while we know that θ is positive and that θ ≥ θ(0) (as θ is non-decreasing).
So, by convexity of the square norm and by ν∥u∥2 = 4ν ∥ 1 (θu + g ẋ) − 12 g ẋ∥2 we
θ2 2
obtain
ν∥u∥2 ≤ 2ν
θ2
(∥θu + g ẋ∥2 + g 2 ∥ẋ∥2 ) ≤ θ22(0) (ν∥θ + g ẋ∥2 + ν∥ẋ∥2 ).
Combining this last inequality with (2.2.65e) and (2.2.65f) entails (2.2.65g).

50
 2.2. Article en anglais

(B2) Let us prove (2.2.43) given by :

R +∞
(2.2.68a) 0
ϵλ(t)v(t)∥Aλ(t) x(t)∥2 dt < ∞,
R +∞
(2.2.68b) 0
ν 2 (t)∥∇Φ(x(t))∥2 dt < ∞.

Proof. Using the notations of Proposition 2.2.3, we get

λv∥Aλ x∥2 = 4λv∥ 12 (Aλ x + ksc ẋ) − 12 ksc ẋ∥2 ,
where v = e + ν and where λ and ksc are positive quantities. Then, by convexity of
the square norm, we deduce that

(2.2.69) λv∥Aλ x∥2 ≤ 2λv∥Aλ x + ksc ẋ∥2 + 2λvks2c ∥ẋ∥2 .

 2 2
From ksc = 2sµc λv , we have ks2c λv = 2sµc λv λv = 4sµ2 λv , while Remark 2.2.4 tells
c
us that λ = νsµv c Cδ
, where C δ = (e − s c )δ for some constant δ > 0. Then a simple
µ2 νsc Cδ 2
computation leads us to ksc λv = 4s2 v µv = 4sc v2 , hence, as µ = vρ (again from
2 µνCδ
c
Remark 2.2.4) and as ρ is non-decreasing, we obtain ks2c λv = 4s νCδ
cρ
≤ 4scCρ(0)
δ
ν. So by
R +∞ +∞
ν(t)∥ẋ(t)∥ dt < ∞ (from (2.2.65e)), we get 0 λ(t)v(t)ksc (t)∥ẋ(t)∥ dt < ∞,
2
R 2 2
0
R +∞
while we know that 0 ϵλ(t)v(t)∥Aλ(t) x(t) + ksc (t)ẋ(t)∥2 dt < ∞ (from (2.2.65d)).
R +∞
Hence, by these results and (2.2.69), we get 0 ϵλ(t)v(t)∥Aλ(t) x(t)∥2 dt < ∞, that
is (2.2.68a). Now, we simply have

(2.2.70) ν 2 ∥∇Φ(x)∥2 ≤ 2ν 2 ∥∇Φ(x) + ϵAλ x∥2 + 2ϵ2 ν 2 ∥Aλ x∥2 .

As ∇Φ(x) + ϵAλ x = −θu − ẋ (from (2.2.5)), we obviously get ∥∇Φ(x) + ϵAλ x∥ =

∥θu + ẋ∥. Consequently, setting g = 1 − e−s 2v
c
, by the convexity of the square norm
we successively obtain
ν 2 ∥∇Φ(x) + ϵAλ x∥2 = 4ν 2 ∥ 12 (θu + g ẋ) + 21 e−s
2v
c
ẋ∥2
2 2
≤ 2ν 2 ∥θu + g ẋ∥2 + (e−s2vc2) ν ∥ẋ∥2
2
≤ 2ν 2 ∥θu + g ẋ∥2 + (e−s2 c ) ∥ẋ∥2 (since v = ν + e).
R +∞ R +∞
So, by 0 ν 2 (t)∥θ(t)u(t)+g(t)ẋ(t)∥2 < ∞ (from (2.2.65f)) and 0 ν(t)∥ẋ(t)∥2 dt <
R +∞
∞ (from (2.2.65e)), we immediately deduce 0 ν 2 (t)∥∇Φ(x(t)) + ϵAλ(t) x(t)∥2 dt <
∞. The last result (2.2.68b) is immediate from (2.2.70) in view of (2.2.68a) and the
latter estimate.

51
Chapitre 2 – Un modèle général du premier ordre pour des dynamiques continues de type Newton
gouvernées par des opérateurs maximaux monotones

(B3) Let us prove (2.2.44)-(2.2.45). In this regard, we prove the following results :

(2.2.71a) λ(t)v(t) ∼ λκc v 3 (t) (for some positive constant λc ),

R +∞ 2
(2.2.71b) 0
v (t) ⟨Aλ(t) x(t), ẋ(t)⟩ dt < ∞,
(2.2.71c) lim ν 2 (t)(Φ(x(t)) − Φ(q)) = 0,
t→+∞

(2.2.71d) lim ν(t)∥u(t)∥ = 0,

t→+∞

(2.2.71e) lim ν(t)∥ẋ(t) + ∇Φ(x(t)) + ϵAλ(t) x(t)∥ = 0.

t→+∞

Observe that (2.2.44)-(2.2.45) follow from (2.2.71c)-(2.2.71e).

The first item (2.2.71a) is immediate from λ(t) ∼ ( λκc )ν 2 (t) (according to (2.2.25a))
and from ν(t) ∼ v(t) (by v = ν + e), as t → +∞. Next, using Lemma 2.2.2 with
s = 0 we get (for t ≥ 0)

v 2 (t)
(2.2.72) Ė0,q (t) ≤ ec v(t)Φ̃(x(t)) − ρ(t)
⟨Aλ(t) x(t), ẋ(t)⟩,

where Φ̃ = Φ − Φ(q). Moreover, using the Holder inequality and recalling that
ρ(t) ≥ ρ(0) (for t ≥ 0), we get
R +∞ v2 (t)
0 ρ(t)
⟨Aλ(t) x(t), ẋ(t)⟩ dt
R  12 R  21
1 +∞ 3 2 +∞ 2
≤ ρ(0) 0 v (t)∥Aλ(t) x(t)∥ dt · 0 v(t)∥ẋ(t)∥ dt ,
R +∞ R +∞
as 0 v(t)∥ẋ(t)∥2 dt < ∞ (by (2.2.65e)) and 0 v 3 (t)∥Aλ(t) x(t)∥2 dt < ∞ (by
(2.2.68a) and (2.2.71a)). This trivially yields (2.2.71b).
R +∞
We also know that 0 v(t)Φ̃(x(t))dt < ∞ (from (2.2.65c)). Then by these last two
results, in light of (2.2.72), we classically deduce that lim E0,q (t) exists. It can also
t→+∞
be checked that E0,q verifies

1 1 v 2 (t)
E0,q (t) = ν(t)∥u(t)∥2 + Φ̃(x(t)),
ν(t) 2 ν(t)ρ(t)
2
Furthermore, as t → ∞, we simply have ν(t)ρ(t) v (t)
∼ ( κ1 )v(t), because ν(t) ∼ v(t) and
R +∞
ρ(t) → κ (in light of Remark 2.2.2 -(i2)) . Therefore, by 0 v(t)Φ̃(x(t)) dt < ∞ (from
R +∞ R +∞ 1
(2.2.65c)) and 0 ν(t)∥u(t)∥2 dt < +∞ (from (2.2.65g)), we get 0 ν(t) E0,q (t) dt <
R +∞ 1
∞. Whence, as lim E0,q (t) exists and 0 ν(t) dt = ∞ (from Remark 2.2.2), we
t→+∞
deduce that lim E0,q (t) = 0. This in view of the definition of E0,q entails (2.2.71c)
t→+∞
and (2.2.71d). It remains to prove (2.2.71e). From (2.2.5), we simply have ∥ẋ +

52
 2.2. Article en anglais

∇Φ(x) + ϵAλ x∥ = ∥θu∥. It follows from θ ∈ (0, κ) (see Remark 2.2.2) that
ν∥u∥ ≥ κν ∥θu∥ = κν ∥ẋ + ∇Φ(x) + ϵAλ x∥.
Hence, (2.2.71e) is straightforwardly deduced from (2.2.71d).

[Link] Proof of items (2.2.46)-(2.2.48)

In this second part of the proof we assume that ν(.) satisfies the additional
conditions (2.2.13)-(2.2.15) and we divide the rest of the proof into the following
steps (C1)-(C3) :
(C1) (Estimate (2.2.46)). At once we prove that

(2.2.73) lim ν(t)∥ẋ(t)∥ = 0.

t→+∞

For simplification purposes, given h > 0, t ≥ 0 and f : [0, +∞[→ H, we denote

fh (t) = f (t + h) and ∆h f (t) = f (t + h) − f (t) (hence ∆h f = fh − f ). Let t0 > 0,
and let a pair (x, y) verify (2.2.5) on [0, ∞). Then for t > t0 and h > 0, we have
ẋ(t) + (θu)(t) + Ψ(t, x(t)) = 0, where u = y − x and Ψ(t, x) = ∇Φ(x) + ϵAλ(t) x.
Thus omitting the variable t we obtain

(2.2.74) ∆h ẋ + ∆h (θu) + ∆h (Ψ(., x)) = 0,

It is also simply checked from an easy computation that

∆h (θu) = uh ∆h θ + θ∆h u = (yh − xh )∆h θ + θ(∆h y − ∆h x).
Then (2.2.74) can be rewritten as
∆h ẋ + ∆h θ(yh − xh ) + θ(∆h y − ∆h x) + ∆h Ψ(., x) = 0.
Furthermore, as supt≥0 ∥ν̇(t)∥ ≤ M (from (2.2.11c)), we readily have
1 2 d
2
ν dt ∥∆h x∥2≥ 12 dtd (ν 2 ∥∆h x∥2 ) − M ν∥∆h x∥2 .
Hence, in light of this last estimate, by taking the scalar product of the previous
equality with ν 2 ∆h x and noticing that ⟨∆h ẋ, ∆h x⟩ = 12 dtd ∥∆h x∥2 , we obtain

1 d
(ν 2 ∥∆h x∥2 ) − M ν∥∆h x∥2 + ν 2 ⟨∆h θ(yh − xh ), ∆h x⟩
(2.2.75) 2 dt
+ν 2 θ⟨∆h y − ∆h x, ∆h x⟩ + ν 2 ⟨∆h Ψ(., x), ∆h x⟩ ≤ 0.

Moreover, by Ψ(., x(.)) = ∇Φ + ϵAλ (x) and thanks to the monotonicity of ∇Φ, we
get
⟨∆h Ψ(., x), ∆h x⟩ ≥ ϵ⟨Aλh (xh ) − Aλ (x), ∆h x⟩,

53
Chapitre 2 – Un modèle général du premier ordre pour des dynamiques continues de type Newton
gouvernées par des opérateurs maximaux monotones

so, by monotonicity of Aλh , we are led to

⟨∆h Ψ(., x), ∆h x⟩ ≥ ϵ⟨Aλh (x) − Aλ (x), ∆h x⟩.
Let z ∈ (ϵA)−1 (0). From (2.2.96) of Lemma A.1, and remembering that λ is non-
decreasing on [t0 , ∞) for t0 large enough (by Remark 2.2.3), we also have, on [t0 , ∞),
∥ϵAλh (x) − ϵAλ (x)∥ ≤ λ3ϵ2 ∥x − z∥ × |∆h λ|.
The previous two results ensure that
⟨∆h Ψ(., x), ∆h x⟩ ≥ − λ3ϵ2 ∥x − z∥ × |∆h λ| × ∥∆h x∥.
Thus, by (2.2.75) we infer that

1 d
(ν 2 ∥∆h x∥2 ) − M ν∥∆h x∥2 + ν 2 ⟨∆h θ(yh − xh ), ∆h x⟩
(2.2.76) 2 dt
+ν 2 θ⟨∆h y − ∆h x, ∆h x⟩ − ν 2 λ3ϵ2 ∥x − z∥ × |∆h λ| × ∥∆h x∥ ≤ 0.

So, integrating (2.2.76) on [s, t] (where t0 ≤ s < t) and dividing by h2 yields

Rt
1
2
∥ν(t) ∆hhx(t) ∥2 − 21 ∥ν(s) ∆hhx(s) ∥2 − M s ν(r)∥ ∆hhx(r) ∥2 dr
Rt
+ s ν 2 (r)⟨ ∆hhθ(r) (yh (r) − xh (r)), ∆hhx(r) ⟩ dr
(2.2.77) Rt
+ s ν 2 (r)θ(r)⟨ ∆hhy(r) − ∆hhx(r) , ∆hhx(r) ⟩ dr
Rt 2
−3ϵ s λν 2 (r)
(r)
∥x(r) − z∥ × | ∆hhλ(r) | × ∥ ∆hhx(r) ∥ dr ≤ 0.

Now we consider the following arguments :

- Obviously, as ν is assumed to be positive and C 3 on [0, ∞), by definition of θ(.)
we observe that θ̈ is of class C 1 , so that θ̇ is Lipchitz continuous on [s, t].
- The condition (ϵA)−1 (0) ̸= ∅ and the property of (1/λ) - Lipschitz continuity of Aλ
ensure that, for any given z ∈ (ϵA)−1 (0), we have ϵ∥Aλ(t) x(t)∥ ≤ (ϵ/λ(t))∥x(t) − z∥.
Then, reminding that ∇Φ is assumed to be Lipchitz continuous on bounded subset
of H, and noticing that (x, y) (as a classical solution) is bounded on [s, t], we infer
from (2.2.5) that ẋ and ẏ are bonded on this interval. It follows that x and y are
Lipschitz continuous on [s, t].
- In view of Remark 2.2.1, we can see that the mapping t 7→ ϵAλ(t) (x(t)) is Lipschitz
continuous on [s, t], because λ is assumed to be bounded away from zero. Observe that
this property of Lipschitz continuity is also satisfied by the mapping t 7→ ∇Φ(x(t)),
because x and y are bounded on [s, t]. Therefore we deduce from (2.2.5) and the
Lipschitz continuity of x and y on [s, t] that ẋ and ẏ are also Lipschitz continuous
on [s, t].
Thus, we infer that the quantities ∆h x ∆h θ ∆h y
h
, h , h converge uniformly on [s, t] to

54
 2.2. Article en anglais

ẋ, θ̇ and ẏ, respectively, (as h → 0). It is also readily checked that ∥ ∆hh x ∥ converges
uniformly on [s, t] to ∥ẋ∥ (as ∆hh x → ẋ on [s, t]), while noticing that λ is C 2 on
[0, ∞), which guarantees that ∆hh λ and | ∆hh λ | converge uniformly on [s, t] to λ̇ and |λ̇|,
respectively (as h → 0). Hence, passing to the limit in (2.2.77), as h → 0, amounts to

1
Rt
2
∥ν(t)ẋ(t)∥2 − 21 ∥ν(s)ẋ(s)∥2 − M s ν(r)∥ẋ(r)∥2 dr
Rt Rt
(2.2.78) + s ν 2 (r)θ̇(r)⟨y(r) − x(r), ẋ(r)⟩dr + s ν 2 θ(r)⟨ẏ(r) − ẋ(r), ẋ(r)⟩dr
Rt 2
−3ϵ s λν 2 (r)
(r)
|λ̇(r)| × ∥x(r) − z∥ × ∥ẋ(r)∥ dr ≤ 0.

In addition, from y − x = −κ−1 ẏ and ẏ = κθ (ẋ + Ψ(., x)), we readily have

y − x = − 1θ (ẋ + Ψ(., x)) and ẏ − ẋ = ( κθ − 1)ẋ + κθ Ψ(., x),
which implies that
θ̇⟨y − x, ẋ⟩ = − θ̇θ ∥ẋ∥2 − θ̇θ ⟨Ψ(., x), ẋ⟩,
and
θ⟨ẏ − ẋ, ẋ⟩ = (κ − θ)∥ẋ∥2 + κ⟨Ψ(., x), ẋ⟩.
From these last two equalities we get
θ̇⟨y − x, ẋ⟩ + θ⟨ẏ − ẋ, ẋ⟩ = τ ∥ẋ∥2 + η⟨Ψ(., x), ẋ⟩,
where τ (.) = κ − θ − θ̇θ and η(.) = κ − θθ̇ . This in light of (2.2.78) entails

1
Rt
2
∥ν(t)ẋ(t)∥2 − 21 ∥ν(s)ẋ(s)∥2 − M s ν(r)∥ẋ(r)∥2 dr
Rt Rt
(2.2.79) + s τ (r)ν 2 (r)∥ẋ(r)∥2 dr + s ην 2 ⟨Ψ(r, x(r)), ẋ(r)⟩dr
Rt 2
−3ϵ s λν 2 (r)
(r)
|λ̇(r)| × ∥x(r) − z∥ × ∥ẋ(r)∥ dr ≤ 0.

Let Γ(.) be defined (for t ≥ t0 ) by

Rt
Γ(t) := 21 ∥ν(t)ẋ(t)∥2 − M t0 ν(r)∥ẋ∥2 dr
Rt Rt
(2.2.80) + t0 τ (r)ν 2 (r)∥ẋ(r)∥2 dr + t0 η(r)ν 2 ⟨Ψ(r, x(r)), ẋ(r)⟩ dr
Rt 2
−3 t0 ϵ λν 2 (r)
(r)
|λ̇(r)| × ∥x(r) − z∥ × ∥ẋ(r)∥ dr.

It is clear from (2.2.79) that Γ(t) ≤ Γ(s) for t0 ≤ s < t, and so Γ(.) is non-increasing
on [t0 , ∞). In order to conclude that Γ is convergent we prove the convergence (as
t → +∞) of each of the four integrals involved in (2.2.80) through the following
items (r1)-(r4) :
R +∞
(r1) : From (2.2.65e), we directly obtain t0 ν(r)∥ẋ(r)∥2 dr < ∞.
(r2) : Since τ (t) ∼ (l + κe) ν(t)
1
as t → ∞ (from Remark 2.2.3) we immediately

55
Chapitre 2 – Un modèle général du premier ordre pour des dynamiques continues de type Newton
gouvernées par des opérateurs maximaux monotones

have τ (t)ν 2 (t) ∼ (l + κe)ν(t) (as t → +∞) ; hence (r1) yields

R∞
t0
τ (r)ν 2 (r)∥ẋ(r)∥2 dr < ∞.
 
(r3) : As Ψ(., x) := ∇Φ(x) + ϵAλ(.) x and recalling that ⟨∇Φ(x), ẋ⟩ = d
dt
Φ̃(x)
(where Φ̃ = Φ − Φ(q)), we have
Rt
t0
(ην 2 )(r)⟨Ψ(r, x(r)), ẋ(r)⟩dr
(2.2.81) Rt 2 d
 Rt
= 0 (ην )(r) dr Φ̃(x) (r)dr + 0 ϵ(ην 2 )(r)⟨Aλ(r) x(r), ẋ(r)⟩dr.

Let us evaluate separately the two quantities arising on the right-side of the previous
equality. On the one hand, integrating by parts the first integral gives us
(2.2.82)  
Rt 2 d
Rt d
t0
(ην )(r) dr
Φ̃(x) (r)dr = η(t)ν 2 (t)Φ̃(x(t)) − t0 dr (ην 2 )(r)Φ̃(x(r))dr.

Note that, as t → +∞, we have η(t) ∼ κ (from Remark 2.2.3) and ν 2 (t)Φ̃(x(t)) → 0,
and so η(t)ν 2 (t)Φ̃(x(t)) → 0. In addition, by a simple computation we have dr d
(ην 2 ) =
η̇ν 2 + 2ην ν̇, hence, by boundedness of ν̇, η and ν η̇ (from Remark 2.2.3), we infer
that there exists a positive constant K2 verifying (for r ≥ 0)
d
| dr (ην 2 )(r)Φ̃(x(r))| ≤ K2 ν(r)Φ̃(x(r)).
R +∞
So, in light of 0 ν(r)Φ̃(x(r))dr < ∞ (from (2.2.65c)), we deduce the convergence
Rt d
of the term t0 dr (ην 2 )(r)Φ̃(x(r))dr (as t → ∞). These last two results in light of
(2.2.82) entail the convergence (as t → ∞) of first integral on the right side of (2.2.81).
R∞
On the other hand, by η(t) ∼ κ (as t → ∞) and by t0 ϵν 2 (r)|⟨Aλ x(r), ẋ(r)⟩|dr < ∞
(according to (2.2.71b)), we obviously get the convergence (as t → ∞) of the second
term on the right side of (2.2.81). Therefore, in light of (2.2.81), we conclude that
Rt
the term t0 (ην 2 )(r)⟨Ψ(r, x(r)), ẋ(r)⟩dr is convergent (as t → ∞).
(r4) : Remark 2.2.3 tells us that λ̇ satisfies |λ̇| ≤ k2 ν (for some constant k2 )
3 3
and (as t → ∞) that λ(t) ∼ λκc ν 2 (t) (or equivalently λν 2 (t) ∼ ( λκc )2 ν(t)
1
). So, λν 2 |λ̇| is


(t)
bounded, while we know that x(.) is bounded (from (2.2.65b)), hence there exists
some constant Cz ≥ 0 such that

(2.2.83)
2
ϵ λν 2 |λ̇| × ∥x − z∥ × ∥ẋ∥ ≤ Cz ϵν −1 ∥ẋ∥.

In addition, we have ϵν −1 ∥ẋ∥ = ν 3/2

ϵ
· ν 1/2 ∥ẋ∥ ; integrating this equality between t0
and t and using the Holder inequality give us

56
 2.2. Article en anglais

Rt R 1/2 R 1/2
−1 t 1 t 2
t0
ϵν (r)∥ ẋ(r)∥dr ≤ t ν 3 (r)
dr · t0
ν(r)∥ ẋ(r)∥ dr .
R +∞ ϵ 0 Rt
This, according to 0 ν 3 (r) dr < ∞ (by hypothesis) and t0 ν(r)∥ẋ(r)∥2 dr < ∞
R +∞
(from (r1)) yields t0 ν −1 (r)∥ẋ(r)∥ dr < ∞. As a consequence, by (2.2.83), we get
R +∞ ν 2 (r)
0
ϵ λ2 (r) |λ̇(r)| × ∥x(r) − z∥ × ∥ẋ(r)∥ dr < ∞.
Finally, we have shown that all the integrals involved in (2.2.80) are convergent.
So, recalling that Γ is non-increasing on [t0 , ∞) yields the boundedness of Γ. Hence,
it is deduced that lim Γ(t) exists, which obviously implies that ν 2 (t)∥ẋ(t)∥2 → ℓ
t→+∞
(for some constant ℓ ≥ 0) as t → +∞. Let us prove by contradiction that ℓ = 0.
Suppose that ℓ > 0. This clearly implies that ν(t)∥ẋ(t)∥2 ∼ ν(t)
ℓ
(as t → +∞), which,
R +∞ R +∞ 1
by 0 ν(t)∥ẋ(t)∥ dt < ∞ (according to (2.2.65e)) yields 0 ν(t) dt < ∞. This
2

contradicts Remark 2.2.2. Therefore ℓ = 0 and so limt→+∞ ν(t)∥ẋ(t)∥ = 0.

(C2) (Estimate (2.2.47)). At once we establish the following result

(2.2.84) lim ϵλ(t)Aλ(t) x(t) = 0.

t→+∞

Proof. Let q ∈ (ϵA)−1 (0). Given s ≥ 0 and t ≥ 0, and using Lemma A.1 with
γ = λ(t), δ = λ(s), x = x(t) and y = x(s), we get
∥ϵλ(t)Aλ(t) x(t) − ϵλ(s)Aλ(s) x(s)∥ ≤ 2ϵ∥x(t) − x(s)∥ + 2ϵ∥x(t) − q∥ |λ(t)−λ(s)|
λ(t)
.
Dividing by t − s with t > s and letting s tends to t, we obtain

d |λ̇(t)|
(2.2.85) (ϵλ(t)Aλ(t) x(t)) ≤ 2ϵ∥ẋ(t)∥ + 2ϵ∥x(t) − q∥ ,
dt λ(t)

for almost every t > 0. Next, Remark 2.2.3 gives us |λ̇| 

≤ k2 ν (for some constant
k2 ) and (as t → ∞) λ(t) ∼ κ ν (t) (hence λ(t) ∼ λc λ̇(t)ν −2 (t)). Hence, it is
λc λ̇(t) κ

2

readily checked that there exists some constant c1 ≥ 0 such that |λλ̇| ≤ cν1 . Moreover,
from (2.2.73), we can see that there exists c2 ≥ 0 such that ∥ẋ∥ ≤ cν2 . So, combining
(2.2.85) with these last two estimates, we obtain, for some constant c ≥ 0,

(2.2.86) d
dt
(ϵλ(t)Aλ(t) x(t)) ≤ ϵc
ν(t)
for a.e. t ≥ 0.

Note that, setting ω(t) := ∥ϵλ(t)Aλ(t) (x(t))∥2 , we classically have (for a.e t ≥ 0)

(2.2.87) d
dt
ω(t) ≤2 d
dt
(ϵλ(t)Aλ(t) x(t)) · ∥ϵλ(t)Aλ(t) x(t)∥.

57
Chapitre 2 – Un modèle général du premier ordre pour des dynamiques continues de type Newton
gouvernées par des opérateurs maximaux monotones

In addition, using the λ−1 Lipschitz continuity of Aλ we clearly have

λ(t)∥ϵAλ(t) x(t)∥ ≤ ϵ∥x(t) − q∥.
So, as x(.) is bounded, we deduce that ∥ϵλ(t)Aλ(t) x(t)∥ is bounded. Therefore by
(2.2.87) in light of (2.2.86) we deduce that there exists a positive constant (again
denoted c) such that dtd ω(t) ≤ ν(t) ϵc
for a.e t ≥ 0. Now, as t → ∞, again by
 
λ(t) ∼ λκc ν 2 (t), and noticing that v(t) ∼ ν(t), we obviously have λ(t)
v(t)
∼ λκc ν(t)
1
,


R +∞ v(t)
while 0 λ(t) · ∥ϵλ(t)Aλ(t) x(t)∥2 dt < ∞ (from (2.2.68a)). It is then immediately
R +∞
deduced that 0 ω(t) · ν(t) 1
dt < ∞. So, as ν1 ∈ / L1 (0, ∞) (from Remark 2.2.2),
invoking Lemma B.2 yields the desired result.
(C3) (Convergence of the iterates). Let us prove that x(t) converges weakly to
some element of S, as t → +∞.
Let q ∈ S := (ϵA)−1 (0) ∩ (∇Φ)−1 (0). From Proposition 2.2.3, we know that
lim Esc ,q (t) exists. Let us recall from (2.2.10) that
t→+∞
Esc ,q (t) = 12 ∥sc (q − x(t)) + ν(t)u(t)∥2 + 21 sc (e − sc )∥q − x(t)∥2 + µ(t)Φ̃(x(t)),
(e+ν)2
where µ = ν(ν+e) θ
(hence µ = ρ
, as θ = ν+e
νρ
(from (2.2.22))) and Φ̃ = Φ − Φ(q).
Clearly, we have limt→+∞ ν(t)∥u(t)∥ = 0 (from (2.2.45)). Moreover, by (2.2.44) we
have limt→+∞ ν 2 (t)Φ̃(x(t)) = 0, thus, recalling that ρ is bounded away from zero
2 (t)
(from condition (2.2.11b)), we obtain limt→+∞ µ(t)Φ̃(x(t)) = 0 (because µ(t) ∼ νρ(t) ,
as t → +∞, under condition (2.2.13)). So, in light of the previous arguments, we
deduce that
limt→+∞ Esc ,q (t) = limt→+∞ 12 ∥sc (q − x(t))∥2 + 12 sc (e − sc )∥q − x(t)∥2

= limt→+∞ 12 s2c + 12 sc (e − sc ) ∥q − x(t)∥2

= s2c e limt→+∞ ∥q − x(t)∥2 .

Hence, lim ∥x(t) − q∥ exists. Now, let x̄ be a weak sequential cluster point of x(t).
t→+∞
Namely, there exists a sequence (tn )n≥0 such that lim tn = +∞ and (x(tn ))n≥0
n→+∞
weakly converges to x̄ as n → +∞. Whence, using the lower semi-continuity of Φ
and by limt→+∞ Φ̃(x(t)) = 0 (thanks to (2.2.44), we get
0 = lim Φ(x(tn )) − inf Φ ≥ Φ(x̄) − inf Φ ≥ 0.
n→+∞ H H
Thus we deduce that x̄ ∈ (∇Φ)−1 (0). It remains to show that x̄ ∈ (ϵA)−1 (0). Indeed,
for ϵ = 0, then (ϵA)−1 (0) = H, so that the result is obvious. Now let ϵ > 0. Using (b)
from Proposition A.1, we obtain

(2.2.88) Aλ(tn ) (x(tn )) ∈ A(x(tn ) − λ(tn )Aλ(tn ) (x(tn ))).

58
 2.2. Article en anglais

Moreover, from limt→+∞ ∥λ(t)Aλ(t) x(t)∥ = 0 (in view of (2.2.84)) we immediately

infer that λ(tn )Aλ(tn ) (x(tn )) → 0 strongly as n → +∞. Hence, as λ(tn ) → +∞
we infer that Aλ(tn ) (x(tn )) → 0 strongly in H. Therefore, passing to the limit as
n → +∞ in (2.2.88) and using the fact that A is a sequentially demi-closed operator
(as it is maximally monotone), we obtain 0 ∈ A(x̄), that is x̄ ∈ (ϵA)−1 (0). Thus,
applying the well-known Opial’s lemma [87] gives us the desired result. ■

2.2.6 Two accelerated proximal algorithms

In this section, we suggest two inertial proximal algorithms based upon implicit
temporal discretizations of the systems (2.2.7) and (2.2.8). However the study of
these algorithms is out of the scope of this work and will be carried out in a future
research. In what follows we take h > 0, and we set tk = kh, xk = x(tk ), yk = y(tk ),
θk = θ(tk ) and λk = λ(tk ) for all k ≥ 0.

[Link] The convex minimization case

Consider the structured convex minimization problem

(2.2.89) min{Θ(x) := Θns (x) + Θsm (x); x ∈ H},

where Θns is a convex and proper lower semi-continuous function and Θsm is a convex
differentiable function. Given (xk , yk ) ∈ H2 and based upon an approximate finite
difference of (2.2.7), we seek for (xk+1 , yk+1 ) ∈ H2 verifying the numerical scheme
(
1
h
(xk+1 − xk ) + ∂Θns (xk+1 ) + ∇Θsm (xk ) + θk (yk − xk ) ∋ 0,
1
h
(yk+1 − yk ) + κ(yk − xk ) = 0,
where ∂Θns denotes the Fenchel sub-differential of the (possibly non-smooth)
convex function Θns . This can be simply rewritten as
( ∂(Θ )
xk+1 = Jh ns (xk − h∇(Θsm )(xk ) − hθk (yk − xk ))
yk+1 = yk − hκ(yk − xk ),
∂(Θ )
where Jh ns = (I + h∂(Θns ))−1 is the resolvent operator of ∂(Θns ) with index h.
Consequently, in light of Theorem 2.2.3, a good candidate for approximating (2.2.89)

59
Chapitre 2 – Un modèle général du premier ordre pour des dynamiques continues de type Newton
gouvernées par des opérateurs maximaux monotones

is probably given by

(2.2.90a) zk = xk − hθk (yk − xk ),

∂(Θns )
(2.2.90b) xk+1 = Jh (zk − h∇(Θsm )(xk )),
(2.2.90c) yk+1 = yk − hκ(yk − xk ).

Note that when hκ = 1, by (2.2.90c) we have yk+1 = xk (for k ≥ 0), hence, for k ≥ 1,
(2.2.90) reduces to

(2.2.91a) zk = xk + hθk (xk − xk−1 ),

∂(Θns )
(2.2.91b) xk+1 = Jh (zk − h∇(Θsm )(xk )).

This is nothing but the form of the well-known "heavy ball with friction" method
(see, e.g., [86]. Other variants of (2.2.90) can be obtained by replacing xk by zk in the
gradient of Θsm , which leads to some Nesterov-type accelerated forward-backward
algorithm (see [9, 14, 82, 83, 84]) or by swapping xk and zk in the operator Jh∂(Θns )
(see [74]).

[Link] The monotone inclusion case

Consider the monotone inclusion problem

(2.2.92) find x∗ ∈ H such that 0 ∈ Ax∗ ,

where A is maximally monotone operator. Given (xk , yk ) ∈ H2 and based upon

an approximate
( finite difference of (2.2.8), we compute the (xk+1 , yk+1 ) ∈ H by
2

1
(xk+1 − xk ) + Aλk xk+1 + θk (yk − xk ) = 0,
performing h
1
(y − y ) + κ(yk − xk ) = 0,
h k+1 ( k
Aλ
xk+1 = Jh k (xk − hθk (yk − xk )),
which is equivalent to
yk+1 = yk − hκ(yk − xk ),
Aλ
where Jh k = (I + hAλk )−1 is the resolvent operator of the maximally monotone
operator Aλk with index h. Set zk = (1 + hθk )xk − hθk yk . Then we alternatively have

60
 2.2. Article en anglais

zk = xk − hθk (yk − xk ) and the previous system can be rewritten as

(2.2.93a) zk = (1 + hθk )xk − hθk yk ,

Aλk
(2.2.93b) xk+1 = Jh (zk ),
(2.2.93c) yk+1 = (1 − hκ)yk + hκxk .

Moreover, using Proposition A.1 (f), we have (Aλ )µ = Aλ+µ . Then by (2.2.93b) we
simply deduce that
Aλ
xk+1 = Jh k (zk ) = λkλ+h
k
zk + λkh+h JλAk +h zk .
Furthermore, by (2.2.93c) we readily have xk = κh 1
yk+1 − 1−κh
κh
yk , which by (2.2.93a)
amounts to zk = yk + κh (yk+1 − yk ). Finally, using the above expressions of xk+1
1+hθk

and zk , along with that of yk+1 given by (2.2.93c), we are led to

1+hθk−1
(2.2.94a) zk−1 = yk−1 + κh
(yk − yk−1 ),
λk−1
(2.2.94b) xk = z
λk−1 +h k−1
+ h
JA (z ),
λk−1 +h λk−1 +h k−1

(2.2.94c) yk+1 = (1 − hκ)yk + (hκ)xk .

Interesting convergence properties can be expected from (2.2.94) in light of Theorem

2.2.4. Observe that (2.2.94) requires only one evaluation of the proximity operator of
A per iteration compared with (PRINAM) in [12]. However these two algorithms
can be regarded as being complemented.

2.2.7 Appendix
[Link] The Yosida approximation

The Yosida approximation enjoys numerous nice properties which often facilitating
and simplifying calculations. Some of them are recalled below (see [31, 30]) :

Proposition A.1. Let A : H → 2H be a maximal monotone operator and set

JλA := (I + λA)−1 . Then, we have the following properties :
(a) JλA is single-valued, everywhere defined and nonexpansive,
(b) ∀v ∈ H, ∀λ > 0, Aλ v ∈ A(JλA v),
(c) ∀(u, v) ∈ H2 , ∀λ > 0, ⟨Aλ u − Aλ v, u − v⟩ ≥ λ∥Aλ u − Aλ v∥2 ,
(d) ∀(u, v) ∈ H2 , ∀λ > 0, ∥Aλ u − Aλ v∥ ≤ λ1 ∥u − v∥,

61
Chapitre 2 – Un modèle général du premier ordre pour des dynamiques continues de type Newton
gouvernées par des opérateurs maximaux monotones

(e) ∀λ > 0, A−1 ({0}) = A−1

λ ({0}),

(f) ∀λ > 0, ∀µ > 0, (Aλ )µ = Aλ+µ .

Lemma A.1. Let γ, δ > 0 and x, y ∈ H. Then for z ∈ A−1 ({0}), we have

(2.2.95) ∥γAγ x − δAδ y∥ ≤ 2∥x − y∥ + 2 |γ−δ|

γ
∥x − z∥,
 
|δ−γ|
(2.2.96) 2
∥Aγ x − Aδ y∥ ≤ 3 δγ × ∥x − z∥ + δ ∥x − y∥ .

Proof. The proof of (2.2.95) can be found in [13]. Let us prove (2.2.96). To get this
we simply have
Aγ x − Aδ y = 1δ (δAγ x − δAδ y)
= 1δ ((δ − γ)Aγ x + (γAγ x − δAδ y) ,
hence
∥Aγ x − Aδ y∥ ≤ 1δ (|δ − γ| × ∥Aγ x∥ + ∥γAγ x − δAδ y∥) .
Consequently, by ∥Aγ x∥ ≤ γ1 ∥x − z∥ and using (2.2.95), we obtain
 
1 |δ−γ| |γ−δ|
∥Aγ x − Aδ y∥ ≤ δ γ
× ∥x − z∥ + 2∥x − y∥ + 2 γ ∥x − z∥
 
|δ−γ|
= 1δ 3 γ × ∥x − z∥ + 2∥x − y∥ ,
that is the desired inequality. ■

[Link] A technical result

Lemma B.2 ([13] Lemma A.5). Let ω, η : [0, +∞[→ [0, +∞[ be absolutely continuous
R +∞
functions such that η ∈ / L1 (0, +∞) and which satisfy 0 ω(t)η(t)dt < ∞, along
with |ω̇(t)| ≤ η(t) for almost every t > 0. Then lim ω(t) = 0.
t→+∞

Acknowledgements
The authors would like to thank the two anonymous referees for their careful
readings of the manuscript and their insightful comments and observations.

62
Chapitre 3

Minimisation structurée de fonctions

convexes non lisses avec décroissance
rapide des sous-gradients

3.1 Introduction
Dans ce chapitre, H désigne un espace de Hilbert réel muni d’un produit scalaire
noté ⟨., .⟩ et de la norme induite notée ∥ . ∥. Nous nous intéressons à des méthodes du
premier ordre pour la résolution de problèmes de minimisation structurés non lisses.
Ce type d’algorithme a gagné en popularité, en raison de ses caractéristiques remar-
quables qui en font une alternative intéressante aux méthodes de points intérieurs,
coûteuses en calcul. Le contenu de ce chapitre est basé sur l’article [72].

3.1.1 Présentation du problème et de l’algorithme proposé.

L’objectif de ce chapitre est de résoudre le problème de minimisation convexe
structuré suivant :

(3.1.1) min{Θ(x) := f (x) + g(x) : x ∈ H},

où les fonctions f et g vérifient les conditions suivantes :

63
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

(3.1.2a) g : H →] − ∞, +∞] est convexe, propre et semi-continue inférieurement,

f : H →] − ∞, +∞[ est convexe et continûment différentiable,
(3.1.2b)
et son gradient ∇f est L-lipschitzien,
(3.1.2c) S := argmin Θ ̸= ∅.
H

Les conditions ci-dessus sont couramment utilisées pour résoudre le problème

(3.1.1), en supposant de plus que l’application proximale de g (voir chapitre 1,
Définition 1.2.2) ne soit pas difficile à calculer. Notons que (3.1.1) inclut de nombreux
problèmes concrets intervenant dans le traitement d’images, la vision par ordinateur,
l’apprentissage automatique et le traitement du signal. Le problème (3.1.1) se pose
par exemple en acquisition comprimée avec g(x) = ∥x∥1 (voir [24, 40]) et comprend
également d’autres problèmes bien étudiés tels que les inégalités variationnelles.
Remarque 3.1.1. L’application proximale de g d’indice µ > 0 est définie pour
x ∈ H par proxµg (x) := argminy∈H (g(y) + (2µ)−1 ∥x − y∥2 ), autrement dit, il s’agit
de l’opérateur résolvante Jµ∂g := (I + µ∂g)−1 , où ∂g : H → 2H désigne le sous-
différentiel de Fenchel de g. Il est bien connu pour être univoque et partout défini.
Nous discutons, dans ce chapitre, d’un algorithme de type inertiel relaxé (que nous
appellerons RIGPA), permettant de résoudre le problème (3.1.1)-(3.1.2). Celui-ci est
donné, pour des suites {zn , xn , yn } ⊂ H par

RIPGA
▶ Initialisation : Soient {x0 , y0 } ⊂ H, (νn ) ⊂]0, +∞[ et e > 0.
▶ Étape principale : Pour n ≥ 1 et {yn−1 , yn } donnés, on effectue

(3.1.3a) zn−1 = yn + αn−1 (yn − yn−1 ),

(3.1.3b) xn = proxµg (zn−1 − µ∇f (zn−1 )),
(3.1.3c) yn+1 = (1 − κ)yn + κxn ,

où le terme inertiel (αn ) ⊂]0, κ−1 [ est défini par

νn + (1 − κ)e
 
(3.1.4) αn = κ −1
.
νn+1 + e

64
 3.1. Introduction

Il sera démontré (voir Section 3.2.2) que ce schéma peut être vu comme une
variante discrète d’un système dynamique du premier ordre récemment étudié.
Il convient de noter qu’un algorithme inertiel de type Forward-Backward relaxé
semblable à (3.1.3) a été récemment étudié par Attouch-Cabot [8], en utilisant
toutefois des paramètres variables (κn ) et (µn ) au lieu des valeurs constantes κ et µ.
De plus, ce dernier incorpore un terme de relaxation de la forme (1 − κn )zn−1 à la
place de (1 − κ)yn dans l’algorithme proposé (3.1.3)-(3.1.4). En outre, le paramètre
d’extrapolation αn de [8] est compris entre 0 et 1, tandis que pour la méthode proposée
(3.1.3)-(3.1.4), le terme αn peut être supérieur à 1 pour κ ∈]0, 1[ (car αn → κ−1 , dès
lors que νn → +∞ quand n → +∞). Une approche similaire combinant relaxation et
terme inertiel a aussi été étudiée par Iutzeler-Hendrickx [62] concernant les opérateurs
moyennés (averaged).

3.1.2 Quelques rappels et liens avec l’état de l’art.

Mettons en évidence quelques liens entre la méthode proposée (3.1.3)-(3.1.4) et
d’autres algorithmes de type proximal existants pour résoudre (3.1.1)-(3.1.2) :
- Pour νn = 0 et κ = 1 (et donc αn ≡ 0), l’algorithme (3.1.3)-(3.1.4) devient la
méthode Forward-Backward (FB) (voir [Chapitre 1, Section 1.2.3])

(3.1.5) yn+1 = proxµg (yn − µ∇f (yn )),

qui a été considérée sous la condition

 
1
(3.1.6) µ ∈ 0, .
L

Rappelons que (3.1.5) est l’un des premiers algorithmes célèbres permettant de
résoudre (3.1.1)-(3.1.2). Ce dernier génère des suites (faiblement) convergentes (yn )
qui vérifient le taux de convergence Θ(yn ) − minH Θ = O(n−1 ) pour la minimisation
des valeurs de la fonction objectif Θ := f + g (voir chapitre 1, Section 1.2.3). La
méthode FB (3.1.5) a par la suite été améliorée via, notamment, l’algorithme Fast
Iterative Soft Thresholding Algorithm (FISTA) proposé par Beck-Teboulle [24], sur la
base des idées de Nesterov [81] et de Güler [57]. Il a été démontré que FISTA génère
des itérés (yn ) qui garantissent le taux de convergence Θ(yn ) − minH Θ = O(n−2 ).
Cependant la convergence des itérés n’a pas été établie.

65
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

- Pour κ = 1, e = α − 1 et νn = n, le schéma (3.1.3)-(3.1.4) se réduit à la

méthode AFB (Accelerated Forward-Backward), qui est une légère variante de FISTA
introduite par Chambolle-Dossal [40] (voir aussi Attouch-Peypouquet [14]) comme
étant l’algorithme inertiel :

n−1
zn−1 = yn + n+α−1 (yn − yn−1 ),
(3.1.7)
yn+1 = proxµg (zn−1 − µ∇f (zn−1 )),

pour une certaine constante α > 0. Rappelons (voir chapitre 1, Section 1.2.4),
sous la condition (3.1.6) et pour α > 3, que l’algorithme AFB génère des suites
(yn ) faiblement convergentes vérifiant le taux Θ(yn ) − minH = o(n−2 ), au lieu des
taux O(n−1 ) et O(n−2 ) obtenu respectivement pour (3.1.5) et FISTA. Des liens
intéressants entre AFB et les systèmes dynamiques continus du second ordre ont
été établis (voir, par exemple, May [77], Attouch-Chbani-Peypouquet-Redont[16]).
Ces liens se révèlent utiles pour comprendre le phénomène d’accélération résultant
de la présence du terme inertiel dans (3.1.7). En particulier, il a été prouvé que
AFB provient d’une discrétisation du modèle continu du second ordre suivant, qui
fait intervenir un amortissement linéaire isotrope et un paramètre « visqueux »,
c’est-à-dire qui tend lentement vers 0 (voir [16])

(3.1.8) ẍ(t) + αt ẋ(t) + ∇Θ(x(t)) = 0.

Les schémas de type inertiel ont été considérablement développés ces dix dernières
années dans le cadre de problèmes d’optimisation structurés : par exemple, les
algorithmes pour la minimisation convexe [9], ceux intégrant des procédures de
recherche linéaire (Cruz-Nghia [47], Nesterov [82], Scheinberg-Goldfarb-Bai [101]),
mais aussi ceux pour la résolution d’inclusions monotones (Moudafi-Oliny [78],
Lorentz-Pock [70]).

3.1.3 Liens avec quelques systèmes dynamiques continus.

Ce travail a été inspiré par un article d’Attouch-Peypouquet-Redont [15] dans
lequel les auteurs ont étudié le système dynamique du second ordre

(3.1.9) ẍ(t) + αt ẋ(t) + β∇2 Θ(x(t))ẋ(t) + ∇Θ(x(t)) = 0,

66
 3.1. Introduction

où β et α sont des constantes strictement positives et où Θ est une fonction réelle

convexe et lisse. Ce système comprend deux types d’amortissement : un amortisse-
ment géométrique et un amortissement linéaire isotrope comprenant un paramètre
visqueux (voir aussi [4, 7]). Il a été démontré, pour α > 3, que les trajectoires
x(.) : [t0 , +∞[→ H (avec t0 > 0) générées par (3.1.9) convergent faiblement vers un
élément de argminΘ (lorsque t → +∞) et vérifient Θ(x(t)) − minH Θ = o(t−2 ) ainsi
R +∞
que t0 t2 ∥∇Θ(x(t))∥2 dt < +∞ (cette dernière propriété représente la convergence
rapide vers zéro des gradients).
Le modèle (3.1.9) peut être interprété comme une variante améliorée du modèle
continue de AFB (donnée par (3.1.8)) qui fait intervenir un amortissement géomé-
trique de manière à réduire les oscillations observées dans les trajectoires de (3.1.7).
Une caractéristique intéressante de (3.1.9) est que ce modèle peut être étendu (dans
un certain sens) au cas non lisse de Θ via un système dynamique différentiel du
premier ordre.
Nous baserons notre étude sur un modèle continu discuté dans [66] qui s’avère
être étroitement lié à (3.1.9). Ce modèle est donné par le système dynamique du
second ordre

(3.1.10) ẍ(t) + a(t)ẋ(t) + ∇2 Θ(x(t))ẋ(t) + b(t)∇Θ(x(t)) = 0,

avec a et b des applications définies par

(3.1.11) a(.) := 1θ (θ(κ − θ) − θ̇) et b(.) := 1θ (κθ − θ̇),

où κ > 0 et où θ est défini, pour e > 0 et pour une fonction ν différentiable strictement
positive, par

κν(t) − ν̇(t)
(3.1.12) θ(t) = ,
ν(t) + e

ν̇ étant la dérivée de ν.
Un premier point important établi dans [66] (voir également la Proposition 3.2.2)
est que (3.1.10) peut être étendu au cas non lisse de Θ via le système différentiel du

67
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

premier ordre
(
ẋ(t) + ∂Θ(x(t)) + θ(t)(y(t) − x(t)) ∋ 0,
(3.1.13)
ẏ(t) + κ(y(t) − x(t)) = 0.

Un deuxième point essentiel mentionné dans [66] est que (3.1.10) (avec un choix
approprié de ν) se comporte asymptotiquement comme un système sur-amorti de la
forme (3.1.9). Les auteurs ont montré, dans le cas particulier où ν(t) = t + ν0 (avec
ν0 > 0), que les fonctions a, b et θ définies respectivement par (3.1.11) et (3.1.12)
satisfont

1 + κe
(3.1.14) θ(t) → κ, a(t) ∼ et b(t) → κ (lorsque t → +∞).
t

Ainsi, la formulation simple de (3.1.13) offre un cadre intéressant pour la concep-

tion d’une nouvelle classe d’algorithmes de minimisation, comme proposé dans ce
chapitre. Nous montrerons en effet (voir Section 3.2.2) que (3.2.4)-(3.2.5) peut être
considéré comme une approximation par différences finies de (3.1.13)-(3.1.12).

3.1.4 Esquisse des principaux résultats.

Nous proposons une nouvelle classe d’algorithmes, donnée par (3.1.3)-(3.1.4) et
qui inclue AFB comme cas particulier (lorsque κ = 1 et νn = n) pour résoudre des
problèmes de minimisation structurés convexes non lisses.
Plusieurs résultats de convergence sont établis concernant la méthode (3.1.3)-
(3.1.4) dans le cadre de paramètres (νn ) généraux ou particuliers. L’approche déve-
loppée dans ce chapitre repose sur des propriétés de Lyapunov d’une suite de type
énergie En (s, q) (définie par (3.3.2)) associée au schéma (3.1.3)-(3.1.4).
Les principales propriétés asymptotiques de (3.1.3)-(3.1.4) sont établies par les
Théorèmes 3.4.1 et 3.4.2. Le Théorème 3.4.1 est consacré au cas particulier où νn
est de la forme νn = n + ν0 (pour un certain ν0 > 0) tandis que le Théorème 3.4.2
fait appel à une suite (νn ) définie récursivement vérifiant νn+1 − νn ∼ 1 (lorsque
n → +∞). Ces deux choix de (νn ) assurent la décroissance de En (s, q) pour n assez
grand, mais le dernier choix garantit cette décroissance à partir de n = 1.

68
 3.1. Introduction

Plus précisément, nous prouvons, sous les conditions

(3.1.15) κ ∈]0, 2[ et e > 2κ−1 ,

que l’algorithme (3.1.3)-(3.1.4) génère des suites (faiblement) convergentes (xn ) qui
vérifient un o(n−2 ) pour la minimisation des valeurs de la fonction. Notons que ces
propriétés sont bien connue pour AFB lorsque e > 2 (voir chapitre 1, Section 1.2.4).
De plus, nous étendons au cadre non lisse la propriété de convergence rapide
vers zéro des sous-gradients de la fonction objectif, établie jusqu’à présent pour les
potentiels lisses uniquement. Plus précisément, toujours pour des paramètres vérifiant
(3.1.15), nous prouvons l’existence de sous-gradients ξn∗ ∈ ∂Θ(xn ) qui satisfont

(3.1.16) n2 ∥ξn∗ ∥2 < +∞.

P
n

Le phénomène (3.1.16) a été récemment découvert par Shi-Du-Jordan-Su [103]

pour une nouvelle classe d’algorithmes de type Nesterov (basées sur des EDO à
haute résolution) pour la minimisation de fonctions convexes lisses et lipschitziennes
dans des espaces euclidiens. Notons que la convergence des itérés produits par ces
algorithmes n’a pas été prouvée. Des résultats similaires à celui de [103] ont également
été proposés par Attouch-Chbani-Fadili-Riahi [18] dans le cadre des espaces de Hilbert.
Rappelons que les meilleures estimations obtenues jusqu’à présent concernant AFB
garantissent seulement que

(3.1.17) n∥ξn∗ ∥2 < +∞ et ∥ξn∗ ∥ = o(n−1 ).

P
n

Comme souligné dans [103], l’estimation (3.1.17) est moins fine que (3.1.16) selon
laquelle on obtient
 3
(3.1.18) min ∥ξk∗ ∥ = O n− 2 .
0≤k≤n

Nous montrons que ce résultat reste valable dans le cas particulier de AFB, avec une
condition plus restrictive que (3.1.6). Néanmoins, notre algorithme offre quelques
degrés de liberté supplémentaires grâce aux paramètres κ et νn qui peuvent être
utilisés pour influencer (accélérer) la convergence des itérés.

69
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

3.1.5 Organisation du chapitre.

Le plan de ce chapitre est le suivant. Dans la Section 3.2, nous donnons quelques
préliminaires sur la méthode numérique. Des reformulations très utiles du schéma
(3.1.3)-(3.1.4) sont établies. Le lien entre le schéma proposé et le système dynamique
du premier ordre (3.1.13)-(3.1.12) est également discuté. Une inégalité importante
est énoncée dans la Section 3.3 en vue d’une analyse de Lyapunov. Dans la Section
3.4, nous établissons quelques estimations sur les suites générées par l’algorithme
(3.1.3)-(3.1.4) et nous présentons nos principaux résultats de convergence.

Remarque 3.1.2. À partir de maintenant, nous adopterons les notations suivantes :

- Pour une suite (un ) donnée, on note u̇n = un − un−1 et ün = u̇n − u̇n−1 .
- Pour un réel t, on note (t)+ = max{0, t}.

3.2 Préliminaires

3.2.1 Un modèle du second ordre discret

En suivant la méthodologie de [8], nous reformulons le schéma (3.1.3)-(3.1.4)
ci-dessus à l’aide de l’opérateur Mµ défini pour z ∈ H et µ > 0 par

(3.2.1) Mµ (z) := µ1 (z − proxµg (z − µ∇f (z))).

Remarque 3.2.3. L’opérateur Mµ est couramment utilisé comme astuce classique

pour évaluer les valeurs des sous-gradients dans les algorithmes proximaux (voir, par
exemple, [8, 14]). Rappelons que, pour tout z ∈ H, nous avons les équivalences :

Mµ (z) = 0 ⇐⇒ z = Jµ∂g (z − ∇f (z)) ⇐⇒ 0 ∈ ∂Θ(z).

La proposition suivante sera particulièrement importante pour notre étude.

70
 3.2. Préliminaires

Proposition 3.2.1. Toutes suites {zn , xn , yn } ⊂ H générées par (3.1.3)-(3.1.4),

vérifient (pour n ≥ 1)

(3.2.2a) zn − xn+1 = µMµ (zn ),

(3.2.2b) Mµ (zn−1 ) ∈ ∂g(xn ) + ∇f (zn−1 ),
(3.2.2c) ẏn+1 − ẏn + (1 − καn−1 )ẏn + (κµ)Mµ (zn−1 ) = 0.

Démonstration. Les éléments (3.2.2a) et (3.2.2b) sont classiquement obtenus via

la formulation proximale de (3.1.3). De plus, d’après (3.1.3c), les suites (yn ) et (zn )
générées par (3.1.3)-(3.1.4) vérifient

(3.2.3) ẏn+1 − (καn−1 )ẏn + (κµ)Mµ (zn−1 ) = 0,

ce qui nous donne directement (3.2.2c). ■

3.2.2 Une variante discrète d’un modèle continu.

Le but de cette section est de souligner le lien entre la méthode proposée (3.1.3)-
(3.1.4) et le système du premier ordre (3.1.13)-(3.1.12).

[Link] D’un modèle du second ordre à un modèle du premier ordre.

La proposition suivante montre l’équivalence des systèmes (3.1.13) et (3.1.10)

lorsque Θ est supposé être deux fois continûment différentiable (voir [66]).

Proposition 3.2.2 ([66], Proposition 2.1). Soit κ ∈]0, +∞[. Supposons que Θ ∈
C 2 (H) et que θ :]0, +∞[→]0, +∞[ soit une fonction différentiable. Alors les proposi-
tions suivantes sont équivalentes :
(i1) x est une solution classique du système du second ordre (3.1.10) ;
(i2) (x, y) est une solution classique du système du premier ordre (3.1.13).

[Link] Un modèle continu de la méthode proposée.

Les commentaires suivants sont destinés à souligner le lien entre le modèle continu
(3.1.13)-(3.1.12) et l’algorithme (3.1.3)-(3.1.4). Ce dernier provient en fait d’une
reformulation d’une variante discrète du modèle continu (3.1.13)-(3.1.12). En effet,

71
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

une discrétisation temporelle de (3.1.13)-(3.1.12) peut être envisagée via l’algorithme

(3.2.4a) zn = xn + θn (xn − yn ),
(3.2.4b) xn+1 = proxµg (zn − µ∇f (zn )),
(3.2.4c) yn+1 = (1 − κ)yn + κxn ,

où κ ∈]0, +∞[ et où θn est défini, pour une certaine suite croissante strictement
positive (νn ), par

κνn+1 − ν̇n+1
(3.2.5) θn = .
νn+1 + e

Remarque 3.2.4. On peut vérifier que (3.2.4)-(3.2.5) peut s’écrire de manière

équivalente sous la forme

(3.2.6a) zn = xn − θn (yn − xn ),
(3.2.6b) ẋn+1 + µ(∂g(xn+1 ) + ∇f (zn )) + θn (yn − xn ) ∋ 0,
(3.2.6c) ẏn+1 + κ(yn − xn ) = 0.

Ainsi, en remplaçant µ et κ par µ∆t et κ∆t respectivement dans (3.2.6) (pour une
certaine quantité positive ∆t), on observe que (3.2.4)-(3.2.5) peut être vu comme
une discrétisation par différences finies du modèle (3.1.13)-(3.1.12). Notons que ce
modèle discret fait intervenir le terme explicite ∇f (zn ) au lieu du terme ∇f (xn+1 ).

Nous montrons ensuite que (3.1.3)-(3.1.4) entre dans le cas du modèle (3.2.4)-(3.2.5).

Proposition 3.2.3. Soient les suites {zn , xn , yn } ⊂ H générées par (3.1.3)-(3.1.4).

Alors, pour n ≥ 1, on a

κνn+1 −ν̇n+1
(3.2.7a) zn = xn − θn (yn − xn ), où θn = e+νn+1
,
(3.2.7b) xn+1 = Jµ∂g (zn − µ∇f (zn )),
(3.2.7c) yn+1 = (1 − κ)yn + κxn .

Démonstration. En effet, pour n ≥ 1, d’après (3.1.3c) nous avons

ẏn+1 = κ(xn − yn ),

72
 3.3. Résultats généraux pour une analyse de Lyapunov

c’est-à-dire (3.2.7c), tandis que la définition de xn dans (3.1.3b) nous donne

xn+1 = Jµ∂g (zn − µ∇f (zn )),

on obtient alors directement (3.2.7b). De plus, en posant un = yn − xn , on a, par

définition de zn (dans (3.1.3a))

zn = yn+1 + αn ẏn+1 = xn + un + (1 + αn )ẏn+1 .

Donc, comme ẏn+1 = −κun (d’après (3.2.7c)), on obtient

zn = xn + un + (1 + αn )(−κun ) = xn + (1 − κ − καn )un .

Ainsi, en observant que θn = κ + καn − 1, la dernière égalité nous donne (3.2.7a).

■

3.3 Résultats généraux pour une analyse de Lya-

punov
Dans cette section, nous présentons une suite de type énergie associée à l’al-
gorithme (3.1.3)-(3.1.4). Plus précisément, nous nous concentrons ici sur les itérés
générés par la formulation (3.2.4)-(3.2.5) de l’algorithme considéré.

3.3.1 Fonctionnelle de Lyapunov associée à la méthode.

Nous fixons, sous la condition (νn )n≥0 ⊂]0, +∞[, les paramètres suivants

(3.3.1) ρn := 1 − (1 − κ) νn+1
νn
(pour n ≥ 0) et ρ−1 := ρ0 .

En posant Θ̄ = Θ − min Θ, nous établirons des propriétés de type Lyapunov pour la

quantité En (s, q) définie pour (s, q) ∈]0, +∞[×S par

En (s, q) = 12 ∥s(q − xn ) + νn (yn − xn )∥2

(3.3.2)
+ 21 s(e − s)∥xn − q∥2 + µρ−1 2
n−1 (νn + e) Θ̄(xn ),

73
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

Notons que la forme de cette suite de type énergie est bien connue dans la littérature
(voir, par exemple, [5, 16, 40, 105]).
Un résultat préliminaire important concernant la suite (En (s, q)) est donné par le
lemme suivant :

Lemme 3.3.1. Supposons que les conditions (3.1.2) soient vérifiées. Soient
{xn , yn }n≥0 ⊂ H des suites générées par (3.2.4)-(3.2.5) avec des paramètres {κ, e, µ}
strictement positifs. Soit (νn ) vérifiant les conditions suivantes :

(3.3.3a) (νn )n≥0 ⊂](κ − 1)+ e, +∞[ est croissante,

 
(3.3.3b) νn+1
νn
est décroissante,
n≥0

(3.3.3c) (1 − κ) νn+1
νn
< 1, (pour n ≥ 0).

Alors, pour (s, q) ∈]0, e] × S et pour n ≥ 0, on a

Ėn+1 (s, q) + µ (s − βn ) (e + νn+1 )Θ̄(xn )

(3.3.4)
+ 21 (1 − Lµ)ρ−1 2 2
n (e + νn+1 ) ∥ẋn+1 + θn (yn − xn )∥ ≤ −Tn ,

où ρn et En (s, q) sont donnés respectivement par (3.3.1) et (3.3.2), Θ̄ := Θ − min Θ,

(βn )n≥0 est défini pour n ≥ 0 par

(3.3.5) β0 = 2
ν̇ ,
ρ0 1
 
(3.3.6) βn = 2
ν̇
ρn n+1
+ (κ−1)+
ρn ρn−1
νn
νn−1
− νn+1
νn
(e + νn ) (si n ≥ 1),

et où Tn est défini pour n ≥ 0 par

  2
Tn = 12 (1 − κ)ρn νn νn+1 yn − xn + θ1n − νe−s
n ρn
ẋ n+1
(3.3.7)    
+ 12 (e − s) (e + 2νn+1 ) 1 + (1−κ)ν n+1
νn ρn
+ s (1−κ)νn+1
νn ρ n
∥ẋn+1 ∥2 .

Ce résultat sera démontré dans la section [Link].

74
 3.3. Résultats généraux pour une analyse de Lyapunov

3.3.2 Démonstration du Lemme 3.3.1.

[Link] Une égalité importante concernant un modèle plus général.

Afin de démontrer le Lemme 3.3.1, nous établissons une égalité importante

tirée d’un schéma plus général qui peut s’avérer utile pour étudier des algorithmes
apparentés. Ce schéma consiste en des suites (xn , yn , χ∗n ) ∈ H3 et des paramètres
{κ, e, θn , νn } ⊂]0, +∞[ vérifiant

(3.3.8a) ẋn+1 + χ∗n + θn (yn − xn ) = 0,

(3.3.8b) ẏn+1 + κ(yn − xn ) = 0,

où θn est donné par (3.2.5).

En tant qu’élément clé de notre méthodologie, nous associons à (3.3.8) la quantité
Gn (s, q) donnée pour tout (s, q) ∈ [0, +∞[×H par

(3.3.9) Gn (s, q) = 12 ∥s(q − xn ) + νn (yn − xn )∥2 + 21 s(e − s)∥xn − q∥2 .

Une égalité importante concernant la suite (Gn (s, q)) est établie par la proposition
suivante.

Proposition 3.3.1. Soient p ∈ N. Soient {xn , yn , χ∗n }n≥p ⊂ H des suites vérifiant
(3.3.8) pour n ≥ p. Soient {θn , νn }n≥p ⊂]0, +∞[ et {κ, e} ⊂]0, +∞[. Supposons que
la condition suivante soit vérifiée pour n ≥ p

νn+1
(3.3.10) (1 − κ) < 1.
νn

Alors pour (s, q) ∈]0, +∞[×H et pour n ≥ p nous avons

Ġn+1 (s, q) + 21 ρ−1 2

n (e + νn+1 ) ∥ẋn+1 + θn (yn − xn )∥
2

(3.3.11) +s(e + νn+1 )⟨χ∗n , xn+1

 − q⟩ 
+(e + νn+1 )2 ρ−1
n −
s
e+νn+1
⟨χ∗n , ẋn+1 ⟩ = −Tn ,

où ρn est donné par (3.3.1) et où Tn est défini par (3.3.7).

La preuve de la Proposition 3.3.1 est donnée en Annexe 3.6.1.

75
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

[Link] RIGPA : un cas particulier d’un modèle plus général.

La remarque suivante nous montre le lien entre RIGPA et le modèle plus général
introduit précédemment.

Remarque 3.3.5. On observe, à l’aide de la Remarque 3.2.4, que le modèle discret

(3.2.4)-(3.2.5) s’écrit de façon équivalente

(3.3.12a) zn = xn − θn (yn − xn ),
(3.3.12b) ẋn+1 + µ(x∗n+1 + ∇f (zn )) + θn (yn − xn ) = 0, avec x∗n+1 ∈ ∂g(xn+1 ),
(3.3.12c) ẏn+1 + κ(yn − xn ) = 0.

Par conséquent, le modèle (3.2.4)-(3.2.5) entre dans le cadre du modèle général

(3.3.8) en prenant

(3.3.13) χ∗n = µ(x∗n+1 + ∇f (zn )).

On peut également établir une formulation plus précise de la suite (χ∗n )n . En effet,
par (3.3.12a) et (3.3.12b) nous avons

(3.3.14) zn − xn+1 = µ(x∗n+1 + ∇f (zn )),

ainsi que zn − xn+1 = µMµ (zn ) (d’après (3.2.2a)). On en déduit alors que

(3.3.15) Mµ (zn ) = x∗n+1 + ∇f (zn ) et χ∗n = µMµ (zn ).

On obtient, de plus

(3.3.16) ẋn+1 + θn (yn − xn ) + µMµ (zn ) = 0.

cette dernière égalité se révélera utile pour nos calculs à venir.

[Link] Démonstration du Lemme 3.3.1.

Nous appliquons la Proposition 3.3.1 dans le cas des suites {zn , xn , yn } générées
par (3.2.4)-(3.2.5). De cette façon, et en exploitant les caractéristiques spécifiques de
la fonction objectif Θ := f + g (comme fait dans [14]), nous établissons des propriétés

76
 3.3. Résultats généraux pour une analyse de Lyapunov

de type Lyapunov pour la suite En (s, q) donnée par (3.3.2).

Rappelons que toutes suites {zn , xn , yn } générées par (3.2.4)-(3.2.5) vérifient égale-
ment (3.3.8) ainsi que χ∗n = µMµ (zn ), d’après la Remarque 3.3.5. Par conséquent, en
appliquant la Proposition 3.3.1 et en remarquant que (ρn )n≥0 ⊂]0, +∞[ (d’après la
condition (3.3.3c)), on obtient pour (s, q) ∈]0, e] × S et pour n≥ 0

(3.3.17) Ġn+1 (s, q) + 21 ρ−1 2 2

n τn ∥ẋn+1 + θn un ∥ + µRn = −Tn ,

où τn = νn+1 + e, un = yn − xn , et où θn , Gn (s, q) et Tn sont donnés par (3.2.5),

(3.3.9) et (3.3.7) respectivement, tandis que Rn est défini par
 
(3.3.18) Rn := sτn ⟨Mµ (zn ), xn+1 − q⟩ + ρ−1 2
n n 1−
τ sρn
τn
⟨Mµ (zn ), ẋn+1 ⟩.

Le reste de la démonstration peut être divisée en plusieurs étapes (B0)-(B3) :

(B0) Montrons que pour n ≥ 0, la quantité 1 − sρ n
τn
intervenant dans la définition
de Rn (donnée par (3.3.18)) est strictement positive pour s ∈ [0, e] et ν0 > e(κ − 1)+ .
En effet, pour s ∈ [0, e], on a

sρn sρn eρn

1− τn
=1− e+νn+1
≥1− e+νn+1
.

On vérifie, d’après la définition de ρn (à savoir ρn = 1 − (1 − κ)νn+1 νn−1 ) que le terme

du côté droit de l’inégalité précédente est positif si
 
νn+1
(3.3.19) e + νn+1 > e 1 + (1 − κ) .
νn

Ainsi, comme (νn ) est strictement positive, cette dernière inégalité se réduit à

(3.3.20) νn > e(κ − 1)+ .

On observe alors que l’inégalité (3.3.20) sera satisfaite pour tout n ≥ 0 dès lors
qu’elle l’est pour n = 0 (car (νn ) est supposée être croissante).
(B1) Montrons, par souci d’exhaustivité, que pour tout (x, z) ∈ H2 nous avons

(3.3.21) Lµ


Θ(z − µMµ (z)) ≤ Θ(x) + ⟨Mµ (z), z − x⟩ − µ 1 − 2
∥Mµ (z)∥2 .

77
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

En effet, posons y = z − µMµ (z) et v = y − z pour (x, z) ∈ H2 donnés. On obtient,

en appliquant la formule de Taylor,
R1
f (y) − f (z) = ⟨∇f (z), y − z⟩ + 0
⟨y − z, ∇f (z + tv) − ∇f (z)⟩dt.

Par conséquent, sachant que ∇f est L-lipschitzien et en remarquant que ∥y − z∥ =

∥v∥ = µ∥Mµ (z)∥, nous en déduisons que
R1
f (y) − f (z) = ⟨∇f (z), y − z⟩ + 0
⟨y − z, ∇f (z + tv) − ∇f (z)⟩dt.

De plus, l’inégalité convexe nous donne

f (z) − f (x) ≤ ⟨∇f (z), z − x⟩.

Ainsi, en ajoutant les deux inégalités précédentes, on obtient

(3.3.22) f (y) − f (x) ≤ ⟨∇f (z), y − x⟩ + 21 Lµ2 ∥Mµ (z)∥2 .

Par ailleurs, sachant que Mµ (z) = µ−1 z − proxµg (z − µ∇f (z)) et y = z − µMµ (z),

il est alors classique de voir que l’on a

Mµ (z) − ∇f (z) ∈ ∂g(y).

Par conséquent, en posant ζ = Mµ (z) − ∇f (z) (donc ζ ∈ ∂g(y)) et en utilisant à

nouveau l’inégalité convexe, on obtient

g(y) − g(x) ≤ ⟨ζ, y − x⟩.

En outre, comme y − x = z − x − µMµ (z), nous obtenons

g(y) − g(x) ≤ ⟨Mµ (z), y − x⟩ − ⟨∇f (z), y − x⟩

(3.3.23)
= ⟨Mµ (z), z − x⟩ − µ∥Mµ (z)∥2 − ⟨∇f (z), y − x⟩,

En ajoutant (3.3.22) à (3.3.23), on obtient l’inégalité souhaitée.

(B2) Montrons que pour n ≥ 0,

(3.3.24) Ġn+1 (s, q) + µFn + 21 (1 − Lµ) ρ−1 2 2

n τn ∥ẋn+1 + θn un ∥ ≤ −Tn ,

78
 3.3. Résultats généraux pour une analyse de Lyapunov

où τn = e + νn+1 et où Fn est défini par

(3.3.25) Fn = sτn (Θ(xn ) − Θ(q)) + τn2 ρ−1

n (Θ(xn+1 ) − Θ(xn )) .

En effet, en utilisant (B1) et en remarquant que xn+1 = zn − µMµ (zn ) (d’après

(3.2.2a)), on obtient pour n ≥ 0,

(3.3.26a) Θ(xn+1 ) ≤ Θ(q) + ⟨Mµ (zn ), xn+1 − q⟩ + 21 Lµ2 ∥Mµ (zn )∥2 ,
(3.3.26b) Θ(xn+1 ) ≤ Θ(xn ) + ⟨Mµ (zn ), ẋn+1 ⟩ + 12 Lµ2 ∥Mµ (zn )∥2 .

Ainsi, d’après (3.3.26a) et (3.3.26b), et en posant Θ̄ = Θ − min Θ, nous déduisons,

par définition de Rn , que

Lµ2
 
2
Rn ≥ sτn Θ̄(xn+1 ) − ∥Mµ (zn )∥
2
Lµ2
 
−1 2
+ τn (ρn τn − s) Θ̄(xn+1 ) − Θ̄(xn ) − ∥Mµ (zn )∥
2
 2 
−1

−1 2 Lµ 2
= sτn Θ̄(xn+1 ) + τn (ρn τn − s) Θ̄(xn+1 ) − Θ̄(xn ) − ρn τn ∥Mµ (zn )∥
2

Lµ2 −1 2
= sτn Θ̄(xn ) + ρ−1 2
n τn Θ̄(xn+1 ) − Θ̄(xn ) − ρn τn ∥Mµ (zn )∥2
2
Lµ2 −1 2
= Fn − ρ τ ∥Mµ (zn )∥2 ,
2 n n

ce qui, avec (3.3.17) et ∥Mµ (zn )∥2 = µ−2 ∥ẋn+1 + θn un ∥2 (d’après (3.3.16)), entraîne

1
Tn (s) + Ġn+1 (s, q) = − ρ−1 τ 2 ∥ẋn+1 + θn un ∥2 − µRn
2 n n
1 1
≤ − ρ−1 2 2 −1 2
n τn ∥ẋn+1 + θn un ∥ − µFn + Lµρn τn ∥ẋn+1 + θn un ∥
2
2 2
1
= −µFn − (1 − Lµ) ρ−1 2 2
n τn ∥ẋn+1 + θn un ∥ .
2

Cela nous donne (3.3.24).

(B3) Soit q ∈ S. Posons ϑn = ρ−1 n (νn+1 + e) pour n ≥ 0 ainsi que ϑ−1 =
2

0 (ν0 + e) . Il reste à montrer que la quantité Fn intervenant dans (3.3.24) vérifie

2
ρ−1
pour q ∈ S et n ≥ 0

(3.3.27) Fn ≥ ϑn Θ(xn+1 ) − ϑn−1 Θ(xn ) + (s − βn ) τn Θ(xn ),

79
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

où τn = e + νn+1 et où βn est défini dans (3.3.5)-(3.3.6). Rappelons que νn+1 νn−1 est
décroissante pour κ ≤ 1. Ainsi, un rapide calcul nous donne

ρn−1 − ρn (1 − κ) (κ − 1)+
   
νn+1 νn νn νn+1
(3.3.28) = − ≤ − .
ρn ρn−1 ρn ρn−1 νn νn−1 ρn ρn−1 νn−1 νn +

D’où, par définition de ϑn et pour n ≥ 1,

 
2 2

ϑ̇n = 1
ρn
(e + νn+1 ) − (e + νn ) + ρ1n − ρn−1 1
(e + νn )2
 
ρn−1 −ρn
(3.3.29) = 1
ν̇
ρn n+1
(2e + νn+1 + ν n ) + ρn ρn−1
(e + νn )2
   
2 (κ−1)+ νn νn+1
≤ ν̇
ρn n+1
+ ρn ρn−1 νn−1
− νn
(e + ν n ) τ n = βn τ n .

De plus, comme ϑ̇0 = ϑ0 − ϑ−1 , on a

(3.3.30) 1
(e + ν1 )2 − (e + ν0 )2 ≤ 2


ϑ̇0 = ρ0
ν̇
ρ0 1
(e + ν1 ) = β0 τ0 .

Par conséquent, pour n ≥ 0, on obtient en utilisant (3.3.29) et (3.3.30)

(3.3.31) ϑ̇n ≤ βn τn .

Ensuite, d’après la définition de Fn (donnée par (3.3.25)), on obtient (pour n ≥ 0)

Fn = sτn Θ(xn ) + ϑn Θ(xn+1 ) − Θ(x
 n)

= ϑn Θ(xn+1 ) − ϑn−1 Θ(xn ) + sτn − ϑ̇n Θ(xn ),

ce qui d’après (3.3.31) nous donne (3.3.27). L’inégalité souhaitée découle alors de
(3.3.24) et (3.3.27). ■

3.4 Analyse de la convergence de la méthode

Dans cette section, nous établissons des estimations et des résultats de conver-
gence concernant l’algorithme (3.1.3)-(3.1.4) avec des paramètres (νn ) généraux et
particuliers. La méthodologie repose sur une analyse de Lyapunov associée à la suite
(En ) introduite dans (3.3.2).

80
 3.4. Analyse de la convergence de la méthode

3.4.1 Quelques estimations avec des paramètres généraux.

Un résultat principal de convergence (voir Théorème 3.4.2) est établi concernant
l’algorithme (3.1.3)-(3.1.4) avec des paramètres (νn ) généraux. En particulier, des
conditions suffisantes pour la convergence de la méthode sont obtenues lorsque (νn )
ne dépasse pas le taux O(n).
Comme établi dans la Proposition 3.2.3, nous rappelons que toutes suites
{xn , yn , zn } vérifiant (3.1.3)-(3.1.4) pour n ≥ 0 vérifient également (3.2.4)-(3.2.5)
pour n ≥ 1. Par conséquent, à l’aide du Lemme 3.3.1, nous estimons des quantités
importantes, telles que Θ(xn ) − min Θ, par rapport à l’énergie E1 (e, q). Un résultat
similaire pourrait également être établi pour les itérés donnée par (3.2.4)-(3.2.5) en
fonction de l’énergie initiale E0 (e, q), mais nous nous limitons au premier algorithme.
Pour obtenir ces estimations, nous considérons les quantités βn (introduites dans
(3.3.5)-(3.3.6)) et γn définies (pour n ≥ 1) par

(κ − 1)+
 
νn νn+1
(3.4.1a) βn = 2ρ−1
n ν̇n+1 + − (e + νn ) ,
ρn ρn−1νn−1 νn
ν̇n+1
(3.4.1b) γn = (2 − κ − Lµ) + (1 − κ) .
νn

Des estimations importantes sont fournies par la proposition suivante.

Proposition 3.4.1. Supposons que (3.1.2) soit vérifié. Soient {κ, e, µ} ⊂]0, +∞[
ainsi que (νn )n≥0 vérifiant (3.3.3). Supposons que les conditions suivantes soient
satisfaites :

(3.4.2) e − βn ≥ 0, γn ≥ 0 (pour n ≥ 1).

Alors, pour toutes suites {zn , xn , yn }n≥0 ⊂ H générées par (3.1.3)-(3.1.4) et pour
q ∈ S, la suite de type énergie (En (e, q))n≥1 (donnée par (3.3.2)) est décroissante. De
plus, nous avons les estimations suivantes :

81
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

(3.4.3) ρn−1
Θ(xn ) − min Θ ≤ µ(e+ν n)
2 E1 (e, q) (pour n ≥ 2),
(3.4.4) −1 2 2
P
n≥1 γn ρn (e + νn+1 ) ∥ẋn+1 + θn (yn − xn )∥ ≤ 2E1 (e, q),

(3.4.5) −1
P
n≥1 (e − βn )(e + νn+1 ) (Θ(xn ) − min Θ) ≤ µ E1 (e, q),

(3.4.6) −1 2 2 −2
P
n≥1 γn ρn (e + νn+1 ) ∥Mµ (zn )∥ ≤ 2µ E1 (e, q),

(3.4.7) ∃ξn∗ ∈ ∂Θ(xn ) (pour n ≥ 1) t.q.

−1 2 ∗ 2 −1 2
P
n≥1 γn ρn (e + νn+1 ) ∥ξn ∥ ≤ 2 (L + µ ) E1 (e, q),

où Mµ , ρn et E1 (e, q) sont donnés respectivement par (3.2.1), (3.3.1) et (3.3.2).

Démonstration. Considérons les itérés {zn , xn , yn }n≥0 ⊂ H générés par (3.1.3)-

(3.1.4) et soient {e, κ, µ, νn } des paramètres strictement positifs. Posons un = yn − xn
et τn = e + νn+1 . D’après la Proposition 3.2.3, nous savons que ces itérés vérifient
(3.2.4)-(3.2.5) pour n ≥ 1. On applique alors le Lemme 3.3.1 avec s = e sous les
conditions (3.1.2) et (3.3.3). Ainsi, en remarquant que θn = νnτnρn et que νn+1
νn
= 1+ ν̇n+1
νn
,
on en déduit, pour n ≥ 1

Ėn+1 (e, q) +µ (e − βn ) τn Θ̄(xn ) 

ρn νn νn+1
≤ − 12 (1 − Lµ)ρ−1 τ
n n
2
+ (1 − κ) 2
θn
∥ẋn+1 + θn un ∥2
(3.4.8) 
νn+1

= − 12 ρ−1 2
n τn (1 − Lµ) + (1 − κ) νn ∥ẋn+1 + θn un ∥2
 
1 −1 2 ν̇n+1
= − 2 ρn τn (2 − κ − Lµ) + (1 − κ) νn ∥ẋn+1 + θn un ∥2 .

En utilisant la définition de γn (donnée par (3.4.1)), l’inégalité précédente se réécrit

1
En+1 (e, q) − En (e, q) + γn ρ−1 2 2
n τn ∥ẋn+1 + θn un ∥ + µ (e − βn ) τn Θ̄(xn ) ≤ 0.
2

Par conséquent, comme γn ≥ 0 et que e − βn ≥ 0 (d’après (3.4.2)), on en déduit que

la suite de type énergie (En (e, q))n≥1 est décroissante. Ainsi, en sommant l’inégalité
précédente pour n allant de 1 à N − 1 (avec N ≥ 2), on obtient

N
X −1 N
X −1
(3.4.9) EN (e, q) + 2
γn ∥ẋn+1 + θn un ∥ + µ τn (e − βn ) Θ̄(xn ) ≤ E1 (e, q).
n=1 n=1

De plus, compte tenu de la positivité de En (s, q) (d’après (3.3.2)), la dernière inégalité

82
 3.4. Analyse de la convergence de la méthode

nous donne (pour N ≥ 2)

2
(3.4.10a) 1
2
∥e(q − xN ) + νN uN ∥2 + µ (νρNN+e)
−1
Θ̄(xN ) ≤ E1 (e, q),
PN −1
(3.4.10b) −1 2 2
n=1 γn ρn τn ∥ẋn+1 + θn un ∥ ≤ 2E1 (e, q),
P −1
(3.4.10c) µ Nn=1 (e − βn )τn Θ̄(xn ) ≤ E1 (s, q),

Les inégalités ci-dessus conduisent directement aux estimations (3.4.3)-(3.4.5).

Il reste à prouver (3.4.6) et (3.4.7) :
— L’estimation (3.4.6) est immédiatement déduite de la relation Mµ (zn ) =
−µ−1 (ẋn+1 + θn un ) (d’après (3.3.16)) et de (3.4.4).
— L’égalité (3.3.14), nous donne zn − xn+1 = µ(x∗n+1 + ∇f (zn )) (pour un certain
x∗n+1 ∈ ∂g(xn+1 )). Ainsi, comme ∇f est L-lipschitzien (d’après la condition
(3.1.2)), on obtient

∥x∗n+1 + ∇f (xn+1 )∥ ≤ ∥x∗n+1 + ∇f (zn )∥ + L∥zn − xn+1 ∥.

Par conséquent, en combinant ces deux résultats, il vient

∥x∗n+1 + ∇f (xn+1 )∥ ≤ (1 + Lµ) ∥x∗n+1 + ∇f (zn )∥.

De plus, comme Mµ (zn ) = x∗n+1 + ∇f (zn ) (d’après (3.3.15)), on en déduit que

∥x∗n+1 + ∇f (xn+1 )∥2 ≤ (1 + Lµ)2 ∥Mµ (zn )∥2 ,

ce qui, combiné avec (3.4.6), nous donne (3.4.7). ■

Exposons à présent le résultat principal de cette section.

Proposition 3.4.2. Supposons que (3.1.2) soit vérifié. Soient {xn , yn } ⊂ H des
suites générées par (3.1.3)-(3.1.4) avec κ ∈]0, 2[, ainsi que des paramètres strictement
positifs {µ, e, νn } vérifiant les conditions ci-dessous

83
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

(3.4.11a) ∗
(ν̇n )n≥0 ⊂ [ν̄m ∗
, ν̄M ] ∗
(avec ν̄m ∗
> 0 et ν̄M > 0),
(3.4.11b) (νn+1 νn−1 )n≥0 est décroissante (si κ ∈]0, 1]),
(3.4.11c) (1 − κ)νn+1 νn−1 < 1 (pour n ≥ 0)
(3.4.11d) (νn )n≥0 ⊂](κ − 1)+ e, +∞[,
(3.4.11e) e > supn≥1 βn .

Supposons en outre que l’une des conditions suivantes soit satisfaite

(3.4.12a) µ ∈ 0, L1 ,
 
κ=1 et
(3.4.12b) κ ∈]0, 1[ et µ ∈ 0, 2−κ
 
L
,
∗
(κ−1)+ ν̄M
(3.4.12c)
 2−κ 
κ ∈]1, 2[, µ ∈ 0, L et ν0 > 2−κ−µL
.

Alors, pour q ∈ S, la suite de type énergie (En (e, q))n≥1 (donnée par (3.3.2)) est
décroissante. De plus, les suites (xn ) et (yn ) convergent faiblement vers un élément
z̄ ∈ S et nous avons :

(3.4.13a) Θ(xn ) − min Θ = o(n−2 ),

P
n n (Θ(xn ) − min Θ) < +∞,

(3.4.13b) 2 −1
P
n n∥ẋn ∥ < +∞, ∥ẋn ∥ = o(n ),

(3.4.13c) 2 −1
P
n n∥ẏn ∥ < +∞, ∥ẏn ∥ = o(n ).

En particulier, nous obtenons les résultats supplémentaires suivants en fonction de κ

et µ :
- Si κ ∈]0, 1] et µ ∈ 0, 2−κ
 
L
, alors

(3.4.14) Θ(yn ) − min Θ = o(n−2 ),

P
n n (Θ(yn ) − min Θ) < +∞.

- Si κ ∈]0, 2[ et µ ∈ 0, 2−κ
 
L
, alors

(3.4.15a) ∃ξn∗ ∈ ∂Θ(xn ) n2 ∥ξn∗ ∥2 < +∞.

P
t.q. n

Démonstration. Nous savons, d’après (3.4.11a), qu’il existe deux constantes stric-

84
 3.4. Analyse de la convergence de la méthode

tement positives ν̄m

∗
et ν̄M
∗
telles que

(3.4.16) ∗
∀n ≥ 0, ν̄m ∗
n + ν0 ≤ νn ≤ ν̄M n + ν0 .

On en déduit alors que

(3.4.17a) νn → +∞ (lorsque n → +∞),

(3.4.17b) νn = O(n),
(3.4.17c) νn−1 = O(n−1 ).

De plus, en utilisant à nouveau la condition (3.4.11a), nous avons pour n ≥ 0,

∗
ν̄m νn+1 ν̄ ∗
(3.4.18) ≤ −1 ≤ M.
νn νn νn

Ainsi en combinant (3.4.17) et (3.4.18) nous obtenons

νn+1
(3.4.19) lim = 1.
n→+∞ νn

Par conséquent, les estimations (3.4.17) et (3.4.19), nous donne, par définition de
(θn ) et de (ρn ) (introduits dans (3.2.5) et (3.3.1)),

(3.4.20) lim θn = lim ρn = κ > 0.

n→+∞ n→+∞

Par ailleurs, comme ν̇n ≤ ν̄M

∗
(d’après (3.4.11a)), la définition de γn nous donne

ν̄ ∗
(3.4.21) γn ≥ 2 − κ − µL − (κ − 1)+ νMn .

On déduit alors de cette dernière inégalité que

(3.4.22a) et µ ∈ 0, 2−κ
 
κ ∈]0, 1] L
⇒ inf n≥0 γn ≥ 0,
(3.4.22b) κ ∈]0, 1] et µ ∈ 0, 2−κ
 
L
⇒ inf n≥0 γn > 0,
∗
(κ−1)+ ν̄M
(3.4.22c) κ ∈]1, 2[, µ ∈ 0, 2−κ et ν0 >
 
L 2−κ−µL
⇒ inf n≥0 γn > 0.

À présent, pour alléger les notations, nous posons Θ = Θ − min Θ, un = yn − xn , et

nous procédons à la démonstration des résultats considérés en distinguant les parties

85
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

(C0)-(C4) suivantes :
(C0) Considérons les plages de paramètres suivantes :

(3.4.23a) etµ ∈ 0, 2−κ

 
(ha) : κ ∈]0, 1] L
,
∗
(κ−1)+ ν̄M
(3.4.23b) κ ∈]1, 2[, µ ∈ 0, L et ν0 >
 2−κ 
(hb) : 2−κ−µL
.

Montrons que si l’une des conditions (ha) ou (hb) est vérifiée alors les propriétés
suivantes sont obtenues :

(3.4.24a) (En (e, q))n≥1 (donnée par (3.3.2)) est décroissante;

(3.4.24b) Θ(xn ) = O(n−2 );
(3.4.24c) 2 2
P
n γn n ∥ẋn+1 + θn un ∥ < +∞;

(3.4.24d)
P
n nΘ(xn ) < +∞;

(3.4.24e) 2 2
P
n γn n ∥Mµ (zn )∥ < +∞;

(3.4.24f) ∃ξn∗ ∈ ∂Θ(xn ) t.q. n γn n2 ∥ξn∗ ∥2 < +∞.

P

En effet, sous les conditions (ha) et (hb), les éléments (3.4.24a)-(3.4.24f) pro-
viennent directement de la Proposition 3.4.1, ainsi que des conditions (3.4.11),
inf n≥0 γn ≥ 0 (d’après (3.4.22), et des estimations νn−1 = O(n−1 ) (d’après (3.4.17) et
ρn ∼ κ (lorsque n → +∞).
(C1) Considérons les plages de paramètres suivantes

etµ ∈ 0, 2−κ
 
(ha1) : κ ∈]0, 1] L
,
∗
(κ−1)+ ν̄M
κ ∈]1, 2[, µ ∈ 0, L et ν0 >
 2−κ 
(hb) : 2−κ−µL
.

Montrons que, sous chacune des conditions (ha1) et (hb), nous avons :

(3.4.26a) n2 ∥ẋn+1 + θn un ∥2 < +∞;

P
n

(3.4.26b) n2 ∥Mµ (zn )∥2 < +∞;

P
n

(3.4.26c) ∃ξn∗ ∈ ∂Θ(xn ) t.q. n n2 ∥ξn∗ ∥2 < +∞.

P

En effet, d’après (3.4.22), on a inf n≥0 γn > 0. Ainsi, en utilisant (ha1)-(hb), ainsi
que (3.4.24c), (3.4.24e) et (3.4.24f), nous obtenons directement (3.4.26a), (3.4.26b)
et (3.4.26c).

86
 3.4. Analyse de la convergence de la méthode

(C2) Considérons les plages de paramètres suivantes :

et
µ ∈ 0, L1 ,
 
(ha2) : κ=1
(ha3) : κ ∈]0, 1[ et µ ∈ 0, 2−κ
 
L
,
∗
(κ−1)+ ν̄M
(hb) : κ ∈]1, 2[, µ ∈ 0, L et ν0 >
 2−κ 
2−κ−µL
.

Montrons que si l’une des conditions (ha2), (ha3) ou (hb) est vérifiée, alors :

(3.4.28a) (En (s, q))n est convergente, pour tout (s, q) ∈ [β̄, e[×S où β̄ = supj≥1 βj ;
(3.4.28b) n∥ẋn ∥2 < +∞ ;
P
n

(3.4.28c) n∥un ∥2 < +∞ lim n2 Θ̄(xn ) = lim n∥un ∥ = 0.

P
n ⇒
n→+∞ n→+∞

En effet, en prenant (s, q) ∈]0, e] × S, et en utilisant le Lemme 3.3.1 sous les

conditions (3.4.11) et (3.4.22), on en déduit, pour n ≥ 1, que

Ėn+1 (s, q) + µ (s − βn ) τn Θ̄(xn )

  2
(3.4.29) ≤ − 21 (1 − κ)ρn νn νn+1 un + 1
θn
− e−s
νρn
ẋn+1
− 12 (1 − Lµ)ρ−1 2 2 1 2
n τn ∥ẋn+1 + θn un ∥ − 2 (e − s) hn (s)∥ẋn+1 ∥ ,

où τn = νn+1 + e et où hn (s) est défini par

 
(3.4.30) hn (s) := (s + 2νn+1 ) 1 + (1−κ)νn+1
νn ρn
+ s (1−κ)ν n+1
νn ρ n
.

Estimons le premier terme à droite de l’inégalité (3.4.29). En rappelant que θn = νn ρn

τn
,
nous obtenons
 
1 e−s
ρn νn νn+1 ∥un + θn − νn ρn ẋn+1 ∥2
≤ 2 ρn νnθ2νn+1 ∥ẋn+1 + θn un ∥2 + 2(e − s)2 ννnn+1
ρn
∥ẋn+1 ∥2
n
νn+1 2 νn+1
= 2ρ−1
n τ ∥ẋn+1 + θn un ∥2 + 2(e − s)2 ρ−1
νn n n νn
∥ẋn+1 ∥2 .

Ce qui d’après (3.4.29) nous donne

87
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

Ėn+1 (s, q) + µ (s − βn ) τn Θ̄(xn )

  2
1 1 e−s
≤ 2
(κ − 1) + ρ n ν n νn+1 u n + θn
− νρn
ẋ n+1
1 −1 2 2 1 2
+ 2 (Lµ − 1) + ρn τn ∥ẋn+1 + θn un ∥ − 2 (e − s) hn (s)∥ẋn+1 ∥ 
1 −1 νn+1 2 2 2 −1 νn+1 2
≤ 2
(κ − 1) + 2ρ n τ
νn n
∥ ẋ n+1 + θ u
n n ∥ + 2(e − s) ρ n νn
∥ẋ n+1 ∥
1 −1 2 2 1 2
+ 2 (Lµ − 1)+ ρn τn ∥ẋn+1 + θn un ∥ − 2 (e − s) hn (s)∥ẋn+1 ∥
= (κ − 1)+ νn+1
νn
+ 12 (Lµ − 1)+ ρ−1 2
n τn ∥ẋn+1 + θn un ∥
2

 
1 −1 νn+1
− 2 (e − s) hn (s) − 2(κ − 1)+ (e − s)ρn νn ∥ẋn+1 ∥2 .

Introduisons maintenant les nouveaux paramètres suivants :

(3.4.31a) β̄ = supj≥1 βj ,
 
(3.4.31b) νn+1
ln = (κ − 1)+ νn + 2 (Lµ − 1)+ ρ−1
1 2
n τn ,

(3.4.31c) rn = 1 + 2ρ−1
n
νn+1
νn
(1 − κ)+ .

On remarque, à partir de la définition de hn (.) (donnée par (3.4.30)) que l’on a

 
(3.4.32) hn (s) − hn (e) = −(e − s) 1 + 2ρ−1
n
(1−κ)νn+1
νn
,

ce qui nous donne,

hn (s) − hn (e) − (e
 − s)(rn − 1) 
νn+1
(3.4.33) = −(e − s) 1 + 2ρ−1
(1 − κ + (κ − 1)+ )
n νn
 
νn+1
= −(e − s) 1 + 2ρ−1
n νn
(1 − κ) + ,

ou, de façon équivalente (à l’aide de (3.4.31c))

(3.4.34) hn (s) = hn (e) − (e − s)rn + (e − s)(rn − 1).

Par conséquent, en tenant compte de (3.4.31a) et de (3.4.34), la précédente estimation

de Ėn+1 (s, q) implique que

88
 3.4. Analyse de la convergence de la méthode

Ėn+1 (s, q) + µ s − β̄ τn Θ̄(xn )
(3.4.35) ≤ ln ∥ẋn+1 + θn un ∥2 − 12 (e − s) (hn (s) − (e − s)(rn − 1)) ∥ẋn+1 ∥2
= ln ∥ẋn+1 + θn un ∥2 − 12 (e − s0 ) (hn (e) − (e − s0 )rn ) ∥ẋn+1 ∥2 .

Ainsi, en remarquant que β̄ < e (d’après (3.4.11e)) et en prenant s = s0 avec

s0 ∈ [β̄, e[, on en déduit que


Ėn+1 (s0 , q) + µ s0 − β̄ τn Θ̄(xn )
(3.4.36)
≤ ln ∥ẋn+1 + θn un ∥2 − 21 (e − s0 ) (hn (e) − (e − s0 )rn ) ∥ẋn+1 ∥2 .

On peut également remarquer, à l’aide des définitions de hn (.), ln et rn (données par

(3.4.30) et (3.4.31)), et par le fait que νn → +∞, νn+1
νn
→ 1, ρn → κ et νn = O(n)
lorsque n → +∞ (d’après (3.4.19) et (3.4.17)), que l’on a

(3.4.37a) hn (e) ∼ κ2 νn+1 lorsque n → +∞ (d’où hn (e) = O(n)),

(3.4.37b) rn ∼ 1 + 2κ−1 (1 − κ)+ lorsque n → +∞,
(3.4.37c) ln = O(n2 ).

De plus, concernant le terme hn (e) − (e − s0 ) rn intervenant dans le côté droit de

(3.4.36), nous avons, en utilisant (3.4.17) et (3.4.37a)-(3.4.37b),

(3.4.38) νn−1 = O(n−1 ) et hn (e) − (e − s0 ) rn ∼ κ2 νn+1 (lorsque n → +∞).

(a)-(b) Nous sommes maintenant en mesure de démontrer les estimations (3.4.28a)-

(3.4.28b) en considérant séparément les deux plages de paramètres suivantes :
- Supposons que (ha2) soit vérifié (donc ln = 0 d’après sa définition).
L’inégalité (3.4.36), nous donne alors

(3.4.39) Ėn+1 (s0 , q) ≤ − 21 (e − s0 ) (hn (e) − (e − s0 )rn ) ∥ẋn+1 ∥2 .

Ainsi, pour N ≥ 2 on obtient

PN −1
(3.4.40) 1
2
(e − s0 ) n=1 (hn (e) − (e − s0 ) rn ) ∥ẋn+1 ∥2 ≤ E1 (s0 , q).

89
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

Par conséquent, on déduit de (3.4.39) et de (3.4.38) que la suite (En (s0 , q)) est
convergente. De plus, en utilisant (3.4.38) et (3.4.40), on obtient n n∥ẋn ∥2 < +∞.
P

- Supposons que (ha3) ou (hb) soit vérifié. D’après (3.4.36), nous avons

(3.4.41) Ėn+1 (s0 , q) ≤ ln ∥ẋn+1 + θn un ∥2 − 12 (e − s0 ) (hn (e) − (e − s0 )rn ) ∥ẋn+1 ∥2 ,

et donc, on obtient pour N ≥ 2

1
PN −1
(e − s0 ) (hn (e) − (e − s0 ) rn ) ∥ẋn+1 ∥2
(3.4.42) 2 n=1
P −1
≤ E1 (s0 , q) + N 2
n=1 ln ∥ẋn+1 + θn un ∥ .

De plus, sachant que ln = O(n2 ) (d’après (3.4.37c)) et que n2 ∥ẋn+1 + θn un ∥2 <

P
n
+∞ (d’après (3.4.26a)) on obtient
X
(3.4.43) ln ∥ẋn+1 + θn un ∥2 < +∞.
n

On déduit alors des estimations (3.4.41) et (3.4.43) que (En (s0 , q)) est convergent.
De plus, il résulte de (3.4.38) et de (3.4.42) que l’on a n n∥ẋn ∥2 < +∞
P

(c) Prouvons (3.4.28c). Pour n ≥ 1, nous avons à partir de (3.3.2)

2
(3.4.44) En (0, q) = 12 ∥νn un ∥2 + µ (νρnn−1
+e)
Θ̄(xn ).

De plus, en utilisant (3.4.35) avec s ∈]0, e[ et q ∈ S, et en passant à la limite lorsque

s → 0+ dans cette inégalité, on obtient

En+1 (0, q) − En (0, q)

(3.4.45)
≤ ln ∥ẋn+1 + θn un ∥2 + µβ̄τn Θ̄(xn ) − 12 e(hn (e) − ern )∥ẋn+1 ∥2 .

Par ailleurs, les estimations de (3.4.37) nous donnent

2
(3.4.46) hn (e) − ern ∼ νn+1 ≥ 0 (lorsque n → +∞).
κ

De plus, comme nΘ̄(xn ) < +∞ (d’après (3.4.24d)), τn = O(n) (d’après (3.4.17)

P
n

90
 3.4. Analyse de la convergence de la méthode

et τn = e + νn+1 ), on a aussi
X
(3.4.47) τn Θ̄(xn ) < +∞,
n

tandis que (comme indiqué dans (3.4.43)) chacune des conditions (ha3) ou (hb)
garantit que
X
(3.4.48) ln ∥ẋn+1 + θn un ∥2 < +∞.
n

Il en résulte d’après (3.4.45), (3.4.46), (3.4.47) et (3.4.48), que la suite (En (0, q))
converge lorsque n → +∞. De plus, en supposant que n n∥un ∥ < +∞, on
2
P

remarque, d’après νn = O(n) et la formulation de En (0, q) ci-dessus, que

X
(3.4.49) n−1 En (0, q) < +∞.
n

Par conséquent, sachant que la suite (En (0, q))n est convergente et en remarquant
que n n−1 = +∞, on en déduit que En (0, q) → 0 lorsque n → +∞. Ce dernier
P

résultat associé à ẏn+1 = −κun (d’après la Proposition 3.2.3), entraîne immédiatement

(3.4.28c).
(C3) Prouvons que si l’une des conditions précédentes (ha2), (ha3) ou (hb)
(utilisées dans la partie (C2)) est vérifiée, alors nous avons :

(3.4.50a) n∥yn − xn ∥2 < +∞, n∥ẏn ∥2 < +∞,

P P
n n

(3.4.50b) lim n2 Θ̄(xn ) = 0,

n→+∞

(3.4.50c) lim n∥yn − xn ∥ = lim n∥ẏn ∥ = 0,

n→+∞ n→+∞

(3.4.50d) lim n∥ẋn ∥ = 0.

n→+∞

Pour simplifier, nous posons un = yn − xn et nous prouvons chaque élément

(a)-(b)-(c)-(d) séparément :
(a) Commençons par prouver la première estimation dans (3.4.50a). En utilisant
la convexité de la norme carrée, on a

(3.4.51) n∥θn un ∥2 ≤ 2n∥θn un + ẋn+1 ∥2 + 2n∥ẋn+1 ∥2 .

91
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

Distinguons alors les deux situations suivantes :

- Supposons que (ha3) ou (hb) soit vérifiée. Alors comme n n∥θn un + ẋn+1 ∥2 <
P

+∞ et n n∥ẋn+1 ∥2 < +∞ (d’après (3.4.26a) et (3.4.28b) respectivement), on obtient

P

n∥θn un ∥2 < +∞. Ainsi, comme θn → κ lorsque n → +∞, on en déduit que

P
Pn 2
n n∥un ∥ < +∞.
- Supposons que (ha2) soit vérifiée (donc κ = 1). D’après (3.2.7c) de la
Proposition 3.2.3, on a yn+1 = xn pour n ≥ 1 (car ẏn+1 = xn − yn ). Donc comme
un = yn − xn , on obtient un = −(xn − xn−1 ) pour n ≥ 2, ce qui nous donne
∥un ∥2 = ∥ẋn ∥2 . Ainsi, d’après (3.4.28b) nous obtenons n n∥un ∥2 < +∞.
P

La deuxième estimation de (3.4.50a) est directement déduite de la première avec

ẏn+1 = −κun (d’après la Proposition 3.2.3).
(b)-(c) Les éléments (3.4.50b) et (3.4.50c) découlent de (3.4.28c), en tenant
compte de (3.4.50a) et en rappelant que ẏn+1 = −κun (d’après la Proposition 3.2.3).
(d) Pour prouver ce point, nous considérons les deux situations suivantes :
- Supposons que (ha3) ou (hb) soit vérifié. Alors comme n∥ẋn+1 + θn un ∥ → 0
(d’après (3.4.26a)) et que n∥un ∥ → 0 (d’après (3.4.50c) lorsque n → +∞, on en
déduit, n∥ẋn+1 ∥ → 0 lorsque n → +∞ (car (θn ) est borné).
- Supposons que (ha2) soit vérifié. Comme κ = 1, on obtient en procédant
comme précédemment, que un = −ẋn (pour n ≥ 2). Ainsi, on déduit de (3.4.50c),
que l’on a n∥ẋn ∥ → 0 lorsque n → +∞.
(C4) Montrons que toutes suites {xn , yn } ⊂ H générées par (3.1.3)-(3.1.4)
convergent faiblement vers un élément de S lorsque n → +∞.
En effet, pour (s, q) ∈ [β̄, e[, nous savons, d’après (3.4.28a), que (En (s, q)) est
convergent lorsque n → +∞. De plus, par (3.4.50b)-(3.4.50c) et νn = O(n) nous
avons

(e + νn )2
(3.4.52) Θ̄(xn ) → 0 et νn ∥yn − xn ∥ → 0 (lorsque n → +∞).
ρn−1

Par conséquent, on en déduit de la définition de En (s, q) (donnée par (3.3.2)), que

s2
   
1
(3.4.53) lim En (s, q) = + s(e − s) lim ∥xn − q∥2 .
n→+∞ 2 2 n→+∞

Il en résulte que (∥xn − q∥) converge lorsque n → +∞. De plus, l’estimation (3.4.50b)
assure que Θ(xn ) − Θ(q) → 0 lorsque n → +∞. Par ailleurs, pour toute sous-suite de

92
 3.4. Analyse de la convergence de la méthode

(xn ) (notée encore (xn )) convergeant faiblement vers un certain x∗ ∈ H, on obtient,

en invoquant la semi-continuité inférieure de Θ,

(3.4.54) 0 = lim inf (Θ(xn ) − Θ(q)) ≥ (Θ(x∗ ) − Θ(q)) ≥ 0,

n→+∞

ce qui implique que Θ(x∗ ) = Θ(q). Ceci prouve que x∗ ∈ S, assurant ainsi que tout
point d’accumulation faible de (xn ) appartient à S. En appliquant le lemme d’Opial
[87] nous concluons que la suite (xn ) converge faiblement vers un élément z̄ ∈ S.
Par conséquent, comme ∥xn − yn ∥ → 0 lorsque n → +∞ (d’après (3.4.50c)), nous
déduisons notre résultat de convergence.
(C5) Convergence de Θ(yn ). Démontrons que, les propriétés suivantes sont
obtenues sous chacune des conditions (ha2) et (ha3), :

(3.4.55a)
P
n n(Θ(yn ) − min Θ) < +∞;
(3.4.55b) limn n2 (Θ(yn ) − min Θ) = 0.

- Prouvons (3.4.55a). D’après (3.1.3), nous avons (pour n ≥ 0)

(3.4.56) yn+1 = (1 − κ)yn + κxn .

Donc, comme κ ∈]0, 1], en utilisant la convexité de la fonction objective Θ, on en

déduit que

(3.4.57) Θ(yn+1 ) ≤ (1 − κ)Θ(yn ) + κΘ(xn ).

Cette dernière inégalité peut se réécrire sous la forme

(3.4.58) Γn+1 ≤ (1 − κ)Γn + κ∆n ,

avec Γn = Θ(yn ) − min Θ et ∆n = Θ(xn ) − minH Θ.

En multipliant (3.4.58) par (n + 1), on a

(3.4.59) (n + 1)Γn+1 − nΓn ≤ −(κ(n + 1) − 1)Γn + κ(n + 1)∆n .

Par conséquent, en utilisant (3.4.58)-(3.4.59) ainsi que n n∆n < +∞ (d’après

P

(3.4.24d)), on obtient n nΓn < +∞, ce qui nous donne (3.4.55a).

P

93
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

- Prouvons (3.4.55b). En multipliant l’inégalité (3.4.58) par (n + 1)2 on obtient

(3.4.60) (n + 1)2 Γn+1 ≤ (1 − κ)n2 Γn + 2(1 − κ)(n + 1)Γn + κ(n + 1)2 ∆n .

Rappelons à présent le lemme suivant (voir [73, Lemma 4.3] pour une preuve),

Lemme 3.4.2. Soit (an ) une suite de réels positifs telle que

(3.4.61) an+1 ≤ (1 − γn )an + γn rn ,

P
où (rn ) est une suite réelle bornée et où (γn ) ⊂ [0, 1] vérifie n γn = +∞.
Alors on a

(3.4.62) lim sup an ≤ lim sup rn .

n→+∞ n→+∞

Par conséquent, nous obtenons à l’aide du lemme précédent,

(3.4.63) lim sup n2 Γn ≤ lim sup κ−1 (2(1 − κ)(n + 1)Γn + κ(n + 1)2 ∆n ).
n→+∞ n→+∞

Ainsi, comme limn→+∞ νn2 ∆n = 0 (d’après (3.4.50b)) et n≥0 nΓn < +∞ (d’après
P

(3.4.55a)), on déduit de (3.4.63) que limn→+∞ n2 Γn = 0, c’est à dire (3.4.55b). ■

Quelques inégalités sont données par les résultats suivants afin d’obtenir des
estimations sur les itérés {zn , yn , xn } générés par (3.1.3)-(3.1.4).

Lemme 3.4.3. Supposons que (3.1.2) soit vérifiée et soient {zn , xn , yn } ⊂ H générées
par (3.1.3)-(3.1.4) avec κ ∈]0, 2[, µ ∈]0, 2−κ
L
[, e > 0. Soit (νn ) une suite strictement
positive. Alors pour n ≥ 1, on a les inégalités suivantes :
 2
(3.4.64a) ∥ẏn+1 − ẏn ∥2 ≤ 2 κe+ν̇n
∥ẏn ∥2 + 2(κµ)2 ∥Mµ (zn−1 )∥2 ,
e+νn
 2
(3.4.64b) ∥zn−1 − yn+1 ∥2 ≤ 2∥ẏn − ẏn+1 ∥2 + 2 κe+ ν̇n
e+νn
∥ẏn ∥2 ,

(3.4.64c) ∥Mµ (zn )∥2 ≤ 2µ−2 ∥xn+1 ∥2 + 2µ−2 θn2 ∥un ∥2 ,

 2
(3.4.64d) ∥Mµ (yn+1 )∥2 ≤ 2 µ2 ∥zn − yn+1 ∥2 + 2∥Mµ (zn )∥2 ,

où Mµ est défini par (3.2.1).

Démonstration. Prouvons séparément chacune des inégalités de (3.4.64) :

94
 3.4. Analyse de la convergence de la méthode

En utilisant la relation (3.2.3), on obtient :

(3.4.65) ẏn+1 − ẏn + (1 − καn−1 )ẏn + (κµ)Mµ (zn−1 ) = 0.

Par ailleurs, un rapide calcul nous donne

κe+ν̇n
1 − καn−1 = e+νn
.

On obtient donc classiquement (3.4.64a). De plus, (d’après (3.1.3)), nous avons

zn−1 = yn + αn−1 ẏn , on obtient alors :

zn−1 − yn+1 = ẏn − ẏn+1 − (1 − αn−1 )ẏn ,

ce qui entraîne immédiatement (3.4.64b). L’estimation (3.4.64c) est classiquement

obtenue à partir de la relation Mµ (zn ) = µ−1 (ẋn+1 + θn un ) donnée par (3.3.16). Enfin,
il est bien connu que ∇f est L−1 -cocoercif, puisque ∇f est L-lipschitzien. On peut
donc vérifier que Mµ est µ(1 − µL 4
)-cocoercif (voir, par exemple, [8, Lemma B1]),
sous la condition µ ∈]0, 2L−1 [. Il en résulte que l’opérateur Mµ est ( µ2 )-lipschitzien.
On obtient alors (3.4.64d). ■

Proposition 3.4.3. Supposons que les conditions (3.1.2) soient vérifiées et soient
{zn , xn , yn } ⊂ H des suites générées par (3.1.3)-(3.1.4). Soit e > supn≥0 βn et
∗
(κ−1)+ ν̄M
supposons que (νn ) satisfait (3.4.11) avec ν0 > 2−κ−µL . Alors, sous chacune des
conditions (3.4.12a), (3.4.12b) et (3.4.12c), nous avons

(3.4.66) n∥Mµ (yn )∥2 < +∞, ∥Mµ (yn )∥ = o(n−1 );

P
n

et pour κ ∈]0, 2[ et µ ∈]0, 2−κ

L
[, nous avons aussi

(3.4.67) n2 ∥ẏn+1 − ẏn ∥2 < +∞, n2 ∥Mµ (xn )∥2 < +∞.
P P
n n

Démonstration. Prouvons (3.4.66). D’après l’estimation (3.4.64d) et en remarquant

que zn = yn+1 + αn ẏn+1 , on obtient
 2
(3.4.68) ∥Mµ (yn+1 )∥2 ≤ 2 2αn
µ
∥ẏn+1 ∥2 + 2∥Mµ (zn )∥2 .

Ainsi, comme αn est bornée et que n∥ẏn ∥2 < +∞ (d’après (3.4.50a)) ainsi que
P
n

95
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

n∥Mµ (zn )∥2 < +∞, on obtient n n∥Mµ (yn )∥2 < +∞. Par ailleurs, la condition
P P
n
e > supn≥0 βn assure que n∥ẋn+1 ∥ → 0 et n∥un ∥ → 0 (lorsque n → +∞), d’après
(3.4.50c)-(3.4.50d). Ainsi sachant que θn est borné (car θn = κ + καn − 1), on déduit
de (3.4.64c) que l’on a n∥Mµ (zn )∥ → 0 lorsque n → +∞. On obtient alors d’après
l’estimation (3.4.68), que n∥Mµ (yn )∥ → 0, car αn est borné et n∥ẏn ∥ → 0 (d’après
(3.4.50c)).
Prouvons (3.4.67). En utilisant la relation (3.2.3), on obtient
ẏn+1 − ẏn + (1 − καn−1 )ẏn + (κµ)Mµ (zn−1 ) = 0,
où 1 − καn−1 = κe+ ν̇n
e+νn
. Donc, comme ν̇n ≤ β, on obtient
 2
∥ẏn+1 − ẏn ∥2 ≤ 2 κe+βe+νn
∥ẏn ∥2 + 2(κµ)2 ∥Mµ (zn−1 )∥2 ,
Par conséquent, la première estimation de (3.4.67) est déduite des deux estimations
n n∥ẏn ∥ < +∞ et n n ∥Mµ (zn )∥ < +∞ (d’après (3.4.50a) et (3.4.6)).
2
P P 2 2

Démontrons la deuxième estimation de (3.4.67). L’opérateur Mµ étant ( µ2 )-

lipschitzien, on a classiquement
 2
(3.4.69) ∥Mµ (xn+1 )∥2 ≤ 2∥Mµ (zn )∥2 + 2 2
µ
∥zn − xn+1 ∥2 .

Par ailleurs, la relation (3.2.6a), nous donne ∥zn − xn+1 ∥ = ∥ẋn+1 + θn un ∥,

ce qui d’après (3.4.4) entraine que < +∞. De plus, on
P 2 2
n n ∥zn − xn+1 ∥
a n ∥Mµ (zn )∥2 < +∞ (d’après (3.4.6)), il résulte alors de (3.4.69) que
P 2
P n2
n n ∥Mµ (xn+1 )∥ < +∞, ce qui entraîne n n ∥Mµ (xn )∥ < +∞. .
2
P 2 2
■

3.4.2 Quelques estimations avec des paramètres particuliers.

En tant que conséquence directe de la Proposition (3.4.2), nous présentons deux
théorèmes associés à (3.1.3)-(3.1.4) avec des paramètres particuliers (νn ) vérifiant
νn+1 − νn ∼ 1 lorsque n → +∞.

Remarque 3.4.6. Notons que, pour toute suite (νn ) vérifiant νn+1 − νn ∼ β lorsque
n → +∞ (pour un certain β > 0), la méthode (3.1.3)-(3.1.4) ne dépend que de β
via le terme inertiel αn = (1−κ)e+ν n
κ(e+νn+1 )
(donné par (3.1.4)). Ce dernier peut, en effet,
(1−κ)e∗ +ν̄n
se réécrire αn = κ(e∗ +ν̄n+1 ) avec e∗ = (1/β)e et où ν̄n = (νn /β) vérifie ν̄n+1 − ν̄n ∼ 1.
Ainsi, choisir β ̸= 1 ne présente aucun intérêt dans notre étude.

Le premier théorème concerne le cas particulier où νn = n + ν0 (avec ν0 > 0).

96
 3.4. Analyse de la convergence de la méthode

Théorème 3.4.1. Supposons que la condition (3.1.2) soit vérifiée. Soit νn = n + ν0

(pour une certaine valeur positive ν0 ) et soient {xn , yn } ⊂ H des suites générées par
(3.1.3)-(3.1.4). Soient κ ∈]0, 2[ et {e, µ} des paramètres strictement positifs vérifiant

(3.4.70) e > 2κ−1 .

Supposons en outre que l’une des conditions (3.4.71a) et (3.4.71c) soit satisfaite

(3.4.71a) κ = 1 et µ ∈ 0, L1 ,
 

(3.4.71b) κ ∈]0, 1[ et µ ∈ 0, 2−κ

 
L
,
(3.4.71c)
 2−κ 
κ ∈ (1, 2) et µ ∈ 0, L .

Alors les suites (xn ) et (yn ) convergent faiblement vers un élément z̄ ∈ S et nous
avons les estimations suivantes :

(3.4.72a) Θ(xn ) − min Θ = o(n−2 ),

P
n n (Θ(xn ) − min Θ) < +∞,

(3.4.72b) 2 −1
P
n n∥xn+1 − xn ∥ < +∞, ∥xn+1 − xn ∥ = o(n ),

(3.4.72c) 2 −1
P
n n∥yn+1 − yn ∥ < +∞, ∥yn+1 − yn ∥ = o(n ).

En particulier, nous avons les résultats suivants selon les valeurs de κ et µ :

- Si κ ∈]0, 1] et si µ ∈ 0, 2−κ
 
L
, alors

(3.4.73) Θ(yn ) − min Θ = o(n−2 ),

P
n n (Θ(yn ) − min Θ) < +∞.

- Si κ ∈]0, 2[ et si µ ∈ 0, 2−κ
 
L
, alors

(3.4.74a) ∃ξn∗ ∈ ∂Θ(xn ) n2 ∥ξn∗ ∥2 < +∞.

P
t.q. n

Démonstration. Considérons, pour n ≥ 1, la suite (νn )n de la forme νn = n + ν0

avec ν0 > 0. Alors en posant ρn = 1 − (1 − κ)νn+1 ν −1 , on obtient

ν̇n = 1, νn+1 νn−1 = 1 + νn−1 , et ρn ∼ κ lorsque n → +∞.

 
On déduit de ces estimations que νn−1 νn
− νn+1
νn
(e + νn ) = ν(e+ν n)
n−1 νn
∼ n−1 lorsque n →
+∞, et que la suite (βn )n introduite dans (3.4.1a) vérifie βn ∼ 2κ−1 lorsque n → +∞.
Ainsi, pour ϵ ∈]0, 2κ−1 [ donné, on sait qu’il va exister un entier p suffisamment grand

97
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

tel que 2κ−1 − ϵ > βn (pour n ≥ p). Par conséquent, la condition e > 2κ−1 entraîne
que e > ϵ + βn (pour n ≥ p), ce qui implique que e ≥ ϵ + supn≥p βn > supn≥p βn .
Il en résulte que l’on a, pour p suffisamment grand

(3.4.75a) ν̇n = 1 (pour n ≥ 1),

(3.4.75a) (νn+1 νn−1 )n≥p est croissante (pour κ > 0),
(3.4.75a) (ρn )n≥p ⊂ (0, ∞),
(3.4.75a) (νn )n≥p ⊂ (e(κ − 1)+ , ∞),
(3.4.75a) e > supn≥p βn ,
(3.4.75a) νp > (κ−1)+
2−κ−µL
si 2 − κ − µL > 0.

Les conclusions de ce théorème découlent alors de la Proposition 3.4.2. ■

Remarque 3.4.7. Il est clair que le Théorème 3.4.1 couvre les résultats proposés
par Attouch-Peypouquet [14] concernant la méthode AFB (3.1.7), à savoir le cas
particulier de (3.1.3)-(3.1.4) lorsque κ = 1 et e = α−1 (pour un certain α strictement
positif ). Par conséquent, l’application du Théorème 3.4.1 pour e > 2 nous donne les
résultats de convergence de [14] qui ont été obtenus pour α > 3.

Le second résultat concerne le cas κ > 1 et où (νn ) est donné pour n ≥ 1 par
la formule récursive

κ + (1 − 2ϵn )ρn−1
 
(3.4.76) νn+1 = νn 1 + ,
2νn ρn−1 − (κ − 1)

pour une certaine suite (ϵn ) positive décroissant lentement vers 0, et où ν0 et ν1 sont
des paramètres strictement positifs vérifiant

(3.4.77a) ν1 ≥ ν0 > κ−1 (κ − 1),

(3.4.77b) ∃ϵ̄ ∈ [0, 21 [ tel que (ϵn ) ⊂ [0, ϵ̄] et limn→+∞ ϵn = 0.

Remarque 3.4.8. Une accélération de la méthode semble avoir été obtenue concer-
nant la suite récursive (νn ) donnée par (3.4.76) au lieu du choix classique νn = n + ν0 .
Cependant, nous n’étudions pas cette question d’un point de vue théorique.

La remarque suivante montre que la formule récursive (3.4.76) est bien définie.

98
 3.4. Analyse de la convergence de la méthode

Remarque 3.4.9. Rappelons que pour κ > 1, la propriété νn+1 ≥ νn > 0 (pour
un certain n ≥ 0) entraîne ρn ≥ κ. On peut alors vérifier par récurrence, qu’en
prenant ν0 et ν1 vérifiant (3.4.77), la suite (νn ) donnée par (3.4.76) est bien définie
et satisfait, pour n ≥ 1,

(3.4.78) ρn−1 ≥ κ,
(3.4.79) 2νn ρn−1 ≥ 2κν0 > 2(κ − 1),
(3.4.80) νn+1 ≥ νn .

Il en résulte que (3.4.76) génère une suite (νn ) croissante et strictement positive.

Mettons en évidence quelques propriétés concernant la suite (νn ) définie par

(3.4.76).

Proposition 3.4.4. Pour toute suite (νn ) générée par (3.4.76), ainsi que pour (ϵn ),
ν0 et ν1 vérifiant (3.4.77), nous avons les propriétés suivantes

(3.4.81) 1−ϵ̄
2
≤ ν̇n ≤ 2 pour n ≥ 2, donc νn−1 = O(n−1 ) et νn = O(n),
(3.4.82) νn+1 − νn ∼ 1 (lorsque n → +∞).

De plus, la suite (νn ) vérifie

κ−1
 
νn νn+1
(3.4.83) 2ν̇n+1 + − = 2(1 − ϵn )
ρn−1 νn−1 νn

Démonstration. Introduisons l’application φ1 : x 7→ 2x−(κ−1)

x
. On vérifie facilement
que φ1 est décroissante sur ](1/2)(κ − 1), +∞[ et satisfait

(3.4.84) ∀x > 12 (κ − 1), φ1 (x) ≥ 21 .

Par ailleurs, d’après (3.4.76) on a

(κ + (1 − 2ϵn )ρn−1 )νn

(3.4.85) ν̇n+1 = .
2ρn−1 νn − (κ − 1)

Ainsi, comme νn ρn−1 > κ − 1 (d’après (3.4.79)), on en déduit que

(1 − 2ϵn )ρn−1 νn 1 − 2ϵ̄

(3.4.86) ν̇n+1 ≥ = (1 − 2ϵn )φ1 (νn ρn−1 ) ≥ .
2ρn−1 νn − (κ − 1) 2

99
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

De plus, comme κ ≤ ρn−1 (d’après (3.4.78)) et νn ρn−1 > κ − 1 (d’après (3.4.79)), on

obtient en utilisant (3.4.85)

2(1−ϵn )νn ρn−1

ν̇n+1 ≤
(3.4.87) 2ρn−1 νn −(κ−1)
= 2(1 − ϵn )φ1 (νn ρn−1 ) ≤ 2(1 − ϵn )φ1 (κ − 1) ≤ 2(1 − ϵn ) ≤ 2.

Les inégalités (3.4.86) et (3.4.87) nous donnent alors (1/2)(1 − 2ϵ̄) ≤ ν̇n+1 ≤ 2
et νn → +∞ (lorsque n → +∞). On en déduit donc que νn+1 νn−1 → 1 (lorsque
n → +∞). Ceci implique que ρn ∼ κ (lorsque n → +∞), ce qui entraine, d’après
(3.4.85) et ϵn → 0, que

(3.4.88) ν̇n+1 ∼ 1 (lorsque n → +∞).

Démontrons la relation (3.4.83). L’égalité (3.4.83) est équivalente à

κ−1 (κ − 1) νn
 
νn+1 2 − = 2(1 − ϵn ) + 2νn − .
νn ρn−1 ρn−1 νn−1

Cette dernière peut se réécrire sous la forme

−1 
2νn ρn−1 + 2(1 − ϵn )ρn−1 − (κ − 1)νn νn−1

(3.4.89) νn+1 = νn
2νn ρn−1 − (κ − 1)
−1 
κ − 1 + 2(1 − ϵn )ρn−1 − (κ − 1)νn νn−1

(3.4.90) = νn 1 +
2νn ρn−1 − (κ − 1)

Ainsi, en remarquant que (κ − 1) νn−1

νn
= ρn−1 − 1 (d’après la définition de ρn ), on
obtient

νn+1 κ − 1 + 2(1 − ϵn )ρn−1 − ρn−1 + 1 κ + (1 − 2ϵn )ρn−1

(3.4.91) =1+ =1+ .
νn 2ρn−1 νn − (κ − 1) 2ρn−1 νn − (κ − 1)

Ce qui nous donne le résultat souhaité (3.4.76). ■

Exposons à présent le second résultat de cette section.

Théorème 3.4.2. Supposons que les conditions (3.1.2) soient vérifiées. Soient
{xn , yn } ⊂ H des suites générées par (3.1.3)-(3.1.4) avec κ ∈]1, 2[. Soit (νn )n≥0 définie
de façon récursive par (3.4.76)-(3.4.77b) et soient des paramètres {ν0 , ν1 , e, µ} ⊂

100
 3.4. Analyse de la convergence de la méthode

]0, +∞[ vérifiant,

(3.4.92) e > 2κ−1 , µ ∈ 0, 2−κ

 
L
et ν1 ≥ ν0 > e(κ − 1).

Alors les suites (xn ) et (yn ) convergent faiblement vers un élément z̄ ∈ S et nous
obtenons

(3.4.93a) Θ(xn ) − min Θ = o(n−2 ),

P
n n (Θ(xn ) − min Θ) < +∞,

(3.4.93b) 2
∥xn+1 − xn ∥ = o(n−1 ),
P
n n∥xn+1 − xn ∥ < +∞,

(3.4.93c) 2
∥yn+1 − yn ∥ = o(n−1 ),
P
n n∥yn+1 − yn ∥ < +∞,

(3.4.93d) ∃ξn∗ ∈ ∂Θ(xn ) t.q.

P 2 ∗ 2
n n ∥ξn ∥ < +∞.

Si, de plus, ν0 et ν1 vérifient

(3.4.94) 2(κ−1)

ν1 > ν0 > max e(κ − 1), 2−κ−µL
,

alors la suite de type énergie (En (e, q))n≥1 est décroissante.

Démonstration. Soit (νn )n la suite donnée par (3.4.76) et soient {e, κ, ν0 , ν1 } ⊂

]0, +∞[ vérifiant e > 2κ−1 et ν1 ≥ ν0 > e(κ − 1). Ces deux dernières conditions
entrainent ν1 ≥ ν0 > 2κ−1 (κ − 1), et donc (3.4.77a) est satisfait. De plus, d’après la
définition de βn , on a pour n ≥ 1,
   
(3.4.95) βn = ρ−1
n 2ν̇n+1 + (κ−1)
ρn−1
νn
νn−1
− νn+1
νn
(e + νn ) .

Par conséquent, comme la suite (νn ) est croissante (et donc, ρn ≥ κ, car κ > 1),
on obtient d’après (3.4.83) que βn = 2ρ−1
n ≤ 2κ . Ainsi, à partir de la condition
−1

e > 2κ−1 (d’après (3.4.92)), on en déduit que e > 2κ−1 ≥ supn≥1 βn . Il en résulte
alors que

(3.4.96a) (νn )n≥0 ⊂]e(κ − 1), +∞[,

(3.4.96b) (ν̇n )n≥2 ⊂ [ 1−2ϵ̄
2
, 2],
(3.4.96c) (ρn )n≥0 ⊂]0, +∞[],
(3.4.96d) e > supn≥1 βn .

101
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

Remarquons que la condition ν1 > ν0 intervenant dans (3.4.94) assure que

(3.4.97) 0 < min{ν̇1 , 1−2ϵ̄

2
} ≤ ν̇n ≤ max{ν̇1 , 2} (pour n ≥ 1).

Les conclusions de ce théorème découlent alors de la Proposition 3.4.2. ■

3.5 Simulations numériques

Quelques simulations numériques sont réalisées dans ce chapitre afin d’illustrer le
comportement de l’algorithme RIGPA, donné par (3.1.3)-(3.1.4), pour trois exemples.
Le premier concerne un problème de régression logistique et sera utilisé afin d’illustrer
l’influence de certains paramètres sur les performances de RIGPA. Le second est
consacré à la comparaison des performances de RIGPA avec celles de l’algorithme
IGAHD récemment proposé (voir [18]), qui est également issu d’une discrétisation
implicite en temps d’un modèle dynamique du second ordre faisant intervenir la
Hessienne.
Dans la suite, nous désignons par ∥.∥1 et ∥.∥ respectivement la norme L1 et la
norme L2 de Rd .

3.5.1 Exemple 1 : régression logistique

Cet exemple intervient en apprentissage automatique pour la classification binaire.
Il s’agit de résoudre le problème de minimisation :

(3.5.1) minRd {Θ(x) := f (x) + g(x)},

où f et g sont deux fonctions définies par

— g(x) = λ∥x∥1 (avec λ > 0),
— f (x) = N1 N i=1 fi (x), où N est un entier donné et où fi (x) = log 1 + e
−bi ⟨x,ai ⟩
P

pour des données d’entraînement (ai , bi ) ∈ Rd × {+1, −1} (i = 1, ..., N ).

On vérifie facilement qu’une constante de lipschitz de fi est donnée par Li = ∥ai ∥2 /4.
Ainsi, une constante de lipschitz de f est L = N1 N i=1 Li . Dans les simulations,
P

chaque ai est divisé par leur norme, afin d’obtenir L = 1/4. Les autres paramètres
sont d = 8, N = 768 et λ = 1/768. Rappelons que e doit être tel que e > 2κ−1 pour
la convergence de RIGPA.

102
 3.5. Simulations numériques

Les Figures de 3.5.1 à 3.5.4 montrent la performance des trajectoires générées

par RIPGA via l’évolution de Θ(xn ) − Θ(x∗ ) en fonction du nombre d’itérations,
où x∗ := argmin Θ. Les conditions initiales sont y0 = y1 = (0, 0, 0, 0, 0, 0, 0, 0). Sur
toutes les figures, les valeurs de Θ(xn ) − min Θ ont été fixées à 10−13 lorsqu’elles sont
plus petites que 10−13 .
Les Figures 3.5.1, 3.5.2 et 3.5.3 décrivent l’influence de κ sur les trajectoires
pour des valeurs fixes de e. Notons que les oscillations données par RIGPA sont
considérablement réduites pour des valeurs croissantes de e. De plus, la convergence
semble être plus rapide pour des valeurs croissantes de κ dans ]0, 2[.

100 100
RIGPA (κ = 1) RIGPA (κ = 1)
RIGPA (κ = 0.3) RIGPA (κ = 1.3)
10−2 RIGPA (κ = 0.7) 10−2 RIGPA (κ = 1.9)

10−4 10−4
Θ(xn ) − Θ(x∗ )

Θ(xn ) − Θ(x∗ )

10−6 10−6

10−8 10−8

10−10 10−10

10−12 10−12

10−14 10−14
100 101 102 103 104 100 101 102 103 104
Iterations Iterations

Figure 3.5.1 – Évolution de Θ(xn ) − min Θ pour RIPGA avec e = 7 et diverses

valeurs de κ. Les autres paramètres sont µ = 0.35, ν0 = 144 et νn = n + ν0 .

Sur la Figure 3.5.4, nous comparons RIGPA muni de νn = n + ν0 avec RIGPA

muni de la suite (νn ) générée par la formule récursive (3.4.76)-(3.4.77). L’accélération
de la méthode semble avoir été améliorée pour ce dernier choix de (νn ).

103
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

100 100
RIGPA (κ = 1) RIGPA (κ = 1)
RIGPA (κ = 0.3) RIGPA (κ = 1.3)
10−2 RIGPA (κ = 0.7) 10−2 RIGPA (κ = 1.9)

10−4 10−4
Θ(xn ) − Θ(x∗ )

Θ(xn ) − Θ(x∗ )
10−6 10−6

10−8 10−8

10−10 10−10

10−12 10−12

10−14 10−14
100 101 102 103 100 101 102 103
Iterations Iterations

Figure 3.5.2 – Évolution de Θ(xn ) − min Θ pour RIPGA avec e = 15 et diverses

valeurs de κ. Les autres paramètres sont les mêmes que pour la Figure 3.5.1.

100 100
RIGPA (κ = 1) RIGPA (κ = 1)
RIGPA (κ = 0.3) RIGPA (κ = 1.3)
10−2 RIGPA (κ = 0.7) 10−2 RIGPA (κ = 1.9)

10−4 10−4
Θ(xn ) − Θ(x∗ )

Θ(xn ) − Θ(x∗ )

10−6 10−6

10−8 10−8

10−10 10−10

10−12 10−12

10−14 10−14
100 101 102 103 100 101 102 103
Iterations Iterations

Figure 3.5.3 – Évolution de Θ(xn ) − minH Θ pour RIPGA avec e = 30 et diverses

valeurs de κ. Les autres paramètres sont les mêmes que pour la Figure 3.5.1.

104
 3.5. Simulations numériques

100 100
RIGPA-(C1) RIGPA-(C1)
RIGPA-(C2) RIGPA-(C2)
10−2 10−2

10−4 10−4
Θ(xn ) − Θ(x∗ )

Θ(xn ) − Θ(x∗ )
10−6 10−6

10−8 10−8

10−10 10−10

10−12 10−12

10−14 10−14
100 101 102 103 104 100 101 102 103
Iterations Iterations

Figure 3.5.4 – Évolution de Θ(xn ) − minH Θ pour RIPGA avec e = 1.5 (gauche),
e = 7 (droite), κ = 1.9 et νn = n + ν0 pour (C1), la formule récursive de (νn ) pour
(C2), avec ν1 = ν0 + 1 et ϵn = (ln(n + 55))−0.5 . Les autres paramètres sont les mêmes
que pour la Figure 3.5.1.

3.5.2 Exemple 2 : comparaison de RIGPA avec IGAHD

Le deuxième exemple est lié à la résolution d’un problème LASSO, intervenant
dans de nombreux domaines tels que les statistiques, l’apprentissage automatique et
le traitement d’images, pour lequel sont comparés les performances de RIGPA avec
celles de IGAHD. Il s’agit de résoudre dans H = Rd :

(3.5.2) min {Θ(x) := f (x) + g(x)},

x∈Rd

avec f (x) := (1/2)||y − Ax||2 , g(x) := ||x||1 , A : Rd → Rd un opérateur linéaire, et

y ∈ Rd est un vecteur aléatoire.
On vérifie qu’une constante de lipschitz de ∇f est donnée par L = ∥A∗ A∥2 .
Remarque 3.5.10. Rappelons que IGAHD (Inertial Gradient Algorithm with Hessian
Driven Damping) a été introduit par Attouch-Chbani-Fadili-Riahi dans [18] pour
minimiser une fonction convexe lisse Θ : H → R à gradient LΘ -lipschitzien. Ce
schéma est donné pour des valeurs strictement positives {µ, α, β}, par
√
(
α

√ β µ
yn = x n + 1 − n (xn − xn−1 ) − β µ (∇Θ(xn ) − ∇Θ(xn−1 )) − n ∇Θ(xn−1 ),
xn+1 = yn − µ∇Θ(yn )).

La convergence des valeurs de la fonction objectif avec un taux de o(n−2 ) ainsi que la
propriété de convergence rapide vers 0 des gradients (à savoir, n n2 ∥∇Θ(xn )∥2 <
P

105
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

+∞) ont été établies sous les conditions

√
(3.5.3) α ≥ 3, 0 ≤ β < 2 µ et µ ≤ L−1
Θ .

Bien que IGAHD n’a pas encore été étendu au cas de la minimisation structurée,
nous l’utilisons pour résoudre le problème (3.5.2) en suivant la même méthodologie
que dans [18] pour laquelle nous rappelons les grandes lignes via la Remarque suivante.

Remarque 3.5.11. Pour une matrice symétrique définie positive M ∈ Rd×d , les
auteurs de [18] ont montré que argminRd Θ = Fix(proxMΘ ) = argminRd ΘM , où ΘM et
M
proxΘ (x) sont respectivement l’enveloppe de Moreau et l’application proximale de Θ
dans la métrique ⟨M ·, ·⟩, définis par

(3.5.4) ΘM (x) = minz∈Rd { 12 ∥z − x∥2M + Θ(z)},

(3.5.5) proxM 1 2
Θ (x) = argminz∈Rd { 2 ∥z − x∥M + Θ(z)}.

L’approche consiste ici à minimiser ΘM au lieu de Θ pour résoudre (3.5.2). En

particulier, pour 0 < r∥A∥2 < 1, la matrice M := r−1 I − A∗ A est symétrique et
définie positive, et l’application proximale de Θ (dans la métrique M ) est donné par

∗
proxM
Θ (x) = proxrg (x + rA (y − Ax)).

De plus, ΘM est une fonction convexe continûment différentiable telle que

(3.5.6) ∇ΘM (x) = x − proxM ∗

Θ (x) = x − proxrg (x + rA (y − Ax)).

On vérifie par ailleurs que ∇ΘM est 1-lipschitzien dans la métrique M .

Considérons ici une matrice réelle aléatoire de taille 100 × 100 ainsi qu’un
vecteur aléatoire y tel que chacune des composantes soit dans [−1, 1]. La Figure 3.5.5
décrit l’évolution de Θ(xn ) − min Θ obtenus pour RIPGA (pour diverses valeurs de e)
et IGAHD (avec diverses valeurs de α). Sur cette Figure, les valeurs de Θ(xn ) − min Θ
ont été fixées à 10−10 lorsqu’elles sont inférieures à 10−10 . Il semble que IGAHD
surpasse RIPGA pour des valeurs de κ dans ]0, 1]. Ceci n’est cependant plus le cas
pour des valeurs de κ dans ]1, 2[ suffisamment grandes.

106
 3.5. Simulations numériques

104
RIGPA (κ = 0.7) RIGPA (κ = 0.7)
104
RIGPA (κ = 1.9) RIGPA (κ = 1.9)
102 IGAHD (β = 0) IGAHD (β = 0)
IGAHD (β = 0.63) 102 IGAHD (β = 0.63)

100
100
Θ(xn ) − Θ(x∗ )

Θ(xn ) − Θ(x∗ )
10−2
10−2

10−4
10−4

10−6 10−6

10−8 10−8

10−10 10−10
100 101 102 103 104 105 100 101 102 103 104 105
Iterations Iterations

Figure 3.5.5 – Profils de Θ(xn )−minH Θ pour RIPGA et IGAHD avec (e, α) = (7, 8)
(gauche) et (e, α) = (15, 16) (droite). Les conditions initiales sont y0 = y1 = x0 =
x1 = (1, 1, ..., 1) avec r = (1/2)||A||−2 , ν0 = 1, νn = n + ν0 et µ = 0.01.

3.5.3 Application en imagerie : le modèle Rudin-Osher-

Fatemi
Dans cette section nous présentons de façon détaillée un exemple d’applications
de l’algorithme RIGPA dans le cadre d’un problème intervenant dans le traitement
de l’image.

[Link] Préliminaires : Le cas continu

Soit Ω ⊂ R2 et considérons une image en noir et blanc u : Ω → R. En ajoutant un

bruit blanc gaussien η à l’image u, nous obtenons une image bruitée u⋄ , cette dernière
est donc donnée par la relation u⋄ = u + η. En 1992, Rudin Osher et Fatemi [99]
présentèrent le problème de minimisation suivant afin d’estimer une image débruitée
Z
λ
(3.5.7) min (u(x) − u⋄ (x))2 dx + ∥u∥TV(Ω) .
u∈BV(Ω) 2 Ω

où BV(Ω) désigne l’ensemble des fonctions à variation bornées sur Ω et où ||u||TV

désigne la semi-norme de la variation totale donnée par (voir [54])
Z q 
(3.5.8) ∥u∥TV(Ω) := sup u(x) div(g(x)) dx : g ∈ Cc1 (Ω; R2 ), g12 + g22 ≤1
Ω

107
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

Notons que lorsque ∇u ∈ L1 (Ω; R2 ) existe, nous avons

Z
(3.5.9) ||u||TV = ∥∇u(x)∥2 dx
Ω

[Link] Le cas discret

Dans le cas discret, une image en noir et blanc de taille n × m pixels peut être
vue sous la forme d’une matrice (ui,j ) avec 1 ≤ i ≤ n et 1 ≤ j ≤ m ou d’un vecteur
u ∈ Rn×m pour lequel les éléments de ce vecteurs sont la concaténation des colonnes
de la matrice (ui,j ). Pour λ > 0 et en désignant toujours par u⋄ l’image issue de u
après ajout d’un bruit blanc, le modèle de ROF discret propose de débruiter l’image
u⋄ à l’aide du problème de minimisation suivant :

λ
(3.5.10) min ∥u − u⋄ ∥22 + TV(u)
u∈Rn×m 2

où TV(u) désigne la variation totale discrète définie par

n X
m n X
n
X X
21
(3.5.11) TV(u) = |(Du)i,j | = (Du)2i,j,1 + (Du)2i,j,2
i=1 j=1 i=1 j=1

avec (Du)i,j = ((Du)i,j,1 , (Du)i,j,2 ) donnés par l’application D : Rn×m 7→ Rn×m ×Rn×m
définie par

u
i+1,j − ui,j si 1 ≤ i < n
(3.5.12) (Du)i,j,1 =
0 si i = n


u
i,j+1 − ui,j si 1 ≤ j < m
(3.5.13) (Du)i,j,2 =
0 si j = m

Notons que le problème (3.5.10)-(3.5.11)-(3.5.12)-(3.5.13) peut se mettre sous la

forme

(3.5.14) min f (u) + g(u)

u∈Rn×m

108
 3.5. Simulations numériques

avec f (u) = λ2 ∥u − u⋄ ∥22 et g(u) = TV(u). Afin de résoudre le problème (3.5.14),

nous allons faire appel à l’algorithme RIGPA. Une difficulté apparaît alors, en effet,
bien que les fonctions f et g respectent les conditions de régularités nécessaires
à la convergence de notre méthode, on observe à l’aide de l’équation (3.5.11) que
l’opérateur proximal de la fonction g := TV se révèle être difficile à déterminer. Afin
de contourner cette difficulté, nous allons nous intéresser au problème dual associé à
(3.5.10).

[Link] Une approche duale du problème ROF discret

L’approche duale du problème (3.5.10) proposée dans cette section est classique
est en grande partie basée sur celles développées par Chambolle-Pock dans [42]
et Li-Han-Wang-Tiande-Guo dans [68] pour laquelle nous détaillons chacune des
différentes étapes.
Commençons tout d’abord par présenter le lemme suivant.

Lemme 3.5.4. Soit H un espace de Hilbert réel de produit scalaire ⟨., .⟩ et de norme
p
|.| = ⟨., .⟩. Soient (a, b) ∈ H2 alors on a

|a| = max⟨a, b⟩
|b|≤1

Démonstration. Soient (a, b) ∈ H2 . Pour a = 0 le résultat est trivialement vérifié.

Ensuite, d’une part, en faisant appel à l’inégalité de Cauchy-Schwarz, on obtient
2
max⟨a, b⟩ ≤ |a|, puis en prenant b = |a|
a
pour a ̸= 0, il vient ⟨a, b⟩ = |a|
|a|
= |a| . ■
|b|≤1

À l’aide de la variable duale p = (p1 , p2 ) ∈ Rn×m ×Rn×m que l’on peut écrire pixel
par pixel sous la forme vectorielle pi,j = (pi,j,1 , pi,j,2 ) pour 1 ≤ i ≤ n et 1 ≤ j ≤ m,
on peut définir un produit scalaire sur Rn×m × Rn×m en posant
n X
X m
(3.5.15) ⟨pi,j , qi,j ⟩ et ||p|| = ⟨p, p⟩,
p
⟨p, q⟩ =
i=1 j=1

pour tout p, q ∈ Rn×m × Rn×m . Ainsi, grâce au Lemme 3.5.4, on peut réécrire
l’opérateur TV défini par (3.5.11) sous la forme
n X
X m
(3.5.16) TV(u) = max ⟨(Du)i,j , pi,j ⟩ = max⟨Du, p⟩,
|pi,j |≤1 p∈P
i=1 j=1

109
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

où P désigne l’ensemble

(3.5.17) P := {p ∈ Rn×m×2 , |pi,j | ≤ 1, pour tout 1 ≤ i ≤ n, 1 ≤ j ≤ m},

q
et où |pi,j | = p2i,j,1 + p2i,j,2 . Le problème de minimisation (3.5.10) devient alors

 
λ
(3.5.18) min ⋄ 2
||u − u ||2 + max⟨Du, p⟩ .
u∈Rn×m 2 p∈P

On observe que le premier terme de (3.5.18) ne contient pas la variable duale p, nous
pouvons alors reformuler le problème primal (3.5.10) en un problème min max de la
façon suivante
 
λ
(3.5.19) min max ⋄ 2
||u − u ||2 + ⟨Du, p⟩ .
u∈Rn×m p∈P 2

De plus, la fonction objectif du problème min max (3.5.19) étant convexe en u et

concave en p, on déduit alors du théorème du min max de Von Neumann (voir [53])
l’ordre du min et du max peut être échangé afin d’obtenir
 
λ
(3.5.20) max min ⋄ 2
||u − u ||2 + ⟨Du, p⟩ .
n×m
p∈P u∈R 2

En outre, en introduisant l’opérateur de divergence discret div : Rn×m×2 → Rn×m

défini comme dans le cas continue par ⟨Du, p⟩ = −⟨u, div p⟩, nous obtenons alors
div = −D∗ où D∗ désigne l’opérateur adjoint de D. Par ailleurs, l’opérateur div
s’écrit explicitement de la façon suivante (voir [39])

 pi,j,1 − pi−1,j,1 si 1 < i < n  pi,j,2 − pi,j−1,2 si 1 < j < m

 
 
(div)i,j : pi,j,1 si i = 1 + pi,j,2 si j = 1 .
si i = n si j = m
 
−pi,j,1 −pi,j,2
 

Ainsi, l’équation (3.5.20) nous donne

 
λ
(3.5.21) max min ⋄ 2
||u − u ||2 − ⟨u, div p⟩ .
n×m
p∈P u∈R 2

Comme le problème de minimisation min ||u − u⋄ ||22 − ⟨u, div p⟩ ne concerne

λ
n×m u∈R 2
que la variable u et est sans contrainte, la condition d’optimalité du premier ordre

110
 3.5. Simulations numériques

nous donne

1
(3.5.22) u = u⋄ + div p.
λ

Ainsi, en remplaçant la valeur de u obtenue à partir de (3.5.22) dans l’équation

(3.5.21), nous obtenons
 
1
(3.5.23) 2 ⋄
max − || div p||2 − ⟨u , div p⟩ .
p∈P 2λ

En complétant le carré et en supprimant le terme constant en u⋄ , les solutions de

(3.5.23) sont données par les solutions du problème suivant
 
1
(3.5.24) min ⋄ 2
|| div p + λu ||2 .
p∈P 2

Enfin, cette dernière équation peut se réécrire sous la forme d’un problème de
minimisation sans contrainte en définissant δP comme étant la fonction indicatrice
de P où P est défini par (3.5.17) :
 
1
(3.5.25) min ⋄ 2
|| div p + λu ||2 + δP (p) .
p∈Rn×m×2 2

avec

0 si p ∈ P
(3.5.26) δP (p) = .
+∞ sinon

On observe alors que le problème (3.5.25) est bien de la forme (3.5.14) et que
cette fois-ci, l’opérateur proximal de l’application δP de paramètre τ > 0 se calcule
facilement. En effet, ce dernier n’est autre que la projection orthogonal sur l’ensemble
P, et peut être donné pixel par pixel par la formule suivante (voir [42, 68])

p̃i,j
(3.5.27) p̂ = proxτ δP (p̃) ⇐⇒ p̂i,j = .
max{1, |p̃i,j |}

111
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

[Link] Un exemple numérique

Observons que le problème dual (3.5.25) s’écrit pour p∗ ∈ Rn×m × Rn×m

(3.5.28) p∗ = argmin {f (p) + g(p)} .

p∈Rn×m×2

avec f (p) = 12 || div p + λu⋄ ||22 et g(p) = δP (p) où δP est défini par (3.5.26). La
fonction f est convexe et différentiable et on a ∇f (p) = −D ◦ (div p + λu⋄ ) où D est
défini par (3.5.12)-(3.5.13). De plus, les opérateurs D et div sont linéaires et vérifient
|||D|||2 = ||| div |||2 ≤ 8 (voir [39]), où |||.||| désigne la norme d’opérateurs. Ceci nous
montre que pour tout p, q ∈ Rn×m × Rn×m ,

(3.5.29) ∥∇f (p) − ∇f (q)∥ ≤ 8∥p − q∥.

Ainsi l’application ∇f est 8-lipschitzienne et de plus l’application proximale de δP

est simple à calculer et est donnée par (3.5.27), nous pouvons donc appliquer notre
algorithme RIGPA pour résoudre le problème (3.5.25)-(3.5.26).

Considérons pour cela une image en noir et blanc u ∈ R720×540 de dimension

720 × 540. Chaque pixel ui,j (avec 1 ≤ i ≤ 720 et 1 ≤ j ≤ 540) de cette image prend
une valeur entre 0 (noir) et 255 (blanc), que l’on ramène à une valeur dans [0, 1]
en divisant par 255. Nous altérons ensuite cette image en lui appliquant un bruit
gaussien de moyenne nulle et de variance σ 2 = 0.01 (voir Figure 3.5.6).

Afin de quantifier la qualité des images obtenues, nous comparons le PSNR (Peak
Signal to Noise Ratio) (voir [108]) en fonction du nombre d’itérations pour chacun des
algorithmes RIGPA, Accelerated Forward-Backward (AFB) et Forward-Backward
(FB). Rappelons que le PSNR est une mesure dérivée de l’erreur quadratique moyenne
et indique le rapport entre l’intensité maximale du pixel et la puissance de la distorsion.
Rappelons enfin que bien que ces deux mesures soient simple à calculer, elle peuvent
ne pas correspondre à la qualité visuelle observée, il est donc de plus nécessaire de
comparer visuellement la qualité des images obtenues.

112
113
(a) Image originale (b) Image bruitée

Figure 3.5.6 – (a) Image originale de taille 720 × 540 pixels ; (b) Image obtenue à partir de (a) après ajout d’un bruit
blanc gaussien de moyenne nulle et de variance σ 2 = 0.01 ;
3.5. Simulations numériques
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

Les paramètres utilisés pour chacun des algorithmes RIGPA, Accelerated Forward-
Backward (AFB) et Forward-Backward (FB) sont les suivants : λ et τ ont été pris
égaux à 12 et 0.0013 respectivement, les autres paramètres sont
— x0 = y0 = 0.5 × (1, . . . , 1) ∈ R720×540 , κ = 1.9, e = 4, νn = n + 10 pour RIGPA,
— x1 = x0 = 0.5 × (1, . . . , 1) ∈ R720×540 , α = 5, pour AFB,
— x0 = 0.5 × (1, . . . , 1) ∈ R720×540 pour FB.
La Figure 3.5.7 montre l’évolution du PSNR (Peak Signal to Noise Ratio) pour
chacun des algorithmes RIGPA, Accelerated Forward-Backward (AFB) et Forward-
Backward (FB). On observe que les performances de RIGPA sont meilleures que
celles de AFB jusqu’à environ 200 itérations. Après 200 itérations les performances
de RIGPA et de AFB semblent être identiques. Les performances de FB sont quant
à elles, inférieures à celles de RIGPA et de AFB.

28

27

26
PSNR (en dB)

25

24

23

22 AFB
RIGPA
FB
21
1 10 100 1000
Itérations

Figure 3.5.7 – Évolution du PSNR en fonctions du nombre d’itérations avec les

algorithmes RIGPA, AFB et FB.

Les Figures 3.5.8, 3.5.9 et 3.5.10, montrent l’évolution de la reconstruction de

l’image bruitée de la Figure [Link] avec les algorithmes RIGPA, AFB et FB après
20, 250 et 1000 itérations. On observe qu’après 30 itérations, la qualité de l’image
obtenue avec RIGPA est légèrement meilleure que celle de AFB (notamment en ce
qui concerne le fond noir)et nettement meilleure que FB tandis qu’après 250 et 1000
itérations la qualité de l’image obtenue avec RIGPA et AFB semble être identique
alors que FB apparaît toujours bruitée en particulier au niveau du visage.

114
115
Figure 3.5.8 – Représentation des images obtenues avec RIGPA (gauche), AFB (milieu) et FB (droite) après 20 itérations.
3.5. Simulations numériques
 sous-gradients

116
Figure 3.5.9 – Représentation des images obtenues avec RIGPA (gauche), AFB (milieu) et FB (droite) après 250
itérations.
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
117
Figure 3.5.10 – Représentation des images obtenues avec RIGPA (gauche), AFB (milieu) et FB (droite) après 1000
itérations.
3.5. Simulations numériques
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

3.6 Annexe

3.6.1 Démonstration de la Proposition 3.3.1

Soient {κ, e, νn } des paramètres strictement positifs. Posons ϱ = 1−κ, τn = e+νn+1
et un = yn − xn . Il est alors facile de voir que (3.3.8) peut être réécrit (pour n ≥ p)
sous la forme

(3.6.1a) θn = 1
τn
(νn − ϱνn+1 ),
(3.6.1b) ẋn+1 + χ∗n + θn un = 0,
(3.6.1c) ẏn+1 + κun = 0.

Le reste de la démonstration peut être divisé en plusieurs parties (r1)-(r4) :

(r1) Une estimation de la partie inertielle de la méthode.
Commençons par montrer que la dérivée discrète Ġn+1 (s, q) vérifie, pour (s, q) ∈
[0, +∞[×H,

Ġn+1 (s, q) + sτn ⟨χ∗n , xn+1 − q⟩ =

(3.6.2) 2


− sνn + ϱνn+1 ⟨ẋn+1 , un ⟩
− 21 νn2 − ϱ2 νn+1 ∥un ∥2 − 21 se − νn+1
2

2


∥ẋn+1 ∥2 .

Afin d’obtenir ce résultat, remarquons que Ġn+1 (s, q) peut être formulé comme
suit

(3.6.3) 2
Ġn+1 (s, q) = s(ν̇n+1 an + νn+1 ȧn+1 ) + seḃn+1 + νn+1 2
ċn+1 + cn (νn+1 − νn2 ),

où an := ⟨q − xn , un ⟩, bn := (1/2)∥xn − q∥2 et où cn := (1/2)∥un ∥2 . Pour simplifier

les notations, fixons les quantités suivantes

Pn := ⟨q − xn+1 , ẋn+1 ⟩, Rn := ⟨q − xn+1 , ẏn+1 ⟩ et Wn := ⟨χ∗n , xn+1 − q⟩.

Comme an = ⟨q − xn , un ⟩ et un = − κ1 ẏn+1 (d’après (3.6.1c)) on obtient

(3.6.4) an = ⟨q − xn+1 , un ⟩ + ⟨ẋn+1 , un ⟩ = − κ1 Rn + ⟨ẋn+1 , un ⟩.

En utilisant à nouveau la relation an = ⟨q − xn , un ⟩ et en remarquant que u̇n+1 =

118
 3.6. Annexe

ẏn+1 − ẋn+1 (car un = yn − xn ), on en déduit que

(3.6.5) ȧn+1 = ⟨−ẋn+1 , un ⟩ + ⟨q − xn+1 , u̇n+1 ⟩ = −⟨ẋn+1 , un ⟩ − Pn + Rn .

En prenant le produit scalaire de (3.6.1b) avec q − ẋn+1 et en observant que un =

− κ1 ẏn+1 , on obtient Pn − Wn = κ−1 θn Rn . Cette dernière égalité, combinée avec
θn = τn−1 (νn − ϱνn+1 ) (d’après (3.6.1a)) nous donne

(3.6.6) (νn − ϱνn+1 )Rn = κτn (Pn − Wn ).

On déduit alors de (3.6.4), (3.6.5) et (3.6.6)

ν̇n+1 an + νn+1 ȧn+1

= ν̇n+1 ⟨ẋn+1 , un ⟩ − κ1 Rn + νn+1 (−⟨ẋn+1 , un ⟩ − Pn + Rn )

(3.6.7) = (ν̇n+1 − νn+1 )⟨ẋn+1 , un ⟩ − νn+1 Pn + νn+1 − κ1 ν̇n+1 Rn

= −νn ⟨ẋn+1 , un ⟩ − νn+1 Pn + κ1 (νn − ϱνn+1 ) Rn

= −νn ⟨ẋn+1 , un ⟩ − νn+1 Pn + τn (Pn − Wn ) .

De plus, comme bn+1 = (1/2)∥xn+1 − q∥2 , on obtient

(3.6.8) ḃn+1 = 21 ⟨ẋn+1 , xn+1 − q⟩ + 21 ⟨xn − q, ẋn+1 ⟩ = −Pn − 12 ∥ẋn+1 ∥2 .

Par ailleurs, comme cn+1 = (1/2)∥un+1 ∥2 et u̇n+1 = −κun − ẋn+1 (car un = yn − xn

et ẏn+1 = −κun ), on en déduit que

ċn+1 = 12 ⟨u̇n+1 , un+1 + un ⟩

= ⟨−u̇n+1 , − 21 u̇n+1 − un ⟩
(3.6.9)
= ⟨κun + ẋn+1 , κ2 − 1 un + 12 ẋn+1 ⟩

= 12 ∥ẋn+1 ∥2 − κ 1 − κ2 ∥un ∥2 − ϱ⟨ẋn+1 , un ⟩.

Il résulte alors de (3.6.3) (3.6.7), (3.6.8) et (3.6.9) que

Ġn+1 (s, q) = s (−νn ⟨ẋn+1 , un ⟩ − νn+1 Pn + τn (Pn − Wn )) + se −Pn − 21 ∥ẋn+1 ∥2

1
∥ẋn+1 ∥2 − κ 1 − κ2 ∥un ∥2 − ϱ⟨ẋn+1 , un ⟩
2



+νn+1 2
+ 12 (νn+1
2
− νn2 )∥un ∥2
⟨ẋn+1 , un ⟩ − 21 se − νn+1
2

2


= − sνn + ϱνn+1 ∥ẋn+1 ∥2
−η̄n ∥un ∥2 − sτn Wn ,

119
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

où η̄n est donné par

η̄n = κ 1 − κ2 νn+1 − 21 (νn+1

2 2
− νn2 )
= 21 νn2 − νn+1 (car κ 1 − κ2 = 1
− 21 (1 − κ)2 ).
2



(1 − κ)2 2

Ceci nous donne le résultat voulu.

(r2) Une estimation de la partie proximale de la méthode.
Montrons que, pour tout ξn ̸= 1, on a

ξn ⟨χ∗n , ẋn+1 ⟩ + 21 ∥ẋn+1 + θn un ∥2

(3.6.10)
= θn (1 − ξn )⟨un , ẋn+1 ⟩ + 21 θn2 ∥un ∥2 − ξn − 12 ∥ẋn+1 ∥2 .

En effet, d’après (3.6.1b), nous avons ẋn+1 = −θn un − χ∗n . Ce qui, peut être réécrit,
pour tout ξn ̸= 1, sous la forme

(3.6.11) ξn ẋn+1 = −(1 − ξn ) (ẋn+1 + (1 − ξn )−1 θn un ) − χ∗n = −(1 − ξn )Hn − χ∗n ,

avec Hn = ẋn+1 + (1 − ξn )−1 θn un . De plus, comme −χ∗n = ẋn+1 + θn un (d’après

(3.6.1b)), on obtient, en notant Qn = ⟨ẋn+1 , un ⟩

⟨(−χ∗n ), Hn ⟩ = ⟨ẋn+1 + θn un , ẋn+1 + (1 − ξn )−1 θn un ⟩

(3.6.12) 2−ξn
= ∥ẋn+1 ∥2 + (1 − ξn )−1 θn2 ∥un ∥2 + (1−ξn)
θn Qn .

Par conséquent, en prenant le produit scalaire du côté gauche de (3.6.11) avec χ∗n et
en ajoutant (1/2)∥χ∗n ∥2 , on obtient d’après (3.6.12) et ∥χ∗n ∥2 = ∥ẋn+1 + θn un ∥2 ,

ξn ⟨χ∗n , ẋn+1 ⟩ + 21 ∥χ∗n ∥2 = (1 − ξn )⟨(−χ ∗ 1 ∗ 2

 n ), Hn ⟩ − 2 ∥χn ∥ 
2
θn 2−ξn
= (1 − ξn ) ∥ẋn+1 ∥2 + (1−ξn )
∥un ∥2 + (1−ξn)
θn Qn
− 21 (∥ẋn+1 ∥2 + θn2 ∥un ∥2 + 2θn Qn )
ξn )θn Qn + 21 θn2 ∥un ∥2 + 12 − ξn ∥ẋn+1 ∥2 .


= (1 −

Ceci nous donne (3.6.10).

(r3) Association des effets proximaux et inertiels.
Supposons que la condition (3.3.10) soit vérifiée et posons ρn = 1 − (1 − κ) νn+1
νn
.
Remarquons que le terme θn intervenant dans (3.6.1) peut être exprimé simplement

120
 3.6. Annexe

comme suit

νn ρ n
(3.6.13) θn = où τn = e + νn+1 .
τn

Ainsi, comme ρn > 0 (d’après la condition (3.3.3a)), on déduit de (3.6.13) que θn est
une suite strictement positive.
Introduisons à présent la suite réelle (γ̄n ) définie par

sρn
(3.6.14) γ̄n = 1 − (avec s > 0).
τn

D’après (3.6.14), et comme τn > 0 (car τn := e + νn+1 ) et ρn > 0, nous avons

(3.6.15) γ̄n < 1 (pour tout s > 0).

Ensuite, pour s > 0 donné, nous montrons que les itérés générés par (3.3.8) (ou,
de manière équivalente, par (3.6.1)) vérifient

Ġn+1 (s, q) + 21 ρ−1 2

n τn ∥ẋn+1 + θn un ∥
2
(3.6.16)
+(sτn )⟨χ∗n , xn+1 − q⟩ + γ̄n ρ−1 2 ∗
n τn ⟨χn , ẋn+1 ⟩ = −Tn (un , ẋn+1 ),

où Tn (u, x) est défini pour tout (u, x) ∈ H2 par

(3.6.17) Tn (u, x) = wn ⟨u, x⟩ + ηn ∥u∥2 + σn ∥x∥2 ,

avec les paramètres

(3.6.18a) + sνn+1 , ηn = 21 ϱρn νn νn+1 ,

2


wn = ϱ νn+1
(3.6.18b) σn = 12 se − νn+1 + ρ−1
2 2


n τn (2γ̄n − 1) .

En effet, en posant Q = ⟨ẋn+1 , un ⟩, nous savons d’après (3.6.2) que

Ġn+1 (s, q) + (sτn )⟨χ∗n , xn+1 − q⟩ =

(3.6.19)
Qn − 21 νn2 − ϱ2 νn+1 1
2

2



− sνn + ϱνn+1 ∥un ∥2 − 2
2
se − νn+1 ∥ẋn+1 ∥2 .

De plus, comme γ̄n =

̸ 1 (d’après (3.6.15)), on obtient en utilisant (3.6.10) avec la

121
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

valeur ξn = γ̄n := 1 − sρn

τn
et en rappelant que θn = νn ρn
τn
,

γ̄n ⟨χ∗n , ẋn+1 ⟩ + 12 ∥ẋn+1 + θn un ∥2

(3.6.20) 2 2 2
= s νnτ ρ2n Qn + 12 νnτ ρ2n ∥un ∥2 − γ̄n − 12 ∥ẋn+1 ∥2 .


n n

Puis, en multipliant l’égalité (3.6.20) par ρ−1

n τn , et en ajoutant à (3.6.19) l’égalité
2

obtenue, on obtient

Ġn+1 (s, q) + (sτn )⟨χ∗n , xn+1 − q⟩

+γ̄n ρ−1 2 ∗ 1 −1 2
n τn ⟨χn , ẋn+1 ⟩ + 2 ρn τn ∥ẋn+1 + θn un ∥
2

2



= − sνn + ϱνn+1 + sνn ρn Qn
+ − 21 νn2 − ϱ2 νn+1
2

1 2

+ 2 νn ρn ∥un ∥2
1
+ ρ−1 1
2

2



2
se − νn+1 n τn γ̄n − 2 ∥ẋn+1 ∥2 .

Par conséquent, en remarquant que νn ρn = νn − ϱνn+1 , nous déduisons que (3.6.16)-

(3.6.17) est vérifié avec les paramètres

2

2


wn = sνn + ϱνn+1 − s(νn − ϱνn+1 ) = ϱ νn+1 + sνn+1 ,
ηn = 21 νn2 − νn+1 ϱ2 − 21 (νn2 − ϱνn νn+1 ) = 21 ϱνn+1 (νn − νn+1 ϱ) = 21 ϱνn+1 νn ρn ,
2

σn = 12 se − νn+1 + ρ−1 1 −1 2
2

2

1 2


n nτ γ̄n − 2
= 2
se − ν n+1 + ρ τ
n n (2γ̄n − 1) .

(r4) Enfin, nous donnons une formulation alternative de la quantité Tn (u, x)

donnée par (3.6.17)-(3.6.18). Pour ce faire, nous allons reformuler la suite (σn ).
D’après les définitions de τn := e + νn+1 et de γ̄n := 1 − s ρτnn , on obtient
 
(e+νn+1 )2
ρ−1 2
n τn (2γs,n − 1) = ρn
1 − 2s (e+νρnn+1 )
1
= ρn
(e2 + 2eνn+1 + (νn+1 )2 ) − 2s (e + νn+1 )
  
)2
= e ρen − s − se + 2νn+1 ρen − s + (νn+1 ρn
 
)2
= (e + 2νn+1 ) ρen − s − se + (νn+1ρn

= τn,e (eρ−1 −1
n − s) − se + ρn (νn+1 ) ,
2

où τn,t = t + 2νn+1 (pour t ≥ 0). Par conséquent, en utilisant la définition précédente

de σn (donnée par (3.6.18)), on a

2σn = (ρ−1 2 −1
n − 1)(νn+1 ) + τn,e (eρn − s)
(3.6.21)
= ((νn+1 )2 + eτn,e ) (ρ−1
n − 1) + τn,e (e − s).

122
 3.6. Annexe

Considérons alors les deux situations suivantes selon les valeurs de κ :

- Dans le cas particulier où κ = 1 (donc ρn = 1 et ρ−1
n = 1), on a clairement
wn = 0 et ηn = 0. La définition de Tn (donnée par (3.6.17)) avec σn = (e−s) 2
τn,e
(d’après (3.6.21)) donne alors pour (u, x) ∈ H 2

(3.6.22) Tn (u, x) = (e−s)

2
τn,e ∥x∥2 .

- Pour κ ∈ (0, 1) ∪ (1, ∞) (donc ηn ̸= 0), en posant ςn := wn

2ηn
, et ψn := 4σn ηn − wn2 ,
on obtient par définition de Tn

(3.6.23) Tn (u, x) = ηn ∥u + ςn x∥2 + ψn

4ηn
∥x∥2 .

D’une part, comme wn = ϱνn+1 (νn+1 + s) (d’après (3.6.18)) et que τn,s = s + 2νn+1 ,
on a
wn2 = (ϱνn+1 )2 ((νn+1 )2 + sτn,s ).

En posant Sn = ϱρn νn νn+1 (de sorte que Sn = 2ηn et ψn = 2σn Sn − wn2 ), on obtient
en utilisant (3.6.21) et la définition de ψn

ψn = Sn (νn+1 )2 + eτn,e ρ−1 2

(νn+1 )2 + sτn,s .




n − 1 + Sn τn,e (e − s) − (ϱνn+1 )

Par ailleurs, on vérifie aisément que Sn (ρ−1

n − 1) = (ϱνn+1 ) , ce qui, en utilisant
2

l’égalité précédente, donne

(3.6.24) ψn = Sn τn,e (e − s) + (ϱνn+1 )2 (eτn,e − sτn,s ) .

Ainsi, en remarquant que eτn,e − sτn,s = (e − s)τn,e+s (car τn,t := t + 2νn+1 , pour tout
t ≥ 0), on en déduit que

ψn = (e − s) Sn τn,e + (ϱνn+1 )2 τn,e+s ,

ce qui par (3.6.23) entraîne que

1 (e − s)
Tn (u, x) = Sn ∥u + ςn x∥2 + Sn τn,e + (ϱνn+1 )2 τn,e+s ∥x∥2 .


2 2Sn

D’autre part, on a ςn = wn
Sn
(car Sn = 2ηn ), ainsi que wn = ϱνn+1 (νn+1 + s),

123
Chapitre 3 – Minimisation structurée de fonctions convexes non lisses avec décroissance rapide des
sous-gradients

Sn = ϱρn νn νn+1 et 1
θn
= e+νn+1
ρ n νn
(d’après (3.6.13)). On obtient alors

νn+1 +s (e+νn+1 )−(e−s) 1 (e−s)

ςn = ρn νn
= ρn νn
= θn
− νn ρn
.

En combinant ces deux derniers résultats, nous obtenons

2
e−s (e − s) (ϱνn+1 )2
   
1 1
Tn (u, x) = Sn u + − x + τn,e + τn,e+s ∥x∥2 .
2 θn νn ρ n 2 Sn

Ceci achève la preuve . ■

124
Chapitre 4

Algorithmes forward-backward accélérés

pour la résolution d’inclusions monotones
structurées

4.1 Introduction
Dans ce chapitre, H désigne un espace de Hilbert réel muni d’un produit scalaire
noté ⟨., .⟩ et de la norme induite notée ∥ . ∥. L’objectif de ce chapitre est de concevoir
des méthodes proximales rapides pour la résolution d’inclusions monotones structurées.
Nous nous concentrons, dans un premier temps, au plus simple de ces problèmes qui
s’écrit :

(4.1.1) trouver x̄ ∈ H tel que 0 ∈ Ax̄ + B x̄,

sous les conditions :

(4.1.2a) A : H → 2H est un opérateur maximal monotone,

(4.1.2b) B : H → H est un opérateur maximal monotone et λ-cocoercif,
(4.1.2c) S := (A + B)−1 (0) ̸= ∅.

Définition 4.1.1. On rappelle qu’un opérateur B : H → H est dit λ-cocoercif (pour

un certain λ > 0) si pour tout (x, y) ∈ H2 , ⟨Bx − By, x − y⟩ ≥ λ∥Bx − By∥2 .

125
Chapitre 4 – Algorithmes forward-backward accélérés pour la résolution d’inclusions monotones
structurées

Une méthode classique pour résoudre (4.1.1) est l’algorithme Forward-Backward

(FB, en abrégé) qui s’écrit

(4.1.3) xn+1 = JµAn (xn − µn Bxn ),

où (µn ) ⊂]0, 2λ[ et où JµAn := (I + µn A)−1 est la résolvante de A d’indice µn qui est
bien connue pour être univoque et partout définie (voir [31, 58, 97])
Il est bien connu que (4.1.1)-(4.1.2) inclut le problème de minimisation convexe
structuré non lisse

(4.1.4) min{Θ := f + g},

H

où f : H →] − ∞, +∞[ et g : H →] − ∞, +∞] sont telles que

(4.1.5a) f est convexe, différentiable et son gradient est lipschitzien,

(4.1.5b) g est convexe propre et semi-continue inférieurement,
(4.1.5c) S := argmin(f + g) ̸= ∅.

En effet, rappelons que le gradient d’une fonction convexe et Fréchet-différentiable

est cocoercif dès lors qu’il est lipschitzien (voir [22, Corollary 18.17]). Par conséquent,
le problème (4.1.4) se trouve être un cas particulier de (4.1.1) lorsque B = ∇f et
A = ∂g (∇f étant le gradient de f et ∂g le sous-différentiel de Fenchel de g). Ainsi,
dans ce cadre, l’opérateur résolvante JµA se réduit à l’opérateur proximal de g d’indice
µ > 0 défini pour x ∈ H par

(4.1.6) proxµg (x) := argminy∈H (g(y) + (2µ)−1 ∥x − y∥2 ).

Il a été montré (voir chapitre 1, Section 1.2.3) que lorsque la méthode Forward-
Backward (FB) est appliquée au problème de minimisation (4.1.4), celle-ci génère
des suites (xn ) faiblement convergentes vérifiant Θ(xn ) − inf H Θ = O(n−1 ) (pour
la convergence en valeur) ainsi que ∥xn+1 − xn ∥ = O(n−1 ) (concernant la vitesse
discrète). Ces estimations ont été considérablement améliorées via l’algorithme AFB
(décrit dans le chapitre 1, Section 1.2.4). Ce dernier produit en effet des suites (xn )
vérifiant les taux de convergences Θ(xn ) − inf H Θ = o(n−2 ) et ∥xn+1 − xn ∥ = o(n−1 ).
Par la suite, diverses variantes de AFB (généralisées à des opérateurs maximaux

126
 4.1. Introduction

monotones A : H → 2H et B : H → H) ont été abondamment étudiées dans le

but d’obtenir des taux de convergence similaires à ceux obtenus dans le cas de la
minimisation convexe. Cependant, la plupart de ces travaux concernent des résultats
empiriques.
Le but de ce chapitre est d’étendre, en termes de vitesse discrète et de résidus de
point fixe, les propriétés de convergence obtenues ci-dessus concernant la minimisation
convexe structurée dans le cadre d’opérateurs maximaux monotones. Plus précisément,
nous introduisons un algorithme de type Forward-Backward inertiel relaxé que nous
noterons ALG1 consistant en des suites {xn , yn , zn } générées par le schéma suivant

ALG1
▶ Initialisation : Choisir {z−1 , x0 , y0 } ⊂ H.
▶ Étape principale : Pour {zn−1 , xn , yn } ⊂ H donnés, on effectue

(4.1.7a) zn = xn − θn (yn − xn ) − γn (xn − zn−1 ),

   
(4.1.7b) xn+1 = 1 − µ zn + µt JµA (zn − µB(zn )),
t

(4.1.7c) yn+1 = (1 − κ)yn + κxn .

Avec {κ, t, µ} ⊂]0, +∞[ et où les suites (θn )n et γn sont définies par :
 
νn −(1−κ)νn+1
(4.1.8a) θn := e+νn+1
et γn := 1 − s0
e+νn+1
1 − (1 − κ) νn+1
νn
.

Les autres paramètres sont :

(4.1.8b) e > 0, s0 ∈]0, e[ et (νn )n≥0 ⊂]0, +∞[.

En tant qu’élément clé de notre méthodologie, nous introduisons l’opérateur

Mµ (.) (voir par exemple [8, 13]) défini pour z ∈ H par

1
(4.1.9) Mµ (z) = (z − JµA (z − µBz)).
µ

Rappelons que Mµ (z) = 0 est équivalent à z ∈ S. En particulier, en utilisant des

paramètres appropriés, nous établissons, parmi d’autres résultats, la convergence
faible des itérés (xn ) ainsi que les taux ∥xn+1 − xn ∥ = o(n−1 ) (pour la vitesse discrète)
et ∥Mµ (z)∥ = o(n−1 ) (pour les résidus des points fixes).

127
Chapitre 4 – Algorithmes forward-backward accélérés pour la résolution d’inclusions monotones
structurées

Notons que lorsque A = ∂g, B = ∇f, γn = 0 et t = µ dans ALG1, nous retrouvons

l’algorithme RIGPA étudié au chapitre 3 dans le cadre de la minimisation convexe
structurée. Un algorithme similaire à ALG1 a été discuté par Maingé [71] dans le cas
particulier où κ = 1. Nous proposons de généraliser ce travail pour κ ∈]0, 2[ car ce
terme agit comme un paramètre d’extrapolation, en particulier lorsque κ se trouve
dans la plage de sur-relaxation ]1, 2[, comme observé dans les simulations numériques
de l’algorithme RIGPA (voir Section 3.5).

Remarque 4.1.12. Faisons les deux observations suivantes.

(1) Comme établi dans la section 4.6.1, l’algorithme ALG1 peut se réécrire pour
n ≥ 1, sous la forme plus classique :

(4.1.10a) zn−1 = yn + κ−1 (ξn − γn )(yn − yn−1 ) − γn−1 (yn−1 − zn−2 ),

   
(4.1.10b) xn = 1 − µt zn−1 + µt JµA (zn−1 − µB(zn−1 )),

(4.1.10c) yn+1 = (1 − κ)yn + κxn ,

où (ξn ) est une suite strictement positive dépendant de (θn ).

(2) En suivant la même méthodologie que Maingé [71] (voir aussi Raguet-Fadili-
Peyré [94]), nous adapterons les techniques d’accélération proposées dans ce
chapitre au problème d’inclusion plus général :

(4.1.11)
Pp
trouver x̄ ∈ H tel que 0 ∈ B x̄ + k=1 Ak x̄,

où B : H → H est λ-cocoercif et où (Ai )pi=1 : H → 2H est une famille

de p opérateurs maximaux monotones. Nous proposerons un algorithme de
type Forward-backward généralisé (que nous appellerons ALG2) présentant
des similitudes avec l’algorithme FB. En effet, ALG2 consiste en une étape
« forward » explicite, suivie d’une étape implicite (« backward ») dans laquelle
la résolvante de chaque Ai est calculée en parallèle.

128
 4.1. Introduction

4.1.1 Rappels sur les méthodes d’éclatement et les tech-

niques d’accélération
[Link] Quelques méthodes d’éclatements classique

Les méthodes d’éclatement (pour le calcul des zéros de la somme de deux opéra-
teurs maximaux monotones) peuvent être divisées en deux grandes catégories :
(a) Les méthodes d’éclatement qui procèdent essentiellement en des étapes
« backward » (voir Peaceman-Rachford et Douglas-Rachford ([51, 90]).
(b) Les méthodes d’éclatement qui combinent à la fois des étapes « backward »
et « forward ».
- (b1) Un exemple classique de ces méthodes est l’algorithme « forward-backward »
(FB) donné par (4.1.3). En particulier, lorsque B est β-cocoercif, il a été démontré que
la méthode FB génère des suites faiblement convergentes dès lors que (µn ) ⊂]0, 2β[.
- (b2) Un autre exemple de méthode lorsque B est univoque est l’algorithme
« forward-backward-forward » proposé par Tseng [106]. Cet algorithme génère des
suites faiblement convergentes lorsque B est L-lipschitzien dès lors que (µn ) ⊂]0, 1/L[.
- (b3) Par la suite, des variantes plus générales des méthodes forward-backward
et forward-backward-forward ont été adaptés à des problèmes d’inclusions monotones
plus générales tels que ceux de la forme (4.1.11) (voir [43, 94]).

[Link] Des variantes accélérées

Notons que, dans le cadre de la minimisation convexe, la méthode forward-

backward 4.1.3 devient

(4.1.12) xn+1 = proxµn (xn − µn ∇f (xn )).

Lorsque ∇f est L-lipschitzien et que (µn ) ⊂]0, L−1 [, cette méthode est bien connue
pour générer des suites (xn ) faiblement convergentes vérifiant le taux sous-linéaire
(f + g)(xn ) − inf H (f + g) = O(n−1 ) (voir chapitre 1, section 1.2.3).
Cette méthode fut, par la suite, améliorée via notamment l’algorithme « Fast
Iterative Thresholding Algorithm » (FISTA) proposé par Beck-Teboulle [24] qui est
basé sur les techniques d’accélération de Güler et Nesterov. Il a été démontré que
FISTA génère des suites qui garantissent le taux (f + g)(xn ) − inf H (f + g) = O(n−2 ),
cependant, la convergence de ces itérés n’a pas été établie.

129
Chapitre 4 – Algorithmes forward-backward accélérés pour la résolution d’inclusions monotones
structurées

Ce défaut fut corrigé par la variante suivante de FISTA, récemment introduite

par Chambolle-Dossal [40] (voir aussi Attouch-Peypouquet [14]) donnée par

n−1
zn = xn + n+α−1 (xn − xn−1 ),
(4.1.13)
xn+1 = proxµ (xn − µ∇f (xn )),

où µ ∈]0, L−1 [ et α > 0. Pour α > 3, les auteurs de [14]) ont démontré que (4.1.13)
génère des suites (xn ) faiblement convergentes qui vérifient le taux de convergence en
valeur (f + g)(xn ) − inf H (f + g) = o(n−2 ) au lieu des taux O(n−1 ) et O(n−2 ) pour
(4.1.3) et FISTA respectivement.
Dans le cas d’un opérateur maximal monotone A : H → 2H quelconque, des va-
riantes accélérées de la méthode PPA ont été proposées via notamment les algorithmes
« RIPA » (Regularized Inertial Proximal Algorithm) et « PRINAM » (Proximal Regu-
larized Inertial Newton Algorithm) étudiés respectivement par Attouch-Peypouquet
[13] et Attouch-László [12]. Malgré des propriétés asymptotiques intéressantes, ces
algorithmes requièrent un indice proximal non borné et ne peuvent donc pas être
étendus au cadre des méthodes forward-backward.
Dans le même contexte, une méthode du point proximal accélérée utilisant un
indice proximal constant a été proposée par Kim [65]. Cette dernière est basée sur
l’approche Performance Estimation Problem (PEP) introduite par Drori-Teboulle
[52]. Cette méthode fournit le taux de convergence O(n−2 ) pour les résidus de points
fixes. La convergence des itérés n’a, cependant, pas été démontrée.
À notre connaissance, il n’existe pas de résultats de convergence qui permettent
d’étendre les estimations obtenues pour (4.1.13) (concernant la minimisation convexe)
au problème d’inclusion monotone générale (4.1.1)-(4.1.2). Excepté l’algorithme
étudié par Attouch-Cabot dans [8], seules quelques méthodes accélérées empiriques
basées sur des techniques inertielles et de relaxation ont été proposées. Rappelons
quelques-uns des ces algorithmes
(c1) Des variantes inertielles de (4.1.3) avec un opérateur B cocoercif, ont été
étudié par Moudafi-Oliny [78]

(4.1.14) zn = xn + αn (xn − xn−1 ), xn+1 = JµAn (zn − µn B(xn )),

130
 4.1. Introduction

et Lorenz-Pock [70]

(4.1.15) zn = xn + αn (xn − xn−1 ), xn+1 = JµAn (zn − µn B(zn )),

où (αn ) et (µn ) sont des suites strictement positives. Notons que dans (4.1.15),
l’évaluation de l’opérateur B se fait en la variable zn (au lieu de xn pour (4.1.14)).
(c2) Une variante de (4.1.3) de type réflexion pour un opérateur lipschitzien B a
été étudié pour Cevher-Vu [38] :

(4.1.16) yn = 2xn − xn−1 , xn+1 = JµA (xn − µByn ).

(c3) Une variante inertielle relaxée de (4.1.3) pour un opérateur B β-cocoercif a

été étudié par Attouch-Cabot [8]

(4.1.17) zn = xn + αn (xn − xn−1 ), xn+1 = (1 − wn )zn + wn JµAn (zn − µn B(zn )),

où {αn , wn , µn } sont des suites bornées strictement positives. Sous diverses conditions
portant sur ces derniers paramètres, les auteurs ont établi la convergence faible des
itérés (xn ) ainsi que des taux de convergence concernant la vitesse discrète et de
résidus de points fixes ∥Mµ (zn )∥ (où Mµ est défini par (4.1.9). En particulier, la
méthode (4.1.17) fait intervenir des techniques d’accélération de Nesterov via le choix
αn := 1 − αn−1 avec α > 2 (pour le coefficient inertiel), µn = µ ∈]0, 2β[ (pour l’indice
proximal) et wn = 1 − ρn−2 où 0 < ρ < α(α − 2)(1 − 4β µ
) (concernant le terme de
relaxation). Avec ces paramètres, les auteurs ont démontré (voir [9, Corollary 4.9])
les estimations ∥xn+1 − xn ∥ = O(n−1 ) et n n∥xn+1 − xn ∥2 < +∞ (pour la vitesse
P

discrète) ainsi que n n−1 ∥Mµ (xn )∥2 < +∞ et limn→+∞ ∥Mµ (xn )∥ = 0 (concernant
P

les résidus de points fixes).

Grâce au terme correcteur γn de ALG1, nous améliorons ces derniers taux de
convergence en ∥xn+1 − xn ∥ = o(n−1 ) et ∥Mµ (xn )∥ = o(n−1 ).

4.1.2 Esquisse des principaux résultats

Un nouvelle classe d’algorithme (donnée par(4.1.7)-(4.1.8) ) est proposée pour
résoudre des problèmes d’inclusions monotones générales. Plusieurs résultats de
convergence sont établis concernant la méthode proposée dans le cas de paramètres

131
Chapitre 4 – Algorithmes forward-backward accélérés pour la résolution d’inclusions monotones
structurées

généraux (Théorème 4.3.1) ou particuliers (Théorème 4.3.2). Notre approche est

basée sur les propriétés de Lyapunov d’une suite de type énergie. Plus précisément,
nous prouvons, sous certaines conditions sur les paramètres {e, s0 , t, µ, νn }, que
les suites {xn , zn , yn } produites par ALG1 convergent faiblement un élément de
S := (A + B)−1 (0).
En particulier, pour νn ∼ n (lorsque n → +∞) nous obtenons les estimations
∥xn+1 − xn ∥ = o(n−1 ) (pour la vitesse discrète) et ∥Mµ (zn )∥ = o(n−1 ) (concernant
les résidus de points fixes), ce qui améliore grandement les estimations obtenues
jusqu’à présent. De plus, nous exhibons une suite ξn convergeant faiblement vers un
élément de S pour laquelle nous démontrons l’existence d’une suite ξn∗ ∈ (A + B)(ξn )
vérifiant
X
(4.1.18) ∥ξn∗ ∥ = o(n−1 ) et n∥ξn∗ ∥2 < +∞.
n

Notons que ces estimations sont similaires à celles obtenues pour des sous-gradients
par l’algorithme « Accelerated Forward-Backward » dans le cadre de la minimisation
convexe structurée non lisse (voir chapitre 3, Section 3.1.4).

4.2 Propriétés de type Lyapunov

Pour des itérés {zn , xn , yn } ⊂ H générés par ALG1, on associe la suite (En (s, q))
définie pour (s, q) ∈]0, +∞[×H et pour n ≥ 1 par

En (s, q) = 12 ∥s(q − xn ) + νn (yn − xn )∥2

(4.2.1)
+ 21 s(e − s)∥xn − q∥2 + st(e + νn )⟨Mµ (zn−1 ), xn − q⟩.

Des propriétés de Lyapunov pour cette suite seront établies plus loin, exposons
tout d’abord quelques résultats préliminaires.

4.2.1 Préliminaires.
[Link] Cocoercivité de Mµ et quelques estimations.

Afin d’établir nos principaux résultats, nous rappelons une certaine propriété de
cocoercivité concernant l’opérateur Mµ dont nous tirons quelques résultats prélimi-
naires. Les deux remarques suivantes se révèleront utiles pour notre analyse.

132
 4.2. Propriétés de type Lyapunov

Remarque 4.2.13. On observe que les itérés {zn , xn , yn } ⊂ H générés par(4.1.7)-

(4.1.8) vérifient

(4.2.2) ∀n ≥ 0, xn+1 − zn = −tMµ (zn ).

Remarque 4.2.14. Supposons que l’opérateur B soit λ-cocoercif (pour une certaine
constante λ strictement positive). On peut alors vérifier, sous la condition µ ∈]0, 2λ[
(voir, par exemple, [8, Lemma B1]) que l’opérateur Mµ est σ-cocoercif avec
 µ
(4.2.3) σ =µ 1− .
4λ

Ces deux remarques nous permettent d’énoncer quelques estimations utiles concer-
nant les itérés produits par l’algorithme(4.1.7)-(4.1.8).

Lemme 4.2.5. Supposons que les conditions (4.1.2) soient vérifiées. Soient µ ∈]0, 2λ[
et t ∈]0, σ[. Soient {zn , xn , yn } ⊂ H les suites générées par(4.1.7)-(4.1.8). Alors, pour
n ≥ 1, nous avons les propriétés suivantes :

(4.2.4a) ⟨Mµ (zn−1 ), xn − q⟩ ≥ (σ − t)∥Mµ (zn−1 )∥2 , pour q ∈ S,

(4.2.4b) ⟨Mµ (zn ) − Mµ (zn−1 ), xn+1 − xn ⟩ ≥ (σ − t)∥Mµ (zn ) − Mµ (zn−1 )∥2 .

Démonstration. La Remarque 4.2.13, nous donne xn = zn−1 − tMµ (zn−1 ) (pour

n ≥ 1). On obtient alors, pour q ∈ S,

(4.2.5) ⟨Mµ (zn−1 ), xn − q⟩ = ⟨Mµ (zn−1 ), zn−1 − q⟩ − t∥Mµ (zn−1 )∥2 .

Par conséquent, comme Mµ (q) = 0 et que Mµ est σ-cocoercif, on en déduit immédia-

tement (4.2.4a). En utilisant à nouveau la Remarque 4.2.13 pour n ≥ 1, on a
xn+1 − xn = zn − zn−1 − t(Mµ (zn ) − Mµ (zn−1 ).
On en déduit que

⟨Mµ (zn ) − Mµ (zn−1 ), xn+1 − xn ⟩

= ⟨Mµ (zn ) − Mµ (zn−1 ), zn − zn−1 ⟩ − t∥Mµ (zn ) − Mµ (zn−1 )∥2 .

L’inégalité (4.2.4b) découle alors de l’égalité précédente et de la σ-cocoercivité de

Mµ . ■

133
Chapitre 4 – Algorithmes forward-backward accélérés pour la résolution d’inclusions monotones
structurées

4.2.2 Un résultat général pour une analyse de Lyapunov.

Remarque 4.2.15. À partir de maintenant, nous adopterons la notation suivante :
pour une suite quelconque (un ), on note u̇n = un − un−1 .

Le lemme suivant constitue un résultat important pour notre étude du comporte-

ment asymptotique des suites générées par l’algorithme (4.1.7)-(4.1.8).
Les quantités ρn et Tn (s) (pour une certaine valeur s > 0) définies ci-dessous
jouent un rôle crucial dans notre méthodologie :

(4.2.6) ρn := 1 − (1 − κ) νn+1
νn
,
  2
(4.2.7) Tn (s) := 12 (1 − κ)ρn νn νn+1 yn − xn + 1
θn
− e−s
νn ρn
ẋn+1

+ 21 (e − s) ((e + 2νn+1 )ρ−1 −1 2

n + s(ρn − 1)) ∥ẋn+1 ∥ .

Énonçons à présent le résultat principal de cette section.

Lemme 4.2.6. Soient {zn , xn , yn } ⊂ H des suites générées par (4.1.7)-(4.1.8) avec
des paramètres {e, κ, s0 , t, µ, νn } ⊂]0, +∞[. Alors nous avons les propriétés suivantes
(1) S’il existe un entier naturel n1 tel que

νn+1
(4.2.8) (1 − κ) < 1 (pour n ≥ n1 ),
νn

alors pour tout (s, q) ∈]0, +∞[×H, on a (pour n ≥ n1 )

Ėn+1 (s, q) + s (s0 ρn − ν̇n+1 ) ⟨tMµ (zn−1 ), xn − q⟩

+ 21 ρ−1 2
n (e + νn+1 ) ∥ ẋn+1 + θn (yn − xn )∥
2
(4.2.9)
+ 1 − s e+νρnn+1 ρ−1 2
n (e + νn+1 ) ⟨tMµ (zn ) − tMµ (zn−1 ), ẋn+1 ⟩

+(s0 − s)(e + νn+1 )⟨tMµ (zn−1 ), ẋn+1 ⟩ + Tn (s) = 0,

où En (s, q), ρn et Tn (s) sont respectivement donnés par (4.2.1), (4.2.6) et

(4.2.7).
(2) Si les paramètres {e, κ, s0 , t, µ, νn } ⊂]0, +∞[ vérifient

(4.2.10) κ ∈]0, 2[, s0 ∈]0, e[ et νn+1 ∼ νn (lorsque n → +∞),

134
 4.2. Propriétés de type Lyapunov

et si pour κ ̸= 1, il existe δ ∈]0, 12 [ et un entier naturel n1 tels que pour n ≥ n1 ,

(4.2.11) νn ≥ (e − s0 ) δ+(1−δ)|1−κ|
δ(1−|1−κ|)
− s0 (1 − κ),

alors on a (pour n ≥ n1 )

Ėn+1 (s0 , q) + s0 (s0 ρn − ν̇n+1 ) ⟨tMµ (zn−1 ), xn − q⟩

+(γn ρ−1 2
n )(e + νn+1 ) ⟨tMµ (zn ) − tMµ (zn−1 ), ẋn+1 ⟩
(4.2.12)
+cρ−1 2
n (e + νn+1 )n ∥ẋn+1 + θn (yn − xn )∥
2

+ 21 (e − s0 )ρ−1 2
n (e + νn+1 ) ∥ẋn+1 ∥ ≤ 0.

où c est une constante strictement positive définie par


 1 (2 − δ)(1 − |1 − κ|) si κ ̸= 1,
(4.2.13) c := 2
1 si κ = 1.
2

[Link] Démonstration du Lemme 4.2.6

(a)- Partie I : estimations à partir d’un modèle plus général. Afin de

démontrer le Lemme 4.2.6, nous rappelons une égalité importante concernant le
cadre plus général des suites {xn , yn , dn } ⊂ H vérifiant

(4.2.14a) (e + νn+1 )θn = νn − (1 − κ)νn+1 ,

(4.2.14b) ẋn+1 + dn + θn (yn − xn ) = 0,
(4.2.14c) yn+1 − yn = −κ(yn − xn ),

où {κ, θn , e, νn } sont des paramètres strictement positifs. À cette fin, nous associons
à (4.2.14) la quantité Gn (s, q) définie pour (s, q) ∈ [0, +∞[×H par

(4.2.15) Gn (s, q) = 12 ∥s(q − xn ) + νn (yn − xn )∥2 + 21 s(e − s)∥xn − q∥2 .

La proposition suivante a été établie par la Proposition 3.3.1 du chapitre 3.

135
Chapitre 4 – Algorithmes forward-backward accélérés pour la résolution d’inclusions monotones
structurées

Proposition 4.2.1. Soient {xn , yn , dn } ⊂ H et {θn , νn } ⊂]0, +∞[ vérifiant (4.2.14)

pour n ≥ 0. Soient {κ, e} ⊂]0, +∞[, et supposons que la condition (4.2.8) soit vérifiée.
Alors pour (s, q) ∈]0, +∞[×H et pour n ≥ 0 nous avons

Ġn+1 (s, q) + 21 ρ−1 2

n (e + νn+1 ) ∥ẋn+1 + θn (yn − xn )∥
2

(4.2.16)  − q⟩
+s(e + νn+1 )⟨dn , xn+1
+ 1 − s e+νρnn+1 ρ−1 2
n (e + νn+1 ) ⟨dn , ẋn+1 ⟩ = −Tn (s),

où ρn et Tn (s) sont définis respectivement par (4.2.6) et (4.2.7).

(b)- Partie II : La remarque suivante met en lumière le lien entre le schéma(4.1.7)-

(4.1.8) et le modèle général (4.2.14)

Remarque 4.2.16. Pour n ≥ 1, on a xn − zn−1 = −tMµ (zn−1 ) d’après (4.2.2). Par

conséquent, l’égalité (4.1.7a) s’écrit

(4.2.17) zn = xn − θn (yn − xn ) + tγn Mµ (zn−1 ),

De plus, en utilisant à nouveau la relation (4.2.2), on a zn = xn+1 + tMµ (zn ). En

combinant ces deux résultats, on obtient

(4.2.18) ẋn+1 + θn (yn − xn ) + t (Mµ (zn ) − γn Mµ (zn−1 )) = 0.

On observe alors que l’algorithme (4.1.7)-(4.1.8) entre dans le modèle général (4.2.14)
en prenant dn = t (Mµ (zn ) − γn Mµ (zn−1 )).

Le lemme suivant est une conséquence directe de la Proposition (4.2.1) pour une
suite γn positve quelconque :

Lemme 4.2.7. Soient {zn , xn , yn } ⊂ H des suites générées par (4.1.7)-(4.1.8) avec
γn ≥ 0 et des paramètres {e, κ, t, µ, νn } ⊂]0, +∞[ vérifiant (4.2.8). Alors, pour tout
(s, q) ∈]0, +∞[×H , on a (pour n ≥ 1)
 
Ėn+1 (s, q) + s (e + νn ) − γn (e + νn+1 ) ⟨tMµ (zn−1 ), xn − q⟩
(4.2.19) + 21 ρ−1 2
n (e + νn+1 ) ∥ẋ
2
n+1 + θn (yn − xn )∥ 
+ρ−1 2
n (e + νn+1 ) (ϑn − γn )Qn + ϑn Zn = −Tn (s),

136
 4.2. Propriétés de type Lyapunov

où En (s, q), ρn et Tn (s) sont donnés respectivement par (4.2.1) (4.2.6) et (4.2.7),
ϑn := 1 − s e+νρnn+1 et où

Qn = ⟨tMµ (zn−1 ), ẋn+1 ⟩, Zn = ⟨tMµ (zn ) − tMµ (zn−1 ), ẋn+1 ⟩.

La démonstration du Lemme 4.2.7 est donnée en annexe (section 4.6.2).

(c)- Partie III : Démontrons (4.2.9). Les définitions de γn := 1 − sρn (e + νn+1 )−1
et ϑn := 1 − s0 ρn (e + νn+1 )−1 donnent (pour n ≥ 1)

ϑn − γn = sρn (e + νn+1 )−1 − s0 ρn (e + νn+1 )−1 = (s − s0 )ρn (e + νn+1 )−1 ,

(e + νn ) − (e + νn+1 )γn = (e + νn ) − (e + νn+1 ) + s0 ρn = sρn − ν̇n+1 .

Par conséquent, à l’aide de ces deux résultats, l’équation (4.2.19) nous donne

Ėn+1 (s, q) + s (s0 ρn − ν̇n+1 ) ⟨tMµ (zn−1 ), xn − q⟩

+ 21 ρ−1 2
n (e + νn+1 ) ∥ẋn+1 + θn (yn − xn )∥
2
(4.2.20)
+(s0 − s)(e + νn+1 )Qn
+ϑn ρ−1 2
n (e + νn+1 ) Zn = −Tn (s),

où Zn = ⟨tMµ (zn ) − tMµ (zn−1 ), ẋn+1 ⟩. Ce qui nous donne (4.2.9).

Démontrons (4.2.12). En prenant s = s0 (et donc ϑn = γn ) dans (4.2.20), on
obtient

Ėn+1 (s0 , q) + s0 (s0 ρn − ν̇n+1 ) ⟨tMµ (zn−1 ), xn − q⟩

(4.2.21) + 21 ρ−1 2
n (e + νn+1 ) ∥ẋn+1 + θn (yn − xn )∥
2

+γn ρ−1 2
n (e + νn+1 ) ⟨tMµ (zn ) − tMµ (zn−1 ), ẋn+1 ⟩ = −Tn (s0 ).

Estimons, à présent, le terme du côté droit de l’égalité précédente. Par définition de

Tn (pour n ≥ 1) :

  2
(4.2.22) −Tn (s0 ) ≤ 12 |1 − κ|ρn νn νn+1 yn − xn + θ1n − νe−s ρ
n n
0
ẋ n+1
 
1 −1 −1
− 2 (e − s0 ) (e + 2νn+1 )ρn + s0 (ρn − 1) ∥ẋn+1 ∥2 .

Par ailleurs, pour ε > 0 donné, l’inégalité de Young nous donne

137
Chapitre 4 – Algorithmes forward-backward accélérés pour la résolution d’inclusions monotones
structurées

  2
1 e−s0
yn − xn + θn
− νn ρn
ẋn+1
2
1 e−s0
= (θ (y
θn n n
− xn ) + ẋn+1 ) − ẋ
νn ρn n+1
(4.2.23) 2 2
1 1 e−s0
≤ (1 + 2ε) (θ (y
θn n n
− xn ) + ẋn+1 ) + (1 + 2ε
) ẋ
νn ρn n+1
 2
= (1 + 2ε) θ12 ∥ẋn+1 + θn (yn − xn )∥ + (1 + 2 1
2ε
) e−s0
νn ρn
∥ẋn+1 ∥2 .
n

Ainsi, en remarquant que l’on a θn = νn ρn

τn
, on obtient
  2
1 1 e−s0
ρ ν ν
2 n n n+1
y n − xn + θn
− νn ρn
ẋn+1

≤ ( 12 + ε)ρn νn νn+1 θ12 ∥ẋn+1 + θn (yn − xn )∥2

n

(4.2.24)
 
1
+ρn νn νn+1 ( 2 + 4ε1
) νe−s 0
n ρn
∥ẋn+1 ∥2
νn+1
= ( 12 + ε)ρ−1
n νn
(e + νn+1 )2 ∥ẋn+1 + θn (yn − xn )∥2
+( 21 + 1
4ε
)(e − s0 )2 ρ−1
n
νn+1
νn
∥ẋn+1 ∥2 .

Par conséquent, en combinant ce dernier résultat avec (4.2.22), on obtient

νn+1
1
+ ε |1 − κ|ρ−1


− Tn (s0 ) ≤ 2 n νn
(e + νn+1 )2 ∥ẋn+1 + θn (yn − xn )∥2
νn+1
+ 12 + 4ε
1
|1 − κ|(e − s0 )2 ρ−1


n νn
∥ẋn+1 ∥2
− 12 (e − s0 ) ρ−1 2
n (e + 2νn+1 + s0 (1 − ρn )) ∥ẋn+1 ∥ .

En outre, la définition de ρn nous donne 1 − ρn = (1 − κ)νn+1 νn−1 . Ainsi l’inégalité

précédente se réduit à

− Tn (s0 )
νn+1
1
+ ε |1 − κ|ρ−1


≤ 2 n νn
(e + νn+1 )2 ∥ẋn+1 + θn (yn − xn )∥2
 
νn+1 νn+1
+ 21 (e − s0 )ρ−1 1 1


n e + 2ν n+1 + s 0 (1 − κ) νn
− 2 2
+ 4ε
|1 − κ|(e − s 0 ) νn
∥ẋn+1 ∥2

νn+1 
= − 21 (e − s0 )ρ−1 1


n e + 2νn+1 + s 0 (1 − κ) − (e − s 0 ) 1 + 2ε
|1 − κ| νn
∥ẋn+1 ∥2 ,

138
 4.2. Propriétés de type Lyapunov

ou, de façon équivalente

νn+1
−Tn (s0 ) ≤ 12 C1 (ε, κ)ρ−1
n νn 
(e + νn+1 )2 |ẋn+1 + θn (yn −xn )∥2
(4.2.25)
− 21 (e − s0 )ρ−1
n e + 2νn+1 − C2 (ε, κ) νn+1
νn
∥ẋn+1 ∥2 ,

où les quantités C1 (ε, κ) et C2 (ε, κ) sont définies par

(4.2.26a) C1 (ε, κ) = (1 + 2ε)|1 − κ|,

(4.2.26b) 1


C2 (ε, κ) = (e − s0 ) 1 + 2ε |1 − κ| − s0 (1 − κ).

Observons que pour κ ∈]0, 2[, on a clairement

(4.2.27) |1 − κ| < 1.

Notons par ailleurs que pour κ = 1, on a C1 (ε, κ) = C2 (ε, κ) = 0. Pour κ ̸= 1 et en

considérant δ ∈]0, 21 [ tel que

1 1 − |1 − κ|
(4.2.28) ε0 = δ ,
2 |1 − κ|

on obtient

(4.2.29a) C1 (ε0 , κ) = |1 − κ| + δ(1 − |1 − κ|),

(4.2.29b) δ+(1−δ)|1−κ|
C2 (ε0 , κ) = (e − s0 ) δ(1−|1−κ|)−s 0 (1−κ)
− s0 (1 − κ).

L’inégalité (4.2.25) nous donne alors pour κ ∈]0, 2[ et pour n ≥ n1 ,

νn+1
−Tn (s0 ) ≤ 21 C̄1 ρ−1
n νn
(e + νn+1 )2 |ẋn+1 + θn (yn − xn )∥2
(4.2.30) 
νn+1

− 21 (e − s0 )ρ−1
n e + 2ν n+1 − C̄ 2 νn
∥ẋn+1 ∥2 ,

où C̄1 et C̄2 sont donnés par

(4.2.31a) C̄1 = C1 (ε0 , κ) si κ ̸= 1 et C̄1 = 0 si κ = 1,

(4.2.31b) C̄2 = C2 (ε0 , κ) si κ ̸= 1 et C̄2 = 0 si κ = 1.

139
Chapitre 4 – Algorithmes forward-backward accélérés pour la résolution d’inclusions monotones
structurées

Par conséquent, en combinant (4.2.21) et (4.2.30) et en rappelant que s0 ∈]0, e[, on

en déduit que (pour n ≥ n1 )

Ėn+1 (s0 , q) − ν̇n+1 ) ⟨tMµ (zn−1 ), xn − q⟩

 + s0 (s0 ρn 
+ 21 1 − C̄1 νn+1
νn
ρ−1 2
n (e + νn+1 ) ∥ẋn+1 + θn (yn − xn )∥
2
(4.2.32)
+γn ρ−1 2
n (e + νn+1 ) ⟨tM
 µ (zn ) − tMµ (zn−1 ),ẋn+1 ⟩
+ 21 (e − s0 )ρ−1
n e + 2νn+1 − C̄2 νn+1
νn
∥ẋn+1 ∥2 ≤ 0.

Par ailleurs, on vérifie aisément les équivalences suivantes

δ(1−|1−κ|) νn+1
1+ δ+(1−δ)|1−κ|
> νn

(4.2.33) ⇔ 2δ + (1 − 2δ)|1 − κ| > (δ + (1 − δ)|1 − κ|) νn+1

νn
= C1 (ε0 , κ) νn+1
νn

⇔ 1 − C1 (ε0 , κ) νn+1
νn
> 1 − 2δ − (1 − 2δ)|1 − κ| = (1 − 2δ)(1 − |1 − κ|).

De plus, la condition (4.2.11) peut se réécrire pour n ≥ n1 (n1 étant un entier naturel
suffisamment grand) sous la forme

νn+1
(4.2.34) νn+1 − C2 (ε0 , κ) ≥ 0.
νn

Observons, en outre, que la condition νn+1 ∼ νn (lorsque n → +∞) nous donne

(pour κ ∈]0, 2[)

(4.2.35) limνn+1
<1+ δ(1−|1−κ|)
(pour tout δ ∈]0, 12 [).
n→+∞ νn δ+(1−δ)|1−κ|

Ainsi, pour n ≥ n1 (n1 étant un entier naturel suffisamment grand), on obtient

(4.2.36) νn+1
νn
<1+ δ(1−|1−κ|)
δ+(1−δ)|1−κ|
,

ce qui d’après (4.2.33) entraine

(4.2.37) 1 − C1 (ε0 , κ) νn+1

νn
> (1 − 2δ)(1 − |1 − κ|).

Par conséquent, en combinant les arguments précédents avec (4.2.32) et en considérant

la quantité c définie par (4.2.13), on obtient pour κ ∈]0, 2[ et pour n ≥ n1

140
 4.3. Analyse de la convergence de la méthode.

Ėn+1 (s0 , q) + s0 (s0 ρn − ν̇n+1 ) ⟨tMµ (zn−1 ), xn − q⟩

+(γn ρ−1 2
n )(e + νn+1 ) ⟨tMµ (zn ) − tMµ (zn−1 ), ẋn+1 ⟩
(4.2.38)
+cρ−1 2
n (e + νn+1 )n ∥ẋn+1 + θn (yn − xn )∥
2

+ 21 (e − s0 )ρ−1 2
n (e + νn+1 ) ∥ẋn+1 ∥ ≤ 0,

ce qui n’est autre que (4.2.12). ■

4.3 Analyse de la convergence de la méthode.

Dans cette section, nous démontrons la convergence faible des itérés générés par
ALG1 et nous établissons des conditions suffisantes sur les paramètres pour garantir
la convergence de la méthode.

4.3.1 Quelques estimations préliminaires

À partir de maintenant, nous ferons les hypothèses suivantes concernant les
paramètres {κ, t, µ, s0 , νn } de l’algorithme ALG1 :

(4.3.1a) µ ∈]0, 2λ[ et 0 < t < µ(1 − µ

4λ
) où λ est donné par (4.1.2),
(4.3.1c) lim νn+1 = 1,
n→+∞ νn

(4.3.1d) (νn ) est croissante,

(4.3.1e) lim sup ν̇n+1 < 12 s0 κ,
n→+∞

(4.3.1b) Si κ ̸= 1, supn≥0 νn ≥ (e − s0 ) δ+(1−δ)|1−κ|

δ(1−|1−κ|)
− s0 (1 − κ) où δ ∈]0, 12 [.

Quelques observations sont données par la remarque suivante concernant le compor-

tement asymptotique des paramètres {ρn , θn }.

Remarque 4.3.17. À l’aide des définitions de ρn = 1 − (1 − κ)νn+1 νn−1 et de

θn = νn ρn (e + νn+1 )−1 , on observe que

(4.3.2) ρn ∼ κ et θn ∼ κ (lorsque n → +∞).

De plus que la suite (ρn )n peut se réécrire sous la forme

(4.3.3) ρn = κ − (1 − κ) ν̇n+1
νn
.

141
Chapitre 4 – Algorithmes forward-backward accélérés pour la résolution d’inclusions monotones
structurées

Une première série d’estimations est donnée par le lemme suivant dans le but de
démontrer la convergence de l’algorithme ALG1.

Lemme 4.3.8. Soient {zn , xn , yn } ⊂ H les suites générées par ALG1. Alors, sous
les conditions (4.1.2), (4.3.1), κ ∈]0, 2[ et s0 ∈]0, e[, nous avons :

(4.3.4a) (En (s0 , q))n est convergent,

(4.3.4b) (xn ) est borné,
(4.3.4c)
P
n ⟨Mµ (zn−1 ), xn − q⟩ < +∞,

(4.3.4d)
P 2 2
n νn ∥Mµ (zn ) − Mµ (zn−1 )∥ < +∞,

(4.3.4e) 2
P
n νn ∥ẋn+1 ∥ < +∞,

(4.3.4f)
P 2 2
n νn ∥ẋn+1 + θn (yn − xn )∥ < +∞,

(4.3.4g) 2
P
n νn ∥yn − xn ∥ < +∞.

Démonstration. Soient q ∈ S et κ ∈]0, 2[. En utilisant l’inégalité (4.2.12) du Lemme

4.2.6 pour n ≥ n1 (pour un certain entier n1 suffisamment grand), on obtient (pour
q ∈ S)

Ėn+1 (s0 , q) + s0 (s0 ρn − ν̇n+1 ) Un + (γn ρ−1 2

n )(e + νn+1 ) Zn
(4.3.5)
+cρ−1 2 1 −1 2
n (e + νn+1 ) Wn + 2 (e − s0 )ρn (e + νn+1 ) ∥ẋn+1 ∥ ≤ 0,

où Un = ⟨tMµ (zn−1 ), xn − q⟩, Zn = ⟨tMµ (zn ) − tMµ (zn−1 ), ẋn+1 ⟩, c est une constante
strictement positive et où Wn = ∥ẋn+1 + θn (yn − xn )∥2 . Observons que le Lemme
4.2.5 garantit, sous les conditions (4.3.1), que les quantités Un et Zn sont positives.
Par ailleurs, concernant le second terme du côté gauche de (4.3.5), on obtient d’après
(4.3.1e) et pour un entier n1 suffisamment grand

(4.3.6) inf (s0 ρn − ν̇n+1 ) > 0.

n≥n1

Par conséquent, il résulte de (4.3.5) et des arguments précédents que la suite positive
(En+1 (s0 , q))n≥n1 est décroissante, et donc qu’elle converge. Ceci nous donne (4.3.4a).
En outre, En (s0 , q) s’écrit

1 1
En (s0 , q) = ∥s0 (q − xn ) + νn (yn − xn )∥2 + s0 (e − s0 )∥xn − q∥2 + s0 (e + νn )Un .
2 2

142
 4.3. Analyse de la convergence de la méthode.

On en déduit donc que la suite (xn ) est bornée. Cela nous conduit à (4.3.4b). Par
ailleurs, en sommant l’inégalité (4.3.5) pour n allant de n1 à N (pour un certain
N ≥ n1 ), on a

EN +1 (s0 , q) + s0 N
P
n=n1 (s0 ρn − ν̇n+1 ) Un
(4.3.7)
PN PN
+ n=n1 (γn ρ−1 2
n )(e + νn+1 ) Zn + c
−1 2
n=n1 ρn (e + νn+1 ) Wn
+ 12 (e − s0 ) N −1 2
P
n=n1 ρn (e + νn+1 ) ∥ẋn+1 ∥ ≤ En1 (s0 , q).

On obtient alors les estimations (4.3.4c)-(4.3.4f) en utilisant le Lemme 4.2.5 et en

remarquant que e + νn+1 ∼ νn et que (γn ρ−1
n ) ∼ κ
−1
(lorsque n → +∞). Par ailleurs,
en notant un = yn − xn , on a classiquement

(4.3.8) ∥θn un ∥2 ≤ 2∥ẋn+1 ∥2 + 2∥ẋn+1 + θn un ∥2 .

Ainsi, sachant que n νn ∥ẋn+1 ∥2 < +∞ et n νn ∥ẋn+1 + θn un ∥2 < +∞ (d’après

P P

(4.3.4e)) et (4.3.4f) respectivement), on en déduit que n θn2 νn ∥un ∥2 < +∞. Il en

P

résulte alors que n νn ∥un ∥2 < +∞ (car θn ∼ κ, lorsque n → +∞), ce qui nous
P

donne (4.3.4g). ■

Remarque 4.3.18. En notant un := yn − xn pour n ≥ 0, on obtient xn+1 =

−un+1 + yn+1 . Ainsi comme yn+1 = yn − κun (d’après (4.1.7)), on obtient

(4.3.9) xn+1 = −un+1 + yn+1 = −un+1 + yn − κun .

En utilisant à nouveau la relation un := yn − xn , ce dernier résultat peut se réécrire

sous la forme

(4.3.10) xn+1 − xn = −un+1 + un − κun = −un+1 + (1 − κ)un .

À l’aide de la remarque précédente, nous établissons une deuxième série d’estima-

tions via le lemme suivant.

143
Chapitre 4 – Algorithmes forward-backward accélérés pour la résolution d’inclusions monotones
structurées

Lemme 4.3.9. Sous les conditions du Lemme 4.3.8, nous avons :

(4.3.11a) νn ∥ẋn + tMµ (zn−1 ) + (κ − 1)(yn−1 − xn−1 )∥2 < +∞,

P
n

(4.3.11b) ∥ẋn + tMµ (zn−1 ) + (κ − 1)(yn−1 − xn−1 )∥ = o(νn−1 ),

(4.3.11c) 2
P
n νn ∥Mµ (zn−1 )∥ < +∞,

(4.3.11d)
P
n νn |⟨Mµ (zn−1 ), ẋn+1 ⟩| < +∞,

(4.3.11e) ∥ẋn ∥ = o(νn−1 ),

(4.3.11f) ∥yn − xn ∥ = o(νn−1 ),
(4.3.11g) ∥Mµ (zn )∥ = o(νn−1 ),
(4.3.11h) 2
P
n νn ∥Mµ (yn )∥ < +∞,

(4.3.11i) ∥Mµ (yn )∥ = o(νn−1 ).

Démonstration. Pour démontrer les éléments (4.3.11a) et (4.3.11b), nous allons

procéder à une reformulation de la méthode(4.1.7)-(4.1.8). Afin d’alléger les notations,
nous introduisons la suite (un ) définie pour n ≥ 0 par un := yn − xn . Par ailleurs,
d’après (4.2.18), nous avons aussi (pour n ≥ 1),

ẋn+1 + tMµ (zn ) − γn (ẋn + tMµ (zn−1 )) = −γn ẋn − θn un .

Ainsi, comme ẋn = −un − (κ − 1)un−1 (d’après (4.3.10)), l’équation précédente nous
donne

ẋn+1 + tMµ (zn ) − γn (ẋn + tMµ (zn−1 ))

(4.3.12) = (γn − θn )un + γn (κ − 1)un−1
= (γn − θn + κ − 1)un − (κ − 1)un + γn (κ − 1)un−1 ,

où les paramètres γn et θn sont définis par

(4.3.13) γn = 1 − s0 ρn (e + νn+1 )−1 et θn = νn ρn (e + νn+1 )−1 .

La relation (4.3.12) nous amène à considérer la suite Hn définie pour n ≥ 1 par

(4.3.14) Hn = ẋn + tMµ (zn−1 ) + (κ − 1)un−1 ,

144
 4.3. Analyse de la convergence de la méthode.

on obtient alors immédiatement, pour n ≥ 1

(4.3.15) Hn+1 = γn Hn + (γn − θn + κ − 1)un .

Établissons à présent des estimations sur la suite Hn à l’aide de cette dernière égalité.
En utilisant les paramètres de (4.3.13) ainsi que la relation ρn = κ − (1 − κ)ν̇n+1 νn−1
(d’après (4.3.3)), on obtient

γn − θn + κ − 1  
= −s0 ρn (e + νn+1 )−1 − νn (e + νn+1 )−1 κ − (1 − κ) ν̇n+1
νn
+κ
= −s0 ρn (e + νn+1 )−1 + (e + νn+1 )−1 (−κνn + (1 − κ)ν̇n+1 + κe + κνn+1 )
= −s0 ρn (e + νn+1 )−1 + (e + νn+1 )−1 (ν̇n+1 + κe)
= (e + νn+1 )−1 (−s0 ρn + ν̇n+1 + κe) .

Par conséquent, on déduit de (4.3.15) et de l’égalité précédente que

(e + νn+1 )−1 (ν̇n+1 + κe − s0 ρn )

(4.3.16) Hn+1 = γn Hn + (1 − γn ) un .
1 − γn

De plus, la convexité de la norme au carré nous donne

 2
(e+νn+1 )−1 (ν̇n+1 +κe−s0 ρn )
∥Hn+1 ∥2 ≤ γn ∥Hn ∥2 + (1 − γn ) ∥un ∥2
(4.3.17) 1−γn
(s0 ρn −ν̇n+1 −κe)2
= γn ∥Hn ∥2 + 1−γn
(e + νn+1 )−2 ∥un ∥2 .

Ainsi, sachant que γn = 1 − s0 ρn (e + νn+1 )−1 , il en résulte que

 
∥Hn+1 ∥2 ≤ 1 − s0 ρn (e + νn+1 )−1 ∥Hn ∥2
(4.3.18)
+(s0 ρn )−1 (s0 ρn − ν̇n+1 − κe)2 (e + νn+1 )−1 ∥un ∥2 .

En multipliant cette dernière inégalité par (e + νn+1 )2 , on a

 
(e + νn+1 )2 ∥Hn+1 ∥2 ≤ (e + νn+1 )2 − s0 ρn (e + νn+1 ) ∥Hn ∥2
(4.3.19)
+(s0 ρn )−1 (s0 ρn − ν̇n+1 − κe)2 (e + νn+1 )∥un ∥2 ,

tandis qu’un rapide calcul nous donne

(4.3.20) (e + νn+1 )2 ≤ (e + νn )2 + 2ν̇n+1 (e + νn+1 ).

145
Chapitre 4 – Algorithmes forward-backward accélérés pour la résolution d’inclusions monotones
structurées

En combinant ces deux derniers résultats, nous obtenons

(e + νn+1 )2 ∥Hn+1 ∥2 − (e + νn )2 ∥Hn ∥2

(4.3.21) +(s0 ρn − 2ν̇n+1 )(e + νn+1 )∥Hn ∥2
≤ (s0 ρn )−1 (s0 ρn − ν̇n+1 − κe)2 (e + νn+1 )∥un ∥2 .

Ainsi, comme inf n≥n1 (s0 ρn −2ν̇n+1 )(e+νn ) > 0 (pour un certain entier n1 suffisamment
grand), n νn ∥un ∥2 < +∞ (d’après (4.3.4g)) et que la quantité (eρn − ν̇n+1 − κe)
P

est bornée, on en déduit que n (e + νn+1 )∥Hn ∥2 < +∞. Cette dernière estimation
P

nous donne (4.3.11a). De plus, les arguments précédents impliquent l’existence d’un
l1 ≥ 0 vérifiant limn→+∞ (e + νn )2 ∥Hn ∥2 = l1 . Remarquons que nous avons aussi
limn→+∞ (e + νn+1 )2 ∥Hn ∥2 = l1 (car (e+ν
(e+νn )
n+1 )
→ 1 lorsque n → +∞). Par conséquent,
comme n (e + νn+1 ) = +∞ (car ν̇n est borné d’après (4.3.1e)), on en déduit que
−1
P

l1 = 0, ce qui nous donne (4.3.11b).

Démontrons à présent les éléments (4.3.11c) et (4.3.11d). Un rapide calcul nous
donne
∥tMµ (zn−1 )∥2
(4.3.22) ≤ 2∥tMµ (zn−1 ) + ẋn + (κ − 1)un−1 ∥2 + 2∥ẋn + (κ − 1)un−1 ∥2
≤ 2∥tMµ (zn−1 ) + ẋn + (κ − 1)un−1 ∥2 + 4∥ẋn ∥2 + 4(κ − 1)2 ∥un−1 ∥2 .

Donc, en utilisant les estimations 2

n νn ∥un−1 ∥ < +∞ et
2
P P
n νn ∥ẋn ∥ < +∞,

n νn ∥tMµ (zn−1 ) + ẋn + (κ − 1)un−1 ∥ < +∞ (d’après (4.3.4e),(4.3.4g) et (4.3.11a)

2
P

respectivement), on en déduit (4.3.11c). L’estimation (4.3.11d) provient quant à elle

des estimations n νn ∥ẋn ∥2 < +∞ et n νn ∥Mµ (zn−1 )∥2 < +∞ (d’après (4.3.4e) et
P P

(4.3.11c)).
Par ailleurs, en utilisant le Lemme 4.2.6 et en passant à la limite lorsque s → 0+
dans (4.2.9), nous obtenons

2
νn+1 ∥ẋn+1 ∥2 − νn2 ∥ẋn ∥2 + 12 ρ−1 2
n (e + νn+1 ) ∥ẋn+1 + θn (yn − xn )∥
2

+ (e + νn+1 ) ρ−1 2
n (e + νn+1 ) ⟨tMµ (zn ) − tMµ (zn−1 ), ẋn+1 ⟩
+s0 (e + νn+1 )⟨tMµ (zn−1 ), ẋn+1 ⟩
  2
+ 12 (1 − κ)ρn νn νn+1 yn − xn + θ1n − νneρn ẋn+1
+ 12 e(e + 2νn+1 )ρ−1 2
n ∥ẋn+1 ∥ = 0,

146
 4.3. Analyse de la convergence de la méthode.

ce qui d’après le Lemme 4.2.5 entraîne

2
νn+1 ∥ẋn+1 ∥2 − νn2 ∥ẋn ∥2
≤ −s0 (e + νn+1 )⟨tMµ (zn−1 ), ẋn+1 ⟩
  2
− 21 (1 − κ)ρn νn νn+1 yn − xn + 1
θn
− e
νn ρn
ẋn+1
≤ s0 (e + νn+1 )|⟨tMµ (zn−1 ), ẋn+1 ⟩|
2
2
2
+|1 − κ|ρn νn+1 y n − xn + 1
ẋ
θn n+1
+ e2 |1 − κ| νn+1
νn
ρ−1
n ∥ẋn+1 ∥

= s0 (e + νn+1 )|⟨tMµ (zn−1 ), ẋn+1 ⟩|

+ |1−κ|ρ
θ2
νn+1 ∥ẋn+1 + θn (yn − xn )∥2 + e2 |1 − κ| νn+1
n 2
νn
ρ−1 2
n ∥ẋn+1 ∥ .
n

Observons que la condition (4.3.1c) et la Remarque 4.3.17 nous donne

(4.3.23) e + νn+1 ∼ νn , ρn 2
2 νn+1
θn
∼ κ1 νn2 , νn+1 −1
νn
ρn ∼ κ−1 , lorsque n → +∞.

Par conséquent, en utilisant les estimations

P
n νn |⟨Mµ (zn−1 , ẋn+1 ⟩| < +∞,

n νn ∥ẋn+1 ∥ < +∞ et n νn ∥ẋn+1 + θn (yn − xn )∥ < +∞ (d’après (4.3.11d),

2
P P 2 2

(4.3.4e) et (4.3.4f) respectivement), on déduit des arguments précédents qu’il

existe l2 ≥ 0 tel que limn→+∞ νn2 ∥ẋn ∥2 = l2 . De plus, en utilisant à nouveau
l’estimation n νn ∥ẋn+1 ∥2 < +∞ (d’après (4.3.4e)), et en rappelant que l’on a
P
−1
= +∞, on obtient lim inf n→+∞ νn2 ∥ẋn ∥2 = 0. Il en résulte que l2 = 0,
P
n (e + νn+1 )
autrement dit (4.3.11e). Par ailleurs, l’estimation (4.3.4f) nous donne directement
∥ẋn+1 + θn (yn − xn )∥ = o(νn−1 ), on en déduit alors que ∥yn − xn ∥ = o(νn−1 ) (car
θn ∼ κ lorsque n → +∞), ce qui nous donne (4.3.11f). En combinant ce dernier
résultat avec ∥ẋn + tMµ (zn−1 ) + (κ − 1)(yn−1 − xn−1 )∥ = o(νn−1 ) (d’après (4.3.11b)),
on obtient ∥Mµ (zn )∥ = o(νn−1 ), ce qui n’est autre que (4.3.11g).
Finalement, comme B est supposé être λ-cocoercif, nous savons que Mµ est
µ
µ(1 − 4λ )-cocoercif sous la condition µ ∈]0, 2λ[ (voir [8, Lemma B1]). Il en résulte,
par un calcul rapide, que l’opérateur Mµ est ( µ2 )-Lipschitzien. De plus, comme
xn+1 − zn = −tMµ (zn ) (d’après la Remarque 4.2.13), on obtient

147
Chapitre 4 – Algorithmes forward-backward accélérés pour la résolution d’inclusions monotones
structurées

∥Mµ (yn+1 )∥2

 2
≤ 2 µ2 ∥yn+1 − zn ∥2 + 2∥Mµ (zn )∥2
(4.3.24)  2  2
≤ 4 µ2 ∥yn+1 − xn+1 ∥2 + 4 µ2 ∥xn+1 − zn ∥2 + 2∥Mµ (zn )∥2
 2    
2
2 2
= 4 µ ∥yn+1 − xn+1 ∥2 + 4 µ t2 + 2 ∥Mµ (zn )∥2 .

Par conséquent, comme n νn ∥yn − xn ∥2 < +∞, et n νn ∥Mµ (zn )∥2 < +∞ (d’après
P P

(4.3.4g) et (4.3.11c)), on en déduit que n νn ∥Mµ (yn )∥2 < +∞, à savoir (4.3.11h).
P

De plus, (4.3.24) montre que νn ∥Mµ (yn )∥ → 0 lorsque n → +∞, car νn ∥yn −xn ∥ → 0
et νn ∥Mµ (zn )∥ → 0 lorsque n → +∞ (d’après (4.3.11f) et (4.3.11g) respectivement).
On obtient alors (4.3.11i) . ■
Énonçons à présent le résultat principal de cette section.

Théorème 4.3.1. Soient κ ∈]0, 2[, e > 0 et s0 ∈]0, e[. Supposons que les suites
{zn , xn , yn } ⊂ H soient générées par ALG1, sous les conditions (4.1.2) et (4.3.1).
Alors les suites (xn )n , (yn )n et (zn )n convergent faiblement vers un élément x̄ ∈ S et
nous avons les estimations suivantes :

(4.3.25a) ∥xn+1 − xn ∥ = o(νn−1 ), ∥yn − xn ∥ = o(νn−1 ), ∥Mµ (zn )∥ = o(νn−1 ),

(4.3.25b) − xn ∥2 < +∞, − xn ∥2 < +∞,
P P
n νn ∥xn+1 n νn ∥yn

(4.3.25c) νn ∥Mµ (zn )∥2 < +∞, νn2 ∥Mµ (zn ) − Mµ (zn−1 )∥2 < +∞,
P P
n n

(4.3.25d)
P
n ⟨Mµ (zn−1 ), xn − q⟩ < +∞ (pour q ∈ S).

De plus la suite (ξn ) définie pour n ≥ 0 par

(4.3.26) ξn = 1 − µt−1 zn−1 + µt−1 xn ,

converge faiblement vers x̄ et vérifie

X
(4.3.27) ∃ξn∗ ∈ (A + B)(ξn ) t.q. ∥ξn∗ ∥ = o(νn−1 ) et νn ∥ξn∗ ∥2 < +∞.
n

148
 4.3. Analyse de la convergence de la méthode.

Démonstration. Nous prouvons ce théorème en considérant les étapes (e1)-(e3)

suivantes :
(e1) Les résultats de (4.3.25a) sont donnés respectivement par (4.3.11e), (4.3.11f)
et (4.3.11g). Les deux estimations de (4.3.25b) proviennent respectivement de (4.3.4e),
(4.3.4g). La première et la deuxième estimation de (4.3.25c) proviennent de (4.3.11d)
et de (4.3.4d) respectivement. Le dernier résultat (4.3.25d) est obtenu à partir de
(4.3.4c).
(e2) Nous démontrons la convergence des itérés donnés par(4.1.7)-(4.1.8) à l’aide
du lemme d’Opial qui garantit que la suite (xn ) converge vers un élément de S, à
condition que les résultats suivants soient satisfaits :
(h1) pour tout q ∈ S, la suite (∥xn − q∥) est convergente,
(h2) tout point d’accumulation faible de (xn ) appartient à S.
Démontrons (h1). Soit q ∈ S. Comme la suite (xn ) est bornée (d’après (4.3.4b)) et
que ∥Mµ (zn )∥ = o(νn−1 ) (d’après (4.3.11h)) on a

(4.3.28) ⟨Mµ (zn−1 ), xn − q⟩ = o(νn−1 ).

De plus, nous savons que la suite (En (s0 , q))n est convergente (d’après le Lemme
4.3.8) et que

1
∥s0 (q − xn ) − νn ẋn ∥2 + 12 s0 (e − s0 )∥xn − q∥2



En (s0 , q) =
(4.3.29) 2
+s0 (e + νn )⟨tMµ (zn−1 ), xn − q⟩.

Ainsi, comme νn ẋn → 0 (d’après (4.3.11e)) et que (e + νn )⟨Mµ (zn−1 ), xn − q⟩ → 0

lorsque n → +∞ (d’après (4.3.28)), on en déduit que

1
(4.3.30) lim En (s0 , q) = lim s0 e∥xn − q∥2 .
n→+∞ n→+∞ 2

Ce qui nous donne (h1). Démontrons (h2). À partir de la définition de l’opérateur

Mµ , on obtient classiquement

(4.3.31) Mµ (zn ) ∈ B(zn ) + A(zn − µMµ (zn )).

149
Chapitre 4 – Algorithmes forward-backward accélérés pour la résolution d’inclusions monotones
structurées

Comme xn+1 − zn = −tMµ (zn ) (d’après la Remarque 4.2.13), on a aussi

(4.3.32) zn − xn = tMµ (zn ) + ẋn+1 .

Donc, comme ∥ẋn+1 ∥ = o(νn−1 ), ∥Mµ (zn )∥ = o(νn−1 ) (d’après (4.3.25a)), on obtient

(4.3.33) ∥zn − xn ∥ → 0 (lorsque n → +∞).

Soit maintenant u un point d’accumulation faible de (xn ). Autrement dit, il existe

une sous-suite (xnk ) qui converge vers u lorsque k → +∞. En utilisant (4.3.25a)) et
(4.3.33), on obtient respectivement que limk→+∞ ∥Mµ (znk )∥ = 0 et que (znk ) converge
vers u lorsque k → +∞. En outre, la relation (4.3.31) nous donne

(4.3.34) Mµ (znk ) ∈ B(znk ) + A(znk − µMµ (znk )).

Ainsi en passant à la limite lorsque k → +∞ dans ce dernier résultat et en rappelant

que le graphe d’un opérateur maximal monotone est demi-clos (voir, par exemple,
[31], on obtient 0 ∈ (A + B)(u), à savoir u ∈ S. Ceci prouve (h2).
On déduit alors du Lemme d’Opial que (xn ) converge faiblement vers un certain
x̄ ∈ S. De plus, comme limn→+∞ ∥zn − xn ∥ = 0 et limn→+∞ ∥yn − xn ∥ = 0 (d’après
(4.3.33) et (4.3.25a) respectivement) on obtient que les suites (zn ) et (yn ) convergent
aussi vers x̄.
(e3) Posons ξn = zn−1 − µMµ (zn−1 ). La relation (4.3.31) nous donne alors

(4.3.35) Mµ (zn−1 ) ∈ B(zn−1 ) + A(ξn ).

De plus, comme Mµ (zn ) = t−1 (zn − xn+1 ) (d’après la Remarque 4.2.13), nous pouvons
réécrire la suite ξn sous la forme

(4.3.36) ξn = 1 − µt−1 zn−1 + µt−1 xn .

On observe alors à partir de cette dernière égalité que ξn ⇀ x̄ lorsque n → +∞, car
xn ⇀ x̄ et zn ⇀ x̄ lorsque n → +∞. Par ailleurs, la relation (4.3.35) nous donne

(4.3.37) Mµ (zn−1 ) + B(ξn ) − B(zn−1 ) ∈ B(ξn ) + A(ξn ),

150
 4.3. Analyse de la convergence de la méthode.

ce qui, en posant

(4.3.38) ξn∗ = Mµ (zn−1 ) + B(ξn ) − B(zn−1 ),

s’écrit

(4.3.39) ξn∗ ∈ B(ξn ) + A(ξn ).

De plus comme B est (1/λ)-lipschitzien, on obtient à l’aide de la Remarque 4.2.13

(4.3.40) ∥B(ξn ) − B(zn−1 )∥ ≤ λ−1 ∥ξn − zn−1 ∥ = λ−1 µ∥Mµ (zn−1 )∥.

On déduit alors de (4.3.38) et (4.3.40) que

(4.3.41) ∥ξn∗ ∥ ≤ (1 + λ−1 µ)∥Mµ (zn−1 )∥.

Ainsi, sachant que l’on a ∥Mµ (zn−1 )∥ = o(νn−1 ) et 2

P
n νn ∥Mµ (zn−1 )∥ < +∞
(d’après (4.3.25a) et (4.3.25b) respectivement), on en déduit que ∥ξn∗ ∥ = o(νn−1 )
et n νn ∥ξn∗ ∥2 < +∞. Ceci achève la preuve.
P
■
Le résultat suivant est un cas particulier du théorème précédent lorsque νn = n+ν0 .

Théorème 4.3.2. Soient κ ∈]0, 2[ et e > 0. Soient {zn , xn , yn } ⊂ H les suites

générées par (4.1.7)-(4.1.8) sous les conditions (4.1.2). Soient {µ, ν0 } ⊂]0, +∞[ des
paramètres vérifiant

(4.3.42a) µ ∈]0, 2λ[, 0 < t < µ(1 − µ

4λ
),
(4.3.42b) νn = n + ν0 (pour un certain ν0 ≥ 0),
(4.3.42c) e > 2κ−1 , s0 ∈]2κ−1 , e[.

Alors les suites (xn ), (yn ) et (zn ) convergent faiblement vers un élément x̄ ∈ S et
nous avons les estimations suivantes

(4.3.43a) ∥xn+1 − xn ∥ = o(n−1 ), ∥yn − xn ∥ = o(n−1 ), ∥Mµ (zn )∥ = o(n−1 ),

(4.3.43b) − xn ∥2 < +∞, − xn ∥2 < +∞, 2
P P P
n n∥xn+1 n n∥yn n n∥Mµ (zn )∥ < +∞,
(4.3.43c) n2 ∥Mµ (zn ) − Mµ (zn−1 )∥2 < +∞,
P
n

(4.3.43d)
P
n ⟨Mµ (zn−1 ), xn − q⟩ < +∞ (pour q ∈ S).

151
Chapitre 4 – Algorithmes forward-backward accélérés pour la résolution d’inclusions monotones
structurées

De plus, la suite (ξn ) définie pour n ≥ 0 par

(4.3.44) ξn = 1 − µt−1 zn−1 + µt−1 xn .

converge faiblement vers x̄ et

X
(4.3.45) ∃ξn∗ ∈ (A + B)(ξn ) t.q. ∥ξn∗ ∥ = o(n−1 ) et n∥ξn∗ ∥2 < +∞.
n

Démonstration. Le Théorème 4.3.2 découle immédiatement du Théorème 4.3.1 en

remarquant que pour νn = n + ν0 (avec ν0 ≥ 0), on a

1 2
(4.3.46) lim sup ν̇n+1 < s0 κ ⇐⇒ s0 > .
n→+∞ 2 κ

On vérifie alors, sous les conditions (4.3.42), que les conditions (4.3.1) sont satisfaites
(pour n assez grand). ■

4.4 Une variante plus générale de l’algorithme

proposé
Notre objectif ici est d’adapter l’algorithme ALG1 au problème général d’inclusion
monotone structurée suivant

−1
(4.4.1) trouver x̄ ∈ S := (B +
Pp
k=1 Ak ) (0) ̸= ∅,

où B : H → H est λ-cocoercif sur H, et où (Ai )pi=1 : H → H est une famille de p

opérateurs maximaux monotones pour lesquels la résolvante se calcule facilement.

Soulignons que l’algorithme ALG2 fournit une autre façon de calculer la résolvante
d’une somme d’opérateurs maximaux monotones en un point y ∈ ran (I + pi=1 Ai ).
P

Cela s’observe en prenant B comme étant l’opérateur défini pour x ∈ H par B(x) =
x − y (donc B est 1-cocoercif).

La suite de notre méthodologie suit les mêmes lignes que celles de Maingé [71] et
la preuve du théorème suivant est donnée par souci d’exhaustivité.

152
 4.4. Une variante plus générale de l’algorithme proposé

Remarque 4.4.19 (voir Maingé [71]). Soient {ςk }pk=1 ⊂]0, 1[ tels que pk=1 ςk = 1
P

et considérons l’espace de Hilbert E = Hp muni du produit scalaire (.|.) défini, pour

x = {xk }pk=1 et y = {yk }pk=1 appartenant à E, par (x|y) = pk=1 ςk ⟨xk , yk ⟩. La norme
P

induite de (.|.) est notée ∥.∥Hp .

Considérons également le problème auxiliaire

(4.4.2)
Pp
trouver z̄ ∈ Sp := {z ∈ Hp | i=1 ςi zi ∈ S},

pour lequel il a été démontré qu’il possède un ensemble de solutions Sp non vides
(dès lors que S ≠ ∅). Le problème (4.4.2) peut également être reformulé comme une
inclusion monotone correspondant au problème (4.1.1)-(4.1.2) sur E. Introduisons,
en effet, les applications ĀG et B̄ de E dans E définies pour {xi }pi=1 ∈ E par

(4.4.3) ĀG ({xi }pi=1 ) = { ςµi Ai (xi )}pi=1 , B̄ ({xi }pi=1 ) = {B(xi )}pi=1 ,

et soit NΓ : E → 2E le cône normal de l’ensemble convexe fermé (non vide)

(4.4.4) Γ = {{xi }pi=1 ∈ E | x1 = x2 = ... = xp }.

On peut alors vérifier que ĀG et B̄ sont des opérateurs maximaux monotones sur E.
Ainsi les opérateurs de réflexion RĀG = 2JĀG − IHp et RNΓ = 2JNΓ − IHp sont bien
définis, ce qui nous permet de considérer les applications T , T1 et T2 de E dans E
tels que

(4.4.5) T = T1 ◦ T2 , T1 = 12 (RĀG ◦ RNΓ + IHp ) et T2 = IHp − µB̄ ◦ JNΓ .

Il a été établi (voir [94, Propositions 4.11, 4.12 et 4.15]), que pour un certain
opérateur maximal monotone A′G : E → 2E , l’ensemble des solutions Sp de (4.4.2)
peut s’écrire

−1
(4.4.6) Sp = A′G + B̄ ◦ JNΓ (0),

et que l’opérateur B̄ ◦ JNΓ est λ-cocoercif (voir la section 4.2 de [94, Proposition 4.1]).
De plus, Sp n’est rien d’autre que l’ensemble des points fixes de l’opérateur T où T
s’écrit

(4.4.7) T = JA′G ◦ (IHp − µB̄ ◦ JNΓ ).

153
Chapitre 4 – Algorithmes forward-backward accélérés pour la résolution d’inclusions monotones
structurées

Compte tenu de la remarque précédente, une stratégie pour résoudre (4.4.1)

consiste d’abord à approcher un élément de Sp (à savoir un point fixe de T ) au moyen
d’une suite (ζn ) = ({ζn,k }pk=1 ) ⊂ E := Hp générée par ALG1, dans le cadre de (4.4.7)
et (4.4.6), comme suit :

(4.4.8a) zn = ζn − θn (yn − ζn ) − γn (ζn − zn−1 ),

(4.4.8b) ζn+1 = (1 − µt )zn + µt T (zn ),
(4.4.8c) yn+1 = (1 − κ)yn + κζn .

Ensuite, nous obtenons un élément de S comme étant la limite de (xn ) ⊂ H donnée

par xn = k=1 ςk ζn,k . Cela nous conduit (voir la preuve du théorème 4.4.1) à
Pp

l’algorithme ALG2 suivant

ALG2
▶ Initialisation : Choisir {z−1 , y0 , ζ0 } ⊂ Hp , κ ∈]0, 2[, {e, s0 , ν0 , µ, t} ⊂]0, +∞[,
(ςk )pk=1 ⊂]0, 1[.
▶ Étape principale : Pour {zn−1 , yn , ζn } ⊂ Hp donnés (avec n ≥ 0), on effectue
(4.4.9a) zn = ζn − θn (yn − ζn ) − γn (ζn − zn−1 ),
(4.4.9b) ωn = pk=1 ςk zn,k ,
P
  p
(4.4.9c) t Ak
ζn+1 = zn,k + µ J µ (2ωn − µB(ωn ) − zn,k ) − ωn ,
ςk
k=1

(4.4.9d) yn+1 = (1 − κ)yn + κζn ,

(4.4.9e) xn+1 = pk=1 ςk ζn,k .
P

où les paramètres sont

(4.4.10)  
νn = n + ν0 , θn = νn −(1−κ)ν
e+νn+1
n+1
et γn := 1 − s0
e+νn+1
1 − (1 − κ) νn+1
νn

Le théorème suivant présente les taux de convergence ∥ζ̇n ∥Hp = o(n−1 ) (pour la
vitesse discrète) et ∥T (zn ) − zn ∥Hp = o(n−1 ) (concernant les résidus de points fixes)
pour des itérés (zn ) générés par ALG2.

154
 4.4. Une variante plus générale de l’algorithme proposé

Théorème 4.4.1. Soient (xn , ζn ) ∈ (Hp )2 des suites générées par ALG2. Soient
{s0 , t, e, ν0 , µ} ⊂]0, +∞[, κ ∈]0, 2[, et (ςk )pk=1 ⊂]0, 1[ vérifiant pk=1 ςk = 1, ainsi que
P

 µ
(4.4.11) 0 < µ < 2λ, 0<t<µ 1− .
4λ
(4.4.12) νn = n + ν0 (pour un certain ν0 ≥ 0),
(4.4.13) e > 2κ−1 et s0 ∈]2κ−1 , e[.

Alors nous avons les résultats suivants

(4.4.14a) ∥ζ̇n ∥Hp = o(n−1 ), n∥ζ̇n ∥2Hp < +∞,

P
n

(4.4.14b) ∥yn − ζn ∥Hp = o(n−1 ), 2

P
n n∥yn − ζn ∥Hp < +∞,

(4.4.14c) ∥T (zn ) − zn ∥Hp = o(n−1 ), 2

P
n n∥T (zn ) − zn ∥Hp < +∞,

(4.4.14d)
P 2 2
n n ∥(T (zn ) − zn ) − (T (zn−1 ) − zn−1 )∥Hp < +∞,

(4.4.14e) ∃ζ̄ ∈ Sp , t.q., (pour k = 1, .., p), ζ̄n,k ⇀ ζ̄k faiblement dans H,
(4.4.14f) xn ⇀ x̄ = pk=1 ςk ζ̄k ∈ S, faiblement dans H,
P

Pp
où T : Hp → Hp est donné par (4.4.7) et où ∥ . ∥2Hp = k=1 ςk ∥ . ∥2 sur Hp .

Démonstration. On peut vérifier (voir [94, Lemma 4.10]), que pour {xk }pk=1 ∈ E
l’on a

(4.4.15)
Pp
JNΓ ({xi }pi=1 ) = { p
j=1 ςj xj }i=1 ,

(4.4.16) RNΓ ({xk }pk=1 ) = {2 pi=1 ςi xi − xk }pk=1 ,

P

(4.4.17) RĀG ({xk }pk=1 ) = {2J ςµ Ak (xk ) − xk }pk=1 .

k

Alors, pour {zk }pk=1 ∈ E, on obtient d’après T2 = IHp − µB̄ ◦ JNΓ , que
T2 ({zk }pk=1 ) = {zk }pk=1 − µ(B̄ ◦ JNΓ )({zk }pk=1 )
Pp
= {zk }pk=1 − µB̄ ({ p
i=1 ςi zi }k=1 )
Pp
= {zk − µB ( i=1 ςi zi ) }pk=1 .
De plus, pour {yk }pk=1 ∈ E et en posant ȳ = i=1 ςi yi , on obtient d’après
Pp

T1 = 12 (RĀG ◦ RNΓ + IHp ) que

T1 ({yk }pk=1 ) = (1/2) RĀG ({2ȳ − yk }pk=1 ) + {yk }pk=1


n op 
= (1/2) 2J ςµ Ak (2ȳ − yk ) − 2ȳ + yk + {yk }pk=1
n k op k=1
= J ς Ak (2ȳ − yk ) − ȳ + yk
µ .
k k=1

155
Chapitre 4 – Algorithmes forward-backward accélérés pour la résolution d’inclusions monotones
structurées

Ainsi, en prenant {yk }pk=1 = T2 ({zk }pk=1 ) et en posant z̄ = i=1 ςi zi , on a

Pp

T ({zk }k=1 ) = T1 ({yk }k=1 ), ou de manière néquivalente

p p
op
T ({zk }pk=1 ) = T1 ({zk − µB (z̄)}pk=1 ) = J ςµ Ak (2z̄ − µB (z̄) − zk ) − z̄ + zk .
k k=1
Il en résulte que n  op
(1 − µt ){zk }pk=1 + µt T ({zk }pk=1 ) = zk + t
µ
J ςµ Ak (2z̄ − µB (z̄) − zk ) − z̄ .
k k=1
On en déduit alors que ALG2 peut se réécrire sous la forme (4.4.8). Par conséquent,
les résultats (4.4.14a)-(4.4.14d) proviennent directement du Théorème 4.3.2 tandis
que (4.4.14e) est déduit de (4.4.14d). ■

4.5 Simulations numériques

4.5.1 Résolutions d’inclusion monotones structurées non po-

tentielles
On se place dans H = R100 et on considère le problème d’inclusion monotone
structuré suivant

(4.5.1) trouver x̄ ∈ R100 tel que 0 ∈ Ax̄ + B x̄,

où les opérateurs A, B ∈ M100 (R) sont définis par

   
0 −1 . . . . . . −1 1 −1 0 ... 0
 .. .  .
. −1 . . . ..  . . . .. 

1 1 1 0
 .. ... ..  .. 
   
(4.5.2) A = . 1 −1 .  et B = 0 0 . .

1
 .. .. .. ..   .. .. . . .. 
   
. . 1 . .  . . . .
1 ... ... ... 0 0 ... ... ... 1

On vérifie aisément que A et B sont des opérateurs (non potentiels) maximaux

monotones tels que B est 1/2-cocoercif. On peut donc appliquer l’algorithme ALG1
pour résoudre le problème (4.5.1). Pour chacune des Figures 4.5.1, 4.5.2 et 4.5.3, les
conditions initiales sont x0 = y0 = z0 = (10, 10, . . . , 10) ∈ R100 .

156
 4.5. Simulations numériques

La Figure 4.5.1 compare les performances de l’algorithme ALG1 pour le calcul des
zéros de A + B à l’aide de la suite ξn∗ := Aξn + Bξn (où ξn = (1 − µt−1 )zn−1 + µt−1 xn )
avec différentes valeurs de κ et de e. Comme pour l’algorithme RIGPA, on observe
que les performances de ALG1 sont meilleures pour des valeurs croissantes de κ dans
]0, 2[. La Figure 4.5.2, montre les performances de ALG1 pour différentes valeurs de t
dans ]0, σ[. On observe que la convergence est meilleure pour des valeurs croissantes
de t dans ]0, σ[. La Figure 4.5.3, quant à elle, montre le comportement asymptotique
des itérés ξn∗ et de la vitesse discrète xn+1 − xn .

104 104
ALG1 (κ = 1.9) ALG1 (κ = 1.9)
103 ALG1 (κ = 1.3) 103 ALG1 (κ = 1.3)
ALG1 (κ = 1) ALG1 (κ = 1)
102 ALG1 (κ = 0.7) 102 ALG1 (κ = 0.7)
ALG1 (κ = 0.3) ALG1 (κ = 0.3)
1
10 101
0
10 100
kξn∗ k

kξn∗ k

−1
10 10−1

10−2 10−2

10−3 10−3

10−4 10−4

10−5 10−5
100 101 102 103 104 105 100 101 102 103 104 105
Itérations Itérations

Figure 4.5.1 – Évolution des itérés ξn∗ pour e = 7 (gauche) et e = 15 (droite) avec
différentes valeurs de κ. Les autres paramètres sont µ = 0.1, s0 = 6.75, t = 0.5σ, νn =
n+2

104
ALG1 t = 0.99σ
ALG1 t = 0.5σ
10 2 ALG1 t = 0.3σ
ALG1 t = 0.1σ

100
kξn∗ k

10−2

10−4

10−6

10−8
100 101 102 103 104 105
Itérations

Figure 4.5.2 – Évolution des itérés ξn∗ pour κ = 1.9 avec différentes valeurs de t. Les
autres paramètres sont µ = 0.1, e = 1.5 × 2/κ, νn = n + 2, s0 = c × 2/κ + (1 − c) × e
avec c = 0.001.

157
Chapitre 4 – Algorithmes forward-backward accélérés pour la résolution d’inclusions monotones
structurées

105 kξn∗ k 105 kxn+1 − xn k

O(n−3 ) O(n−4 )

100
100

10−5

10−5
10−10

10−10
10−15

100 101 102 103 104 105 100 101 102 103 104 105
Itérations Itérations

Figure 4.5.3 – Comparaison asymptotique itérés ξn∗ (gauche) et de la vitesse discrète

(droite). Les paramètres sont κ = 1.9, e = 1.5 × 2/κ, µ = 0.1, t = 0.99σ, νn = n + 2,
s0 = c × 2/κ + (1 − c) × e avec c = 0.001.

Utilisation du « restarting » en présence de forte monotonie

Pour des opérateurs cocoercifs et fortement monotones, la méthode forward-
backward possède un taux de convergence linéaire (voir chapitre 1, Section 1.4.2),
tandis rien ne garantit que la méthode ALG1 proposée dans ce chapitre possède
un tel taux de convergence. En procédant de façon similaire à Kim [65], nous
proposons d’avoir recours à du « restarting ». Supposons, pour cela, que l’on redémarre
l’algorithme ALG1 toutes les R itérations en initialisant la boucle extérieur (j + 1)
suivante par :

(4.5.3) xj+1,0 = yj+1,0 = zj+1,−1 ← xj,R .

Cela donne alors lieu à l’algorithme décrit ci-dessous que nous appellerons ALG1-r.

158
 4.5. Simulations numériques

ALG1-r
Données: x0,0 ∈ H, {µ, e, t, νk } ⊂]0, +∞[, κ ∈]0,  2[, s0 ∈]0, e[,
νk −(1−κ)νk+1
θk = e+νk+1
et γk = 1 − e+νs0k+1 1 − (1 − κ) νk+1
νk
;
Initialisation :
y0,0 ← x0,0 ;
z0,−1 ← x0,0 ;
pour j allant de 0 à S − 1 faire
pour k allant de 0 à R − 1 faire
zj,k ← xj,k − θk (yj,k − xj,k ) − γk (xj,k − zj,k−1 );
   
t
xj,k+1 ← 1 − µ zj,k + µt JµA (zj,k − µB(zj,k ));
yj,k+1 ← (1 − κ)yj,k + κxj,k ;
fin
xj+1,0 ← xj,R ;
yj+1,0 ← xj,R ;
zj+1,−1 ← xj,R ;
fin

La Figure 4.5.4 montre l’évolution de la norme de xn en fonction du nombre d’ité-

rations pour les algorithmes FB, ALG1, ALG1-r-5000, ALG1-r-2000 et ALG1-r-200
où ces trois derniers algorithmes correspondent à l’algorithme ALG1 lequel a été
redémarré toutes les 5000, 2000 et 200 itérations respectivement avec l’initialisation
(4.5.3). On observe la convergence linéaire de la méthode FB ainsi que la convergence
sous-linéaire de l’algorithme ALG1 proposé. Cependant, en ayant recours au « res-
tarting » mentionné ci-dessus, il semble possible d’obtenir une convergence linéaire
et meilleure que celle de la méthode FB.

159
Chapitre 4 – Algorithmes forward-backward accélérés pour la résolution d’inclusions monotones
structurées

10−5

10−10

10−15
kxn k

10−20

10−25
FB
ALG1
10−30 ALG1-r-5000
ALG1-r-2000
10−35 ALG1-r-200
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
Itérations

Figure 4.5.4 – Évolution de la norme xn en fonction du nombre d’itérations pour

les algorithmes FB, ALG1, et ALG1-r avec divers valeurs de « restarting ». Les
paramètres sont les mêmes que ceux de la Figure 4.5.3

4.6 Annexe

4.6.1 Une formulation plus classique de ALG1.

Il est intéressant de noter que ALG1 entre dans le cadre d’un algorithme inertiel
forward-backward relaxé plus familier.

Proposition 4.6.1. Toutes suites {zn , xn , yn }n≥1 ⊂ H générées par ALG1 vérifient
l’algorithme (4.1.10) pour n ≥ 2.

Démonstration. Soient {zn , xn , yn }n≥1 ⊂ H les suites générées par ALG1 et posons

(4.6.1) un = yn − xn et vn = xn − zn−1 .

L’égalité (4.6.1) nous donne xn = yn − un . Ainsi d’après (4.1.7a)-(4.1.7c) on obtient

(4.6.2a) vn = yn − un − zn−1 ,
(4.6.2b) xn = (1 − µt )zn−1 + µt JµA (zn−1 − µBzn−1 ),
(4.6.2c) un = −κ−1 ẏn+1 .

160
 4.6. Annexe

De plus, (4.1.7a) peut se réécrire

zn = xn − θn un − γn vn
(4.6.3) = yn − un − θn un − γn vn
= yn+1 − ẏn+1 − (1 + θn ) un − γn vn .

En combinant alors l’égalité précédente avec (4.6.2a) et (4.6.2c), on obtient

(4.6.4) zn = yn+1 − ẏn+1 + κ−1 (1 + θn ) ẏn+1 − γn (yn + κ−1 ẏn+1 − zn−1 ),

à savoir

(4.6.5) zn = yn+1 + κ−1 (1 − κ + θn − γn ) ẏn+1 − γn (yn − zn−1 ).

Par ailleurs, d’après (4.1.7c) on a aussi yn+1 = (1 − κ)yn + κxn , ce qui d’après (4.6.2b)
nous donne
 
(4.6.6) yn+1 = (1 − κ)yn + κ (1 − t
)z
µ n−1
+ t A
J (zn−1
µ µ
− µBzn−1 ) .

Par conséquent, on déduit de (4.6.2b), (4.6.5) et de (4.6.6) que les itérés {zn , xn , yn }
vérifient pour n ≥ 2,

(4.6.7a) zn−1 = yn + κ−1 (ξn − γn )(yn − yn−1 ) − γn−1 (yn−1 − zn−2 ),

(4.6.7b) xn = (1 − µt )zn−1 + µt JµA (zn−1 − µBzn−1 ),
(4.6.7c) yn+1 = (1 − κ)yn + κxn ,

où ξn = 1 − κ + θn−1 . En utilisant la définition de θn (donnée par (4.1.8a)), on obtient

de plus ξn = (1−κ)e+ν n−1
(e+νn )
. ■

4.6.2 Démonstration du Lemme 4.2.7

On observe d’après la Remarque 4.2.16 que les itérés {zn , xn , yn } générés par
(4.1.7a)-(4.1.7c) entrent dans le cas particulier de l’algorithme (4.2.14) pour n ≥ 1
en prenant

(4.6.8) dn = tMµ (zn ) − tγn Mµ (zn−1 ).

161
Chapitre 4 – Algorithmes forward-backward accélérés pour la résolution d’inclusions monotones
structurées

Par conséquent, en posant Wn = ∥ẋn+1 + θn (yn − xn )∥2 , la Proposition 4.2.1 nous

donne immédiatement

Ġn+1 (s, q) + 21 ρ−1 2

n τn Wn
(4.6.9)
+(sτn )⟨dn , xn+1 − q⟩ + ϑn ρ−1 2
n τn ⟨dn , ẋn+1 ⟩ = −Tn (s),

où τn = e + νn+1 et ϑn = 1 − s ρτnn . De plus, en posant

Un := ⟨tMµ (zn−1 ), xn − q⟩ et Qn := ⟨tMµ (zn−1 ), ẋn+1 ⟩,
on obtient

⟨dn , xn+1 − q⟩
= ⟨tMµ (zn ) − tγn Mµ (zn−1 ), xn+1 − q⟩
= ⟨tMµ (zn ), xn+1 − q⟩ − γn ⟨tMµ (zn−1 ), ẋn+1 ⟩ − γn ⟨tMµ (zn−1 ), xn − q⟩
= Un+1 − γn Qn − γn Un ,

ainsi que

(4.6.10) ⟨dn , ẋn+1 ⟩ = ⟨tMµ (zn ) − tγn Mµ (zn−1 ), ẋn+1 ⟩

(4.6.11) = ⟨tMµ (zn ), ẋn+1 ⟩ − γn ⟨tMµ (zn−1 ), ẋn+1 ⟩
(4.6.12) = ⟨tMµ (zn ), ẋn+1 ⟩ − γn Qn .

Il résulte de ces deux derniers résultats que

(sτn )⟨dn , xn+1 − q⟩ + ϑn ρ−1 2

n τn ⟨dn , ẋn+1 ⟩
   
−1 2
= (sτn ) Un+1 − γn Qn − γn Un + ϑn ρn τn ⟨tMµ (zn ), ẋn+1 ⟩ − γn Qn

= (sτn ) Un+1 − γn Un − (sτn ) + ϑn ρ−1 2 −1 2

n n γn Qn + ϑn ρn τn ⟨tMµ (zn ), ẋn+1 ⟩.
τ

De plus, en remarquant que sτn + ϑn ρ−1

n τn = ρn τn , on obtient
2 −1 2

(sτn )⟨dn , xn+1 − q⟩ + ϑn ρ−1 2

n τn ⟨dn , ẋn+1 ⟩

= (sτn ) Un+1 − γn Un − ρ−1 2 −1 2

n τn γn Qn + ϑn ρn τn ⟨tMµ (zn ), ẋn+1 ⟩.

162
 4.6. Annexe

Introduisons à présent la suite Zn = ⟨tMµ (zn ) − tMµ (zn−1 ), ẋn+1 ⟩. On déduit alors
de l’égalité précédente et de (4.6.9) que

Ġn+1 (s, q) + 12 ρ−1 2

n τn Wn + (sτn )(Un+1 − γn Un ) + Tn (s)
= −ρ−1 2


n τn − γn Qn + ϑn ⟨tMµ (zn ), ẋn+1 ⟩
= −ρ−1 2
n τn (−γn Qn + ϑn ⟨tMµ (zn ) − tMµ (zn−1 ), ẋn+1 ⟩ + ϑn ⟨tMµ (zn−1 ), ẋn+1 ⟩)
= −ρ−1 2
n τn (−γn Qn + ϑn Zn + ϑn Qn )
= −ρ−1 2
n τn ((ϑn − γn )Qn + ϑn Zn ) .

Par ailleurs, on vérifie aisément d’après ϑn = 1 − sρn τn−1 et γn = 1 − s0 ρn τn−1 que

(4.6.13) ϑn − γn = s0 ρn τn−1 − sρn τn−1 = ρn τn−1 (s0 − s).

Par conséquent, on déduit de ces deux derniers résultats que

Ġn+1 (s, q) + 21 ρ−1 2

n τn Wn + (sτn )(Un+1 − γn Un ) + Tn (s)
(4.6.14)
+τn (s0 − s)Qn + ρ−1 2
n τn ϑn Zn = 0.

De plus nous avons clairement

τn (Un+1 − γn Un ) = τn Un+1 − τn−1 Un + (τn−1 − τn γn ) Un ,
tandis que les définitions de γn et τn (à savoir γn = 1 − s0 ρτnn et τn = e + νn+1 ), nous
donne
τn−1 − τn γn = τn−1 − τn + s0 ρn = −ν̇n+1 + s0 ρn .
On obtient alors

(4.6.15) τn (Un+1 − γn Un ) = τn Un+1 − τn−1 Un + (s0 ρn − ν̇n+1 ) Un .

Ainsi, comme En (s, q) = Gn (s, q) + (sτn−1 )Un , il résulte de (4.6.14) et (4.6.15), que
l’on a

Ėn+1 (s, q) + s (eρn − ν̇n+1 ) Un + 21 ρ−1 2

n τn Wn
(4.6.16)
+ρ−1 2
n τn ϑn Zn + τn (s0 − s)Qn = −Tn (s).

Ceci nous donne (4.2.19) . ■

163
Chapitre 5

Conclusions et perspectives

Un cadre continu et des schémas numériques sont proposés dans cette thèse tant
pour la résolution de problèmes de minimisation convexe structurés que pour la
résolution d’inclusions monotones structurées.
S’agissant de la minimisation convexe structurée, nous avons étudié un algorithme
(issu d’une variante discrète du cadre continu proposé). Nous avons démontré, entre
autres, la propriété de convergence rapide vers zéro des sous-gradients de la fonction
objectif même dans le cas non lisse, en sus des taux de convergence établis pour les
algorithmes récemment proposés dans la littérature. Il serait intéressant de poursuivre
ce travail dans le cadre des fonctions fortement convexes.
Concernant la résolution d’inclusions monotones structurées plus générales, nous
avons développé un algorithme de type Forward-Backward qui nous permet d’obtenir
des taux de convergence intéressants en termes de vitesse discrète et de résidus de
points fixes, à l’instar de ceux obtenus pour la minimisation convexe structurée.
Il serait intéressant de transposer au cadre de la minimisation stochastique, les
résultats obtenus dans cette thèse concernant la minimisation structurée non lisse.
Il s’agira, par exemple, de remplacer le gradient de la fonction régulière par un
estimateur de celui-ci afin d’éviter les calculs trop coûteux du gradient entier. Par
ailleurs, afin de réduire la variance induite par cet estimateur, il serait intéressant
d’avoir recours à une technique de réduction de la variance qui serait adaptée à des
problèmes de machine learning régularisés de (très) grandes échelles.

165
Chapitre 5 – Conclusions et perspectives

On peut envisager l’étude d’une variante continue du schéma proposé dans le

cadre de la résolution d’inclusions monotones, afin de mieux comprendre les processus
sous-jacents.
Il serait, par ailleurs, intéressant d’étudier la convergence de ce schéma numérique
en présence d’opérateurs fortement monotones.
Enfin, le cadre continu considéré nous a permis de construire un modèle inté-
ressant pour des dynamiques discrètes, mais peut également servir de base pour le
développement de nombreux autres systèmes dynamiques.

166
Bibliographie

[1] Z. Allen-Zhu. « Katyusha : The First Direct Acceleration of Stochastic

Gradient Methods ». (2018). arXiv : 1603.05953.
[2] F. Alvarez. « On the minimizing property of a second order dissipative
system in Hilbert spaces ». SIAM Journal Control and Optimization 38.(4)
(2000), page(s): 1102-1119. doi : 10.1137/S0363012998335802.
[3] F. Alvarez et H. Attouch. « An Inertial Proximal Method for Maximal Mo-
notone Operators via Discretization of a Nonlinear Oscillator with Damping ».
Set-Valued Analysis 9 (2001), page(s): 3-11. doi : 10.1023/A:1011253113155.
[4] F. Alvarez et al. « A second-order gradient-like dissipative dynamical system
with Hessian driven damping. Application to Optimization and Mechanics ».
J. Math. Pures appl 81.(8) (2002), page(s): 747-779. doi : 10.1016/S0021-
7824(01)01253-3.
[5] V. Apidopoulos, J.F. Aujol et C. Dossal. « Convergence rate of inertial
forward-backward algorithm beyond Nesterov’s rule ». Mathematical Program-
ming 180 (2020), page(s): 137-156. doi : 10.1007/s10107-018-1350-9.
[6] H. Attouch et F. Alvarez. « The heavy ball with friction dynamical system
for convex constrained minimization problems. » Nguyen V.H., Strodiot JJ.,
Tossings P. (eds) Optimization. Lecture Notes in Economics and Mathematical
Systems 481 (2000). doi : 10.1007/978-3-642-57014-8_2.
[7] H. Attouch, J. Bolte et P. Redont. « Optimizing properties of an inertial
dynamical system with geometric damping. Link with proximal methods. »
Control and Cybernetics 31 (2002), page(s): 643-657.

167
 [8] H. Attouch et A. Cabot. « Convergence of a relaxed inertial forward-
backward algorithm for structured monotone inclusions ». Applied Math.
Optimization 80 (2019), page(s): 547-598. doi : 10 . 1007 / s00245 - 019 -
09584-z.
[9] H. Attouch et A. Cabot. « Convergence rates of inertial Forward-Backward
algorithms ». SIAM Journal on Optimization 28 (2018), page(s): 849-874.
[10] H. Attouch, X. Goudou et P. Redont. « The heavy ball with friction
method, I. The continuous dynamical system : global exploration of the local
minima of a real-valued function by asymptotic analysis of a dissipative
dynamical system ». Communications in Contemporary Mathematics, World
Scientific Publishing Company 2 (2000), page(s): 1-34. doi : 10 . 1142 /
S0219199700000025.
[11] H. Attouch et S.C. László. « Continuous Newton-like inertial dynamics
for monotone inclusions ». Set-valued and variational Analysis (2020). doi :
10.1007/s11228-020-00564-y.
[12] H. Attouch et S.C. László. « Newton-like inertial dynamics and proximal
algorithms governed by maximally monotone operators ». SIAM J. Control
Optimization 30.4 (2020), page(s): 3252-3283. doi : 10.1137/20M1333316.
[13] H. Attouch et J. Peypouquet. « Convergence of inertial dynamics and
proximal algorithms governed by maximally monotone operators ». Mathe-
matical Programming 174 (2019), page(s): 391-432. doi : 10.1007/s10107-
018-1252-x.
[14] H. Attouch et J. Peypouquet. « The rate of convergence of Nesterov’s
accelerated forward-backward method is actually faster than 1/k 2 ». SIAM J.
Optimization (2013), page(s): 1824-1834. doi : 10.1137/15M1046095.
[15] H. Attouch, J. Peypouquet et P. Redont. « Fast convex optimization
via inertial dynamics with hessian driven damping ». Journal of Differential
Equations 261 (2016), page(s): 5734-5783. doi : 10.1016/[Link].2016.08.
020.
[16] H. Attouch et al. « Fast convergence of inertial dynamics and algorithms with
asymptotic vanishing viscosity ». Math. Programming 168 (2018), page(s):
123-175. doi : 10.1007/s10107-016-0992-8.

168
[17] H. Attouch et al. « Fast convex optimization via inertial dynamics combining
viscous and Hessian-driven damping with time rescaling ». Evolution Equations
and Control Theory (2021). doi : 10.3934/eect.2021010.
[18] H. Attouch et al. « First-order optimization algorithms via inertial systems
with Hessian driven damping ». Math. Programming (2019). doi : 10.1007/
s10107-020-01591-1.
[19] J.F. Aujol et C. Dossal. « Optimal rate of convergence of an ODE associated
to the Fast Gradient Descent schemes for b > 0. » (2017). hal : hal-01547251.
[20] J.F. Aujol, C. Dossal et A. Rondepierre. « Optimal convergence rates
for Nesterov Acceleration ». SIAM J. Optimization 29.(4) (2019), page(s):
3131-3153. doi : 10.1137/18M1186757.
[21] J.B. Baillon. « Un exemple concernant le comportement asymptotique de
la solution du problème du + ∂ϕ(u) ∋ 0. » Journal of Functional Analysis 28
(1978), page(s): 369-376.
[22] H.H. Bauschke et P.L. Combettes. « Convex analysis and monotone
operator theory in Hilbert spaces ». 2nd edition, Springer, New York (2017).
doi : 10.1007/978-3-319-48311-5.
[23] A. Beck. First-order methods in optimization. Society for Industrial & Applied
Mathematics, 2017. doi : 10.1137/1.9781611974997.
[24] A. Beck et M. Teboulle. « A fast iterative shrinkage-thresholding algorithm
for linear inverse problems ». SIAM J. Imaging Sci. 2.(1) (2009), page(s):
183-202. doi : 10.1137/080716542.
[25] G. Belgioso et S. Grammatico. « Semi-decentralized Nash equilibrium
seeking in aggregative games with separable coupling constraints and non-
differentiable cost functions ». IEEE Control Systems Letters 1.(2) (2017),
page(s): 400-405. doi : 10.1109/LCSYS.2017.2718842.
[26] R.I. Boţ et E.R. Csetnek. « Second order forward-backward dynamical
systems for monotone inclusion problems ». SIAM Journal on Control and
Optimization 54.(3) (2016), page(s): 1423-1443. doi : 10.1137/15M1012657.
[27] L. Bottou et O. Bousquet. « The tradeoffs of large scale learning ».
Advances in Neural Information Processing Systems (NIPS) 20 (2008), page(s):
161-168.

169
[28] L. Bottou et Y. Le Cun. « On-line learning for very large data sets. » Applied
Stochastic Models in Business and Industry 21 (2005), page(s): 137-151. doi :
10.1002/asmb.538.
[29] S. Boyd. « Subgradient Methods ». Notes for EE364b, Stanford University,
(2013).
[30] H. Brezis. Function Analysis, Sobolev Spaces and Partial Differential Equa-
tions. 2010. doi : 10.1007/978-0-387-70914-7.
[31] H. Brezis. Opérateurs maximaux monotones et semi-groupes de contractions
dans les espaces de Hilbert. T. 5. Burlington, MA : Elsevier Science, 1973.
[32] H. Brezis et P. L. Lions. « Produits infinis de résolvantes. » Israel Journal
of Mathematics 29.(4) (1978), page(s): 329-345.
[33] L.M. Briceño-Arias et P.L. Combettes. « Monotone operator methods for
Nash equilibria in non-potential games ». Springer Proceedings in Mathematics
& Statistics Computational and Analytical Mathematics 50 (2013), page(s):
143-159. doi : 10.1007/978-1-4614-7621-4_9.
[34] R. E. Bruck. « An iterative solution of a variational inequality for certain
monotone operators in Hilbert space ». Bulletin of the American Mathematical
Society 81 (1975), page(s): 890-892. doi : 10.1090/S0002-9904-1975-13874-
2.
[35] R. E. Bruck. « Asymptotic convergence of nonlinear contraction semigroups
in Hilbert space. » Journal of Functional Analysis 18.(1) (1975), page(s):
15-26. doi : 10.1016/0022-1236(75)90027-0.
[36] A. Cabot, H. Engler et S. Gadat. « Second order differential equations
with asymptotically small dissipation and piecewise flat potentials ». Elect. J.
of Differential Equations 17 (2009), page(s): 33-38.
[37] A. Cabot et P. Frankel. « Asymptotics for some semilinear hyperbolic
equations with non-autonomous damping ». Journal of Differential Equations
252 (2012), page(s): 294-322. doi : 10.1016/[Link].2011.09.012.
[38] V. Cevher et B.C. Vu. « A Reflected Forward-Backward Splitting Method
for Mono- tone Inclusions Involving Lipschitzian Operators ». Set Valued and
Variational Analysis (2020). doi : 10.1007/s11228-020-00542-4.

170
[39] A. Chambolle. « An algorithm for total variation minimization and applica-
tions ». J. Math. Imaging Vis (20) (2004), page(s): 89-97. doi : 10.1023/B:
JMIV.0000011325.36760.1e.
[40] A. Chambolle et C. Dossal. « On the convergence of the iterates of
“Fast Iterative Shrinkage/Thresholding Algorithm” ». Journal of Optimization
Theory and Applications 166 (2015), page(s): 968-982. doi : 10.1007/s10957-
015-0746-4.
[41] A. Chambolle et P.L. Lions. « Image recovery via total variation minimiza-
tion and related problems ». Numer. Math 76 (1997), page(s): 167-188. doi :
10.1007/s002110050258.
[42] A. Chambolle et T. Pock. « An introduction to continuous optimization
for imaging ». Acta Numerica, Cambridge University Press (CUP) 25 (2016),
page(s): 161-319. doi : 10.1017/S096249291600009X.
[43] P.L. Combettes et J.C. Pesquet. « Primal-dual splitting algorithm for
solving inclusions with mix- tures of composite, Lipschitzian, and parallel-sum
type monotone operators ». Set Valued and Variational Analysis 20.2 (2012),
page(s): 307-330.
[44] P.L. Combettes et J.C. Pesquet. « Proximal Splitting Methods in Signal
Processing ». Bauschke H., Burachik R., Combettes P., Elser V., Luke D.,
Wolkowicz H. (eds) Fixed-Point Algorithms for Inverse Problems in Science
and Engineering. Springer Optimization and Its Applications 49 (2011). doi :
10.1007/978-1-4419-9569-8_10.
[45] P.L. Combettes et V.R. Wajs. « Signal recovery by proximal forward-
backward splitting ». Multiscale Model Simul 4 (2005), page(s): 1168-1200.
doi : 10.1137/050626090.
[46] E. Corman et X. Yuan. « A generalized proximal point algorithm and its
convergence rate ». SIAM J. Optim 24.4 (2014), page(s): 1614-1638. doi :
10.1137/130940402.
[47] J.B. Cruz et T. Nghia. « On the convergence of the proximal forward-
backward splitting method with linesearches ». Optim. Methods and Software
31.(6) (2016), page(s): 1209-1238. doi : 10.1080/10556788.2016.1214959.

171
[48] E.R. Csetnek. « Continuous dynamics related to monotone inclusions and
non-smooth optimization problems, » Set Valued and Variational Analysis 28
(2020), page(s): 611-642. doi : 10.1007/s11228-020-00548-y.
[49] I. Daubechies, M. Defrise et C. De Mol. « An iterative thresholding
algorithm for linear inverse problems with a sparsity constraint ». Comm.
Pure Appl. Math. 57 (2004), page(s): 1413-1457. doi : 10.1002/cpa.20042.
[50] K. Deimling et S. Grammatico. « Zeros of accretive operators ». Manus-
cripta Mathematica (2017), page(s): 365-374. doi : 10.1007/bf01171148.
[51] J. Douglas et H. H. Rachford. « On the numerical solution of heat
conduction problems in two and three space variables ». Trans. Amer. Math.
Society 82 (1956), page(s): 421-439.
[52] Y. Drori et M. Teboulle. « Performance of first-order methods for smooth
convex minimization : A novel approach ». Math. Programming 145.2 (2014),
page(s): 451-482.
[53] I. Ekeland et R. Temam. Convex Analysis and Variational Problems. 1976.
[54] P. Getreuer. « Rudin-Osher-Fatemi Total Variation Denoising using Split
Bregman ». Image Processing On Line 2 (2012), page(s): 74-95. doi : 10.
5201/ipol.2012.g-tvd.
[55] A. A. Goldstein. « Convex programming in Hilbert spaces ». [Link].
Math. Soc. (70) (1964), page(s): 709-710.
[56] X. Goudou et J. Munier. « The gradient and heavy ball with friction
dynamical systems : the quasiconvex case. » Math. Programming 116 (2007),
page(s): 173-191. doi : 10.1007/s10107-007-0109-5.
[57] O. Güler. « New proximal point algorithms for convex minimization ». SIAM
J. Optimization 2.(4) (1992), page(s): 649-664. doi : 10.1137/0802032.
[58] O. Güler. « On the convergence of the proximal point algorithm for convex
minimization ». SIAM J. Control Optimization 29 (1991), page(s): 403-419.
doi : 10.1137/0329022.
[59] I Guyon et al. « Structural risk minimization for character recognition ».
NIPS’91 : Proceedings of the 4th International Conference on Neural Infor-
mation Processing Systems (1991), page(s): 471-479.

172
[60] A. Haraux. « Systèmes dynamiques dissipatifs et applications ». Masson
RMA17 (1991).
[61] A. Haraux et M.A. Jendoubi. « Convergence of solutions of second order
gradient like systems with analytic nonlinearities ». Journal of Differential
Equations 144.(2) (1998), page(s): 312-320. doi : 10.1006/jdeq.1997.3393.
[62] F. Iutzeler et J M. Hendrickx. « A Generic online acceleration scheme
for Optimization algorithms via Relaxation and Inertia ». (2017). arXiv :
1603.05398v3.
[63] R. Johnson et T. Zhang. « Accelerating stochastic gradient descent using
predictive variance reduction ». Advances in Neural Information Processing
Systems 26 (2013).
[64] J. Kiefer et J. Wolfowitz. « Stochastic estimation of the maximum of a
regression function ». Ann. Math. Stat. 23.(3) (1952), page(s): 462-466. doi :
10.1214/aoms/1177729392.
[65] D. Kim. « Accelerated proximal point method for maximally monotone ope-
rators ». Math. Program (2021). doi : 10.1007/s10107-021-01643-0.
[66] F. Labarre et P.E. Maingé. « First-Order frameworks for continuous
Newton-like dynamics governed by maximally monotone operators ». Set-
Valued and Variational Analysis (2021). doi : 10.1007/s11228-021-00593-
1.
[67] N. Le Roux, M. Schmidt et F. Bach. « A Stochastic Gradient Method
with an Exponential Convergence Rate for Finite Training Sets ». NIPS’12 -
26 th Annual Conference on Neural Information Processing Systems (2012).
hal : hal-00674995v4.
[68] M. Li et al. « Shrinking gradient descent algorithms for total variation regu-
larized image denoising ». Comput Optim Appl 68 (2017), page(s): 643-660.
doi : 10.1007/s10589-017-9931-8.
[69] P.L Lions et B. Mercier. « Splitting algorithms for the sum of two nonlinear
operators ». SIAM J. Numer. Anal. 16.(6) (1979), page(s): 964-979. doi :
10.1137/0716071.

173
[70] D.A Lorenz et T. Pock. « An inertial forward-backward algorithm for
monotone inclusions ». J. Math. Imaging Vision 51 (2015), page(s): 311-325.
doi : 10.1007/s10851-014-0523-2.
[71] P.E. Maingé. « Fast convergence of generalized forward-backward algorithm
for structured monotone inclusions ». (2021). arXiv : 2107.10107.
[72] P.E. Maingé et F. Labarre. « Accelerated methods with fastly vanishing
subgradients for structured non-smooth minimization ». Numerical Algorithms
(2021). doi : 10.1007/s11075-021-01181-y.
[73] P.E. Maingé et S. Maruster. « Convergence in norm of modified
Krasnoselski-Mann iterations for fixed points of demicontractive mappings ».
Applied Mathematics and Computation 217.(24) (2011), page(s): 9864-9874.
doi : 10.1016/[Link].2011.04.068.
[74] Y. Malitsky. « Proximal extrapolated gradient methods for variational
inequalities ». Optimization Methods and Software 33.(1) (2018), page(s):
140-164. doi : 10.1080/10556788.2017.1300899.
[75] B. Martinet. « Détermination approchée d’un point fixe d’une application
pseudo-contractante. Cas de l’application prox ». C.R. Acad. Sc. Paris (1972),
page(s): 163-165.
[76] B. Martinet. « Régularisation d’inéquations variationnelles par approxi-
mations successives ». Rev. Francaise Informat. Recherche Opérationnelle 4
(1970), page(s): 154-158. doi : 10.1051/m2an/197004R301541.
[77] R. May. « Asymptotic for a second order evolution equation with convex
potential and vanishing damping term ». Turkish Journal of Mathematics
41.(3) (2015).
[78] A. Moudafi et M. Oliny. « Convergence of a splitting inertial proximal
method for monotone operators ». J. Comput. Appl. Math. 155.(2) (2003),
page(s): 447-454. doi : 10.1016/S0377-0427(02)00906-8.
[79] A. Nedic et D. Bertsekas. « Convergence rate of incremental subgradient
algorithms ». Stochastic Optimization : Algorithms and Applications 54 (2001),
page(s): 263-304. doi : 10.1007/978-1-4757-6594-6_11.

174
[80] A. Nemirovski et al. « Robust stochastic approximation approach to sto-
chastic programming ». SIAM Journal on Optimization 19.4 (2009), page(s):
1574-1609. doi : 10.1137/070704277.
[81] Y. Nesterov. « A method of solving a convex programming problem with
convergence rate O(1/k 2 ) ». Soviet Mathematics Doklady 27 (1983), page(s):
372-376.
[82] Y. Nesterov. « Gradient methods for minimizing composite objective func-
tion ». Math. Programming (2013), page(s): 125-161. doi : 10.1007/s10107-
012-0629-5.
[83] Y. Nesterov. « Introductory lectures on convex optimization : A basic
course ». Kluwer Academic Publishers 87 (2004). doi : 10.1007/978- 1-
4419-8853-9.
[84] Y. Nesterov. « Smooth minimization of non-smooth functions ». Mathema-
tical Programming 103 (2005), page(s): 127-152. doi : 10.1007/s10107-004-
0552-5.
[85] A. Nitanda. « Stochastic proximal gradient descent with acceleration tech-
niques ». Advances in Neural Information Processing Systems 27 (2014),
page(s): 1574-1582.
[86] P. Ochs, T. Brox et T. Pock. « iPiasco : Inertial proximal algorithm for
strongly convex optimization ». J Math Imaging Vision 53 (2015), page(s):
171-181. doi : 10.1007/s10851-015-0565-0.
[87] Z. Opial. « Weak convergence of the sequence of successive approximations
for nonexpansive mappings ». Bull. Amer. Math. Soc. 73 (1967), page(s):
591-597.
[88] N. Parikh et S. Boyd. « Proximal algorithms ». Foundations and Trends®
in Optimization 1.3 (2014), page(s): 127-239. doi : 10.1561/2400000003.
[89] G.B. Passty. « Ergodic convergence to a zero of the sum of monotone
operators in Hilbert space ». J. Math. Anal. Appl. 72 (1979), page(s): 383-390.
doi : 10.1016/0022-247X(79)90234-8.
[90] D.W. Peaceman et H. H. Rachford. « The numerical solution of parabolic
and elliptic differ- ential equations ». J. Soc. Indust. Appl. Math. 3.1 (1955),
page(s): 28-41.

175
 [91] B.T Polyak. « Some methods of speeding up the convergence of iteration
methods ». USSR Computational Mathematics and Mathematical Physics
4.(5) (1964), page(s): 1-17. doi : 10.1016/0041-5553(64)90137-5.
[92] B.T. Polyak. « A new method of stochastic approximation type ». Avtomatika
i Telemekhanika, 51 (1990), page(s): 98-107.
[93] B.T. Polyak et A.B. Juditsky. « Acceleration of stochastic approximation
by averaging ». SIAM Journal on Control and Optimization 30.4 (1992),
page(s): 838-855. doi : 10.1137/0330046.
[94] H. Raguet, J. Fadili et G. Peyré. « A generalized forward-backward
splitting ». SIAM J. Imaging Sci (2013), page(s): 1199-1226. doi : 10.1137/
120872802.
[95] S. Reich. « An iterative procedure for constructing zeros of accretive sets
in Banach spaces ». Nonlinear Analysis : Theory, Methods & Applications
(1978), page(s): 85-92. doi : 10.1016/0362-546x(78)90044-5.
[96] H. Robbins et S. Monro. « A stochastic approximation model ». Ann. Math.
Stat. 22.(3) (1951), page(s): 400-407. doi : 10.1214/aoms/1177729586.
[97] R. T. Rockafellar. « Monotone operators and the proximal point algo-
rithm ». SIAM journal on control and optimization 14.(5) (1976), page(s):
877-898. doi : 10.1137/0314056.
[98] R.T Rockafellar et R.J.B. Wets. « Variational analysis fundamental
principles of mathematical sciences ». Springer 317 (1998).
[99] L.I. Rudin, E. Osher et E. Fatemi. « Nonlinear total variation based noise
removal algorithms ». Physica D : Nonlinear Phenomena 60 (1992), page(s):
259-268. doi : 10.1016/0167-2789(92)90242-F.
[100] D. Ruppert. « Efficient estimations from a slowly convergent robbins-monro
process ». Technical report, Cornell University Operations Research and In-
dustrial Engineering (1988).
[101] K. Scheinberg, D. Goldfarb et X. Bai. « Fast first-order methods for
composite convex optimization with backtracking ». Foundations of Compu-
tational Mathematics 14.(3) (2014), page(s): 389-417. doi : 10.1007/s10208-
014-9189-9.

176
[102] S. Shalev-Shwartz et al. « Stochastic convex optimization ». Conference
on Learning Theory (COLT), (2009).
[103] B. Shi et al. « Understanding the acceleration phenomenon via high-resolution
differential equations ». (2018). arXiv : 1810.08907v3.
[104] M. Sodolov. « Incremental gradient algorithms with stepsizes bounded away
from zero ». Computational Optimization and Applications 11 (1998), page(s):
23-25. doi : 10.1023/A:1018366000512.
[105] W. Su, S. Boyd et E. J. Candès. « A differential equation for modeling Neste-
rov’s accelerated gradient method : theory and insights ». Neural Information
Processing Systems 27 (2014), page(s): 2510-2518.
[106] P. Tseng. « A modified Forward-Backward splitting method for maximal
monotone mappings ». SIAM Journal Control and Optimization 38.(2) (2000),
page(s): 431-446. doi : 10.1137/S0363012998338806.
[107] Vapnik V. « Principles of risk minimization for learning theory Principles
of risk minimization for learning theory ». NIPS’91 : Proceedings of the 4th
International Conference on Neural Information Processing Systems (1991),
page(s): 831-838.
[108] S. Winkler. « Digital Video Quality : Vision Models and Metrics. » John
Wiley & Sons Ltd., West Sussex (2005).
[109] L. Xiao et T. Zhang. « A proximal stochastic gradient method with pro-
gressive variance reduction ». (2014). arXiv : 1403.4699.
178