Université de Rennes 1

CMMA

CHAÎNES DE MARKOV
&
MARTINGALES

Auteur Notes de cours

Jean-Christrophe Breton Victor Lecerf

2021–2022
2 CMMA
Table des matières

1 Conditionnement 5
1.1 Probabilité sachant un évènement . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2 Espérance conditionnelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.1 Probabilité sachant une variable aléatoire discrète . . . . . . . . . . . . . . 8
1.2.2 Lois conditionnelles discrètes . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.3 Lois conditionnelles à densité . . . . . . . . . . . . . . . . . . . . . . . . . 8

2 Espérance conditionnelle 11
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.2 Exemples et premières propriétés . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.3 Espérance conditionnelle dans L2 (Ω, F, P) . . . . . . . . . . . . . . . . . . . . . . 20
2.4 Lois conditionnelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.4.1 Définitions et exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.4.2 Existence des lois conditionnelles. . . . . . . . . . . . . . . . . . . . . . . . 24
2.4.3 Unicité des lois conditionnelles. . . . . . . . . . . . . . . . . . . . . . . . . 24
2.4.4 Cadres usuels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.4.5 Retour au conditionnement sachant “Y = y” . . . . . . . . . . . . . . . . . 26

3 Martingales et filtrations 29
3.1 Filtration et mesurabilité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2 Temps d’arrêt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.2.1 Définitions et exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.2.2 Propriétés élémentaires des temps d’arrêts . . . . . . . . . . . . . . . . . . 31
3.2.3 Propriétés des tribus FT . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.3 Martingales, sous-martingales et sur-martingales . . . . . . . . . . . . . . . . . . 33
3.4 Propriétés des martingales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.5 Martingale arrêtée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.6 Décomposition de Doob . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

4 Convergences de martingales 43
4.1 Inégalités de martingales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.1.1 Inégalité maximale de Doob . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.1.2 Inégalité maximale Lp de Doob . . . . . . . . . . . . . . . . . . . . . . . 44
4.1.3 Inégalité sur le nombres de montées . . . . . . . . . . . . . . . . . . . . . 46
4.2 Convergence presque sûre de martingale . . . . . . . . . . . . . . . . . . . . . . . 50
4.3 Convergence L1 de martingale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.3.1 Uniforme intégrabilité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.3.2 Martingale fermée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.3.3 Applications des convergences presque sûres et L1 . . . . . . . . . . . . . 55
4.4 Convergence L2 de martingales . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.5 Théorèmes d’arrêt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
TABLE DES MATIÈRES

5 Dynamique markovienne 65
5.1 Probabilités de transition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
5.2 Exemples de chaînes Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
5.3 Probabilités trajectorielles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.3.1 Propriétés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.3.2 Approche récursive d’une chaîne de Markov . . . . . . . . . . . . . . . . 73
5.4 Chaîne canonique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
5.5 Propriétés de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

6 Récurrence et transciences 81
6.1 États récurrents et transitoires . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
6.1.1 Nombre de passages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
6.1.2 Potentiel ou fonction de Green . . . . . . . . . . . . . . . . . . . . . . . . 84
6.1.3 Temps passé sur un état. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
6.2 Ensemble clos et irréductible . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
6.3 Classes de réccurence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
6.4 Absorption dans les classes de récurrence . . . . . . . . . . . . . . . . . . . . . . . 92

7 Invariance et équilibre 95
7.1 Mesures invariantes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
7.2 Invariance et récurrence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
7.2.1 Théorème . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
7.2.2 Construction de mesures invariantes . . . . . . . . . . . . . . . . . . . . . 98
7.2.3 Cas d’une chaîne irréductible. . . . . . . . . . . . . . . . . . . . . . . . . . 100
7.2.4 Cas d’une chaîne non irréductible. . . . . . . . . . . . . . . . . . . . . . . 101
7.3 Asymptotique d’une chaîne de Markov . . . . . . . . . . . . . . . . . . . . . . . 102
7.3.1 Périodicité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
7.3.2 Théorème ergodique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

4 CMMA
Chapitre 1

Conditionnement

Dans ce cours, (Ω, F, P) désignera un espace probabilisé.

1.1 Probabilité sachant un évènement

Définition 1.1.1. Soit B ∈ F tel que P(B) 6= 0. On définit la probablité de A sachant

B comme la quantité

P(A ∩ B)
P(A|B) = .
P(B)

Remarques. Dans la théorie des probabilités, il est préférable de s’intéresser à des probabilités
conditionnelles que d’essayer de déterminer P(A) ou P(A|B). Remarquons de plus que si A et
B ∈ F sont deux évènements indépendants, alors P(A|B) = P(A).

Exemple. On considère deux U1 et U2 dont l’une possède deux boules blanches (notées B)
et une boule noire (notée N ). L’autre possède une boule blanche et trois boules noires. On a
P(B|U1 ) = 2/3 et P(B|U2 ) = 1/4.
Bien évidemment, une probabilité conditionnelle porte bien son nom. Cela justifie la propo-
sition suivante.

Proposition 1.1.1. Soit B un évènement de probabilité non nulle. Alors, l’application

P( · |B) : F −→ [0, 1] est une probabilité sur F.

Démonstration. Il est clair que la fonction P( · |B) est positive. La σ-additivité de P se transmet.
Soit (An )n∈N une famille d’évènements deux à deux disjoints. On a

∞ ∞
! F

!
G P n∈N An ∩B G X P (An ∩ B) X
P An B = =P (An ∩ B) = = P(An |B).
P(B) P(B)
n∈N n∈N n=0 n=0

P(Ω∩B) P(B)
Enfin, P(Ω|B) = P(B) = P(B) = 1.
1.2. Espérance conditionnelle

Proposition 1.1.2. Soient A1 , . . . , An n évènements tels que P(A1 ∩A2 ∩· · ·∩An−1 ) 6= 0 ?

Alors,
n
!
\
P Ai = P(A1 )P(A2 |A1 )P(A3 |A1 ∩ A2 ) · · · P(An |A1 ∩ A2 ∩ · · · ∩ An−1 ).
i=1

Démonstration. Récurrence avec la définition de probabilité conditionnelle.

À partir de maintenant, J ⊂ N désignera un ensemble qui sera soit N, soit de la forme [[1, n]].

Définition 1.1.2. On appelle système complet d’évènement a toute suite dénombrable

(Bj )j∈J ∈ F J d’évènements deux à deux disjoints telle que j∈J P(Bj ) = 1. Le système
P
est dit fini ( resp. infini) si J est fini ( resp. infini).
a. Généralement appelé quasi-complet puisqu’ici la famille n’est pas une partition de Ω.

Proposition 1.1.3. Soit (Bj )j∈J un Ssystème complet d’évènements tel que P(Bj ) > 0
pour tout j ∈ J. Alors, pour tout A ⊂ j∈J Bj , on a
X
P(A) = P(A|Bj )P(Bj ).
j∈J

S
Démonstration. Posons Ω0 = j∈J Bj . On a P(A) = P(A ∩ Ω0 ). On termine avec la σ-additivité
de P.

Exemple. Reprenons le même exemple, en supposant de plus qu’on ait autant de chance de
piocher dans une urne que dans une autre. On a P(B) = 2/3 × 1/2 + 1/4 × 1/2 = 11/24.

Proposition 1.1.4 (formule de Bayes). Soit (Bj )j∈J un système complet tel que P(Bj ) >
0 pour tout i ∈ I. Alors, pour tout A ∈ F non négligeable, et j ∈ J, on a

P(A|Bj )P(Bj )
P(Bj |A) = P .
k∈J P(A|Bk )P(Bk )

1.2 Espérance conditionnelle

Définition 1.2.1. Soit B ∈ F un évènement de probabilité non nulle. On définit l’es-

pérance conditionnelle sachant B comme l’espérance de la probabilité P( · |B), notée
E[ · |B]. Ainsi, si X est une variable aléatoire positive ou intégrable, on a
Z
E[X|B] = X(ω)dP(ω|B).
Ω

6 CMMA
 Chapitre 1. CONDITIONNEMENT

Proposition 1.2.1. Soient X une variable aléatoire intégrable, et B un évènement non

négligeable. Alors,

E[X1B ]
E[X|B] = .
P(B)

Démonstration. Lorsque X est une indicatrice, le résultat est immédiat (par définition). On
peut ensuite montrer par linéarité le résultat lorsque X est une fonction étagée positive. Par
convergence monotone, on peut montrer le résultat lorsque X est positive. Enfin, on traite le cas
de X en considérant les parties positive et négative de X.

P Si X est une variable aléatoire réelle discrète de support S(X) = {xj | j ∈ J}, alors X =
j∈J xj 1X=xj . On a donc

X
E[X|B] = xj P(X = xj |B).
j∈J

Si Y est une variable aléatoire discrète de support S(Y ) = {yk | k ∈ K}, on définit
X
E[X|Y = yk ] = xj P(X = xj |Y = yk ).
j∈J

On généralise l’espérance conditionnelle “sachant Y = yk ” à “sachant Y ” de la manière suivante.

Définition 1.2.2 (espérance conditionnelle discrète). Soit X une variable aléatoire inté-
grable et Y une variable aléatoire discrète de support S(Y ) = {yk | k ∈ K}. L’espérance
conditionnelle de X sachant Y est définie par
X
E[X|Y ] = E[X|Y = yk ]1{Y =yk } .
k∈K

En d’autres termes, E[X|Y ] = E[X|Y = yk ] sur l’évènement {Y = yk }.

Remarques.
— E[X|Y ] est une variable aléatoire.
 
— Avec les définitions données, on observe que E E[X|Y ] = E[X]. En effet, par linéarité de
l’espérance et la formule des probabilités totales données précédemment,

  X X E[X1{Y =y } ]
k
E E[X|Y ] = E[X|Y = yk ]P(Y = yk ) = P(Y = yk ).
P(Y = yk )
k∈K k∈K

Ainsi,
" !#
  X
E E[X|Y ] = E X 1{Y =yk } = E[X].
k∈K
P
En effet, k∈K 1{Y =yk } = 1 presque sûrement par définition des yk comme le support de
Y.

CMMA 7
1.2. Espérance conditionnelle

1.2.1 Probabilité sachant une variable aléatoire discrète

De la même manière que dans la définition 1.2.2, on généralise la probabilité conditionnelle
“sachant Y = y” par “sachant Y ”. On va donc définir une nouvelle variable aléatoire du type
“P(A|Y )”. Soit encore une fois une variable aléatoire Y discrète de support S(Y ) = {yj |j ∈ J}.

Définition 1.2.3. On appelle probabilité conditionnelle sachant X la fonction

Ω
P( · |Y ) : F −→ [0,
X1]
A 7−→ P(A|Y = yj )1{Y =yj } .
j∈J

Ainsi, P(A|Y ) = P(A|Y = y) sur l’évènement Y = y.

Puisque la définition de l’espérance conditionnelle assure E[1A |B] = P(A|B) pour un évè-
nement B non négligeable, on peut vérifier lorsque Y est discrète que l’espérance conditionnelle
E[ · |Y ] en définition de l’espérance conditionnelle discrète, et la probabilité conditionnelle P( · |Y )
définie ci-dessus sont naturellement liées par E[1A |Y ] = P(A|Y ). Dans le cas général, par exemple
lorsque Y est une variable à densité, la définition de P( · |Y ) est plus complexe car les condition-
nements par {Y = y} sont singuliers (évènements négligeables).

1.2.2 Lois conditionnelles discrètes

Soit (X, Y ) un couple de variables aléatoires discrètes sur (Ω, F, P).

Définition 1.2.4 (loi conditionnelle). Soit y tel que P(Y = y) 6= 0. On appelle loi condi-
tionnelle de de X sachant Y = y l’application définie sur le support de X par

P(X = x, Y = y)
P(X = x|Y = y) =
P(Y = y)
pour tout x ∈ S(X).

Si P(Y = y) = 0, on peut éventuellement lui donner une valeur arbitraire (généralement

zéro).

Proposition 1.2.2. Si X et Y sont indépendantes, alors la loi conditionnelle de X sachant

Y = y (y ∈ S(Y )) est la même que celle de X, i.e que

PX ( · |Y = y) = PX .
Autrement dit, le conditionnement par une variable aléatoire indépendante est sans effet.

1.2.3 Lois conditionnelles à densité

Soit (X, Y ) un couple de densité f sur R2 . On rappelle que X et Y ont pour densité respectives
Z Z
x 7−→ fX (x) = f (x, y) dy et y 7−→ fY (y) = f (x, y) dx.
R R

Dans cette situation, on a un analogue de la formule de Bayes pour les densités avec la notion
de densité conditionnelle.

8 CMMA
 Chapitre 1. CONDITIONNEMENT

Définition 1.2.5. Soit (X, Y ) un couple de variables aléatoires réelles de densité f :

R2 −→ R. On définit la densité conditionnelle de X sachant Y = y par

f (x, y)
fX|Y =y (x) =
fY (y)
pour tout x ∈ R.

Remarque. La densité conditionnelle fX|Y =y définit la loi conditionnelle L (X|Y = y) de X

sachant Y = y. Il s’agit d’une fonction de la seule variable x (la variable y y apparaît seulement
comme un paramètre). Comme pour la proposition 1.2.2, on a la proposition suivante.

Proposition 1.2.3. Si les variables aléatoires X et Y sont indépendantes de densité fX

et fY , alors les densités conditionnelles sont les densités marginales sont telles que pour
tout x ∈ R,

fX|Y =y (x) = fX (x).

Encore une fois, le conditionnement est sans effet quand les variables sont indépendantes.

Démonstration. Lorsque X et Y sont indépendantes, f (x, y) = fX (x) = fY (y) pour tout x, y ∈

R.

CMMA 9
1.2. Espérance conditionnelle

10 CMMA
Chapitre 2

Espérance conditionnelle

Soit G une sous-tribu de F.

2.1 Introduction

Définition 2.1.1. Soit G une sous-tribu de F et X une variable aléatoire positive ou inté-
grable. L’espérance conditionnelle E[X|G] est la presque sûrement unique variable aléatoire
Y telle que
(i) Y est G-mesurable ;
(ii) Pour tout A ∈ G, E[X1A ] = E[Y 1A ].

Remarque. Cette variable aléatoire est seulement définie presque sûrement. De plus, X doit
être intégrable positive ou intégrable pour donner un sens à E[X|G].

Démonstration. — On suppose que Y et Y 0 vérifient les points (i) et (ii). Le second point
assure que E[Y 1A ] = E[Y 0 1A ] pour tout A ∈ G. Soit ε > 0, on pose Aε = {Y −Y 0 ≥ ε} ∈ G.
On a
0 = E[(Y − Y 0 )1Aε ] ≥ E[ε 1Aε ] = εP(Aε ) ≥ 0.
Ainsi, P(Aε ) = 0. On en déduit que
 
[ X
0 ≤ P Aε  ≤ P(Aε ) = 0.
ε∈Q+ ε∈Q+
| {z }
= {Y −Y 0 >0}

On en déduit que P(Y −Y 0 > 0) = 0. Par symétrie des rôles, on détermine l’inégalité stricte
inverse, et alors P(Y − Y 0 6= 0) = 0.

Proposition 2.1.1. Dans la définition précédente, le point (ii) est équivalent à demander :
(ii’) Pour toute variable aléatoire Z G-mesurable bornée, on a

E[XZ] = E[Y Z].

Démonstration. — (ii0 ) =⇒ (ii). Prendre Z = 1A où A ∈ G. En effet, Z est alors G-mesurable

bornée.
2.2. Exemples et premières propriétés

— (ii) =⇒ (ii0 ). Par les arguments standards de la théorie de la mesure. En effet, (ii) assure
(ii0 ) pour une dans le cas où Z est une indicatrice.

Notations.
— Lorsque G = σ(Y ) (i.e que G est la tribu engendrée par la variable aléatoire Y ), on note
E[X|Y ] = E[X|σ(Y )].
— On note P(A|G) = E[1A |G].

2.2 Exemples et premières propriétés

Des exemples simples mais fondamentaux sont les suivants.
(i) Si X est une variable aléatoire G-mesurable, alors E[X|G] = X. En effet, X est G-mesurable,
et E[X1A ] = E[X1A ].
(ii) Si X est une variable aléatoire constante à X = c, alors E[X|G] = c.
(iii) Si X est indépendant de G, alors E[X|G] = E[X]. En effet, Y = E[X] est constante et
G-mesurable. De plus, E[X1A ] = E[X]E[1A ] = E[E[X]1A ] = E[Y 1A ].
(iv) On prend la tribu grossière G = {∅, Ω}. Alors, E[X|G] = E[X].
(v) Si G = F, on a E[X|G] = X.
F
(vi) Soit Ω = j∈J Ωi avec P(Ωj ) > 0 pour tout j ∈ J. On considère la tribu G = σ ({Ωj | j ∈ J}).
Alors, on a pour toute variable aléatoire X positive ou intégrable,

p.s X E[X1Ωj ]
E[X|G] = 1Ωj ,
P(Ωj )
j∈J
E[X1Ωj ]
i.e que la variable aléatoire E[X|G] vaut P(Ωj ) sur Ωj . Le même énoncé reste vrai avec
un système complet.

Démonstration. Montrons cette formule dans le cas simple où Ω = BtB c . On montre uniquement
le résultat pour X = 1A . On pose
E[1A 1B ] E[1A 1B c ]
Y = 1B + 1B c .
P(B) P(B)

Y est bien G-mesurable. De plus, pour tout C ∈ G = {∅, B, B c , Ω}.

— Si C = ∅, on a 1C = 0, et on se trouve à montrer que 0 = 0.
— Si C = B, on a E[1A 1C ] = P(A ∩ B). De plus,
 
E[1A 1B ] 2
E[Y 1C ] = E ]1B + 0 .
P(B)
— Si C = B c , idem.
— Si C = Ω, 1C = 1 et donc E[11 1C ] = P(A). Ainsi,

E[1A 1B ] E[1A 1B c ]
E[Y 1C ] = E[Y ] = E[1B ] + E[1B c ] = E[1A 1B ] + E[1A 1B c ].
P(B) P(B c )
Ainsi, E[Y 1C ] = E[1A (1B + 1B c )] = P(A) car 1B + 1B c = 1. Pour le cas général, on
utilisera la méthode habituelle (fonctions étagées, linéarité, convergence monotone, ...).

12 CMMA
 Chapitre 2. ESPÉRANCE CONDITIONNELLE

Proposition 2.2.1. Si X ∈ L1 (F), alors E[X|G] ∈ L1 (G). De, plus, on a l’inégalité

 
E E[X|G] ≤ E[|X|].

Démonstration. Soit Y = E[X|G], et A = {Y > 0}. On a

E[Y 1A ] = E[X1A ] ≤ E[|X|1A ].

De plus,

E[(−Y ) 1Ac ] = −E[Y 1Ac ] = −E[X1Ac ] = E[(−X)1Ac ] ≤ E[|X|1Ac ].

En combinant les inégalités, on obtient que

E[Y 1A ] + E[(−Y )1Ac ] ≤ E[|X|1A + |X|1Ac ] = E[|X|].

Or, Y 1A = Y + , et Y 1Ac = Y + . Ainsi,

E[Y 1A + Y 1Ac ] = E[|Y |(1A + 1Ac )] = E[|Y |].

En rassemblant, tous nos calculs, on trouve l’inégalité cherchée.

Proposition 2.2.2. Soient X et Y deux variables aléatoires indépendantes, et soit f :

R2 −→ R une fonction mesurable telle que E[|f (X, Y )|] < ∞. On pose g(y) = E[f (X, y)]
(fonction mesurable). Alors,

E[f (X, Y )|Y ] = g(Y ).

Démonstration. g(Y ) est bien σ(Y )-mesurable. Montrons maintenant que pour tout A ∈ σ(Y ),

E[1A f (X, Y )] = E[1A g(Y )].

Soit A ∈ σ(Y ), que l’on écrit sous la forme A = Y −1 (B) où B ∈ B(R) (tribu borélienne sur R).
Alors,

E[1A f (X, Y )] = E[1B (Y )f (X, Y )]

ZZ
= 1B (y)f (x, y)P(dx, dy)
R2 Z 
Z
= 1B (y) f (x, y)dPX (x) dPY (y)
ZR R

= g(y)dPY (y)
B

= E[1B (Y )g(Y )] = E[1A g(Y )].

CMMA 13
2.2. Exemples et premières propriétés

Proposition 2.2.3 (linéarité). Pour tout X, Y ∈ L1 (F), et a, b ∈ R,

p.s
E[aX + bY |G] = aE[X|G] + bE[Y |G].
On remarquera que l’égalité presque sûre a lieu sur un support qui dépend de a et de b.

Démonstration. D’abord, aE[X|G] + bE[Y |G] est bien G-mesurable. Pour tout A ∈ G,

E[1A (aE[X|G] + bE[Y |G])] = aE[1A E[X|G]] + bE[1A E[Y |G]]

= aE[1A X] + bE[1A Y ]

= E[1A (aX + bY )].

Proposition 2.2.4 (monotonie). Si X et Y sont deux variables aléatoires telles que X ≤

Y , alors E[X|G] ≤ E[Y |G] presque sûrement.

Démonstration. On montre d’abord que Y ≥ 0 implique E[Y |G] ≥ 0 presque sûrement. Soit
Aε = {E[Y |G] ≤ −ε} ∈ G où ε > 0. Alors,

0 ≤ E[1Aε Y ] = E[1Aε E[Y |G]] ≤ −εP(Aε ) ≤ 0.

| {z }
<−ε

Ainsi, P(Aε ) = 0, et donc

 
[
P Aε  = 0
ε∈Q+
S
( ε∈Q+ Aε = {E[Y |G] < 0}). On en conclut que P(E[Y |G] ≥ 0) = 1. De manière générale,
en supposant que les espérances conditionnelles existent, si E[Y |G] = ∞ ou E[X|G] = −∞,
la conclusion est immédiate. Sinon, E[X|G] > −∞ et E[Y |G] < ∞. Par linéarité en écrivant
Y = (Y − X) + X, on a

E[Y |G] = E[(Y − X)|G] + E[X|G].

Or, nous avons déjà montré que E[(Y − X)|G] ≥ 0.

Proposition 2.2.5 (inégalité de Tchebychev). Pour toute variable aléatoire X, et ε >

0,

E[|X|2 |G]
P(|X| ≥ ε|G) ≤ .
ε2

Démonstration. On a ε2 1{|X|≥ε} ≤ |X|2 , à intégrer avec E[ · |G].

14 CMMA
 Chapitre 2. ESPÉRANCE CONDITIONNELLE

Proposition 2.2.6 (convergence monotone conditionnelle (Beppo-Levi)). Soit (Xn )n∈N

une suite de variables aléatoires L1 positives croissantes telle que les Xn aient pour limite
supérieure la variable aléatoire X, telle que X soit L1 . Alors, les E[Xn |G] ont pour limite
supérieure la variable aléatoire E[X|G].

Démonstration. On pose Yn = X − Xn ≥ 0. Montrons que (Zn )n := (E[Yn |G])n a pour limite

inférieure 0. Par monotonie de E[ · |G], on sait que (Zn )n décroît et est positive. Ainsi, (Zn )n
converge vers une certaine variable aléatoire Z∞ positive et G-mesurable. Pour tout A ∈ G,
puisque Yn est dominée par X (qui est L1 ), on a par convergence dominée de l’espérance que

E[1A Zn ] = E[1A Yn ] −−−→ 0.

n→∞

Or, (Zn )n décroît donc pour tout n ∈ N∗ , donc 0 ≤ Zn ≤ Z1 . On en déduit que

p.s
1A Zn −−−→ 1A Z∞ .
n→∞

Ainsi, par convergence dominée, on obtient que

E[1A Zn ] −−−→ E[1A Z∞ ].

n→∞

Or, par unicité de la limite, nécessairement, E[1A Z∞ ] = 0. On pose Aε = {Z∞ ≥ ε} ∈ G. On a

alors

0 ≤ εP(Aε ) = E[ε1Aε ] ≤ E[Z∞ 1Aε ] .

| {z }
=0

Ainsi, P(Aε ) = 0. Ainsi,

 
[
P Aε  = 0,
ε∈Q+

i.e que Z∞ ≤ 0 presque sûrement, donc Z∞ = 0 presque sûrement.

Lemme 2.2.1 (Fatou conditionnel). Soit (Xn )n≥1 une suite de variables aléatoires po-
sitives telle que lim inf n→∞ Xn soit L1 . Alors,
h i
E lim inf Xn G ≤ lim inf E[Xn |G].
n→∞ n→∞

Démonstration. (i) On suppose d’abord (Xn )n≥1 bornée. On a, en remarquant que (inf k≥n Xk )n≥1
est une suite croissante bornée, que
h i    
E lim inf Xn G = E lim inf inf Xk G
n→∞ n→∞ k≥n
 
= lim inf E inf Xk G par convergence monotone
n→∞ k≥n

≤ lim inf E [Xn |G] ,

n→∞

car inf k≥n Xk ≤ Xn .

CMMA 15
2.2. Exemples et premières propriétés

(ii) Dans le cas général, on applique le cas borné à (inf(Xn , p))n≥1 pour p ∈ N. On a ainsi
h i
E lim inf inf(Xn , p) G ≤ lim inf E [inf(Xn , p)|G] .
n→∞ n→∞ | {z }
≤ E[Xn |G]

La suite (inf(Xn , p))p≥1 est croissante, donc il en est de même pour (lim inf n→∞ inf(Xn , p))p≥1 .
Alors, (E [lim inf n→∞ inf(Xn , p)|G])p≥1 est croissante aussi. Ainsi, en faisant tendre p vers
l’infini dans l’inégalité précédente, on obtient le lemme.

Théorème 2.2.1 (convergence dominée conditionnelle). Soit (Xn )n≥1 une suite de va-
p.s
riables aléatoires avec |Xn | ≤ Z ∈ L1 (Ω, F, P) avec Xn −−−→ X. Alors,
n→∞
p.s
E[Xn |G] −−−→ E[X|G].
n→∞

Démonstration. L’idée de la démonstration est la même que le théorème de convergence dominée

classique. Par le lemme de Fatou conditionnelle,
h i
E[2Z|G] ≤ E lim inf (2Z − |Xn − X|)|G
n→∞
≤ lim inf E[2Z − |Xn − X||G]
n→∞
≤ lim inf E[2Z|G] + lim inf (−E[|Xn − X||G])
n→∞ n→∞
≤ lim inf E[2Z|G] − lim sup E[|Xn − X||G].
n→∞ n→∞

Ainsi, lim supn→∞ E[|Xn −X||G] = 0 et donc limn→∞ E[|Xn −X||G] = 0. Le résultat est immédiat
car pour toute variable aléatoire Y positive ou aléatoire, on a |E[Y |G]| ≤ E[|Y ||G]. En effet,


 E[Y |G] ≤ E[|Y || G],



 −E[Y |G] = E[−Y |G] ≤ E[|Y ||G].


Proposition 2.2.7. On a E[E[X|G]] = E[X].

Démonstration. Prendre A = Ω, alors E[E[X|G]1Ω ] = E[X1Ω ].

Proposition 2.2.8 (Cauchy-Schwarz conditionnel). On a

E[XY |G]2 ≤ E[X 2 |G]E[Y 2 |G].

Démonstration. On remarque que pour tout t ∈ R, (X + tY )2 ≥ 0. Alors, E[(X + tY )2 |G] ≥ 0

presque sûrement. En développant,

E[Y 2 |G]t2 + 2E[XY |G]t + E[X 2 |G] ≥ 0 p.s pour tout t ∈ R.

16 CMMA
 Chapitre 2. ESPÉRANCE CONDITIONNELLE

Alors,
E[Y 2 |G]t2 + 2E[XY |G]t + E[X 2 |G] ≥ 0 pour tout t ∈ Q p.s.
On a donc presque sûrement un polynôme du second degré en t, positif pour tout t ∈ Q, donc
pour tout t ∈ R par continuité. Son discriminant est donc négatif, i.e que

4E[XY |G] ≤ 4E[X 2 |G] E[Y 2 |G].

Proposition 2.2.9 (Jensen conditionnel). Soit X ∈ L1 (Ω, F, P), et ϕ : R −→ R convexe

telle que ϕ(X) ∈ L1 (Ω, F, P). Alors,

ϕ (E[X|G]) ≤ E[ϕ(X)|G] p.s.

Démonstration. L’inégalité est une égalité immédiate lorsque ϕ(x) = ax+b. Dans le cas générale,
ϕ étant convexe, elle est en dessous de ses tangeantes : pour x, y ∈ R, et dy ∈ [ϕ0g (y), ϕ0d (y)],

ϕ(x) ≥ ϕ(y) + dy (x − y).

On prend par exemple dy = 1 0 + ϕ0d (y)). On utilise cette inégalité avec y = E[X|G] et
2 (ϕg (y)
x = X. On a alors

E[ϕ(X)|G] ≥ E[ϕ(E[X|G]) + dE[X|G] (X − E[X|G])|G].

En remarquant que dE[X|G] est G-mesurable 1 , on voit que

E[ϕ(E[X|G]) + dE[X|G] (X − E[X|G])|G] = ϕ(E[X|G]) + dE[X|G] E[(X − E[X|G])|G].

Or, E[(X − E[X|G])|G] = 0.

Proposition 2.2.10. Soit p ≥ 1.

(i) On a presque sûrement,

|E[X|G]|p ≤ E[|X|p |G].

(ii) De plus,

E[|E[X|G]|p ] ≤ E[|X|p ].

Démonstration. (i) Inégalité de Jensen conditionnelle avec ϕ(x) = |x|p .

(ii) S’obtient en prenant l’espérance dans (i) avec

E[E[|X|p |G]] = E[|X p |].

1. On va voir cette propriété en 2.2.11.

CMMA 17
2.2. Exemples et premières propriétés

Proposition 2.2.11. Soit X une variable aléatoire G-mesurable, Y un variable aléatoire

L1 telle que XY est L1 . Alors,

E[XY |G] = XE[Y |G].

Démonstration. XE[Y |G] est un variable aléatoire G-mesurable. On montre en suite que pour
tout A ∈ G,

E[(XE[X|G])1A ] = E[XY 1A ].

D’abord, si X = 1B pour B ∈ G, alors

E[XE[Y |G]1A ] = E[E[Y |G]1A∩B ] = E[Y 1A∩B ]E[Y 1A 1B ] = E[(XY )1A ].

Par linéarité, on a donc le résultat lorsque X est étagée et G-mesurable. Pour continuer, on
suppose que Y ≥ 0. Si X est G-mesurable positive, on écrit X = limn→∞ Xn où (Xn )n est une
suite de variables aléatoires étagées croissante. Alors,

E[Xn E[Y |G]1A ] = E[(Xn Y )1A ].

Puisque (1A Xn Y )n tend de manière croissante vers 1A XY , alors (1A Xn E[Y |G])n tend aussi de
manière croissante vers 1A XE[Y |G]. Par convergence monotone, on en déduit que le résultat
dans cas. Si X est de signe quelconque, on écrit X = X + − X − , et on applique le cas précédent
sur X + et X − . On a donc montré le résultat pour toute variable aléatoire X G-mesurable, et Y
positive. Finalement, si Y est de signe quelconque, on écrit Y = Y + − Y − et le cas précédent
s’applique à Y + et Y − .

Proposition 2.2.12 (cascasde). Soit G1 ⊂ G2 ⊂ F des sous-tribus ordonnées. On a les

résultats suivants.
(i) E[E[X|G1 ]|G2 ] = E[X|G1 ] presque sûrement ;
(ii) E[E[X|G2 ]|G1 ] = E[X|G1 ] presque sûrement.

Démonstration. (i) E[X|G1 ] est G2 -mesurable puisque G1 -mesurable.

(ii) E[X|G1 ] est G1 -mesurable. Pour tout A ∈ G1 (⊂ G2 ), on a E[E[X|G2 ]1A ] = E[X1A ]. Alors,

E[E[X|G1 ]1A ] = E[X1A ].

Remarque. En général, il est impossible d’inverser les conditionnements, i.e écrire quelque
chose du genre “E[E[X|G1 ]|G2 ] = E[E[X|G2 ]|G1 ]”.

Contre-exemple. Prendre (Ω, F, P) = ([0, 1], B([0, 1]), λ1 ), G1 = σ([0, 1/2]) et G2 = σ([0, 1/3]),
et X = 1[1/4,1/3] .

18 CMMA
 Chapitre 2. ESPÉRANCE CONDITIONNELLE

Proposition 2.2.13. On a les propriétés suivantes.

(i) Soit X une variable aléatoire L1 positive indépendante de G. Alors, E[X|G] = E[X]
presque sûrement.
(ii) Soit G et H des sous-tribus de F, et X une variable aléatoire L1 telle que H soit
indépendante de σ(X, G) = σ(σ(X) ∪ G). Alors,

E[X|σ(G, H)] = E[X|G].

Démonstration. (i) E[X] en tant que fonction est constante, et donc G-mesurable. Si A ∈ G,
on a

E[X1A ] = E[X]E[1A ] = E[E[X]1A ]

par indépendance.
(ii) On note Y = E[X|G]. On pose

M = {A ∈ F | E[X1A ] = E[Y 1A ]}.

M est une classe monotone.

— Ω ∈ M.
— M est stable par différence : soient A et B ∈ M avec B ⊂ A. On a

E[Y 1A\B ] = E[Y (1A − 1B )] = E[Y 1A ] − E[Y 1B ] = E[X1A ] − E[X1B ] = E[X1A\B ].

— Soit (An )n une suite croissante d’évènements dans M. On a

1Sn∈N An = lim 1An .

n→∞

Alors,
h i h i h i
E Y 1Sn∈N An = E lim Y 1An = lim E [Y 1An ] = E X1Sn∈N An .
n→∞ n→∞ | {z }
E[X1An ]

On considère P = {B∩C | (B, C) ∈ G×H}. C’est un π-système (car stable par intersection),
et P ⊂ M. Pour terminer, on observe que σ(P) = σ(G, H) car alors σ(G, H) ⊂ M, i.e que
pour tout A ∈ σ(G, H),

E[X1A ] = E[Y 1A ].

Pour montrer cela, on montre P ⊂ σ(G, H), puis que G ⊂ P et H ⊂ P.

Remarque. Sans l’indépendance entre H et σ(X, G), la conclusion est fausse. Soit ε1 et ε2
indépendantes identiquement distribuées suivant une loi de Rademacher de paramètre 1/2.
Soit X = ε1 ε2 , H = σ(ε1 ) et G = σ(ε2 ). X est de même loi que ε1 et ε2 . De plus, H est
indépendant de G et de σ(X).

CMMA 19
2.3. Espérance conditionnelle dans L2 (Ω, F, P)

2.3 Espérance conditionnelle dans L2 (Ω, F, P)

Dans L2 (Ω, F, P), l’espérance s’interprète comme un produit scalaire :

E[XY ] = hX, Y i .

Théorème 2.3.1. Soit X ∈ L2 (F). Alors, E[X|G] est la projection orthogonale de X sur
L2 (G).

Démonstration. Soit Y = E[X|G]. On montre que Y est la projection orthogonale de X sur

L2 (G). On a

kX − Zk2 = E[(X − Z)2 ]

= E[(X − Y + Y − Z)2 ]
= E[(X − Y )2 ] + 2 E[(X − Y )(Y − Z)] +E[(Y − Z)2 ].
| {z }
0

En effet, E[(X − Y )(Y − Z)] = E[E[(X − Y )(Y − Z)|G]] = E[(Y − Z)E[X − Y |G]] = 0 car
Y = E[X|G]. On en déduit que l’infimum kX − Zk2 est atteint en Z = Y .

Proposition 2.3.1 (Cas gaussien). On a les résultats suivants.

(i) Soit (X, Y ) un vecteur gaussien, centré, non dégénéré (i.e de matrice de covariance
non inversible). Alors,

cov(X, Y )
E[X|Y ] = Y.
var(Y )
(ii) Dans le cas non centré,

cov(X, Y )
E[X|Y ] = (Y − E[Y ]) + E[X].
var(Y )
(iii) Soit Z = (Z1 , . . . , Zd ) un vecteur gaussien centré de matrice de covariance Pd Σ, i.e
T T d
que Z ∼ N (0, Σ). Soient a = (a1 , . . . , ad ) et b = (b1 , . . . , bd ) ∈ R X = i=1 ai Zi
et Y = di=1 bi Zi . Alors,
P

aT Σb
E[X|Y ] = Y p.s.
bT Σb

Remarque. Nous avions vu dans le cas L2 que l’espérance conditionnelle s’interprète comme
une projection orthogonale. Encore mieux, l’espérance E[X|Y ] conditionnelle dans le cas gaussien
centré non dégénéré s’interprète comme la projection orthogonale de X sur la droite portée par Y .
Dans le cas centré, un moyen simple de déterminer (sans apprendre de formule) E[X1 |X2 , . . . , Xn ]
est de voir que E[X1 |X2 , . . . , Xn ] ∈ Vect(X2 , . . . , Xn ).
E[XY ]
Démonstration. (i) Soit c = E[Y 2 ]
. Le vecteur (X − cY, Y ) est gaussien car

α(X − cY ) + βY = αX + (β − cα)Y

20 CMMA
 Chapitre 2. ESPÉRANCE CONDITIONNELLE

suit une loi normale puisque (X, Y ) est gaussien. On a

cov(X − cY, Y ) = cov(X, Y ) − c cov(Y, Y ) = 0 car c a été bien choisi.

Bilan : (X −cY, Y ) est gaussien et cov(X −cY, Y ) = 0, donc X −cY et Y sont orthogonaux.
Montrons maintenant que cY = PL2 (σ(Y )) (X). Soit Z ∈ L2 (σ(Y )). Selon le lemme de
Doob-Dynken, il existe une fonction mesurable h telle que Z = h(Y ). Ainsi,

hX − cY, Zi = E[(X − cY )Z]

= E[(X − cY )h(Y )]
= E[E[X − cY h(Y )|Y ]]
= E[E[X − cY |Y ]h(Y )]
= E[E[X − cY ]h(Y )] par indépendance de X − cY et Y .
= 0.

Ainsi, X − cY est orthogonal à L2 (σ(Y )), et cY ∈ L2 (σ(Y )). On en déduit que cY =

PL2 (σ(Y )) (X).

(ii) (X − E[X], Y − E[X]) est un vecteur gaussien centré, le premier point nous affirme donc
que

cov(X, Y )
E[X|Y ] − E[X] = E[X − E[X]|Y ] = (Y − E[Y ]).
var(Y )

(iii) Soit X = ha, Zi et Y = hb, Zi deux combinaisons linéaires des variables coordonnées de Z.
Pour α, β ∈ R, on a

d
X
αX + βY = (αai + βbi )Zi .
i=1

D’après le premier point,

cov(X, Y )
E[X|Y ] = Y p.s.
var(Y )

Or, var(Y ) = var(hb, Zi) = bT σb. Ainsi,

d
X
cov(X, Y ) = ai bj cov(Zi , Zj ) = aT Σb.
| {z }
i,j=1
Σi,j

CMMA 21
2.4. Lois conditionnelles

2.4 Lois conditionnelles

2.4.1 Définitions et exemples

Définition 2.4.1. Soit (S, A) et (T, B) deux espaces mesurables. On appelle noyau de
probabilité (ou de transition) toute application

ν : A × T −→ [0, 1]
telle que
(i) pour tout y ∈ T , A 7−→ ν(A, y) est une probabilité sur (S, A) ;
(ii) pour tout A ∈ A, y 7−→ ν(A, y) est B-mesurable.

Exemples.

— Soit µ une mesure σ-finie sur (S, A) et h : S × T −→ R+ une fonction mesurable telle que
pour tout y ∈ T ,

Z
h(x, y) dµ(x) = 1.
S

Alors, l’application ν définie pour tout (A, y) ∈ A × T par

Z
ν(A, y) = h(x, y) dµ(x)
A

définit un noyau de probabilité.

— Soit (X, Y ) un couple sur R2 de densité (x, y) 7−→ f (x, y). On reprend le même exemple
avec (S, A) = (T, B) = (R, B(R)) et µ = λ la mesure de Lebesgue, et

f (x, y)
h(x, y) = .
fY (y)

Cela permet de définir le noyau pour tout (A, y) ∈ A × T par

 Z
f (x, y)
dx lorsque fY (y) 6= 0,

ν(A, y) = f (y)
 A Y
δs0 (A) sinon, où s0 ∈ S = R est quelconque.

— Si (X, Y ) est un couple discret, on définit un noyau de probabilité en posant


P(X ∈ A|Y = y) lorsque P(Y = y) 6= 0,
ν(A, y) =
δs0 (A) sinon.

22 CMMA
 Chapitre 2. ESPÉRANCE CONDITIONNELLE

Proposition 2.4.1. On a les propriétés suivantes.

(i) Soit h une fonction mesurable positive ou bornée sur (S, A). Alors, l’application
définie pour tout y ∈ T par
Z
ϕ(y) = h(x)ν(dx, y)
S
est une fonction mesurable sur (T, B).
(ii) Si η est une probabilité sur (T, B), alors l’application définie pour tout A ∈ A par
Z
µ(A) = ν(A, y) dη(y)
T
est une probabilité sur (S, A).

(i) Si h = 1A , alors ϕ(y) = ν(A, y). C’est une fonction mesurable par P
rapport à y d’après la
définition 2.4.1. Supposons maintenant h étagée sous la forme h = ni=1 αi 1Ai . Alors par
linéarité,

n
X
ϕ(y) = αi ν(Ai , y).
i=1

On suppose cette fois h mesurable positive. Alors h est limite croissante d’une suite de
fonctions étages (hn )n pour lesquelles

Z
ϕn (y) = hn (x)ν(dx, y)
S

est mesurable. Alors, par convergence, ϕ = limn→∞ ϕn est mesurable.

(ii) On a µ(∅) = T ν(∅, y) dη(y) = 0. Soit maintenant (Ai )i ∈ AI une famille dénombrable
R

de mesurables deux à deux disjoints. Alors,

! Z !
G G
µ Ai = ν Ai , y dη(y)
i∈I T
Z X i∈I
= ν(Ai , y) dη(y)
T i∈I
XZ
= ν(Ai , y) dη(y)
i∈I T
X
= µ(Ai ).
i∈I

Enfin,

Z Z
µ(S) = ν(S, y) dη(y) = dη(y) = 1
T | {z } T
=1

car η est une probabilité.

CMMA 23
2.4. Lois conditionnelles

Définition 2.4.2. Soient X et Y des variables aléatoires à valeurs respectivement dans

(S, A) et (T, B). On appelle loi conditionnelle de X sachant Y tout noyau de proba-
bilité
ν : A × T −→ [0, 1]
tel que pour toute fonction h : S −→ R mesurable et positive, on a
Z
E[h(X)|Y ] = h(x)ν(dx, Y ) = ϕ(Y ).
S

2.4.2 Existence des lois conditionnelles.

L’existence des lois conditionnelles découle d’un théorème difficile et admis.

Théorème 2.4.1 (Jirina). Soient (S, A) et (T, B) espaces mesurables. On suppose que
S est un espace polonais (i.e métrique, complet, et séparable), et que A = B(S). Alors, il
existe une loi conditionnelle de X sachant Y comme dans la définition précédente.

2.4.3 Unicité des lois conditionnelles.

Si ν et ν 0 sont deux noyaux vérifiant la définition, alors pour tout h = 1A ,

ν(A, y) = E[1A (X)|Y ] = ν 0 (A, Y ) p.s.

On en déduit que pour tout A ∈ A, presque sûrement, ν(A, y) = ν 0 (A, y) pour PX -presque
chaque y ∈ T . Dans le cas où les mesures de probabilités sur (S, A) sont caractérisées par leurs
valeurs sur une famille dénombrables. On en déduit que

ν( · , y) = ν 0 ( · , y)

pour PY -presque chaque y ∈ T . C’est en ce sens qu’il y a unicité des lois conditionnelles.

2.4.4 Cadres usuels

On donne maintenant les différents cadres et possibilités dans lesquels on rencontre ces lois
conditionnelles.

Proposition 2.4.2 (loi conditionnelle à densité). Soit (X, Y ) un couple aléatoire de den-
sité f . La loi conditionnelle de X sachant Y est donnée par le noyau de probabilité définie
pour tout (A, y) ∈ A × T par
 Z
f (x, y)
dx lorsque fY (y) 6= 0,

ν(A, y) = A fY (y)
δs0 (A) sinon, où s0 ∈ S = R est quelconque.


f (x,y)
Remarque. On a donc fX|Y =y (x) = fY (y) lorsque fY (y) 6= 0.

Démonstration. Soit h et g des fonctions mesurables positives. On a

24 CMMA
 Chapitre 2. ESPÉRANCE CONDITIONNELLE

" Z  # Z
E h(x)ν(dx, Y ) g(Y ) = ϕ(y)g(y) dPY (y)
S S(Y )
| {z }
ϕ(Y ) Z
= ϕ(y)g(y)fY (y) d(y)
S(Y ) !
Z Z
= h(x)ν(dx, y) g(y)fY (y) dy
ZS(Y ) S(X)

= h(x)f (x, y)g(y) dxdy.

S(X)
On a donc établi que pour tout g mesurable positive,

E[ϕ(Y )g(X)] = E[h(X)g(Y )].

Dans le cas où g = 1B , on a

E[ϕ(Y )1B (X)] = E[h(X)1B (Y )].

Autrement, dit pour tout A = Y −1 (B) ∈ σ(Y ), E[ϕ(Y )1A ] = E[h(X)]1A ], d’où E[h(X)| Y ] =
ϕ(Y ).

Remarque. La valeur ν en (A, y) lorsque fY (y) = 0 n’a aucune importance, ce qui est pourquoi
on peut lui donner une quelconque valeur.

Proposition 2.4.3 (loi conditionnelle discrète). Soit (X, Y ) un couple discret. Alors, la
loi conditionnelle de X sachant Y est donnée par le noyau de probabilité définie pour tout
(A, y) ∈ A × T par

P(X ∈ A|Y = y) lorsque P(Y = y) 6= 0,
ν(A, y) =
δs0 (A) sinon, où s0 ∈ S = R est quelconque.

Démonstration. Il s’agit de montrer que

Z
E[h(X)|Y ] = ν(dx, Y ) = ϕ(Y ).
S(X)

D’abord, ϕ(Y ) est bien σ(Y )-mesurable. Ensuite, pour tout A = Y −1 (B) ∈ S(Y ) (avec B ∈
B(R)), E[h(X)1A ] = E[ϕ(Y )1A ]. On en déduit que E[h(X)1B (Y )] = E[ϕ(Y )1B (Y )]. En effet,
X
E[ϕ(Y )1B (Y )] = ϕ(y)1B (y)P(Y = y)
y∈S(Y ) !
X Z
= h(x)ν(dx, y) 1B (y)P(Y = y)
y∈S(Y )  S(X) 
X X
=  h(x)P(X = x|Y = y) 1B (y)P(Y = y)
y∈S(Y ) x∈S(X)
X
= h(x)1B (y)P(X = x, Y = y)
(x,y)∈S(X)×S(Y )

= E[h(X)1B (Y )] = E[h(X)1A ].

CMMA 25
2.4. Lois conditionnelles

2.4.5 Retour au conditionnement sachant “Y = y”

Définition 2.4.3. Lorsque la loi conditionnelle de X sachant Y existe, on pose PY -presque

chaque y ∈ T ,

P(X ∈ A|Y = y) := ν(A, y).

Lorsque le noyau existe, on a

P(X ∈ A|Y ) = ν(A, Y ) et P(X ∈ A|Y = y) = ν(A, y).

On appelle loi conditionnelle de X sachant Y = y pour PY -presque chaque y ∈ T la loi

L (X|Y = y) = ν( · , y).

Proposition 2.4.4. X et Y sont indépendants si et seulement si L (X|Y = y) existe

pour PY -presque chaque y ∈ T et ne dépend pas de y.

Démonstration. =⇒ Supposons X et Y indépendants. Alors,

Z
E[h(X)|Y ] = E[h(X)] = h(x) dPX (x).
S(X)

On a donc un noyau ν( · , y) = PX .
⇐= Réciproquement , si L (X|Y = y) = ν( · , y) ne dépend pas de y. On note donc
ν( · ) = ν( · , y). Pour tout A, B ∈ B(R), on a

P(X ∈ A, Y ∈ B) = E[1A (X)1B (Y )]

= E[E[1A (X)1B (Y )|Y ]]
= E[1B (Y )E[1A (X)|Y ]]
 Z 
= E 1B (Y ) ν(dx, Y )
A
= E[1B (Y )ν(A, Y )]
= E[1B (Y )ν(A)]
= ν(A)P(Y ∈ B) = P(X ∈ A)P(Y ∈ B).

Proposition 2.4.5 (désintégration des lois). Soient X et Y des variables aléatoires à va-
leurs respectivement dans (S, A) et (T, B), admettant un noyau ν qui définit la loi condi-
tionnelle de X sachant Y . Alors, pour tout (A, B) ∈ A × B,
Z
P(X ∈ A, Y ∈ B) = P(X ∈ A|Y = y) dPY (y).
B

Démonstration. On a

26 CMMA
 Chapitre 2. ESPÉRANCE CONDITIONNELLE

P(X ∈ A, Y ∈ B) = E[1A (X)1B (Y )]

= E[ν(A, Y )1B (Y )]
Z
= ν(A, y) dPY (y) selon le lemme de transfert.
B

Selon les arguments standards de la théorie de la mesure, on peut généraliser le résultat.

Proposition 2.4.6 (Fubini conditionnel). Soient X et Y des variables aléatoires à va-

leurs respectivement dans (S, A) et (T, B), admettant un noyau ν qui définit la loi condi-
tionnelle de X sachant Y .
(i) Pour tout fonction mesurable f : (S × T, A ⊗ B) −→ R positive, alors l’application
Z
y 7−→ f (x, y)PX (dx|Y = y)
S
est mesurable, et
Z Z Z 
f (x, y)P(X,Y ) (dx, dy) = f (x, y)PX (dx|Y = y) dPY (y).
S×T T S

(ii) Pour tout fonction f : (S×T, A⊗B) −→ R P(X,Y ) -intégrable, alors pour PY -presque
chaque y ∈ T , l’application f ( · , y) est PX (dx|Y = y)-intégrable. De plus,
Z
y 7−→ f (x, y)PX (dx|Y = y)
S
est PY -mesurable, et l’on a
Z Z Z 
f (x, y)P(X,Y ) (dx, dy) = f (x, y)PX (dx|Y = y) dPY (y).
S×T T S

R
Remarque. En notant, ϕf (y) = S f (x, y)PX (dx|Y = y), alors pour toute fonction f mesu-
rable telle que f (X, Y ) ∈ L1 (A ⊗ B), alors

E[f (X, Y )|Y ] = ϕf (Y ).

Pour B ∈ B, en appliquant le théorème de Fubini conditionnel à 1B (y)f (x, y), on a
Z Z
E[1B (Y )f (X, Y )] = 1B (y)f (x, y)PX (dx|Y = y)PY (dy)
ZT S

= 1B (y)ϕf (y)PY (dy)

T

= E[1B (Y )ϕf (Y )].

Lorsque pour une fonction h mesurable telle que h(f (X, Y )) ∈ L1 (A ⊗ B), par transfert, on
a
Z Z
E[h(f (X, Y ))|Y ] = ϕh◦f (Y ) = h(f (x, y))ν(dx, y) = ??????
S

CMMA 27
2.4. Lois conditionnelles

Par conséquent,

L (f (X, Y )|Y ) = ν( · , Y ) ◦ f ( · , Y )−1 .

En faisant de même avec h(f (X, y)), on obtient que

L (f (X, y)|Y ) = ν( · , Y ) ◦ f ( · , y)−1 .

On obtient alors le résultat suivant.

Proposition 2.4.7. On a

P(f (X, Y ) ∈ · |Y = y) = P(f (X, y) ∈ · |Y = y)

et
L (f (X, Y )|Y = y) = L (f (X, y)|Y = y).

28 CMMA
Chapitre 3

Martingales et filtrations

On considère dans ce chapitre un espace de probabilité (Ω, F, P).

3.1 Filtration et mesurabilité

Définition 3.1.1. Soit (Fn )n∈N une suite de sous-tribus de F. On dit que (Fn )n est une
filtration lorsque qu’elle est croissante pour l’inclusion.

Définition 3.1.2. Soit (Fn )n une filtration. On dit qu’une suite de variables aléatoires
(Xn )n∈N est adaptée à la filtration (Fn )n si pour tout n ∈ N, Xn est Fn -mesurable.

Remarque. Très souvent, on considéra les filtrations comme des suites indexées par N∗ (car
en général, F0 est la tribu grossière {∅, Ω}).

Exemples.
— Soit (Xn )n≥1 une suite de variables aléatoires. On pose Fn = σ(X1 , . . . , Xn ) (i.e la plus pe-
tite tribu rendant mesurable X1 , . . . , Xn ). On pose F0 = {∅, Ω}. Alors (Fn ) est clairement
une filtration, (Xn )n est adaptée à (Fn )n . La suite (Fn )n≥0 est appelée filtration canonique
de la suite (Xn )n≥1 .
— Filtration diadique. On considère ici (Ω, F, P) = ([0, 1], B([0, 1]), λ). On pose
  !
i−1 i n
Fn = σ , : 1≤i≤2 .
2n 2n
| {z }
Dn

On a Dn ⊂ σ(Dn+1 ), donc σ(Dn ) ⊂ σ(Dn+1 ). En effet, on a

     
i−1 i 2i − 2 2i − 1 2i − 1 2i
, = , ∪ , .
2n+1 2n+1 2n+1 2n+1 2n+1 2n+1
| {z } | {z }
∈Dn ∈Dn+1
| {z }
∈σ(Dn+1 )

Définition 3.1.3. Une suite de variable aléatoire (Hn )n≥1 est dite prévisible pour la
filtration (Fn )n≥0 si pour tout n ≥ 1, Hn est Fn−1 -mesurable.
3.2. Temps d’arrêt

3.2 Temps d’arrêt

Dans cette section, on fixe une filtration (Fn )n≥0 .

3.2.1 Définitions et exemples

Définition 3.2.1. Une variable aléatoire T à valeurs dans N ∪ {∞} est un (Fn )n≥0 -temps
d’arrêt si pour tout n ≥ 0,

{T ≤ n} ∈ Fn .

Exemples.
— Soit T ≡ n0 . Alors, pour tout n ≥ 0,

∅ ∈ Fn si n < n0 ,
{T ≤ n} =
Ω ∈ Fn si n ≥ n0 .

— Temps d’attente. Soit (Xn )n≥1 une suite de variables aléatoires réelles, et (Fn )n≥1 la filtra-
tion canonique associée. Soit A ∈ B(R), on pose

T (ω) = min{i ∈ N∗ | Xi (ω) ∈ A}.

Alors, on a
n
[
{T ≤ n} = {Xi ∈ A} ∈ Fn .
| {z }
i=1
∈Fi

— Dans le même contexte que l’exemple précédent, la variable aléatoire définie par Te

Te(ω) = max{i ∈ N∗ | Xi (ω) ∈ A}

n’est pas un temps d’arrêt car
\
{Te = n} = {ω ∈ Ω | Xn (ω) ∈ A, ∀i > n, Xi (ω) 6∈ A} = {Xn ∈ A} ∩ {Xi 6∈ A}.
i>n
T
Il est clair que {Xn ∈ A} est élément de Fn , mais nous ne pouvons rien dire sur i>n {Xi 6∈
A}.

Remarques. Soit T un temps d’arrêt.

— {T = n} est élément de Fn . En effet,

{T = n} = {T ≤ n} \ {T ≤ n − 1} .
| {z } | {z }
∈Fn ∈Fn−1 ⊂Fn

— {T ≥ n} est élément de Fn−1 .

{T ≥ n} = {T ≤ n − 1}c ∈ Fn1 .

— Soit Hn = 1T ≥n . Alors, pour tout n ∈ N∗ , Hn est Fn−1 -mesurable, donc la suite (Hn )n≥1
est prévisible.

30 CMMA
 Chapitre 3. MARTINGALES ET FILTRATIONS

3.2.2 Propriétés élémentaires des temps d’arrêts

Proposition 3.2.1. T est un temps d’arrêt si et seulement si {T = n} ∈ Fn pour tout

n ≥ 0.

Démonstration. On a déjà montré le sens direct. Pour le sens réciproque, on remarque simplement
que
n
[
{T ≤ n} = {T = k} ∈ Fn .
| {z }
k=0 ∈F ⊂F
k n

Proposition 3.2.2. Soient T et S des (Fn )n -temps d’arrêt. Alors, min(T, S), max(T, S)
et T + S sont des (Fn )n -temps d’arrêt.

Démonstration. On fait les observations suivantes.

{min(T, S) ≤ n} = {T ≤ n} ∪ {S ≤ n} ∈ Fn ,
| {z } | {z }
∈Fn ∈Fn
{max(T, S) ≤ n} = {T ≤ n} ∩ {S ≤ n} ∈ Fn ,
| {z } | {z }
∈Fn ∈Fn
et
n
[
{T + S = n} = {T = i} ∪ {S = n − i} ∈ Fn .
| {z } | {z }
i=0
∈Fi ⊂Fn ∈Fn−i ⊂Fn

Proposition 3.2.3. Soit T un (Fn )n -temps d’arrêt, et k ∈ N. Alors, T ∧ k = min(T, k)

est un (Fn )n -temps d’arrêt.

Démonstration. On a déjà montré qu’une variable aléatoire constante (à un entier) est un temps
d’arrêt. On conclue avec la proposition précédente.

Proposition 3.2.4. Soit (Tp )p≥1 une suite monotone de (Fn )n -temps d’arrêt. Alors, T =
limp→∞ Tp est un (Fn )n -temps d’arrêt.

Démonstration. On suppose d’abord que (Tp )p≥1 est croissante. Alors,

\
{T ≤ n} = {Tp ≤ n} ∈ Fn .
| {z }
p≥1
∈Fn
Si (Tp )p≥1 est décroissante, alors
   [
{T ≤ n} = lim Tp ≤n = {Tp ≤ n} ∈ Fn .
p→∞ | {z }
p≥1
∈Fn

CMMA 31
3.2. Temps d’arrêt

Proposition 3.2.5. Soit (Tp )p≥1 une suite quelconque de (Fn )n -temps d’arrêt. Alors,
supp≥1 Tp , inf p≥1 Tp , lim supp→∞ Tp , et lim inf p→∞ Tp , sont des (Fn )n -temps d’arrêt.

Démonstration. On fait les observations suivantes.

sup Tp = lim max Tp ,

p≥1 k→∞ p≤k

inf Tp = lim min Tp ,

p≥1 k→∞ p≤k

lim sup Tp = inf sup Tk ,

p≥1 p≥1 k≥p

lim inf Tp = sup inf Tk .

p≥1 p≥1 k≥p

Définition 3.2.2. À un temps d’arrêt T , on associe la tribue


FT = A ∈ F ∀n ≥ 0, A ∩ {T ≤ n} ∈ Fn .

Remarques.
— FT désigne l’information disponible jusqu’à la date aléatoire T .
— FT est bien une tribu.
• Ω ∈ FT car Ω ∩ {T ≤ n} = {T ≤ n} pour tout n ≥ 0.
• Soit (Ai )i∈I une famille dénombrables d’éléments de FT . Alors, pour tout n ≥ 0,
!
[ [
Ai ∩ {T ≤ n} = (Ai ∩ {T ≤ n}) ∈ Fn .
| {z }
i∈I i∈I
∈Fn

• Soit A ∈ FT . Alors, pour tout n ≥ 0,

Ac ∩ {T ≤ n} = {T ≤ n}\(A ∩ {T ≤ n}) ∈ Fn .

3.2.3 Propriétés des tribus FT

Proposition 3.2.6. Si T ≡ k, alors FT = Fk .

Démonstration. Soit A ⊂ Ω. Alors,

A ∈ FT ⇐⇒ ∀n ≥ 0, A ∩ {T ≤ n} ∈ Fn ⇐⇒ ∀n ≥ k, A ∈ Fn ⇐⇒ A ∈ Fk .
— Si n < k, {T ≤ n} = ∅, et donc A ∩ {T ≤ n} = ∅ ∈ Fn .
— Si n ≥ k, alors {T ≤ n} = Ω , et donc A ∩ {T ≤ n} = A.

32 CMMA
 Chapitre 3. MARTINGALES ET FILTRATIONS

Proposition 3.2.7. Soient T et S des temps d’arrêt avec T ≤ S. Alors, FT ⊂ FS .

Démonstration. Soit A ∈ FT . Pour tout n ≥ 0, on a

A ∩ {S ≤ n} = A ∩ {T ≤ n} ∩ {S ≤ n},
| {z } | {z }
∈Fn ∈Fn
car A∈FT car S t.a

d’où A ∈ FS .

Proposition 3.2.8. Soit T un temps d’arrêt. Alors, T est FT -mesurable.

Démonstration. On montre que pour tout p ≥ 1,

{T ≤ p} ∈ FT .
On a pour tout n ≥ 0, {T ≤ p} ∩ {T ≤ n} ∈ Fn car

{T ≤ p} ∩ {T ≤ n} = {T ≤ p ∧ n} ∈ Fp∧n ⊂ Fn .

Proposition 3.2.9. Soient T et S des temps d’arrêt. Alors,

FT ∧S = FT ∩ FS .

Exercice. Soient T et S des temps d’arrêt. Alors, les évènements {T ≤ S}, {S ≤ T }, et

{S = T } sont éléments de FT ∧S .

3.3 Martingales, sous-martingales et sur-martingales

Définition 3.3.1. Étant donné une filtration (Fn )n≥0 , on appelle (Fn )n≥0 -martingale
toute suite de variables aléatoires (Xn )n≥0 telle que
(i) pour tout n ∈ N, E[|Xn |] < ∞ ;
(ii) (Xn )n ≥0 est adaptée à (Fn )n≥0 ;
(iii) (propriété de martingale) pour tout n ≥ 0, E[Xn+1 |Fn ] = Xn .

Définition 3.3.2. On définit de la même façon une sous-martingale et une sur-martingale

en remplaçant (iii) par
(iii)’ (sous-martingale) pour tout n ≥ 0, E[Xn+1 |Fn ] ≥ Xn .
(iii)” (sur-martingale) pour tout n ≥ 0, E[Xn+1 |Fn ] ≤ Xn .

CMMA 33
3.3. Martingales, sous-martingales et sur-martingales

Exemples.
— (Martingale fermée). Soit X ∈ L1 (F) et (Fn )n≥0 une filtration. Alors la suite de variables
aléatoires définie pour tout n ∈ N par

Xn = E[X|Fn ]
est une martingale, appelée martingale de Doob.
— (Marche aléatoire). Soit (Xn )n≥0 des variables aléatoires intégrables indépendantes cen-
trées. Soit pour tout n ∈ N,

n
X
Sn = Xk et Fn = σ(X0 , . . . , Xn ).
k=0

Alors pour tout n ≥ 0, Sn est intégrable comme somme finie de variables intégrables, et
est clairement Fn -mesurable. De plus,

E[Sn+1 |Fn ] = E[Sn + Xn+1 |Fn ] = Sn + E[Xn+1 |Fn ].

Or, E[Xn+1 |Fn ] = E[Xn+1 ] = 0 par indépendance de Xn+1 et Fn (par définition), et par
le fait que les variables aléatoires ont été choisies centrées.
— (Modèle auto-regressif ). Soit (εn )n≥0 une suite de variables aléatoires i.i.d intégrables cen-
trées, et soit a ∈ R∗ et x ∈ R. On définit par récurrence Xn+1 = aXn +εn+1 et X0 = x ∈ R.
Soit alors Yn = Xn /an pour tout n ≥ 0. La suite (Yn )n définie une martingale pour la fil-
tration canonique de la suite (εn )n . En effet, de par une récurrence immédiate, les Xn sont
toutes intégrales, et que la suite est (Fn )n -adaptée. Enfin, on a

1 1
E[Yn+1 |Fn ] = E[aXn + εn+1 |Fn ] = n+1 (aXn + E[εn+1 |Fn ]).
an+1 a
Or, E[εn+1 |Fn ] = E[εn+1 ] = 0. D’où E[Yn+1 |Fn ] = Yn .
— ( Galton-Watson). Soit (Xi,j )i,j≥1 une famille de variables aléatoires i.i.d à valeurs en-
tières de loi µ, intégrables et de moyenne m. On pose Z0 = 1, et par récurrence

Zn
X
Zn+1 = Xn+1,j
j=1

avec la convention que Zn+1 = 0 lorsque Zn = 0. On appelle µ la loi de reproduction. On

montre que (Zn /mn )n≥0 est une martingale par rapport à (Fn )n≥0 où pour tout n ∈ N∗ ,

Fn = σ(Xi,j : i ≤ n, j ≥ 1) et F0 = {∅, Ω}.

Par récurrence, la suite est adaptée. En effet, Z0 = 1 est F0 -mesurable. En supposant que
Zn est Fn -mesurable, alors pour tout A ⊂ N,
 
∞
[ ∞ X
[ p 
{Zn+1 ∈ A} = {Zn+1 ∈ A, Zn = p} = Xn+1 , j ∈ A ∩ {Z = p} .
  | n{z }
p=0 p=0 j=1
| {z } ∈Fn ⊂Fn+1
∈Fn+1

Zn+1
Ainsi, Zn+1 est Fn+1 -mesurable, d’où m n+1 est Fn+1 -mesurable. Montrons maintenant la
propriété de martingale (les espérances sont bien définies car les variables sont positives,
nous montrons l’intégrabilité plus tard). Pour tout n ∈ N,

34 CMMA
 Chapitre 3. MARTINGALES ET FILTRATIONS

 
XZn Zn
X
E[Zn+1 |Fn ] = E  Xn+1,j Fn  = E[Xn+1,j |Fn ].
j=1 j=1

(La seconde égalité a été démontré en TD). Or, E[Xn+1,j |Fn ] = m car Xn+1,j est indépen-
dant de Fn . Ainsi,
 
Zn+1 Zn
E n+1
Fn = n .
m m
On en déduit que
   
Zn+1 Zn
E =E .
mn+1 mn
Par récurrence,
   
Zn Z0
E =E =x
mn m0
Zn
donc mn est intégrable.

3.4 Propriétés des martingales

Proposition 3.4.1. Soit (Xn )n≥0 une (Fn )n≥0 martingale. Alors, (Xn )n est une (Gn )n -
martingale, où pour tout n ∈ N,

Gn = σ(X0 , . . . , Xn ).

Démonstration. Par définition, les Xn sont intégrables. De plus, (Gn )n étant la filtration cano-
nique, il est évident que Xn est Gn -mesurable pour tout n ≥ 0. Enfin, par définition de (Xn )n ,
pour tout n ∈ N, X0 , . . . , Xn sont Fn -mesurables. Ainsi,

Gn = σ(X0 , . . . , Xn ) ⊂ Fn
car Gn est la plus petite tribu (pour l’inclusion) rendant X0 , . . . , Xn mesurables. Ainsi,

E[Xn+1 |Gn ] = E[E[Xn+1 |Fn ] |Gn ] = E[Xn |Gn ] = Xn .

| {z }
Xn

Proposition 3.4.2. La propriété de martingale est équivalente à la propriété “Pour tout

n > m, E[Xn |Fm ] = Xm ”.

Démonstration. Le sens réciproque est clair. Montrons le sens direct par récurrence sur n > m.
Pour n = m + 1, c’est la propriété de martingale. Soit n > m, et supposons la propriété vraie au
rang n := m + k. Alors,

E[Xm+k+1 |Fm ] = E[E[Xm+k+1 |Fm+k ]|Fm ] = E[Xm+k |Fm ] = Xm .

CMMA 35
3.4. Propriétés des martingales

Remarque. On peut démontrer des résultats similaires pour les sous-martingales et les sur-
martingales.

Proposition 3.4.3. Soit (Xn )n≥0 une suite de variables aléatoires.

— Si (Xn )n≥0 est une martingale. Alors, la suite (E[Xn ])n≥0 est constante.
— Si (Xn )n≥0 est une sous-martingale. Alors, la suite (E[Xn ])n≥0 est croissante.
— Si (Xn )n≥0 est une sur-martingale. Alors, la suite (E[Xn ])n≥0 est décroissante.

Démonstration. Soit n ∈ N. On a E[Xn+1 ] = E[E[Xn+1 |Fn ]] = E[Xn ].

Proposition 3.4.4. On a les propriétés suivantes.

(i) Soit (Xn )n une martingale, et ϕ : R −→ R une fonction convexe telle que pour tout
n ∈ N, Yn := ϕ(Xn ) est intégrable. Alors, la suite de variables aléatoires (Yn )n forme
une sous-martingale.
(ii) Soit (Xn )n une sous-martingale, et ϕ : R −→ R une fonction convexe croissante
telle que pour tout n ∈ N, Yn := ϕ(Xn ) est intégrable. Alors, la suite de variables
aléatoires (Yn )n forme aussi une sous-martingale.

Démonstration. Par hypothèse, Yn est intégrable et est Fn -mesurable car Xn l’est et ϕ est me-
surable. Pour obtenir les propriétés de martingales et de sous-martingales, on utilise l’inégalité
de Jensen.

Conséquence 1. Soit (Xn )n une martingale telles que les Xn sont toutes de classe Lp avec p
un nombre pair non nul. Alors, (|Xn |p )n≥0 est une martingale. En effet, la fonction x 7−→ |x|p
est convexe.

Conséquence 2. Si a ∈ R et (Xn )n est une sous-martingale, alors ((Xn − a)+ )n est une
sous-martingale. Pour le montrer, on observe que la fonction x 7−→ (x − a)+ est convexe.

Conséquence 3. Si a ∈ R et (Xn )n est une sur-martingale, alors (Xn ∧ a)n est une sur-
martingale. Cette fois-ci, on utilise le second point de la proposition précédente à la sous-
martingale (−Xn )n et ϕ : x 7−→ max(x, −a).

Proposition 3.4.5. Soit (Xn )n une sous-martingale (resp. une sur-martingale), et (Hn )n
une suite prévisible bornée positive. Alors la suite H · X définie par (H · X)0 = 0 et
n
X
(H · X)n = Hk (Xk − Xk−1 )
k=1

pour tout tout n ≥ 1, est une sous-martingale (resp. sur-martingale). De plus, si H est de
signe quelconque et (Xn )n est de martingale, alors H · X est de martingale.

Démonstration. (dans le cas où (Xn )n est une sous-martingale). Pour tout n ∈ N, (H · X)n est
intégrale car pour tout k ∈ [[1, n]], Hk (Xk − Xk−1 ) est intégrale car Hk est bornée. De plus,
(H · X)n est Fn -mesurable de par sa définition. Enfin,

36 CMMA
 Chapitre 3. MARTINGALES ET FILTRATIONS

E[(H · X)n+1 |Fn ] = E[(H · X)n + Hn+1 (Xn+1 − Xn )|Fn ] = (H · X)n + Hn+1 E[Xn+1 − Xn |Fn ].
Or, (Xn )n étant une sous-martingale, on sait que E[Xn+1 − Xn |Fn ] est une quantité positive.
Puisque Hn+1 est positive, on obtient l’inégalité recherchée.
Notons que la démonstration est la même dans le cas d’une sur-martingale en remarquant
que la quantité E[Xn+1 − Xn |Fn ] est négative. Dans le cas martingale et h de signe quelconque,
E[Xn+1 − Xn |Fn ] = 0.

Remarque. On peut voir cette formule comme une intégration par parties (comme la trans-
formée d’Abel est une forme d’intégration par parties dans le cas discret).

3.5 Martingale arrêtée

Proposition 3.5.1. Soit (Xn )n≥0 une suite (Fn )n -adaptée, et T un (Fn )n≥0 -temps d’ar-
rêt. La variable aléatoire 1{T <∞} XT est FT -mesurable.

Remarque. Si T < ∞ presque sûrement, on note simplement XT . On travaillera d’ailleurs

quasi-exclusivement avec de tels temps d’arrêt.
Démonstration. Soit B ∈ B(R). Pour tout n ≥ 0,

{1{T <∞} XT ∈ B} ∩ {T = n} = {Xn ∈ B} ∩ {T = n} ∈ Fn .

On en déduit que {1{T <∞} XT ∈ B} ∈ FT . Ainsi,
n
[
{1{T <∞} XT ∈ B} ∩ {T ≤ n} = {1{T <∞} XT ∈ B} ∩ {T = p} .
p=0
| {z }
∈Fp ⊂Fn

Ainsi, 1{T <∞} XT est FT -mesurable.

Notation. Étant donnés un (Fn )n temps d’arrêt T et une suite (Xn )n , on pose

X T = (XT ∧n )n≥0 .

Proposition 3.5.2. Soit T un (Fn )n -temps d’arrêt.

(i) Si (Xn )n est adaptée, alors la variable aléatoire X T = (XT ∧n )n l’est aussi.
(ii) Si (Hn )n est prévisible, alors la variable aléatoire H T = (HT ∧n )n l’est aussi.

Démonstration. (i) Soit ∈ B ∈ B(R). On a

[
XnT ∈ B XnT ∈ B, T = p ∪ XnT ∈ B, T = ∞
 
=
p∈N
[ [
 T
= Xn ∈ B, T = p ∪ XnT ∈ B, T ≥ n + 1 .
p≤n p>n

En cherchant à déterminer à quelle tribu appartient chacun de ces éléments, on montre

ainsi que X T est adaptée.

CMMA 37
3.5. Martingale arrêtée

(ii) Soit ∈ B ∈ B(R), n ≥ 0. On a

n
[
T
  T  T
Hn+1 ∈B = Hn+1 ∈ B, T = p ∪ Hn+1 ∈ B, T ≥ n .
p=0

Comme au point précédent, cette égalité permet de vérifier que H T est prévisible.

Définition 3.5.1. Si (Xn )n≥0 est une martingale, et T un temps d’arrêt, on appelle
martingale arrêtée la martingale

X T = (XT ∧n )n≥0 .
De même, on introduit des sur et sous-martingales arrêtées.

En effet, si X est une martingale, X T en est une aussi.

Remarque. Soit Hn = 1{T ≥n} (n ≥ 0). Cela définie une suite prévisible. De plus,

n
X T
X ∧n
(H · X)n = 1{T ≥k} (Xk − Xk−1 ) = (Xk − Xk−1 ) = Xn∧T − X0 .
k=1 k=1

Ainsi, on a (H · X)n + X0 . La nature de X (suite de variables aléatoires) se transmet à H · X,

et donc à X T .

Proposition 3.5.3 (théorème de temps d’arrêt faible). Soit (Xn )n un sous-martingale,

et T un temps d’arrêt borné par un entier k, i.e que 0 ≤ T ≤ k. Alors XT est intégrale, et

E[X0 ] ≤ E[XT ] ≤ E[Xk ].

Si (Xn )n est une sur-martingale,

E[Xk ] ≤ E[XT ] ≤ E[X0 ].

Enfin, si (Xn )n est une martingale,

E[X0 ] = E[XT ] = E[Xk ].

Démonstration. (i) On suppose que X est une sous-martingale. On a

k
X k
X
XT = XT 1{T =i} = Xi 1{T =i} .
i=0 i=0

Ainsi,

k
X
|XT | ≤ |Xi |1{T =i}
i=0
Xk
≤ |Xi | ∈ L1 (Ω, F, P).
i=0

On en déduit que XT est intégrale. On considère la sous-martingale X T . On a

38 CMMA
 Chapitre 3. MARTINGALES ET FILTRATIONS

E[X0 ] = E[X0T ] ≤ E[XkT ] = E[XT ].

En effet, X0 = X0∧T et XT ∧k = XT . Si i ∈ [[0, k]], alors {T = i} ∈ Fi . On a

k
X k
  X  
E XT 1{T =i} ≤ E Xk 1{T =i} .
i=0 i=0

En effet, les i sont inférieurs à k et X est une sous-martingale (on a en fait utilisé la
propriété de sous-martingale). On en déduit que

k k
" # " #
X X
E XT 1{T =i} ≤ E Xk 1{T =i} .
i=0 i=0
Pk
Or, i=0 1{T =i} = 1, donc
(ii) Si X est une sur-martingale, on applique (i) à −X, et on rétablit les inégalités en multipliant
par −1.
(iii) Si X est un martingale, on a les inégalités des points (i) et (ii), qui ensemble deviennent
un égalité.

Contre-exemple. La propriété est fausse sans l’hypothèse que T est bornée. Par exemple, si
les Xi sont indépendantes identiquement distribuées selon une loi de Rademacher de paramètre
1/2, si S0 = 0,
n
X
Sn = Xi ,
i=1

et T = inf{n ∈ N | Sn = −1}. Alors, S0 = 0, ST = −1, donc E[S0 ] = 0 et E[ST ] = −1. En effet,

{T ≥ n} ⊂ {X1 = · · · = Xn = 1}.
Ainsi,
 n
1
P(T ≥ n) ≥ P(X1 = · · · = Xn = 1) = .
2

Théorème 3.5.1 (d’arrêt faible). Soit (Xn )n≥0 une sous-martingale et T un temps d’ar-
rêt. Supposons que (Xn )n et T vérifient l’une des trois conditions suivantes.
(i) T est bornée.
(ii) X est bornée, i.e qu’il existe un K > 0 tel que pour tout n ≥ 0, |Xn | ≤ K, et T est
finie presque sûrement.
(iii) E[T ] < ∞, et il existe K > 0 tel que pour tout n ∈ N, |Xn+1 − Xn | ≤ K presque
sûrement.
Alors XT est intégrale, et E[XT ] ≥ E[X0 ]. De plus, si X est une martingale, alors sous (i),
(ii), ou (iii), XT est intégrable, et E[XT ] = E[X0 ]. Enfin, si X est une sur-martingale,
alors sous (i), (ii), (iii), ou sous la condition
(iv) Xn est positive pour tout n ∈ N et T est finie presque sûrement.
alors XT est intégrable et E[XT ] ≤ E[X0 ].

CMMA 39
3.5. Martingale arrêtée

Démonstration. Soit X une sous-martingale. On détaille selon l’hypothèse choisie.

(i) Correspond au au résultat précédent.
(ii) On considère T ∧ n qui est un temps d’arrêt borné par n auquel on applique (i). Alors,

E[X0 ] ≤ E[XT ∧n ]
et on passe à la limite lorsque n tend vers l’infini. En effet, XT ∧n −−−→ XT presque
n→∞
sûrement car T est finie presque sûrement. Ainsi,

∞ ∞ ∞
!
X X X
|XT | ≤ |XT |1{T =i} ≤ |Xi |1{T =i} ≤ K 1{T =i} = K.
i=0 i=0 i=0

Ainsi, XT est intégrale. De la même façon, |XT ∧n | ≤ K. Par convergence dominée, on en

déduit que

E[XT ∧n ] −−−→ E[XT ].

n→∞

En passant à la limite dans l’inégalité E[X0 ] ≤ E[XT ∧n ], on en déduit que E[XT ] ≥ E[X0 ].
(iii) On applique encore une fois le point (i) à T ∧ n, qui est un temps d’arrêt borné. Alors,

E[XT ∧n ] ≥ E[X0 ].
Or, XT ∧n −−−→ XT car T intégrable donc finie presque sûrement. On a
n→∞

T
X ∧n
XT ∧n − X0 = (Xk − Xk−1 )
k=1

et donc

T
X ∧n
|XT ∧n − X0 | ≤ |Xk − Xk−1 | ≤ K(T ∧ n) ≤ KT.
k=1

Bilan, XT ∧n −X0 −−−→ XT −X0 presque sûrement, et XT ∧n −X0 est dominée indépendant
n→∞
de n. Par convergence dominée,

E[XT ∧n − X0 ] −−−→ E[XT − X0 ].

n→∞

Or, E[XT ∧n − X0 ] est une quantité positive car E[XT ∧n ] ≥ E[X0 ]. On en déduit que
E[XT − X0 ] ≥ 0. De plus,

E[|XT − X0 |] = lim E[|XT ∧n − X0 |]

n→∞

mais E[|XT ∧n − X0 |] ≤ E[KT ] < ∞. Ainsi, XT − X0 est intégrable donc XT = X0 + (XT −

X0 ) est intégrable, et E[XT ] ≥ E[X0 ] car E[XT − X0 ] ≥ 0.
On suppose maintenant que X est une sur-martingale, et que la condition (iv) est vrai.
Puisque X est une sur-martingale, la suite des espérances des Xn est décroissante, mais puisque
Xn ≥ 0 pour tout n ≥ 0, on sait que E[XT ] ≤ E[X0 ]. On applique donc (i) à T ∧ n, et

E[XT ∧n ] ≤ E[X0 ]
donc XT ∧n −−−→ XT car T est finie. Ainsi,
n→∞

40 CMMA
 Chapitre 3. MARTINGALES ET FILTRATIONS

h i
E[XT ] = E lim XT ∧n
n→∞
≤ lim E[XT ∧n ] (lemme de Fatou)
n→∞
≤ E[X0 ].
De plus, XT ≥ 0, et E[X0 ] < ∞, donc XT est intégrable.

3.6 Décomposition de Doob

Théorème 3.6.1 (décomposition de Doob). Soit (Xn )n une sous-martingale. Alors,

il existe (Mn )n une martingale, et (An )n une suite prévisible croissante avec A0 = 0,
presque sûrement uniques telles que pour tout n ∈ N,

Xn = Mn + An .

Démonstration. Si la décomposition a lieu, on doit avoir

E[Xn |Fn−1 ] = E[Mn + An |Fn−1 ] = Mn−1 + An = (Xn−1 − An−1 ) + An .

Ainsi, An − An−1 = E[Xn |Fn−1 ] − Xn−1 . On en déduit que pour tout n ≥ 1,
n−1
X
An = (E[Xk+1 |Fk ] − Xk ) .
k=0

Or, Mn = Xn − An . Ainsi les suites (Mn )n et (An )n sont uniquement déterminées par (Xn )n . Il
suffit donc de s’assurer ces suites ainsi définies sont telles que (An )n est prévisible et (Mn )n est
un martingale. Soit n ∈ N∗ , alors

An − An−1 = E[Xn |Fn−1 ] − Xn−1 ≥ 0

car X est une sous-martingale. De plus, on observe grâce à l’égalité ci-dessus queAn − An−1 est
Fn−1 -mesurable. De plus,

E[Mn |Fn−1 ] = E[Xn − An |Fn−1 ] = E[Xn |Fn−1 ] − An = An − An−1 + Xn−1 − An = Mn .

On en déduit que (Mn )n est une martingale.

Remarque. Par convexité de x 7−→ x2 , si X est un martingale alors X 2 = (Xn2 )n est une
sous-martingale qui se décompose selon Doob sous la forme

Xn2 = Mn + An
avec (Mn )n une martingale et (An )n une suite prévisible croissante.

Définition 3.6.1. On appelle compensateur de la martingale X la suite prévisible crois-

sante de la décomposition de Doob de la sous-martingale X 2 . On le note hX, Xi =
(hX, Xin )n≥0 .

CMMA 41
3.6. Décomposition de Doob

Remarque. D’après le théorème de Doob, pour tout n ≥ 0,

n
X n
X
hX, Xin = (E[Xk2 |Fk−1 ] − 2
Xk−1 ) = E[(Xk − Xk−1 )2 |Fk−1 ].
k=1 k=1

En effet, le calcul montre que E[(Xk − Xk−1 )2 |F k−1 ] = E[Xk2 |Fk−1 ] − Xk−1
2 .

Exemple. Supposons que les Xi sont indépendantes identiquement distribuées, centrée, L2 et

de variance σ 2 , et Fk = σ(X1 , . . . , Xk ). Soit alors
n
X
Sn = Xi .
i=1

La suite des Sn est une martingale, et

n
X
hS, Sin = E[(Sk − Sk−1 )2 |Fk−1 ] = nσ 2 .
| {z }
k=1
Xk2

Proposition 3.6.1. Soit X une martingale L2 (i.e que les Xn sont L2 ). Alors, la suite
X est bornée dans L2 si et seulement si E[hX, Xi∞ ] < ∞.

Proposition 3.6.2. Pour une martingale X avec Xn ∈ L2 (F), et T un temps d’arrêt, on

a

hX, XiT = X T , X T p.s.

Démonstration. La décomposition de Doob de la sous-martingale X 2

X 2 = X + hX, Xi .
En arrêtant,

(X 2 )T = (M + hX, Xi)T .
Or,

(X T )2 = M T + hX, XiT .
(X T )2 est une sous-martingale, M T est une martingale en tant que martingale arrêtée, et hX, XiT
est une suite prévisible croissante. Par unicité de la décomposition de Doob, on en déduit le
résultat.

42 CMMA
Chapitre 4

Convergences de martingales

On fixe (Ω, F, (Fn )n≥0 , P) un espace de probabilité filtré.

4.1 Inégalités de martingales

4.1.1 Inégalité maximale de Doob
Soit (Xn )n une sous-martingale. On note

X n = max Xk .
0≤k≤n

Proposition 4.1.1 (Inégalité maximale de Doob). Pour toute sous-martingale (Xn )n≥0 ,
n ∈ N, et x > 0,
h i
E Xn 1{X n ≥x} E[Xn+ ]
P(X n ≥ x) ≤ ≤ .
x x

Démonstration. La seconde inégalité est immédiate. Pour la première, on pose A = {X n ≥ x}, et

S = inf{k ∈ N | Xk ≥ x}. Remarquons que S est un temps d’arrêt car c’est un temps d’attente.
Soit T = S ∧ n (temps d’arrêt borné). Selon la première version du théorème d’arrêt,

E[XT ] ≤ E[Xn ],

ce qui signifie que

E[XT 1A ] + E[XT 1Ac ] ≤ E[Xn 1A ] + E[Xn 1Ac ].

Or, sur Ac on a X n < x, donc S < n et T = n. Ainsi, E[XT 1Ac ] = E[Xn 1Ac ]. On a donc

E[XT 1A ] ≤ E[Xn 1A ].

Sur A, on X n ≥ x, T = S, et XT = XS ≥ x. On a donc

xP(A) ≤ E[XT 1A ] ≤ E[Xn 1A ].

4.1. Inégalités de martingales

Remarque. Lorsque (Xn )n est une martingale, (|Xn |)n est une sous-martingale. De ce fait, on
déduit le corollaire suivant.

Corollaire 4.1.1. Soit (Xn )n une martingale. Alors, pour n ∈ N et x > 0,

 
E[|Xn |]
P max |Xk | ≥ x ≤ .
k≤n x

Proposition 4.1.2 (inégalité maximale de Kolmogorov).PSoit (Xn )n≥1 une suite de

variables aléatoires centrées de variance finie. On note Sn = nk=1 Xk , et on suppose que
(Fn )n est la filtration associée à (Xn )n≥1 . Alors, pour tout n ∈ N∗ et x > 0,
 
var[Sn ]
P max |Sk | ≥ x ≤ .
k≤n x2

Démonstration. (Sn )n est une martingale, donc (Sn2 )N est une sous-martingale pour laquelle
l’inégalité maximale de Doob conclut que

E[(Sn2 )+ ] = E[Sn2 ] = var(Sn ).

Remarque. L’inégalité de Bienaymé-Tchebychev affirme que

var(Sk )
P(|Sk | ≥ x) ≤ ≤ var(Sn )
x2
dès lors que k ≤ n et x > 0. Ainsi,

var(Sn )
max P(|Sk | > x) ≤
k≤n x2
et donc que

n
!  
[
max P(|Sk | ≥ x) ≤ P {|Sk | ≥ x} = P max |Sk | ≥ x .
k≤n k≤n
k=1

4.1.2 Inégalité maximale Lp de Doob

Proposition 4.1.3. Soit (Xn )n une sous-martingale avec X0 ≥ 0 et soit p > 1. Alors,
 p
p p
E[X n ] ≤ E[(Xn+ )p ].
p−1

Remarque. Puisque X0 ≥ 0, par définition de X, on a X n ≥ 0 donc X n est une variable

p
aléatoire positive pour tout n ∈ N, et E[X n ] est bien définie.

Démonstration. Soit M > 0. On a

44 CMMA
 Chapitre 4. CONVERGENCES DE MARTINGALES

"Z #
X n ∧M
E[(X n ∧ M )p ] = E pxp−1 dx
0
Z M 
= E 1{X n ≥x} pxp−1 dx
0
Z M
= E[1{X n ≥x} ]pxp−1 dx.
0

Or, par l’inégalité maximale de Doob,

E[Xn+ 1{X n ≥x} ]

E[1{X n ≥x} ] = P(X n ≥ x) ≤ .
x

Ainsi,

Z M
p
E[(X n ∧ M ) ] ≤ pxp−2
0
 Z M 
= E Xn+ p 1{X n ≥x} x p−2
dx
0
" #
Z M ∧X n
= E Xn+ p xp−2 dx
0
   
p
= E Xn+ (M ∧ X n )p−1 .
p−1
p
Par l’inégalité de Hölder avec l’indice α = p−1 (on note β son conjugué), on a

p 1 α 1
E[(X n ∧ M )p ] ≤ E[(Xn+ )β ] β E[(M ∧ X n )(p−1) ] α .
p−1

Or, le conjugué de α est p. On a donc

p 1
1− 1
E[X n ∧ M )p ] ≤ E[(Xn+ )p ] p E[(M ∧ X n )p ] p .
p−1

En simplifiant, on a.

 p
p p
E[X n ∧ M ) ] ≤ E[(Xn+ )p ].
p−1

On en conclut en faisant tendre M vers l’infini par convergence monotone puisque

 p 
p
lim E[(M ∧ X n )p ] = E lim M ∧ X n = E[X n ].
n→∞ M →∞

CMMA 45
4.1. Inégalités de martingales

Corollaire 4.1.2. On a les propriétés suivantes.

(i) Pour une martingale (Xn )n≥0 Lp et pour tout n ∈ N,
   p
p p
E max |Xk | ≤ E[|Xn |p ].
k≤n p−1
(ii) Pour une martingale (Xn )n≥0 avec X0 = 0, si l’on décompose selon Doob par
Xn2 = Mn + hX, Xin , alors pour tout n ∈ N,
 
2
E max |Xk | ≤ 4E [hX, Xin ] ,
k≤n

et  
2
E sup |Xk | ≤ 4E [hX, Xi∞ ] .
n≥0

On a E[Xn2 ] = E[hX, Xin ]. De plus,

Démonstration.
   
2 2
E sup |Xk | = E lim max |Xk |
n≥0 n→∞ k≤n
 
2
= lim E max |Xk |
n→∞ k≤n

≤ lim 4E[hX, Xin ]

n→∞
h i
= 4E lim hX, Xin .
n→∞

(On remarquera qu’on a utilisé le théorème de convergence monotone pour faire sortir puis
rentrer la limite en n).

4.1.3 Inégalité sur le nombres de montées

Soit (Xn )n≥0 une sous-martingale, et a < b des réels. On pose N0 = 0,

N1 = min{n ≥ 1 | Xn ≤ a} et N2 = min{n ≥ N1 | Xn ≥ b}.

Par récurrence, on pose

N2k−1 = min{n ≥ N2k−2 | Xn ≤ a} et N2k = min{n ≥ N2k−1 | Xn ≥ b}.

Lemme 4.1.1. On a les propriétés suivantes sur la suite (Nk )k≥0 .

(i) La suite (Nk )k≥0 est strictement croissante.
(ii) Pour tout k ∈ N, Nk ≥ k.
(iii) Pour tout k ∈ N, la variable aléatoire Nk est un temps d’arrêt.

Démonstration. Les deux premiers points sont immédiats. Montrons (iii). On a

n
[
{N1 ≤ n} = {Xk ≤ a} ∈ Fn .
| {z }
k=1 ∈F ⊂F
k n

46 CMMA
 Chapitre 4. CONVERGENCES DE MARTINGALES

Ainsi, N1 est un temps d’arrêt. On a

  
n−1
[ n−1
[ n−1
[
{N2 = n} = ({N1 = j} ∩ {N2 = n}) = {N1 = j} ∩  {Xk < b} ∩ {Xn ≥ b} .
j=1 j=1 k=j+1

De cet égalité, on en déduit que N2 est un temps d’arrêt. Supposons maintenant que Np est un
temps d’arrêt pour tout p ≤ 2k. Montrons que N2k+1 et N2k+2 en sont aussi. On a

n−1
[ n−1
[ n−1
\
{N2k+1 = n} = {N2k = j} ∩ {N2k+1 = n} = {N = j} ∩ {Xl > a} ∩ {Xn ≤ a} .
| 2k{z } | {z } | {z }
j=1 j=1 l=j+1 ∈F ⊂F
∈Fj ⊂Fn−1 l n ∈Fn

On en déduit que {N2k+1 = n} ∈ Fn et donc que N2k+1 est un temps d’arrêt. ? ? ?

Comme XN2k−1 ≤ a et XN2k ≥ b, entre les dates N2k−1 et N2k , la suite (Xn )n≥0 monte
exactement une fois d’au dessous de a vers au dessus de b. En notant Un ([a, b]) le nombre de
montées d’au dessous de a à au dessus de b pour les Xk avec 1 ≤ k ≤ n, on a

Un ([a, b]) = max{k ∈ N | N2k ≤ n}.

Théorème 4.1.1. Pour une sous-martingale X, on a pour tout a < b des réels,

E[(Xn − a)+ ]
E[Un ([a, b])] ≤ .
b−a

Remarque. On observe que Un ([a, b]) ≤ b n2 c, et que l’inégalité

N2k ≤ n < n2k+2

signifie qu’il y a exactement k montées. Cela signifie que
n
b2c
X
Un ([a, b]) = k1{N2k≤n<N .
2k+2 }
k=1
On pose pour tout j ≥ 1,

1 s’il existe k ∈ N tel que N2k < j ≤ N2k+1 ,
Yj =
0 sinon, i.e qu’il existe k ∈ N tel que N2k+1 < j ≤ N2k+2 .
Ainsi, Yj vaut 1 si et seulement si Xj est dans une phase de descente, et Yj vaut 0 si et seulement
si Xj est dans une phase de montée. On a donc

Y1 = 1{N1 >1} = 1 et Y2 = 1{N1 ≥2} = 1{X1 >a} .

De manière générale, on pour tout j ≥ 2,

Yj = 1{Yj−1 =0,Xj−1 ≥b}∪{Yj−1 =1,Xj−1 >a} .

L’évènement {Yj−1 = 0, Xj−1 ≥ b} s’interprète comme “à la date j −1, on monte et la montée
s’achève”, et l’évènement {Yj−1 = 1, Xj−1 > a} s’interprète comme “à la date j − 1, on descend
et la descente n’est pas achevée”.

CMMA 47
4.1. Inégalités de martingales

Lemme 4.1.2. Soit X1 , . . . , Xn des variables aléatoires, et (Yj )j≥1 . Alors,

n
X
Yj (Xk − Xk−1 ) ≤ (a − b)Un ([a, b]) + (Xn − a)+ .
k=2

Démonstration. Tout k ≥ 1, Yk est Fk−1 -mesurable. On a donc

E[Yk (Xk − Xk−1 )] = E[E[Yk (Xk − Xk−1 )]| Fk−1 ]

= E[Yk E[Xk − Xk−1 |Fk−1 ]]

= E[Yk (E[Xk |Fk−1 ] − Xk−1 )] ≥ 0

car tous les termes dans l’espérance de la dernière ligne sont positifs. Le lemme précédent
nous assure donc que

E[(a − b)Un ([a, b]) + (Xn − a)+ ] ≥ 0,

donc

(b − a)E[Un ([a, b])] ≤ E[(Xn − a)+ ].

Démonstration (lemme 4.1.2). On distingue deux cas.

(i) Si Un ([a, b]) = 0, i.e qu’il n’y a pas de montée à la date n (et donc N2 > n), alors on
distingue alors trois cas.
— Si N1 = 1, alors, Yk = 0 pour tout k ∈ [[2, n]]. Alors,
n
X
Yk (Xk − Xk−1 ) = 0 ≤ 0 + (Xn − a)+ .
k=2

— Si 1 < N1 ≤ n, Yk = 1 pour k ∈ [[1, N1 ]] et Yk = 0 si k ∈ [[N1 + 1, n]]. Alors,

n
X N1
X
Yk (Xk − Xk−1 ) = Yk (Xk − Xk−1 ) = XN1 − X1 .
k=2 k=2

Or, XN1 ≤ a, et X1 > a car N1 > 1. On a donc

n
X
Yk (Xk − Xk−1 ) ≤ Un ([a, b]) +(Xn − a)+ .
| {z }
k=2 0

— Si N1 > n, alors Yk = 1 pour tout k ∈ [[1, n]] donc

n
X n
X
Yk (Xk − Xk−1 ) = (Xk − Xk−1 ) = Xn − X1 ≤ (Xn − a)+
k=2 k=2

car X1 > A (puisque N1 > 1).

48 CMMA
 Chapitre 4. CONVERGENCES DE MARTINGALES

(ii) Si Un ([a, b]) > 0, i.e qu’il y a au moins un montée, on distingue encore deux cas. Si N1 > 1,
alors Yk = 1 pour tout k ∈ [[1, N1 ]], Yk = 0 pour tout k ∈ [[N1 + 1, N2 ]], et par définition de
N1 , on a XN1 ≤ a et X1 > a puisque N1 > 1. Alors,

n
X N1
X n
X
Yk (Xk − Xk−1 ) = (Xk − Xk−1 ) + Yk (Xk − Xk−1 ).
k=2
|k=2 {z } k=N2 +1
XN1 −X1 <0

On en déduit que
n
X n
X
Yk (Xk − Xk−1 ) ≤ Yk (Xk − Xk−1 ).
k=2 k=N2 +1

De même si N1 = 1, on a toujours cette inégalité précise. On distingue 1 quelques cas.

— Si la date n n’est pas dans une phase de montée, alors

n
X
Yk (Xk − Xk−1 ) = (XN3 − XN2 ) +0
| {z }
k=N2 +1
≤a−b

+ (XN5 − XN4 ) +0
| {z }
≤a−b

+ ···
Xn
+ (XN2t+1 − XN2t ) + Yk (Xk − Xk−1 ) .
| {z } k=N +1
2k+1
≤a−b | {z }
0

où t = max{k ∈ N | N2k ≤ n} = Un ([a, b]). AInsi,

n
X
Yk (Xk − Xk−1 ) ≤ (a − b)Un ([a, b]).
k=N2 +1

— Si la date n est dans une phase de descente, alors

n
X
Yk (Xk − Xk−1 ) = (XN3 − XN2 ) +0
| {z }
k=N2 +1
≤a−b

+ (XN5 − XN4 ) +0
| {z }
≤a−b

+ ···
Xn
+ (XN2t0 +1 − XN2t0 ) + Yk (Xk − Xk−1 ) .
} k=N
2k+1 +1
| {z
≤a−b | {z }
Xn −XN
2t0

De plus, Xn − XN2t0 = a − XN2t0 + Xn − a ≤ a − b + (Xn − a)+ . On a donc

1. Encore...

CMMA 49
4.2. Convergence presque sûre de martingale

n
X
Yk (Xk − Xk−1 ) ≤ t0 (a − b) + (Xn − a)+ ≤ (a − b)Un ([a, b]) + (Xn − a)+ .
k=N2 +1

Grâce à l’inégalité montrée un peu plus haut dans la démonstration, on achève la

démonstration.

4.2 Convergence presque sûre de martingale

Théorème 4.2.1 (condition nécessaire presque sûre de sous-martingale). Soit (Xn )n une
sous-martingale telle que

sup E[Xn+ ] < ∞.

n∈N

Alors, (Xn )n converge presque sûrement vers une variable aléatoire X intégrable.

Démonstration. Soient a < b des réels. Puisque Un ([a, b]) est croissante en n, on note sa limite

U∞ ([a, b]) = lim Un ([a, b]) = sup Un ([a, b])

n→∞ n∈N

(on peut remplacer la limite par un supremum puisque la suite est croissante). Par le théorème
de convergence monotone et selon l’inégalité sur le nombre de montée, on a

1
E[U∞ [(a, b)]] = sup E[Un ([a, b])] ≤ sup E[(Xn − a)+ ].
n∈N | {z } b − a n≥0
1
≤ b−a E[(Xn −a)+ ]

De plus, (Xn − a)+ ≤ Xn+ + |a|. On a donc

(supn∈N E[Xn+ ]) + |a|

E[U∞ ([a, b])] ≤ .
b−a
On en déduit que E[U∞ ([a, b])] < ∞ donc que U∞ ([a, b]) < ∞ presque sûrement. Pour tout a < b
des réels, on a
 
lim inf Xn < a < b < lim sup Xn ⊂ {U∞ ([a, b]) = ∞}.
n→∞ n→∞

En effet, dans le premier évènement, {lim inf n→∞ Xn < a} signifie que les Xn passent une infinité
de fois sous a, et {b < lim supn→∞ Xn } signifie que les Xn passent une infinité de fois au dessus
de b. On en déduit que l’évènement
 
lim inf Xn < a < b < lim sup Xn
n→∞ n→∞

est négligeable. Ainsi,

[    
lim inf Xn < a < b < lim sup Xn = lim inf Xn < lim sup Xn
n→∞ n→∞ n→∞ n→∞
a,b∈Q
a<b

est aussi un évènement négligeable. On en déduit que

50 CMMA
 Chapitre 4. CONVERGENCES DE MARTINGALES

lim inf Xn = lim sup Xn

n→∞ n→∞

presque sûrement et donc que (Xn )n converge presque sûrement. Notons X sa limite. On a
h i
E[Xn+ ] = E lim Xn+
n→∞

≤ lim inf E[Xn+ ]

n→∞

≤ sup E[Xn+ ] < ∞.

n→∞

Or, E[Xn− ] = E[Xn+ ] − E[Xn ], et E[Xn ] ≥ E[X1 ] car (Xn )n est une sous-martingale. On a donc
E[Xn− ] ≤ E[Xn+ ] − E[X1 ]. Ainsi,
h i
E[Xn− ] = E lim Xn−
n→∞

≤ lim inf E[Xn− ]

n→∞

≤ lim inf E[Xn+ ] − E[X1 ]

n→∞

≤ sup E[Xn+ ] − E[X1 ] < ∞.

n∈N

On a en déduit que X est intégrable car E[|X|] = E[X + ] + E[X − ].

Corollaire 4.2.1. Soit (Xn )n une martingale (ou une sous-martingale, ou une sur-
martingale) telle que

sup E[|Xn |] < ∞

n≥0

alors (Xn )n converge presque sûrement vers une variable aléatoire X intégrable.

Démonstration. Pour tout n ≥ 0, Xn+ ≤ |Xn |. L’hypothèse assure celle du théorème précédent
lorsque X est une sous-martingale. Le corollaire est donc vrai pour une martingale (qui est aussi
une sous-martingale). Pour une sur-martingale, on considère (−Xn )n qui est une sous-martingale
vérifiant les hypothèses du théorème précédent, et alors (−Xn )n converge presque sûrement vers
une variable aléatoire intégrable.

Corollaire 4.2.2. Soit (Xn )n une sur-martingale positive, i.e que Xn ≥ 0 pour tout
n ∈ N, alors (Xn )n converge presque sûrement vers une variable aléatoire X telle que

E[X] ≤ E[X0 ].

Démonstration. On applique le résultat de convergence à la sous-martingale (Yn = −Xn )n en

remarquant que Yn+ = 0 pour tout n ∈ N. Il est donc évident que supn≥0 E[Yn+ ] < ∞. Ainsi
(Yn )n et donc (Xn )n convergent presque sûrement. Soit

X = lim Xn .
n→∞

CMMA 51
4.3. Convergence L1 de martingale

Alors,
h i
E[X] = E lim inf Xn
n→∞

≤ lim inf E[Xn ]

n→∞

≤ E[X0 ]

(la dernière inégalité étant justifiée par le fait que (Xn )n est une sur-martingale).

Attention. Les martingales que l’on manipule converge presque sûrement vers des variables
aléatoires, mais en aucun cas nous n’avons affirmé que la convergence pouvait être L1 . Par
exemple, si (Xn )n est i.i.d de loi 21 δ−1 + 12 δ1 . Alors, si S0 = 1 et Sn+1 = Sn + Xn+1 pour tout
n ≥ 0, et

T = inf{n ≥ 1 | Sn = 0}.
La variable T est un temps d’arrêt. En posant Yn = SnT = Sn∧T pour tout n ≥ 0, alors Y reste
une martingale car c’est une martingale arrêtée positive. Ainsi, Y converge presque sûrement
vers une certaine variable Y∞ . On a Y∞ = 0, car Yn est à valeurs dans N et si Yn = k, alors Yn+1
vaut soit k + 1, soit k − 1. Pour converger, il faut que Y atteigne 0. Sur {T = ∞}, il n’y a pas
convergence. En effet,

|Yn+1 − Yn | = |Sn+1 − Sn | = 1,
donc la suite (Yn )n n’est pas de Cauchy, donc pas convergente en L1 . Ainsi, T < ∞ presque
sûrement, et il n’y a pas de convergence L1 car si elle avait lieu, on aurait

1 = E[Y0 ] = E[Yn ] −−−→ E[Y∞ ] = 0.

n→∞

4.3 Convergence L1 de martingale

4.3.1 Uniforme intégrabilité

Définition 4.3.1. Une suite de variables aléatoires intégrables (Xi )i∈I est dite unifor-
mément intégrable si

lim sup E[|Xi |1{|Xi |>C} ] = 0.

C→∞ i∈I

Exemples.
— Si card I = 1 ou card I < ∞, c’est toujours le cas.
— S’il existe Z ∈ L1 (Ω, F, P) une variable aléatoire telle que pour tout i ∈ I, |Xi | ≤ Z, alors
(Xi )i∈I est uniformément intégrable.
— S’il existe δ > 0 tel que

sup E[|Xi |1+δ ] < ∞,

i∈I

alors (Xi )i∈I est uniformément intégrable.

52 CMMA
 Chapitre 4. CONVERGENCES DE MARTINGALES

Proposition 4.3.1 (critère d’uniforme intégrabilité). Une famille (Xi )i∈I est uniformé-
ment intégrable si et seulement si
(i) pour tout ε > 0, il existe η > 0 tel que pour tout A ∈ F,

(P(A) < η) =⇒ (∀i ∈ I, E[|Xi |1A ] < ε),

(ii) et

sup E[|Xi |] < ∞.

i∈I

Théorème 4.3.1 (Vitali). Soit (Xn )n une suite variables aléatoires intégrables. Alors,
les assertions suivantes sont équivalentes.
(i) (Xn )n converge en L1 .
(ii) (Xn )n converge en probabilité et (Xn )n est uniformément intégrable.

Exemple. Soit X ∈ L1 (Ω, F, P), alors la famille

(E[X|G]) G⊂F
sous-tribu

forme une famille uniformément intégrable.

4.3.2 Martingale fermée

Définition 4.3.2. Une (Fn )n -martingale (Xn )n est dite fermée s’il existe une variable
aléatoire L1 (Ω, F, P) telle que pour tout n ∈ N,

Xn = E[X|Fn ].

En d’autres termes, (Xn )n est une martingale de Doob.

Théorème 4.3.2. Soit (Xn )n une sous-martingale, (ou martingale, ou sur-martingale).

Sont équivalents.
(i) (Xn )n est uniformément intégrable.
(ii) (Xn )n converge presque sûrement et en norme L1 .
En particulier si (Xn )n est une martingale, alors ces conditions sont équivalentes à
(iii) (Xn )n est fermée.

Démonstration. — (i) ⇐⇒ (ii). ? ? ? ? ?

— (iii) =⇒ (i). La famille (E[X|Fn ] = Xn )n≥1 est uniformément intégrable quand X est
intégrable.
— (ii) =⇒ (iii). On suppose que (Xn )n est converge presque sûrement et dans L1 . Soit X
sa limite, alors pour tout k ≥ n, puisque E[Xk |Fn ] (propriété de martingale), on sait que
pour tout A ∈ Fn , E[Xk 1A ] = E[Xn 1A ]. Or,

CMMA 53
4.3. Convergence L1 de martingale

|E[Xk 1A ] − E[X1A ]| ≤ E[|Xk − X|] −−−→ 0,

k→∞

donc

E[Xn 1A ] = E[Xk 1A ] −−−→ E[X1A ].

n→∞

Ainsi, Xn = E[X|Fn ]. La martingale est donc bien fermée.

Notation. On note
!
_ [
Fn = σ Fn .
n∈N n∈N

On notera généralement cette tribu F∞ . Dans la suite, W lorsque l’on affirmera que Fn croît en
l’infini vers F∞ si (Fn )n est une filtration avec F∞ = n∈N Fn .

Théorème 4.3.3. Soit (Fn )n une filtration croissant vers F∞ et X ∈ L1 (Ω, F, P). Alors,

p.s,L1
E[X|Fn ] −−−−→ E[X|F∞ ].
n→∞

Démonstration. On pose Xn = E[X|Fn ]. Alors, la suite (Xn )n est une martingale fermée donc
est uniformément intégrable et converge presque sûrement et en L1 . Notons Z sa limite. Alors,
Z est une variable aléatoire F∞ mesurable car Z est limite de (Xn )n et Xn est F∞ -mesurable
pour tout n ≥ 0. Soit A ∈ Fn , on a.

E[X1A ] = E[Xn 1A ] −−−→ E[Z1A ]

n→∞

L1 S
puisque Xn −−−→ Z. Ainsi, pour tout A ∈ n≥0 Fn , E[X1A ] = E[Z1A ]. Soit
n→∞

M = {A ∈ F | E[X1A ] = E[Z1A ].
S S
Nous avons monté que n∈N Fn ⊂ M, et n∈N Fn est un π-système (il est stable par intersection
car (Fn )n est une filtration). De plus, M est une classe monotone. En effet,
— Ω ∈ M car E[X] = E[Z] ;
— M est stable par différence symétrique : pour tout A, B ∈ M avec A ⊂ B, on a

E[X1B\A ] = E[X(1B − 1A )]

= E[X1B ] − E[X1A ]

= E[Z1B ] − E[Z1A ]

= E[Z(1B − 1A )] = E[Z1B\A ];

— enfin, si (An )n ∈ MN est une suite croissante, alors

54 CMMA
 Chapitre 4. CONVERGENCES DE MARTINGALES

h i h  i
E X1Sn∈N An = E X lim 1An
n→∞

= lim E[X1An ]
n→∞

= lim E[Z1An ]
n→∞
h i
= E Z1Sn∈N An ,
S
donc n∈N An est élément de M.
Par le théorème de classe monotone, on a
!
_ [
F∞ = Fn = σ Fn = M,
n∈N n∈N

donc pour tout A ∈ F∞ , E[X1A ] = E[Z1A ], ce qui signifie exactement que Z = E[X|F∞ ].

4.3.3 Applications des convergences presque sûres et L1

Proposition 4.3.2 (Loi du 0-1 de Lévy). Soit (Fn )n une filtration croissant vers F∞ .
Alors, pour tout A ∈ F∞ ,

p.s,L1
E[1A |Fn ] −−−−→ 1A .
n→∞

Démonstration. C’est une conséquence de l’énoncé précédent avec X = 1A où A ∈ F∞ .

On a aussi la loi du 0-1 de Kolmogorov qui concerne la tribu asymptotique d’une suite de
variables aléatoires indépendantes (Xn )n . On appelle tribus du futur les tribus

F (n) = σ(Xn , Xn+1 , . . .).

De là, on définit la tribu asymptotique par
\
F (∞) = F (n) .
n≥0

Proposition 4.3.3 (loi du 0-1 de Kolmogorov). Pour des variables aléatoires (Xn )n
indépendantes, la tribu asymptotique est triviale. Ainsi, pour tout A ∈ F (∞) , P(A) ∈ {0, 1}.

Démonstration. Soit pour tout n ≥ 0, Fn = σ(X0 , . . . , Xn ), F (n) = σ(Xn , Xn+1 , . . . , ) et

_ \
F∞ = Fn et F (∞) = F (n) .
n∈N n≥0

Pour tout n ≥ 1 et A ∈ F (∞) . Alors, (X0 , . . . , Xn ) est indépendant de 1A car F (∞) ⊂ F (n+1) .
Ainsi,

E[1A ] = E[1A |Fn ] −−−→ E[1A |F∞ ].

n→∞

CMMA 55
4.3. Convergence L1 de martingale

On en déduit que

P(A) = E[1A ] = E[1A |F∞ ] = 1A

F (∞) ⊂ F∞ . En effet,
 
[
F (n) = σ(Xn , Xn+1 , . . . , ) = σ  Fnp 
p≥n

où Fnp = σ(Xn , . . . , Xp ). On a Fnp ⊂ Fp ⊂ F∞ donc p≥n ⊂ F∞ , ce qui implique que F (n) ⊂ F∞ .

S

Ainsi, F (∞) ⊂ F∞ . Bilan : on a P(A) ∈ 1A (Ω) ⊂ {0, 1}.

Théorème 4.3.4 (convergence dominée pour l’espérance conditionnelle). Soit (Fn )n une
filtration croissant vers F∞ . Soit (Xn )n une suite de variables aléatoires convergeant
presque sûrement vers une variable aléatoire X, et telle qu’il existe Z une variable aléatoire
intégrable aléatoire telle que |Xn | ≤ Z pour tout n ∈ N. Alors,
p.s
E[Xn |Fn ] −−−→ E[X|F∞ ].
n→∞

Démonstration. Soit N ∈ N et WN = supn,m≥N |Xn −Xm |. Alors, WN ≤ 2Z et 2Z est intégrable.

De plus, par le critère de Cauchy,
p.s
WN −−−−→ 0.
N →∞

Pour tout n, m ≥ N , on a |Xn − Xm | ≤ WN . Ainsi, lorsque m tend vers l’infini, on a |Xn − X| ≤

WN . Puisque L1 est intégrable, on en déduit que
p.s
E[|Xn − X||Fn ] ≤ E[WN |Fn ] −−−→ E[WN | F∞ ].
n→∞

On a donc

lim sup E[|Xn − X||Fn ] ≤ E[WN |F∞ ].

n→∞

Or, (WN )N tend vers 0 presque sûrement de manière décroissante, donc (E[WN |F∞ ])N ≥1 décroit
vers une limite U ≥ 0. Puisque WN est intégrable, et (WN )N tend vers 0, on a (E[WN ])N tend de
manière décroissante vers 0. De plus, pour tout N ∈ N, E[WN |F∞ ] ≤ 2E[Z|F∞ ] ∈ L1 (Ω, F, P).
Par convergence dominée,

E[WN ] = E[E[WN |F∞ ]] −−−−→ E[U ].

N →∞

Ainsi, E[U ] = 0 donc U = 0 par positivité. En faisant tendre N vers l’infini dans l’inégalité

lim sup E[|Xn − X||Fn ] ≤ E[WN |F∞ ],

n→∞
on a

0 ≤ lim inf E[|Xn − X||Fn ] ≤ E[WN |F∞ ] ≤ lim sup E[|Xn − X||Fn ] ≤ E[WN |F∞ ] = 0.
n→∞ n→∞

p.s
On en déduit que E[|Xn − X||Fn ] −−−→ 0, donc
n→∞

56 CMMA
 Chapitre 4. CONVERGENCES DE MARTINGALES

|E[Xn |Fn ] − E[X|F ] | ≤ E[|Xn − X||Fn ] −−−→ 0.

| {z n} n→∞
−n→∞
−−→E[X|F∞ ]

Ainsi,
p.s
E[Xn |Fn ] −−−→ E[X|F∞ ].
n→∞

Théorème 4.3.5. Soit (Xn )n une sur-martingale (ou sous-martingale, ou martingale)

telle qu’il existe p > 1 tel que

sup E[|Xn |p ] < ∞.

n≥1

Alors,

p.s,L1
Xn −−−−→ X.
n→∞

Dans le cas où (Xn )n est une martingale, alors la convergence est aussi Lp vers X avec
E[X] = E[Xn ] pour tout n ≥ 0.

Démonstration. On a supn≥1 E[|Xn |p ] < ∞ donc (Xn )n est uniformément intégrable puisque
p > 1, on a donc la convergence L1 . De plus, l’inégalité de Hölder donne que supn≥1 E[|Xn |] <
∞ donc la convergence est presque sûre. Dans le cas où (Xn )n est une martingale, l’inégalité
maximales des moment de Doob pour p > 1 donne
" #  p  p
p p p p
E sup |Xk | ≤ E[|Xn | ] ≤ sup E[|Xn |p ] < ∞.
k≤n p−1 p−1 n≥1

Or, (supk≤n |Xk |p )n tend de manière croissante vers supk≥0 |Xk |p lorsque n tend vers l’infini.
Ainsi, on
" #  p
p p
E sup |Xk | ≤ sup E[|Xn |p ] < ∞.
k≤0 p−1 n≥1

Ainsi, Z est intégrable. Pour tout k ∈ N, on a donc

|Xk − X|p ≤ 2p Z p .

Or 2p Z p est intégrable, et (Xk )k converge presque sûrement donc (|Xk − X|)k converge presque
sûrement vers 0. Par convergence dominée,

E[|Xk − X|p ] −−−→ 0

k→∞

donc (Xk )k converge vers X en Lp . Puisque (Xn )n converge en L1 , on a E[X] = E[Xn ] car (Xn )n
est une martingale.

CMMA 57
4.4. Convergence L2 de martingales

4.4 Convergence L2 de martingales

On rappelle qu’une martingale (Xn )n de carré intégrable admet un compensateur (hX, Xin )n
(c’est une suite prévisible croissante nulle pour n = 0) tel que pour tout n ∈ N,

Xn2 = Mn + hX, Xin

où (Mn )n est une martingale. On a vu aussi que (Xn )n est bornée dans L2 (Ω, F, P) si et seulement
si E[hX, Xi∞ ] < ∞.

Théorème 4.4.1. Soit (Xn )n une martingale L2 . On a les propriétés suivantes.

(i) Pour tout ω ∈ Ω tel que hX, Xi∞ (ω) < ∞, alors

lim Xn (ω)
n→∞
existe.
(ii) Si (Xn )n a des accroissements bornés, i.e qu’il existe K > 0 tel que pour tout n ≥ 0,

|Xn+1 − Xn | ≤ K,
alors pour presque chaque ω ∈ Ω tel que limn→∞ Xn (ω) existe dans R, on a

hX, Xi∞ (ω) < ∞.

Démonstration. Sans perte de généralité, on suppose X0 = 0.

(i) On note (An )n = hX, Xi (suite prévisible), et soit Sk = inf{p ∈ N | Ap+1 > k} pour k ∈ N.
Alors, (Sk )k est un temps d’arrêt. En effet, pour tout k, n ∈ N,
[
{Sk ≤ n} = {Ap+1 > k} ∈ Fn .
p≤n

De plus, la suite ASk = (ASk ∧n )n est aussi une suite prévisible. En effet, c’est le compen-
sateur de X Sk car

X Sk , X Sk = hX, XiSk = ASk .

Selon la décomposition de Doob, (X Sk )2 − ASk est une martingale. Pour tout n ∈ N, on a

E[(XnSk )2 − ASnk ] = E[(X0Sk )2 − AS0 k ] = 0,

donc

E[(XnSk )2 ] = E[ASk ∧n ] ≤ k
car ASk ∧n ≤ ASk ≤ k par définition de Sk . Ainsi, (XnSk )n est bornée L2 donc ans L1 , d’où
la convergence presque sûre de X Sk . Puisque
[
{A∞ < ∞} = {Sk = ∞},
k≥0

pour tout ω ∈ Ω tel que hX, Xi∞ (ω) = A∞ (ω) < ∞, il existe k(ω) tel que Sk(ω) (ω) = ∞.
Pour un tel ω, on a Sk(ω) (ω) = ∞ et donc X Sk (ω) = X converge.

58 CMMA
 Chapitre 4. CONVERGENCES DE MARTINGALES

(ii) On montre que la convergence de (Xn (ω))n dans R implique que hX, Xi∞ (ω) < ∞. Par
l’absurde, on suppose que que
 
P A∞ = ∞, sup |Xn | < ∞ > 0.
n≥0

Soit

Tc = inf{n ∈ N | |Xn | ≥ c}.

Alors,
 
{Tc = ∞} = sup |Xn | ≤ c .
n∈N

On a
 
P(A∞ = ∞, Tc = ∞) = P A∞ = ∞, sup |Xn | < c > 0.
n≥0

Or,
   
lim P A∞ = ∞, sup |Xn | < c = P A∞ = ∞, sup |Xn | < c .
c→∞ n≥0 n≥0

Ainsi, pour c suffisamment grand, on a

P (A∞ = ∞, Tc = ∞) > 0.
Par le théorème d’arrêt avec Tc ∧ n ≤ n appliqué à X 2 − A, on a

E[XT2c ∧n − ATc ∧n ] = E[X02 − A0 ] = 0.

Or, on a XTc ∧n = X(Tc ∧n)−1 + XTc ∧n − X(Tc ∧n)−1 , |X(Tc ∧n)−1 | ≤ c et |XTc ∧n − X(Tc ∧n)−1 | ≤
K. Ainsi, E[ATc ∧n ] = E[XT2c ∧n ] ≤ (K + c)2 . Par convergence monotone, on trouve que
E[ATc ] ≤ (K + c)2 . Mais E[ATc ] = E[A∞ 1B ] = ∞.

Conséquence. Si X est une martingale L2 et hX, Xi∞ < ∞ alors (Xn )n converge presque
sûrement.

Proposition 4.4.1. Soit (Xn )n une martingale L2 avec X0 = 0. Sur l’évènement,

{hX, Xi∞ = ∞}, on a

Xn p.s
−−−→ 0.
hX, Xin n→∞

Pn
Remarque. Soient (Yn )n des variables i.i.d de carrés intégrables, et soit Sn = i=1 Yi . Alors,

Sn p.s
−−−→ E[Y1 ]
n n→∞
(c’est la loi des grands nombres forte L2 ). En effet, en notant Zi = Yi − E[Yi ] et Sn0 = ni=1 Zi ,
P
alors (Sn )n est une martingale (S00 = 0) avec hS 0 , S 0 in = n var(Z). D’après la loi des grands
nombres pour les martingales, on a

CMMA 59
4.4. Convergence L2 de martingales

S0, S0 −−−→ ∞ p.s.

n n→∞

Ainsi,

Sn0 Sn − nE[Y1 ]
0 0
=
hS , S in n var(Y1 )

donc
Sn p.s
−−−→ E[Y1 ].
n n→∞

Démonstration (de la loi des grands nombres martingale). Soit Hn = (1 + hX, Xin )−1 pour tout
n ∈ N. La suite (Hn )n est prévisible. On s’intéresse à W = H · X avec W0 = 0. On a pour tout
n≥1

n
X Xk − Xk−1
Wn = (H · X)n = .
1 + hX, Xik
k=1

W est une martingale L2 de compensateur tel que

hW, W in − hW, W in−1 = E[(Wn − Wn−1 )2 |Fn−1 ]

(par définition du compensateur). On a donc

(Xn − Xn−1 )2
 
hW, W in − hW, W in−1 = E |Fn−1
(1 + hX, Xin )2
1
E (Xn − Xn−1 )2 |Fn−1 .
 
= 2
(1 + hX, Xin ) | {z }
= hX,Xin −hX,Xin−1

1
En effet, (1+hX,Xin )2
est Fn−1 -mesurable. On en déduit que

1 1
hW, W in − hW, W in−1 = − .
(1 + hX, Xin−1 )2 (1 + hX, Xin )2

Ainsi, en sommant,

n
X 1 1
hW, W in = (hW, W ik − hW, W ik−1 ) ≤ − ≤1
1 + hX, Xi0 1 + hX, Xin
k=1

(la dernière égalité est due au fait que hX, Xin ≥ 0). On a donc hW, W i∞ ≤ 1 donc la martingale
W converge presque sûrement. Ainsi, la suite

n
!
X Xk − Xk−1
1 + hX, Xik
k=1

converge presque sûrement. La conclusion va suivre du lemme suivant.

60 CMMA
 Chapitre 4. CONVERGENCES DE MARTINGALES

Lemme 4.4.1 (Kronecker). Soit E un espace vectoriel normé, (xn )n≥1 une suite d’élé-
ments de E, et (an )n≥1 une suite de réels positifs croissante vers l’infini. On suppose que
la suite
n
!
X xk
ak
k=1 n≥1

converge. Alors,
n
1 X
xk −−−→ 0.
an n→∞
k=1

Pk xi
Démonstration. Soit Sk = i=1 ai . On a

n
X n
X
xk = ak (Sk − Sk−1 )
k=1 k=1

xk
car ak = Sk − Sk−1 . On a donc

n
X n−1
X
xk = (ak − ak+1 )Sk + an Sn .
k=1 k=1

On a donc

n n−1
1 X 1 X
ak = (ak − ak−1 )Sk + Sn .
an an
k=1 k=1

On conclut par Cesàro.

Démonstration (fin de la démonstration précédente). On applique le lemme à xk = Xk − Xk−1

et ak = 1 + hX, Xik . On en déduit que

n
1 X p.s
(Xk − Xk1 ) = hXn , 1 + hX, Xin i −−−→ 0.
1 + hX, Xin n→∞
k=1

Alors, hX, Xin + 1 ∼n→∞ hX, Xin .

CMMA 61
4.5. Théorèmes d’arrêt

Théorème 4.4.2 (théorème central limite pour les martingales). Soit X une martingale
L2 . On suppose qu’il existe (an )n une suite de réels positifs croissante vers l’infini telle
que
(i) Il existe l ∈ R∗ tel que

hX, Xin P
−−−→ l ;
an n→∞

(ii) (hypothèse de Lindeberg) pour tout ε > 0,

n
1 X
E[|∆Xk |2 1{|∆Xk |>ε√an } |Fk−1 ] −−−→ 0
P
an n→∞
k=1

(où ∆Xk = Xk − Xk−1 ).

Alors, on a

Xn L
−−−→ N (0, 1).
hX, Xin n→∞

Démonstration. Résultat admis.

Remarque. Ce théorème central limite couvre le théorème central limite habituel pour les va-
riables [Link]ées de carrés intégrables. En effet, si (Yn )n est une famille de telles variables, alors
(Sn )n = ( nk=1 Yi )n (avec S0 = 0) est une martingale L2 , et hS, Sin = n var(X1 ). L’hypothèse
(i) est vérifiée avec an = n. De plus, on a

E[Yk2 1{|Yk |>ε√n} |Fk−1 ] = E[Yk2 1{|Yk |>ε√n} ]

et Yk2 1{|Yk |>ε√n} tend vers 0 lorsque n tend vers l’infini par convergence dominée. Cela assure
donc le point (ii) et donc

Sn L
p −−−→ N(0, 1).
n var(X1 ) n→∞

4.5 Théorèmes d’arrêt

Il s’agît de voir que pour une sous-martingale, lorsqu’on a T ≤ S deux temps d’arrêts, alors
E[XT ] ≤ E[XS ]. Bien qu’elle semble évidente, elle n’est pas toujours vraie.
P En effet, si (Xk )k est
une martingale de variables aléatoires à valeurs {−1, 1}, et si Mn = nk=1 Xk . Soit T le temps
d’arrêt constant à 0 et S = inf{n ∈ N | Mn = −1}. Alors, S est un temps d’arrêt et (Mn )n est
une martingale. Pourtant, E[MS ] = −1 et E[MT ] = 0.

Proposition 4.5.1. Soit (Xn )n une sous-martingale uniformément intégrable et T un

temps d’arrêt. Alors, X T = (XT ∧n )n est une sous-martingale uniformément intégrable.

Démonstration. Soit ϕ : R → R+ , x 7→ x+ (fonction convexe croissante). Ainsi, Xn+ = ϕ(Xn )

définit une nouvelle sous-martingale et (XT+∧n )n est encore une sous-martingale telle que

E[XT+∧n ] ≤ E[Xn+ ] ≤ E[|Xn |].

62 CMMA
 Chapitre 4. CONVERGENCES DE MARTINGALES

Par le théorème d’arrêt avec le temps d’arrêt avec le temps d’arrêt borné T ∧ n ≤ n, on a

sup E[XT+∧n ] ≤ sup E[|Xn |] < ∞

n≥0 n≥0

(car (Xn )n est uniformément intégrable). AInsi, (XT ∧n )n converge presque sûrement vers XT et
XT est L1 . Soit c > 0,

E[|XT ∧n |1{XT ∧n >c} ] = E[|XT |1{XT >c} 1{T ≤n} ] + E[|Xn |1{Xn >c} 1{T >n} ] .
| {z } | {z }
≤ E[|XT |1{XT >c} ] ≤ E[|Xn |1{Xn >c} ]

Or, E[|XT |1{XT >c} ] tend vers 0 lorsque c tend vers l’infini par convergence dominée puisque
XT est intégrable, et E[|Xn |1{Xn >c} ] tend aussi vers 0 lorsque c tend vers l’infini car X est
uniformément intégrable. Ainsi,

sup E[|XT ∧n |1{XT ∧n >c} ] ≤ sup(E[|XT |1{XT >c} ] + E[|Xn |1{Xn >c} ]) −−−→ 0.
n≥1 n≥1 c→∞

Ainsi, (XT ∧n )n est uniformément intégrable.

Proposition 4.5.2. Soit (Xn )n une sous-martingale uniformément intégrable. Alors, pour
tout temps d’arrêt T ,

E[X0 ] ≤ E[XT ] ≤ E[X∞ ]

Si (Xn )n est une sur-martingale uniformément intégrable, alors

E[X0 ] ≥ E[XT ] ≥ E[X∞ ].

Ce sont des égalités lorsque X est une martingale uniformément intégrable.

Démonstration. On montre le résultat dans le cas d’une sous-martingale. Soit (Xn )n une sous-
martingale uniformément intégrable convergente presque sûrement et L1 vers X∞ une variable
aléatoire intégrable. Soit n ∈ N. Alors, 0 ≤ T ∧ n ≤ n est un temps d’arrêt borné. On a par le
théorème d’arrêt dans le cas borné,

E[X0 ] ≤ E[XT ∧n ] ≤ E[Xn ].

Or, E[Xn ] −−−→ E[X∞ ] car (Xn )n converge en L1 . On a vu précédemment que (XT ∧n )n est une
n→∞
sous-martingale uniformément intégrable donc elle converge presque sûrement et L1 vers XT .
Ainsi, E[XT ∧n ] −−−→ E[XT ]. On conclut en faisant tendre n vers l’infini dans l’inégalité
n→∞

E[X0 ] ≤ E[XT ∧n ] ≤ E[Xn ].

Théorème 4.5.1 (théorème d’arrêt de Doob). Soit (Xn )n une sous-martingale unifor-
mément intégrable, et S et T des temps d’arrêts tels que S ≤ T . Alors, E[XS ] ≤ E[XT ] et
XS ≤ E[XT |FS ] presque sûrement.

CMMA 63
4.5. Théorèmes d’arrêt

Remarques.
— On a vu que la propriété de sous-martingale s’écrit aussi “Xk ≤ E[Xn |Fk ]” pour tout k ≤ n.
Le résultat XS ≤ E[XT |FS ] presque sûrement n’est donc pas surprenant.
— Pour une sur-martingale (Xn )n uniformément intégrable, on a dès lors que S ≤ T que

E[XS ] ≥ E[XT ] et XS ≥ E[XT |FS ] p.s.

— Pour une martingale (Xn )n uniformément intégrable, on a dès lors que S ≤ T que

E[XS ] = E[XT ] et XS = E[XT |FS ] p.s.

Démonstration. On montre le résultat pour une sous-martingale uniformément intégrable. Soit

Yn = XT ∧n . Alors, (Yn )n est une sous-martingale uniformément intégrable à laquelle on applique
le résultat précédent avec le temps d’arrêt S. Ainsi,

E[Y0 ] ≤ E[YS ] ≤ E[Y∞ ].

On a YS = XS∧T = XS et Y∞ = X∞∧T = XT . Alors, E[XS ] ≤ E[XT ]. Montrons maintenant la
seconde inégalité. Soit A ∈ FS et U = S1A + T 1Ac . U est un temps d’arrêt car pour tout n ≥ 0,

{U ≤ n} = ({S ≤ n} ∩ |{z} Ac ) ∈ Fn .
A ) ∪ ({T ≤ n} ∩ |{z}
∈FS ∈FS ⊂FT
| {z } | {z }
∈Fn ∈Fn

Puisque U ≤ T , la première inégalité (déjà montrée) assure que E[XU ] ≤ E[XT ]. On a donc que

E[XS 1A + XT 1Ac ] ≤ E[XT 1A + XT 1Ac ].

En simplifiant, il vient que E[XS 1A ] ≤ E[XT 1A ] = E[Z1A ] où Z = E[XT |FS ]. En choisissant
A = {Z − XS < 0} ∈ FS (car Z et XS sont FS -mesurables). Puisque E[XS 1A ] ≤ E[XT 1A ], on
en déduit que

E[(Z − XS )1A ] ≥ 0
mais par le choix de A, on a Z − XS ≤ 0 donc E[(Z − XS )1A ] = 0. Ainsi, (Z − XS )1A = 0
presque sûrement car cette variable aléatoire est de signe constant et d’espérance nulle. Or sur
A, (Z − XS )1A < 0. Ainsi, A est négligeable donc on en déduit que XS ≤ Z presque sûrement.

64 CMMA
Chapitre 5

Dynamique markovienne

On considère un système qui peut être dans un nombre au plus dénombrable d’états. L’en-
semble de ces états sera noté E, appelé espace d’états. E sera possiblement de la forme [[1, n]],
E = N, ou E ⊂ N. On suppose le système observé à des dates n ∈ N, et l’état du système à la
date n est décrit par Xn . Pour étudier le système aléatoire (Xn )n≥0 , il est nécessaire des faire
des hypothèses sur les variables Xn . La propriété la plus simple est l’indépendance des variables
aléatoires Xn , mais une telle hypothèse s’avère trop restrictive pour être intéressante. En fait, de
nombreux systèmes évoluent au cours du temps de la façon suivante : le système à un date n + 1
ne dépend que des valeurs précédentes Xk pour k ≤ n, qu’à travers n. Une telle façon d’évoluer
dans le temps est appelée propriété de Markov et un tel système est dit markovien.

Exemple. Prenons l’exemple simple d’un système markovien (ou chaîne de Markov) prenant
deux valeurs (généralement 0 et 1). On considère une machine qui soit fonctionne (état 1), soit
est en panne. Chaque jour (n), l’état de la machine est décrit par Xn ∈ {0, 1}. On suppose que
— si la machine est panne le jour n, elle est réparée et fonctionne le jour n + 1 avec probabilité
p;
— si la machine fonctionne le jour n, il y a une probabilité q qu’elle tombe en panne et ne
fonctionne pas le jour n + 1.

p
1−p 0 1 1−q
q

Objectif. Décrire l’évolution de la machine, i.e déterminer pour tout n ∈ N,

µn (0) := P(Xn = 0) et µn (1) = P(Xn = 1).

On suppose donné µ0 = (µ0 (0), µ0 (1)) qui décrit l’état initial de la machine. Remarquons qu’on
a

P(Xn+1 = 0) = P(Xn+1 = 0|Xn = 0)P(Xn = 0) + P(Xn+1 = 0|Xn = 1)P(Xn = 1).

On en déduit que

P(Xn+1 = 0) = (1 − p)P(Xn = 0) + qP(Xn = 1) = (1 − p − q)P(Xn = 0) + q.

On a donc une récurrence arithmético-géométrique puisque p + q 6= 0,
  
q q
P(Xn = 0) = (1 − p − q)n = + (1 − p − q)n P(X0 = 0) −
p+q p+q
et  
p
n n p
P(Xn = 1) = (1 − p − q) = + (1 − p − q) P(X0 = 1) − .
p+q p+q
q p
— Si |1 − (p + q)| < 1, alors P(Xn = 0) −−−→ p+q et P(Xn = 1) −−−→ p+q . On en déduit que
  n→∞ n→∞
q p
µn converge en loi p+q , p+q (on parle de loi asymptotique, ou d’équilibre).

— Si p = q = 1, il est facile de voir que P(X2n=0 ) = µ0 (0) et P(X2n+1 = 0) = µ1 (0) = µ0 (1).

Alors, µ2n = µ0 , et µ2n+1 = (µ0 (1), µ0 (0)) = 1 − µ0 . La loi de la machine alterne et il n’y
a pas de convergence en loi du système.
— Si p = q = 1, alors P(Xn = 0) = µ0 (0) et P(Xn = 1) = µ0 (1). Ainsi, µn = µ0 . Le système
n’évolue pas au cours du temps.

q p
Remarque. Si µ0 (0) = p+q et µ0 (1) = p+q , alors selon nos calculs dans le cas général, on a

q p
P(Xn = 0) = et P(Xn = 1) = .
p+q p+q
 
q p
Ainsi, µn = µ0 pour tout n ≥ 0. On dit que la loi asymptotique p+q , p+q est une loi invariante
(ou stationnaire).

Approche matricielle. Soit µn = (P(Xn = 0), P(Xn = 1)) pour tout n ∈ N. Soit la matrice
 
1−p p
P = .
q 1−q

Le vecteur colonne (1, 1)T est vecteur propre de P associé à la valeur propre 1. Ainsi, on trouve
que Sp(P ) = {1, 1 − p − q}. Soit alors
 
1−p 0
D= .
0 1−p−q

1 est valeur propre dont un vecteur propre est (1, 1)T et 1 − p − q admet comme vecteur propre
(p, −q)T . Ainsi, un matrice de passage pour diagonaliser P est
 
1 p
A= ,
1 −q

et
 
−1 1 q p
A = .
p+q 1 −1

On en déduit que pour tout n ∈ N,

(1 − p − q)n p −q
     
n 1 0 −1 1 q p
P =A A = + .
0 (1 − p − q)n p+q q p p+q −q p

66 CMMA
 Chapitre 5. DYNAMIQUE MARKOVIENNE

5.1 Probabilités de transition

On rappelle la définition de noyau de probabilité (ou noyau de transition).

Définition 5.1.1. Soient (E, E) et (F, F) deux espaces mesurables. On appelle noyau de
probabilité de E dans F toute application

ν : E × F −→ [0, 1]
telle que
(i) pour tout x ∈ E, ν(x, · ) est un probabilité sur (F, F) ;
(ii) pour tout A ∈ F, ν( · , A) est une fonction mesurable sur (E, E).

Dans la suite on prendre E = F un ensemble dénombrable.

Définition 5.1.2. On appelle matrice stochastique sur E toute famille (P (x, y))x,y∈E des
réels positives tels que
(i) pour tout x, y ∈ E, 0 ≤ P (x, y) ≤ 1 ;
(ii) pour tout x ∈ E,
X
P (x, y) = 1.
y∈E

Bien évidemment, une matrice stochastique peut être vue comme une. . . matrice (infinie).

Remarque. Dans notre cas, la donnée d’une matrice stochastique est équivalente à la donnée
d’une noyau de probabilité. Étant donné une matrice stochastique P , la formule
X
ν(x, A) = P (x, y)
y∈A

définit un noyau de probabilité ν. Réciproquement, étant donné un noyau ν, la formule

P (x, y) = ν(x, {y})

définit une matrice stochastique. Dans les deux cas, on a toujours P (x, · ) = ν(x, · ) pour tout
x ∈ E.

Notations.
— Si f : E −→ R est une fonction, on note P f la fonction

P f : E −→ RX
x 7−→ P (x, y)f (y).
y∈E

On interprète les fonctions f comme des vecteurs colonnes. Alors, on peut écrire

(P f ) = (P )(f ).
On peut aussi écrire pour tout x ∈ E, P f (x) = EP (x, · ) [f ].

CMMA 67
5.2. Exemples de chaînes Markov

— Soit µ une mesure sur E. On interprète µ comme un vecteur ligne et on définit µP par
X
µP (y) = µ(x)P (x, y)
x∈E

pour tout y ∈ E. On a alors

(µP ) = (µ)(P ).

— Étant donnés deux matrices stochastiques P et Q, on définit la matrice P Q pour tout

x, y ∈ E par
X
(P Q)(x, y) = P (x, z)Q(z, y).
z∈E

P Q est une matrice stochastique. Dans la suite, on notera (Pn )n la suite définie par
P0 (x, y) = 1x=y , P1 = P , et Pn = P n pour tout n ∈ N∗ .

Définition 5.1.3. On appelle chaîne de Markov sur un espace d’états E dénombrable

toute suite de variables aléatoires (Xn )n à valeurs dans E telle que

L (Xn+1 |X0 , . . . , Xn ) = L (Xn+1 |Xn ),

i.e que pour tout x0 , . . . , xn ∈ E tel que

P(X0 = x0 , X1 = x1 , . . . , Xn = xn ) 6= 0,
alors pour tout y ∈ E,

P(Xn+1 = y|X0 , . . . , Xn = xn ) = P(Xn+1 = y|Xn = xn ).

De plus, la chaîne de Markov est dite homogène s’il existe une matrice P telle que

L (Xn+1 |X0 , . . . , Xn ) = P (Xn , · ),

ou de manière équivalente si pour tout x0 , . . . , xn ∈ E tel que

P(X0 = x0 , X1 = x1 , . . . , Xn = xn ) 6= 0,
alors pour tout y ∈ E,

P(Xn+1 = y|X0 = x0 , . . . , Xn = xn ) = P (xn , y).

5.2 Exemples de chaînes Markov

Exemple 1. Soit (Xn )n une suite de variables aléatoires de loi µ à valeurs dans E. Alors, (Xn )n
est une chaîne de Markov avec P (x, y) = µ(y). En effet,

P(Xn+1 = y|X0 = x0 , . . . , Xn = xn ) = P(Xn+1 = y) = µ(y)

et

P(Xn+1 = y|Xn = xn ) = µ(y).

68 CMMA
 Chapitre 5. DYNAMIQUE MARKOVIENNE

Exemple 2. Marche aléatoire sur Zd . Soit (Xn )n une suite de variables aléatoires i.i.d de loi
n
µ sur Zd . On considère (Sn = i=0 Xi )n appelée marche aléatoire de position initiale X0 de pas
P
de loi µ. Ici, (Sn )n est une chaîne de Markov de matrice stochastique P (x, y) = µ(y − x). On
a en fait

P(Sn=1 = y|S0 = x0 , . . . , Sn = xn ) = P(xn + Xn+1 = y|S0 = x0 , . . . , Sn = xn )

= P(Xn+1 = y − xn )

= µ(y − xn ).

De même,

P(Sn+1 = y|Sn = xn ) = µ(y − xn ).

Cas particulier (d = 1). On a E = Z. Soit p = µ(1), q = µ(−1), et µ(0) = r. On a p+q+r = 1,

et la marche (Sn )n est une chaîne de Markov sur Z avec


 p si y = x + 1 ;
q si y = x − 1 ;

P (x, y) =

 r si y = x + 1 ;
0 si y = x.


???

5.3 Probabilités trajectorielles

5.3.1 Propriétés
On considère une chaîne de Markov (Xn )n sur un espace d’état E dénombrable et de matrice
stochastique P (ou matrice de transition, ou noyau de transition, ou encore noyau markovien).

Proposition 5.3.1. Soit (Xn )n une chaîne de Markov. Alors (Xn )n est de matrice
stochastique P si et seulement si pour tout n ∈ N et pour tout x0 , . . . , xn ∈ E, on a

P(X0 = x0 , X1 = x1 , . . . , Xn = xn ) = P(X0 = x0 )P (x0 , x1 )P (x1 , x2 ) · · · P (xn−1 , xn ).

Cette propriété donne un lien entre propriété de Markov, et probabilité initiale et dynamique
de transition.

Démonstration. =⇒ On procède par récurrence avec une initialisation automatique lorsque

n = 0. Soit n ∈ N et supposons la formule vraie à ce rrang. Alors si P(X0 = x0 , Xn = xn ) 6= 0,
alors si pn = P(X0 = x0 , . . . , Xn = xn )

P(X0 = x0 , . . . , Xn = xn , Xn+1 = xn+1 ) = P(Xn+1 = xn+1 |X0 = x0 , . . . , Xn = xn ) pn .

| {z }
P (xn ,xn+1 )

On conclut en appliquant l’hypothèse de récurrence. Si maintenant P(X0 = x1 , Xn = xn ) = 0,

alors

CMMA 69
5.3. Probabilités trajectorielles

P(X0 = x0 , . . . , Xn = xn , Xn+1 = xn+1 ) = 0.

Par hypothèse de récurrence, on a

P(X0 = x0 )P (x0 , x1 ) · · · P (xn−1 , xn ) = 0

donc
P(X0 = x0 )P (x0 , x1 ) · · · P (xn , xn+1 ) = 0.
⇐= Soit x0 , . . . , xn ∈ E tel que P(X0 = x0 , . . . , Xn = xn ) 6= 0. On a

P(X0 = x0 , . . . , Xn+1 = xn+1 )

P(Xn+1 = xn+1 |X0 = x0 , . . . , Xn = xn ) =
P(X0 = x0 , . . . , Xn = xn )
= P (xn , xn+1 ).

Ainsi, (Xn )n est une chaîne de Markov de matrice stochastique P .

Proposition 5.3.2. Soit X une chaîne de Markov de matrice P . On a les propriétés

suivantes.
(i) Pour toute fonction mesurable f : E −→ R, n ≥ 0, et x0 , . . . , xn ∈ E tels que
P(X0 = x0 , . . . , Xn = xn ) 6= 0, alors

E[f (Xn+1 )|X0 = x0 , . . . , Xn = xn ] = E[f (Xn+1 )|Xn = xn ] = P f (xn ).

(ii) Pour tout i1 < . . . < ik ∈ [[0, n]], et f : E −→ R mesurable,

E[f (Xn+1 )|Xi1 , . . . , Xik , Xn ] = (P f )(Xn ).

Démonstration. (i) Pour montrer ce point, il suffit d’utiliser la définition.

(ii) On a par propriété de conditionnement en cascade que
 
E[f (Xn+1 )|Xi1 , . . . , Xik , Xn ] = E E[f (Xn+1 )|X0 , . . . , Xn ] Xi1 , . . . , Xik , Xn .
Or, E[f (Xn+1 )|X0 , . . . , Xn ] = P f (Xn ) d’après (i), et

E[P f (Xn )|Xi1 , . . . , Xik , Xn ] = (P f )(Xn ).

Remarque. Le noyau de transition en n étapes donne la probabilité de passer d’un état x à

un état y en n étapes :

P(X0 = x, Xn = y)
Pn (x, y) = P(Xn = y|X0 = x0 ) = .
P(X0 = x)
Or, on a la partition
G
{X0 = x, Xn = y} = {X0 = x, X1 = x1 , . . . , Xn−1 = xn−1 , Xn = y}.
xk ∈E
1≤j≤n−1

On a donc que

70 CMMA
 Chapitre 5. DYNAMIQUE MARKOVIENNE

X P(X0 = x, X1 = x1 , . . . , Xn−1 = xn−1 , Xn = y)

Pn (x, y) = .
P(X0 = x)
xk ∈E
1≤j≤n−1

Ainsi,

X P(X0 = x)P (x, x1 ) · · · , P (xn−1 , y)

Pn (x, y) = .
P(X0 = x)
xk ∈E
1≤j≤n−1

On trouve donc que

X
Pn (x, y) = P (x, x1 )P (x1 , x2 ) · · · P (xn−1 , y) = P n (x, y).
xk ∈E
1≤j≤n−1

Autrement dit, Pn = P n .

Proposition 5.3.3. Le noyau de transition en n étapes d’une chaîne X de matrice sto-

chastique P est donnée par la matrice P n . On a une propriété de semi-groupe (équation
de Chapman-Kolmogorov) avec
X
Pn+m (x, y) = Pn (x, z)Pm (z, y),
z∈E

ce qui revient à dire que P n+m = P n P m . En notant µn = L (Xn ), i.e

µn = (P(Xn = x))x∈E ,
alors
X
P(Xn = y) = P(X0 = x)Pn (x, y).
x∈E

Ainsi, µn = µ0 P n. De plus,
X
P(Xn = y) P(Xn+1 = x)P (x, y).
x∈E

Ainsi, µn = µn−1 P .

Notation. On note P0 pour indiquer que la loi initiale de la chaîne est µ0 = ν, et Px = Pδx
pour indiquer que la chaîne part de x ∈ E.

CMMA 71
5.3. Probabilités trajectorielles

Proposition 5.3.4 (boîte à outils). Soit X une chaîne de Markov de matrice stochas-
tique P . Lorsque les probabilités conditionnelles sont bien définies, on a les expressions
suivantes.
(i) Pour x1 , . . . , xn , y1 , . . . , ym ∈ E, on a

P(Xn+1 = y1 , Xn+2 = y2 , . . . , Xn+m = ym |X0 = x0 , X1 = x1 , . . . , Xn = xn )

= P (xn , y1 )P (y1 , y2 ) · · · P (ym−1 , ym ).

(ii) Soit xn , y1 , . . . , ym ∈ E et A0 , . . . An−1 ⊂ E. On a

P(Xn+1 = y1 , . . . , Xn+m = ym |X0 ∈ A0 , . . . , Xn−1 ∈ An−1 , Xn = xn )

= P(Xn+1 = y1 , . . . , Xn+m = ym |Xn = xn ).

(iii) Pour tout A0 , . . . , An1 , B1 , . . . , Bm ⊂ E et xn ∈ E. Alors,

P(Xn+1 ∈ B1 , . . . , Xn+m ∈ Bm |X0 ∈ A0 , . . . , Xn−1 ∈ An−1 , Xn = xn )

X
= P(Xn+1 = y1 , . . . , Xn+m = ym |Xn = xn ).
yk ∈Bk
1≤k≤m

Remarque. Le point (i) montre que

P(Xn+m = ym |X0 = x0 , . . . , Xn = xn ) = P(Xn+m = ym |Xn = xn ) = P m (xn , yn ).

En effet,

P(Xn+m = ym |X0 = x0 , . . . , Xn = xn )
X
= P(Xn+1 = y1 , . . . , Xn+m = ym |X0 = x0 , . . . , Xn = xn ).
yk ∈E
1≤j≤n−1

Démonstration. C’est pénible, peut-être un jour aurai-je le temps d’écrire cette démonstration.

72 CMMA
 Chapitre 5. DYNAMIQUE MARKOVIENNE

5.3.2 Approche récursive d’une chaîne de Markov

Proposition 5.3.5. Soit X0 une variable aléatoire dans E loi ν et (Un )n≥0 une suite
de variables aléatoires i.i.d de loi µ dans F indépendante de X0 . Pour toute fonction
f : E × F −→ E mesurable, alors la suite suite (Xn )n définie récursivement pour tout
n ∈ N par

Xn+1 = f (Xn , Un+1 )

est une chaîne de Markov de matrice stochastique P telle pour tout x, y ∈ E,

P (x, y) = P(f (x, Un ) = y).

Démonstration. Soit x0 , . . . , xn ∈ E tel que P(X0 = x0 , . . . , Xn = xn ) 6= 0. Alors,

P(Xn+1 = xn+1 |X0 = x0 , . . . , Xn = xn ) = P(f (xn , Un+1 ) = xn+1 |X0 = x0 , . . . , Xn = xn )

= P(f (xn , Un+1 ) = xn−1 )

= P (xn , xn+1 )

(le passage de la première à la seconde ligne étant dû au fait que les (Un )n sont indépendantes
de X0 ). On a donc bien une chaîne de Markov de matrice P .

Pn
Exemple. Marche aléatoire. Soit (Xi )i∈N une suite variables aléatoires i.i.d, et Sn = i=0 Xi
pour tout n ∈ N, et soit la fonction f : R2 → R, (x, y) 7→ x + y. Alors,

Sn+1 = f (Sn , Xn+1 )

pour tout n ∈ N. Puisque (Xn )n est i.i.d, et indépendante de S0 = X0 , on retrouve avec cette
écriture que (Sn )n est une chaîne de Markov.

Proposition 5.3.6. Une chaîne de Markov homogène à valeurs dans E ⊂ R peut être
vue en loi comme une suite récursive du type Xn+1 = f (Xn , Un+1 ) comme dans la pro-
priété précédente.

Rappel. Soit Z une variable aléatoire de fonction de répartition F . On définit l’inverse géné-
ralisé par

F −1 (y) = inf{u ∈ R | F (u) ≥ y}

pour tout y ∈ F (R). Par exemple si U suit une loi uniforme sur ]0, 1[, alors F −1 (U ) ∼ Z (c’est
la méthode d’inversion).

Démonstration. Soit (Xn )n une chaîne de Markov de matrice stochastique P . Il s’agît de trouver
L
une fonction f mesurable et une variable aléatoire U telles que X1 = f (x, U1 ) lorsque X0 = x.
On définit f (x, · ) comme l’inverse généralisé de la fonction de répartition P (x, · ) (qui est la loi
de X sachant X0 = x). Dans notre cas, si U1 suit une loi uniforme sur ]0, 1[, alors f (x, U1 ) ∼ U1
sachant que X0 = x. On définit la suite (Xn )n par récurrence avec

CMMA 73
5.4. Chaîne canonique

X
en+1 = f (X
en , Un+1 )

pour tout n ∈ N, où f (x, · ) est l’inverse généralisé de la fonction de répartition P (x, · ), et (Un )n
est une suite [Link] de loi uniforme sur ]0, 1[. Alors, X
e a pour matrice stochastique

Pe(x, y) = P(f (x, U1 ) = y) = P(X1 = y|X0 = x) = P (x, y).

5.4 Chaîne canonique

Cette section aura pour but, étant donné une matrice stochastique P = (P (x, y))x,y∈E , on va
construire sur un certain espace probabilisé une variable aléatoire (Xnx )n de matrice stochastique
P issue de X0x = x, pour tout x ∈ E. On considère

e F,
(Ω, e = ([0, 1], B([0, 1]), λ)
e P)
e F,
et une suite (Un )n i.i.d de loi uniforme sur [0, 1] sur (Ω, e Puisque E est dénombrable, notons
e P).
E = {yn | n ∈ N}, et on construit une chaîne de Markov (Xnx )n≥0 partant de x ∈ E de matrice
stochastique P (donc X0x = x).

Proposition 5.4.1. Soit E un ensemble dénombrable et P une matrice stochastique sur

e F,
E. Il existe un espace (Ω, e sur lequel pour tout x ∈ E, il existe une chaîne de Markov
e P)
x
(Xn )n issue de x et de matrice P .

Démonstration. Soit (yj )j une énumération de E. Soit (Un )n uniforme i.i.d de loi uniforme sur
[0, 1], X0x = x et pour tout n ∈ N, Xn+1
x = yk avec yk tel que
X X
P (Xnx , yj ) < Un+1 ≤ P (Xnx , yj ).
j≤k j≤k

On a

x
P(Xn+1 = yk |X0x = x, . . . , Xnx = xn )
   
X X
= P Yn+1 ∈  P (Xnx , yj ), P (Xnx , yj ). X0x = x, . . . , Xnx = x
j≤k j≤k
X X
= P (xn , yj ) − P (xn , yj ) = P (xn , yk ).
j≤k j<k

Puisque la probabilité obtenue ne dépend pas des xk pour k < n, on a établi la propriété de
Markov. On observe d’ailleurs que P est la matrice stochastique de (Xnx )n .

Autre construction. On propose une seconde construction sur l’espace dit canonique de la
chaîne Ω = E N . Sur Ω, on considère la tribu F = C la plus petite tribu rendant mesurables les
applications coordonnées définies par Xn (ω) = ωn pour tout n ∈ N et ω ∈ Ω. En fait, C est la
tribu engendrée par la famille Cyl des cylindres, i.e des ensembles C de la forme

C = {ω ∈ E N | ∀i ∈ [[0, n]] , ωi = xi }

74 CMMA
 Chapitre 5. DYNAMIQUE MARKOVIENNE

où n ∈ N, et (xi )0≤i≤n ∈ E n+1 . Montrons donc que C = σ(Cyl). Soit C un cylindre (de forme
donnée ci-dessus). On remarque que
n
\
C= Xi−1 ({xi }) ∈ C
i=0

donc Cyl ⊂ C , donc σ(Cyl) ⊂ C . De plus, chaque application coordonnée Xi est mesurable pour
σ(Cyl). En effet,

Xi−1 ({x}) = {ω ∈ E N | ωi = x} ∈ Cyl ⊂ σ(Cyl)

pour tout x ∈ E et i ∈ N. Or, C est la plus petite telle tribu par définition donc C = σ(Cyl).
Cette tribu C = σ(Cyl) s’appelle la tribu cylindrique.

Lemme 5.4.1. Soit (Ω, F) = (E N , C ) et (Ω,

e F)
e un espace mesurable. Une application
ψ : (Ω, F) −→ (Ω, F) est mesurable si et seulement si Xn ◦ ψ est mesurable pour tout
e e
n ∈ N.

Démonstration. Le sens direct est immédiat par composition d’applications mesurables. Pour la
réciproque, on suppose que Xn ◦ ψ est mesurable pour tout n ∈ N. On pose

G = {A ∈ F | ψ −1 (A) ∈ Fe}.
G est une tribu qui contient tous les cylindres. En effet, Xn−1 ({y}) ∈ G pour tout y ∈ E et n ∈ N
car Xn−1 ({y}) ∈ Cyl ⊂ F = C , donc

ψ −1 (Xn−1 ({y})) = (Xn ◦ ψ)−1 ({y}) ∈ Fe

(par hypothèse). Un cylindre C s’écrit
n
\
C= Xi−1 ({yi })
| {z }
i=0
∈G

et est donc élément de G. On en déduit que Cyl ⊂ G, donc que F = σ(Cyl) ⊂ G ⊂ F. On a ainsi
montré que G = F et donc que ψ est mesurable.

Théorème 5.4.1 (définition de la chaîne canonique). Soit E un ensemble dénombrable

et P une matrice stochastique sur E. Pour tout x ∈ E, il existe une unique mesure de
probabilité Px sur (Ω, F) = (E N , C ) telle que la suite (Xn )n des applications coordonnées
est une chaîne de Markov issue de x de matrice stochastique P .

Démonstration. — Existence. D’après la première construction, il existe un espace de proba-

bilité (Ω, F , P) sur lequel on a construit (Xnx )n une chaîne de Markov issue de x avec P
e e e
pour matrice stochastique. On considère l’application

e F)
ψx : (Ω, e −→ (Ω, F)
ω̃ 7−→ (Xnx (ω̃))n .
D’après le lemme précédent, ψx est mesurable puisque pour tout n ∈ N, Xn ◦ ψx = Xnx
e ◦ ψ −1 la
est une variable aléatoire donc mesurable. Sur (Ω, F) on considère alors Px = P x
mesure image de P e par ψx . On a {X0 = x} = C0 = {ω ∈ E N | ω0 = x}, donc

CMMA 75
5.5. Propriétés de Markov

e −1 (C0 )) = P((X x e x
P(X0 = x) = Px (C0 ) = P(ψ n )n ∈ C0 ) = P(X0 = x) = 1
e
x

donc (Xn )n est bien issue de x. Soit maintenant n ∈ N∗ , et (x1 , . . . , xn ) ∈ E n . On pose

Cn = {ω ∈ Ω | ω0 = x, ω1 = x1 , . . . , ωn = xn } ∈ Cyl .

On a

Px (X0 = x, X1 = x1 , . . . , Xn = xn ) = Px (Cn )
e −1 (Cn ))
= P(ψ x
x
= P((X n ) n ∈ Cn )
e
e x = x, X x = x1 , . . . , X x = xn )
= P(X 0 1 n
= P (x, x1 )P (x1 , x2 ) · · · P (xn−1 , xn ),

ce qui montre que (Xn )n est bien une chaîne de Markov de matrice stochastique P .
— Unicité. Si Px et P0x sont deux mesures de probabilités vérifiant la conclusion du théorème.
Alors, pour tout C ∈ Cyl, Px (C) = P0x (C). Or, Cyl est un π-système donc en vertu du
théorème de classe monotone, Px et P0x coïncident sur σ(Cyl) = F donc sont égales.

P
Remarque. Étant donné une probabilité ν sur E, on définit Pν = x∈E ν({x})Px . C’est une
probabilité sur (Ω, F) = (E N , C ). Sous la probabilité Pν , on a X0 ∼ ν. En effet,
X X
Pν (X0 ∈ A) = ν({x}) Px (X0 ∈ A) = ν({x}) = ν(A).
| {z }
x∈E x∈A
1A (x)

5.5 Propriétés de Markov

On travaille sur l’espace canonique (Ω, F) = (E N , C ), l’espace des suites d’éléments de E
muni de la tribu cylindrique, sur lequel on introduit les opérateurs de décalage (ou translation,
ou shift) : si k ∈ N, on définit pour tout ω ∈ Ω par

Θk (ω) = (ωn+k )n .

On a donc Θk = Θ◦k 1 . L’application Θk = (Ω, F) −→ (Ω, F) est mesurable car Xn ◦ Θk = Xn+k

pour tout n, k ∈ N. Dans la suite, on note Fn = σ(X0 , . . . , Xn ) pour tout n ∈ N pour tout n ∈ N,
et Ex l’espérance sous Px , et Eν celle sous Pν .

Théorème 5.5.1 (Markov faible). Soit G : Ω −→ R une application mesurable. Alors,

pour tout x ∈ E,

Ex [G ◦ Θn | Fn ] = EXn [G].
De manière équivalente, pour toute fonction F : Ω −→ R Fn -mesurable,

Ex [F × (G ◦ Θn )] = Ex [F EXn [G]].

76 CMMA
 Chapitre 5. DYNAMIQUE MARKOVIENNE

Remarque. EXn [G] est la composée de Xn et de x 7→ Ex [G]. EXn [G] est donc une variable
aléatoire σ(Xn )-mesurable (donc Fn -mesurable).

Démonstration. On démontre la seconde formulation. Il suffit de considérer

F = 1{X0 =x0 ,...,Xn =xn } et F = 1{X0 =y0 ,...,Xn =yp }

avec (x1 , . . . , xn ) ∈ E n et (y1 , . . . , yp ) ∈ E p des éléments quelconques. Puisque Cyl est un π-
système, par un argument de classe monotone, on peut généraliser à F = 1A et G = 1B pour
tout A ∈ Fn et B ∈ F. Puis, par les arguments usuels de la théorie de la mesure, on étend à des
applications étagées, puis mesurables positives et mesurables de signe quelconque.
Soit maintenant y ∈ E. On a

Ey [G] = Py (X0 = y0 , . . . , Xp = yp )
= δy,y0 P (y, y1 )P (y1 , y2 ) · · · P (yp−1 , yp )

et

Ex [F × (G ◦ Θn )] = Ex (1{X0 =x0 ,...,Xn =xn } , 1{Xn =y0 ,Xn+1 =y1 ,...,Xn+p =yp } )
= Px (X0 = x0 , . . . , Xn = xn , Xn = y0 , . . . , Xn+p = yp )
= δx,x0 P (x1 , x2 )P (xn−1 , xn )δxn ,y0 P (yp−1 , yp ).

On a

Ex [F EXn [G]] = Ex [1{X0 =x0 ,...,Xn =xn } δXn ,y0 P (y0 , y1 ) · · · P (yp−1 , yp )]
= Px (X0 = x0 , . . . , Xn = xn ) δxn ,y0 P (y0 , y1 ) · · · P (yp−1 , yp ),
| {z }
δx,x0 P (x,x1 )···P (xn−1 ,xn )

d’où l’égalité cherchée.

Théorème 5.5.2 (Markov fort). Soit T un temps d’arrêt pour la filtration canonique
(Fn )n de (Xn )n . Alors, pour tout fonction mesurable G : Ω −→ R,

Ex [1{T <∞} G ◦ ΘT |FT ] = 1{T <∞} EXT [G].

De manière équivalente, pour toute fonction F : Ω −→ R FT -mesurable et G : Ω −→ R
mesurable,

Ex [F (G ◦ ΘT )1{T <∞} ] = Ex [F EXT [G]1{T <∞} ].

Démonstration. Soit n ≥ 0, et F : Ω −→ R FT -mesurable. Alors, 1{T =n} F est Fn -mesurable.

En effet,

{1{T =n} ∈ A} = ({T = n} ∩ {F ∈ A}) ∪ ({T 6= n} ∩ {0 ∈ A}) .

| {z }
∈FT
| {z }
∈Fn

Par Markov faible avec 1{T =n} F qui est Fn -mesurable, on a

CMMA 77
5.5. Propriétés de Markov

Ex [1{T =n} F G ◦ ΘT ] = Ex [1{T =n} F G ◦ Θn ]

= Ex [1{T =n} F EXn [G]]
= Ex [1{T =n} F EXT [G]].

En sommant sur n ≥ 0, on a

Ex [1{T <∞} F G ◦ ΘT ] = Ex [1{T <∞} F EXT [G]]

P∞
car n=0 1{T =n} = 1{T <∞} .

Corollaire 5.5.1. Soit T un temps d’arrêt tel que Px (T < ∞) = 1. On suppose qu’il
existe y ∈ N tel que P(XT = y) = 1. Alors, sous Px , la variable ΘT est indépendante de
FT et sa loi est Py .

Démonstration. Pour toutes fonctions bornées FT -mesurable F et G mesurable, la propriété de

Markov forte donne

Ex [F × (G ◦ ΘT )] = Ex [F EXT [G]] = Ex [F Ey [G]] = Ex [F ]Ey [F ].

Dans le cas particulier F = 1, on trouve que

Ex [G ◦ ΘT ] = Ey [G]
qui une fois réinjecté dans nos calculs permet de dire que Ex [F × (G ◦ ΘT )] = Ex [F ]Ex [G ◦ ΘT ].
Ceci étant vrai pour toutes fonctions bornées FT -mesurable F et G mesurable, ceci montre que
ΘT et FT sont indépendantes sous Px . Enfin, la dernière égalité signifie Px ◦Θ−1 = Py , c’est-à-dire
que ΘT est de loi Py sur E N .

Reformulation de la propriété de Markov. En notant Lν ((Xn )n ) la loi de la chaîne de

Markov (Xn )n avec X0 ∼ ν, la seconde propriété de Markov forte s’écrit

Lν ((Xn )n≥T |FT ) = LXT ((Xn )n≥0 ),

ou pour tout B ∈ C ,

Pν ((Xn )n≥T ∈ B|FT ) = PXT ((Xn )n ∈ B).

Lorsque T est un temps d’arrêt, il s’agit de Markov fort. Si T = p est déterministe, il s’agit
de Markov faible. On peut encore reformuler les propriétés faible et forte de Markov, comme
dans le corollaire suivant.

Corollaire 5.5.2. Soient A ∈ C , (xn )n ∈ E N , y ∈ E, et T un temps d’arrêt presque

sûrement fini. Alors,

P(Θp X ∈ A|X0 = x0 , . . . , Xp = xp ) = Pxp (X ∈ A) ( Markov faible),

et

P(ΘT X ∈ A|X0 = x0 , . . . , XT = y) = Py (X ∈ A) ( Markov fort).

78 CMMA
 Chapitre 5. DYNAMIQUE MARKOVIENNE

La propriété de Markov justifie également que pour une chaîne de Markov, passé et futur
sont indépendants sachant le présent.

Corollaire 5.5.3. Soit n ≥ 1, A ∈ Fn , et B ∈ σ((Xk )k≥n ). Alors,

P(A ∩ B|Xn ) = P(A|Xn )P(B|Xn ).

De la même façon, si T est un temps d’arrêt Px -presque sûrement fini, alors pour tout
A ∈ FT et B ∈ {Θ−1 (A) | A ∈ F}, on a

P(A ∩ B|XT ) = P(A|XT )P(B|XT ).

Remarque. Puisque ΘT est mesurable, {Θ−1 (A) | A ∈ F} est une tribu qui contient les
évènements réalisés après T . C’est une manière adéquate pour remplacer σ((Xk )k≥T ) puisque
{(X1 , . . . , Xn ) ◦ ΘT ∈ B} = {(XT +1 , . . . , XT +n ) ∈ B}.

Démonstration. Soit F une fonction Fn -mesurable et G une fonction σ((Xk )k ≥n )-mesurable.

e ◦ Θn (selon le théorème de Dinkyn). On a donc
On peut écrire G = G

Ex [F G|Xn ] = Ex [F (Ge ◦ Θn )|Xn ]

= Ex [Ex [F (Ge ◦ Θn )|Fn ]|Xn ]
e ◦ Θn |Fn ]|Xn ]
= Ex [F Ex [G
= Ex [F EXn [G]|X
e n]
= Ex [F |Xn ]EXn [G].
e

Le cas particulier F = 1 donne EXn [G]

e = Ex [G|Xn ] ce qui une fois réinjecté dans nos calculs
montre que

Ex [F G|Xn ] = Ex [F |Xn ]Ex [G|Xn ].

On a donc montré la première partie du corollaire. La seconde se fait de la même façon avec la
propriété de Markov forte.

CMMA 79
5.5. Propriétés de Markov

80 CMMA
Chapitre 6

Récurrence et transciences

On considère une chaîne de Markov (Xn )n de matrice de transition P sur un espace d’état
E. Sauf mention contraire, cette chaîne sera la chaîne canonique construite à la fin du chapitre
précédent. On note pour tout y ∈ E,

Ty = inf{n ∈ N | Xn = y} et Tey = inf{n ∈ N∗ | Xn = y}.

Ce sont des temps d’arrêt, le premier étant un temps d’atteinte de y, et le second un temps
d’atteinte de y après le départ. Enfin, on note

ρx,y = Px (Tey < ∞)

la probabilité que, partant de l’état x, la chaîne arrive en temps fini à l’état y. Ainsi, la quantité
ρx,x est la probabilité que la chaîne partant de x, finisse par y revenir en temps fini.

6.1 États récurrents et transitoires

Définition 6.1.1. Un état x ∈ E est dit

— récurrent si ρx,x = 1 ;
— transitoire si ρx,x < 1.

Remarque.
P∞ Le nombre de passages sur l’état x ∈ E est donné par la variable aléatoire N (x) =
k=0 1{Xk =x} .

6.1.1 Nombre de passages

Proposition 6.1.1. Pour tout x ∈ E, on a l’alternative suivante.

— Si x est récurrent, alors N (x) = ∞ Px -presque sûrement.
— Si x est transitoire, alors N (x) < ∞ Px -presque sûrement, et

1
Ex [N (x)] = .
1 − ρx,x

Démonstration. Remarquons d’abord que Px (N (x) ≥ 1) = 1. Soit k ≥ 1. Selon la propriété de

Markov forte, on a
6.1. États récurrents et transitoires

Px (N (x) ≥ k + 1) = Ex [1{N (x)≥k+1} ] = Ex [1{Tex <∞} 1{N (x)≥k} ◦ ΘTex ]

= Px (Tex ) < ∞E[1{N (x)≥k} ]
= ρx,x Px (N (x) ≥ k).

Par récurrence, il est clair que pour tout k ≥ 1,

k−1
Px (N (x) ≥ k) = ρx,x .

Si x est un état récurrence, alors Px (N (x) ≥ k) pour tout k ≥ 1 et on conclut par convergence
monotone. Si x est un état transitoire, alors pour tout k ≥ 1,

Px (N (x) = k) = Px (N (x) ≥ k) − Px (N (x) ≥ k + 1) = ρk−1

x,x (1 − ρx,x ).

On a donc aussi le second point.

Soit y ∈ E et Ñ (y) = ∞
P
k=1 1{ Xk = y} le nombre de passage de la chaîne par l’état y après
le départ. Si elle part d’un état x ∈ E\{y}, alors Ñ (y) = N (y) et T̃y = Ty . Si elle part de l’état
x = y alors Ñ (y) = N (y) − 1, et le temps d’arrêt T̃y est le temps de premier retour en y. Soit
(k) (0)
alors la suite de temps d’arrêt (Ty )k≥0 définie récursivement par Ty = 0, et

Ty(k+1) = min{n > Ty(k) | Xn = y}

pour tout k ∈ N.

(n)
Proposition 6.1.2. Soient y ∈ E et n ∈ N. Sur l’évènement {Ty < ∞}, les variables
(k) (k) (k−1)
aléatoires ∆y = Ty − Ty pour tout k ∈ [[1, n]] sont indépendantes et identiquement
distribuées sous Py .

(n) Tn (i)
Démonstration. Puisque {Ty < ∞} = i=1 {∆y < ∞}, il suffit de montrer pour tout k ∈ [[1, n]]
que

k k
" #
Y Y h i
Ey g(∆(i)
y )1{∆(i) <∞} = Ey g(∆y(i) )1{∆(i) <∞}
i=1 i=1

pour toutes fonctions (gi )1≤i≤k mesurables et bornées sur R+ . Pour cela, on travaille par récur-
rence sur k ∈ [[1, n]]. Le cas k = 1 étant évident, on montre directement l’hérédité. Soit k ∈ [[2, n]],
supposons la relation vraie au rang k − 1 et montrons là au rang k + 1. Observons avant tout les
faits suivants :
(1) (k−1)
— les variables aléatoires ∆y , . . . , ∆y sont FT (k−1) -mesurables ;
y

— la variable aléatoire ΘT (k−1) est indépendante de la tribu FT (k−1) et est de loi Py (d’après
y y
la propriété forte de Markov) ;
(k) (1)
— ∆y = ∆y ◦ ΘT (k−1) .
y

Soient donc g1 , . . . , gk des fonctions mesurables et bornées sur R+ . La propriété de Markov

forte donne

82 CMMA
 Chapitre 6. RÉCURRENCE ET TRANSCIENCES

k
" #
Y  
Ey gi ∆(i)
y 1{∆(i) <∞}
y
i=1
 
k−1
Y     
= Ey  gi ∆(i)
y 1{∆(i) <∞} g ∆(1)
y ◦ ΘT
(k−1) 1 
y y ∆(1) ◦Θ (k−1) <∞
i=1 Ty
"k−1 #
Y   
(i)
= Ey gi ∆y 1{∆(i) <∞}
y
i=1
 
 
× Ey gk ∆(1)
y ◦ ΘT (k−1) 1
 
y ∆(1) ◦Θ(k−1) <∞
Ty
"k−1 #  
Y     
(i) (k)
= Ey gi ∆y 1{∆(i) <∞} Ey gk ∆y 1 ∆(k) <∞
n o
y y
i=1
k−1
Y        
(i) (k)
= Ey gi ∆y 1 ∆(i) <∞ Ey gk ∆y 1 ∆(k) <∞ .
n o n o
y y
i=1

Proposition 6.1.3 (nombres de passages en y partant de x 6= y). Soient x, y ∈ E deux

états distincts. Sous la probabilité Px ,
(i) si y est transitoire,

P
N (y) ∼x (1 − ρx,y )δ0 + ρx,y G(1 − ρy,y )
et Px (N (y) < ∞) = 1 ;
(ii) si y est récurrent et la chaîne part de x, ou bien elle ne rejoint jamais y (i.e N (y) =
0), ou bien elle le rejoint une fois, puis une infinité de fois (i.e N (y) = ∞). De plus,

P
N (y) ∼x (1 − ρx,y )δ0 + ρx,y δ∞ ,
Py (N (y) = ∞) = 1, et Px (N (y) = ∞) = ρx,y .

Remarque. Les propositions 6.1.1 et 6.1.3 permettent de décrire et différencier les états ré-
currents et transitoires.

— Si y est transitoire, alors peu importe l’état initial de la chaîne, le nombre de passage en y
est fini. Le nombre moyen de passage en y est aussi fini.

— Si y est récurrent, alors si la chaîne part de cet état, elle y repasse un infinité de fois. Si elle
ne part pas de y, ou bien elle n’y va jamais, ou bien elle y passe une fois puis une infinité
de fois.

CMMA 83
6.1. États récurrents et transitoires

6.1.2 Potentiel ou fonction de Green

Définition 6.1.2 (potentiel ou fonction de Green). Pour tout x, y ∈ E, on note

∞
X ∞
X
G(x, y) = Ex [N (y)] = Px (Xk = y) = P k (x, y).
k=0 k=0

La fonction G : E 2 −→ R est appelé potentiel (ou fonction de Green)

Interprétation. G(x, y) est le nombre de moyen de passages en y lorsque la chaîne part de x.

Théorème 6.1.1 (récurrence, transcience et potentiel). On a les propriétés suivantes.

(i) Si y est un état transitoire, alors le potentiel G(x, y) est fini pour tout état x. Plus
précisément,

ρx,y
si x 6= y ;


1 − ρx,y

G(x, y) =
1
sinon.


1 − ρy,y


(ii) Si y est un état récurrent, alors G(y, y) = ∞ et


0 si ρx,y = 0 ;
G(x, y) =
∞ sinon.

De ce théorème se déduit facilement un critère de récurrence.

Corollaire 6.1.1 (récurrence et potentiel). Un état x ∈ E est récurrent si et seulement

si G(x, y) = ∞.

Corollaire 6.1.2. En convenant que 0 × ∞ = 0, pour tout x, y ∈ E distincts

G(x, y) = ρx,y G(y, y).

Définition 6.1.3. Une chaîne est dite transitoire (resp. récurrente) si tous ses états sont
transitoires (resp. récurrents).

Définition 6.1.4. Un état x ∈ E est dit

— récurrent positif si mx = Ex [Tex ] < ∞.
— récurrent nul s’il est récurrent mais mx = ∞.

Interprétation foireuse. Un élément est récurrent positif s’il arrive souvent (récurrent) et
qu’on attend généralement pas trop longtemps pour revenir à l’état x. Au contraire un élément
récurrent est récurrent nul s’il arrive souvent mais qu’il faut attendre le dégel entre deux passages
en x.

84 CMMA
 Chapitre 6. RÉCURRENCE ET TRANSCIENCES

Exemple. Un état x ∈ E est dit absorbant lorsque P (x, x) = 1. Un tel état est récurrent
positif puisque dans ce cas, Tex = 1 Px -presque sûrement.

Définition 6.1.5. Une chaîne de Markov est dite récurrente positive (resp. récurrente
nulle, resp. transitoire) si tous ses états sont récurrents positifs (resp. récurrents nuls, resp.
transitoires).

Exemple. Lorsque E est fini, alors la chaîne ne peut pas être transitoire car au moins un état
est récurrent. En effet, on rappelle que si y est un état transitoire, alors
∞
X
G(x, y) = P n (x, y) < ∞
n=0

pour tout x ∈ E. Alors, P n (x, y) −−−→ 0. Si la chaîne était transitoire, on aurait

n→∞
X X
0= lim P n (x, y) = lim P n (x, y) = Px (Xn ∈ E) = 1.
n→∞ n→∞
y∈E y∈E

Il existe donc un état récurrent.

6.1.3 Temps passé sur un état.

Soit y ∈ E, on note
n
X
Nn (y) = 1{Xk =y}
k=0

le nombre de passages en y à la date n et

n
X
Gn (x, y) = Ex [Nn (y)] = P k (x, y).
k=0

Théorème 6.1.2. Pour tout y ∈ E et toute loi initiale ν,

Nn (y) 1{Tey <∞}

lim =
n→∞ n my
Pν -presque sûrement. De plus, pour tout x ∈ E,

Gn (x, y) ρx,y
lim = .
n→∞ n my

Démonstration. D’abord, on suppose y récurrent et que la chaîne part de y : 1{Tey <∞} = 1

Py -presque sûrement. On note

Ty(k) min{n ≥ 1 | Nn (y) = k}.

(k) (k) (k−1) (n)
On a vu précédemment que les ∆y = Ty − Ty sont des variables i.i.d 1 . Puisque Ty =
Pn (k)
k=1 ∆y , on a par la loi des grands nombres
(n)
1. Elles le sont sachant Ty < ∞, ce qui est vrai selon nos hypothèses.

CMMA 85
6.1. États récurrents et transitoires

(n) n
Ty 1 X (k)
lim = lim ∆y = Ey [∆(1)
y ] = Ey [Ty ] = my
e
n→∞ n n→∞ n
k=1

(Py -presque sûrement). Si my < ∞, l’utilisation de loi des grands nombres est licite (car alors
(k) (k)
∆y est intégrable). Si my = ∞, on applique la loi des grands nombres à ∆y ∧ a (variable
aléatoire tronquée au niveau a > 0). On aurait dans ce cas
n
1 X (k)
= (∆y ∧ a) −−−→ Ey [∆(n)
y ∧ a].
n n→∞
k=1

On a donc
(1) (n) n
∆y + · · · + ∆ y X
lim inf ≥ lim inf (∆y(k) ∧ a) = Ey [∆(1)
y ∧ a].
n→∞ n n→∞
k=1

En faisant tendre a vers ∞, on a

Ey [∆(1) (1)
y ∧ a] −−−→ Ey [∆y ] = my = ∞.
a→∞

Ainsi,
(1) (n)
∆y + · · · + ∆ y
lim = ∞.
n→∞ n
Or, on a

Ty(Nn (y)) ≤ n < Ty(Nn (y)+1)

(N (y))
Ty n
et Nn (y) −−−→ my car Nn (y) −−−→ ∞. De plus,
n→∞ n→∞
(N (y)+1) (N (y)+1)
Ty n Ty n Nn (y) + 1
= −−−→ my · 1.
Nn (y) Nn (y) + 1 Nn (y) n→∞
On a donc par encadrement
n
−−−→ my .
Nn (y) n→∞
Si la chaîne part de x, soit elle rejoint une première fois y et on applique ce que l’on vient de
démontrer, soit la chaîne n’atteint jamais y et Nnn(y) = 0 pour tout n ∈ N∗ . On a donc

Nn (y) 1{Tey <∞}

−−−→
n n→∞ my
P
Px -presque sûrement. Pour une loi initiale ν quelconque, Pν = x∈E ν({x})Px . Si Px (A) = 1
pour tout x ∈ E, alors
X
Pν (A) = ν({x})Px (A) = 1.
x∈E

Lorsque y est transitoire (my = ∞),

Nn (y) −−−→ N (y) < ∞

n→∞

Px -presque sûrement. On a donc

86 CMMA
 Chapitre 6. RÉCURRENCE ET TRANSCIENCES

Nn (y) 1{Tey <∞}

−−−→ 0 =
n n→∞ my
Px -presque sûrement, et donc aussi Pν -presque sûrement.
Pour la seconde partie, on remarque que 0 ≤ Nnn(y) ≤ 1 et on applique de la théorème de
convergence dominée. Alors,
" #
Gn (x, y)

Nn (y)
 1{Tey <∞} ρx,y
= Ex −−−→ Ex = .
n n n→∞ my my

6.2 Ensemble clos et irréductible

Notons ER l’ensemble des états récurrents de E, et ET l’ensemble des états transitoires de
E. On a alors E = ER t ET .

Définition 6.2.1. Étant donné x, y ∈ E, on dit que x peut mener à y (x y) si ρx,y =

Px (Tey < ∞) > 0.

Proposition 6.2.1. Si x et y sont deux états distincts, on a les équivalences suivantes.

(i) x y;
(ii) G(x, y) > 0 ;
(iii) il existe n ≥ 1 tel que P n (x, y) >, i.e qu’il existe un chemin de x à y en n étapes de
probabilité non nulle.

Démonstration. On suppose que la chaîne part de x 6= y.

— (i) =⇒ (ii). On a {N (y) ≥ 1} = {Tey < ∞}, donc

Px (N (y) ≥ 1) = Px (Tey < ∞) > 0.

Ainsi, G(x, y) = Ex [N (y)] > 0.
— (ii) =⇒ (iii). G(x, y) = ∞ k n
P
k=0 P (x, y), il existe donc n ≥ 1 tel que P (x, y) > 0.
— (ii) =⇒ (i), (ii). S’il existe n ≥ 1 tel que P n (x, y) > 0, alors G(x, y) > 0 et donc
Px (N (y) ≥ 1) > 0 et ρx,y > 0.

Proposition 6.2.2 (transitivité). Soient x, y, z ∈ E. Si x y et y z, alors x z.

Démonstration. Il existe n ≥ 1 tel que P n (x, y) > 0 et m ≥ 1 tel que P m (y, z) > 0. Alors,

P n+m (x, z) > P n (x, y)P m (y, z) > 0

et donc x z.

CMMA 87
6.2. Ensemble clos et irréductible

Théorème 6.2.1. Soit x ∈ ER et y ∈ E tels que x y. Alors, y ∈ ER et ρy,x = 1. En

particulier, y x et ρx,y = 1.

Démonstration. Il suffit de montrer que y ∈ ER et ρy,x = 1. La seconde partie vient automati-

quement par symétrie des rôles avec le premier fait. Si y = x, l’énoncé est immédiat. Supposons
donc x 6= y. On commence par voir que Py (Tx < ∞) = 1 = ρy,x . Puisque x est récurrent,

0 = P(N (x) < ∞)

≥ Px (Ty < ∞, Tx ◦ ΘTy = ∞)
= Ex [1{Ty <∞} × 1{Tx =∞} ◦ ΘTy ]
= Ex [1{Ty <∞} ]Ey [1{Tx =∞} ] (Markov fort)
= Px (Ty < ∞)Py (Tx = ∞)
=0

car Py (Tx = ∞) puisque x y. On a donc Py (Tx < ∞) = 1, i.e ρy,x = 1. On montre enfin que
y ∈ ER en établissant G(y, y) = ∞. Il existe n1 , n1 ≥ 1 des entiers tels que P n1 (x, y) > 0 et
P n2 (y, x) > 0. On a pour tout k ≥ 0,

P n1 +k+n2 (y, y) ≥ P n2 (y, x)P k (x, x)P n1 (x, y).

On a donc
∞
X ∞
X
P n1 +k+n2 (y, y) ≥ P n2 (y, x)P k (x, x)P n1 (x, y).
k=0 k=0

Ainsi,

X2 −1
n1 +n
G(y, y) − P j (y, y) ≥ P n2 (y, x)G(x, x)P n1 (x, y).
j=0

Or, G(x, x) = ∞, P n2 (y, x) > 0, et P n1 (x, y) > 0. Ainsi, G(y, y) = ∞ donc y ∈ ER .

Théorème 6.2.2. Soit x ∈ E un état récurrent positif et y ∈ E tel que x y. Alors, y

est récurrent positif.

Démonstration. Comme précédemment, il existe n1 , n2 ≥ 1 deux entiers tels que P n1 (x, y) > 0
et P n2 (y, x) > 0. Pour tout k ∈ N,

P n1 +k+n2 (y, y) ≥ P n2 (y, x)P k (x, x)P n1 (x, y).

On a donc
∞
X ∞
X
P n1 +k+n2 (y, y) ≥ P n2 (y, x)P k (x, x)P n1 (x, y).
k=0 k=0

Ainsi,

Gn1 +n2 +n (y, y) − Gn1 +n2 −1 (y) ≥ P n2 (y, x)Gn (x, x)P n (x, y).

88 CMMA
 Chapitre 6. RÉCURRENCE ET TRANSCIENCES

En divisant par n,

Gn1 +n2 +n (y, y) Gn1 +n2 −1 (y) Gn (x, x) n

− ≥ P n2 (y, x) P (x, y).
n n n
En passant à la limite lorsque n tend vers l’infini,

1 P n2 (y, x)P n1 (x, y)

≥ > 0.
my mx

Ainsi, my < ∞, i.e que y est récurrent positif.

Définition 6.2.2. Un ensemble d’états C ⊂ E est dit clos si aucun état de C ne mène à
l’extérieur de C. Autrement dit, pour tout x ∈ C et y ∈ E\C, ρx,y = 0.

Exemple. Si a ∈ E est un état absorbant, alors {a} est clos.

Remarque. D’après la définition, C est clos si pour tout x ∈ C et y 6∈ C et n ≥ 1, P n (x, y) = 0.

En fait, la définition est équivalente à dire que pour tout x ∈ C et y ∈ E\C, P (x, y) = 0. En
effet, si pour tout (x, y) ∈ C × (E\C), P (x, y) = 0, alors par récurrence sur n, on montre que
P ( x, y) = 0 pour tout n ≥ 1. Si c’est vrai pour n ∈ N, alors pour tout x ∈ C et y ∈ C c ,
X X
P n+1 (x, y) = P (x, z)P n (z, x) = P (x, z) P n (z, x) = 0.
| {z }
z∈E z∈C =0

Définition 6.2.3. Un ensemble clos C ⊂ E est dit irréductible si pour tout x, y ∈ C, x

peut mener à y. En particulier, une chaîne de Markov est dite irréductible si l’espace
d’états E est irréductible.

Théorème 6.2.3. On a les affirmations suivantes.

(i) Soit C ⊂ E un ensemble clos irréductible constitué d’états récurrents (ou qui contient
un état récurrent), alors pour tout x, y ∈ C, ρx,y = 1, Px (N (y) = ∞) = 1 et
G(x, y) = ∞.
(ii) Soit C ⊂ E un ensemble clos irréductible fini. Alors, tous les états de C sont récur-
rents positifs.
(iii) En particulier, une chaîne irréductible sur un espace d’état fini est récurrente positive.

Démonstration. On ne montre que le point (ii). Si tous les états états y de C sont transitoires,
alors pour tout x ∈ E,

P n (x, y) −−−→ 0
n→∞

car le potentiel est fini. Ainsi,

CMMA 89
6.3. Classes de réccurence

X
0= lim P n (x, y)
n→∞
y∈C
X
= lim P n (x, y)
n→∞
y∈C

= lim Px (Xn ∈ C)
n→∞ | {z }
=1
= 1.

C’est impossible. Il existe donc

P un état récurrent, et ils le sont tous par irréductibilité. Remar-
quons maintenant que n = y∈C Nn (y) lorsque la chaîne part de x ∈ C. On a donc
 
X Nn (y) X Ex [Nn (y)]
1 = Ex  = .
n n
y∈C y∈C

Ex [Nn (y)] Gn (x,y) ρ

Or, n = n −−−→ mx,yy . Ainsi,
n→∞
X ρx,y X 1
1= = .
my my
y∈C y∈C

Il existe donc y ∈ C tel que my < ∞, i.e que y est positif.

Corollaire 6.2.1. Soit (Xn )n une chaîne de Markov irréductible partant de x ∈ E. On

a l’alternative suivante.
— Soit la chaîne est récurrente,

Px (N (y) = ∞, ∀y ∈ E) = 1,

— soit la chaîne est transitoire,

Px (N (y) < ∞, ∀y ∈ E) = 1.

6.3 Classes de réccurence

Proposition 6.3.1. Sur ER , définit une relation d’équivalence.

Définition 6.3.1. On dit que deux états x, y ∈ E communiquent (noté x ∼ y) lorsque

x y et y x.

Démonstration. Remarquons que sur ER , la relation x y se réduit à x ∼ y. On a bien x ∼ x

car G(x, x) = ∞, on a donc bien x x. Par définition, ∼ est réflexive. Enfin, la transitivité a
déjà été démontrée.

90 CMMA
 Chapitre 6. RÉCURRENCE ET TRANSCIENCES

Remarque. Cette relation induit une partition de ER en classes d’équivalence pour ∼ :

   
G G G
ER = ERi =  ERi  t  ERj 
i∈I i∈I+ j∈I0

où I+ désigne les indices des classes de récurrence positive, et I0 les classes de récurrence nulle.
On a donc
   
G G
E = ET t  ERi  t  ERj  .
i∈I+ j∈I0

Théorème 6.3.1. On a le comportement suivant sur une chaîne de Markokv partant

de x ∈ E.
(i) Si x ∈ ERi (où i ∈ I), alors Px -presque sûrement, N (y) = ∞ pour tout y ∈ ERi et
N (y) = 0 pour tout y ∈ ERc .
i

(ii) Si x ∈ ET , en notant TER = inf{n ≥ 0 | Xn ∈ ER }, alors Px -presque sûrement,

— ou bien TER = ∞ et N (y) < ∞ pour Px -presque tout y ∈ E ;
— ou bien TER < ∞, alors il existe j ∈ I tel que pour tout n ≥ TER ,

Xn ∈ ERj .

Démonstration. (i) Soit x ∈ ERi . Alors, G(x, y) = 0 pour tout y 6∈ ERi . En effet, si y ∈ ET
alors G(x, y) = 0 et si y ∈ ER \ERi alors x et y ne communiquent pas, et donc G(x, y) = 0.
On en conclut que N (y) = 0 Px -presque sûrement. S y ∈ ERi , on a Px (Tey < ∞) = 1. On a
donc

Px (N (y) = ∞) = Px (Tey < ∞)Py (N (y) = ∞) = 1

car Px (Tey < ∞) = 1 puisque x y et Py (N (y) = ∞) = 1 puisque y est récurrent.
(ii) Si x ∈ ET , alors TER = ∞ ou TER < ∞. Si TER = ∞, alors la chaîne ne visite aucun
y ∈ ER , donc N (y) = 0 pour un certain y ∈ ER . De plus, pour tout y ∈ ET , on a
N (y) < ∞.
Si TER < ∞, il existe j ∈ I tel que TERj < ∞. D’après la propriété de Markov et le
premier point de l’énoncé, on a N (y) = ∞ pour tout y ∈ ERj et la chaîne reste dans ERj
pour tout n ≥ TERj .

Exemple. Marche aléatoire simple sur Z. Une marche aléatoire sur Z est dite simple si la
probabilité de passer de la marche n à la marche n + 1 est p, et de n à n − 1 est 1 − p. On a donc
pour tout x, y ∈ E = Z,

 p si y = x + 1 ;
1 − p si y = x − 1 ;
0 sinon.


Cette chaîne est irréductible puisque pour tout x, y ∈ E, P |x−y| (x, y) > 0. Par irréductibilité
de la chaîne, tous les états sont de même nature. On cherche la nature de l’état 0 en calculant
G(0, 0). On a

CMMA 91
6.4. Absorption dans les classes de récurrence

∞
X ∞
X
k
G(0, 0) = P (0, 0) = P 2k (0, 0).
k=0 k=0

En
effet, on ne peut revenir à un état qu’en un nombre pair d’étapes. De plus, P 2k (0, 0) =
2k k k
k p (1 − p) (un chemin de 0 à 0 se fait en choisissant k pas à droite et k pas à gauche, chemin
uniquement déterminé par le nombre de pas à droite). On a donc

∞
X (2k)!
G(0, 0) = (p(1 − p))k .
(k!)2
k=0

Selon Stirling, on a

(2k)! k (4p(1 − p))k

(p(1 − p)) ∼ √ .
(k!)2 πk

Si p 6= 1/2, alors G(0, 0) < ∞ : la marche est transitoire. Si p = 1/2, alors G(0, 0) = ∞ car
P ∞ √1 2
k=1 πk = ∞, et la marche est récurrente

6.4 Absorption dans les classes de récurrence

On pose Si = inf{n ≥ 0 | Xn ∈ ERi } la plus petite date d’absorption dans la classe de
récurrence, et

ρi (x) = Ex [1{Si <∞} ] = Px (Si < ∞)

la probabilité d’absorption. Enfin on pose τi (x) = Ex [Si 1{Si <∞} ] le temps moyen d’absorption.
On a aussi Ex [Si |Si < ∞] = ρτii(x)
(x) . On a facilement les faits suivants : pour tout x ∈ ERi , Si = 0,
ρi (x) = 1 et τi (x) = 1 ; pour tout x ∈ ERj (j 6= i), Si = ∞, ρi (x) = 1, et τi (x) = 0.

Théorème 6.4.1 (absorption). Soit x ∈ ET . Les probabilités d’absorption ρi (x) et les

temps d’absorption τi (x) sont solutions des systèmes linéaires
X
ρi (x) = P (x, y)ρi (y)
y∈E

et
X
τi (x) = ρi (x) + P (x, y)τi (y).
y∈E

Démonstration. Si x ∈ ET , alors Si ≥ 1 Px -presque sûrement. De plus, on a Si = 1 + Si ◦ Θ1 .

On a

2. Seulement lorsque p = 1/2, la chaîne est en équilibre et aucun côté (gauche ou droite) n’est préféré.

92 CMMA
 Chapitre 6. RÉCURRENCE ET TRANSCIENCES

ρi (x) = Px (Si < ∞)

= Ex [1{Si <∞} ]
= Ex [1{1+Si ◦Θ1 <∞} ]
= Ex [Ex [1{1+Si ◦Θ1 <∞} |Fi ]]
= Ex [EXi [1{Si <∞} ]]
| {z }
pi (X1 )
X
= P (x, y)pi (y).
y∈E

De plus,

τi (x) = Ex [Si 1{Si <∞} ]

= Ex [(1 + Si ◦ Θ1 )1{1+Si ◦Θ1 <∞} ]
= Ex [Ex [(1 + Si ◦ Θ1 )1{1+Si ◦Θ1 <∞} |Fi ]]
= Ex [EXi [(1 + Si )1{Si <∞} ]]
= Ex [EXi [1{Si <∞} ] + EXi [Si 1{Si <∞} ]]
| {z } | {z }
ρi (X1 ) τi (X1 )

= Ex [ρi (X1 )] + Ex [τi (X1 )]

X
= ρi (x) + P (x, y)τi (y).
y∈E

CMMA 93
6.4. Absorption dans les classes de récurrence

94 CMMA
Chapitre 7

Invariance et équilibre

7.1 Mesures invariantes

Définition 7.1.1. Une mesure π (positive) sur E telle que π(x) < ∞ pour tout x ∈ E
est dite invariante pour une matrice stochastique P si π est solution de l’équation de
Chapman-Kolmogorov

π = πP
(au sens du produit matriciel).

Autrement dit, pour tout y ∈ E,

X
π(y) = π(x)P (x, y).
x∈E

Proposition 7.1.1. Soit (Xn )n une chaîne de Markov. La loi de Xn ne dépend pas de
n si et seulement si la loi initiale µ0 est invariante.

Démonstration. =⇒ On a L (X1 ) = L (X0 ) donc µ0 P = µ0 , i.e que µ0 est invariante.

⇐= On a L (Xn ) = µn = µ0 P n = µ0 pour tout n ∈ N.

Exemples.
— Soit E = {0, 1} et P la matrice de transition
 
1−p p
P = .
q 1−q
 
q p
Alors, (q, p) est une mesure invariante pour P , et p+q , p+q est une probabilité invariante.
— Marche aléatoire symétrique sur Z. On considère une marche aléatoire sur Z avec probabilité
1/2 de passer de x à x + 1 et probabilité 1/2 de passer de x à x − 1. Une mesure invariante
π vérifie
X π(y − 1) + π(y + 1)
π(y) = π(x)P (x, y) = ,
2
y∈E

i.e π(y + 1) − π(y) = π(y) − π(y − 1). On en déduit que la mesure est invariante si et
seulement si elle est de la forme π(y) = αy + β. Nécessairement α = 0 (car si α > 0 alors π
7.1. Mesures invariantes

devient négative lorsque y tend vers −∞,si α < 0 alors π devient négative lorsque y tend
vers ∞). On en déduit qu’une telle mesure invariante π est une mesure uniforme, mais
ne peut être une probabilité. Cette chaîne de Markov n’a pas de probabilité invariante.
Remarquons par ailleurs que pour une matrice bistochastique, les mesures uniformes sont
invariantes (par définition d’une matrice stochastique).
— E = N. On considère la matrice stochastique telle que P (x, xP+ 1) = 1 pour tout x ∈ E.
Soit π une mesure invariante pour P donc telle que π(y) = x∈E π(x)P (x, y). Si y > 0,
π(y) = π(y − 1) et π(0) = 0. Nécessairement, π = 0. Il n’y a donc pas de mesure invariante
dans ce système.
— E = N. On considère la dynamique markovienne de matrice stochastique P définie par
P (n, n + 1) = pn et P (n, 0) = 1 − pn pour tout n ∈ N où 0 < pn < 1 et ∞ i=1 (1 − pi ).
Cette dynamique est irréductible car il est clair que tout n ∈PN mène à tout m ∈ N. Une
mesure invariante π de P ce système est solution de π(y) = x∈E π(x)P (x, y) pour tout
y ∈ E. On Q a π(0) = ∞ i=1 (1 − p )π
i i et π(i) = p i−1 π(i − 1) pour tout i > 0. On a donc
i−1
π(i) = π(0) j=1 pj , et alors
 
∞
X i−1
Y
π(0) = π(0) (1 − pi ) pj  .
i=1 j=1

Or, si 0 < π(0) < ∞, on a

∞
X i−1
Y ∞
X
1= (1 − pi ) pj ≤ (1 − pi ) < 1.
i=1 j=1 i=1
| {z }
≤1
On en déduit que pour cette chaîne de Markov (irréductible), il n’y a pas de mesure
invariante.

Définition 7.1.2. Une mesure positive π non nulle sur E avec π(x) < ∞ pour tout x ∈ E
est dite réversible pour P si pour tout x, y ∈ E,

π(x)P (x, y) = π(y)P (y, x).

Remarque. Par récurrence immédiate, pour tout x0 , . . . , xn ∈ E, on a

π(x0 )P (x0 , x1 ) · · · P (xn−1 , xn ) = π(xn )P (xn , xn−1 ) · · · P (x1 , x0 ).

Proposition 7.1.2. Une probabilité π est réversible pour P si et seulement si pour toute
chaîne de Markov de noyau P de loi initiale π, on a

L (X0 , X1 , . . . , Xn ) = L (Xn , Xn−1 , . . . , X0 ).

Proposition 7.1.3. Une mesure π réversible est invariante.

Démonstration. On a pour tout y ∈ E,

X X X
(πP )(y) = π(x)P (x, y) = π(y)P (y, x) = π(y) P (y, x) = π(y).
x∈E x∈E x∈E

96 CMMA
 Chapitre 7. INVARIANCE ET ÉQUILIBRE

Exemples.
— Marche aléatoire sur Z. On considère la dynamique markovienne définie par

 p si y = x + 1 ;
P (x, y) = 1 − p si y = x − 1 ;
0 sinon.

 i
p
Alors, la mesure définie π(i) = 1−p est réversible.
— Urne d’ Ehrenfest. On considère sur l’espace d’états E = [[0, d]] la dynamique marko-
vienne de noyau

d−x

 d si y = x + 1 ;
x
P (x, y) = d si y = x − 1 ;
0 sinon.


Si π est une mesure réversible pour P , alors

π(x)P (x, x + 1) = π(x + 1)P (x + 1, x)

d
donc π(x + 1) = d−x


x+1 π(x) pour tout x ∈ [[0, d]]. On en déduit que π(x) = x
π(0). On
d −d
peut normaliser π et considérer la probabilité invariante définie par π(x) = x 2 donc
π ∼ B(d, 1/2).

7.2 Invariance et récurrence

7.2.1 Théorème

Lemme 7.2.1 (convergence dominée). Soit (a(x))x∈E une suite de réels positifs sommable
et (bn (x))x∈E une suite telle que bn (x) ≤ 1 pour tout x ∈ E et n ∈ N. Et on suppose que

bn (x) −−−→ b(x)

n→∞

pour tout x ∈ E. Alors,

X X
a(x)bn (x) −−−→ a(x)b(x).
n→∞
x∈E x∈E

Démonstration. Tout est dans le titre du lemme.

Théorème 7.2.1 (support d’une mesure invariante). Soit π une mesure invariante pour
une chaîne de Markov de matrice stochastique P .
— Si x ∈ E est tel que π(x) > 0, alors on a aussi π(y) > 0 pour tout y ∈ E tel que
x y.
— Si la chaîne est irréductible, le support de π et E.
— Si π est une probabilité, alors π(x) = 0 dès que x est transitoire ou récurrent nul.
Une probabilité invariante ne charge que les états récurrents positifs. Le support d’une
probabilité invariante est une union de classes de récurrence positives.

CMMA 97
7.2. Invariance et récurrence

Démonstration. Si x ∈ E, π(x) > 0, et x y, alors il existe n ≥ 1 tel que P (x, y) > 0. On a

π = πP n , donc
X
π(y) = π(z)P n (z, y) ≥ π(x)P n (x, y) > 0.
z∈E

Si la chaîne est irréductible, tous les états communiquent. La mesure étant non nul, au moins un
état est charge la mesure π.
Pour le dernier point, supposons que π est une probabilité et x est transitoire ou récurrent
nul. Alors, mx = Ex [Tex ] = ∞. On a vu que pour tout z ∈ E,

Gn (z, x) ρz,x
−−−→ =0
n n→∞ mx

(car mx = ∞). Par invariance de π, π = πP k pour tout k ≥ 1. On a alors

X
π(x) = P k (z, x).
z∈E

En sommant sur k ∈ [[1, n]] et en divisant par n,

X Gn (z, x)
π(x) π(z) −−−→ 0
n n→∞
z∈E

selon le lemme précédent. Ainsi, π(x) = 0 pour tout x ∈ ET ∪ ER0 .

Exemple. On considère une marche aléatoire sur Z avec P (n, n + 1) = p et P (n, n − 1) = 1 − p

où p ∈]0, 1[.
 x 
p
— Si p 6= 1/2, la marche est transitoire et π = 1−p est invariante. Ici, π est de poids
x∈Z
infini. Pour cette marche, il n’y a pas de probabilité invariante.
— Si p = 1/2, la marche est récurrente, et π est uniforme et invariante de poids infini. Il n’y
a donc pas de probabilité invariante.

7.2.2 Construction de mesures invariantes

Soit x ∈ E un état récurrent. Alors, Tex est fini Px -presque sûrement. On pose
   
x −1
TeX XTex
νx (y) = Ex  1{Xk =y}  = Ex  1{Xk =y} 
k=0 k=1

le nombre moyen de passage en y avec l’arrivée en x.

Proposition 7.2.1. Soit x ∈ ER . Alors, νx est une mesure invariante, et avec νx (x) = 1
de support la classe de récurrence de x (i.e νx (y) > 0 si et seulement si x y).

PTex −1
Démonstration. On a νx (x) = 1 car k=0 1{Xk =x} = 1 Px -presque sûrement. Si y n’est pas
dans la classe de x,
 
∞ x −1
TeX
" #
X
0 = G(x, y) = Ex 1{Xk =y} ≥ Ex  1{Xk =y}  = νx (y).
k=0 k=0

Soit y ∈ E, on a

98 CMMA
 Chapitre 7. INVARIANCE ET ÉQUILIBRE

 
XTex
νx (y) = Ex  1{Xk =y} 
k=1
∞
" #
XX
= Ex 1{Tex ≥k} 1{Xk =y} 1{Xk−1 =z}
z∈E k=1
∞
XX h h ii
= Ex Ex 1{Tex ≥k} 1{Xk =y} 1{Xk−1 =z} |Fk−1
z∈E k=1

Permettez moi d’interrompre cette démonstration pour observer quelques secondes le tableau
que j’essaye de copier ici.

Figure 7.1 – Jean-Christophe Breton essayant de communiquer. 2021, colorized.

Lemme 7.2.2. Soit x ∈ E un état récurrent et π une mesure invariante. Pour tout y ∈ E,

π(y) ≥ π(x)νx (y).

De plus, si x ∼ y alors il y a égalité.

Démonstration. Admis pour mon plus grand plaisir.

Théorème 7.2.2. On considère une classe de récurrence ERi (donc close irréductible). Il
y a unicité à multiple près d’une mesure invariante concentrée sur cette classe (i.e dont le
support est ERi ). De plus,
— Si ces mesures sont finies, alors il y a unique probabilité invariante sur ERi . Cette
probabilité est donnée pour tout x ∈ E par

1
π(x) = .
Ex [Tex ]
Dans ce cas, la classe est récurrente positive.
— Si ces mesures sont infinies, il n’y a pas de probabilité invariante sur ERi et la classe
est récurrente nulle.

Démonstration. Soit x ∈ ERi . Cet état est donc récurrent et on considère la mesure invariante
νx qui lui est associé (de support ERi ). D’après le lemme, on sait que pour tout y ∈ ERi , x y

CMMA 99
7.2. Invariance et récurrence

et π(y) = π(x)νx (y). Puisque νx et π ont pour support ERi , on a π = π(x)νx . On étudie deux
cas.
— Si ces mesures sont de poids fini, il existe une unique probabilité invariante notée π telle
1
que π = π(x)νx . On a donc 1 = π(E) = π(x)νx (E) donc π(x) > 0 et π(x) = νx (E) . Cela
signifie que x est récurrent positif. Ainsi, ERi est une classe récurrente positive. On a

X
νx (E) = νx (y)
y∈E
 
X x −1
TeX
= Ex  1{Xk =y} 
y∈E k=0
 
x −1 X
TeX
= Ex  1{Xk =y} 
k=0 y∈E

= Ex [Tex ] = mx .

— Si ces mesures sont infinies, il n’y a pas de probabilité. De plus, pour tout x ∈ ERi ,

∞ = νx (E) = mx .
Ainsi, x est récurrent nul et la classe donc récurrente nulle.

7.2.3 Cas d’une chaîne irréductible.

Dans ce cas, tous les états sont de même nature et il y a lors trois situations.
— La chaîne est transitoire et toute mesure invariante (s’il y en a) est de poids infini. Il n’y
a pas de probabilité invariante.
— La chaîne est récurrente nulle. Les mesures invariantes sont toutes proportionnelles et de
poids infinis. Il n’y a pas de probabilité invariante.
— La chaîne est récurrente positive. Les mesures invariantes sont toutes proportionnelles de
poids finis. Il y a une unique probabilité π donnée pour tout x ∈ E par

1
π(x) = .
Ex [Tex ]

Corollaire 7.2.1. Pour une chaîne de Markov irréductible, on a équivalence entre les
assertions suivantes.
(i) Il existe une unique probabilité invariante.
1
(ii) La mesure définie par π(x) = pour tout x ∈ E est une probabilité invariante.
Ex [Tex ]
(iii) Il existe un état récurrent positif.
(iv) Tous les états sont récurrents positifs.

Exemple. On considère maintenant une marche aléatoire sur N avec P (n, n + 1) = p pour
n ≥ 1, P (n, n − 1) = q = 1 − p pour tout n ≥ 2, et P (0, 1) = 1. La mesure définie par π(0) = q
 n−1
et π(n) = pq pour tout n ≥ 1, est réversible. Si p < q, π est finie et la chaîne est récurrente
positive. Si p ≥ q, π est de poids infini et la chaîne est récurrente nulle ou transitoire.

100 CMMA
 Chapitre 7. INVARIANCE ET ÉQUILIBRE

7.2.4 Cas d’une chaîne non irréductible.

On a toujours

   
G G
E = ET t  ERi  t  ERj 
i∈I+ j∈I0

F  F 
et ER = i∈I+ ERi t j∈I0 ERj .

Proposition 7.2.2. Pour une chaîne non irréductible, on a les propriétés suivantes.
— Sur chaque classe de récurrence, il existe une mesure invariante (unique à un facteur
multiplicatif près).
— Sur une classe de récurrence, il existe une unique probabilité invariante si et seule-
ment si elle récurrente positive. Dans ce cas, elle est donnée pour tout x dans cette
classe par

1
π(x) = .
Ex [Tex ]
— L’ensemble des probabilités est donné par les combinaisons convexes des probabilités
invariantes de chaque classe récurrente positive.

Démonstration. Les deux premiers points découlent de résultats précédents. On montre que toute
probabilité invariante π est combinaison convexe des uniques probabilités invariantes de chaque
classe de récurrence positive. Soit ERi une classe de récurrence positive telle que π(ERi ) > 0,
donc il existe un état dans ERi chargé par la mesure pour π. On en déduit que pour tout x ∈ ERi ,
π(x) > 0. De plus, π|ER est toujours invariante car pour tout y ∈ ERi ,
i

X X
π(y) = π(z)P (z, y) = P (z, y).
z∈E z∈ERi

En effet, π(z) = 0 si z n’est pas récurrent positif, et seuls les z ∈ ERi sont tels que P (z, y) > 0.
π|ER est proportionnelle à νx et πERi = π(x)νx = π(x)νx (ERi )ν̃x,i , où ν̃x,i = νx /νx (ERi ) est la
i
mesure normalisée de sorte que ν̃x,i soit une probabilité sur ERi . On a

X X
π= π|ER = π(x)νx (ERi )ν̃x,i .
i
i∈I+ i∈I+

C’est bien une combinaison convexe de probabilités invariantes chacune sur une classe de récur-
rence positive

CMMA 101
7.3. Asymptotique d’une chaîne de Markov

7.3 Asymptotique d’une chaîne de Markov

7.3.1 Périodicité

Définition 7.3.1. On appelle période de l’état x ∈ E pour une chaîne de Markov de

transition P l’entier

dx = pgcd{n ≥ 1 | P n (x, x) > 0}

avec pour contient dx = 0 si P n (x, x) = 0 pour tout n ≥ 1. Si dx = 1, on dit que x est
apériodique.

Remarque. On considère sur Z la marche aléatoire de matrice stochastique P telle que P (n, n+
1) = p ∈]0, 1[ et P (n, n − 1) = 1 − p. Pour tout x ∈ Z, dx = 2. Cela est dû à un fait plus général.

Proposition 7.3.1. Si x y, alors dx = dy .

Démonstration. Si x y, il existe n, m ≥ 1 tels que P n (x, y) > 0 et P m (y, x) > 0. Alors, pour
tout N, k ∈ N,

P m+n−N k (x, x) ≥ P n (x, y)P k (y, y)N P m (y, x).

Pour k ≥ 1 tel que P k (y, y) > 0, alors P m+n+N k (x, x) > 0. Ainsi, dx divise m + n + N k pour
tout N ≥ 1. Cela signifie donc que dx divise k mais P k (y, y) > 0. On a donc montré que dx
divise dy . On conclut par symétrie des rôles.

Définition 7.3.2. Si une chaîne de Markov est irréductible, on appelle période la chaîne
la période de tous ses états. Lorsque cette période est de 1, la chaîne est dite apériodique.

Remarque. Soit P une matrice stochastique et p ∈]0, 1[. La matrice stochastique perturbée
Pp = (1 − p)P + pI avec I = (δx,y )x,y . Perturber de cette façon la matrice P consiste à rajouter
à chaque état une boucle. Pp est une matrice de transition apériodique.

Théorème 7.3.1 (convergence à l’équilibre). On considère une chaîne de Markov ir-

réductible récurrente positive et apériodique. Alors, si π désigne l’unique probabilité inva-
riante. pour tout x ∈ E,
X
lim |Px (Xn = y) − π(y)| = 0.
n→∞
y∈E

On a aussi pour la loi ν initiale,

X
lim |Pν (Xn = y) − π(y)| = 0.
n→∞
y∈E

102 CMMA
 Chapitre 7. INVARIANCE ET ÉQUILIBRE

Remarques.
— On a P n (x, y) = Px (Xn = y) −−−→ π(y) pour tout y ∈ E (et la convergence est uniforme
n→∞
en y) : (L (Xn |X0 = x))n converge en loi vers la loi π. On en déduit que (P n )n tend vers
une matrice dont les lignes sont toutes π.
— En fait, on a la convergence en variation totale de (L (Xn |X0 = x))n vers la mesure
invariante π.
P
Démonstration. C’est long. Cependant, on peut montrer le second résultat. On a Pν = x∈E ν(x)Px .
On a donc

!
X X
Pν (Xn = y) − π(y) = ν(x)P(Xn = y) − ν(x)π(y)
x∈E x∈E
X
= ν(x)(Px (Xn = y) − π(y)).
x∈E

On a donc

X XX
|Pν (Xn = y) − π(y)| ≤ |Px (Xn = y) − π(y)|
y∈E y∈E x∈E
 
X X
=  |Px (Xn = y) − π(y)| ν(x).
x∈E y∈E
P P
Soit alors a(x) = ν(x) et bn (x) = y∈E |Px (Xn = y) − π(y)|. On a bien x∈E |bn (x)| ≤ 2 et
alors
X X
a(x)bn (x) −−−→ a(x) × 0 = 0.
n→∞
x∈E x∈E

Théorème 7.3.2 (convergence d’une chaîne périodique). Soit (Xn )n une chaîne irré-
ductible récurrente positive et périodique de période d. On note π l’unique probabilité in-
variante. Alors, pour toute pair d’états x 6= y, il existe r ∈ [[0, d − 1]] un entier tel que
P n (x, y) = 0 si n 6≡ r mod d. Si (ϕ(n))n désigne la suite croissante des entiers valant r
modulo d, alors

P ϕ(n) (x, y) −−−→ dπ(y).

n→∞

7.3.2 Théorème ergodique

Théorème 7.3.3 (ergodique). Soit (Xn )n une chaîne de Markov irréductible récurrente,
et soit π une mesure invariante. Soient f, g ∈ L1 (π) avec E g dπ = x∈E g(x)π(x) 6= 0.
R P
Alors, pour tout x ∈ E,
Pn R
k=1 f (Xk ) f dπ
lim Pn = RE
k=1 g(Xk ) E g dπ
n→∞

Px -presque sûrement. Pour n’importe quelle loi initiale, on a le même résultat Pν -presque
sûrement.

CMMA 103
7.3. Asymptotique d’une chaîne de Markov

Corollaire 7.3.1 (ergodique). Soit (Xn )n une chaîne de Markov irréductible récurrente
positive, d’unique probabilité invariante π. Pour tout f ∈ L1 (π), on a pour tout x ∈ E
(resp. pour toute loi initiale ν),
n Z
1X
lim f (Xk ) = f dπ
n→∞ n E
k=1

Px -presque sûrement (resp. Pν -presque sûrement).

Démonstration. Prendre g constante à 1 dans le théorème ergodique.

Démonstration (du théorème). La seconde partie découle de

X
Pν (A) = ν(x)Px (A).
x∈E

Si pour tout ∈ E, Px (A) = 1, alors Pν (A) = 1. Un évènement Px -sûre pour tout x ∈ E est Pν
sûre pour toute loi initiale ν. Pour la première partie, on fixe x ∈ E. On observe que π(x) > 0
et on dispose de la mesure invariante νx . Par unicité à un facteur près, il existe α > 0 tel que
(k)
π = ανx (en fait, α = π(x) car νx (x) = 1). On suppose que la chaîne part de x et on note Tx
(0) (n+1) (n)
les dates de retours successifs en x : Tx = 0 et Tx = inf{k > Tx | Xk = x}. Puisque x est
(n)
récurrent, les Tx sont finis Px -presque sûrement. On note

(k)
TxX−1
Zk (f ) = f (Xi )
(k−1)
i=Tx

pour tout k ≥ 1. Montrons avant tout que les Zk (f ) sont i.i.d lorsque k parcourt N∗ . Soit (gi )1≤i≤k
une famille de fonctions mesurables bornées. On montre par récurrence sur k que

k k
" #
Y Y
Ex gi (Zi (f ))) = Ex [gi (Z1 (f ))] .
i=1 i=1

Pour k = 1, c’est immédiat. On suppose le résultat vrai au rang k et on l’établit au rang k + 1.

On observe que Z1 (f ), . . . , Zk (f ) sont FT (k) -mesurables, et Zk+1 (f ) = Z1 (f ) ◦ ΘT (k) . On a
x x

"k+1 # " k
! #
Y Y
Ex gi (Zi (f )) =Ex gi (Zi (f )) × gk+1 (Z1 (f ) ◦ ΘT (k) w)
x
i=1 i=1
k
" ! #
Y h i
= Ex gi (Zi (f )) Ex gk+1 (Z1 (f ) ◦ ΘT (k) ) FT (k)
x x
i=1
" k #
Y
= Ex gi (Zi (f )) × EX (k)
[gk+1 (Z1 (f ))] .
Tx
i=1

On conclut en remarquant que XT (k) = x. Pour appliquer la loi des grands nombres aux variables
x
aléatoires Zk (f ) (k ≥ 1), on montre que Z1 (f ) ∈ L1 (Px ). On a

104 CMMA
 Chapitre 7. INVARIANCE ET ÉQUILIBRE

 (1)

TxX−1
Ex [|Z1 (f )|] = Ex  f (Xk ) 
k=0
(1)

Tx −1
X
≤ Ex  |f (Xk )|
k=0
 (1)

TxX−1 X
= Ex  |f (y)| 1{Xk =y} 
k=0 y∈E
 (1)

X TxX−1
= Ex  1{Xk =y}  |f (y)|
y∈E k=0
X π(y)
= |f (y)|
π(x)
y∈E
R
E|f | dπ
= < ∞.
π(x)
R
|f | dπ
Le même calcul sans valeurs absolues montre que Ex [Z1 (f )] = E
π(x) . En appliquant la loi des
grands nombres,
n R
1X Px −p.s f dπ
Zk (f ) −−−−→ E .
n n→∞ π(x)
k=1
PN
On s’intéresse à N1 k=1 f (Xk ). J’arrête cette démonstration subitement puisque le tableau a
commencé à ressembler à Guernica.

CMMA 105