Processus stochastiques

Ébauche de notes de cours de M1

Département de mathématiques et applications (DMA)

École normale supérieure – PSL, 45 rue d’Ulm, Paris 5e

he
2025 – 2026
Version corrigée du 28 août 2025

E(M n+1 | Fn ) = M n
uc
E(M 0 ) = E(M n∧T )
X n+1 = f (X n , εn+1 )
E( f (NT +t − NT ) | FT ) = E( f (N t − N0 ))
d
sup B s = |B t |
s∈[0,t ]
a
éb
Table des matières

Table des matières 2

1 Rappels et compléments d’intégration et probabilité 6

1.1 Intégrale de Lebesgue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2 Variables aléatoires et lois . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3 Inégalités de Markov, Cauchy – Schwarz, Hölder, Jensen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4 Convergences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.5 Fonction caractéristique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

he
1.6 Lemme de Borel – Cantelli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.7 Loi des grands nombres, théorème limite central, loi du logarithme itéré . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.8 Autour de la convergence en loi : lemme de Slutsky et méthode delta . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.9 Intégrabilité uniforme ou équi-intégrabilité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2 Espérance conditionnelle 16
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2 Construction lorsque la tribu est discrète . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.3 Construction pour les variables de carré intégrable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.4 Construction pour les variables positives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
uc
2.5 Construction pour les variables intégrables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.6 Propriétés de l’espérance conditionnelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.7 Espérance conditionnelle par rapport à une variable aléatoire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.8 Noyau conditionnel et loi conditionnelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.9 Construction alternative de l’espérance conditionnelle via théorème de Radon – Nikodým . . . . . . . . . . . . . . 23
2.10 Motivation pour la suite : processus de Galton – Watson, processus auto-regressif . . . . . . . . . . . . . . . . . . . . 24

3 Vecteurs aléatoires gaussiens 25

3.1 Définition et simulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2 Indépendance des composantes et densité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
a
3.3 Cas isotrope : théorème de Cochran, théorème de Maxwell, équation de la chaleur . . . . . . . . . . . . . . . . . . . 27
3.4 Espérance conditionnelle et loi conditionnelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

4 Martingales à temps discret 33

4.1 Processus, filtrations, martingales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
éb

4.2 Exemples de martingales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

4.3 Martingales comme modélisation de stratégies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.4 Temps d’arrêt et théorème d’arrêt de Doob . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.5 Arrêt optimal et enveloppe de Snell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.6 Tribu d’arrêt et propriété de martingale à des temps aléatoires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4.7 Décomposition de Doob et inégalité maximale de Doob . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.8 Convergence par la voie de carré intégrable (vallée de Doob) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.9 Convergence par la voie des montées et descentes (arête de Doob) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4.10 Martingales fermées ou uniformément intégrables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.11 Martingales rétrogrades ou renversées et application à la loi des grands nombres . . . . . . . . . . . . . . . . . . . . 53
4.12 Théorème limite central pour les martingales de carré intégrable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

5 Chaînes de Markov à temps et espace discrets 57

5.1 Suites récurrentes aléatoires et noyaux de transition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
5.2 Exemples de chaînes de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
5.3 Propriété de Markov forte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
5.4 Classification des états, récurrence et transience . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
5.5 Simulation des trajectoires : suites récurrentes aléatoires, générateur, puissances . . . . . . . . . . . . . . . . . . . . 65
5.6 Atteinte, absorption, harmonicité, martingales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
5.7 Chaînes irréductibles, mesures invariantes, récurrence positive, théorème ergodique . . . . . . . . . . . . . . . . . 69
5.8 Critère de Foster et fonction de Liapounov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
5.9 Loi des grands nombres ou théorème ergodique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

2
 5.10 Convergence en loi, période, couplage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
5.11 Estimation du noyau et de la mesure invariante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
5.12 Réversibilité et algorithme de Metropolis – Hastings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
5.13 Cas des espaces d’état finis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
5.14 Quelques exemples classiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
5.14.1 Processus de vie ou de mort sur N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
5.14.2 Marche aléatoire simple sur Zd . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
5.14.3 Urne d’Ehrenfest . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
5.14.4 Modèle de Wright – Fisher . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
5.14.5 Processus de Galton – Watson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

6 Processus de Poisson et chaînes de Markov à temps continu et espace discret 92

6.1 Processus de Bernoulli et lois géométriques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
6.2 Lois géométriques et lois exponentielles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
6.3 Lois exponentielles et processus de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
6.4 Propriété de Markov du processus de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
6.5 Structure des temps de saut et des accroissements du processus de Poisson . . . . . . . . . . . . . . . . . . . . . . . 96
6.6 Processus de Poisson comme limite de processus de Bernoulli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
6.7 Paradoxe de l’autobus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

he
6.8 Poissonisation d’une chaîne de Markov à temps discret . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
6.9 Chaînes de Markov à temps continu : construction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
6.10 Chaînes de Markov à temps continu : non-explosion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
6.11 Chaînes de Markov à temps continu : générateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
6.12 Chaînes de Markov à temps continu : semi-groupe et équations de Kolmogorov . . . . . . . . . . . . . . . . . . . . . 105
6.13 Chaînes de Markov à temps continu : synthèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
6.14 Files d’attentes et quelques autres exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106

7 Mouvement brownien 108

7.1 Caractérisations, martingales, invariance d’échelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
7.2 Variation des trajectoires et variation quadratique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
uc
7.3 Loi du zéro-un de Blumenthal et ses conséquences, loi de Bachelier – Lévy . . . . . . . . . . . . . . . . . . . . . . . . 114
7.4 Loi forte des grands nombres, invariance par inversion du temps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
7.5 Propriété de Markov, principe de réflexion, temps d’atteinte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
7.6 Construction avec le théorème de continuité de Kolmogorov, loi du logarithme itéré . . . . . . . . . . . . . . . . . . 119
7.7 Mesure de Wiener et mouvement brownien canonique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
7.8 Intégrale de Wiener . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
7.9 Vers les intégrales de Itô et de Stratonovich . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

A Variation totale sur espace au plus dénombrable 127

A.1 Formulations alternatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
a
A.2 Convergence étroite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128

B Modèles emblématiques issus de l’informatique, de la physique, et de la biologie 129

C Lexique bilingue 130

éb

D Chronologie 131

Bibliographie 132

3
Équipe pédagogique associée à ce cours :
— 2024 3– 2026 : Djalil Chafaï (cours), Alexis Metz–Donnadieu (travaux dirigés)
Ces notes ont bénéficié de relectures par Laëtitia Comminges et Arnaud Guyader

Ces notes sont une introduction à l’étude mathématique de processus stochastiques, c’est-à-dire à l’évolution
aléatoire au cours du temps d’un système au travers d’une succession d’étapes dans l’espace. La nature au sens
large est une grande pourvoyeuse de processus stochastiques, pour ceux qui savent les voir. Ces notes introduc-
tives de niveau master se focalisent sur les processus à temps discret, avec quelques incursions dans l’univers des
processus à temps continu, en évitant les complexions liées à la dimension infinie. Le modèle le plus emblématique
est peut-être celui des marches aléatoires, lié à une façon de faire des pas au hasard dans un espace donné. Il est
possible de marcher sur un groupe, un graphe, etc. Les cas additifs les plus élémentaires sont connectés aux théo-
rèmes limites standards sur les sommes de variables aléatoires indépendantes. Le coeur de ces notes est consacré à
deux structures d’évolution importantes : les martingales et les chaînes de Markov, à temps discret, qui vont au-delà
des sommes de variables indépendantes. Elles permettent de répondre aux questions naturelles du comportement
asymptotique en temps long, et du comportement trajectoriel comme les temps d’atteinte par exemple. Les proces-
sus stochastiques sont liés à des équations d’évolutions déterministes de lois, et donc aux systèmes dynamiques.
Grâce au phénomène limite central, la limite d’échelle ou vision de loin d’une marche aléatoire est un mouvement
brownien, objet incontournable des probabilités abordé dans un dernier chapitre. Ces notes de cours abordent

he
également au passage les notions d’uniforme intégrabilité, d’espérance conditionnelle, de vecteurs gaussiens, de
processus de Poisson, ainsi qu’une variété de modèles illustratifs issus de préoccupations concrètes.

Les noms propres qui figurent dans ces notes sont avant tout des conventions sociales de nommage, souvent
prises en l’honneur de contributeurs majeurs au domaine. Cependant, de nombreux contributeurs à la création,
mise en forme et diffusion des concepts ne sont pas apparents, comme par exemple Richard Edler von Mises.

Le prérequis incontournable est le cours d’intégration et probabilité de première année premier semestre.
uc
Ces notes de cours sont librement inspirées d’une variété de références, données en bibliographie, ainsi que de
considérations personnelles développées et accumulées au cours du temps, au fil du hasard et de la nécessité. . . Le
nombre de pages est volontairement limité. Les dessins qu’elles ne contiennent pas (encore ?) sont faits au tableau
en cours. Le cours oral comprend également des commentaires improvisés qui ne figurent pas dans ces notes.

« They say that Understanding ought to work by the rules of right reason. These rules are, or ought to be, contained
in Logic ; but the actual science of Logic is conversant at present only with things either certain, impossible, or entirely
doubtful, none of which (fortunately) we have to reason on. Therefore the true Logic for this world is the Calculus
a
of Probabilities, which takes account of the magnitude of the probability (which is, or which ought to be in a reaso-
nable man’s mind). This branch of Math., which is generally thought to favour gambling, dicing, and wagering, and
therefore highly immoral, is the only “Mathematics for Practical Men,” as we ought to be. »

James Clerk Maxwell (1831 — 1879), Letter to Lewis Campbell (1850)

éb

Extrait de The Life of James Clerk Maxwell, par L. Campbell et W. Garrett, Macmillan (1881) p. 80

« If you ask me about my innermost conviction whether our century will be called the century of iron or the century
of steam or electricity, I answer without hesitation : It will be called the century of the mechanical view of Nature, the
century of Darwin. »

Ludwig Boltzmann (1844 – 1906), Vienne (1886) Der zweite Hauptsatz der mechanischen Wärmetheorie
Tiré de Lecture at the Festive Session, Imperial Academy of Sciences

« Uhlenbeck’s attitude to Wiener’s work was brutally pragmatic and it is summarized at the end of footnote 9 in
his paper (written jointly with Ming Chen Wang) “On the Theory of Brownian Motion II” (1945) : the authors are
aware of the fact that in the mathematical literature, especially in papers by N. Wiener, J. L Doob, and others [cf. for
instance Doob (Annals of Mathematics 43, 351 1942) also for further references], the notion of a random (or stochastic)
process has been defined in a much more refined way. This allows [us], for instance, to determine in certain cases the
probability that the random function y(t) is of bounded variation or continuous or differentiable, etc. However it
seems to us that these investigations have not helped in the solution of problems of direct physical interest and we
will therefore not try to give an account of them. »

Mark Kac (1914 – 1984) à propos de George Uhlenbeck (1900 – 1988)

Tiré de Enigmas of Chance : an autobiography (1984)

4
Organisation de l’année 2025 – 2026

Créneaux horaires

— 3h = 2 x 1.5h de CM et 2h de TD par semaine

— Les CMs ont lieu le mercredi 10h45–12h15 (amphi Galois) et le jeudi 11h–12h30 (salle Cartan)
— Deux créneaux de TDs : le vendredi 15h30–17h30 (Bourbaki)

Ressources pédagogiques

Les notes de cours, feuilles de TD, DM, et annales se trouvent sur [Link]

he
Calendrier prévisionnel des cours

— Semaine 1
Me 10/09 : Rappels et compléments d’intégration et probabilités
Je 11/09 : Rappels et compléments d’intégration et probabilités
— Semaine 2
Me 17/09 : Conditionnement
Je 18/09 : Conditionnement
— Semaine 3
Me 24/09 : Conditionnement, Vecteurs aléatoires gaussiens
uc
Je 25/09 : Vecteurs aléatoires gaussiens
— Semaine 4
Me 01/10 : Martingales
Je 02/10 : Martingales
— Semaine 5
Me 08/10 : Martingales
Je 09/10 : Martingales
— Semaine 6
Me 15/10 : Martingales
Je 16/10 : Martingales
— Semaine 7
a
Me 22/10 : Martingales, Chaînes de Markov
Je 23/10 : Chaînes de Markov
— Vacances (semaine 27/10 – 31/10)
— Partiel (semaine 03/11 – 07/11) Durée : 2h, exercices
— Semaine 8
Me 12/11 : Chaînes de Markov
éb

Je 13/11 : Chaînes de Markov

— Semaine 9
Me 19/11 : Chaînes de Markov
Je 20/11 : Chaînes de Markov
— PSL-Week (semaine 24/11 – 28/11)
— Semaine 10
Me 03/12 : Chaînes de Markov
Je 04/12 : Chaînes de Markov
— Semaine 11
Me 10/12 : Processus de Poisson et chaînes de Markov à temps continu
Je 11/12 : Processus de Poisson et chaînes de Markov à temps continu
— Semaine 12
Me 17/12 : Processus de Poisson et chaînes de Markov à temps continu
Je 18/12 : Processus de Poisson et chaînes de Markov à temps continu
— Vacances (semaines du 22/12 et du 02/01)
— Semaine 13
Me 07/01 : Mouvement brownien
Je 08/01 : Mouvement brownien
— Semaine 14
Me 14/01 : Mouvement brownien
Je 15/01 : Mouvement brownien
— Examen (semaine 19/01 – 23/01) Durée : 3h, exercices, problème

5
Chapitre 1

Rappels et compléments d’intégration et probabilité

Prérequis : cours d’intégration et probabilités de L3, à base d’intégrale de Lebesgue.

Les démonstations non abordées dans ce chapitre se trouvent pas exemple dans [29] et [33].

Dans toutes ces notes, les espaces L p sont, sauf mention explicite du contraire, relatifs à un espace de probabi-
lité, par défaut noté (Ω, A , P) si nécessaire. En particulier, ils contiennent les constantes, et sont emboîtés.

he
1.1 Intégrale de Lebesgue

L’intégrale de Lebesgue a du succès car elle possède des théorèmes de convergence simples et efficaces : théo-
rème de convergence monotone, lemme de Fatou, et théorème de convergence dominée. Elle est de plus bien
adaptée aux probabilités car elle permet de mathématiser efficacement l’information avec la notion d’événement,
de tribu, et d’indépendance (théorie de la mesure de Borel et axiomatique de Kolmogorov), maisRaussi d’englober
dans le même formalisme les mesures discrètes µ(A) = i :ai ∈A m i et les mesures à densité µ(A) = A f (x)dx, et leur
P

combinaison, essentielle à la modélisation probabiliste. Le théorème de décomposition de Lebesgue affirme que si

uc
µ est une mesure sur R muni de sa tribu borélienne, alors

µ = µdens + µsing + µdisc ,

où µdens est absolument continue par rapport à la mesure de Lebesgue (à densité), µsing est sans atomes et singu-
lière par apport à la mesure de Lebesgue, et µdisc est discrète (purement atomique).
Sur un groupe topologique localement compact, muni de sa tribu borélienne, il existe à dilatation près une
unique mesure invariante par translation, appelée mesure de Haar. Sur Rd il s’agit de la mesure de Lebesgue.
a
1.2 Variables aléatoires et lois

En général, les variables aléatoires interviennent à travers leur loi. Cela conduit aux problèmes suivants :
1. Partant d’une mesure de probabilité µ sur un espace mesurable (E , E ), construire un espace de probabilité
éb

(Ω, A , P), et une variable aléatoire X : Ω → E de loi µ, les plus simples ou naturels possibles. La construction
canonique consiste à prendre (Ω, A , P) = (E , E , µ) et X = Id.
2. Même problème mais avec deux mesures de probabilités µ et ν sur (E , E ) et (F, F ), et la construction d’un
couple (X , Y ) de variables aléatoires sur un même espace, de lois marginales µ et ν. On parle de couplage.
Lorsque dans une rédaction, on introduit une variable aléatoire, puis une autre, indépendante, l’espace de
probabilité souvent implicite de définition de la première variable aléatoire ne suffit plus forcément, et doit
être élargi pour inclure la seconde, un couplage a ainsi lieu, parfois à l’insu du lecteur, voire de l’auteur ! La
construction canonique consiste à considérer l’espace produit (Ω, A , P) := (E × F, E ⊗ F , µ ⊗ ν) ce qui réalise
X et Y comme les deux projections canoniques, à marges indépendantes.
3. Même problème mais avec la contrainte X = f (U ) où U est une variable aléatoire de loi uniforme sur [0, 1]. Il
s’agit de préciser à la fois f et l’espace sur lequel U est définie, et de minimiser la complexité algorithmique
d’évaluation de f . On parle de problème de la simulation. De manière équivalente, on peut remplacer U par
une suite de v.a.i.i.d. de loi de Bernoulli symétriques sur {0, 1} (bits).
L’indépendance des variables est équivalente à la structure produit de leur loi jointe.
Fondamental : si X : Ω → E est une variable aléatoire définie sur l’espace de probabilité (Ω, A , P) et à valeurs
dans l’espace mesurable (E , E ) alors pour toute fonction h : E → R mesurable, positive ou bornée,
Z Z
E(h(X )) = h(X (ω))P(dω) = h(x)µ(dx)
Ω E

6
où µ est la loi de X , mesure image de P par X . C’est une mesure de probabilité sur (E , E ). La formule consiste à
réécrire la somme en regroupant par paquets correspondants aux valeurs prises par X . On parle de théorème ou
lemme du transfert ou du transport. La formule reste valable pour h tel que h(X ) est intégrable.
Dans toute la suite, les variables aléatoires (v.a.) sont par défaut réelles : E = R, E est la tribu borélienne.
Réflexes basiques :
— sommes, intégrales, et espérances sont de même nature
— les probabilités sont des espérances comme les autres : P(A) = E(1 A )
— compter revient à sommer des indicatrices, diviser pour régner : 1 = 1 A + 1 A c
— théorème de Fubini – Tonelli pour commuter sommes/intégrales/espérances

1.3 Inégalités de Markov, Cauchy – Schwarz, Hölder, Jensen

Inégalité de Markov. Si X est une v.a. ≥ 0, U (X ) ≥ 0, U croissante, alors pour tout r > 0,
E(U (X ))
U (r )1{X ≥r } ≤ U (X ) d’où P(X ≥ r ) ≤ .
U (r )
Cela permet de contrôler la queue de distribution avec les moments. Réciproquement, si U est C 1 , alors

he
Z ∞ Z ∞
E(U (X )) = U (0) + U ′ (t )P(X ≥ t )dt , en particulier 1 E(X ) = P(X ≥ t )dt .
0 0
2
Inégalité de Cauchy – Schwarz. Si X , Y ∈ L alors
E(X Y ) ≤ E(|X |2 )1/2 E(|Y |2 )1/2 , dans [0, ∞].
Égalité ssi X et Y sont colinéaires. Il s’agit d’une propriété typique des espaces de Hilbert, ici L 2 .
Inégalité de Hölder. Si r, p, q ∈ [1, +∞] et 1/r = 1/p + 1/q alors (donne CS pour r = 1 et p = 2)
E(|X Y |r )1/r ≤ E(|X |p )1/p E(|Y |q )1/q , dans [0, ∞].
uc
Comme P mesure finie, les constantes sont dans tout L p , et donc L p 2 ⊂ L p 1 si p 1 ≤ p 2 . En particulier L ∞ ⊂ L 2 ⊂ L 1 .
Inégalité de Jensen. Si U : Rd → R est convexe et X ∈ L 1 avec U (X ) ∈ L 1 alors
U (E(X )) ≤ E(U (X )).
Égalité, quand U est strictement convexe, ssi X est déterministe. Ex. : U (x) = x p , p > 1, U (x) = ec x , c ∈ R.

1.4 Convergences

Soit (X n )n≥1 des v.a. définies sur un même espace de probabilité (Ω, A , P), de lois µn , µ respectivement.
a
p.s.
Convergence presque sûre. On dit que X n −→ X lorsque
P( lim X n = X ) = 1
n→∞
éb

2
c’est-à-dire que P({ω ∈ Ω : limn→∞ X n (ω) = X (ω)}) = 1. Utilisé dans la loi forte des grands nombres.
P
Convergence en probabilité. On dit que X n −→ X lorsque
∀ε > 0, lim P(|X n − X | ≥ ε) = 0,
n→∞

c.-à-d. que limn→∞ P({ω ∈ Ω : |X n (ω) − X (ω)| ≥ ε}) = 0. Utilisé dans la loi faible des grands nombres.
Lp
Convergence en moyenne. Pour tout p ∈ [1, ∞), on dit que X n −→ X lorsque
X ∈ Lp et lim E(|X n − X |p ) = 0,
n→∞

c’est-à-dire que X n → X dans L p . En pratique, dans la plupart des cas, p ∈ {1, 2, 4}.
loi d étr.
Convergence en loi. On dit que X n −→ X , ou X n −→ µ (convergence en distribution), ou µn −→ µ (convergence
étroite) lorsque pour tout f : R → R continue et bornée,
lim E( f (X n )) = E( f (X )).
n→∞

Utilisé dans le théorème limite central. Il est possible de remplacer les fonctions test continues et bornées par
diverses classes de fonctions tests, paramétriques ou pas, et on parle alors parfois de théorème de Portemanteau 3 .
Dans le cas paramétrique, cela correspond alors à une convergence ponctuelle de transformée de la mesure.
1. Lorsque X est discrète : P(X ∈ N) = 1, cela donne E(X ) = ∞ n=0 P(X > n).
P

2. L’événement considéré est bien mesurable car l’espace topologique R est à base dénombrable de voisinages.
3. Il s’agit d’un canular de Billingsley dans [7], car ce théorème est en réalité dû à Alexandrov semble-t-il.

7
 — fonctions test C ∞ et à support compact.
— fonctions trigonométriques eit · , t ∈ R (fonction caractétistique ou transformée de Fourier).
— fonctions indicatrices 1(−∞,x] , x point de continuité de F X (fonction de répartition).
— fonctions exponentielles e−t · , t ∈ R+ (transformée de Laplace, v.a. positives).
— fonctions géométriques s · , s ∈ [0, 1] (fonction génératrice, v.a. discrètes sur N).
En revanche, les classes suivantes ne conviennent pas pour la convergence en loi :
— fonctions mesurables et bornées (classe trop grande).
— polynômes (sauf cas spécial comme support compact par exemple).
La convergence en loi ne nécessite pas que les variables possèdent des moments. En revanche, la topologie de
la convergence en loi renforcée par la convergence des moments jusqu’à l’ordre p correspond exactement à la
convergence pour la distance de couplage de Kantorovich – Monge – Wasserstein, liée au transport optimal.
Attention, la convergence en moyenne d’ordre p entraîne la convergence des moments jusqu’à l’ordre p. En
revanche, ce n’est pas le cas des convergence presque sûre, en probabilité, et en loi en général. En particulier, la
convergence de tous les moments est un mode de convergence spécial à distinguer des autres.
Au contraire des autres types de convergence, la convergence en loi ne dépend pas de la loi du couple (X n , X )
et n’utilise que les lois marginales. Le couplage n’est donc pas vu par ce type de convergence.
Théorème de convergence monotone. Si (X n )n≥1 prend ses valeurs dans [0, ∞] et ↗ alors

he
E( lim X n ) = lim E(X n ) ∈ [0, ∞].
n→∞ n→∞

Lemme de Fatou. Si (X n )n≥1 prend ses valeurs dans [0, ∞] alors

E( lim X n ) ≤ lim E(X n ) ∈ [0, ∞].
n→∞ n→∞

En particulier si 0 ≤ X n → X p.s. et (X n ) bornée dans L alors E(X ) ≤ limn→∞ E(X n ), d’où X ∈ L 1 .

1
p.s.
Théorème de convergence dominée. Si X n −→ X et supn |X n | ≤ Y , E(Y ) < ∞, alors
L1
X ∈ L1 et X n −→ X , et en particulier lim E(X n ) = E( lim X n ) = E(X ).
uc
n→∞ n→∞

Théorème 1.4.1. Relations entre convergences.

Lp
⇓
L1
⇓
p.s. ⇒ en P ⇒ en loi
a
Démonstration. L’inégalité de Hölder permet d’établir que la convergence en moyenne d’ordre q ≥ 1 implique la
convergence en moyenne d’ordre 1 ≤ p ≤ q car en notant 1/r = 1/p − 1/q :
E(|X n − X |p )1/p ≤ E(|X n − X |q )1/q E(1r )1/r = E(|X n − X |q )1/q .
éb

L’inégalité de Markov fait passer de la convergence en moyenne à la convergence en probabilités :

E(|X n − X |p )
P(|X n − X | ≥ ε) ≤ .
εp
On passe de la convergence presque sûre à la convergence en probabilité en traduisant tout d’abord les quantifica-
teurs ∀ et ∃ par ∩ et ∪ comme suit : {limn→∞ X n = X } = ∩∞ ∪∞ ∩
k=1 m=1 n≥m
{|X n − X | ≤ 1/k}, puis en observant que par
monotonie, pour tout k fixé :
1 = P( lim X n = X ) ≤ P(∪∞
m=1 ∩n≥m {|X n − X | ≤ 1/k}) = lim P(∩n≥m {|X n − X | ≤ 1/k}) ≤ lim P(|X n − X | ≤ 1/k).
n→∞ m→∞ n→∞
P loi
Si X n −→ X alors X n −→ X car pour toute f continue et périodique ou à support compact, f est uniformément
continue par le théorème de Heine, et donc pour tout η > 0, il existe ε > 0 tel que | f (x) − f (y)| ≤ η si |x − y| ≤ ε, d’où
|E( f (X n )) − E( f (X ))| ≤ E(| f (X n ) − f (X )|)
= E(| f (X n ) − f (X )|1|X n −X |<ε ) + E(| f (X n ) − f (X )|1|X n −X |≥ε )
≤ η + 2 ° f ° P(|X n − X | ≥ ε).
° °
∞

On peut donc choisir η assez petit, ce qui donne ε, puis n assez grand.
Raccourci. Le théorème de convergence dominée permet de déduire la convergence en loi de la convergence
presque sûre sans passer par la convergence en probabilité. ■

8
 Remarque 1.4.2. Réciproques.

1. Si X est constante (et égale p.s. à c) alors la convergence en loi entraîne la convergence en probabilité :
si f c,ε : R 7→ R+ est continue bornée avec f (c) = 0 et 1(c−ε,c+ε)c ≤ f c,ε alors

P(|X n − X | ≥ ε) = E(1(c−ε,c+ε)c (X n )) ≤ E( f c,ε (X n )) → E( f c,ε (c)) = 0.

2. Si une suite converge en probabilité vers une variable aléatoire intégrable, alors elle converge en
moyenne d’ordre 1 ssi est elle uniformément intégrable (u.i.) cf. section dédiée.

Exemple 1.4.3. Contrexemples.

1. Convergence en probabilité ̸⇒ presque sûrement : suite tournante sur [0, 1]. Posons X m+k =
P
1[k,k+1)/m (U ) pour 0 ≤ k < m et m ≥ 1, où U est uniforme sur [0, 1]. On a alors X n −→ 0 mais (X n )n≥1
ne converge pas p.s. car « tous les ω voient passer des 0 et des 1 une infinité de fois ». Autre exemple
moins artificiel : X n = 1/(1 + |S n |) avec S n marche aléatoire simple, qui converge en probabilité vers 0
car S n s’étale de plus en plus, mais ne converge pas p.s. en raison des retours à 0 (récurrence).

he
2. Convergence en loi ̸⇒ en probabilité. Soit G une v.a. de loi gaussienne N (0, 1). Pour tout n ≥ 1, po-
sons X n := G et soit X := −G. La suite (X n )n≥1 converge en loi vers X . En revanche elle ne peut pas
converger en probabilité, car P(|X n − X | ≥ ε) = P(2|G| ≥ ε) ̸→ 0 quand n → ∞, pour tout ε > 0.
3. Convergence en probabilité ̸⇒ en moyenne. On pose X n = n1[0,1/n] (U ) où U uniforme sur [0, 1]. On a
P
P(|X
R 1 n − 0| ≥ ε) = P(U ≤ 1/n) = 1/n → 0 pour tout ε > 0 et donc X n −→ 0. Cependant, E(|X n − 0|) =
n 0 1[0,1/n] (u)du = 1 ̸→ 0 et donc (X n )n≥1 ne converge pas en moyenne vers 0.

Remarque 1.4.4. Stabilités des convergences.

uc
Les convergences p.s., en probabilité, et en moyenne sont stables par combinaisons linéaires finies. Les
convergences p.s., en probabilité et en loi sont stables par composition avec une fonction continue.

Remarque 1.4.5. Extension aux vecteurs aléatoires.

Les trois premiers types de convergence s’étendent naturellement aux vecteurs aléatoires et au-delà, avec
une distance ou une norme par exemple.
a
Remarque 1.4.6. Métriques.

Les convergences en moyenne d’ordre p, en probabilité, et en loi sont métriques ou métrisables, tandis que
la convergence p.s. ne l’est pas.
éb

1.5 Fonction caractéristique

La fonction caractéristique d’un vecteur aléatoire X de Rd de loi µ est définie par

Z
t ∈ Rd 7→ ϕ X (t ) = E(ei〈t ,X 〉 ) = ei〈t ,x〉 µ(dx).

1. Elle ne dépend que de la loi de X , et constitue sa transformée de Fourier.

2. Elle est continue, bornée par 1, et ϕ(0) = 1.
3. Elle caractérise la loi : X et Y de même loi ssi ϕ X = ϕY (tomographie, théorème de Cramér – Wold 4 ).
4. Elle caractérise la convergence en loi : X n → X en loi ssi ϕ X n (t ) → ϕ X (t ) pour tout t .
De plus, si ϕ X n (t ) → ϕ(t ) pour tout t , avec ϕ continue en 0, alors il existe une variable aléatoire X telle que
ϕ X = ϕ et X n → X en loi (théorème de continuité de Cramér – Lévy).
5. Elle caractérise l’indépendance : X et Y indépendants ssi ϕ(X ,Y ) (s, t ) = ϕ X (s)ϕY (t ) pour tous s, t
6. Elle est très commode pour les sommes de v.a.i.i.d. : ϕ X 1 +···+X n (t ) = ϕ X 1 (t )n .
4. Si X est un vecteur aléatoire de Rn alors projRt (X ) = 〈t , X 〉t pour tout t ∈ Rn tel que |t | = 1, et ϕ X (t ) = ϕ〈 t (|t |) pour tout t ∈ Rn .
|t | ,X 〉

9
 7. Si X a un moment d’ordre n, alors ϕ X est C n (R, C), et ϕ(k)
X
(0) = ik E(X k ) pour tout k ≤ n. Réciproquement, si
ϕ X est dérivable n fois en 0, alors X possède un moment d’ordre n si n est pair et d’ordre n −1 si n est impair.
8. C’est en fait le dual de Rn qui intervient pour transformer X en la v.a. 〈t , X 〉 via ℓ(x) := 〈t , x〉.
9. Elle ne fait que tester la loi de X sur les fonctions test trigonométriques x 7→ ei〈t ,x〉 . En fonction du contexte,
d’autres classes de fonctions tests conduisent à d’autres transformées qui peuvent rendre des services simi-
laires : fonction de répartition et fonction de masse (indicatrices), fonction génératrice (puissance), transfor-
mée de Laplace (exponentielle), transformée de Cauchy – Stieltjes (inversion), etc.

1.6 Lemme de Borel – Cantelli

Pour une suite (A n )n d’événements d’un espace de probabilité (Ω, A , P), on pose

lim A n := ∪n ∩m≥n A m = {ω ∈ Ω : ω ∈ A n à partir d’un certain rang sur n},

n

lim A n := ∩n ∪m≥n A m = {ω ∈ Ω : ω ∈ A n pour une infinité de valeurs de n}.

n

On a (limn A cn )c = limn A n . D’autre part limn 1 A n = 1lim A et limn 1 A n = 1limn A n .

he
n n

1. (Cantelli) si n P(A n ) < ∞ alors P(limn A n ) = 0.

P

2. (Loi du zéro-un de Borel) si n P(A n ) = ∞ et les (A n )n sont indépendants alors P(lim A n ) = 1.

P

Le lemme de Borel – Cantelli est un grand pourvoyeur de presque sûr. Mieux : si X prend ses valeurs dans [0, ∞]
alors E(X ) < ∞ implique X < ∞ p.s., et ceci permet d’établir la partie Cantelli :
nX o
P(A n ) = E1 A n = E 1 A n et 1 A n = ∞ = lim A n .
X X X
n n n n n
uc
Remarque 1.6.1. Convergence en probabilité sommable et convergence presque sûre.

Le lemme de Borel – Cantelli indique que la convergence en probabilité sommable implique la convergence
presque sûre : si n P(|X n − X | ≥ ε) < ∞ pour tout ε > 0, alors presque sûrement |X n − X | < ε pour n assez
P

grand, et donc, en prenant ε = 1/k, il vient que presque sûrement, X n → X . En particulier, de toute suite
convergeant en probabilité en peut extraire une sous-suite convergeant presque sûrement.

Remarque 1.6.2. Presque sûr.

a
Beaucoup de comportements p.s. passent au bout du compte par les propriétés élémentaires suivantes : si
X prend ses valeurs dans [0, ∞] alors E(X ) = 0 implique X = 0 p.s. tandis que E(X ) < ∞ implique X < ∞ p.s.
éb

1.7 Loi des grands nombres, théorème limite central, loi du logarithme itéré

Loi forte des grands nombres (LGN). Si X ∈ L 1 et X 1 , X 2 , . . . sont des copies i.i.d. de X alors, avec m := E(X ),

X 1 + · · · + X n p.s. X 1 + · · · + X n L1
−→ m et −→ m.
n n→∞ n n→∞

Théorème limite central (TLC). Si de plus X ∈ L 2 , alors, avec σ2 = Var(X ) = E((X − m)2 ) = E(X 2 ) − m 2 ,
p ³
n X1 + · · · + Xn ´ X −m +···+ X −m
1 n loi
−m = p −→ N (0, 1).
σ n nσ n→∞

X 1 +···+X n P
Ceci implique une loi faible des grand nombres : n −→ m, par le lemme de Slutsky ci-dessous.
n→∞
Loi du logarithme itéré (LLI). Sous les hypothèses et avec les notations du TLC, presque sûrement
p
n ³ X +···+ X
1 n
´
lim Zn = 1 et lim Zn = −1 où Zn := −m .
σ 2 log log(n)
p
n→∞ n→∞ n

loi P
Or par le TLC et le lemme de Slutsky, Zn −→ δ0 , donc Zn −→ 0, et on peut donc extraire ne sous-suite qui converge
n→∞ n→∞
p.s. vers 0. Ceci ne contredit pas la LLI, qui ne fait que préciser que les valeurs d’adhérence p.s. extrêmes sont ±1.
D’autres théorèmes limites, comme les principes de grandes déviations, sont présentés dans [12]. 1→2

10
1.8 Autour de la convergence en loi : lemme de Slutsky et méthode delta

La convergence en loi est stable par déformation continue 5 : si X n → X en loi alors f (X n ) → f (X ) en loi, pour
toute fonction continue f . En effet, cela découle du fait que g ◦ f ∈ C b pour tout g ∈ C b .

Théorème 1.8.1. Lemme de Slutsky.

Si X n → X en loi et Yn → Y en loi avec Y constante alors (X n , Yn ) → (X , Y ) en loi.

loi loi loi

En particulier, X n Yn −→ X Y ; X n +Yn −→ X +Y ; X n /Yn −→ X /Y si Y ̸= 0. Cela permet notamment de remplacer
une moyenne ou une variance par un estimateur empirique dans un théorème de convergence en loi comme le
TLC, ce qui s’avère pratique pour fabriquer une région de confiance ou un test d’hypothèse statistique :
p ³
n X1 + · · · + Xn ´
loi loi
− m −→ N (0, 1) pour tout estimateur σ
b n −→ σ.
σ
bn n n→∞ n→∞

Démonstration. Comme Y est constante, Yn → Y en probabilité, d’où, en utilisant également la continuité uni-
forme de u 7→ eiu (théorème de Heine), il vient, pour tous s, t ∈ R et tout ε > 0, avec le paramètre η = η(ε) > 0 donné

he
par la continuité uniforme et pour n ≥ N (η, ε) où le seuil N (η, ε) est donné par la convergence en probabilité,

|E(eit X n +isYn ) − E(eit X n +isY )| ≤ 2P(|Yn − Y | ≥ η) + E(|eisYn − eisY |1|Yn −Y |<η ) ≤ 2ε + ε,

tandis que d’autre part, comme Y est constante et X n → X en loi,

E(eit X n +isY ) = E(eit X n )E(eisY ) −→ E(eisY )E(eit X ) = E(eit X +isY ).

n→∞

Cette preuve indique que le lemme de Slutsky se généralise au cas où Yn → Y en loi avec Y indépendante de X . ■
uc
Théorème 1.8.2. Méthode delta.

loi
Si a n (X n − b n ) −−−−→ L avec a n → ∞ et b n → b déterministes, alors pour toute f ∈ C 1 (R, R),
n→∞

loi
a n ( f (X n ) − f (b n )) −→ Loi( f ′ (b)Z ) où Z ∼ L.
n→∞

Plus généralement, si f ∈ C m (R, R), m ≥ 1, et f (k) (b) = 0 pour tout 1 ≤ k ≤ m − 1, alors

³ f (m) (b)
a
´
loi
a nm ( f (X n ) − f (b n )) −→ Loi Zm où Z ∼ L.
n→∞ m!

Cela permet par exemple de déduire un résultat de fluctuation asymptotique à partir d’un autre, comme le TLC.
éb

Démonstration. Le théorème des accroissements finis sous forme d’égalité donne 6 f (X n )− f (b n ) = f ′ (Yn )(X n −b n )
avec Yn v.a. à valeurs entre X n et b n . Comme a n → ∞ et a n (X n − b n ) → L en loi, le lemme de Slutsky donne (X n −
b n ) → 0 en loi, donc en probabilité, donc Yn → b en probabilité, donc f ′ (Yn ) → f ′ (b) en probabilité, et le lemme de
Slutsky à nouveau donne le résultat pour m = 1. Même méthode pour m ≥ 1 avec une formule de Taylor. ■

1.9 Intégrabilité uniforme ou équi-intégrabilité

Pour toute variable aléatoire X , le théorème de convergence dominée indique que

X ∈ L1 ssi lim E(|X |1|X |≥R ) = 0.

R→+∞

C’est une caractérisation de l’intégrabilité par troncaturabilité. Voici une version uniforme pour les familles de v.a. :

Théodéf 1.9.1. Familles uniformément intégrables (u.i.).

Pour une famille (X i )i ∈I ⊂ L 1 , les propriétés suivantes sont équivalentes :

(i) (définition) limR→+∞ supi ∈I E(|X i |1|X i |≥R ) = 0.

5. En anglais on parle de continuous mapping theorem.

6. Pour rendre f ′ (Yn ) mesurable, considérer par exemple le plus petit Yn réalisant l’égalité des accroissements finis.

11
 (ii) (critère epsilon-delta) bornitude dans L 1 : supi ∈I E(|X i |) < ∞, et ∀ε > 0, ∃δ > 0, ∀A ∈ A ,

P(A) ≤ δ ⇒ sup E(|X i |1 A ) ≤ ε.

i ∈I

(iii) (critère de de la Vallée Poussin) il existe ϕ : R+ → R+ mesurable telle que

ϕ(x)
lim = +∞ et sup E(ϕ(|X i |)) < ∞.
x→+∞ x i ∈I

On dit alors que la famille (X i )i ∈I est uniformément intégrable (u.i.) ou équi-intégrable.

De plus, dans ce cas, la propriété (iii) est réalisable avec ϕ croissante, convexe, et à croissance modérée :

ϕ(x) ≤ x 2 pour tout x ≥ 0.

ϕ(x)
Soit Φ l’ensemble des ϕ : R+ → R+ croissantes telles que limx→+∞ x = +∞. Exemple : x 7→ x p , p > 1.
Si (X i )i ∈I vérifie supi ∈I E(ϕ(|X i |)) < ∞ pour un ϕ ∈ Φ, alors (X i )i ∈I est bornée dans L 1 .

he
Démonstration. Preuve de (i)⇒(ii). Pour la bornitude dans L 1 , pour tout i ∈ I , et R ≥ 0 assez grand,

E(|X i |) = E(|X i |1|X i |<R ) + E(|X i |1|X i |≥R ) ≤ R + sup E(|X i |1|X i |≥R ) < ∞.
i ∈I

Ensuite, par hypothèse, pour tout ε > 0, il existe R ε tel que supi ∈I E(|X i |1|X i |≥R ) ≤ ε pour tout R ≥ R ε . Par conséquent,
si A ∈ A vérifie P(A) ≤ δε := ε/R ε , alors pour tout i ∈ I ,

E(|X i |1 A ) = E(|X i |1|X i |<Rε 1 A ) + E(|X i |1|X i |≥Rε 1 A ) ≤ R ε P(A) + ε ≤ 2ε.

Preuve de (ii)⇒(i). Fixons ε > 0, et soit δ > 0 comme dans (ii). Comme (X i )i ∈I est bornée dans L 1 , pour tout j ∈ I , si
uc
A j := {|X j | ≥ R}, alors, par l’inégalité de Markov, P(A j ) ≤ R −1 supi ∈I E(|X i |) ≤ δ pour R assez grand, uniformément
en j ∈ I , et l’hypothèse pour A = A j donne limR→+∞ supi , j ∈I E(|X i |1|X j |≥R ) = 0.
Preuve de (iii)⇒(i). Pour tout ε > 0, comme ϕ ∈ Φ, par définition, il existe R ε ≥ 0 tel que |x| ≤ εϕ(|x|) si |x| ≥ R ε , d’où

sup E(|X i |1|X i |≥Rε ) ≤ ε sup E(ϕ(|X i |)1|X i |≥Rε ) ≤ ε sup E(ϕ(|X i |)).
i ∈I i ∈I i ∈I

Preuve de (i)⇒(iii). Pour une suite (x m )m≥1 ↗ +∞ à déterminer, considérons la fonction positive 7

ϕ(x) = (x − x m )+ .
X
a
m≥1

Elle est croissante et convexe. De plus, par convergence monotone (pour la mesure de comptage),

ϕ(x) x m ´+
éb

X³ X
= 1− ↗ 1 = ∞.
x m≥1 x x→+∞ m≥1

Il reste à observer qu’en choisissant x m grâce à l’hypothèse tel que E(|X i |1|X i |≥xm ) ≤ 2−m , il vient
X −m
E(ϕ(|X i |)) ≤ E(|X i |1|X i |≥xm ) ≤
X
2 = 1 < ∞.
m≥1 m≥1

Ceci n’est pas abordé en priorité lors du cours oral.

Il est possible de remplacer 2−m par toute autre quantité sommable en m. Alternativement, il est possible
de rechercher ϕ dans la famille des fonctions linéaires par morceaux de la forme
Z x ∞
ϕ(x) = ϕ′ (t )d t avec ϕ′ = u n 1[n,n+1) 1xm ≤n .
X X
et u n =
0 n=1 m≥1

On a ϕ ∈ Φ car limn→∞ u n = +∞. De plus, comme ϕ ≤

P∞
n=1 (u 1 + · · · + u n )1[n,n+1) , on a, pour tout i ∈ I,
∞
E(ϕ(|X i |)) ≤
X
(u 1 + · · · + u n )P(n ≤ |X i | < n + 1)
n=1

7. Superposition de translatées de la fonction ReLU, non-linéarité convexe élémentaire.

12
 ∞
u n P(|X i | ≥ n)
X
=
n=1
P(|X i | ≥ n)
X X
=
m≥1 n≥x m
X X
≤ nP(n ≤ |X i | < n + 1)
m≥1 n≥x m
E(|X i |1|X i |≥xm )
X
≤
m≥1
2−m < ∞
X
≤
m≥1

où la dernière inégalité large a lieu car supi ∈I E(|X i |1|X i |≥xm ) ≤ 2−m . La fonction ϕ est croissante et convexe.
Reste à faire en sorte d’obtenir une croissane modérée. On observe tout d’abord que pour tout x ≥ 0,

ϕ′ (2x) ≤ cϕ′ (x),

avec c = 2. En effet, on peut prendre x m arbitrairement grand, par exemple tel que pour tout n ≥ 1,

he
1n<xm ≤2n ≤ 2u n .
X
u 2n ≤ u n +
m≥1

Par conséquent, la fonction ϕ est à croissance modérée car avec C := 2c,

Z 2x Z x
ϕ(2x) = g (u)du = g (2t ) 2d t ≤ 2cϕ(x) = C ϕ(x).
0 0

À présent ϕ(x) ≤ C 1+k ϕ(2−k x) pour tout k ≥ 1, et avec k = k x = ⌈log2 (x)⌉, on obtient
uc
ϕ(x) ≤ C 2C log2 (x) ϕ(1) = C 2 ϕ(1)2log2 (C ) log2 (x) = C 2 ϕ(1)x log2 (C ) .

Comme on peut prendre c = 2, on obtient C = 4, ce qui permet ϕ(x) ≤ x 2 par dilatation.

Exemple 1.9.2. Exemples de familles u.i.

— Toute partie finie de L 1 est u.i. par convergence dominée.

— Plus généralement, si |X i | ≤ X pour tout i ∈ I avec X ∈ L 1 (domination a ) alors (X i )i ∈I est u.i. En
a
effet, pour tout i ∈ I et tout R > 0, |X i |1|X i |≥R ≤ |X |1|X |≥R donc supi ∈I E(|X i |1|X i |≥R ) ≤ E(|X |1|X |≥R ) → 0
quand R → +∞ par convergence dominée car X ∈ L 1 .
— Le caractère u.i. est stable par réunion finie de familles u.i., également par prise d’enveloppe
convexe, mais n’est pas stable par prise d’espace vectoriel engendré en général.
éb

— (|X i |)i ∈I est u.i. ssi (X i )i ∈I est u.i.

Lp
— Pour tout p ≥ 1, si X ∈ L p et X n → X , alors (|X n |p )n≥1 ∪{|X |p } et (|X n − X |p )n≥1 sont u.i. En effet, pour
tout ε > 0, soit n tel que supk≥n E(|X k − X |p ) ≤ ε. Soit δ > 0 du critère epsilon-delta pour la famille
finie {|X 1 − X |p , . . . , |X n − X |p }. Pour tout A ∈ A t.q. P(A) ≤ δ,
³ ´
sup E(|X n − X |p 1 A ) ≤ max max E(|X k − X |p 1 A ); sup E(|X k − X |p ) ≤ ε.
n≥1 k≤n k≥n

— Une famille bornée dans L p pour un réel p > 1 est toujours u.i., conséquence du critère de de la
Vallée Poussin. Ce critère est souvent utilisé avec p = 2 (second moment des v.a.). En revanche, une
famille bornée dans L 1 n’est pas forcément u.i., il manque quelque chose ! Les martingales étudiées
dans le chapitre 4 fournissent de multiples contrexemples en la matière.
a. Cette domination pourrait s’écrire supi ∈I |X i | ∈ L 1 mais ce sup n’est pas forcément mesurable si I n’est pas dénombrable.

Remarque 1.9.3. Intégrabilité améliorée.

Le critère de de la Vallée Poussin pour la famille u.i. singleton {X } indique que X ∈ L 1 implique que ϕ(|X |) ∈
L 1 pour un ϕ ∈ Φ. En d’autres termes, pour toute v.a., l’intégrabilité peut être améliorée. Il n’y a pas de

13
 paradoxe car ϕ dépend de X . Topologiquement, l’intégrabilité est une condition ouverte plutôt que fermée,
et une instance élémentaire de ce phénomène est visible dans les séries de Riemann : si n≥1 n −s < ∞ pour
P
P −s ′ ′
un s > 0 alors n≥1 n < ∞ pour un s < s, car la condition de convergence s > 1 est ouverte.

Théorème 1.9.4. Convergence dominée améliorée.

Pour toute suite de v.a. (X n )n≥1 dans L 1 et toute variable aléatoire X ,

L1 P
X ∈ L 1 et X n −→ X ssi X n −→ X et (X n )n≥1 est u.i.

Plus généralement, pour tout p ≥ 1, toute suite de v.a. (X n )n≥1 dans L p et toute variable aléatoire X ,

Lp P
X ∈ L p et X n −→ X ssi X n −→ X et (|X n |p )n≥1 est u.i.

Améliore le théorème de convergence dominée puisque (X n )n≥1 est u.i. lorsque supn |X n | ≤ X avec X ∈ L 1 .
Ce théorème est dû à G. Vitali tandis que le théorème de convergence dominée est dû à H. Lebesgue.

he
Démonstration. Supposons que X ∈ L 1 et X n → X dans L 1 . Alors comme déjà vu, X n → X en probabilité par l’in-
égalité de Markov, et (X n )n≥1 ∪ {X } est u.i. (exemples de familles u.i. plus haut).
Démontrons la réciproque. Supposons que X n → X en probabilité et que (X n )n≥1 est u.i. Alors on sait que
(X n )n∈N est bornée dans L 1 . Tout d’abord, nous avons X ∈ L 1 car en considérant une sous-suite (X nk )k∈N conver-
geant p.s. qui peut s’obtenir par exemple au moyen du lemme de Borel – Cantelli, il vient, par le lemme de Fatou :

E(|X |) = E(lim inf |X nk |) ≤ lim inf E(|X nk |) ≤ sup E(|X n |) < ∞.

k→∞ k→∞ n∈N

Ensuite, par le critère epsilon-delta, (X n − X )n≥1 est u.i. car (X n )n≥1 est u.i. et X ∈ L 1 . Alors en utilisant la conver-
uc
gence en probabilité et le critère epsilon-delta, on obtient que pour tout ε > 0 et n assez grand,

E(|X n − X |) = E(|X n − X |1|X n −X |≥ε ) + E(|X n − X |1|X n −X |<ε ) ≤ 2ε.

Démontrons enfin la version L p . Si X ∈ L p et X n → X dans L p , alors X n → X en probabilité (inégalité de Mar-

kov), et (|X n |p )n∈N est u.i. (exemples de familles u.i. plus haut). Réciproquement, supposons que X n → X en pro-
babilité et (|X n |p )n≥1 est u.i. Alors X ∈ L p (procéder comme pour p = 1). De plus |X n − X |p → 0 en probabilité, et
(|X n − X |p )n∈N est u.i. d’où |X n − X |p → 0 dans L 1 c’est-à-dire X n → X dans L p . ■
a
Remarque 1.9.5. Variables aléatoires ou lois.

Pour une famille (X i )i ∈I de v.a. dans L 1 , être u.i. est une propriété de la famille de leurs lois (µi )i ∈I , X i ∼ µi .
Les (i), (ii), et (iii) de la définition de u.i. se réécrivent comme suit en terme de lois :
éb

Z
(i) (définition) lim |x|dµi (x) = 0.
R→+∞ |x|≥R
Z Z
(ii) (ε − δ) sup |x|dµi (x) < ∞ et ∀ε > 0, ∃δ > 0, ∀(A i )i ∈I ⊂ BR , sup µi (A i ) ≤ δ ⇒ sup |x|dµi (x) ≤ ε.
i ∈I i ∈I i ∈I Ai
ϕ(x)
Z
(iii) (de la Vallée Poussin) il existe ϕ : R+ → R+ telle que lim = +∞ et sup ϕ(|x|)dµi (x) < ∞.
x→+∞ x i ∈I

Remarque 1.9.6. Intégrabilité uniforme comme relative compacité.

En analyse fonctionnelle, l’intégrabilité uniforme est reliée à la relative compacité pour une topologie faible
sur L 1 . Plus précisément, le théorème de Dunford – Pettis, dont une preuve se trouve par exemple dans [18],
affirme que pour toute famille (X i )i ∈I ⊂ L 1 , les propriétés suivantes sont équivalentes :
— (X i )i ∈I est uniformément intégrable.
— (X i )i ∈I est relativement compacte pour la topologie faible σ(L 1 , L ∞ ).
— (X i )i ∈I est relativement séquentiellement compacte pour la topologie faible σ(L 1 , L ∞ ).

14
 Théorème 1.9.7. Tension d’une famille de mesures de probabilité.

Soit (µi )i ∈I une famille de mesures de probabilités sur un espace topologique E muni de sa tribu borélienne.
Les deux propriétés suivantes sont équivalentes, et on dit alors que (µi )i ∈I est tendue :
(i) pour tout ε > 0, il existe un compact K ε ⊂ E tel que sup µi (K εc ) ≤ ε.
i ∈I
Z
(ii) il existe ϕ : E → [0, ∞] mesurable à ensembles de sous-niveaux compacts telle que sup ϕdµi < ∞.
i ∈I

En considérant une v.a. X i ∼ µi pour tout i ∈ I , cela s’écrit supi ∈I P(X i ̸∈ K ε ) ≤ ε et supi ∈I E(ϕ(X i )) < ∞.
La tension est à la convergence en loi ce que l’u.i. est à la convergence L 1 , en quelque sorte.
L’u.i. est un concept de tension fort à base de moment d’ordre > 1.
La tension est un concept important en théorie des probabilités à base de queue de distribution.

Démonstration. Les ensembles de sous-niveau de ϕ sont {x ∈ E : ϕ(x) ≤ r }, r ≥ 0. Si E n’est pas compact alors il
ne peut pas être un ensemble de sous-niveau de ϕ et donc ϕ n’est pas bornée, tandis que si E est compact alors la
seconde propriété a immédiatement lieu avec ϕ constante.
Preuve de (ii)⇒(i). Par l’inégalité de Markov, pour tout r > 0,

he
1 C
Z
sup µi ({x ∈ E : ϕ(x) ≤ r }c ) ≤ sup ϕdµi = ,
i ∈I r i ∈I r
qui conduit à prendre r = r ε = C /ε et K ε = {x ∈ E : ϕ(x) ≤ r ε }, pour tout ε > 0.
Preuve de (i)⇒(ii). Soit (εn )n≥1 une suite de réels positifs telle que n εn < ∞. Soit K εn le compact fourni par
P
n
′
l’hypothèse. Considérons le compact K n := ∪k=1 K εk . Par construction, la suite (K n′ )n≥1 est croissante pour l’inclu-
sion, et pour tout i ∈ I , µi (K n′c ) ≤ µi (K εcn ) ≤ εn . Maintenant, pour tout x ∈ F = ∪n K n′ , il existe n x tel que x ∈ K m
′
pour
tout m ≥ n x , et donc n 1K n′c (x) ≤ n x − 1 < ∞. Par conséquent, si on définit
P
uc
ϕ := 1K n′c
X
n
c
alors ϕ < ∞ sur F tandis que ϕ = ∞ sur F , et ϕ a des ensembles de sous-niveau compacts car {x ∈ E : ϕ(x) ≤ n −1} =
K n′ pour tout n ≥ 1. D’un autre côté, par définition de K n′ ,
Z
sup ϕdµi ≤ εn < ∞.
X
i ∈I n

■
a
Remarque 1.9.8. Tension et relative compacité.

En analyse fonctionnelle et théorie des probabilités, le théorème de tension de Prokhorov affirme que pour
toute famille de mesures de probabilité les propriétés suivantes sont équivalentes :
éb

— la famille est tendue.

— la famille est relativement compacte pour la topologie de la convergence étroite.
En pratique, il est courant d’utiliser ce théorème comme suit : si une suite de mesures de probabilités est
tendue, grâce à l’existence d’une fonction ϕ comme ci-dessus, alors il ne reste plus qu’à établir l’unicité
de la valeur d’adhérence de la suite pour montrer qu’elle converge étroitement. Il s’agit de l’analogue du
théorème de Bolzano – Weierstrass pour les mesures de probabilités.

Pour aller plus loin 1.9.9.

1. Théorème de tension de Prokhorov [7, Th. 25.10].

2. Inégalité maximale de Kolmogorov [7, Th. 22.4].
3. TLC par méthode de remplacement de Lindeberg (couplage) [13].
4. TLC par méthode de Stein (intégration par parties) [28].
5. Simulation de variables aléatoires [5].
6. Formule de Lévy – Khintchine, lois infiniment divisibles, lois stables [7].
7. Théorème d’extension de Carathéodory – Kolmogorov.
8. Problème des moments et caractérisation de la loi par les moments, théorème de Stieltjes.
9. Loi du zéro-un de Kolmogorov, loi du zéro-un de Hewitt – Savage.

15
Chapitre 2

Espérance conditionnelle

2.1 Introduction
2→3
Si X et Y sont deux v.a. discrètes définies sur un même espace de probabilité (Ω, A , P), on peut naturellement
définir l’espérance conditionnelle de X sachant {Y = y} comme la moyenne de la loi conditionnelle :

E(X | Y = y) = xP(X = x | Y = y)
X

he
x

qui fait sens si X est positive ou intégrable et P(Y = y) > 0. L’interprétation de la quantité déterministe E(X | Y = y)
est une moyennisation de l’aléa résiduel dans X conditionnellement à {Y = y}. En notant h(y) := E(X | Y = y), on a

E(X 1Y =y ) = E(X | Y = y)P(Y = y) = E(h(Y )1Y =y ), pour tout y.

Comme Y est discrète, la tribu σ(Y ) est engendré par les atomes {Y = y}, d’où par linéarité

E(X 1B ) = E(h(Y )1B ), pour tout B ∈ σ(Y ).

uc
Ceci exprime le fait que la variable aléatoire E(X | Y ) := h(Y ) est une approximation σ(Y )-mesurable de X , au
sens faible. C’est ce qu’on appelle l’espérance conditionnelle de X sachant Y ou sachant σ(Y ). Comment la définir
au-delà des variables discrètes ? Quelles sont ses propriétés ? C’est l’objet du reste de ce chapitre.
Rappelons que pour une v.a. X ≥ 0, si E(X ) = 0 alors X = 0 p.s.
Rappelons également que les éléments de L 1 sont des classes d’équivalence de v.a. pour l’égalité p.s.

Lemme 2.1.1. Égalité au sens faible implique égalité presque sûre.

Si X et Y sont des v.a. positives ou intégrables, définies sur un même espace de probabilité (Ω, A , P),
a
égales au sens faible : E(X Z ) = E(Y Z ) pour toute v.a. Z = 1 A , A ∈ A , alors X = Y p.s.

Démonstration. Le choix A = {X ≥ Y } ∈ A , donne 0 = E((X − Y )Z ) = E((X − Y )+ ), d’où (X − Y )+ = 0 p.s. d’où X ≤ Y

p.s., tandis que le choix A = {X ≤ Y } donne (X − Y )− = 0 p.s. d’où X ≥ Y p.s. ■
éb

L’espérance conditionnelle émerge en se restreignant aux Z mesurables pour une sous-tribu B.

Théodéf 2.1.2. Espérance conditionnelle.

Soit X : Ω → R une v.a. positive (respectivement intégrable) sur (Ω, A , P), et soit B une sous-tribu de A .
Alors il existe une unique v.a. Y positive (respectivement intégrable) vérifiant les deux propriétés suivantes :
— (mesurabilité) Y est B-measurable.
— (approximation) E(X Z ) = E(Y Z ) pour toute v.a. Z = 1B , B ∈ B
Cette v.a. Y , notée E(X | B), est appelée espérance conditionnelle de X sachant B.

Ce théorème exprime le fait que E(X | B) est la meilleure approximation, au sens faible, de X par une v.a. B-
mesurable, au p.s. près. En particulier, si X est B-mesurable, alors E(X | B) = X p.s.
Lorsque Z = 1, on obtient E(E(X | B)) = E(X ). En particulier E(E(1 A | B)) = P(A) pour tout A ∈ A . Cela rend
naturel de poser P(A | B) := E(1 A | B), qui est une v.a. vérifiant E(P(A | B)) = P(A).
Le lemme 2.1.1 fournit immédiatement l’unicité p.s. de l’espérance conditionnelle. Pour l’existence, c’est-à-dire
la construction, nous abordons d’abord le cas où B est discrète, déjà subtil bien qu’élémentaire, puis le cas où X
est de carré intégrable, agréablement lié à une notion de projection orthogonale, puis le cas général.

16
2.2 Construction lorsque la tribu est discrète

On se place dans le cas où B est discrète au sens où elle est engendrée par un système complet d’événements
(B n )n∈N : B n ∈ A pour tout n, B n ∩ B m = ∅ si n ̸= m, et n P(B n ) = 1. L’ensemble B ∞ := Ω \ ∪n B n vérifie P(B ∞ ) = 0,
P

et (B n )n∈N∪{∞} est une partition dénombrable de Ω. En particulier on a

B = σ((B n )n∈N ) = {∪i ∈I B i : I ⊂ N ∪ {∞}}.
Si Y est une variable aléatoire discrète prenant les valeurs (y n )n∈N alors les B n := {Y = y n } forment un système com-
plet d’événements de la tribu σ(Y ) engendrée par Y , qui est donc discrète. Le lemme suivant affirme la réciproque :
les variables aléatoires mesurables par rapport à une tribu discrète sont discrètes.

Lemme 2.2.1. Variables aléatoires mesurables pour une tribu discrète.

Si B est une sous-tribu de A discrète engendrée par un système complet d’événements (B n )n∈N , et si Y est
une variable aléatoire B-mesurable alors elle est constante sur les B n c’est-à-dire que Y = n y n 1B n p.s.
P

Pour une variable de Bernoulli, le système complet est de la forme {B, B c } et B = {∅, B, B c , Ω}.

he
Démonstration. Supposons par l’absurde qu’il existe n ∈ N et ω, ω′ ∈ B n tels que Y (ω) ̸= Y (ω′ ). Soit C et C ′ deux
boréliens disjoints de R, par exemple des intervalles, contenant respectivement Y (ω) et Y (ω′ ). Comme Y est B-
mesurable, on a Y −1 (C ) ∈ B et Y −1 (C ′ ) ∈ B, donc Y −1 (C ) = ∪m∈I B m et Y −1 (C ′ ) = ∪m∈I ′ B m , avec I , I ′ ⊂ N ∪ {∞}.
Nécessairement n ∈ I ∩ I ′ car ω, ω′ ∈ B n , or ∅ ̸= B n ⊂ Y −1 (C ) ∩ Y −1 (C ′ ) = Y −1 (C ∩C ′ ) = Y −1 (∅) = ∅. ■
Continuons avec notre sous-tribu discrète B générée par (B n )n∈N . Pour tout A ∈ A , on a
P(A) = P(A | B n )P(B n ).
X
n:P(B n )>0

Il est alors naturel de considérer la variable aléatoire B-mesurable, de moyenne P(A), suivante :
uc
³ 1B n ´
P(A | B) := P(A | B n )1B n = E 1A 1B .
X X
n:P(B n )>0 n:P(B n )>0 P(B n ) n

Plus généralement, pour une v.a. X positive ou intégrable, on définit la v.a. B-mesurable
X ³ 1 Z ´ ³ 1B n ´
E(X | B) := X dP 1B n = E X 1B ,
X
n:P(B n )>0 P(B n ) B n n:P(B n )>0 P(B n ) n

de sorte que E(1 A | B) = P(A | B). Cette variable aléatoire E(X | B) s’obtient, sur chaque atome B n , en remplaçant
X par sa moyenne sur B n , ce qui correspond bien à l’idée intuitive de meilleure approximation B-mesurable.
a
Avec cette définition, la v.a. E(X | B) est constante sur chaque atome B n de B, elle est donc B-mesurable
d’après le lemme 2.2.1. Pour vérifier la propriété d’approximation de l’espérance conditionnelle, il suffit par linéa-
rité de le faire pour une v.a. Z = 1B n avec P(B n ) > 0, ce qui donne, grâce au fait que les B n sont deux à deux disjoints :
Z
éb

E(E(X | B)Z ) = X dP = E(X Z ).

Bn

Notons que si X est B-mesurable, alors elle est constante sur chaque B n , et on a bien E(X | B) = X .

2.3 Construction pour les variables de carré intégrable

Soit X ∈ H := L 2 (Ω, A , P), et B une sous-tribu quelconque de A . L’espace de Hilbert F := L 2 (Ω, B, P) est un
sous-espace vectoriel fermé (car complet) de l’espace de Hilbert H . En particulier, la projection orthogonale Y :=
p F (X ) de X sur F existe et est unique, caractérisée par les deux propriétés suivantes :
— Y ∈F
— 〈X , Y 〉 = 〈X , Z 〉, c’est-à-dire E(X Y ) = E(X Z ), pour tout Z ∈ F .
Alternativement, on peut appliquer le théorème de représentation de Riesz à la forme linéaire Z ∈ F 7→ 〈X , Z 〉.
Comme F contient les v.a. B-mesurables bornées, nous venons de construire E(X | B), géométriquement ! La
meilleure approximation au sens faible est réalisée dans ce cadre hilbertien par une projection orthogonale. Plus
précisément, la meilleure approximation est ici au sens des moindres carrés. En résumé, si X ∈ L 2 alors

E(X | B) := arg min E((X − Y )2 ).

Y ∈L 2 (Ω,B,P)

On a bien que E(X | B) = X si X est B-mesurable, car p F (X ) = X si X ∈ F .

D’autre part, le conditionnement conserve la positivité : si X ≥ 0 alors E(X | B) = Y ≥ 0 p.s. En effet, avec Z = 1B
où B = {Y ≤ 0}, il vient 0 ≤ E(X 1B ) = E(Y 1B ) ≤ 0, d’où E(Y 1B ) = 0, d’où −Y 1B = 0 p.s.

17
2.4 Construction pour les variables positives

Soit X une v.a. positive sur (Ω, A , P), prenant ses valeurs dans [0, ∞], et B une sous-tribu de A .
Pour tout n ≥ 0, on introduit la v.a. bornée X n := min(X , n) = X ∧ n, qui est en particulier de carré intégrable.
On sait alors définir Yn := E(X n | B) par projection comme précédemment. À présent, grâce à la linéarité de la
projection, au fait que X n+1 − X n ≥ 0, et à la conservation de la positivité par conditionnement,

Yn+1 − Yn = p L 2 (Ω,B,P) (X n+1 − X n ) = E(X n+1 − X n | B) ≥ 0.

Donc (Yn )n∈N est positive et croissante p.s. Par convergence monotone sur (Ω, B, P), la v.a. Y := limn→∞ Yn existe.
Elle est B mesurable et positive. Pour s’assurer que Y est bien l’espérance conditionnelle recherchée, E(X | B), il
reste à vérifier la propriété d’approximation. Or en combinant le théorème de convergence monotone et la pro-
priété d’approximation pour Yn = E(X n | B), on obtient, pour tout B ∈ B,

E(Y 1B ) = E( lim (Yn 1B )) = lim E(Yn 1B ) = lim E(X n 1B ) = E( lim (X n 1B )) = E(X 1B ).

n→∞ n→∞ n→∞ n→∞

De plus, si X ≥ 0 est intégrable, alors, en prenant B = Ω, il vient que E(Y ) = E(X ) < ∞ donc Y est intégrable.
En résumé, si X prend ses valeurs dans [0, ∞] alors

he
E(X | B) := lim E(X ∧ n | B) := lim arg inf E((X ∧ n − Yn )2 ).
n→∞ n→∞ Yn ∈L 2 (Ω,B,P)

2.5 Construction pour les variables intégrables

Soit X ∈ L 1 (Ω, A , P) et B sous-tribu de A . On se ramène au cas positif intégrable via la décomposition habi-
tuelle X = X + − X − où X ± := max(±X , 0) ∈ L 1 (Ω, A , P), en posant

E(X | B) := E(X + | B) − E(X − | B),

uc
qui hérite bien des propriétés de l’espérance conditionnelle (mesurabilité, intégrabilité, approximation).

Remarque 2.5.1. Presque sûrement sans complications.

L’espérance conditionnelle est définie presque sûrement. En général, cela ne pose pas de problème, et peut
même être passé sous silence. Mais il faut faire preuve de prudence, car il arrive que cela soit source de
complications, comme par exemple pour l’inégalité de Jensen pour l’espérance conditionnelle ci-dessous.

2.6 Propriétés de l’espérance conditionnelle

a
La construction de l’espérance conditionnelle est semblable à la construction de l’espérance. Elle en vérifie les
même propriétés (linéarité, normalisation, positivité, théorèmes limites, inégalité de Jensen, etc.), ainsi que des
propriétés spécifiques liées à l’approximation (ou projection dans le cadre L 2 ). En réalité, l’espérance n’est qu’une
éb

espérance conditionnelle spéciale, par rapport à la tribu triviale engendrée par les v.a. constantes !
Ci-dessous, et sauf mention du contraire, les v.a. sont sur (Ω, A , P) et B, G sont des sous-tribus de A .
En pratique, comme l’espérance conditionnelle est unique p.s., pour s’assurer qu’on a bien affaire à elle, il suffit
de vérifier les propriétés qui la caractérisent : mesurabilité et approximation, ainsi que positivité ou intégrabilité
selon le cas. Aussi, ci-dessous, rien n’est dit sur la preuve d’un item lorsque qu’elle découle d’une vérification directe
et sans surprise des propriétés caractéristiques de l’espérance conditionnelle.
La tribu engendrée par les constantes est {∅, Ω}, les constantes sont mesurables par rapport à toute tribu. En
revanche la tribu engendrée par une v.a. égale p.s. à une constante peut être plus grosse que {∅, Ω}. Cette subtilité
est gommée par la conception des v.a. comme classes d’équivalence d’égalité p.s. de fonctions mesurables.
1. Égalité. Si X 1 et X 2 sont positives (ou intégrables) et X 1 = X 2 p.s. alors E(X 1 | B) = E(X 2 | B) p.s.
Un point clé est que pour tout B ∈ B, comme X 1 1B = X 2 1B p.s., il vient que E(X 1 1B ) = E(X 2 1B ).
2. Normalisation. E(1 | B) = 1 p.s., et plus généralement E(c | B) = c p.s. pour toute constante c.
3. Positivité. Si X ≥ 0 p.s. alors E(X | B) ≥ 0 p.s. Il en découle par linéarité que si X 1 et X 2 sont intégrables et
vérifient X 1 ≤ X 2 p.s. alors E(X 1 | B) ≤ E(X 2 | B) p.s.
4. Linéarité. L’application X ∈ L 1 (Ω, A , P) 7→ E(X | B) ∈ L 1 (Ω, B, P) est linéaire : si X 1 et X 2 sont intégrables et
λ1 , λ2 sont des constantes, alors

E(λ1 X 1 + λ2 X 2 | B) = λ1 E(X 1 | B) + λ2 E(X 2 | B) p.s.

De plus cette propriété subsiste au-delà de l’intégrabilité, lorsque X 1 , X 2 , λ1 , λ2 sont toutes positives.

18
 5. Convergence monotone. Si 0 ≤ X n ↗ X p.s. alors E(X n | B) ↗ E(X | B) p.s.
En effet, pour tout B ∈ B, 0 ≤ X n 1B ↗ X 1B p.s., et la propriété d’approximation pour E(X | B) est alors héritée
de celle de E(X n | B) par convergence monotone pour l’espérance.
6. Lemme de Fatou. Exercice !
7. Convergence dominée. Si X n ∈ L 1 → X p.s., supn |X n | ≤ Y avec Y ∈ L 1 , alors E(X | B) = limn→∞ E(X n | B) p.s.
En effet, tout d’abord, le fait que X ∈ L 1 n’a rien à voir avec le conditionnement et découle du lemme de Fatou
car E(|X |) = E(lim infn→∞ |X n |) ≤ lim infn→∞ E(|X n |) ≤ E(Y ) < ∞. D’autre part, pour tout B ∈ B, X n 1B → X 1B
p.s. et |X n 1B | ≤ Y , et la propriété d’approximation pour E(X | B) est alors héritée de celle de E(X n | B) par
convergence dominée pour l’espérance. Exercice : développer la généralisation u.i. !
8. Inégalité de Jensen. Si ϕ est une fonction réelle convexe et si X et ϕ(X ) sont intégrables alors

ϕ(E(X | B)) ≤ E(ϕ(X ) | B) p.s.

En particulier : |E(X | B)| ≤ E(|X | | B) p.s. et E(X | B)2 ≤ E(X 2 | B) p.s.

La preuve est semblable à celle de l’inégalité de Jensen pour l’espérance, à une subtilité p.s. près. Plus pré-
cisément, l’égalité est atteinte si ϕ est affine, tandis que dans le cas général, la convexité de ϕ fait qu’elle est
enveloppe d’une famille au plus dénombrable de fonctions affines : il existe D ⊂ R2 au plus dénombrable tel

he
que ϕ(x) = sup(a,b)∈D (ax + b) pour tout x ∈ R. Pour tout (a, b) ∈ D, il vient que ϕ(X ) ≥ a X + b p.s. d’où, par les
propriétés de monotonie, de linéarité, et de conservation des constantes pour E(· | B),

E(ϕ(X ) | B) ≥ E(a X + b | B) = aE(X | B) + b p.s.

D’où E(ϕ(X ) | B) ≥ sup(a,b)∈D (aE(X | B) + b) = ϕ(E(X | B)) p.s.

9. Inégalité de Markov pour la probabilité conditionnelle. Si X ∈ L 1 est positive alors pour tout x > 0,

E(X | B)
P(X ≥ x | B) = E(1{X ≥x} | B) ≤ .
uc
x

10. Inégalité de Cauchy – Schwarz et de Hölder pour l’espérance conditionnelle. Exercice !

3→4
Voici enfin une liste de propriétés plus spécifiques au caractère conditionnel de l’espérance conditionnelle.
1. Projection. Si X est B-mesurable positive ou intégrable, alors E(X | B) = X p.s.
C’est le cas notamment lorsque X est constante et lorsque X = 1B , B ∈ B.
2. Approximation. Si X est positive (respectivement intégrable), alors E(X Z ) = E(E(X | B)Z ) pour toute v.a. Z B-
mesurable positive (respectivement bornée). S’obtient par approximation par des fonctions étagées, linéarité
a
de l’espérance, et convergence monotone (respectivement dominée).
3. Moyenne. Si X est intégrable alors E(E(X | B)) = E(X ).
Découle de la propriété d’approximation avec B = Ω ∈ B car alors 1B = 1.
éb

4. Espérance classique. Si B = {∅, Ω} et si X est intégrable alors E(X | B) = E(X ) p.s.

On retrouve l’idée que la meilleure approximation de X par une constante est son espérance.
5. Composition ou emboîtement. Si X est positive ou intégrable et si B ⊂ G ⊂ A , alors

E(E(X | G ) | B) = E(E(X | B) | G ) = E(X | B) p.s.

Propriété naturelle du point de vue de la meilleure approximation, ou de la projection (cas L 2 ).

On retrouve l’item précédent en considérant le cas particulier G = {∅, Ω}.
6. Indépendance. Si X est intégrable et indépendante de B alors E(X | B) = E(X ) p.s.
En effet, pour tout B ∈ B, l’indépendance donne E(X 1B ) = E(X )E(1B ) = E(E(X )1B ).
L’item Moyenne précédent est un cas particulier car toute v.a. est indépendante de {∅, Ω}.
7. Extraction du mesurable. Si Z est B-mesurable et X , X Z intégrables ou bien X , Z positives, alors

E(X Z | B) = Z E(X | B) p.s.

(lorsque X = 1 on retrouve comme cas particulier l’item Projection).

En effet, la propriété d’approximation se vérifie tout d’abord directement pour Z = 1B , B ∈ B, puis par linéa-
rité pour les Z étagées, puis par convergence monotone pour les Z positives, après s’être ramené à X positive
via X = X + − X − , puis par Z + − Z − pour le cas général.

19
 8. Aléa résiduel après moyennisation de l’aléa indépendant. Si X et Y sont deux v.a. à valeurs dans des espaces
mesurables E et F respectivement, avec X indépendante de B et Y mesurable par rapport à B, et si f :
E × F → R est une fonction mesurable positive (resp. telle que f (X , Y ) est intégrable), alors

E( f (X , Y ) | B) = g (Y ) p.s. où g (y) := E( f (X , y)).

En effet, pour toute v.a. Z B-mesurable positive (resp. bornée), grâce au théorème de Fubini – Tonelli,
Z
E( f (X , Y )Z ) = f (x, y)zdP X ,Y ,Z (x, y, z)
Z
= f (x, y)zd(P X ⊗ PY ,Z )(x, y, z)
Z ³Z ´
= f (x, y)dP X (x) zdPY ,Z (y, z)

= E(g (Y )Z ).

Cette propriété donne une nouvelle interprétation intuitive de l’espérance conditionnelle, à base d’informa-
tion plutôt que d’analyse (approximation) ou de géométrie (projection) : la variable f (X , Y ) est constituée
de deux sources d’aléa, un aléa mesurable Y et un aléa indépendant X , et son espérance conditionnelle est

he
donnée par l’aléa résiduel après moyennisation de l’aléa indépendant !
9. Variance. Soit X de carré intégrable. Notons H := L 2 (Ω, A , P), F := L 2 (Ω, B, P), et F 0 := L 2 (Ω, {∅, Ω}, P) l’en-
semble des v.a. constantes. Par construction, E(X | B) = p F (X ) est le projeté orthogonal de X sur F , et

dist(X , F )2 := min E((X − Y )2 )

Y ∈F
= E((X − E(X | B))2 )
= E(X 2 ) − 2E(X E(X | B)) + E(E(X | B)2 )
uc
= E(Var(X | B)) où Var(X | B) := E(X 2 | B) − E(X | B)2 .

Dans le cas particulier extrême de F 0 , on a p F0 (X ) = E(X ) et la formule variationnelle devient

dist(X , F 0 )2 = min E((X − Y )2 ) = E((X − E(X ))2 ) = Var(X ).

c∈R

Comme F 0 ⊂ F , le théorème de Pythagore donne la décomposition de la variance suivante : Dessin !

Var(X ) = dist(X , F 0 )2 = dist(X , F )2 + dist(p F (X ), F 0 )2 = E(Var(X | B)) + Var(E(X | B)),

a
qui se lit espérance de la variance conditionnelle plus variance de l’espérance conditionnelle.

2.7 Espérance conditionnelle par rapport à une variable aléatoire

éb

Si X est une v.a. positive ou intégrable, et si Y est une v.a. alors on définit la variable aléatoire

E(X | Y ) := E(X | σ(Y ))

où σ(Y ) sa tribu engendrée par Y . Or le lemme de Doob affirme que comme E(X | Y ) est mesurable par rapport à
la sous-tribu σ(Y ), il existe h borélienne telle que E(X | Y ) = h(Y ). Cela conduit à la notation

E(X | Y = y) := h(y).

Ce n’est qu’une notation. On note également P(A | Y = y) := h(y) lorsque X = 1 A , A ∈ A .

Si Y est discrète et prend ses valeurs dans (y n )n∈N , alors, en notant B n := {Y = y n }, on sait que
X³ 1 Z ´
E(X | Y ) = X dP 1B n =: h(Y ).
n P(B n ) B n

Dans ce cas, comme Y prend par définition la valeur y n sur B n ,

1
X³ Z ´
h(y) = X dP 1 y=y n .
n P(Y = y n ) {y=y n }

En particulier, lorsque X = 1 A , A ∈ A , cela donne

h(y) = P(A | Y = y n )1 y=y n , de sorte que h(y n ) = P(A | Y = y n ).

X
n

20
Mais cette formule ne fait plus sens lorsque Y n’est pas discrète, car P(Y = y) peut alors s’annuler partout.
Quittons l’univers des variables aléatoires discrètes, et considérons à présent le cas où le couple (X , Y ) admet
une densité f par rapport à la mesure de Lebesgue sur R2 , et X est intégrable. Vérifions alors que
Z
x f (x, y)dx
h(y) = Z ,
f (x, y)dx

analogue continu de la formule discrète (via P(Y = y) = x P(X

P
= x, Y = y))
P
x xP(X = x, Y = y)
E(X | Y = y) = xP(X = x | Y = y) = P
X
x x P(X = x, Y = y)

Le dénominateur est la densité marginale de Y . Il suffit pour cela de vérifier que

Z
x f (x, Y )dx
E(X | Y ) = h(Y ) = Z .
f (x, Y )dx

he
En effet, la v.a. h(Y ) est bien σ(Y )-mesurable, et pour tout B ∈ σ(Y ), il existe un borélien C tel que B = Y −1 (C ), et
donc, grâce au lemme de transfert, au théorème de Fubini – Tonelli, et à la définition de h,
Ï
E(h(Y )1B ) = E(h(Y )1C (Y )) = h(y)1C (y) f (x, y)dxdy
Z ³Z ´
= h(y)1C (y) f (x, y)dx dy
Z ³Z
uc
´
= x f (x, y)dx 1C (y)dy
Ï
= x1C (y) f (x, y)dxdy

= E(X 1C (Y )) = E(X 1B ).

2.8 Noyau conditionnel et loi conditionnelle

Poursuivons dans le même esprit. Si ϕ : R → R est borélienne bornée, un raisonnement similaire donne
a
Z
ϕ(x) f (x, y)dx
E(ϕ(X ) | Y ) = h ϕ (Y ) où h ϕ (y) := Z =: E(ϕ(X ) | Y = y).
éb

f (x, y)dx

C’est une explicitation du lemme de Doob. On a également

f (x, y)
Z
E(ϕ(X ) | Y = y) = h ϕ (y) = ϕ(x)K y (dx) où K y (dx) := Z dx.
f (x, y)dx

On dit que K est un noyau conditionnel, d’où la notation K , on aurait pu utiliser la lettre ν également 1 . Pour presque
tout y, K y est une mesure de probabilité sur R. En particulier, si ϕ = 1C avec C borélien, alors
Z
P(X ∈ C | Y = y) = E(1C (X ) | Y = y) = K y (dx) = K y (C ).
C

C’est une sorte de lemme du transfert pour la probabilité conditionnelle.

On dit que K y (·) est la loi conditionnelle de X sachant Y = y, une sorte de mesure image deRP(X ∈ · | Y = y).
R En notant, abusivement, f (X ,Y ) (x, y) := f (x, y) la densité du couple (X , Y ), f (X ) (x) := f (x, y)dy et f (Y ) (y) :=
f (x, y)dx les densités de ses lois marginales, et f X |Y =y (x) la densité de K y (dx), il vient que

f (X ,Y ) (x, y) = f X |Y =y (x) f (Y ) (y),

1. K comme kernel et ν comme noyau.

21
 Y

Y =y

he
F IGURE 2.1 – Illustration du conditionnement de X par Y pour un couple (X , Y ) à valeurs discrètes équiprobables.
Le nuage de points bleus représente la loi du couple (X , Y ). Soit y tel que P(Y = y) > 0.
La loi de probabilité L y = (P(X = x, Y = y))x est la loi conditionnelle de X sachant Y = y.
La quantité déterministe h(y) = E(X | Y = y) est la moyenne de la loi conditionnelle L y .
La variable aléatoire E(X | Y ) = h(Y ) est la meilleure approximation de X avec une fonction mesurable de Y .
Pour simuler E(X | Y ) = h(Y ), il suffit de simuler Y en générant une valeur y, puis de considérer la moyenne h(y)
de l’abscisse le long de la tranche d’ordonnée y du nuage, c’est-à-dire la moyenne de L y .
uc
analogue continu de la formule discrète P(X = x, Y = y) = P(X = x | Y = y)P(Y = y).
De plus X et Y sont indépendantes ssi f X |Y =y = f (X ) sur le support de f (Y ) .
Cela se généralise immédiatement au cas où (X , Y ) est un vecteur aléatoire de Rd = Rp × Rq . Dans ce cas l’espé-
rance conditionnelle E(X | Y ) désigne le vecteur aléatoire de Rp donné par (E(X i | Y ))1≤i ≤p .

Soit (X , Y ) : Ω → E × F un couple de variables aléatoires défini sur un espace de probabilité (Ω, A , P), où (E , E )
et (F, F ) sont des espaces mesurables. On appelle noyau conditionnel toute application
a
(
y 7→ K (y,C ) est mesurable, pour tout C ∈ E
K : F × E → [0, 1] telle que .
C 7→ K (y,C ) est une mesure de probabilité sur (E , E ), pour tout y ∈ F
Dans le cas où E = F , on parle de noyau de transition, utile pour les chaînes R de Markov du chapitre 5.
éb

On utilise également les notations naturelles K y (C ) := K (y,C ) et K y (ϕ) := ϕ(x)K y (dx).

Si ϕ est mesurable, positive ou bornée, alors y 7→ K y (ϕ) est mesurable.

Théodéf 2.8.1. Loi conditionnelle au-delà du cas à densité.

Soit (X , Y ) : Ω → E × F un couple de variable aléatoires défini sur un espace de probabilité (Ω, A , P), où
(E , E ) et (F, F ) sont des espaces mesurables boréliens polonais a . Alors il existe un unique noyau condition-
nel K : F × E → [0, 1] tel que pour tout y ∈ F et toute fonction ϕ : E → R mesurable, positive ou bornée,
Z
E(ϕ(X ) | Y ) = K Y (ϕ) p.s., autrement dit E(ϕ(X ) | Y = y) = ϕ(x)K y (dx).
E

La loi conditionnelle de X sachant Y = y est définie par Loi(X | Y = y) = K y (·).

De plus, lorsque E = Rn , sa moyenne est E(X | Y = y).
a. Un espace topologique est polonais lorsqu’il est séparable et qu’il est métrisé par une distance pour laquelle il est complet.

Ce théorème est un résultat de théorie de la mesure, abordé par exemple dans [18, III.70–74] 2 , [40, Th. 5.3] 3 .
Dans ces notes, n’interviennent que des instances plus élémentaires et explicites, soit discrètes, soit à densité.
2. « The theorem of desintegration of measure has a bad reputation, and probabilists often try to avoid the use of conditional distributions. . .
But it is really simple and easy to prove. » – Claude Dellacherie et Paul-André Meyer [18, III.70].
3. Où il est seulement supposé que (F, F ) est un espace mesurable quelconque, et (E , E ) est un espace borélien c’est-à-dire en bijection

22
 La donnée du noyau conditionnel K et de la loi de Y suffit à déterminer la loi du couple (X , Y ), et en particulier
celle de X qui est sa première loi marginale. En effet, il suffit de tester le couple (X , Y ) sur des fonctions test produit
mesurables, bornées ou positives, de la forme (x, y) 7→ ϕ(x)ψ(y), ce qui donne

E(ϕ(X )ψ(Y )) = E(E(ϕ(X )ψ(Y ) | Y )) = E(E(ϕ(X ) | Y )ψ(Y )) = E(K Y (ϕ)ψ(Y )).

Aussi X et Y sont indépendantes ssi K Y (ϕ) = E(ϕ(X ) | Y ) est constante et égale p.s. à E(ϕ(Y )) (qui est son espérance !)
pour tout ϕ, c’est-à-dire que Loi(X | Y = y) est p.s. constante en y et égale à la loi de X .
La formulation suivante du théorème 2.8.1 porte le nom de désintégration de la mesure :
Z Z ³Z ´
ϕ(x)ψ(y)P(X ,Y ) (dx, dy) = ϕ(x)K y (dx) ψ(y)P(Y ) (dy).

Remarque 2.8.2. Algorithme de simulation.

Du point de vue algorithmique ou Monte Carlo, pour simuler une réalisation du couple (X , Y ), il est possible
de simuler d’abord une réalisation de Y , notée y, puis de simuler la loi conditionnelle Loi(X | Y = y).

Remarque 2.8.3. Conditionnement par rapport à un événement de probabilité nulle.

he
Lorsque P(Y = y) = 0, on peut chercher à approcher E(ϕ(X ) | Y = y) par limn→∞ E(ϕ(X ) | Y ∈ C n ) où
P(Y ∈ C n ) > 0 et ∩n C n = {y}. Mais cette limite n’est pas universelle, elle dépend de la suite (C n )n∈N choi-
sie. C’est le cas notamment dans le paradoxe de Borel – Kolmogorov sur Loi(X | X ∈ C ) avec X uniforme sur
la sphère, et C grand cercle, limite de deux grossissements différents : latitude ou longitude. « The concept of
a conditional probability with regard to an isolated hypothesis whose probability equals 0 is inadmissible. »
– Andrey Kolmogorov. Plus généralement, il est naturel de considérer la notion de mesure trace sur un en-
semble de mesure nulle, en utilisant un grossissement motivé par un problème, et d’en déduire une loi
uniforme. La notion de mesure de Hausdorff donne aussi une réponse dans un contexte métrique. Cela
uc
permet de définir la loi uniforme sur des sous-variétés compactes (surfaces) de Rn . Pour les variétés intrin-
sèques plutôt qu’extrinsèques, munies d’une métrique riemannienne, on dispose d’une mesure de volume,
jouant le rôle de mesure de Lebesgue ou de loi uniforme qd la variété est compacte et la mesure normalisée.

Pour aller plus loin 2.8.4.

— Notion d’indépendance conditionnelle.

— Construction du noyau conditionnel (désintégration de la mesure).
— Théorème de de Finetti pour les suites échangeables et inégalité de Diaconis – Freedman.
a
— Paradoxe de Borel – Kolmogorov, mesure de Hausdorff, mesure de surface, mesure de cône.
4→5

Ceci n’est pas abordé en priorité lors du cours oral.

éb

2.9 Construction alternative de l’espérance conditionnelle via théorème de Radon – Nikodým

La construction de l’espérance conditionnelle présentée précédemment est basée sur une réduction au
cadre hilbertien de projection dans L 2 , incontournable pour l’intuition et pour les vecteurs gaussiens du
chapitre 3. Mais il existe d’autres constructions. La construction alternative la plus connue est peut-être
celle utilisant le théorème de Radon – Nikodým. Plus précisément, soit (Ω, A , P) un espace probabilisé et B
une sous-tribu de A . L’idée est de construire tout d’abord E(X | B) pour une v.a. X : Ω → [0, +∞] positive et
intégrable, en observant que la formule Q X (A) = E(X 1 A ) définit une mesure finie Q X sur (Ω, B) absolument
continue par rapport à P au sens où P(A) = 0 implique Q X (A) = 0. le théorème de Radon – Nikodým affirme
alors l’existence et l’unicité (p.s.) d’une v.a. Y B-mesurable et intégrable telle que pour tout A ∈ B,
Z
Q X (A) = Y dP = E(Y 1 A ).
A

Ceci rend naturel de définir E(X | B) = Y . L’extension au cas X intégrable plus forcément positive se fait via
la décomposition X = X + −X − , tandis que l’extension au cas où X est positive mais pas forcément intégrable

bi-mesurable avec un borélien de [0, 1] muni de la tribu borélienne (il s’avère que tout espace polonais est de ce type). Il semble que la propriété
clé soit le fait que la tribu E soit engendrée par une famille dénombrable d’événements, comme le suggère la formalisation abordée dans [17].
Ceci est également relié à une propriété utile pour les applications et connue sous le nom de noise outsourcing : il existe une fonction mesurable
ϕ : F × [0, 1] → E et une v.a. U uniforme sur [0, 1] et indépendante de Y telle que (X , Y ) a la même loi que (ϕ(Y ,U ), Y ).

23
se fait par troncature et convergence monotone. Cette manière de construire l’espérance conditionnelle
n’est pas visuelle ou géométrique, mais a le mérite de sembler rapide et naturelle à sa façon. Encore faut-il
démontrer le théorème de Radon – Nikodým, ce qui peut se faire de diverses manières, et en particulier,
comme l’a observé John von Neumann, en réduisant à la projection dans un cadre hilbertien L 2 !

Ceci n’est pas abordé en priorité lors du cours oral.

2.10 Motivation pour la suite : processus de Galton – Watson, processus auto-regressif

Le processus de Bienaymé – Galton – Watson a décrit l’évolution d’une population asexuée, à générations
séparées, dans laquelle chaque individu fait des enfants de manière i.i.d. par rapport aux autres :

Zn
X
Zn+1 = X n+1,k
k=1

où Zn est le nombre d’individus à la génération n ∈ N, et où (X n,k )n≥1,k≥1 sont des v.a. i.i.d. de même loi µ
sur N appelée loi de reproduction. La v.a. X n+1,k modélise le nombre aléatoire d’enfants de l’individu k de

he
la génération n, sa contribution à la génération n + 1. La suite (Zn )n∈N donne l’évolution de la taille d’un
d’arbre aléatoire, et on dit que (Zn )n∈N est un processus de branchement. Il en existe moult variantes et
généralisations. Supposons que µ a une moyenne m et Z0 = 1. L’équation de récurrence aléatoire donne

E(Zn+1 | Zn = z) = zm,

d’où

 −→ ∞ si m > 1 (cas sur-critique)
n→∞

uc
E(Zn+1 ) = E(E(Zn+1 | Zn )) = mE(Zn ) = m n E(Z0 ) = m n =1 si m = 1 (cas critique) .

 −→ 0 si m < 0 (cas sous-critique)

n→∞

Au-delà du comportement en moyenne, l’étude de la trajectoire n 7→ Zn , de son explosion ou extinction, de

son maximum, du temps d’extinction, etc., peut être menée en exploitant le concept de martingale et celui
¡ Zn ¢
de chaîne de Markov. En particulier, la suite m n n∈N vérifie,

³Z ´ Z
n+1 n
E | Fn = n où Fn = σ(Z0 , . . . , Zn ),
m n+1 m
a
propriété de projection typique de la structure martingale, tandis que la récurrence aléatoire

Zn+1 = f (Zn , εn+1 ) où εn+1 := (X n+1,1 , X n+1,2 , . . .) est indépendante de Z0 ,

éb

vérifiée par la suite (Zn )n∈N , est typique de la structure chaîne de Markov.
Les structures martingale et chaîne de Markov sont également présentes dans le processus auto-régres-
sif gaussien (Yn )n∈N vérifiant Yn+1 = θYn + εn+1 où θ ∈ R et où cette fois-ci (εn )n∈N est une suite de v.a.
i.i.d. de loi N (0, I d ). Cela inclut la marche aléatoire à incréments gaussiens, dont la limite d’échelle est le
mouvemment brownien. Cela nous conduit à étudier les vecteurs gaussiens, qui font l’objet du chapitre 3.
a. Pour ce modèle, et bien d’autres, on pourra consulter par exemple [11] pour les mathématiques et [2] pour l’histoire.

24
Chapitre 3

Vecteurs aléatoires gaussiens

he
uc
F IGURE 3.1 – Bibliothèque de l’Institut Mittag Leffler à Djursholm, près de Stockholm, Suède. L’univers des vecteurs
gaussiens a notamment été exploré par Harald Cramér (1893 – 1985), mathématicien et actuaire suédois, professeur
à l’université de Stockholm, qui s’est intéressé à la théorie des nombres, aux probabilités, et à la statistique.

Les vecteurs gaussiens, ou plutôt leurs lois appelées lois gaussiennes, apparaissent naturellement par le phéno-
mène TLC. En particulier, elles sont incontournables pour la modélisation des erreurs et du bruit. Le mouvement
a
Brownien, qui émerge comme limite d’échelle de marches aléatoires à incréments de carré intégrable par le phé-
nomène TLC, est un vecteur gaussien de dimension infinie, et sa loi, appelée mesure de Wiener, est une mesure
gaussienne sur l’espace des fonctions continues. Il s’avère que sur les espaces de dimension infinie, les mesures
gaussiennes sont plus faciles à définir que la mesure de Lebesgue. Les mesures gaussiennes sont des objets riches
éb

et structurés, profondément reliés à l’analyse harmonique, à l’algèbre linéaire, et à la géométrie de la sphère de

grande dimension. Elles permettent bien souvent des calculs explicites, y compris de nature combinatoire.

Si X = (X 1 , . . . , X n )⊤ est un vecteur colonne aléatoire de Rn à composantes de carré intégrable, alors son vecteur
moyenne et sa matrice de covariance sont donnés par

m = E(X ) = (E(X 1 ), . . . , E(X n ))⊤ et K = E((X j − m j )(X k − m k )) 1≤ j ,k≤n = E((X − m)(X − m)⊤ ) = E(X X ⊤ ) − mm ⊤ .
¡ ¢

— La matrice K est symétrique et semi-définie positive. C’est la moyenne de la matrice symétrique semi-
définie positive aléatoire (X − m)(X − m)⊤ (qui est de rang 1, tandis que K peut très bien être de rang plein).
— On dit que X est isotrope si K = σ2 I n pour σ > 0.
— Si les composantes X 1 , . . . , X n sont indépendantes alors K est diagonale.
— Si a ∈ Rd et A ∈ Md ,n (R) alors a + AX a pour moyenne a + Am et covariance AK A ⊤ .
En effet, si X est centré alors E(AX (AX )⊤ ) = AE(X X ⊤ )A ⊤ = AK A ⊤ .
En particulier, en prenant d = 1, si x ∈ Rn alors 〈X , x〉 a pour moyenne 〈m, x〉 et covariance 〈K x, x〉.
— En diagonalisant ou par Choleski, toute matrice symétrique à spectre ≥ 0 est une matrice de covariance.
— X ∈ L 2 ssi la fonction caractéristique ϕ X (·) := E(ei〈X ,·〉 ) est dérivable deux fois en 0, et dans ce cas

m = E(X ) = −i∇ϕ X (0) et K + mm ⊤ = E(X X ⊤ ) = −Hessϕ X (0).

25
3.1 Définition et simulation

Théodéf 3.1.1. Vecteurs gaussiens et lois gaussiennes.

Soit X = (X 1 , . . . , X n )⊤ un vecteur colonne aléatoire. Les propriétés suivantes sont équivalentes :

(i) la variable aléatoire réelle 〈t , X 〉 = t 1 X 1 + · · · + t n X n est gaussienne, pour tout t ∈ Rn .
1
(ii) Les cumulants d’ordre > 2 sont tous nuls : ϕ X (t ) := E(ei〈t ,X 〉 ) = ei〈t ,m〉− 2 〈K t ,t 〉 , pour tout t ∈ Rn .
loi
(iii) X = m + AZ , où m ∈ Rn , A ∈ Mn (R), Z = (Z1 , . . . , Zn ), Z1 , . . . , Zn i.i.d. N (0, 1).
On dit alors que X est un vecteur gaussien. Sa loi ne dépend que de m et K : loi gaussienne N (m, K ).

— On dit également loi normale, d’où la notation N . Gaussienne standard : N (0, I n ) = N (0, 1)⊗n .
— Le (iii) dit que les lois gaussiennes sont les déformations affines de la loi gaussienne standard N (0, I n ).
— Toute matrice symétrique à spectre positif est la matrice de covariance d’un vecteur aléatoire gaussien.
— Simulation de N (m, K ) par réduction à N (0, 1) via K = A A ⊤ (diagonalisation, ou mieux : Choleski).
— La définition implique une stabilité par prise de composantes : si X ∼ N (m, K ) est un vecteur gaussien de
Rn et I ⊂ {1, . . . , n}, I ̸= ∅, alors X I ∼ N (x I , K I ,I ) est un vecteur gaussien de R|I | .

he
b2 2
Démonstration. Rappelons que ϕN (m,σ2 ) (s) = eims− 2 σ et pour s’en souvenir, se ramener à m = 0 par translation,
puis vecteur propre de Fourier lorsque σ2 = 1, et principe d’incertitude pour σ2 au numérateur !
(i)⇒(ii). Les X 1 , . . . , X n sont gaussiennes (prendre t = e i ) donc de carré intégrable, donc X possède un vecteur
moyenne m et une matrice de covariance K . Si t ∈ Rn alors 〈t , X 〉 = t 1 X 1 + · · · + t n X n ∼ N (〈t , m〉, 〈K t , t 〉) donc
ϕ X (t ) = ϕ〈t ,X 〉 (1) = exp(i〈t , m〉 − 21 〈K t , t 〉). Donc les cumulants de 〈t , X 〉 d’ordre > 2 sont tous nuls.
(ii)⇒(i). Pour tout t ∈ Rn , comme ϕ X (t ) = ϕ〈t ,X 〉 (1), on en déduit que 〈t , X 〉 ∼ N (〈t , m〉, 〈K t , t 〉).
(iii)⇒(i) Les composantes de X sont des combinaisons linéaires de v.a. gaussiennes indépendantes.
(ii)⇒(iii) Soit A telle que A A ⊤ = K (factorisation de Choleski ou diagonalisation). Alors pour tout t ∈ Rn ,
uc
⊤ t ,Z 〉 1 ⊤ t ∥2 1 ⊤ t ,t 〉
ϕm+AZ (t ) = ei〈m,t 〉 E(ei〈A ) = ei〈m,t 〉 ϕ Z (A ⊤ t ) = ei〈m,t 〉 e− 2 ∥A = ei〈m,t 〉 e− 2 〈A A = ϕ X (t ).

3.2 Indépendance des composantes et densité

Théorème 3.2.1. Stabilité par transformation affine et indépendance des composantes.

a
(i) Si X ∼ N (m, K ) alors pour tout m ′ ∈ Rd et tout A ∈ Md ,n (R), on a m ′ + AX ∼ N (m ′ + Am, AK A ⊤ ).
(ii) Si X ∼ N (m, K ) alors les propriétés suivants sont équivalentes :
(a) les composantes X 1 , . . . , X n de X sont indépendantes (mutuellement)
éb

(b) les composantes X 1 , . . . , X n de X sont indépendantes deux à deux

(c) les composantes X 1 , . . . , X n de X sont décorrélées c’est-à-dire que K est diagonale.
Plus généralement, si X ∼ N (m, K ) et I 1 , . . . , I r ⊂ {1, . . . , n}, I i ̸= ∅, I i ∩ I j = ∅ si i ̸= j , alors X I 1 , . . . , X I r
sont indépendants ssi K est diagonale par blocs au sens où K I i ,I j = K I⊤,I = 0 pour i ̸= j .
j i

(iii) Si (X , Y ) est un vecteur gaussien centré, alors X et Y indépendants ssi X i ⊥ Y j dans L 2 pour tous i , j .

— Contrexemple : si Z ∼ N (0, 1) et ε ∼ 12 (δ−1 + δ1 ) alors X = (Z , εZ ) n’est pas un vecteur aléatoire gaussien car
X 1 + X 2 = Z + εZ = (1 + ε)Z vérifie P(X 1 + X 2 = 0) = 1/2. De plus, la matrice de covariance de X est diagonale
car E(X 1 X 2 ) = E(ε)E(Z 2 ) = 0 mais X 1 et X 2 ne sont pas indépendantes car Loi(X 1 | X 2 = x) = 21 (δ−x + δx ).
— Le (ii) indique également que pour les composantes d’un vecteur gaussien, indépendance mutuelle et indé-
pendance deux à deux sont équivalentes.

Démonstration.
(i) Pour tout t ∈ Rn , 〈t , m ′ + AX 〉 = 〈t , m ′ 〉 + 〈A ⊤ t , X 〉 qui est gaussienne car X est gaussien.
(ii) Si K = diag(σ21 , . . . , σ2n ) alors pour tout t ∈ Rn , ϕ X (t ) = ni=1 exp(it i m i − 12 σ2i t i2 ) = ni=1 ϕ X i (t i ) donc X 1 , . . . , X n
Q Q

sont indépendantes. La réciproque n’a rien de gaussien (covariance nulle si indépendance).

(iii) Découle immédiatement du (ii).
■

26
 Théorème 3.2.2. Densité gaussienne.

La loi gaussienne N (m, K ) sur Rn a une densité ssi K est inversible, donnée par
³ ´
exp − 12 〈K −1 (x − m), x − m〉
x ∈ Rn 7→ p ,
(2π)n det(K )

et dans le cas contraire N (m, K ) est portée par le sous-espace affine strict m + Im(K ) de Rn .

n |x|2
— La loi gaussienne standard N (0, I n ) = N (0, 1)⊗n a pour densité x ∈ Rn 7→ (2π)− 2 e− 2 .

d
Démonstration. Soit A ∈ Mn,n (R) telle que K = A A ⊤ , de sorte que X = m + AZ , où Z ∼ N (0, I n ) = N (0, 1)⊗n . Si K
1 n
est inversible, alors A est inversible, et comme Z a pour densité ni=1 (2π)− 2 exp(− 12 z i2 ) = (2π)− 2 exp(− 12 |z|2 ), il vient
Q
p
par changement de variable affine que m + AZ a pour densité la formule de l’énoncé (jacobien : det(A) = det(K )).
Si K n’est par inversible, alors A ne l’est pas et m + AZ prend ses valeurs dans m + ARn . Or Im(A) = Im(K ). ■

he
3.3 Cas isotrope : théorème de Cochran, théorème de Maxwell, équation de la chaleur

loi
— Un vecteur aléatoire X de Rn est isotrope qd sa loi est invariante par rotation : R X = X pour tout R ∈ On (R).
La loi gaussienne N (m, K ) est isotrope ssi m = 0 et K = σ2 I n pour σ ≥ 0.
2
− |x|2
Les lois gaussiennes isotropes sont des lois produit : N (0, σ2 I n ) = N (0, σ2 )⊗n . Densité x ∈ Rn 7→ p 1 ne 2σ .
2πσ2
étr.
— Cas extrêmes : N (0, σ2 I n ) → δ0 si σ → 0, et N (0, σ2 I n ) → Lebesgue si σ → ∞. Plus précisément, soit Z ∼
N (0, I n ). Alors σZ ∼ N (0, σ2 I n ), et pour toute f : Rn → R continue et bornée, par convergence dominée,
uc
Z
E( f (σZ )) −→ f (0) = f dδ0 .
σ→0

D’autre part, pour tout borélien I ⊂ Rn borné de mesure de Lebesgue |I | > 0,

étr.
P(σZ ∈ I ) −→ 0 et Loi(σZ | σZ ∈ I ) → Uniforme(I ).
σ→∞ σ→∞

La masse se disperse et s’uniformise 1 . En effet, pour tout borélien J ⊂ I , par convergence dominée,
1
|x|2
a
R −
2 e 2σ2 dx |J |
Z
2 − n2 − |x|2 J
P(σZ ∈ I ) = (2πσ ) e 2σ dx −→ 0 et P(σZ ∈ J | σZ ∈ I ) = R −→ .
I σ→∞ − 1
|x|2 σ→∞ |I |
e 2σ2 dx
I

Le noyau de la chaleur N (0, t I n ) interpole entre δ0 (t = 0) et Lebesgue (t = ∞).

p
éb

— Si X suit la loi uniforme sur la sphère {x ∈ Rn : |x| = n}, alors pour tout k ≥ 1 fixé,

loi
p Rk (X ) := (X 1 , . . . , X k ) −→ N (0, I k ).
n→∞

loi p
En effet, X = n |ZZ | où Z ∼ N (0, I n ) = N (0, 1)⊗n car Z est isotrope (loi est invariante par rotation), tandis
que le caractère i.i.d. des coordonnées (loi produit) de Z donne, par la loi des grands nombres,

p (Z1 , . . . , Zk ) p.s.
nq −→ (Z1 , . . . , Zk ) ∼ N (0, I k ).
2 2 n→∞
Z1 + · · · + Zn

Toute gaussienne standard est donc proche d’une loi uniforme sur une sphère de grande dimension 2 . Le
théorème 3.3.3 ci-dessous indique que l’argument ne fonctionne qu’avec des gaussiennes (isotropes). 5→6

1. Dans le même esprit, pour tout x > 0, nous avons (σZ ) mod x = (σZ )/x − ⌊(σZ )/x⌋ → Uniforme([0, x]) étroitement quand σ → ∞.
2. Cela est lié au fait que la loi uniforme se concentre en grande dimension autour des grands cercles, phénomène lui-même lié au fait que
les ensembles optimaux pour le problème isopérimétrique sont les calottes sphériques. Ce résultat dû à Paul Lévy a été étendu aux variétés
riemanniennes à courbure de Ricci positive par Mikhaïl Gromov, puis aux semi-groupes de Markov par Dominique Bakry et Michel Ledoux.

27
 Théorème 3.3.1. Théorème de Cochran sur les gaussiennes isotropes.

Si Z = (Z1 , . . . , Zn ) ∼ N (m, σ2 I n ), et si Rn = E 1 ⊕ · · · ⊕ E r avec E j ⊥ E k si j ̸= k, alors les vecteurs aléatoires

projE k (Z ) = P k Z , 1 ≤ k ≤ r , sont gaussiens indépendants avec P k Z ∼ N (P k m, σ2 P k ) de Rn .

Démonstration. On se ramène par translation à m = 0. Comme les s.e.v. E i sont ⊥ et la loi de Z est invariante par
rotation, on se ramène au cas où E k = vect(e i : i ∈ I k ), 1 ≤ k ≤ r , pour une partition I 1 ∪· · ·∪ I r = {1, . . . , n}. Le résultat
découle alors du théorème 3.2.1 : la matrice P k de projection orthogonale sur E k est diagonale, et (P k )i ,i = 1i ∈I k . ■

Notons χ2 (n) la loi de Z12 + · · · + Zn2 où Z1 , . . . , Zn sont des v.a. i.i.d. de loi N (0, 1), c’est-à-dire la loi de |Z |2 avec
Z ∼ N (0, I n ). Sa moyenne vaut n. Par récurrence sur n, il vient que χ2 (n) = Gamma(n, 1), où Gamma(n, λ) est la loi
λn
Gamma de paramètre de forme n et de paramètre d’échelle λ, de densité x 7→ (n−1)! t n−1 e−λx 1x≥0 .

Corollaire 3.3.2. Échantillons gaussiens et studentisation.

Si les X 1 , . . . , X n sont des v.a. i.i.d. N (m, σ2 ) alors la moyenne empirique et la variance empirique

X1 + · · · + Xn (X 1 − m n )2 + · · · + (X n − m n )2

he
m n := et σ2n :=
n n −1
p mn −m
rN (0,1)
2
sont indépendantes, m n ∼ N (m, σn ), n−1 2
σ2
σn ∼ χ2 (n − 1), d’où n σn ∼ =: Student(n − 1).
χ2 (n−1)
n−1

— On qualifie d’empirique ce qui est issu de l’expérience, ici l’échantillonnage d’un phénomène aléatoire.
— Le théorème de Cochran et son corollaire permettent la construction de tests d’hypothèses statistiques.

Démonstration. Rn = E 1 ⊕E 2 , E 1 := R(1, . . . , 1), E 2 = E 1⊥ , d’où projE 1 (X ) = m n , projE 2 (X ) = X −m n . Or (m, . . . , m) ∈ E 1 ,

uc
d’où projE 2 ((m, . . . , m)) = 0, et donc |X − m n |2 /σ2 = |projE 2 (X ) − projE 2 ((m, . . . , m))|2 /σ2 ∼ χ2 (n − 1). ■

Théorème 3.3.3. Caractérisation géométrique de Maxwell des gaussiennes isotropes.

Une loi µ sur Rn , n ≥ 2, est produit et invariante par rotation ssi µ = N (0, σ2 I n ) pour un σ ≥ 0.

— Quand σ = 0, on dispose de la convention très naturelle N (0, I n ) = δ0 = δ⊗n

0 .
— Quand n = 1, toute loi est produit, et l’invariance par rotation devient la symétrie, or toute loi centrée symé-
trique n’est pas gaussienne, le théorème n’a donc pas lieu pour n = 1. La loi de Rademacher 21 δ−σ + 12 δσ est
a
centrée et symétrique, ses deux premiers moments, 0 et σ2 , sont identiques à ceux de N (0, σ2 ).
— Maxwell a obtenu ce résultat dans son exploration de la distribution des vitesses en théorie cinétique des
gaz, domaine scientifique dans lequel on a coutume de parler de maxwellienne plutôt que de gaussienne !
L’argument de symétrie de Maxwell est contestable, et a été critiqué notamment par Paul Lévy [48].
éb

2 p
− |x| −n log 2πσ2
Démonstration. Pour tout σ > 0, N (0, σ2 I n ) = N (0, σ2 )⊗n , de densité e 2σ2 est produit et invariante par
rotation. Réciproquement, soit µ une loi sur Rn , n ≥ 2, produit et invariante par rotation. Quitte à remplacer µ par
µ ∗ N (0, εI n ), ε > 0, c’est-à-dire X + εZ en terme de v.a. on peut supposer sans perte de généralité 3 que µ a une
densité lisse f : Rn → (0, ∞). L’invariance par rotation donne log( f (x)) = g (|x|2 ) et donc

∂i log( f (x)) = 2g ′ (|x|2 )x i .

D’autre part la nature produit donne log( f (x)) = h 1 (x 1 ) + · · · + h n (x n ) et donc

∂i log( f (x)) = h i′ (x i ).

Donc ∂i log( f (x)), qui dépend de |x| via g ′ (|x|), ne dépend que de x i . Or n ≥ 2 par hypothèse, donc g ′ est constante.
2
Ensuite, comme g ′ est constante, il existe a, b ∈ R tels que g (u) = au +b pour tout u, et donc f (x) = ea|x| +b . Comme
f est une densité, a < 0 et eb = (π/a)−n/2 , et µ = N (0, σ2 I n ) avec σ2 = −1/(2a). ■
3. Plus précisément, comme X ε := X + εZ et Z sont L 2 car gaussiens, et centrés, le vecteur X l’est aussi. Si K est la matrice de covariance
de X , alors la matrice de covariance de X ε est K ε := K + ε2 I n , et donc pour t ∈ Rn , par indépendance, ϕ X (t ) = ϕ X ε (t )/ϕ Z (εt ) = exp(− 12 〈(K ε −
ε2 I n )t , t 〉) = ϕN (0,K ) (t ). Cela ne nécessite pas ε → 0. Alternativement, quand ε → 0, d’une part ϕ X ε (t ) = ϕ X (t )ϕ Z (εt ) → ϕ X (t ) et d’autre part
les deux premiers moments de X ε convergent vers ceux de X , et comme X ε est gaussien, on obtient que X l’est aussi.

28
 Pour tout t > 0, la densité de µt = N (0, t I n ) est appelée noyau de la chaleur, donnée par

n |x|2
p t (x) = (2πt )− 2 e− 2t .

Un calcul direct montre qu’elle vérifie l’équation de la chaleur : pour tous t > 0 et x ∈ Rn ,

∂t p t (x) = 21 ∆x p t (x) où ∆x = ∂2x1 + · · · + ∂2xn .

Qualitativement, cette équation exprime le fait qu’au cours du temps, la chaleur au point x augmente ou diminue
selon que la fonction est convexe ou concave en ce point, et le résultat global est une uniformisation, vers la mesure
de Lebesgue 4 , quand t → ∞. La condition initiale est une masse de Dirac à l’origine, au sens où µt → δ0 étroitement
quand t → 0. Ainsi µt interpole de manière gaussienne entre µ0 = δ0 et µ∞ = Lebesgue en quelque sorte.
Le théorème suivant est au carrefour de l’analyse harmonique, des probabilités, de l’analyse des équations
aux dérivées partielles, de l’analyse fonctionnelle, de la physique statistique, et de la théorie de l’information. Le
laplacien possède des analogues dans des contextes très variés : graphes, réseaux, variétés, formes modulaires, . . .

Théorème 3.3.4. Équation, et semi-groupe de la chaleur, entropie, information.

he
p
Pour tout t ≥ 0, soit µt = Loi(X + t Z ) = µ ∗ N (0, t I n ), où X ∼ µ et Z ∼ N (0, I n ) sont indépendantes. Alors :
(i) µt → µ étroitement quand t → 0.
(ii) Pour tout t > 0, la mesure de probabilité µt a pour densité f t := µ∗ p t où p t est la densité de N (0, t I n ).
(iii) Pour tout t ∈ R+ , µ 7→ µt est un opérateur linéaire sur les mesures de probabilités sur Rn , et la famille
{(·)t : t ∈ R+ } est un semi-groupe abélien : (·)0 = id, et (·)s ◦ (·)t = (·)t ◦ (·)s = (·)s+t pour tous s, t ∈ R+ .
(iv) La fonction (t , x) ∈ (0, ∞) × Rn 7→ f (t , x) = f t (x) est solution de l’équation de la chaleur :

∂t f t = 12 ∆x f t .
uc
(v) Si µ a une densité f ∈ C 3 (Rn , R) avec f ′′′ bornée alors pour tout x ∈ R3 ,

f t (x) − f (x)
∂t =0 f t (x) = lim = ( 12 ∆ f )(x) au sens où f t (x) = f (x) + t ( 21 ∆ f )(x) + o t →0 (t ).
t →0 t

(vi) Identité de de Bruijn sur entropie de Boltzmann – Shannon et information de Fisher : pour tout t > 0,

³ Z |∇x f t |2
´ Z
∂t − f t log f t dx = 12 dx ≥ 0.
a
Rn Rn ft

— La famille {(·)t : t ∈ R+ } le semi-groupe de la chaleur.

— Si (B t )t ∈R+ est un mouvement brownien issu de B 0 ∼ µ (chapitre 7), alors B t ∼ µt pour tout t ≥ 0. L’équation
éb

de la chaleur exprime alors une évolution déterministe et linéaire de la loi de ce processus stochastique au
cours du temps. Cela est typique des processus de Markov, en particulier des chaînes de Markov.
— L’identité de de Bruijn est un théorème-H à la Boltzmann pour l’équation de la chaleur.
— Sur un espace non-linéaire comme une variété, on ne dispose pas de gaussiennes, mais avec une structure
riemannienne, on dispose d’un laplacien, et le semi-groupe de la chaleur associé peut alors servir à la fois à
régulariser (temps petit) et à interpoler (entre masses de Dirac et mesure de volume).
1
— En quelque sorte (·)t = et 2 ∆ et on dit que 12 ∆ est le générateur infinitésimal du semi-groupe de la chaleur.
— Comme f t > 0 dès que t > 0, même si µ = δ0 , la vitesse de propagation est infinie, ce qui est peu réaliste pour
la diffusion de la chaleur, mais des versions à vitesse maximale existent (dites relativistes, non-linéaires). Les
modèles mathématiques sont des caricatures, plus ou moins utiles à travers les échelles d’approximation.

Démonstration.
(i) Pour toute f : Rn → R continue et bornée,
p
Z Z
f dµt = E( f (X + t Z )) −→ E( f (X )) = f dµ par convergence dominée.
t →0

p
(ii) Avec les notations précédentes, si t > 0 alors X + t Z a pour densité µ ∗ p t := p t (· − y)dµ(y).
R

(iii) En effet par associativité (µs )t = µ ∗ p s ∗ p t = µ ∗ p s+t = µs+t car N (0, sI n ) ∗ N (0, t I n ) = N (0, (s + t )I n ).
4. L’idée a été reprise par Richard Hamilton et Grigori Perelman (flot de Ricci pour applatir la courbure) pour la conjecture de Poincaré.

29
(iv) Dérivation sous le signe somme et le fait que ∂t p t = 12 ∆x p t pour t > 0.
(v) Formule de Taylor f (y) = f (x) + ni=1 ∂xi f (x)(y − x)i + 21 1≤i , j ≤n ∂2xi ,x j f (x)(y − x)i (y − x) j + O(∥x − y∥3 ), et
P P
p
formule du noyau de la chaleur f t (x) = Rn f (y)p t (x − y)dy = E( f (x + t Z )), avec E(Zi ) = 0 et E(Zi Z j ) = t 1i = j .
R

(vi) Par dérivation sous le signe somme, (iii), et intégration par parties,

1 1 |∇x f t |2
Z Z Z
∂t f t log f t dx = (1 + log f t )∆x f t dx = − dx.
Rn 2 Rn 2 Rn ft

Les termes de bord disparaissent car f t et des dérivées sont nulles à l’infini (à vérifier).
■

3.4 Espérance conditionnelle et loi conditionnelle

Le théorème suivant joue un rôle important dans l’étude des modèles linéaires gaussiens en statistique.

Théorème 3.4.1. Loi conditionnelle et espérance conditionnelle.

he
Soit (X , Y ) : (Ω, A , P) → Rd un vecteur gaussien de Rd = Rp × Rq , de matrice de covariance
µ ¶ µ ¶
Cov(X , X ) Cov(X , Y ) K C
Γ= =
Cov(Y , X ) Cov(Y , Y ) C⊤ L

inversible (implique que K et L le sont également). Alors Loi(Y | X = x) est gaussienne :

Loi(Y | X = x) = N (m x , S) où m x = E(Y ) +C ⊤ K −1 (x − E(X )) et S = L −C ⊤ K −1C .

Sa moyenne m x est affine en x tandis que sa covariance S est constante en x. En particulier :

uc
(i) E(Y | X ) est un vecteur gaussien, fonction affine de X donnée par E(Y | X ) = E(Y ) +C ⊤ K −1 (X − E(X )).
(ii) Y = E(Y | X ) + ε où ε ∼ N (0, L −C ⊤ K −1C ) et ε est indépendant de X .

— Le (i) dit que la meilleure approximation L 2 de Y par une v.a. σ(X )-mesurable est une fonction affine de X .
— Cela reste valable quand Γ n’est pas inversible en utilisant une pseudo-inverse ou inverse généralisée de K .

Démonstration. On se ramène par translation au cas où le vecteur gaussien (X , Y ) est centré. Comme Γ et K sont
inversibles, d’après le théorème 3.2.2, les vecteurs aléatoires (X , Y ) et X centrés ont pour densités
a
1 1 −1 z,z〉 1 1 −1 x,x〉
z 7→ ((2π)d det(Γ))− 2 e− 2 〈Γ et x 7→ ((2π)p det(K ))− 2 e− 2 〈K ,

où z := (x, y)⊤ . Le rapport des deux donne la densité de la loi conditionnelle Loi(Y | X = x) :
éb

s
det(K ) 1 −1 −1
y 7→ e− 2 (〈Γ z,z〉−〈K x,x〉) .
(2π)q det(Γ)
µ −1
K + K −1C S −1C ⊤ K −1 −K −1C S −1
¶
Or 5 Γ−1 = où S := L −C ⊤ K −1C , de plus det(Γ) = det(K ) det(S).
−S −1C ⊤ K −1 S −1
Après simplification, la densité de Loi(Y | X = x) s’écrit (S apparaît comme une variance conditionelle)
1 1 −1 (y−m),y−m〉
y 7→ ((2π)q det(S))− 2 e− 2 〈S , où m := C ⊤ K −1 x,

qui est bien celle de N (m, S). Alternativement, il est possible d’utiliser la fonction caractéristique conditionnelle.
Enfin, par construction de la notion de loi conditionnelle, la moyenne de Loi(Y | X = x) est E(Y | X = x).
Donnons enfin une preuve directe de (i). Pour tout 1 ≤ j ≤ q, nous devons montrer que E(Y j | X ) = (C ⊤ K −1 X ) j .
Nous avons Z j = E(Y j | X ) = projF (Y j ) où F = L 2 (Ω, σ(X ), P). La v.a. Z j est caractérisée comme étant l’unique élé-
ment de F tel que E(Z j Z ) = E(Y j Z ) pour tout Z ∈ F . Recherchons Z j sous la forme Z j = b ⊤ j
X , b j ∈ Rp . La caractéri-
sation utilisée avec Z = X i , 1 ≤ i ≤ p, donne K b j = C ·, j , d’où l’unique solution possible b j = (C ⊤ K −1 ) j ,· . ■
Comment expliquer le fait que E(Y | X ) soit une fonction affine de X ? Considérons le cas où (X , Y ) est centré.
Soit le sous-espace F 0 = {b ⊤ X : b ∈ Rp } de F = L 2 (Ω, σ(X ), P). Pour tout 1 ≤ j ≤ q, Y j ∈ L 2 , donc E(Y j | X ) = p F (Y j ).
La v.a. ∆ j := p F (Y j ) − p F0 (Y j ) = Y j − p F (Y j ) − (Y j − p F0 (Y j )) est ⊥ X i dans L 2 pour tout i . Il s’avère que (∆ j , X ) est un

30
vecteur gaussien, et comme il est centré, l’orthogonalité dans L 2 entraîne l’indépendance (théorème 3.2.1), donc
∆ j et X sont indépendantes. Or ∆ j est aussi σ(X )-mesurable, elle est donc constante, donc nulle car centrée. 6→7

Ceci n’est pas abordé en priorité lors du cours oral.

Théodéf 3.4.2: Indépendance conditionnelle

Pour un vecteur aléatoire Z = (X , Y ) de Rd = Rp × Rq , on dit que les composantes de Y sont condi-

tionnellement indépendantes sachant X lorsque Loi(Y | X = x) est produit pour tout x.
Si Z est un vecteur gaussien de matrice de covariance inversible Γ, alors les composantes de Y sont
conditionnellement indépendantes sachant X ssi la sous-matrice (Γ−1 )p<k≤d ,p<k≤d est diagonale.

Ainsi, pour un vecteur gaussien, les zéros dans la matrice de covariance indiquent l’indépendance tandis
que les zéros dans l’inverse de la matrice de covariance indiquent l’indépendance conditionnelle.

Démonstration. On adopte la décomposition en blocs de Γ du théorème 3.4.1. Comme dans la preuve du

théorème 3.4.1, comme Γ est inversible, les matrices K et S := L − C ⊤ K −1C le sont également, et pour tout
x, Loi(Y | X = x) est gaussienne de matrice de covariance S. Le théorème 3.2.1 donne alors que les compo-

he
santes de Y sont conditionnellement indépendantes sachant X ssi S est diagonale, c’est-à-dire ssi S −1 est
diagonale. Enfin la formule d’inversion par blocs de Γ donne (S −1 )k,l = (Γ−1 )k,l pour tout p < k, l ≤ d . ■

Exemple 3.4.3: Processus auto-régressif gaussien

Le processus auto-régressif gaussien AR(1) est la suite (X n )n∈N définie par

X n+1 = θX n + εn+1

où θ est un réel fixé, (εn )n∈N sont des v.a. i.i.d. de loi N (0, 1), et X 0 = ε0 . On observe que
uc
(ε0 , . . . , εn+1 )⊤ = T (X 0 , . . . , X n )⊤ où T est la matrice (n + 1) × (n + 1) triangulaire inférieure bidiago-
nale Ti , j = 1i = j − θ1 j =i −1 . Il en découle que (X 0 , . . . , X n ) ∼ N (0, (T ⊤ T )−1 ). Comme l’inverse T ⊤ T de
la
¯ matrice¯ de covariance est tridiagonale, le théorème 3.4.2 indique que pour tout 1 ≤ i < j ≤ d , si
¯i − j ¯ > 1 alors X i et X j sont conditionnellement indépendantes sachant les autres composantes de
(X 0 , . . . , X n ). On le vérifie par exemple sur la loi de (X 0 , X 2 ) = (ε0 , θX 1 +ε2 ) sachant X 1 = θε0 +ε1 = x 1 ,
égale à la loi de (θ −1 (x 1 − ε1 ), θx 1 + ε2 ), qui est bien produit. Les processus auto-régressifs, gaus-
siens ou pas, sont emblématiques de la modélisation des séries chronologiques ou temporelles, et
constituent des exemples naturels de martingales et de chaînes de Markov.
a
Pour aller plus loin 3.4.4. Vecteurs gaussiens.

— Caractérisation des gaussiennes comme maximum d’entropie de Boltzmann – Shannon [12].

éb

— Combinatoire des moments des lois gaussiennes et formule de Wick [5].

— Intégration par parties gaussienne etpéquation de Stein.
— Maximum de v.a. i.i.d. gaussiennes, log(n), loi de Gumbel.
— Polynômes orthogonaux d’Hermite, décomposition en chaos, calcul de Malliavin.
— Lois gaussiennes et convergences en probabilité et L 2 , espaces gaussiens.
— Séries aléatoires gaussiennes et pré-mouvement brownien.
— Filtre de Kalman gaussien.
— Processus auto-régressifs ARMA, filtrage, théorie du signal, pour les séries temporelles.
— Matrices aléatoires de Wishart et factorisation de Bartlett, matrices aléatoires GOE/GUE [12].
— Matrices aléatoires de Ginibre, loi du spectre, théorèmes de Ginibre et d’Edelman.
— Inégalité de Sobolev logarithmique gaussienne [12].
— Champ libre gaussien.
— Chaos multiplicatif gaussien.
— Simulation de la loi gaussienne par algorithme du Ziggurat.

5. Formule d’inversion par blocs. La matrice carrée S est appelée complément de Schur de K dans la matrice par blocs Γ. La matrice Γ est
(symétrique positive) inversible ssi K et son complément de Schur S dans Γ le sont. Cette géométrie des matrices inversibles et du cône des
matrices symétriques positives est importante, bien au-delà des vecteurs gaussiens. Voir par exemple [61] pour un point de vue panoramique.

31
 he
a uc
F IGURE 3.2 – Portrait imaginaire de Harald Cramér généré par ChatGPT. La génération d’image par apprentissage
automatique profond fait appel à des processus de diffusion gaussiens, qui sont des vecteurs gaussiens de grande
dimension, de la même famille que le mouvement brownien. Les vecteurs ou processus gaussiens, incontournables
éb

en raison du phénomène TLC, sont largement utilisés dans tous les champs de la modélisation stochastique.

32
Chapitre 4

Martingales à temps discret

he
uc
F IGURE 4.1 – Table de jeu avec roulette, dans un casino de Las Vegas, Nevada, dans les années 1950. Initialement
développées comme une généralisation des marches aléatoires pour la modélisation de jeux de hasard, les martin-
gales constituent aujourd’hui un outil puissant, polyvalent, et élégant pour l’étude des processus stochastiques.

« Le temps, cher ami, le temps amène l’occasion ; l’occasion c’est la martingale de l’homme : plus on a engagé, plus
a
on gagne quand on sait attendre. » Alexandre Dumas (1802 – 1870), Les trois mousquetaires (1844), chapitre 42.

4.1 Processus, filtrations, martingales

éb

Dans ce chapitre, on se place toujours et sauf mention du contraire sur un espace de probabilité. (Ω, F , P).
Une suite croissante (Fn )n∈N de sous-tribus de F est appelée filtration 1 : F0 ⊂ F1 ⊂ · · · ⊂ F , tandis que le
quadruplet (Ω, F , (Fn )n∈N , P) est un espace de probabilité filtré. Cette notion provient des processus.
Un processus stochastique à temps discret est une suite X = (X n )n∈N de v.a. modélisant une expérience au fil
du temps. L’information ou champ des possibles accumulé au temps n est donné par la sous-tribu

FnX := σ(X 0 , . . . , X n ).

Cela signifie que FnX est constituée par tous les événements que nous pouvons écrire avec X 0 , . . . , X n .
La suite (FnX )n∈N est une filtration appelée filtration canonique ou filtration naturelle du processus.
Un processus (X )n∈N est . . .
— adapté à une filtration (Fn )n∈N lorsque X n est mesurable par rapport à Fn , pour tout n
et la filtration canonique du processus est la plus petite tribu rendant le processus adapté.
— prévisible lorsque X n est mesurable par rapport à Fn−1 pour tout n ≥ 1, et X 0 = 0.
— intégrable lorsque E(|X n |) < ∞ c’est-à-dire X n ∈ L 1 pour tout n.
— de carré intégrable lorsque E(X n2 ) < ∞ c’est-à-dire X n ∈ L 2 pour tout n.
— borné dans L p lorsque supn∈N E(|X n |p ) < +∞.
— borné lorsqu’il existe une constante réelle C > 0 telle que |X n | ≤ C p.s. pour tout n.
— fini lorsque |X n | < +∞ p.s. pour tout n.

1. Cette notion basée sur la théorie de la mesure est spécifique aux probabilités et n’intervient pas vraiment naturellement en analyse.

33
 — positif lorsque X n ≥ 0 p.s. pour tout n.

Un processus X = (X n )n∈N , adapté à une filtration (Fn )n∈N et intégrable, est une
— martingale lorsque E(X n+1 | Fn ) = X n p.s. pour tout n.
— sous-martingale lorsque E(X n+1 | Fn ) ≥ X n p.s. pour tout n.
— surmartingale lorsque E(X n+1 | Fn ) ≤ X n p.s. pour tout n.
Être une martingale est équivalent à être à la fois une sous-martingale et une surmartingale.
Les propriétés de l’espérance conditionnelle indiquent qu’il est possible de remplacer n + 1 par tout m ≥ n + 1.
Dans la suite de ce chapitre, on omet bien souvent le p.s. pour alléger les notations. Méfiance, toutefois.
Les martingales sont des suites aléatoires constantes en moyenne :

E(M 0 ) = · · · = E(M n ) = · · · .

Une information sur M 0 est donc conservée 2 au fil du temps. De même, l’espérance est croissante le long des
sous-martingales, suites croissantes en moyenne, et décroissante le long des surmartingales, suites décroissantes
en moyenne. Une question naturelle, élucidée dans ce chapitre, est le comportement asymptotique des trajectoires
du processus, au-delà de la moyenne, notamment la convergence presque sûre et en moyenne de (M n )n∈N .

he
Remarque 4.1.1. Comment ne plus se tromper entre sous-martingale et surmatingale.

— Astuce mnémotechnique visuelle de l’auteur de ces notes : « Pour une suite convergente monotone,
sous la limite = croître, sur la limite = décroître ». Mais il est possible de faire autrement, comme par
exemple Nathanaël Enriquez : « Quand je demande aux étudiants de me dire si un truc qui monte est
plutôt "sous" ou "sur", ils me disent tous "sur". Il faut donc retenir que c’est l’inverse de l’intuition ! ».
— À propos de la dénomination, voici un extrait d’une interview de J. L. Doob par J. L. Snell [62] :
Doob : « [... ] The martingale definition led at once to the idea of sub and super martingales, and it was
clear that these were the appropriate names but, as I remarked in my 1984 book (Classical Potential
uc
Theory and Its Probabilistic Counterpart, Springer, 1984), the name supermartingale was spoiled for
me by the fact that every evening the exploits of "Superman" were played on the radio by one of my
children. If I had been doing my work at the university rather than at home I am sure I would not have
used the ridiculous names semi- and lower semimartingales for sub- and supermartingales in my
1953 book. Perhaps I should have noted that one reason for the success of that book is the prestigious
sounding title, a translation of a name in a German Khintchine paper. »
— Ce que sous-entend Doob est que si B est un mouvement brownien alors f (B ) est une sous-
martingale si f est sous-harmonique, et une surmartingale si f est surhamonique, et il en va de
même pour la marche aléatoire simple pour le laplacien discret. Reste à comprendre comment
a
distinguer (sous-/sur)harmonique. En fait, les fonctions surharmoniques sont littéralement sur les
fonctions harmoniques, au sens suivant : si f est surharmonique et si u est harmonique avec f = u
sur ∂Ω alors f ≥ u. Avant de devenir probabiliste, Doob était analyste harmonique.
R D’autre part,
certains préfèrent les opérateurs positifs, et l’intégration par parties (−∆ f ) f dx = |∇ f |2 dx ≥ 0 fait
R

que −∆ est un opérateur positif, ce qui rend naturel de dire que f est surharmonique si −∆ f ≥ 0.
éb

— Extrait du livre de 1984 de Doob [22, p. 808] : « Before martingales had been formally christened,
Lévy (1935,1937), Bernstein (1937), and other mathematicians had analyzed some of their properties
in special contexts ; usually the martingales in question arose as partial sums nj=0 y j of a sequence
P

y of random variables under the condition E(y j | y 0 , . . . , y j −1 ) = 0 so that the sums arose as generali-
zations of sums of independent random variables with zero means. Ville (1939) defined a martingale
very nearly as a positive martingale is now defined but tied it to a sequence of independent random
variables under analysis. His fundamental tool, a fact he proved, was that almost every sample se-
quence of a positive martingale is bounded. Doob (1940) discussed martingales and proved the basic
convergence properties under the name "family of random variables with the property E." ("E" was
chosen not as the initial letter of "expectation" but as the first letter in the alphabet following "D".)
Under the respective names "semimartingale" and "lower semimartingale," submartingales and su-
permartingales were introduced in (Snell 1952) and (Doob 1953). This obviously inappropriate no-
menclature was chosen under the malign influence of the noise level of radio’s SUPERman program,
a favorite supper-time program of Doob’s son during the writing of (Doob 1953)". For further work
in martingale theory see (Neveu 1972) (discrete parameter context) and (Dellacherie and Meyer 1980)
(continuous parameter context). ».

2. C’est une loi de conservation, où loi a le même sens que dans loi de la nature et loi des grands nombres. Alternativement, cette loi de
conservation peut être vue comme un invariant de la suite. Identifier les invariants d’un modèle est toujours utile pour son étude.

34
 Les martingales sont des généralisations des sommes de variables aléatoires indépendantes et centrées ou
marches aléatoires, avec l’idée que chaque accroissement est conditionnellement centré sachant les précédents :

M n ∈ L 1 (Fn ) et E(M n+1 − M n | Fn ) = 0 pour tout n.

Pour les martingales de carré intégrable, cela devient

M n+1 − M n ⊥ L 2 (Fn ) pour tout n.

Dans toute la suite, la tendance est de noter les martingales M , et autrement les autres processus.

4.2 Exemples de martingales

Les propriétés de l’espérance conditionnelle font que les martingales sont polymorphes et assez répandues.
Dans les exemples suivants, la filtration est à deviner, en général il s’agit d’une filtration canonique.

— Somme. S 0 = 0, S n = X 1 + · · · + X n , X 1 , X 2 , . . . indépendantes de moyenne m,

he
M n = S n − nm.

C’est une marche aléatoire à pas indépendants centrés X 1 − m, . . . , X n − m.

Dans le même esprit, S n est une surmartingale si m ≤ 0 et une sous-martingale si m ≥ 0.
— Produit. P 0 = 1, P n = X 1 · · · X n , X 1 , X 2 , . . . indépendantes, positives, de moyenne m,

Pn
Mn = .
mn
Le logarithme log(M n ) fait retrouver le cas précédent, on parle également de martingale exponentielle.
— Somme carrée. S 0 = 0, S n = X 1 + · · · + X n , X 1 , X 2 , . . . indépendantes, de moyenne m et de variance σ2 ,
uc
M n = (S n − nm)2 − nσ2 .

— Exponentielle de Wald. S 0 = 0, S n = X 1 + · · · + X n , X 1 , X 2 , . . . i.i.d. Rademacher pδ1 + qδ−1 ,

µ ¶S n
q
Mn = .
p

Plus généralement, S 0 = x, S n = x + X 1 + · · · + X n , X 1 , X 2 , . . . i.i.d. ϕ(α) = log(E(e−αX 1 )), α > 0,

a
¡ ¢
M n = exp −αS n − nϕ(α) .

Cette martingale et les deux précédentes interviennent dans l’étude de la ruine du joueur (exemple 4.4.6).
2 2
Les martingales somme S n − nm et somme ¡ carrée (S n −¢ nm) − nσ sont les deux premières dérivées en
éb

α = 0 de la martingale exponentielle exp −αS n − nϕ(α) . Plus généralement, l’ensemble des martingales
pour une même filtration est stable par combinaison linéaire, c’est un espace vectoriel. D’autre part, les
martingales précédentes sont toutes construites de la même façon : une fonction (linéaire ou pas) d’une
marche aléatoire, corrigée additivement ou multiplicativement pour avoir une espérance constante.
— Martingale fermée ou de Doob. X ∈ L 1 , (F )n≥∈N filtration,

M n = E(X | Fn ).

Dans le même esprit, si un processus (X n )n∈N est intégrable, adapté à une filtration (Fn )n∈N , et décroissant
(respectivement croissant), alors c’est une surmartingale (respectivement sous-martingale).
— Modèle de Wright – Fisher (génétique des populations). Une population est formée de N individus, de type A
ou B . Soit X n le nombre d’individus de type A à la génération n. La génération n+1 est fabriquée en générant
de manière i.i.d. les types des N individus en utilisant la fréquence du type A dans la génération n. Cela
PN
s’écrit X n+1 = k=1 1{Un+1,k ≤X n /N } où (Un+1,k )n∈N,1≤k≤N sont i.i.d. de loi uniforme sur [0, 1], indépendantes
de X 0 . Cela donne Loi(X n+1 | X 0 , . . . , X n ) = Bin(N , X n /N ), avec 0 ≤ X 0 ≤ N , et (X n )n∈N est une martingale.
— Urnes de Pólya (mécanisme de renforcement). Une urne contient, au temps 0, A 0 = 1 boule blanche et B 0 = 1
boule noire. On tire uniformément une boule, puis on la remet dans l’urne avec une nouvelle boule de cette
couleur, ce qui produit A 1 et B 1 , etc. Si (Un )n∈N i.i.d. uniformes sur [0, 1], alors

A n + 1Un ≤Mn An An ´
µ ¶ µ ¶ µ ¶ µ ¶
A0 1 A n+1 ³
= , = , et M n := = est une martingale.
B0 1 B n+1 B n + 1Un >Mn A n + B n n + 2 n∈N

35
 — Processus de Galton – Watson (dynamique des populations). À la génération n, la population comporte Zn
individus. Sachant Zn , ces Zn individus font des enfants de manière i.i.d. pour donner la génération n + 1,
P Zn
d’où la récurrence aléatoire Zn+1 = k=1 X n+1,k , avec X n+1,k i.i.d. de même loi de reproduction µ sur N de
moyenne m. Soit ρ ∈ [0, 1] solution de E(ρ Z1 | Z0 = 1) = ρ ≤ 1. Alors on dispose de deux martingales :
Zn
ρ Zn . et
mn
— Chaînes de Markov. Si (X n )n∈N est une chaîne de Markov (chapitre 5) d’espace d’état E au plus dénombrable,
et de générateur L, et si h : E → R est harmonique : Lh = 0, alors (h(X n ) − h(X 0 ))n∈N est une martingale.

Lemme 4.2.1. Déformations convexes.

Soit (X n )n∈N un processus adapté, ϕ : R → R convexe telle que ϕ(X n ) ∈ L 1 pour tout n. Alors :
(i) Si (X n )n∈N est une martingale alors (ϕ(X n ))n∈N est une sous-martingale.
(ii) Si (X n )n∈N est une sous-martingale et ϕ est croissante alors (ϕ(X n ))n∈N est une sous-martingale.
En particulier :
(a) si (X n )n∈N est une martingale alors (|X n |)n∈N est une sous-martingale.

he
(b) si (X n )n∈N est une martingale de carré intégrable alors (X n2 )n∈N est une sous-martingale.
(c) si (X n )n∈N est une sous-martingale alors ((X n )+ )n∈N est une sous-martingale.

Comme (X n )n∈N est une sous-martingale ssi (−X n )n∈N est une surmartingale, et réciproquement, bien des ré-
sultats ne sont énoncés que pour l’une ou l’autre (attention alors aux autres hypothèses : positivité, etc.). En mathé-
matiques, la tendance est à préférer la positivité à la négativité, la convexité à la concavité, le sous-harmonique au
surharmonique, la croissance à la décroissance, les sous-martingales aux surmatingales, sauf quand ces dernières
sont positives ! Par ailleurs, on omet souvent de préciser la filtration quand elle peut être devinée par le contexte.
uc
Démonstration. Découle de l’inégalité de Jensen pour l’espérance conditionnelle. ■
Si (X n )n∈N et (Hn )n∈N sont deux processus, le processus H · X = ((H · X )n )n∈N est défini par
n
X
(H · X )0 = 0 et (H · X )n = Hk (X k − X k−1 ) si n ≥ 1.
k=1
Rn
La v.a. H0 n’intervient pas. Si H ≡ 1 alors H ·X = X −X 0 . C’est une intégrale stochastique discrète : (H ·X )n = 0 H dX .
Si X est une marche aléatoire, alors H · X est une version à pas pondérés de X .
Le lemme suivant est fondamental, et intervient pour établir les théorèmes d’arrêt et de convergence.
a
Lemme 4.2.2. Transformation de martingale ou intégrale stochastique.

On se place sur un espace de probabilité filtré (cette hypothèse est toujours implicite par la suite).
(i) Si H est adapté (par exemple prévisible) et X est adapté alors H · X est adapté.
éb

(ii) Si H est prévisible borné et X est une martingale alors H · X est une martingale.
(iii) Si H est prévisible borné positif et X est une surmartingale alors H · X est une surmartingale.
(iv) Si H est prévisible borné positif et X est une sous-martingale alors H · X est une sous-martingale.

Dans l’intégrale discrète (H · X )n , le processus H est évalué à droite de chaque intervalle de temps discret
{k − 1, k} lié à X k − X k−1 , ce qui conduit à supposer H prévisible pour que H · X soit une martingale. On aurait
pu alternativement évaluer H à gauche de chaque intervalle, ce qui aurait conduit à le supposer adapté.

Démonstration. La propriété (i) est immédiate. Pour les autres, le processus H · X est adapté et intégrable car H est
prévisible borné et X est adapté intégrable. De plus, comme H est prévisible, pour tout n ∈ N,
n+1
E((H · X )n+1 | Fn ) = Hk E(X k − X k−1 | Fn ),
X
k=1

et de plus, comme X est intégrable et adapté,

(
X k − X k−1 si 1 ≤ k ≤ n
E(X k − X k−1 | Fn ) = ,
E(X n+1 | Fn ) − X n si k = n + 1
ce qui permet d’exploiter la propriété de martingale sur X , et celle de sous/surmartingale si H est positif. ■

36
 Lemme 4.2.3. Représentation de martingales ou universalité de l’intégrale stochastique discrète.

Si (X n )n∈N est une marche aléatoire à incréments i.i.d. de loi 21 (δ1 + δ−1 ), issue de 0, alors pour toute mar-
tingale (M n )n∈N pour la filtration canonique de X , il existe (Hn )n∈N prévisible t.q. M − M 0 = H · X .

De manière équivalente M n −M n−1 = Hn (X n −X n−1 ) avec X n −X n−1 prenant ses valeurs dans {±1}. L’universalité
porte sur M , pas sur X . Lorsque X est plus général, cette forme particulière n’est plus suffisante pour décrire les
martingales X mesurables. Par exemple pour la martingale carrée M n = (Z1 +· · ·+Zn )2 −n avec (Zn )n≥1 i.i.d. centrées
de variance unité, il vient M n −M n−1 = 2Zn (Z1 +· · ·+ Zn−1 )+ Zn2 −1, qui n’est plus de la forme espérée quand Zn2 ̸= 1.
Il se trouve que le lemme 4.2.3 possède un analogue à temps et espace continu pour l’intégrale stochastique
d’Itô par rapport au mouvement brownien, ce qui n’est pas surprenant (phénomène TLC).

Ceci n’est pas abordé en priorité lors du cours oral.

Démonstration. Pour tout n ≥ 1, M n est mesurable pour Fn = σ(X 0 , X 1 , . . . , X n ) = σ(Z1 , . . . , Zn ) où Zn =

X n − X n−1 . Donc il existe f n : Rn → R borélienne telle que M n = f n (Z1 , . . . , Zn ), d’où

1 − Zn 1 + Zn F n+ + F n− F n+ − F n−
M n = F n− + F n+ où F n± := f n (Z1 , . . . , Zn−1 , ±1).

he
= + Zn
2 2 2 2
F n+ +F n−
Or E(M n | Fn−1 ) = M n−1 , et Zn est indépendante de Fn−1 et centrée, d’où M n−1 = 2 , ce qui donne

F n+ − F n−
M n − M n−1 = Hn Zn où Hn = .
2
Observons enfin que comme X 0 = 0 et M 0 est σ(X 0 )-mesurable, il vient que M 0 est constante. ■
uc
4.3 Martingales comme modélisation de stratégies

La notion mathématique de martingale 3 a été développée il y a un peu moins d’un siècle pour modéliser cer-
tains jeux de hasard, comme la célèbre roulette des casinos. Cette approche conduit en particulier à démontrer
l’inexistence de stratégies gagnantes. Au fil du temps, les martingales sont devenues un outil mathématique puis-
sant de la théorie des probabilité, bien au-delà de la modélisation des jeux de hasard. Alternativement, il est plaisant
de penser qu’il y a des jeux de hasard dans bien des modèles aléatoires. Aussi, il est recommandé de rechercher les
martingales cachées dans chaque modèle aléatoire afin de pouvoir bénéficier de l’arsenal de résultats pour ce type
de suites aléatoires (arrêt, convergence, voir suite du chapitre).
a
Au casino, un joueur, à l’instant n ≥ 1, mise une quantité d’argent Hn , qu’il décide librement au vu des parties
précédentes. S’il gagne, il empoche r > 1 fois sa mise, soit r Hn , et sinon il perd sa mise Hn . Son gain au temps n est
modélisable par Hn Zn , où Zn est une v.a. prenant les valeurs {−1, r }. La fortune du joueur à l’instant n est
éb

n
X
Hk Zk = (H · X )n où X n := Z1 + · · · + Zn .
k=1

La tribu Fn = σ(Z1 , . . . , Zn , H1 , . . . , Hn ) = σ(X 1 , . . . , X n , H1 , . . . , Hn ) modélise l’information disponible au joueur après

la n e partie, de sorte que Hn est Fn−1 -mesurable tandis que X n est Fn -mesurable. Les processus de la forme H · X
avec H prévisible et X marche aléatoire à pas indépendants et centrés modélisent une manière de jouer basée
sur une stratégie H , et c’est ce système de jeu que Jean Ville qualifie de martingale vers 1939. Ces processus sont
à l’origine du concept mathématique de martingale introduit par Joseph Leo Doob vers 1940, et non l’inverse !
Autrement dit ces processus H · X sont des martingales originelles et archétypales.
Le casino fait en sorte que (Zn )n≥1 soit une suite de v.a. i.i.d. centrées 4 , ce qui fait de X une marche aléatoire
à pas i.i.d. centrés. Le jeu est équitable : en misant toujours la même somme, le gain est nul en moyenne à chaque
instant. Pour notre joueur, le lemme 4.2.2 est une mauvaise nouvelle, la conservation de la propriété de martingale
indique que le jeu reste équitable pour tout H , la moyenne de la fortune reste constante. Il n’existe donc pas de
stratégie gagnante, de choix de H qui fasse en sorte que E(M n ) > E(M 0 ) = 0 où M = H · X , même pour n grand. Les
martingales, qui sont une déception pour le joueur de casino, s’avèrent utiles pour l’étude de modèles aléatoires
variés, précisément grâce à leur loi de conservation. Se ruiner au casino, mais gagner au jeu de la quête de certitude !
Rechercher des martingales dans un modèle est un jeu souvent plaisant, et payant, mais qui peut s’avérer difficile.
3. Le concept mathématique de martingale est présent, sans être nommé de la sorte, dès les années 1930, dans l’œuvre de Paul Lévy. Le
terme martingale apparaît vers 1939 dans l’œuvre de Jean Ville comme synonyme de « système de jeu », puis dans celle de Joseph Leo Doob des
années 1940 et 1950 pour nommer le concept mathématique que nous connaissons aujourd’hui.
4. La v.a. Zn suit une loi de Bernoulli centrée à support asymétrique {−1, r } : p := P(Zn = r ) = 1 − P(Zn = −1) = 1/(r + 1).

37
 Le joueur peut décider de quitter le jeu au bout d’un temps aléatoire T , par exemple dès que sa fortune atteint
une valeur donnée, grande fortune ou ruine, ou plus généralement lorsqu’un critère est vérifié par l’information
disponible accumulée : cela se modélise par la contrainte {T = n} ∈ Fn pour tout n. Supposons que T soit fini p.s.
Alors la fortune du joueur à sa sortie du jeu est M T . Le théorème 4.4.1 d’arrêt de Doob ci-après affirme que si T est
borné p.s. alors E(M T ) = E(M 0 ) = 0. Par conséquent le joueur ne peut pas garantir un gain en moyenne en quittant
le jeu au bout d’un temps borné ! Le cas r = 1 et H ≡ 1 est étudié dans l’exemple 4.4.6 (ruine du joueur). Au-delà, il
existe un théorème fameux de Dubbins et Savage sur les stratégies optimales [24, 51]. Devoir maison !

7→8
4.4 Temps d’arrêt et théorème d’arrêt de Doob

Une variable aléatoire T : Ω → N ∪ {∞} est un temps d’arrêt pour une filtration (Fn )n∈N lorsque

{T = n} ∈ Fn pour tout n ∈ N,

ou de manière équivalente, lorsque {T ≤ n} = ∪nk=0 {T = k} ∈ Fn pour tout n ∈ N. L’exemple typique est le temps
d’atteinte TC := inf{n ∈ N : X n ∈ C } d’un borélien C ⊂ R par un processus adapté (X n )n∈N :

{TC = n} = {X 0 ̸∈ C , . . . , X n−1 ̸∈ C , X n ∈ C } = {X 0 ∈ C }c ∩ · · · ∩ {X n−1 ∈ C }c ∩ {X n ∈ C } ∈ Fn .

he
Notons que inf ∅ = +∞. L’événement {T = +∞} signifie que X n’atteint jamais C . De manière générale,
¢c
{T = +∞} = ∪∞
¡ ∞
n=0 {T = n} ∈ σ ∪n=0 Fn .
¡ ¢

Un temps d’arrêt modélise un temps de prise de décision, et cela ne peut se faire qu’avec l’information disponible
(accumulée) au moment de la décision, d’où la définition. En particulier, pour le temps d’atteinte, l’événement
{TC = n} ne fait intervenir la connaissance de la trajectoire de X que jusqu’au temps n. Contrexemple : pour tout N
fixé, la v.a. SC := sup{n ≤ N : X n ∈ C } n’est pas un temps d’arrêt, car
uc
{SC = n} = {X n ∈ C } ∩ {X n+1 ∈ C }c ∩ · · · ∩ {X N ∈ C }c ̸∈ Fn en général.

Il est possible de s’arrêter au premier feu rouge, mais pas au dernier car cette notion dépend du futur, inconnu.
Si X = (X n )n∈N est adapté et T est un temps d’arrêt alors le processus arrêté X T := (X n∧T )n∈N est adapté. En
effet, cela découle du lemme 4.2.2 et de la décomposition
n
1{T ≥k} (X k − X k−1 ) = X 0 + (H · X )n où Hk := 1{T ≥k} = 1 − 1{T <k} ,
X
X n∧T = X 0 +
k=1

car H est prévisible donc adapté, car T est un temps d’arrêt : {T < k} = {T ≤ k − 1} ∈ Fk−1 ⊂ Fk . Alternativement,
a
on peut découper selon la valeur de T pour se ramener au cas déterministe : pour tout borélien C ⊂ R et tout n ∈ N,

{X n∧T ∈ C } = ∪k∈N∪{∞} ({X n∧T ∈ C } ∩ {T = k}) = ∪nk=0 ({X k ∈ C } ∩ {T = k}) ∪ ({X n ∈ C } ∩ {T ≤ n}c ) ∈ Fn .
éb

L’arrêt est une technique de troncature ou seuillage qui conserve l’adaptation ! La trajectoire du processus arrêté Dessin !

X T suit celle de X puis reste constante (s’arrête) à partir du temps (aléatoire) T . Cela conduit au théorème suivant :

Théorème 4.4.1. Théorème d’arrêt de Doob.

Soit (M n )n∈N une martingale et T un temps d’arrêt (sous-entendu pour la même filtration). Alors :
(i) Le processus arrêté M T = (M n∧T )n∈N est une martingale, en particulier

M n∧T ∈ L 1 et E(M n∧T ) = E(M 0 ) pour tout n.

(ii) Si T vérifie l’une des trois conditions suivantes :

(a) T est borné (p.s. par une constante).
(b) T est fini a (p.s.) et (M n∧T )n∈N est u.i. (par exemple dominée par une v.a. intégrable).
(c) T est intégrable et M est à oscillations bornées : supn∈N E(|M n+1 − M n | | Fn ) bornée p.s..
alors
MT ∈ L 1 et E(M T ) = E(M 0 ).

De même en remplaçant martingale par sur ou sous-martingale, et = par ≤ et ≥ respectivement.

a. Hypothèse superflue car il est démontré plus loin qu’une martingale u.i. converge p.s. (et dans L 1 ) donc M T fait sens sur {T = ∞}.

38
Démonstration.
(i) Pour tout n ∈ N, M n∧T = M 0 + (H · M )n où Hn := 1{T ≥n} = 1 − 1{T <n} (somme télescopique).
Or le processus (Hn )n≥1 est borné et prévisible. Le résultat découle alors du lemme 4.2.2.
On peut aussi réduire au déterminisme par découpage : M (n+1)∧T = nk=0 M k 1{T =k} + M n+1 1{T ≤n}c .
P

T
(ii) (a) Soit N tel que T ≤ N p.s. Alors par (i), M T = M N ∧T = M N ∈ L 1 et E(M T ) = E(M N ∧T ) = E(M 0 ).
(b) Comme T < ∞ p.s. la v.a. M T fait sens p.s. et comme M n∧T → M T p.s. et (M n∧T )n∈N est u.i., le théorème
de convergence dominée généralisé u.i. donne M T ∈ L 1 et E(M n∧T ) → E(M T ).
(c) Comme E(T ) < ∞, il vient que T < ∞ p.s. ce qui donne un sens à M T p.s. et nous savons que M n∧T → M T
p.s. Montrons que (M n∧T )n∈N est dominée par une v.a. intégrable, ce qui donnera immédiatement le
résultat par le théorème de convergence dominée. Nous avons par sommation télescopique

n∧T
X ∞
X
M n∧T = M 0 + (M k − M k−1 ) = M 0 + (M k − M k−1 )1{n∧T ≥k} .
k=1 k=1

Or le théorème de convergence monotone 5 et les hypothèses faites sur T et M donnent

¯X∞ ¯ X ∞
E¯ (M k − M k−1 )1{n∧T ≥k} ¯ ≤ E(1{T ≥k} E(|M k − M k−1 | | Fk−1 )) ≤ C E(T ) < ∞.
¯ ¯

he
k=1 k=1

1 − M k−1 | ∈ L 1 .
P∞
Donc |M n∧T | ≤ |M 0 | + k=1 {n∧T ≥k}
|M k
■

Remarque 4.4.2. Théorème d’arrêt pour les sous-martingales et les surmartingales.

Dans la dernière propriété, le temps 0 peut être remplacé par un temps d’arrêt S, avec la contrainte S ≤ T
dans le cas sous-martingale ou surmartingale. Pour le voir, il est possible d’utiliser le fait que si T ≤ N p.s.
alors X T − X S = (H · X )N où H est donné par Hn := 1{S<n≤T } = 1{S≤n−1} − 1{T ≤n−1} ≥ 0.
uc
Exemple 4.4.3. Application du théorème d’arrêt au temps de sortie d’un intervalle.

Soit (M n )n∈N une martingale à valeurs dans Z et à accroissements aux plus proches voisins (assure une
continuité discrète des trajectoires) : M n+1 −M n ∈ {−1, 0, 1} pour tout n. Soient a < b dans Z, et T = inf{n ∈ N :
M n ∈ {a, b}}. Supposons que M 0 prend ses valeurs dans [a, b]. Le processus arrêté (M n∧T )n∈N est alors borné
par construction, en particulier u.i. Supposons de plus que T est fini p.s. Alors le théorème 4.4.1 d’arrêt de
Doob donne x = E(M 0 ) = E(M T ) = aP(M T = a) + bP(M T = b), tandis que P(M T = a) + P(M T = b) = 1, d’où
a
b−x x −a
P(M T = a) = et P(M T = b) = .
b−a b−a
Considérons à présent le cas particulier de la marche aléatoire M n = M 0 + Z1 + · · · + Zn , où (Zn )n≥1 est une
éb

suite de v.a. i.i.d. centrées de variance unité, et M 0 est F0 -mesurable. Alors Mnp−M
n
0
→ N (0, 1) en loi (TLC a ),
d’où P(T = ∞) ≤ P(T > n) ≤ P(M n ∈ [a, b]) → 0, d’où T < ∞ p.s. Comme M est à oscillations bornées, il
aurait suffit d’établir que T est intégrable. En fait T est majoré par une v.a. géométrique non-dégénérée b ,
il admet donc un moment exponentiel et en particulier tous ses moments sont finis, en particulier T est
intégrable. D’autre part, en utilisant une martingale exponentielle, il est possible d’obtenir la transformée
de Laplace de T . Voir aussi l’exemple 4.4.6 (ruine du joueur).
a. Au-delà des marches aléatoires, un TLC pour les martingales fait l’object du théorème 4.12.1.
b. En effet, en posant A n = {sup0≤k≤ℓ−1 |M nℓ+k − M nℓ | > b − a}, il vient {T < ∞} ⊃ ∪n∈N A n ⊃ limn A n , du moment que ℓ > b − a.
Comme les incréments de M sont i.i.d., les A n sont indépendants et de même probabilité, et d’autre part, comme les accroissements
ne sont pas identiquement nuls, p := p n := P(A n ) > 0. Le lemme de Borel – Cantelli donne alors T < ∞ p.s. En fait, la suite (1 A n )n∈N
est un jeu de pile ou face, et T ≤ T ′ où T ′ := inf{n ∈ N : 1 A n = 1} ∼ GeomN (p) est le temps de premier succès du jeu de pile ou face. Ce
raisonnement est une instance de la méthode de couplage d’un processus d’intérêt avec un autre plus simple à étudier.

Exemple 4.4.4. Contrexemple.

Si M est une martingale, et x ̸= E(M 0 ), alors le temps d’arrêt d’atteinte T = inf{n ∈ N : M n = x} ne peut pas
vérifier les hypothèses du théorème 4.4.1 car cela donnerait E(M 0 ) = E(M T ) = x. Dans le cas de la marche
aléatoire simple symétrique sur Z, M est à oscillations bornées, par conséquent, d’après le théorème d’arrêt

P∞
5. Ou le théorème de Fubini – Tonelli, pour commuter E et n=0 .

39
de Doob, T n’est pas intégrable. De plus, T n’est pas fini p.s. ou bien (M n∧T )n∈N n’est pas u.i.

Exemple 4.4.5. Première occurrence de motif.

Considérons un jeu de pile ou face modélisé par une suite X = (X n )n≥1 de v.a. i.i.d. de loi de Bernoulli
P(X 1 = 1) = p, P(X 1 = 0) = q = 1 − p, 0 < p ≤ 1, et le temps de première occurrence du motif 111 dans X :

T = inf{n ≥ 3 : X n = X n−1 = X n−2 = 1}.

Définissons la suite (Un )n∈N par

X n+1
U0 = 0 et Un+1 = (Un + 1) ,
p
de sorte que UT ≡ u 3 = p1 (1 + p1 (1 + p1 )), quantité déterministe, égale à U3 sur (X 0 , X 1 , X 2 ) = (1, 1, 1), car
sinon on retombe à zéro. D’autre part, (M n = Un − n)n∈N est une martingale pour la filtration naturelle
de X , vérifiant M 0 = 0. L’élimination des recouvrements partiels conduit à T ≤ 3T ′ où T ′ = inf{n ∈ N :
(X 3n , X 3n+1 , X 3n+2 ) = (1, 1, 1)}, et T ′ suit la loi géométrique de paramètre p 3 > 0, donc intégrable et en parti-
culier finie p.s. Il en va donc de même de T . En outre, le processus arrêté M T = (M n∧T )n∈N est majoré par

he
u 3 +T ≤ u 3 +3T ′ ∈ L 1 . Donc M T est u.i., et le théorème 4.4.1 d’arrêt de Doob donne alors E(UT ) = E(T ), d’où

1³ 1³ 1 ´´ 1 1 1 ³ 3 ´
E(T ) = E(UT ) = UT = u 3 = 1+ 1+ = + 2 + 3 ≤ 3 = 3E(T ′ ) .
p p p p p p p

Dans cet exemple, la martingale est purement instrumentale, et fournit à la fin une formule pour E(T ).
D’autres exemples d’usage des martingales pour l’analyse d’algorithmes se trouvent dans [50, 49, 54].
8→9
uc
Vu aussi en TD !
Exemple 4.4.6. Ruine du joueur de pile ou face.

Un joueur de pile ou face possède au temps n = 0 une fortune initiale de a €. Son but est d’atteindre la
richesse de b €, avant d’être ruiné. On suppose que a, b ∈ N, et b > a > 0. Au temps n ≥ 1, il joue à pile ou
face, gagne 1 € avec probabilité p ∈ (0, 1), et perd 1 € avec probabilité q = 1 − p, et ces parties successives
sont i.i.d. Son gain à l’issue de la n e partie est S n = Z1 + · · · + Zn , où (Zn )n≥1 est une suite de v.a. i.i.d. de loi
de Rademacher pδ1 + qδ−1 , portée par {−1, 1}, de moyenne m := p − q = 2p − 1 et de variance σ2 := 4pq.
Posons S 0 := 0. Le temps d’arrêt d’intérêt est

T = inf{n ≥ 1 : S n ∈ {−a, b}}.

a
Le jeu se termine par la ruine si S T = −a et par la fortune si S T = b. Le processus (S n − nm)n∈N est une
marche aléatoire centrée et en procédant comme dans l’exemple 4.4.3, on obtient que T est majoré par une
v.a. géométrique, il est donc en particulier de carré intégrable. Considérons les martingales
éb

A := (S n − nm)n∈N et B := ((S n − nm)2 − nσ2 )n∈N .

Les martingales arrêtées A T et B T ne sont pas forcément bornées, mais sont u.i. car dominées par une v.a.
intégrable. En effet, comme S T est bornée par construction et que T ∈ L 2 (donc T ∈ L 1 ), on a

|A Tn | ≤ |S nT | + |m|T ∈ L 1 et |B nT | ≤ 2|S nT |2 + 2m 2 T 2 + σ2 T ∈ L 1 .

Le théorème 4.4.1 d’arrêt de Doob donne alors

E(S T ) = mE(T ) et E((S T − mT )2 ) = σ2 E(T ).

Considérons le cas équitable p = q = 1/2. Alors m = 0 et σ2 = 1, ce qui donne

0 = E(S T ) = −aP(S T = −a) + bP(S T = b) et E(T ) = E(S T2 ) = a 2 P(S T = −a) + b 2 E(S T = b).

Comme P(S T = −a) + P(S T = b) = 1, il en découle que dans le cas équitable, la probabilité que le jeu se
termine par la fortune et la durée moyenne du jeu sont données par
a
P(S T = b) = et E(T ) = ab.
a +b

40
 Considérons le cas inéquitable p ̸= 1/2, c’est-à-dire q/p ̸= 1. On dispose de la martingale
³³ q ´S n ´
C := .
p n∈N

La martingale arrêté C T est bornée car S T est bornée, et le théorème 4.4.1 d’arrêt de Doob donne
³³ q ´b ³ q ´−a ´ ³ q ´−a
1 = E(C 0 ) = E(C T ) = − P(S T = b)+ ,
p p p

d’où
p b q a − p a+b E(S T ) 1 ³ p b q a − p a+b ´
P(S T = b) = et E(T ) = = (a + b) a+b − a .
q a+b − p a+b m p −q q − p a+b
Il est enfin possible d’obtenir la transformée de Laplace de T en utilisant la martingale
³ ´ ³ eαS n ´
eαS n −n log L(α) = où L(α) := E(eαZ1 ) = peα + qe−α , α > 0.
n∈N L(α)n n∈N

he
Bien que certaines des formules des exemples précédents peuvent être obtenues à la main, elles illustrent la
puissance et l’élégance des martingales, dont le champ d’application dépasse ce cadre discret restreint et englobe
notamment le processus de Poisson (chapitre 6) et le mouvement brownien (chapitre 7).

Théorème 4.4.7. Caractérisation des martingales ou réciproque du théorème d’arrêt.

Pour tout processus (X n )n∈N , les deux propriétés suivantes sont équivalentes :
(i) X est adapté et intégrable et E(X T ) = E(X 0 ) pour tout temps d’arrêt T borné.
uc
(ii) X est une martingale.

Démonstration. (ii)⇒(i). Cela provient de la définition de martingale et du théorème 4.4.1 d’arrêt de Doob.
(i)⇒(ii). Il suffit d’établir que E(X n+1 1 A ) = E(X n 1 A ) pour tous n et A ∈ Fn , c’est-à-dire E(X n+1 ) = E(X n 1 A + X n+1 1 A c ).
Or E(X n+1 ) = E(X T ) pour le temps d’arrêt borné constant T ≡ n + 1, tandis que E(X n 1 A + X n+1 1 A c ) = E(X T ) pour le
temps aléatoire borné T = n1 A + (n + 1)1 A c , qui se trouve être un temps d’arrêt aussi. Enfin (i) donne l’égalité. ■

4.5 Arrêt optimal et enveloppe de Snell

a
Le problème du contrôle consiste à déterminer les valeurs des paramètres d’un système dynamique pour qu’il
adopte un comportement donné : comment régler à chaque instant les moteurs d’une fusée pour qu’elle décolle
de la terre et se pose sur la lune ! Lorsque les ingrédients sont aléatoires on parle de contrôle stochastique. Cela
permet de modéliser la prise de décision 6 : faut-il approvisionner le stock ? louer l’appartement qu’on vient de vi-
éb

siter ? vendre ou acheter un actif ? arrêter ou démarrer la centrale nucléaire ? terminer le processus de recrutement ?
arrêter de suivre ce cours ? Ces exemples sont tous des cas particuliers du problème de l’arrêt optimal.
Le problème de l’arrêt optimal, emblématique du contrôle stochastique, peut être formalisé comme suit : pour
un processus adapté et intégrable (X n )n∈N et un temps fini N appelé horizon, on s’intéresse à

S N := sup E(X T )
T ∈TN

où TN est l’ensemble des temps d’arrêts T ≤ N . Un temps d’arrêt T∗ ∈ TN est optimal lorsque E(X T∗ ) = S N . Le but
ultime est de proposer un algorithme pour le calcul approché de T∗ et de S N = E(X T∗ ). Comme l’horizon N est fini,
on peut se contenter de ne connaître le processus X que jusqu’au temps N : X 0 , . . . , X N .
Le problème est élémentaire si X est une martingale car dans ce cas le théorème 4.4.1 d’arrêt de Doob donne
E(X T ) = E(X 0 ) pour tout T ∈ TN , et tout temps d’arrêt dans TN est optimal, en particulier T = 0.
Lorsque X n’est pas une martingale, le théorème 4.5.1 ci-dessous construit la meilleure majoration de X par
une surmartingale, et donc, en l’utilisant pour −X , la meilleure minoration de X par une sous-martingale. Ces deux
processus enveloppants coïncident au temps terminal N , et en tout temps 0 ≤ n ≤ N lorsque X est une martingale. Dessin !

6. C’est l’occasion de signaler que l’université Paris–Dauphine – PSL compte un Département de formation d’Informatique et de Mathéma-
tiques de la Décision (MIDO) ainsi qu’un Centre de Recherche en Mathématiques de la Décision (CEREMADE). Le master offre notamment des
cours de contrôle des chaînes de Markov (M1) et de contrôle des équations différentielles stochastiques (M2).

41
 Théodéf 4.5.1. Enveloppe de Snell.

Soit (X n )0≤n≤N un processus à horizon fini N , adapté à une filtration (Fn )n∈N , et intégrable. Alors :
(i) La récurrence rétrograde suivante fait sens et définit une surmartingale (Yn )0≤n≤N majorant X :

Y N := X N et Yn := max(X n , E(Yn+1 | Fn )) pour 0 ≤ n ≤ N − 1.

(ii) Le processus Y est la plus petite surmartingale majorant X .

(iii) La v.a. T∗ := min{0 ≤ n ≤ N : Yn = X n } est un temps d’arrêt et Y T∗ = (Yn∧T∗ )0≤n≤N est une martingale.
(iv) Le temps d’arrêt T∗ est optimal et E(Y0 ) = supT ∈TN E(X T ) = E(X T∗ ) = E(YT∗ ).
Le processus Y est appelé enveloppe de Snell de X , c’est une enveloppe par le haut, majorante.
Dessin !

J. L. Snell était un élève de J. L. Doob. Il a développé les applications des martingales notamment en finance ma-
thématique. Il a part ailleurs écrit un livre [23] avec P. G. Doyle sur les marches aléatoires et les réseaux électriques.

Démonstration.
(i) Le processus Y est bien défini car Y N = X N ∈ L 1 , et Yn ∈ L 1 ⇒ Yn−1 ∈ L 1 car

he
E(|Yn−1 |) ≤ E(|X n−1 |) + E(|E(Yn | Fn−1 )|) ≤ E(|X n−1 |) + E(|Yn |) < +∞.

De plus, par construction, Yn est Fn -mesurable, et Yn ≥ E(Yn+1 | Fn ).

(ii) Soit (Zn )0≤n≤N une surmartingale majorante : Z ≥ X . Par définition, Z N ≥ X N = Y N . Montrons que Zn ≥ Yn ⇒
Zn−1 ≥ Yn−1 . Comme Z est une surmartingale et Zn ≥ Yn , il vient que

Zn−1 ≥ E(Zn | Fn−1 ) ≥ E(Yn | Fn−1 ),

or Zn−1 ≥ X n−1 , d’où Zn−1 ≥ max(X n−1 , E(Yn | Fn−1 ) = Yn−1 .

uc
(iii) Comme T∗ = min{0 ≤ n ≤ N : Yn − X n = 0}, et Y − X est adapté, c’est un temps d’arrêt. Montrons maintenant
T∗ T
que Y T∗ est une martingale. Sur {T∗ ≥ n +1}c = {T∗ ≤ n}, il vient que Yn+1 −Yn ∗ = 0 car YT∗ ∧(n+1) = YT∗ = YT∗ ∧n .
D’autre part, sur {T∗ ≥ n + 1}, il vient que Yn > X n donc Yn = E(Yn+1 | Fn−1 ). Par conséquent, nous avons
T T
∗
Yn+1 − Yn ∗ = (Yn+1 − Yn )1{T∗ ≥n+1} = (Yn+1 − E(Yn+1 | Fn ))1{T∗ ≥n+1} .
T T
Or comme {T∗ ≥ n + 1} = {T∗ ≤ n}c ∈ Fn , il vient que E(Yn+1
∗
− Yn ∗ | Fn ) = 0 en prenant l’espérance condition-
nelle des deux membres par rapport à Fn . Ainsi, la surmartingale arrêtée Y T∗ est bien une martingale.
a
(iv) La combinaison du fait que X T∗ = YT∗ et du théorème 4.4.1 d’arrêt de Doob pour la martingale Y T∗ donne

E(X T∗ ) = E(YT∗ ) = E(Y0 ).

De plus, comme Y est une surmartingale, par le théorème 4.4.1 d’arrêt de Doob, E(YT ) ≤ E(Y0 ). Or Y ≥ X
éb

donne en particulier E(YT ) ≥ E(X T ). Il en découle que E(X T ) ≤ E(Y0 ), avec égalité si T = T∗ .
■

Exemple 4.5.2. Problème du recrutement.

Examinons le cas d’un problème d’arrêt optimal célèbre et relativement accessible à l’étude mathématique,
connu sous le nom de problème des secrétaires ou problème du mariage. Il s’agit d’examiner successivement
des candidatures pour un recrutement, et d’arrêter le processus de recrutement en un temps d’arrêt qui
maximise la probabilité de recruter la meilleure candidature. S’il y a N candidatures au total, on modélise la
qualité de la i e candidature par une v.a. Zi , et on suppose que les Z1 , . . . , Z N sont i.i.d. et de loi continue pour
éviter les ex aequo. Il existe alors p.s. une unique permutation σ de {1, . . . , N } telle que Zσ−1 (1) > · · · > Zσ−1 (N ) .
Pour tout 1 ≤ n ≤ N , la variable aléatoire σ(n) est le rang de Zn dans le réordonnement croissant de la suite
Z1 , . . . , Zn . Cette permutation aléatoire σ suit la loi uniforme sur le groupe symétrique. Le temps aléatoire

σ−1 (1) = inf{1 ≤ n ≤ N : σ(n) = 1} = inf{1 ≤ n ≤ N : Zn = max(Z1 , . . . , Z N )}

n’est pas utilisable car ce n’est pas un temps d’arrêt pour la filtration (Fn )1≤n≤N , où Fn := σ(Z1 , . . . , Zn ). Il
dépend de toutes les candidatures. Pour pallier ce problème, considérons, pour tout 0 ≤ n ≤ N , la v.a.

X n := P(σ(n) = 1 | Fn ) = E(1{σ(n)=1} | Fn ).

42
Il s’agit de la probabilité que la n e candidature soit la meilleure des N sachant l’information disponible au
temps n, modélisée par Fn . Pour tout temps d’arrêt T ≤ N ,

N N
P(σ(T ) = 1) = E(1{T =n} E(1{σ(T )=1} | Fn )) = E(E(1{T =n} 1{σ(n)=1} | Fn )) = E(X T ).
X X
n=1 n=1

Ainsi, trouver la meilleure stratégie en optimisant T revient à considérer l’enveloppe de Snell de X .

9 → 10
Pour certains modèles aléatoires, il est possible d’expliciter T∗ .

Ceci n’est pas abordé en priorité lors du cours oral.

Poursuivons l’étude entamée dans l’exemple 4.5.2. On dispose de la formule explicite

n
Xn = 1{R =1} ,
N n
où R n est le rang de la n e candidature parmi les candidatures 1, . . . , n examinées au temps n. Ce rang est plus
petit que ou égal au rang σ(n) par rapport à toutes les candidatures 1, . . . , N . Notons que R 1 = 1 et R N = σ(N ).

he
Intuitivement n/N est la probabilité pour que la meilleure candidature figure parmi les n premières can-
didatures examinées, tandis que {R n = 1} exprime le fait qu’elle est la meilleure au temps n. Pour établir la
formule, comme {σ(n) = 1} = {R n = 1, R n+1 ̸= 1, . . . , R N ̸= 1}, et comme les v.a. R 1 , . . . , R N sont indépendantes
avec R n Fn -mesurable et de loi uniforme sur {1, . . . , n} (cette propriété nécessite une démonstration, omise
ici), il vient
n N −1 n
X n = E(1{σn )=1} | Fn ) = 1{Rn =1} P(R n+1 ̸= 1, . . . , R N ̸= 1 | Fn ) = 1{Rn =1} ··· = 1{Rn =1} .
n +1 N N
Calculons à présent l’enveloppe de Snell Y de X , dont la définition rétrograde s’écrit
uc
³n ´
Y N = 1{R N =1} et Yn = max 1{Rn =1} , E(Yn+1 | Fn ) .
N
À ce stade, l’indépendance des R 1 , . . . , R N et une récurrence rétrograde donnent que Yn est une fonction de
R n , d’où E(Yn+1 | Fn ) = E(Yn+1 ). Soit à présent f : {0, . . . , N } → R définie par

f (n) := E(Yn+1 ).

Cette fonction f est décroissante (Y est une surmartingale !). Le temps d’arrêt optimal T∗ est donc
n
a
n o
T∗ = N ∧ inf 1 ≤ n ≤ N : 1{Rn =1} ≥ f (n) .
N
Comme f est décroissante, il existe donc un entier déterministe m dépendant de f tel que

T∗ = Tm où Tm := N ∧ inf{m ≤ n ≤ N : R n = 1}.
éb

Pour trouver m, il suffit de calculer g (m) := E(X Tm ) et d’optimiser en m. Or

N
g (m) = P(σ(Tm ) = 1) = E(1{Tm =n}∩{σ(n)=1} )
X
n=m
N
P(R m ̸= 1, . . . , R n−1 ̸= 1, R n = 1, R n+1 ̸= 1, . . . , R N ̸= 1)
X
=
n=m
N 1 Y
X N i −1 N
m −1 X 1
= = .
n=m n i =m i N n=m n − 1
i ̸=n

À présent, pour tout x ∈ (0, 1), une comparaison série-intégrale donne

N
⌊xN ⌋ X 1
g (⌊xN ⌋) = −→ −x log(x).
N n=⌊xN ⌋ n − 1 N →∞

Ainsi, quand N est grand, la valeur maximale ≈ 1/e est atteinte en m ≈ N /e. Cela signifie au bout du compte
qu’une stratégie optimale approchée consiste à rejeter les ⌊N /e⌋ ≈ 0.37N premières candidatures, puis à
poursuivre et s’arrêter à la première candidature qui fait mieux que toutes celles déjà examinées ! En pra-
tique toutefois, l’hypothèse faite sur la qualité des candidatures est discutable. . .

43
4.6 Tribu d’arrêt et propriété de martingale à des temps aléatoires

Lemme 4.6.1. Propriétés des temps d’arrêt et tribu d’arrêt.

(i) Si S et T sont des temps d’arrêt, alors S ∧ T et S ∨ T le sont.

(ii) Si (Tk )k∈N est une suite de temps d’arrêt, alors infk Tk , supk Tk , limk Tk , et limk Tk le sont.
(iii) Si T est un temps d’arrêt, alors la famille d’événements suivante est une tribu :

FT := {A ∈ F : ∀n, A ∩ {T = n} ∈ Fn }.

De plus T est FT -mesurable. Enfin si T est constant et égal à n, alors FT = Fn , d’où la notation.
(iv) Si S et T sont des temps d’arrêt et S ≤ T alors FS ⊂ FT , en particulier Fn∧T ⊂ FT pour tout n ∈ N.
(v) Si S et T sont des temps d’arrêt alors FS∧T = FS ∩ FT .

La tribu FT est appelée tribu d’arrêt de T ou tribu des événements antérieurs à T . Elle regroupe tous les événe-
ments qu’on peut écrire avec les processus adaptés arrêtés en T , c’est-à-dire avec leurs trajectoires jusqu’au temps
aléatoire T , c’est-à-dire avec (X n )0≤n≤T , c’est-à-dire le passé du processus par rapport au temps aléatoire T .

he
Démonstration.
(i) Découle de {S ∧ T ≤ n} = {S ≤ n} ∪ {T ≤ n}, et {S ∨ T ≤ n} = {S ≤ n} ∩ {T ≤ n}.
(ii) Découle des formules {infk Tk ≤ n} = ∪k {Tk ≤ n} et {lim infk Tk ≤ n} = ∪m ∩k≥m {Tk ≤ n}, et, symétriquement,
des formules {supk Tk ≤ n} = ∩k {Tk ≤ n} et {lim supk Tk ≤ n} = ∩m ∪k≥m {Tk ≤ n}.
(iii) Se vérifie directement à partir des axiomes de définition des tribus. Pour la stabilité par passage au complé-
mentaire, il suffit d’écrire A c ∩ {T = n} = {T = n} \ (A ∩ {T = n}) ∈ Fn .
(iv) Si A ∈ FS , alors pour tout n, A ∩ {T = n} = ∪nk=0 (A ∩ {S = k}) ∩ {T = n} ∈ Fn .
uc
(v) Exercice !
■

Théorème 4.6.2. Extension de la propriété de martingale à des temps aléatoires.

Soit M une martingale et S et T deux temps d’arrêt tels que S ≤ T .

Si S et T vérifient l’une des hypothèses du (ii) du théorème 4.4.1 d’arrêt de Doob, alors E(M T | FS ) = M S .
a
— Il en découle que M est une martingale ssi pour toute suite croissante (Tn )n∈N de temps d’arrêts bornés,
le processus (M Tn )n∈N est une martingale pour la filtration (FTn )n∈N . En effet, la nécessité de la condition
provient du théorème, tandis que sa suffisance s’obtient en prenant Tn ≡ n car alors FTn = Fn .
— La prise d’espérance donne E(M T ) = E(M S ), ce qui est la conclusion du théorème 4.4.1 d’arrêt de Doob.
— Ce théorème est aussi disponible pour les sous-martingales et les surmartingales, en remplaçant = par ≤ et
éb

≥ respectivement, avec essentiellement la même preuve.

Démonstration. Considérons le cas où T est borné p.s. : T ≤ N p.s. Alors M T = M N ∧T , et par le théorème 4.4.1,
M S ∈ L 1 , M T ∈ L 1 , et la propriété de martingale de M T donne E(M T | Fn ) = E(M N ∧T | Fn ) = M n∧T pour tout n ≤ N .
Ensuite, pour tout A ∈ FS , le découpage selon les valeurs de S (≤ T ≤ N ) donne

N N N N
E(1 A M T ) = E(1 A∩{S=n} E(M T | Fn )) = E(1 A∩{S=n} M n∧T ) = E(1 A∩{S=n} M S∧T ) = E(1 A∩{S=n} M S ) = E(1 A M S ).
X X X X
n=0 n=0 n=0 n=0

Considérons le cas où S et T sont finis p.s. et M S et M T sont u.i. Pour tout N , les temps d’arrêt bornés p.s. S ∧ N
et T ∧ N vérifient S ∧ N ≤ T ∧ N , et l’étude du cas borné précédent donne alors E(1 A M T ∧N ) = E(1 A M S∧N ) pour
tout A ∈ FS∧N . Comme FS∧N est croissante en N , le théorème de convergence dominée généralisée u.i. donne
E(1 A M T ) = E(1 A M S ) pour tout A ∈ FS∧N , et donc pour tout A ∈ FS = σ(∪N FS∧N ).
Considérons enfin le cas où S et T sont intégrables et M est à oscillations bornées. L’approche du cas précédent
s’adapte, par convergence dominée, comme dans la preuve du théorème 4.4.1 d’arrêt de Doob. ■

44
4.7 Décomposition de Doob et inégalité maximale de Doob

Théodéf 4.7.1. Décomposition de Doob, compensateur, processus croissant.

(i) Si (X n )n∈N est adapté et intégrable, alors les processus (M n )n∈N et (A n )n∈N définis par M 0 = A 0 = 0 et

n
E(X k − X k−1 | Fk−1 ),
X
M n := X n − X 0 − A n et A n := n ≥ 1,
k=1

sont respectivement une martingale et un processus prévisible intégrable. De plus cette décomposi-
tion X − X 0 = M + A en somme de martingale et de processus prévisible issus de 0 est unique.
Le processus A est le compensateur de X : X − A est une martingale obtenue en compensant X par A.
(ii) Si X est une sous-martingale, alors A est croissant et positif, et donc, dans [0, ∞],

0 ≤ An ↗ A∞ p.s.
n→∞

(iii) Si M est une martingale de carré intégrable, alors le compensateur de la sous-martingale X = M 2 ,

he
appelé processus croissant de M , noté 〈M 〉 et appelé crochet (oblique) de M , vérifie, pour tout n ≥ 1,

n n
E((M k − M k−1 )2 | Fk−1 ) = E(M k2 − M k−1
2
| Fk−1 ) et E(〈M 〉∞ ) = sup E(M n2 ) − E(M 02 ).
X X
〈M 〉n :=
k=1 k=1 n∈N

En particulier M est bornée dans L 2 ssi 〈M 〉∞ ∈ L 1 .

La propriété (i) exprime le fait qu’il y a une manière naturelle de corriger additivement un processus adapté
intégrable pour en faire une martingale, en lui retranchant la somme de ses accroissements conditionnés, que ce
uc
terme correctif additif constitue un processus prévisible, et que la décomposition obtenue de la sorte est unique.
Si par exemple M n = Z1 +· · ·+ Zn est une marche aléatoire à pas i.i.d. centrés et de variance σ2 , alors on sait que
M n −σ2 n est une martingale, ce qui fait que le processus croissant de M est donné par 〈M 〉n = σ2 n (déterministe !).
2

Dans (i) et (ii), le processus X − A − X 0 est une martingale et en particulier E(A n ) = E(X n ) − E(X 0 ) pour tout n.
Dans (iii), le processus M 2 − 〈M 〉 − M 02 est une martingale, et en particuler E(〈M 〉n ) = E(M n2 ) − E(M 02 ) pour tout n.
Ce théorème donne un moyen de fabriquer une martingale à partir de n’importe quel processus adapté et inté-
grable X : M = X − X 0 − A, c’est-à-dire en posant M 0 = 0 et M n = X n − X 0 − nk=1 E(X k − X k−1 | Fk ) pour n ≥ 1.
P

Si (M n )n∈N et (M n′ )n∈N sont des martingales de carré intégrable pour la même filtration, alors (M n M n′ )n∈N est
adapté et intégrable, et son compensateur est noté 〈M , M ′ 〉n = 14 (〈M + M ′ 〉n − 〈M − M ′ 〉n ) (identité de polarisation
a
de forme quadratique). Dans la même veine, pour une filtration fixée, l’ensemble des martingales bornées dans L 2
est un espace de Hilbert pour le produit scalaire 〈M , M ′ 〉 := 〈M , M ′ 〉∞ := 41 (〈M + M ′ 〉∞ − 〈M − M ′ 〉∞ ).

Démonstration. La décomposition proposée vérifie bien les propriétés annoncées. Pour l’unicité, si X = X 0 +M + A
est une décomposition avec M martingale et A prévisible et M 0 = A 0 = 0, alors A = X − X 0 − M est intégrable, et
éb

E(X n − X n−1 | Fn−1 ) = A n − A n−1 + E(M n − M n−1 | Fn−1 ) = A n − A n−1 ,

et comme A 0 = 0, on obtient, pour tout n ≥ 1, A n = nk=1 E(X k − X k−1 | Fk−1 ), ce qui fixe aussi M n = X n − X 0 − A n .
P

Pour finir, si X est une sous-martingale, alors pour tout n ≥ 1, on a

A n − A n−1 = E(A n − A n−1 | Fn−1 ) = E(X n − X n−1 | Fn−1 ) − E(M n − M n−1 | Fn−1 ) = E(X n − X n−1 | Fn−1 ) ≥ 0 p.s.

Pour le (iii), la seconde formule pour 〈M 〉n provient de la propriété de martingale de M :

E((M k − M k−1 )2 | Fk−1 ) = E(M k2 | Fk−1 ) − 2M k−1 E(M k | Fk−1 ) + M k−1

2
= E(M k2 − M k−1
2
| Fk−1 ).

D’autre part, comme 〈M 〉0 = 0 et 〈M 〉n ↗ 〈M 〉∞ dans [0, ∞], en combinant propriété de martingale pour M 2 − 〈M 〉
et convergence monotone pour 〈M 〉, il vient que E(M n2 ) = E(〈M 〉n ) + E(M 02 ) ↗ E(〈M 〉∞ ) + E(M 02 ) dans [0, ∞]. ■
Si X k ∈ L p pour tout 0 ≤ k ≤ n, alors max0≤k≤n |X k | ≤ |X 0 |+· · ·+|X n | ∈ L p , et ceci ne nécessite rien. Peut-on rendre
cela quantitatif ? Qu’advient-il en horizon infini n → ∞ ? Voici une réponse pour les sous-martingales positives.

45
 Théorème 4.7.2. Inégalité maximale de Doob.

Soit (X n )n∈N une sous-martingale positive, par exemple une fonction convexe positive d’une martingale.
(i) Pour tout n ∈ N et tout réel r > 0,
´ E(X n 1{max ) E(X n )
1≤k≤n X k ≥r }
³
P max X k ≥ r ≤ ≤ .
0≤k≤n r r

(ii) Pour tout n ∈ N et tout réel p > 1,

³ ´ µ p ¶p
p p p
max E(X k ) ≤ E max X k ≤ E(X n ),
0≤k≤n 0≤k≤n p −1

en particulier, par convergence monotone,

³ ´ ³ p ´p
p p p
sup E(X n ) ≤ E sup X n ≤ sup E(X n ).
n∈N n∈N p − 1 n∈N

En particulier, pour toute sous-martingale positive ou martingale (X n )n∈N et tout réel p > 1 :

he
— X est bornée dans L p ssi X est dominée dans L p au sens où supn∈N |X n | ∈ L p .

La dernière propriété relie, pour les martingales, deux critères d’uniforme intégrabilité (exemple 1.9.2).
Observons que q = p/(p − 1) est l’indice conjugué de Hölder de p. Si p = 2 alors (p/(p − 1))p = 4.
Il est possible d’établir que la constante p/(p −1) est optimale, et qu’il n’y a pas d’inégalité maximale pour p = 1.
L’inégalité maximale de Doob exprime le fait que le moment (ou queue de distribution) du maximum sur un
intervalle de temps est contrôlable par le moment du temps terminal. Il s’agit d’une généralisation au cadre mar-
tingale de l’inégalité maximale de Kolmogorov qui concerne les marches aléatoires (sommes de v.a. i.i.d.).
uc
Démonstration.
(i) Si T := inf{n ∈ N : X n ≥ r }, alors {T = k} = {X 0 < r, . . . , X k−1 < r, X k ≥ r } ∈ Fk pour tous 0 ≤ k ≤ n et r > 0, d’où,
en utilisant la définition de Tr , la positivité de X , et la propriété de sous-martingale, il vient
r 1{T =k} ≤ X k 1{T =k} ≤ E(X n | Fk )1{T =k} = E(X n 1{T =k} | Fk ),
d’où, en prenant l’espérance, r P(T = k) ≤ E(X n 1T =k ), puis en sommant sur 0 ≤ k ≤ n,
r P(T ≤ n) ≤ E(X n 1{T ≤n} ).
Il reste à observer que {max0≤k≤n X k ≥ r } = {T ≤ n}.
a
(ii) L’inégalité de gauche est immédiate par monotonie. Établissons l’inégalité de droite. De (i), pour tout r > 0,
r P(X n∗ ≥ r ) ≤ E(X n 1{X n∗ ≥r } ) où X n∗ := max X k .
0≤k≤n

Exploitons l’indicateur dans le membre de droite pour obtenir une estimée auto-référente. L’idée est d’utiliser
éb

la liaison entre moments et queue de distribution 7 . Plus précisément, on écrit, pour tout réel p > 1,
Z ∞ Z ∞
r P(X n∗ ≥ r )pr p−2 dr ≤ E(X n 1{X n∗ ≥r } )pr p−2 dr,
0 0
qui se réécrit au moyen du théorème de Fubini – Tonelli en
Z ∞ Z ∞
E r 1{X n∗ ≥r } pr p−2 dr ≤ E X n 1{X n∗ ≥r } pr p−2 dr,
0 0
c’est-à-dire (ici on utilise p > 1 qui donne p − 1 > 0)
Z X∗ ³ Z X n∗
n p ´
E pr p−1 dr ≤ E Xn (p − 1)r p−2 dr ,
0 p −1 0

en d’autres termes,
p
E((X n∗ )p ) ≤
E(X n (X n∗ )p−1 ).
p −1
L’inégalité de Hölder appliquée au membre de droite donne
³ p ´p
p p
E(X n (X n∗ )p−1 ) ≤ E(X n )1/p E((X n∗ )p )1−1/p , d’où enfin E((X n∗ )p ) ≤ E(X n ).
p −1
■
R |X |
7. Le théorème de Fubini – Tonelli donne E(U (|X |)) −U (0) = E 0 U ′ (r )dr = 0∞ U ′ (r )P(|X | ≥ r )dr .
R

46
4.8 Convergence par la voie de carré intégrable (vallée de Doob)
10 → 11

Théorème 4.8.1. Martingales bornées dans L 2 .

Si (M n )n∈N est une martingale bornée dans L 2 : supn∈N E(M n2 ) < ∞, alors il existe M ∞ ∈ L 2 t.q.

lim M n = M ∞ p.s. et dans L 2 .

n→∞

En particulier limn→∞ M n = M ∞ dans L 1 et E(M 0 ) = E(M ∞ ). De plus E(M 02 ) = E(M ∞

2
) − E(〈M 〉∞ ).

Rappelons que si X n ∈ L p → X ∈ L p dans L p alors E(|X n |p ) → E(|X |p ) car la norme L p est continue.

Démonstration. Pour tous n ≥ 1 et 1 ≤ k < n, on a, en notant ∆M k := M k − M k−1 ,

E(∆M k ∆M n ) = E(E(∆M k ∆M n | Fn−1 )) = E(∆M k E(∆M n | Fn−1 )) = 0.

Cette orthogonalité des accroissements successifs donne, pour tous n, m ∈ N,

he
n+m
E((M n+m − M n )2 ) = E((∆M k )2 ).
X
k=n+1

En particulier, comme supn∈N E((M n − M 0 )2 ) < ∞ car supn∈N E(M n2 ) < ∞ par hypothèse, on obtient

E((∆M k )2 ) < ∞.
X
k∈N

De plus (M n )n∈N est de Cauchy dans L 2 , donc elle converge dans L 2 vers une limite notée M ∞ ∈ L 2 . Il reste à établir
uc
la convergence p.s. Il suffit de montrer que (M n )n∈N est de Cauchy p.s. Pour cela, définissons

X n := sup |M i − M j |.
i , j ≥n

Maintenant il suffit d’établir que limn→∞ X n = 0 p.s. En fait, 0 ≤ X n ↘ X ∞ p.s. quand n → ∞, où X ∞ ≥ 0. Par consé-
2
quent, il suffit de montrer que E(X ∞ ) = 0 où le carré est choisi pour faciliter le calcul par la suite. Par le lemme de
Fatou, il suffit d’établir que limn→∞ E(X n2 ) = 0. Or

X n ≤ sup |M i − M n | + sup |M n − M j | = 2Yn où Yn := sup |M k − M n |.

a
i ≥n j ≥n k≥n

Il suffit d’établir que E(Yn2 ) → 0. L’inégalité maximale de Doob (th. 4.7.2) pour la martingale (M n+k − M n )k≥0 donne
∞
éb

E(Yn2 ) ≤ 4 sup E((M k − M n )2 ) = 4 E((∆M k )2 ),

X
k≥n k=n+1

reste d’une série convergente ! Enfin les limites L 2 et p.s. coïncident par unicité de la limite en probabilité. ■

47
 Ceci n’est pas abordé en priorité lors du cours oral.

Remarque 4.8.2: Formules de Wald

Si M est une martingale de carré intégrable et T un temps d’arrêt fini p.s. tel que M T ∈ L 2 alors

E(M T ) = E(M 0 ) et E(M T2 ) = E(M 02 ) + E(〈M 〉T ).

En effet, par le théorème 4.4.1 d’arrêt de Doob, (M n∧T )n∈N est une martingale, E(M n∧T ) = E(M 0 ),
2 2
et la décomposition de Doob de M n∧T donne E(M n∧T ) = E(M 02 ) + E(〈M 〉n∧T ). Or par convergence
monotone, E(〈M 〉n∧T ) → E(〈M 〉T ), tandis qu’en procédant comme dans la preuve du théorème 4.8.1,
on a que (M n∧T )n∈N est de Cauchy dans L 2 , donc M n∧T → M T dans L 2 et dans L 1 , d’où les formules.
Les martingales M et M 2 − 〈M 〉 et le temps d’arrêt T ne vérifient pas forcément les hypothèses du
théorème 4.4.1 d’arrêt de Doob, mais les conclusions attendues ont lieu d’après ce qui précède.
Lorsque M n = S n − nm avec S n = Z1 + · · · + Zn et (Zn )n≥1 i.i.d. de moyenne m et de variance σ2 , on a
〈M 〉n = σ2 n. Cela peut être utilisé pour la ruine du joueur de pile ou face de l’exemple 4.4.6.

he
Théorème 4.8.3. Surmartingales positives.

Soit (X n )n∈N une surmartingale positive. Alors :

(i) Il existe X ∞ ≥ 0 telle que X ∞ ∈ L 1 et lim X n = X ∞ p.s.
n→∞
(ii) Pour tout n, X n ≥ E(X ∞ | Fn ), donc E(X n ) ≥ E(X ∞ ).
(iii) Il y a de plus convergence dans L 1 ssi (X n )n∈N est u.i.
uc
En somme, un certain type de suites aléatoires positives et décroissantes en moyenne sont convergentes.

Démonstration. La convergence dans L 1 n’a rien à voir avec les martingales et concerne le lien général entre les
convergences p.s. et L 1 des suites de v.a. et la notion d’u.i. Quant à la minoration de X n , elle découle directement
de la propriété de surmartingale, du lemme de Fatou conditionnel, et de la convergence presque sûre :

X n ≥ lim E(X m | Fn ) = E( lim X m | Fn ) = E(X ∞ | Fn ).

m→∞ m→∞

Cela montre également au passage que X ∞ ∈ L 1 car X ∞ ≥ 0 et E(X ∞ ) ≤ E(X n ) < ∞.

Établissons la convergence presque sûre. L’idée est de se ramener à une sous-martingale bornée par déformation,
a
puis à une martingale bornée dans L 2 par la décomposition de Doob. Plus précisément, comme e−x est convexe et
décroissante, le processus (Yn := e−X n )n∈N est une sous-martingale, de décomposition de Doob (théorème 4.7.1)

Yn = Y0 + M n + A n , n ≥ 1, M 0 = A 0 = 0,
éb

où M est une martingale et A prévisible. Comme Y est une sous-martingale, A est croissant positif : 0 ≤ A n ↗ A ∞
p.s. dans [0, ∞]. Il nous suffit d’établir que M est bornée dans L 2 et d’exploiter le théorème 4.8.1. Comme X n ≥ 0, la
v.a. Yn et à valeurs dans [0, 1], et par convergence monotone, E(A ∞ ) = limn→∞ E(A n ) = limn→∞ E(Yn − Y0 ) < ∞ car
Yn −Y0 est dans [−1, 1]. En particulier A et donc M = Y −Y0 −A est bornée dans L 1 . Mais à ce stade, il n’est pas évident
que M soit de carré intégrable. Cependant M est majorée par une constante, car A est positif et Y est à valeurs dans
un intervalle borné. La propriété d’orthogonalité des accroissements de martingales, déjà exploitée dans la preuve
du théorème 4.8.1 pour les martingales de carré intégrable, reste valable pour les martingales positives ou minorées
par une constante, ou négatives ou majorées par une constante. Pour M cela donne, pour tous n, m, dans [0, ∞],
n+m
E((M n+m − M n )2 ) = E((∆M k )2 ) où ∆M k := M k − M k−1 .
X
k=n+1

Écrivons Yn2 = Y02 + nk=1 (Yk2 − Yk−1

2
= Yk−1 + ∆M k + ∆A k , on obtient
P
). Comme Yk
n £
Yn2 = Y02 + (∆M k )2 + (∆A k )2 + 2Yk−1 ∆M k + 2Yk−1 ∆A k + 2∆M k ∆A k .
X ¤
k=1

Maintenant Y02 + k (∆A k )2 k Yk−1 ∆A k ≥ 0 car Y ≥ 0 et ∆A ≥ 0. Donc

P P
≥ 0 et 2
n n
(∆M k )2 + 2 (Yk−1 + ∆A k )∆M k ≤ Yn2 ≤ 1.
X X
k=1 k=1

48
À ce stade, on observe que E((Yk−1 + ∆A k )∆M k ) = E((Yk−1 + ∆A k )E(∆M k | Fk−1 )) = 0, d’où
n
E(M n2 ) = E((M n − M 0 )2 ) = E((∆M k )2 ) ≤ 1.
X
k=1

Théorème 4.8.4. Sous-martingales bornées dans L1 .

Soit (X n )n∈N une sous-martingale bornée dans L 1 . Alors :

(i) Il existe X ∞ ∈ L 1 telle que lim X n = X ∞ p.s.
n→∞
(ii) Il y a de plus convergence dans L 1 ssi (X n )n∈N est u.i.
(iii) La bornitude dans L 1 est équivalente à l’hypothèse d’apparence plus faible supn∈N E(X n+ ) < ∞.

Démonstration. La propriété (ii) n’a rien à voir avec les martingales et concerne le lien général entre les conver-
gences p.s. et L 1 des suites de v.a. Le fait que X ∞ ∈ L 1 découle tout simplement du lemme de Fatou :

he
E(|X ∞ |) = E(lim |X n |) ≤ lim E(|X n |) ≤ sup E(|X n |) < ∞.
n n n

Concernant la reformulation de l’hypothèse de bornitude, comme E(X n+ ) − E(X n− ) = E(X n ) ≥ E(X 0 ), il vient

E(X n− ) ≤ sup E(X n+ ) − E(X 0 ).

n∈N

Démontrons à présent la convergence p.s. Soit C := supn E(|X n |) < ∞. Il suffit d’établir que

X =Y −Z
uc
où (Yn )n∈N et (Zn )n∈N sont des surmartingales positives et d’utiliser le théorème 4.8.3.
Comme x + = max(x, 0) est convexe et croissante, le processus (X n+ )n∈N est une sous-martingale. Soit

X n+ = X 0+ + M n + A n

sa décomposition de Doob (théorème 4.7.1), où 0 ≤ A n ↗ A ∞ p.s. dans [0, ∞]. Comme E(A n ) = E(X n+ ) − E(X 0+ ) ≤ C ,
il vient que E(A ∞ ) ≤ C par convergence monotone. Introduisons à présent le processus (Yn )n∈N défini par

Yn := X 0+ + M n + E(A ∞ | Fn ).
a
Le processus (Yn )n∈N est une martingale en particulier une surmartingale, positive car Yn ≥ X 0+ +M n + A n = X n+ ≥ 0.
Enfin Zn = Yn − X n définit une surmartingale (somme d’une martingale et d’une surmartingale), positive car

Zn ≥ X n+ − X n = X n− ≥ 0.
éb

Remarque 4.8.5. Martingales positives.

Une martingale positive est toujours bornée dans L 1 . En tant que sous-martingale bornée dans L 1 (théo-
rème 4.8.4) ou surmartingale positive (théorème 4.8.3), elle converge p.s. vers une v.a. intégrable. C’est le
cas notamment pour le modèle des urnes de Pólya et celui de Wright – Fisher.

Remarque 4.8.6. Équivalence de deux théorèmes de convergence.

La preuve du théorème 4.8.4 (sous-martingales bornées dans L 1 ) ci-dessus est une réduction au théorème
4.8.3 (surmartingales positives) faisant usage de la décomposition de Doob (théorème 4.7.1). Or il est à
l’inverse possible de déduire très simplement le théorème 4.8.3 du théorème 4.8.4. En effet, si (X n )n∈N est
une surmartingale positive, alors (−X n )n∈N est une sous-martingale vérifiant supn∈N E((−X n )+ ) = 0 < ∞.
Cette observation suggère de rechercher une preuve alternative directe du théorème 4.8.4. Une telle preuve
est proposée dans la section 4.9, au moyen de l’inégalité des montées et des descentes de Doob.

Le théorème suivant généralise le théorème 4.8.1 de convergence des martingales bornées dans L 2 .

49
 Théorème 4.8.7. Martingales bornées L p , p > 1.

Soit (M n )n∈N une martingale ou une sous-martingale positive.

Si (M n )n∈N est bornée dans L p : supn∈N E(|M n |p ) < ∞, pour un réel p > 1, alors :
(i) Il existe M ∞ ∈ L p tel que limn→∞ M n = M ∞ p.s. et dans L p .
p ¡ p ¢p
(ii) M ∗ := supn∈N |M n | ∈ L p et E(M ∗ ) ≤ p−1 E(|M ∞ |p ).

Une telle martingale est une martingale fermée (théorème 4.10.1).

Démonstration. Comme (M n )n∈N est une sous-martingale bornée dans L 1 , M n → M ∞ p.s. où M ∞ ∈ L 1 (théorème
4.8.4). De plus le lemme de Fatou donne E(|M ∞ |p ) ≤ limn→∞ E(|M n |p ) ≤ supn∈N E(|M n |p ) < ∞, donc M ∞ ∈ L p .
Pour tout 1 ≤ r < p, comme (|M n |r )n∈N est bornée dans L p/r , p/r > 1 ; elle est u.i. par le critère de de la Vallée
Poussin (théorème 1.9.1), et le théorème 1.9.4 de convergence dominée u.i. L r indique que M ∞ ∈ L r et M n → M ∞
dans L r . Cela établit la convergence dans L r , 1 ≤ r < p, du (i) sans utiliser la propriété de martingale de (M n )n∈N .
Reste à obtenir la convergence dans L p , et (ii). L’inégalité maximale de Doob du théorème 4.7.2 pour la sous-
martingale positive (|M n |)n∈N donne

he
³ ´ ³ p ´p
E sup |M n |p ≤ sup E(|M n |p ) < ∞,
n∈N p − 1 n∈N

d’où supn∈N |M n | ∈ L p , autrement dit supn∈N |M n |p ∈ L 1 , d’où, par convergence dominée,

E(|M ∞ |p ) = lim E(|M n |p ) = sup E(|M n |p ) < ∞,

n→∞ n∈N

où la dernière égalité vient de la croissance de (E(|M n | ))n∈N , car (|M n |p )n∈N est aussi une sous-martingale car
p

x ≥ 0 7→ x p est convexe croissante. Ceci redémontre que M ∞ ∈ L p , donne E(|M ∞ |p ) = supn∈N E(|M n |p ), et donne
également (ii). Enfin, la convergence dans L p dans (i) s’obtient par convergence dominée en observant que
uc
|M n − M ∞ |p ≤ 2p−1 (sup |M n |p + |M ∞ |p ) ∈ L 1 .
n∈N

■
11 → 12

Exemple 4.8.8. Contrexemple de martingales non u.i. : Galton – Watson critique.

Considérons le processus de branchement de Galton – Watson, de la forme

a
M n+1 = X n+1,1 + · · · + X n+1,Mn , M 0 := 1,

où (X j ,k ) j ,k≥1 sont i.i.d. de loi µ sur N telle que µ(0) > 0. Plaçons-nous dans le cas critique où µ est de
éb

moyenne 1. Comme (M n )n≥1 est une martingale positive, elle converge p.s. vers M ∞ ∈ L 1 (théorème 4.8.3).
C’est aussi une chaîne de Markov d’espace d’état N. L’état 0 est absorbant et tous les autres états peuvent
mener à 0 et sont donc transitoires. Il en découle que p.s. soit (M n )n∈N converge vers 0 soit vers ∞, et comme
M ∞ ∈ L 1 , il vient que M ∞ = 0 p.s. La convergence de (M n )n∈N ne peut pas avoir lieu dans L 1 car cela don-
nerait la contradiction suivante : 1 = E(M n ) → E(M ∞ ) = 0. La martingale (M n )n∈N n’est donc pas u.i. Étant
positive, elle est évidemment bornée dans L 1 , mais dans aucun L p pour p > 1 car non u.i. Comme elle n’est
pas u.i., elle n’est pas dominée dans L 1 : supn∈N |M n | ̸∈ L 1 , le maximum de sa trajectoire a une queue lourde.
Cela explique le caractère plutôt déroutant des simulations naïves des trajectoires de ce processus.

4.9 Convergence par la voie des montées et descentes (arête de Doob)

Dans la section précédente, le théorème 4.8.3 de convergence de surmartingales positives puis le théorème
4.8.4 de convergence de sous-martingales bornées dans L 1 , qui sont équivalents, sont démontrés successivement,
via la décomposition de Doob (théorème 4.7.1), par réduction au théorème 4.8.1 de convergence des martingales
bornées dans L 2 , lui-même démontré via l’inégalité maximale de Doob (théorème 4.7.2). Dans cette section, on
adopte l’approche d’origine de Doob, basée sur les montées et les descentes, plus inattendue, qui établit directe-
ment le théorème 4.8.4 de convergence des sous-martingales bornées dans L 1 . Avec le recul, cette approche par
montées et descentes reste très spécifique aux martingales, tandis que celle par réduction au cas hilbertien est plus
universelle (c’est par exemple celle adoptée pour la construction de l’espérance conditionnelle).

50
 Soit x = (x n )n∈N une suite réelle déterministe. Pour tous réels a < b, soit (S k (x))k≥1 et (Tk (x))k≥1 les suites à
valeurs dans N ∪ {+∞} définies par récurrence comme suit (inf ∅ = +∞) :
(
S k+1 (x) := inf{n ≥ Tk (x) : x n ≤ a}
avec T0 (x) := 0.
Tk+1 (x) := inf{n ≥ S k+1 (x) : x n ≥ b},
En particulier Tk (x) ≤ S k+1 (x) ≤ Tk+1 (x) pour tout k ≥ 0. Posons à présent
∞ ∞
1{Tk (x)≤n} 1{Tk (x)<∞} .
X X
Nn ([a, b], x) := et N∞ ([a, b], x) :=
k=1 k=1

La quantité Nn ([a, b], x) est le nombre de montées pour l’intervalle [a, b] effectuées par la suite x 0 , . . . , x n .
La quantité N∞ ([a, b], x) est le nombre de montées pour l’intervalle [a, b] effectuées par la suite (x n )n∈N .

Lemme 4.9.1. Caractérisation de la convergence par les montées.

Une suite (x n )n∈N converge dans R = [−∞, +∞] ssi N∞ ([a, b], x) < ∞ pour tous rationnels a < b.

Démonstration. Supposons que x n → x ∈ R. Si x ∈ R, alors (x n )n∈N est à partir d’un certain rang dans un intervalle

he
arbitrairement petit contenant x, et si son diamètre est plus petit que celui de [a, b], alors le nombre de montées
pour [a, b] est fini. Si x = +∞ (respectivement x = −∞) alors, à partir d’un certain rang, (x n )n∈N reste au-dessus
(respectivement au-dessous) de [a, b], et le nombre de montées pour [a, b] est fini.
Réciproquement, supposons que (x n )n∈N ne converge pas dans R. Alors en considérant des rationnels a < b tels
que limn x n < a < b < limn x n , on obtient une infinité de termes < a et une infinité de termes > b, et en particulier
une infinité de montées à travers [a, b]. ■
Nous allons exploiter ce lemme d’analyse pour les trajectoires de sous-martingales.
Si (X n )n∈N est adapté alors S k (X ) et Tk (X ) sont des temps d’arrêts, et donc Nn ([a, b], X ) est Fn -mesurable :
uc
{Tk (X ) ≤ n} = ∪0≤m1 <n1 <···<mk <nk ≤n {X m1 ≤ a, X n1 ≥ b, · · · , X mk ≤ a, X nk ≥ b} ∈ Fn (idem pour S k ).

Lemme 4.9.2. Inégalité sur les montées de Doob.

Si (X n )n∈N est une sous-martingale alors pour tous réels a < b et pour tout n ∈ N,

(b − a)E(Nn ([a, b], X )) ≤ E((X n − a)+ − (X 0 − a)+ ).

Démonstration. Comme x 7→ (x − a)+ est convexe et positive, le processus (Yn := (X n − a)+ )n∈N est une sous-mar-
a
tingale. Notons S k , Tk , et Nn sans X ni [a, b] pour alléger. Pour faire apparaître (b − a), l’idée est de considérer les
traversées de [a, b], c’est-à-dire les montées qui suivent une descente. Pour cela, on introduit, pour tout n ∈ N,
n
X n
X
Yn − Y0 = (Yk − Yk−1 ) = (Hk + K k )(Yk − Yk−1 ) =: ((K + H ) · Y )n
k=1 k=1
éb

où (
∞ 1 si n est entre une descente et la montée suivante
1{S k <n≤Tk } =
X
Hn := et K n := 1 − Hn .
k=1 0 sinon
Comme (H + K ) · Y = H · Y + K · Y , nous pouvons évaluer (H · Y )n et (K · Y )n séparément. Or
n Nn
(YTk − YS k ) + 1{S Nn +1 <n} (Yn − YS Nn +1 ).
X X
(H · Y )n = Hk (Yk − Yk−1 ) =
k=1 k=1
PNn
Comme YS Nn +1 = 0 sur {S Nn +1 < ∞} et comme Yn ≥ 0, il vient (H · Y )n ≥ k=1
(YTk − YS k ), d’où
E((H · Y )n ) ≥ (b − a)E(Nn ).
D’autre part (Hn )n≥1 est prévisible car {S k < n ≤ Tk } = {S k ≤ n − 1} ∩ {Tk ≤ n − 1}c ∈ Fn−1 car S k et Tk sont des temps
d’arrêt, et comme il prend ses valeurs dans [0, 1], le processus K = 1 − H est également positif, et prévisible. Il en
découle, par le lemme 4.2.2, que le processus K · Y est une sous-martingale, et en particulier
E((K · Y )n ) ≥ E((K · Y )0 ) = 0.
En combinant les deux minorations en moyenne obtenues, cela donne finalement
(b − a)E(Nn ) ≤ E((H · Y )n ) ≤ E((H · Y )n + (K · Y )n ) = E(Yn − Y0 ).
■

51
Preuve du théorème 4.8.4 de convergence des martingales bornées dans L 1 via montées et descentes. Pour tous ration-
nels a < b, l’inégalité sur les montées de Doob (lemme 4.9.2) donne, pour tout n ≥ 1,

(b − a)E(Nn ([a, b], X )) ≤ E((X n − a)+ ) ≤ |a| + sup E(X k+ ),

k∈N

d’où, par convergence monotone,

(b − a)E(N∞ ([a, b], X )) < ∞,
qui donne N∞ ([a, b], X ) < ∞ p.s. Soit Ωa,b ∈ A l’ensemble p.s. associé. Comme ∩a,b∈Q:a<b Ωa,b est encore p.s. il vient
que p.s. pour tous rationnels a < b, N∞ ([a, b], X ) < ∞. Le lemme d’analyse 4.9.1 donne alors la convergence p.s. de
X . Enfin le fait que la limite p.s. est intégrable, et donc en particulier finie p.s., provient du lemme de Fatou. ■

4.10 Martingales fermées ou uniformément intégrables

Théorème 4.10.1. Martingales bornées dans L 1 .

Si (M n )n∈N est une martingale alors les conditions suivantes sont équivalentes :
(i) (M n )n∈N converge p.s. et dans L 1 vers M ∞ ∈ L 1 .

he
(ii) (M n )n∈N est une martingale fermée : il existe X ∈ L 1 t.q. M n = E(X | Fn ) pour tout n ∈ N.
(iii) (M n )n∈N est uniformément intégrable.
De plus, dans ce cas, M ∞ = E(X | F∞ ) où F∞ := σ(∪∞
n=0 Fn ).

C’est le cas en particulier des martingales bornées dans L p , p > 1, du théorème 4.8.7.

Démonstration. (i)⇒(ii). Pour tous m ≥ n, M n = E(M m | Fn ), d’où M n = E(M ∞ | Fn ) quand m → ∞, par conver-
gence dominée conditionnelle ou par contraction E(E(|M n − E(M ∞ | Fn )|) = E(|E(M m − M ∞ | Fn )|) ≤ E(|M m − M ∞ |).
uc
(ii)⇒(i). La suite (M n )n∈N est une sous-martingale bornée dans L 1 , donc par le théorème 4.8.4, il existe X ∈ L 1
telle que M n → X p.s. La convergence dans L 1 découle enfin du fait qu’une martingale fermée est toujours u.i.
(i)⇒(iii). Découle du fait que la convergence dans L 1 implique l’uniforme intégrabilité.
(iii)⇒(i). Comme (M n )n∈N est u.i. elle est bornée dans L 1 , d’où (i) par le théorème 4.8.4.
Il ne reste plus qu’à établir que si (i)-(ii)-(iii) sont réalisées, alors M ∞ = E(X | F∞ ). Comme M n est F∞ -mesurable
pour tout n, il en est de même pour M ∞ . De plus, pour tout B ∈ Fn , E(X 1B ) = E(M n 1B ) = E(M ∞ 1B ). Ceci implique
que E(X 1B ) = E(M ∞ 1B ) sur ∪∞n=0 Fn , donc sur σ(∪n=0 Fn ) = F∞ par le théorème des classes monotones.
∞
■

Ceci n’est pas abordé en priorité lors du cours oral.

a
Si (M n )n∈N est une martingale u.i. alors M T fait sens pour tout temps d’arrêt T , fini ou pas, en posant M T :=
M ∞ sur {T = ∞}. Cela conduit naturellement à une version étendue du théorème d’arrêt de Doob :

Théorème 4.10.2: Théorème d’arrêt pour les martingales u.i.

éb

Si (M n )n∈N est une martingale u.i. alors pour tout temps d’arrêt T , fini ou pas,

M T = E(M ∞ | FT ), en particulier E(M T ) = E(M ∞ ) = E(M n ) pour tout n.

De plus, si S est un autre temps d’arrêt tel que S ≤ T alors

M S = E(M T | FS ), et en particulier E(M S ) = E(M T ).

Si (Tn )n∈N est une suite croissante de temps d’arrêts, alors (M Tn )n∈N est une (FTn )n∈N -martingale.

Démonstration. Le découpage selon T donne, en notant F∞ := σ(M ∞ ), que M T ∈ L 1 :

E(|M T |) = E(1{T =n} |E(M ∞ | Fn )|) ≤ E(1{T =n} E(|M ∞ | | Fn ) = E(|M ∞ |) < ∞,
X X
n∈N∪{∞} n∈N∪{∞}

où la commutation E n = n E provient du théorème de Fubini – Tonelli. De même M T = E(M ∞ | FT ) car

P P

pour tout A ∈ FT , grâce au fait que A ∩ {T = n} ∈ Fn , et M n = E(M ∞ | Fn ) (théorème 4.10.1),

E(1 A M T ) = E(1 A∩{T =n} M n ) = E(1 A∩{T =n} E(M ∞ | Fn )) = E(1 A M ∞ ).
X X
n∈N∪{∞} n∈N∪{∞}

Enfin S ≤ T donne FS ⊂ FT , d’où M S = E(M ∞ |FS ) = E(E(M ∞ |FT ) | FS ) = E(M T | FS ). ■

52
4.11 Martingales rétrogrades ou renversées et application à la loi des grands nombres

Dans cette section, on se place sur (Ω, F , P) muni d’une suite décroissante (Fn )n∈N de sous-tribus de F .
Un processus (X n )n∈N est une martingale renversée lorsque pour tout n,

X n ∈ L 1 (Fn ) et E(X n | Fn+1 ) = X n+1 .

Exemple 4.11.1. Moyenne empirique de v.a. i.i.d. intégrables.

Soit (Zn )n≥1 une suite de v.a. i.i.d. intégrables et, pour tout n ≥ 1,

Sn
Xn = où S n := Z1 + · · · + Zn et Fn := σ(X n , X n+1 , . . .) = σ(S n , S n+1 , . . .) = σ(S n , Zn+1 , Zn+2 , . . .).
n

Par définition, X n ∈ L 1 (Fn ) pour tout n. De plus, pour tout n ≥ 1,

n n
∗ ∗∗
S n = E(S n | Fn ) = E(Zk | Fn ) = E(Zk | S n ) = nE(Z1 | S n ) = nE(X 1 | S n ) = nE(X 1 | Fn ).
X X
k=1 k=1

he
Sn
Donc X n = n = E(X 1 | Fn ) pour tout n. Mais alors Fn ⊃ Fn+1 donne, pour tout n ≥ 1,

E(X n | Fn+1 ) = E(E(X 1 | Fn ) | Fn+1 ) = E(X 1 | Fn+1 ) = X n+1 .

Quitte à poser X 0 = X 1 , (X n )n∈N est donc une martingale renversée.

Pour ∗ : si G et G ′ sont des tribus indépendantes, et U positive ou intégrable, indépendante de G ′ , alors

E(U | σ(G ∪ G ′ )) = E(U | G ),

utilisé avec G = σ(S n ) et G ′ = σ(Zn+1 , Zn+2 , . . .) de sorte que Fn = σ(S n , Zn+1 , Zn+2 , . . .) = σ(G , G ′ ).
uc
Pour ∗∗ : E(Zk | S n ) = h k (S n ) et h k (s) = E(Zk | S n = s) ne dépend pas de k, les lois conditionnelles sont
identiques car la loi de (Z1 , . . . , Zn ) est échangeable, c’est-à-dire invariante par permutation des indices.

Théorème 4.11.2. Convergence des martingales renversées.

Si (X n )n∈N est une martingale renversée alors il existe X ∞ ∈ L 1 t.q. X n → X p.s. et dans L 1 .

L’usage d’un temps négatif, avec (Fn )n≤0 croissante, permet la formule habituelle E(X n+1 | Fn ) = X n pour
a
(X n )n≤0 . Avec ces notations renversantes, le théorème 4.11.2 s’écrit X n → X −∞ ∈ L 1 p.s. et dans L 1 , quand n → −∞.

Démonstration. Pour tout entier K , définissons

( (
X K −n si 0 ≤ n ≤ K FK −n si 0 ≤ n ≤ K
éb

K
Yn = et FnK = .
X0 si n > K F0 si n > K

Alors (YnK )n∈N est une martingale pour la filtration (FnK )n∈N . L’inégalité sur les montées de Doob du lemme 4.9.2
pour la sous-martingale Y K appliquée au temps K et à un intervalle quelconque [a, b] donne

(b − a)NK ([a, b], Y K ) ≤ E(YKK − a)+ = E(X 0 − a)+ .

Or NK ([a, b], Y K ) ↗ N∞ ([a, b], X ) quand K → ∞, d’où, par convergence monotone,

(b − a)E(N∞ ([a, b], X )) ≤ E((X 0 − a)+ ) < ∞,

d’où X n → X p.s. dans R (lemme 4.9.1). La propriété de martingale renversée implique la bornitude dans L 1 :

E(|X n+1 |) ≤ E(E(|X n | | Fn+1 )) = E(|X n |) ≤ · · · ≤ E(|X 0 |) < ∞.

Il en découle par le lemme de Fatou que la limite p.s. est dans L 1 . D’autre part, la propriété de martingale renver-
sée donne également X n = E(X 0 | Fn ), donc X est u.i. car fermée et la convergence a donc aussi lieu dans L 1 . La
décroissance des tribus des martingales renversées simplifie l’étude de la convergence ! ■
Comme corollaire, la loi des grands nombres classique pour les sommes de variables indépendantes et identi-
quement distribuées, avec une preuve assez courte et distincte de la preuve classique par troncature.

53
 Corollaire 4.11.3. Loi des grands nombres pour les v.a. i.i.d..

Z1 +···+Zn
Si (Zn )n≥1 est une suite de v.a. i.i.d. intégrables alors n → E(Z1 ) p.s. et dans L 1 .

Sn
Démonstration. Le théorème 4.11.2 pour la martingale renversée de l’exemple 4.11.1 donne X ∞ ∈ L 1 t.q. n → X∞,
p.s. et dans L 1 . En particulier, E(Z1 ) = E( Snn ) → E(X ∞ ). De plus, par la loi du zéro-un, la v.a. Snn est mesurable pour la
tribu terminale de (Zn )n≥1 , qui se réduit à {∅, Ω}, donc X ∞ est constante p.s.
■
Le théorème 4.11.2 possède le raffinement suivant : X ∞ = E(X n | F∞ ) pour tout n, où F∞ = ∩n Fn . D’autre
part, si X est une martingale renversée, alors X n = E(X 0 | Fn ) , d’où E(|X n |) ≤ E(|X 0 |), d’où sa bornitude dans L 1 . Le
théorème 4.11.2 peut être généralisé aux surmartingales et aux sous-martingales renversées bornées dans L 1 .
Au-delà de la loi des grands nombres pour les suites i.i.d., les martingales renversées permettent d’étudier les
suites échangeables, d’établir la loi du zéro-un de Hewitt – Savage, et le théorème de représentation de de Finetti.
L’expérience montre que l’inégalité maximale de Doob et les martingales renversées ont peu d’usage en dehors
de ceux mis en avant ici. En revanche les théorèmes de convergence de martingales (bornées dans L 2 , ou L p , p > 1),
de surmartingales positives, et de sous-martingales bornées dans L 1 sont très utilisés dans les applications.

he
C’est le moment d’un rappel sur les sources de convergence p.s. La plupart des preuves de convergence p.s.
reposent au bout du compte sur l’une des deux propriétés élémentaires suivantes (parfois via le lemme de Borel –
Cantelli) : si X est à valeurs dans [0, ∞], alors E(X ) < ∞ implique X < ∞ p.s. et E(X ) = 0 implique X = 0 p.s.

4.12 Théorème limite central pour les martingales de carré intégrable

12 → 13

Théorème 4.12.1. Théorème limite central pour les martingales de carré intégrable.
uc
Soit (M n )n∈N une martingale de carré intégrable et 0 ≤ a n ↗ +∞ une suite déterministe telle que :
〈M 〉n P
(i) −→ σ2 pour une constante σ2 > 0, autrement dit 〈M 〉n ∼ σ2 a n en probabilité.
a n n→∞ n→∞

1 n
P
E(|M k − M k−1 |2 1{|Mk −Mk−1 |≥εpan } | Fk−1 ) −→ 0 pour tout ε > 0 (condition de Lindeberg).
X
(ii)
a n k=1 n→∞

Alors
M n loi Mn loi
p −→ N (0, σ2 ) autrement dit p −→ N (0, 1).
a n n→∞ 〈M 〉n n→∞
a
— Le lien entre les deux conclusions découle du lemme de Slutsky.
Il s’agit d’un TLC autonormalisé par la variance conditionnelle 〈M 〉n = nk=1 E((M k − M k−1 )2 | Fk−1 ).
P

Comme 〈M 〉n → +∞ en probabilité, cela donne en particulier une LGN faible :

éb

Mn P
−→ 0.
〈M 〉n n→∞

Cette convergence peut être renforcée en une convergence presque sûre (LGN forte).
— La condition de Lindeberg (ii) exprime le fait qu’il est possible de procéder à une troncature pour se ramener
à une martingale à accroissements bornés 8 . Cette condition est automatiquement vérifiée lorsque M est
bornée car a n → +∞, ce qui annule les indicateurs pour n assez grand. Une condition suffisante est donnée
par la condition de Liapounov, qui est plus simple :
1 X n ¢ P
E |M k − M k−1 |2p | Fk−1 −→ 0.
¡
(ii’) il existe un réel p > 1 tel que p
a n k=1 n→∞

|∆k |
En effet, en notant ∆k := M k − M k−1 , l’inégalité de Markov 9 1{|∆k |≥εpan } ≤ p
ε an
donne

2p−1 1
E(|∆k |2 1{|∆k |≥εpan } | Fk−1 ) = E(|∆k |2 1{|∆ p | Fk−1 ) ≤ p E(|∆k |2p | Fk−1 ).
k |≥ε a n } (ε a n )2(p−1)

— Le théorème s’applique en particulier à la martingale M n = Z1 + · · · + Zn où (Zn )n≥1 est une suite de v.a.
indépendantes, centrées, de carré intégrable, mais pas forcément de même loi. C’est dans ce contexte non
8. La troncature est une technique classique pour établir les résultats asymptotiques comme le théorème limite central.
9. Alternativement, il est possible d’utiliser l’inégalité de Hölder puis de Markov conditionnelles, mais c’est plus long et moins élégant.

54
 i.i.d. qu’on été développées historiquement les conditions de Lindeberg et de Liapounov. Dans ce cas cela
donne 〈M 〉n = σ21 + · · · + σ2n où σ2i := E(Zi2 ), de sorte que si σ2i = 1/i alors 〈M 〉n ∼n→∞ log(n). Ce TLC peut
p
donc donner accès à des fluctuations à vitesses différentes de n ! Il est très utilisé dans les applications.

Démonstration. Pour simplifier, et éviter notamment un lourd argument de troncature, nous nous contentons de
la preuve dans le cas restreint où a n = n et où (ii) est remplacé par
(ii”) M est conditionnellement bornée dans L 3 : pour tout n ≥ 1, E(|M n − M n−1 |3 | Fn−1 ) ≤ 1.
ce qui implique la condition de Liapounov (ii’) avec p = 3/2, donc de Lindeberg (ii).
Pour tout n ≥ 1, soit ∆〈M 〉n := 〈M 〉n − 〈M 〉n−1 = E((M n − M n−1 )2 | Fn−1 ) = E((∆M )2n | Fn−1 ).
Observons dès à présent que l’inégalité de Jensen pour l’espérance conditionnelle et (ii”) donnent

0 ≤ ∆〈M 〉n = E((∆M )2n | Fn−1 ) ≤ E(|∆M n |3 | Fn−1 )2/3 ≤ 1.

2t2
i pt M + σ t2 σ2 t 2
Le résultat à démontrer est équivalent à E(e n n 2 ) → 1 pour tout t ∈ R. Or (i) implique que e 2n 〈M 〉n → e 2

en probabilité et donc dans L 1 car la suite est u.i. car bornée car 0 ≤ 〈M 〉n ≤ n, d’où
2 2 2
i ptn M n + σ 2t i ptn M n + 2n
t
〈M 〉n σ2 t 2 t2
|e −e | = |e 2 − e 2n 〈M 〉n | → 0 dans L 1 .

he
2
i pt M + t 〈M 〉
Il suffit donc d’établir que E(e n n 2n n
) → 1 pour tout t ∈ R. Quitte à remplacer M par la martingale M − M 0 ,
qui a le même comportement asymptotique, on peut supposer que M 0 = 0. Soit u ∈ [−1, 1]. Posons
u2 u2
∆〈M 〉n
L n := eiuMn + 2 〈M 〉n
= L n−1 Zn où Zn := eiu∆Mn + 2 .

Montrons que E(L n ) → 1 quand n → ∞, avec une estimée quantitative dépendant de u. Nous avons

L 0 = 1 et E(L n | Fn−1 ) = L n−1 E(Zn | Fn−1 ), n ≥ 1.

uc
Cela permet d’utiliser le lemme 4.12.2 avec x = ∆M n et y = ∆〈M 〉n ∈ [0, 1], ce qui donne, grâce au fait que
E(∆M n | Fn−1 ) = 0 et E(∆〈M 〉n − (∆M )2n | Fn−1 ) = 0 (car M et M 2 − 〈M 〉 sont des martingales !),
³ u2 ´
E(Zn | Fn−1 ) = E 1 + iu∆M n + (∆〈M 〉n − (∆M )2n ) | Fn−1 + r n (u) = 1 + r n (u)
2
où r n (u) := E(R(u, ∆M n , ∆〈M 〉n ) | Fn−1 ). De plus (ii”) donne E((1+|∆M n |)3 | Fn−1 ) ≤ E(4+4|∆M n |3 | Fn−1 ) ≤ 8, d’où,
2
32 3 u2
par le lemme 4.12.2, |r n (u)| ≤ 3 |u| e . Ceci donne la majoration récursive suivante :
a
32 3 u 2
|E(L n ) − 1| = |E(L n−1 E(Zn | Fn−1 ) − 1)| = |E(L n−1 − 1 + (E(Zn | Fn−1 ) − 1)L n−1 )| ≤ |E(L n−1 ) − 1| + E(|L n−1 |) |u| e 2 .
3
(n−1)u 2
Or comme 〈M 〉n ≤ n, il vient que |L n−1 | ≤ e 2 , d’où finalement, pour tout réel u ∈ [−1, 1] et tout entier n ≥ 0,
éb

32 nu 2
|E(L n ) − 1| ≤ n|u|3 e 2 .
3
2
i ptn M n + 2n
t
〈M 〉n
Ceci donne bien limn→∞ E(e ) = 1, pour tout t ∈ R, en posant u = pt car alors |u| ≤ 1 pour n ≥ t 2 . ■
n

Lemme 4.12.2. Approximation uniforme à l’usage des fonctions caractéristiques.

Pour tout x ∈ R, tout y ∈ [0, 1], et tout u ∈ [−1, 1],

u2
y u2 4 u2
Φ(u) := eiux+ 2 = 1 + iux + (y − x 2 ) + R(u, x, y), avec |R(u, x, y)| ≤ (1 + |x|)3 |u|3 e 2 .
2 3

Démonstration. Une formule de Taylor avec reste intégral donne

u2 1 u u2
Z
Φ(u) = Φ(0) + Φ′ (0)u + Φ′′ (0) + Φ′′′ (s)(u − s)2 ds = 1 + iux + (y − x 2 ) + R(u, x, y).
2 2 0 2
s2
Or comme Φ′′′ (s) = (ix+s y)(3y +(ix+s y)2 )Φ(s), et comme |s| ≤ |u| ≤ 1 et y ∈ [0, 1], il vient que |Φ′′′ (s)| ≤ 4(1+|x|)3 e 2 ,
u2
d’où la majoration annoncée du reste : |R(u, x, y)| ≤ 34 (1 + |x|)3 |u|3 e 2 . ■

55
Pour aller plus loin 4.12.3.

— Échangeabilité et martingales renversées, loi du zéro-un de Hewitt – Savage [44] th. de de Finetti [7].
— Plus sur (la LGN et) le TLC pour les martingales [35, Cor. 3.1] et [16, Sec. 2.8.2].
— Plus d’applications des martingales en modélisation [5, 11, 8].

Inégalité maximale de Doob Décomposition de Doob Inégalité sur les montées de Doob

Martingales bornées dans L 2 Surmartingales positives Sous-martingales bornées dans L 1

Martingales fermées Martingales bornées dans L p>1 Martingales renversées

he
Loi forte des grands nombres i.i.d.

F IGURE 4.2 – Liens entre théorèmes de convergence de martingales.

a uc
éb

56
Chapitre 5

Chaînes de Markov à temps et espace discrets

he
uc
F IGURE 5.1 – Explosion de Ivy Mike, première bombe à hydrogène, le 1ernovembre 1952. Les algorithmes Mar-
kov Chain Monte Carlo (MCMC) sont nés des travaux autour de cette bombe H, à Los Alamos, notamment un
article paru en 1953 et intitulé Equation of State Calculations by Fast Computing Machines, de Nicholas Metropolis,
Arianna W. Rosenbluth, Marshall Rosenbluth, Augusta H. Teller et Edward Teller, étendu en 1970 par Wilfred Keith
a
Hastings. Il semble que Metropolis, en charge du MANIAC I, n’a fait que fournir la ressource informatique. Metro-
polis semble être co-inventeur du terme Monte Carlo, dans un article antérieur écrit avec Stanisław Ulam. D’autre
part, Stanisław Ulam, co-concepteur de la bombe H avec Edward Teller, a également développé l’étude des proce-
suss de branchement de type Galton – Watson, pour la modélisation des neutrons dans les réactions en chaîne. De
nos jours, les algorithmes MCMC font partie des plus utilisés au monde, dans tous les champs applicatifs.
éb

Ce chapitre est consacré aux chaînes de Markov homogènes en temps, à temps et espaces discrets. Ce sont
les suites récurrentes aléatoires (X n )n∈N de la forme X n+1 = g (X n , εn+1 ) où (εn )n∈N est une suite de v.a. i.i.d. Tout
comme les martingales, les chaînes de Markov sont basées sur une structure de dépendance, qui leur confère des
propriétés remarquables, et un rôle important en modélisation. Le concept de chaînes de Markov a été introduit
par Andrei Andreyevich Markov vers 1906, à l’âge de cinquante ans, pour explorer le phénomène loi des grands
nombres au-delà du cadre i.i.d. Cela s’inscrivait dans un contexte philosophique de contestation de la loi des grands
nombres, concept probabiliste scadaleux qui mettait en contradiction libre arbitre individuel (indépendance) et
déterminisme du conportement collectif (convergence de la moyenne empirique) [41]. Contrairement aux martin-
gales, qui sont devenues des outils figés, les chaînes de Markov portent encore aujourd’hui des problèmes ouverts.
Dans toute la suite, un ensemble au plus dénombrable E est toujours muni de la tribu de toutes ses parties,
qui rend continue toute fonction f : E → R. Une mesure de Borel µ sur E vérifie µ(A) = x∈A µ(x) pour tout
P
¯ A¯ ⊂ E ,
où µ(x) = µ({x}). Une fonction R µ-intégrable x∈E f (x) µ(x)
P
f : E → est lorsque la somme au plus dénombrable ¯ ¯
converge, et dans ce cas, E f (x)dµ(x) = x∈E f (x)µ(x). On dit qu’une mesure µ sur E charge l’état x ∈ E lorsque
R P

µ(x) > 0. Les mesures sont toujours supposées non identiquement nulles : elles chargent donc au moins un état.
Il est possible d’aborder ce thème sous un angle algorithmique, sans théorie de la mesure, comme dans [30].

57
5.1 Suites récurrentes aléatoires et noyaux de transition

Soit (X n )n∈N une suite de v.a. à valeurs dans un ensemble au plus dénombrable E . La loi de la suite est une me-
sure de probabilité sur E N muni de la tribu engendrée par les cylindres. Le théorème de Carathéodory – Kolmogorov
indique qu’elle est caractérisée par ses marges de dimension finie, c’est-à-dire par les lois des vecteurs aléatoires
(X 0 , . . . , X m ) pour tout m ∈ N. Or E est au plus dénombrable, et donc la loi de (X 0 , . . . , X m ) est caractérisée par la
donnée de P(X m = x m , . . . , X 0 = x 0 ) pour tous x 0 , . . . , x m dans E . Par conditionnements successifs, on peut écrire
m−1
P(X m = x m , . . . , X 0 = x 0 ) = P(X n+1 = x n+1 | X n = x n . . . , X 0 = x 0 )P(X 0 = x 0 ).
Y
n=0

Si un événement de la forme {X n = x n . . . , X 0 = x 0 } est négligeable, il en va de même de {X m = x m , . . . , X 0 = x 0 }. Aussi,

dans toute la suite, ces cas particuliers sont systématiquement omis par souci de concision.
L’indice n de la suite (X n )n∈N est interprété comme un temps. La variable X n représente la position spatiale à
l’instant n, la tribu σ(X 0 , . . . , X n−1 ) représente son passé tandis que la tribu σ(X n+1 , X n+2 , . . .) représente son futur.

Définition 5.1.1. Chaîne de Markov.

On dit qu’une suite (X n )n∈N de v.a. à valeurs dans un ensemble au plus dénombrable E est une chaîne de

he
Markov d’espace d’état E lorsque pour tous n ∈ N et x 0 , . . . , x n+1 ∈ E ,

P(X n+1 = x n+1 | X n = x n , . . . , X 0 = x 0 ) = P(X n+1 = x n+1 | X n = x n ).

Cela s’écrit également

Loi(X n+1 | X n , . . . , X 0 ) = Loi(X n+1 | X n ) pour tout n ∈ N.

On dit que la chaîne est homogène (en temps) lorsque pour tout n ∈ N et tous x, y ∈ E ,
uc
P(X n+1 = y | X n = x) = P(X 1 = y | X 0 = x).

Cela s’écrit également

Loi(X n+1 | X n = x) = Loi(X 1 | X 0 = x) pour tous n ∈ N et x ∈ E .

Les chaînes de Markov modélisent des processus stochastiques sans mémoire. Elles sont incontournables, pré-
sentes pratiquement partout : informatique, physique, statistique, finance, ingénierie, biologie, sciences humaines
et sociales, etc. Sur le plan mathématique, leur apparente simplicité conceptuelle est trompeuse. Ce domaine porte,
a
encore aujourd’hui, des questions ouvertes ardues et une recherche internationale bien vivante et de haut niveau.

Exemple 5.1.2. Suites récurrentes aléatoires.

Soit X 0 une variable aléatoire à valeurs dans un ensemble au plus dénombrable E .

éb

Soit (εn+1 )n∈N une suite de v.a. indépendantes à valeurs dans un espace mesurable F , indépendante de X 0 .
Pour tout n ∈ N, soit g n : E × F → E mesurable.
La suite récurrente aléatoire (X n )n∈N définie par X n+1 = g n (X n , εn+1 ) est une chaîne de Markov sur E .
Elle est homogène en temps si Loi(εn+1 ) et g n ne dépendent pas du temps n : (εn+1 )n∈N est i.i.d. et g n = g .
En effet, comme (X 0 , . . . , X n ) est σ(X 0 , ε1 , . . . , εn )-mesurable donc indépendant de εn+1 ,

P(X n+1 = x n+1 | X n = x n , . . . , X 0 = x 0 ) = P(g (x n , εn+1 ) = x n+1 ).

Exemple de la marche aléatoire sur Z : g (x, ε) = x + ε d’où X n+1 = X 0 + ε1 + · · · + εn+1 .

Exemple de la marche aléatoire à droite sur le groupe symétrique Sn : g (x, ε) = xε d’où X n+1 = X 0 ε1 · · · εn+1 .
Réciproquement, toute chaîne de Markov est une suite récurrente aléatoire de ce type (théorème 5.5.1).
Pour un entier r ≥ 1, considérons à présent une suite récurrente aléatoire (X n )n∈N d’ordre r dans E , donnée
par X n+1 = f (X n , . . . , X n−r , εn+1 ), où (εn+1 )n≥r est une suite de v.a. i.i.d. indépendantes de X 0 , . . . , X r −1 . On
dit qu’il s’agit d’une chaîne de Markov d’ordre r , c’est-à-dire que ((X n+r −1 , . . . , X n ))n∈N est une CM sur E r .

Noyaux de transition

Soit (X n ) une chaîne de Markov d’espace d’état E . Son noyau de transition P : E × E → [0, 1] est défini par

P(x, y) = P(X 1 = y | X 0 = x), x, y ∈ E .

58
 p0

1 − p0 0 1 1 − p1
p1

F IGURE 5.2 – Graphe des transitions de la chaîne de Markov à deux états.

Par homogénéité il vient que P(X n+1 = y | X n = x) = P(x, y) pour tout n ∈ N et tous x, y ∈ E .
Si ν = Loi(X 0 ), la définition 5.1.1 donne pour tout n ∈ N et tous x 0 , . . . , x n dans E ,
n−1
P(X n = x n , . . . , X 0 = x 0 ) = ν(x 0 )
Y
P(x k , x k+1 ).
k=0

Ainsi, la loi de la suite (X n )n∈N est entièrement caractérisée par la loi initiale ν = Loi(X 0 ) et le noyau de transition
P. La notation CM(E ,ν,P) signifie « chaîne de Markov d’espace d’état E , de loi initiale ν, et de noyau de transition P
». Chaque couple (ν, P) définit une unique loi sur E N . Dans la suite, on omet parfois ν et/ou P dans cette notation,
pour alléger. Si (X n )n∈N et (Yn )n∈N ont même loi sur E N et X est une CM(E ,ν,P) alors l’est aussi Y aussi.

he
Exemple 5.1.3. Suites récurrentes aléatoires.

Le noyau de transition de la chaîne de Markov (X n )n∈N de l’exemple 5.1.2 est P(x, y) = P(g (x, ε1 ) = y).
13 → 14
La notion de noyau peut être isolée du concept de chaîne de Markov. Une application P : E ×E → R est un noyau
P
de transition sur E ssi pour tous x, P(x, ·), vue comme y∈E P(x, y)δ y , est une loi sur E :
X
0 ≤ P(x, y) ≤ 1 et P(x, z) = 1.
uc
z∈E

Quitte à numéroter les éléments de E , un noyau de transition P peut être vu comme une matrice carrée, infinie si
E est infini, appelée matrice de transition, dont chaque ligne est une loi sur E .

P(x 0 , x 0 ) P(x 0 , x 1 ) P(x 0 , x 2 ) ···

 
 P(x 1 , x 0 ) P(x 1 , x 1 ) P(x 1 , x 2 ) ··· 
E = {x 0 , x 1 , x 2 , . . .} et P= .
.. .. .. ..
. . . .

Soient p 0 et p 1 dans [0, 1]. Le noyau de transition P à deux états est le noyau sur E = {0, 1} qui s’écrit
a
P(0, 1) = 1 − P(0, 0) = p 0 et P(1, 0) = 1 − P(1, 1) = p 1 .

Vue comme une matrice 2 × 2, le noyau P s’écrit

éb

µ ¶ µ ¶
P(0, 0) P(0, 1) 1 − p0 p0
P= = .
P(1, 0) P(1, 1) p1 1 − p1

Une chaîne de Markov avec ce noyau est une chaîne à deux états. C’est une marche aléatoire sur Z/2Z si p 0 = p 1 .
La matrice de transition de la marche aléatoire sur Z est tridiagonale à diagonales constantes (Toeplitz).
Il est utile de représenter un noyau de transition avec un graphe des transitions, comme dans la figure 5.2.

Structure de l’ensemble des noyaux

Si P et Q sont deux noyaux de transition sur E , et si α et β sont deux réels positifs tels que α + β = 1, alors
αP(x, y) + βQ(x, y) définit un noyau de transition sur E noté αP + βQ. D’autre part, z∈E P(x, z)Q(z, y) définit éga-
P

lement un noyau de transition sur E noté PQ. Ainsi, l’ensemble des noyaux de transition sur E est convexe, et
constitue un semi-groupe non-abélien pour le produit, d’élément neutre I défini par I(x, y) = 1x=y . D’autre part, les
matrices de permutation de E forment un groupe, inclus dans ce semi-groupe, dont l’action à droite, à gauche, ou
par conjugaison sur le semi-groupe correspondent à l’invariance par permutation des lignes et/ou colonnes.

Noyau itéré et écriture matricielle

Soit (X n )n∈N une CM(E ,ν, P). L’application Pn : E × E → [0, 1] définie par

Pn (x, y) := P(X n = y | X 0 = x)

59
est un noyau de transition sur E . En particulier P1 = P, et P0 = I. Pour tous n ≥ 1 et x 0 , x n dans E ,

Pn (x 0 , x n ) = P(X n = x n | X 0 = x 0 ) = P(X n = x n , . . . , X 1 = x 1 | X 0 = x 0 ).
X
x 1 ,...,x n−1 ∈E

La suite x 0 , . . . , x n constitue un chemin dans E . Par récurrence sur n, il vient

Pn (x 0 , x n ) = Pn−1 (x 0 , x)P(x, x n ).
X X
P(x 0 , x 1 ) · · · P(x n−1 , x n ) =
x 1 ,...,x n−1 ∈E x∈E

Ces formules sont celles du produit matriciel : Pn = PPn−1 = Pn−1 P.

Pour le processus de Bernoulli de l’exemple 5.2.2, le noyau itéré est Pn (x, ·) = Loi(B n | B 0 = x) = δx ∗ Bin(n, p).

En assimilant toute loi ν sur E à un vecteur ligne, et toute fonction f : E → R à un vecteur colonne, la moyenne
de f pour ν s’écrit, lorsque cela a un sens, ν f = x∈E f (x)ν(x) (série si E est infini). En assimilant tout noyau de
P

transition à une matrice carrée infinie, si (X n )n∈N est une CM(E ,ν, P), alors Loi(X n ) = νPn et E( f (X n )) = νPn f , car

E( f (X n )) = P(X n = y) f (y) = ν(x)Pn (x, y) f (y) = νPn f .

X X
y∈E x,y∈E

he
La famille {Pn : n ∈ N} est un semi-groupe (de Markov) d’opérateurs linéaires agissant sur les mesures de probabili-
tés sur E . En notant νn := Loi(X n ) = νPn , la suite (νn )n∈N se calcule par récurrence linéaire

ν0 = ν et νn+1 = νn P.

Les trajectoires (X n )n∈N ne sont ni déterministes ni linéaires, mais l’évolution des lois instantanées est détermi-
niste et linéaire. Ainsi, la structure markovienne des phénomènes d’évolution aléatoire sans mémoire sur E fait
apparaître une structure linéaire, non pas sur E qui n’est pas forcément structuré, mais sur l’ensemble des lois sur
E . Faire émerger une équation d’évolution déterministe de loi de probabilité se retrouve dans l’équation de Boltz-
uc
mann (non-linéaire) en théorie cinétique des gaz, avant Markov, et chez Euler, avant Boltzmann, en mécanique des
fluides, en concevant la probabilité comme un fluide incompressible (lois de conservation : positivité, et intégrale).

Notation conditionnelle

Si (X n )n∈N est une chaîne de Markov sur E , alors pour tout x ∈ E , tout A ⊂ E , et toute v.a. Z , on note

Px (A) = P(A | X 0 = x) et Ex (Z ) = E(Z | X 0 = x).

a
5.2 Exemples de chaînes de Markov

Exemple 5.2.1. Marches aléatoires sur les groupes et sur les graphes.

La marche aléatoire a simple (MAS) sur Zd , d ≥ 1, est la suite récurrente aléatoire (X n )n∈N de Zd définie par
éb

X n+1 = X n + εn+1 = X 0 + ε1 + · · · + εn

où (εn+1 )n∈N est une suite de v.a. i.i.d. de loi uniforme sur {±e 1 , . . . , ±e d } où {e 1 , . . . , e d } est la base canonique
de Rd , et où X 0 est une v.a. sur Zd indépendante de (εn )n≥1 . C’est une CM(Zd ,Loi(X 0 ),P) de noyau
(
1
2d si x et y sont voisins dans Zd , c’est-à-dire |x − y|1 = 1
P(x, y) = .
0 sinon

Cela modélise une diffusion, comme le mouvement brownien, qui en constitue la limite d’échelle. Il est
possible de définir une MA sur le cercle discret Z/r Z en considérant l’addition modulo r dans Z. Plus gé-
néralement, il est possible de définir une marche aléatoire sur un groupe et même sur un semi-groupe,
commutatif ou non, à partir d’accroissements i.i.d. de loi uniforme sur une partie du groupe, typiquement
génératrice du groupe, comme par exemple les transpositions sur le groupe symétrique. Une MA sur le
groupe symétrique peut modéliser par exemple le battage d’un paquet de cartes à jouer. Dans une autre
direction, il est possible de définir une marche aléatoire sur les sommets d’un graphe, en faisant en sorte
que P(x, ·) soit la loi uniforme sur les voisins de x dans le graphe. Les deux concepts peuvent se rejoindre
via le graphe de Cayley d’un groupe finiment engendré. Une MA sur un graphe peut modéliser par exemple
le robot d’archivage du moteur de recherche de Google. Il est également possible de considérer la MA sur

60
 le graphe dual, ce qui revient à marcher sur les arêtes plutôt que les sommets. Il est enfin possible d’utiliser
des accroissement non-uniformes. Les MA sont des objets fondamentaux et ubiquitaires des probabilités.

a. Le terme est attribué à George Pólya, à qui on doit la classification des états de la marche sur Zd en toute dimension d vers 1920.

Exemple 5.2.2. Processus de Bernoulli du jeu de pile ou face.

Les résultats successif dans un jeu de pile ou face sont modélisés par une suite (εn+1 )n∈N de v.a. i.i.d. de
loi de Bernoulli pδ1 + (1 − p)δ0 , p ∈ [0, 1]. Le nombre de gains en n parties est B n = ε1 + · · · + εn . En posant
B 0 := 0, la suite (B n )n∈N est une CM(N, δ0 , P) appelée processus de Bernoulli, de noyau de transition

p
 si y = x + 1
P(x, y) = 1 − p si y = x .

0 sinon


C’est une marche aléatoire sur le semi-groupe commutatif (N, +).

he
Exemple 5.2.3. Autres exemples.

Dans les modèles aléatoires, les chaînes de Markov apparaissent souvent explicitement sous forme de suites
récurrentes aléatoires. Elles ne se confondent pas forcément avec les éventuelles martingales présentes
dans le modèle. Voici quelques exemples, en plus des marches aléatoires mentionnées précédemment :
— Marche aléatoire sur l’hypercube discret. Considérons la suite (X n )n∈N sur E = {0, 1}d = (Z/2Z)d ,
construite comme suit : sachant que X n = x, pour fabriquer X n+1 , on choisit uniformément une
coordonnée parmi {1, . . . , d }, puis on la transforme en 1 si elle était égale à 0 et réciproquement. C’est
une chaîne de Markov, et une marche aléatoire sur un groupe produit. C’est le modèle le plus simple
uc
exhibant des effets dimensionnels comme le phénomène de convergence abrupte à l’équilibre.
— Urne d’Ehrenfest. On dispose de d > 1 molécules ou particules réparties dans deux récipients ou
urnes adjacentes A et B connectés par un petit trou. On note X n le nombre de particules dans A au
temps n. Sachant que X n = x, pour fabriquer X n+1 , on choisit uniformément l’une des d particules,
et on la change de récipient. La suite (X n )n∈N est une chaîne de Markov sur E = {0, 1, . . . , d }. Ehrenfest,
ancien élève de Boltzmann, a introduit ce modèle pour proposer un dépassement du paradoxe entre
théorème de récurrence de Poincaré et irréversibilité en théorie cinétique des gaz de Boltzmann.
— Modèle de Wright – Fisher. La martingale (X n )n∈N considérée dans la section 4.2 est une suite récur-
rente aléatoire donc une chaîne de Markov sur {0/N , 1/N , . . . , N /N }.
a
— Urnes de Pólya. La suite (A n , B n )n∈N considérée dans la section 4.2 est une suite récurrente aléatoire
et donc une chaîne de Markov sur N2 , qui diffère de la martingale considérée dans cet exemple.
— Processus de Galton – Watson. La suite (Zn )n∈N considérée dans la section 4.2 est une suite récurrente
aléatoire, donc une chaîne de Markov sur N, distincte des martingales considérées quand m ̸= 1.
éb

— Recherche de motif. La suite (Un )n∈N de l’exemple 4.4.5 est une suite récurrente aléatoire, donc une
chaîne de Markov, qui n’est pas la martingale utilisée dans cet exemple.

5.3 Propriété de Markov forte

Propriété de Markov faible : si (X n )n∈N est une CM(E ,ν,P) alors pour tous m, n ≥ 0, et tous A ∈ E n et C ∈ E m ,

P((X m+n , . . . , X m ) ∈ C , (X m , . . . , X 0 ) ∈ A | X m = x) = P((X m+n , . . . , X n ) ∈ C | X m = x)P((X n , . . . , X 0 ) ∈ A | X m = x)

= P((X n , . . . , X 0 ) ∈ C | X 0 = x)P((X m , . . . , X 0 ) ∈ A | X m = x).

Autrement dit, pour tout m ∈ N, et conditionnellement à {X m = x}, la suite (X m+n )n∈N est une CM(E ,δx ,P) indépen-
dante de σ(X 0 , . . . , X m ). Il est peut-être éclairant et amusant d’imaginer une trajectoire aléatoire, punaisée en x au
temps m, et qui s’agite des deux côtés, de manière indépendante. Cela s’étend à des temps d’arrêt :

Théorème 5.3.1. Propriété de Markov forte.

Soit (X n )n∈N une CM(E ), et T : Ω → N ∪ {∞} un temps d’arrêt pour la filtration naturelle (Fn )n∈N .
Alors pour tout x ∈ E , sachant {T < ∞ et X T = x}, (X T +n )n∈N est une CM(E ,δx , P), indépendante de FT .

61
 Autrement dit, pour tout A ∈ FT , tout événement cylindrique C ⊂ E N , et tout x ∈ E ,

P({(X T +n )n∈N ∈ C } ∩ A | T < ∞, X T = x) = Px ((X n )n∈N ∈ C )P(A | T < ∞, X T = x).

Autrement dit, pour tout A ∈ FT , toute fonction mesurable positive ou bornée f : E N → R, et tout x ∈ E ,

E( f ((X T +n )n∈N )1 A | T < ∞, X T = x) = Ex ( f ((X n )n∈N ))P(A | T < ∞, X T = x).

La propriété de Markov faible correspond au cas où T est constant et égal à m.

Démonstration. Pour tous m ∈ N, A ∈ FT , et x ∈ E , A ∩ {T = m} ∩ {X T = x} ∈ Fm , et par propriété de Markov faible,

P({X T +n = x n , . . . , X T = x 0 } ∩ A ∩ {T = m} ∩ {X T = x}) = P(X n = x n , . . . , X 0 = x 0 | X 0 = x 0 )P(A ∩ {T = m} ∩ {X T = x})

pour tous x 1 , . . . , x n ∈ E et avec x 0 := x. En sommant sur m ∈ N, il vient

P({X T +n = x n , . . . , X T = x 0 } ∩ A ∩ {T < ∞} ∩ {X T = x}) = P(X n = x n , . . . , X 0 = x 0 | X 0 = x 0 )P(A ∩ {T < ∞} ∩ {X T = x}).

he
La propriété désirée s’obtient alors en divisant par P(T < ∞ et X T = x). Pour la loi, prendre A = Ω. ■

Temps de premier passage, temps d’atteinte, nombre de visites, potentiel

Si (X n )n∈N est une CM(E ) et F ⊂ E , alors le temps de premier passage en F et le temps d’atteinte de F sont

TF∗ := inf {n ≥ 1 : X n ∈ F } et TF := inf {n ≥ 0 : X n ∈ F }.

Ces v.a. prennent leurs valeurs dans {1, 2, . . .} ∪ {∞} et {0, 1, 2, . . .} ∪ {∞}, et TF∗ ≥ TF . Ce sont des temps d’arrêt pour la
filtration naturelle de X , égaux sur {X 0 ̸∈ F }. Sur {X 0 ∈ F }, TF∗ est aussi le temps de retour en F .
uc
Le nombre de visites en F est comptabilisé par les v.a. suivantes, qui prennent leurs valeurs dans N ∪ {∞} :
∞ ∞
NF∗ := 1{X n ∈F } 1{X n ∈F } = 1{X 0 ∈F } + NF∗ .
X X
et NF :=
n=1 n=0

En particulier {TF∗ = ∞} = {NF∗ = 0} et {TF = ∞} = {NF = 0}. Notons également que NF = ∞ ssi NF∗ = ∞.
Lorsque F = {x}, on note T x∗ , T x , N x∗ , et N x .
Les nombres moyens de visites en y partant de x sont donnés par les quantités suivantes dans N ∪ {∞} :
a
∞ ∞
G∗ (x, y) := Ex (N y∗ ) = Pn (x, y) G(x, y) := Ex (N y ) = Pn (x, y) = (I + G∗ )(x, y).
X X
et
n=1 n=0

Les fonctions G∗ et G jouent un rôle important et similaire, en particulier G(x, y) = ∞ ssi G∗ (x, y) = ∞.
Pour tous x, y ∈ E , la quantité suivante joue un rôlé clé dans l’étude des trajectoires : ρ(x, y) := Px (T y∗ < ∞).
éb

Théorème 5.3.2. Temps de retour et potentiel.

(i) Pour tous x, y ∈ E , Px (N y = ∞) = P y (N y = ∞)ρ(x, y).

En particulier, si ρ(x, x) < 1, alors Px (N x = ∞) = 0.
G∗ (x,y) G∗ (x,y)
(ii) Pour tout y ∈ E , si G∗ (y, y) < ∞, alors G∗ (x, y) < ∞ pour tout x ∈ E , et ρ(x, y) = G(y,y) = 1+G∗ (y,y) .
En particulier, ρ(x, x) = 1 ssi G∗ (x, x) = ∞.
(iii) Pour tous x, y ∈ E , la transformée de Laplace de T y∗ est donnée, pour tout λ > 0, par

∗ G∗λ (x, y) ∞
Ex (e−λT y ) = où G∗λ (x, y) := e−λn Pn (x, y).
X
1 + G∗λ (y, y) n=1

14 → 15

Démonstration.
(i) La propriété de Markov forte pour T y∗ et le fait que X T y∗ = y donnent

Px (N y = ∞) = Px (M y = ∞) = Ex 1{T y∗ <∞} 1P∞ = E y 1{P∞

¢ x ∗
P (T y < ∞, X T y∗ = y)
¡ ¢ ¡
n=0 1{X T y∗ +n =y}=∞} n=0 1{X n =y} }=∞}

= P y (N y = ∞)Px (T y∗ < ∞).

62
 (ii) De même pour pour (i), nous avons, dans [0, ∞],
³ ∞ ´ ∞
³X ´
G∗ (x, y) = Ex 1{T y∗ <∞} 1{X T ∗ +n =y} = Ex 1{X n =y} Px (T y∗ < ∞, X T y∗ = y) = G(y, y)Px (T y∗ < ∞).
X
y
n=0 n=0

(iii) La série G∗λ (x, y) converge car 0 ≤ Pn (x, y) ≤ 1. Par la propriété de Markov forte donne (iii) via

³ ∞ ∗
´ ∞
³X ´ ∗ ∗
G∗λ (x, y) = Ex 1{T y∗ <∞} e−λ(T y +n) 1{X T ∗ +n =y} = E y e−λn 1{X n =y} Ex (1{T y∗ <∞} e−λT y ) = (1+G∗λ (y, y))Ex (e−λT y ).
X
y
n=0 n=0

∗
Note : (iii) donne (ii) car par convergence monotone, lim G∗λ (x, y) = G∗ (x, y) et lim Ex (e−λT y ) = Px (T y∗ < ∞).
λ→0 λ→0
■

5.4 Classification des états, récurrence et transience

Soit (X n )n∈N une CM(E ,ν,P). Un état x ∈ E est dit. . .

— récurrent lorsque ρ(x, x) = 1, ou de manière équivalente, lorsque G(x, x) = ∞.

he
— transitoire lorsque ρ(x, x) < 1, ou de manière équivalente, lorsque G(x, x) < ∞.
Si x est récurrent, alors la propriété de Markov donne p.s. une infinité de temps de retour successifs en x, qui
délimitent des excursions indépendantes et de même loi enracinées en x. Ce découpage de la trajectoire indique
que si la probabilité de passer par y est non-nulle lors d’une excursion, alors le nombre total de passages en y le long
de la trajectoire est infini p.s. (jeu de pile ou face). Autrement dit, si ρ(x, x) = 1 et ρ(x, y) > 0, alors Px (N y = ∞) = 1.
Si x est transitoire x, alors le nombre de retours ou d’excursions est fini p.s. et de loi géométrique. Autrement
dit, si ρ(x, x) < 1, alors Loi(N x | X 0 = x) = GeoN∗ (1 − ρ(x, x)), de moyenne 1/(1 − ρ(x, x)) = G(x, x) (pile ou face).
La table 5.1 regroupe quelques propriétés remarquables de ce type, pour certaines issues du théorème 5.3.2.
uc
État x récurrent État x transitoire
ρ(x, x) = 1, G(x, x) = ∞ ρ(x, x) < 1, G(x, x) < ∞
ρ(x, y) > 0 ⇒ Px (N y = ∞) = 1 Px (N x = ∞) = 0
ρ(y, x) = P y (N x = ∞) Loi(N x | X 0 = x) = GeoN∗ (1 − ρ(x, x))
ρ(y, x) > 0 ⇒ G(y, x) = ∞ G∗ (y, x) = ρ(y, x)/(1 − ρ(x, x)) < ∞

TABLE 5.1 – Propriétés des états récurrents et transitoires, valables pour tout y ∈ E .

On note E R l’ensemble des états récurrents et E T = E \ E R celui des états transitoires.

a
On dit que F ⊂ E est clos lorsque Px (TF∗c < ∞) = 0 pour tout x ∈ F . La chaîne ne peut pas en sortir.
Un état x est absorbant lorsque {x} est clos, ou de manière équivalente lorsque P(x, x) = 1.

Exemple 5.4.1. Processus de Bernoulli.

éb

Considérons le processus de Bernoulli de l’exemple 5.2.2. Si p > 0, alors tous les états sont transitoires car
le processus ne fait que croitre, Px (T x∗ = ∞) = 1. Si p = 0, tous les états sont absorbants (chaîne constante).

Exemple 5.4.2. Marche aléatoire sur Z.

Considérons la MA sur Z de l’exemple 5.2.1. Comme Pn (x, x) = P(U1 + · · · +Un = 0) = Pn (0, 0), il vient que
∞
Pn (0, 0).
X
G(x, x) = G(0, 0) =
n=0

Les états sont donc soit tous récurrents soit tous transitoires. Or (U1 + 1 + · · · +Un + 1)/2 ∼ Bin(n, 1/2), d’où
P2k+1 (0, 0) = 0 et P2k (0, 0) = 2−2k (2k)!/(k!)2 , d’où G(0, 0) = ∞ (Stirling), et tous les états sont récurrents.

On dit que x mène ou conduit à y, et on note x → y, lorsque x et y sont reliés par un chemin qui suit les flèches
dans le graphe des transitions de P, c’est-à-dire qu’il existe n > 0 tel que Pn (x, y) > 0. On dit que x et y commu-
niquent, et on note x ↔ y, lorsque x = y ou bien lorsqu’à la fois x → y et y → x. Avec cette définition, on a toujours
x ↔ x, même lorsque P(x, x) = 0. Si x ̸= y, alors x → y ssi G(x, y) > 0. Si x → y et y ̸→ x alors x est transitoire.

63
 Théodéf 5.4.3. Décomposition de l’espace d’état en classes irréductibles.

Pour tout noyau de transition P sur E :

(i) La relation binaire ↔ est une relation d’équivalence sur E .
Ces classes d’équivalence, qui partionnent E , sont appelées classes irréductibles.
(ii) Dans chaque classe, les états sont de même nature : tous récurrents ou tous transitoires.
(iii) Les classes constituées d’états récurrents sont closes et appelées classes de récurrence.
Les classes constituées d’état transitoires sont appelées classes transitoires.

— Les ensembles clos, comme par exemple les classes de récurrence, sont absorbants.
Le cas des états absorbants est singulier puisque leur classe de récurrence est réduite à eux-mêmes.
— Presque sûrement, une chaîne partant d’un état récurrent repasse une infinité de fois par son état initial, ne
s’échappe jamais de sa classe de récurrence, et visite une infinité de fois tous les états de cette classe.
— Presque sûrement, une chaîne partant d’un état transitoire ne peut repasser qu’un nombre fini de fois par
son état initial, et peut être capturée par une classe de récurrence ou visiter d’autres états transitoires (un
nombre fini de fois pour chacun). En particulier, si E est fini, alors il existe forcément un état récurrent.
— L’ensemble des état transitoires peut être infini, et la chaîne peut ne jamais être capturée par une classe de

he
récurrence. C’est toujours le cas en l’absence d’état récurrent, comme pour le processus de Bernoulli avec
p > 0, pour lequel il existe une infinité dénombrable de classes transitoires avec des passages à sens unique.
— Contrairement aux classes de récurrence, les classes transitoires peuvent ne pas être closes. Des passages (à
sens unique) peuvent exister entre elles, ainsi que vers les classes de récurrence. Sur le graphe des transi-
tions, les flèches qui pénètrent dans une classe close proviennent toujours d’états transitoires.
On dit que P est irréductible lorsque E est constitué d’une unique classe, c’est-à-dire lorsque tous les états
communiquent : pour tous x et y dans E , il existe n ≥ 0 tel que Pn (x, y) > 0. On dit que P est récurrent lorsque
E T = ∅, et transitoire lorsque E R = ∅. Ces termes sont également utilisés, au féminin, pour toute CM de noyau P.
uc
(
(1) une seule classe de récurrence (noyau récurrent)
noyau irréductible
(2) une seule classe transitoire (noyau transitoire)

(3) plusieurs classes de récurrence et aucun état transitoire

noyau réductible (4) au moins une classe de récurrence et des états transitoires

(5) plusieurs classes transitoires


L’étude des classes de récurrence des cas (3-4) se ramène au cas (1).
L’étude des classes transitoires closes des cas (4-5) se ramène au cas (2).
a
Exemple 5.4.4.

Considérons le noyau de transition P sur E = {a, b, c, d } donné par

éb

4 0 0 0
 
1 0 2 1 1 
.
P= 
4 0 0 1 3 
0 0 2 2

L’état a est absorbant, donc récurrent. L’état b est transitoire car b → c mais aucun état ne mène à b. Les
états c, d sont récurrents car le temps d’atteinte de c partant de d et de d partant de c sont finis p.s. (lois
géom.). Les classes irréductibles de P sont {a}, {c, d }, {b}. Les deux premières sont closes (et récurrentes).

Remarque 5.4.5. Cas des suites de v.a. i.i.d.

Soit (X n )n∈N une suite de v.a. i.i.d. de loi µ sur E , telle que µ(x) > 0 pour tout x ∈ E . La suite X est une
CM(E ,µ,P) où P(x, y) := µ(y) pour tous x et y. Ce noyau est irréductible car P(x, y) > 0 pour tous x et y.
De plus T x∗ ∼ GeoN (µ(x)), Px (T x∗ < ∞) = 1, et Ex (T x∗ ) = 1/µ(x) (jeu de pile ou face). Ainsi, P est irréductible
récurrent. De plus Pn (x, y) = µ(y), et G(x, x) = ∞ n
n=0 P (x, x) = n=0 µ(x) = ∞. Ainsi, dans le cas i.i.d., la
P P∞

loi initiale se confond avec le noyau. En général, le comportement d’une CM dépend à la fois de la loi ini-
tiale et de la classification des états associée au noyau. Cependant, pour certains noyaux, le comportement
asymptotique des chaînes associées ne dépend que du noyau et pas de la loi initiale (suite du chapitre !).

64
5.5 Simulation des trajectoires : suites récurrentes aléatoires, générateur, puissances

Approche récursive par construction de suite récurrente aléatoire

La propriété de Markov faible indique que pour simuler une trajectoire (x n )n∈N d’une CM (X n )n∈N , il suffit de
procéder récursivement : simuler la loi initiale ν = Loi(X 0 ), ce qui donne x 0 , puis la loi P(x 0 , ·), ce qui donne x 1 , etc.

Théorème 5.5.1. Suites récurrentes aléatoires.

Pour tout noyau de transition P sur E , et toute loi ν sur E , il existe des fonctions

f : [0, 1] → E et g : E × [0, 1] → E

telles que la suite récurrente aléatoire (X n )n∈N définie par

X 0 = f (U0 ) et X n+1 = g (X n ,Un+1 )

est une CM(E ,ν,P), pour toute suite (Un )n∈N de v.a. i.i.d. de loi uniforme sur [0, 1].

he
Démonstration. Après avoir identifié E à N, on pose, pour tous n ∈ N et u ∈ [0, 1],

f (u) := min{m ∈ N : ν(0) + · · · + ν(m) ≥ u} et g (n, u) := min{m ∈ N : P(n, 0) + · · · + P(n, m) ≥ u}.

Ce sont les fonctions de répartition inverses des lois ν et P(n, ·). ■

Pour simuler récursivement une trajectoire (x n )n∈N d’une CM(E ,ν,P), on simule une réalisation x 0 = f (u 0 ) de
la loi initiale ν, puis le reste de la trajectoire par la formule de récurrence x n+1 = g (x n , u n+1 ). Cela fait envisager
les CM comme des suites récurrentes aléatoires. Le théorème 5.5.1 réduit également la construction effective des
CM(E ,ν,P) à celle des suites i.i.d. de loi uniforme sur [0, 1], elle-même réductible à un jeu de pile ou face (bits).
uc
Approche par sauts et générateur (découpage évenementiel de la trajectoire)

Soit (X n )n∈N une CM(E ,ν, P) et (S n )n∈N ses temps de saut définis par récurrence par

S 0 := 0 et S n+1 := inf{k > S n : X k ̸= X S n }.

La suite (S n )n∈N est à valeurs dans N∪{∞}, strictement croissante tant qu’elle est finie, et éventuellement absorbée
par ∞ si la trajectoire se termine par un état absorbant. La suite (X n )n∈N est constante et égale à X S n sur l’intervalle
de temps aléatoire {m ∈ N : S n ≤ m < S n+1 }. Par la propriété de Markov forte, pour tous m, x, y,
a
P(S n+1 − S n = m, X S n+1 = y | S n < ∞, X S n = x) = P(X S n +m = y, X S n +m−1 = x, . . . , X S n = x | S n < ∞, X S n = x)
(
P(x, x)m−1 P(x, y) si m > 0 et y ̸= x
= .
0 sinon
éb

Il en découle que pour tout état x et tout temps n, 15 → 16

— si P(x, x) = 1, alors P(S n+1 = ∞ | S n < ∞, X S n = x) = 1 et on dit que x est absorbant.
— si P(x, x) < 1, alors P(S n+1 < ∞ | S n < ∞, X S n = x) = 1, S n+1 − S n et X S n+1 sont indépendantes conditionnelle-
ment à {S n < ∞, X S n = x}, et de plus, pour tout m > 0 et tous y ̸= x, le jeu de pile ou face donne

P(S n+1 − S n = m | S n < ∞, X S n = x) = P(x, x)m−1 (1 − P(x, x))

P(x, y)
P(X S n+1 = y | S n < ∞, X S n = x) = .
1 − P(x, x)
Cela donne un nouvel algorithme de simulation des trajectoires, basé sur la simulation des deux lois
X −L(x, y)
GeoN∗ (−L(x, x)) et δy où L := P − I.
y̸=x L(x, x)

Elles correspondent aux temps et positions des sauts. L’application L : E × E → R, appelée générateur, vérifie
X
L(x, x) = P(x, x) − 1, L(x, y) = P(x, y) si x ̸= y, et L(x, y) = 0.
y

Ce nouvel algorithme par sauts est d’autant plus préférable que les coefficients diagonaux de P sont proches de 1.
La terminologie vient du fait que L est le générateur du semi-groupe (Pn )n∈N au sens où ∂+ n
nP = P
n+1
− Pn = LPn .

65
 Remarque 5.5.2. Potentiel et inverse du générateur.

n
Soit P un noyau de transition de potentiel G = ∞
P
Pn n=0 P et de générateur L = P − I. On a G = limn→∞ Gn
où Gn := k=0 Pk , et LGn = Gn L = Pn+1 − I. Ainsi, si P est transitoire, alors G est un inverse de −L. Pour la
marche aléatoire simple, L est un laplacien (discret), dont l’étude constitue la théorie du potentiel (discrète).
Par analogie, la fonction G : E × E → N ∪ {∞} est appelée fonction de Green ou potentiel de l’opérateur L.

Approche matricielle

Dans certains cas, comme par exemple pour le jeu de pile ou face, le noyau itéré Pn est explicite et simple. Pour
simuler X n sur l’événement {X 0 = x 0 } sans passer par la trajectoire x 0 , . . . , x n , il suffit d’utiliser la loi Pn (x 0 , ·) sur E .
Lorsque E est fini, le coût peut être réduit en calculant par récurrence la loi Loi(X n ) = νPn par multiplication du
vecteur ligne νPk par la matrice P, pour 1 ≤ k ≤ n. Cela nécessite de l’ordre de n|E |2 opérations élémentaires.

5.6 Atteinte, absorption, harmonicité, martingales

Lorsque que F ⊂ E est clos, le temps d’atteinte TF = inf {n ≥ 0 : X n ∈ F } de F devient un temps d’absorption

he
puisque la chaîne ne peut pas s’échapper de F . C’est le cas lorsque F est une classe de récurrence. Le vecteur des
probabilités d’atteinte (a F (x))x∈E et le vecteur des temps moyens d’atteinte (m F (x))x∈E sont définis par

a F (x) := Px (TF < ∞) et m F (x) := Ex (TF ).

Les valeurs prises sont respectivement dans [0, 1] et [0, ∞]. On a m F (x) = Ex (TF∗ ) si x ̸∈ F . On a toujours a F = 0 et
m F = ∞ sur tout ensemble clos G disjoint de F . C’est le cas avec G = E R \ F lorsque F est une classe de récurrence.

Théorème 5.6.1. Atteinte et absorption.

uc
Si (X n )n∈N est une CM(E ,ν,P), et F ⊂ E , alors les propriétés suivantes ont lieu.
(i) Le vecteur (a F (x))x∈E est solution positive ou nulle minimale a du système linéaire
(
1 si x ∈ F ,
a F (x) = P
y∈E P(x, y)a F (y) si x ̸∈ F .

Si F est clos, cela s’écrit Pa F = a F où a F est un vecteur colonne, c’est-à-dire La F = 0 (harmonicité).

(ii) Le vecteur (m F (x))x∈E est solution positive ou nulle minimale du système linéaire (dans [0, ∞])
a
(
0 si x ∈ F ,
m F (x) = P
1+ y∈E P(x, y)m F (y) si x ̸∈ F .

Si F est clos, cela s’écrit 1F c + Pm F = m F , c’est-à-dire Lm F = −1F c .

éb

a. Signifie que si a est également une solution positive ou nulle, alors a F (x) ≤ a(x) pour tout x ∈ E .

Seule la somme sur F c intervient dans l’équation de m F car m F = 0 sur F .

Démonstration. L’écriture pour F clos est immédiate. Les propriétés (i) et (ii) s’établissent de la même manière.
Si x ∈ F alors a F = 1. Soit x ̸∈ F . Nous avons a F (x) = y∈E Px (TF < ∞ | X 1 = y)P(x, y). Or TF ≥ 1 sur {X 0 = x} car
P

x ̸∈ F , et donc par la propriété de Markov faible Px (TF < ∞ | X 1 = y) = P y (TF < ∞) = a F (y) pour tout y. Ainsi, a F est
bien solution. Soit a une autre solution positive. Alors a = a F = 1 sur F . D’autre part, si x ̸∈ F , alors en opérant des
P P
substitutions successives dans la formule a(x) = y∈F P(x, y) + y̸∈F P(x, y)a(y), on obtient, pour tout n,

a(x) = Px (X 1 ∈ F ) + · · · + Px (X 1 ̸∈ F, . . . , X n−1 ̸∈ F, X n ∈ F ) + εn = Px (TF ≤ n) + εn ,

où εn = P(x, y 1 )P(y 1 , y 2 ) · · · P(y n−1 , y n )a(y n ) ≥ 0, d’où a(x) ≥ Px (TF ≤ n) ↗ a F (x) quand n → ∞.
P
y 1 ,...,y n ̸∈F ■

Exemple 5.6.2. Marche aléatoire sur N et ruine du joueur.

Soit 0 < p < 1. Considérons un joueur qui, à chaque étape, peut gagner 1 Euro avec probabilité p ou perdre
1 Euro avec probabilité 1 − p. Le joueur commence le jeu avec une fortune initiale X 0 , et cesse de jouer
dès que sa fortune est nulle. La suite (X n ) est une chaîne de Markov sur N de noyau de transition P vérifiant

66
 P(0, 0) = 1, P(x, x+1) = p et P(x, x−1) = 1−p pour tout x > 0. Une telle chaîne constitue une marche aléatoire
sur N, tuée ou absorbée en 0. L’état 0 est absorbant donc {0} est une classe de récurrence, et tous les états non
nuls communiquent, et mènent à 0, donc N∗ est une classe transitoire. Mais cela ne permet pas d’affirmer
que la chaîne est absorbée par l’origine p.s. Par le théorème 5.6.1 pour l’ensemble clos F = {0}, le vecteur
des probabilités d’absorption a = a F est solution positive minimale de l’équation donnée par

a(x) = pa(x + 1) + (1 − p)a(x − 1), si x > 0, et a(0) = 1.

Supposons maintenant que le jeu est équitable : p = 1/2. Les solutions de la récurrence linéaire sont alors
de la forme a(x) = α + βx. Les conditions a(0) = 1 et 0 ≤ a ≤ 1 entraînent α = 1 et β = 0. Ainsi, a(x) = 1
pour tout x, ce qui signifie que quelle que soit sa fortune initiale x, le joueur finira ruiné presque sûrement !
Ce modèle tolère des fortunes arbitrairement grandes au cours du jeu, ce qui n’est pas réaliste. Cette étude
markovienne de la ruine est à comparer à celle basée sur les martingales de l’exemple 4.4.6.

Théorème 5.6.3. Martingale de chaîne de Markov.

Soit (X n )n∈N une CM(E ,ν,P), L = P − I son générateur, et f : E → R intégrable pour toutes les lois νPn .

he
Alors la suite (M n )n∈N ci-dessous est une martingale pour la filtration naturelle de X :

n−1
X
M 0 := 0 et M n := f (X n ) − f (X 0 ) − (L f )(X k ), n ≥ 1.
k=0

Autrement dit, la décomposition de Doob de ( f (X n ))n∈N s’écrit f (X n ) = f (X 0 ) + M n + n−1

P
k=0
(L f )(X k ).
Si f est harmonique : L f = 0, c’est-à-dire que P f = f , alors ( f (X n ))n∈N est une martingale.
Si f est sous-harmonique : L f ≥ 0, c’est-à-dire P f ≥ f , alors ( f (X n )n∈N est une sous-martingale.
Si f est surharmonique : L f ≤ 0, c’est-à-dire P f ≤ f , alors ( f (X n ))n∈N est une surmartingale.
uc
La terminologie vient du fait que le générateur d’une marche aléatoire simple sur Zd est un laplacien discret.
Les termes (sous-|sur)martingale viennent de ce lien avec les fonctions (sous-|sur)harmoniques.

Démonstration. Le processus est adapté. Par hypothèse E( f (X n )) = νPn f et E((L f )(X k )) = ν(Pk+1 − Pk ) f sont des
quantités bien définies et finies. Pour tout n ≥ 1, en notant Zk := f (X k ) − E( f (X k ) | X k−1 ) = f (X k ) − E( f (X k ) | Fk−1 ),
n−1 n £ n
et E(Zk | Fk−1 ) = 0.
X£ ¤ X ¤ X
Mn = f (X k+1 ) − f (X k ) − (P f )(X k ) + f (X k ) = f (X k ) − (P f )(X k−1 ) = Zk ,
k=0 k=1 k=1
a
■
Par exemple, le vecteur a F des probabilités d’atteinte de F ⊂ E clos est harmonique et borné (théorème 5.6.1).
Si (X n )n∈N est une CM(E ,P) et E ⊂ R, si X 0 est intégrable et si P(x, ·) a pour moyenne x pour tout x ∈ E , alors
éb

l’application identité x 7→ x est harmonique, et donc (X n )n∈N est une martingale.

Théorème 5.6.4. Représentation probabiliste de Kakutani de la solution du problème de Dirichlet.

Soit (X n )n∈N une CM(E , ν, P) et L = P − I son générateur.

Soit D ⊂ E et D := D ∪ ∂D, où ∂D := {x ̸∈ D : ∃y ∈ D, P(x, y) > 0} est son bord extérieur pour P.
Supposons que D et ∂D sont finis et non-vides, et que T∂D := inf{n ∈ N : X n ∈ ∂D} < ∞ p.s. sur {X 0 ∈ D}.
Alors pour tout g : ∂D → R, la fonction f : D → R définie par
(
x L f = 0 sur D
f (x) = E (g (X T∂D )) est solution de .
f =g sur ∂D

De plus cette fonction de Kakutani est l’unique solution de ce problème de Dirichlet discret.

— La quantité L( f )(x) est bien définie pour f : D → R et x ∈ D car par définition de ∂D, elle ne nécessite pas de
connaître les valeurs de f en dehors de D. Autrement dit, elle ne dépend pas du prolongement à tout E .
— La formule de Kakutani indique que la solution hérite de g le fait d’être nulle/positive/négative.
— Ce théorème exprime sous forme probabiliste la solution d’un système d’équations linéaires.
— Ce théorème permet d’utiliser la méthode de Monte Carlo pour l’approximation de la solution.
— Ce théorème fournit une fonction harmonique sur D à condition au bord prescrite.

67
 — Comme D est fini, toute solution est bornée, car définie sur D.
— Dans le cas de la marche aléatoire simple sur Zd , l’ensemble ∂D coïncide avec le bord dans Zd pour la
norme ℓ1 . De plus, si D est fini, alors ∂D et donc D aussi, tandis que T∂D < ∞ p.s. par l’argument habituel
de découpage de la trajectoire en morceaux de longueur fixe supérieure au diamètre de D et réduction au
premier succès dans un jeu de pile ou face ou au lemme de Borel – Cantelli.
— La fonction a F du théorème 5.6.1 pour F ⊂ E clos résout un problème de Dirichlet sur D = F c avec g ≡ 1.
— Historiquement, le problème de Dirichlet et la solution de Kakutani ont été introduits pour le laplacien
continu ∆ = di=1 ∂2i sur Rd , et la solution de Kakutani fait alors intervenir le mouvement brownien, dont
P

le laplacien est le générateur. Le théorème 5.6.4 couvre le cas de la marche aléatoire simple sur Zd , dont le
1 P
générateur est le laplacien discret (∆ f )(x) = 2d y∼x f (y) − f (x). Le phénomène TLC fait le lien.
— Le bord ∂D fait intervenir la géométrie du graphe des transitions, qui peut être très variée, incluant graphe
complet, arbres, courbure positive, etc. La géométrie des graphes est beaucoup plus diverse que celle des
variétés différentielles de la géométrie différentielle, qui sont localement des espaces euclidiens. La marche
aléatoire simple sur Zd constitue une version graphique ou discrète du mouvement brownien sur Rd .

Démonstration. Montrons que la fonction f donnée par la formule de Kakutani est solution. Pour tout x ∈ ∂D,
f (x) = g (x), tandis que pour tout x ∈ D, (∆ f )(x) = 0 car sur {X 0 = x}, T∂D ≥ 1, et la propriété de Markov faible donne

he
X x
E (g (X T∂D )1{X 1 =y} ) = P(x, y)E y (g (X T∂D )) = P( f )(x).
X
f (x) =
y∈E y∈E

Démontrons l’unicité avec une martingale. Soit fe : D → R une solution du problème de Dirichlet. Prolongeons fe
Pn−1 e
par 0 en dehors de D. Ce prolongement est borné, et le théorème 5.6.3 indique que ( fe(X n ) − k=0 (∆ f )(X k ))n∈N
est une martingale. Supposons à présent que X 0 = x ∈ D. Pour tout 0 ≤ k < T∂D , X k ∈ D, donc (∆ fe)(X k ) = 0 car fe
Pn∧T∂D −1 e
est harmonique sur D, ainsi (∆ f )(X k ) = 0 pour tout n ∈ N. Donc par le théorème 4.4.1 d’arrêt de Doob,
k=0
( fe(X n∧T∂D ))n∈N est une martingale, bornée, et fe(x) = E( fe(X 0 )) = E( fe(X T∂D )) = E(g (X T∂D )) car fe = g sur ∂D.
Il est possible de démontrer l’unicité avec le principe du maximum. Par linéarité, il suffit d’établir que la fonc-
uc
tion identiquement nulle est l’unique solution lorsque g = 0. Soit donc fe solution avec g = 0. Comme D est fini, fe
atteint son maximum sur D. Il suffit d’établir que fe ne peut atteindre son maximum que sur ∂D. Car dans ce cas,
par symétrie, il en sera de même pour le minimum, or fe = 0 sur ∂D, d’où fe = 0 sur D. Supposons donc qu’il existe
x ∈ D tel que fe(x) = M := max fe(y). Comme fe est solution, il vient, en itérant, pour tout n ≥ 1,
y∈D

Pn (x, y) fe(y) ≤ M Pn (x, D).

X X X
M = fe(x) = P(x, y) fe(y) = P(x, y) fe(y) = · · · =
y∈D y∈D y∈D

Or comme T < ∞ p.s. il vient que Pn (x, ∂D) > 0 pour n assez grand, donc Pn (x, D) < 1, d’où la contradiction.
a
■

Remarque 5.6.5. H-transformée de Doob.

Dans le même registre que le problème de Dirichlet, soit P un noyau de transition sur E , h : E → R harmo-
éb

nique positive, et E h = {h > 0} = {h ̸= 0}. Alors Ph (x, y) := P(x, y)h(y)/h(x) définit un noyau de transition sur
E h . Cette déformation du processus (h-transformée de Doob) a pour effet d’empêcher la sortie de E h .

Remarque 5.6.6. Martingales et chaînes de Markov.

Les martingales à temps discret du chapitre 4 prennent leurs valeurs dans R. Les chaînes de Markov à temps
et espace discrets de ce chapitre prennent leur valeurs dans un ensemble E qui n’a pas de structure en
général. Si (εn+1 )n∈N est une suite de v.a. réelles i.i.d. centrées indépendantes de X 0 , alors la suite récurrente
aléatoire (X n )n∈N définie par X n+1 = εn+1 X 0 + X n est une martingale mais pas une chaîne de Markov. Une
chaîne de Markov est une suite récurrente aléatoire d’ordre 1, c’est-à-dire un processus autoregressif d’ordre
1 possiblement non-linéaire, pas forcément à valeurs réelles ou vectorielles. Au contraire, la propriété de
martingale tolère des récursions d’ordre arbitraire, mais impose une structure réelle ou vectorielle.

Remarque 5.6.7. Fonction de chaîne de Markov et critère de Dynkin.

Si X = (X n )n∈N est une CM(E ,P) et f : E → F est injective alors f (X ) = ( f (X n ))n∈N est une CM(F ), car si
X n+1 = g (X n , εn+1 ) alors f (X n+1 ) = f (g ( f −1 ( f (X n )), εn+1 )). En revanche, ce n’est plus toujours vrai si f n’est
pas injective. Plus généralement, on dispose par exemple d’une condition suffisante appelée critère de Dyn-

68
 kin a : si pour tout x la loi P(x, ·) ne dépend de x que via f (x), alors f (X ) est une CM. En effet, cela revient à
dire que g (x, ε) ne dépend de x que via a = f (x), et donc, en notant ge(a, ε) cette valeur commune, il vient

f (X n+1 ) = f (g (X n , εn+1 )) = f (g (x, εn+1 ))1{X n =x} = f (ge(a, εn+1 ))1{ f (X n )=a} = f (ge( f (X n ), εn+1 )).
X X X
a∈F x∈ f −1 (a) a∈F

Le noyau Q de f (X ) est alors donné pour tous a, b ∈ F par

Q(a, b) = P( f (ge(a, ε1 )) = b) = P(g (x, ε1 ) = y) = P(x, f −1 (b)) = | f −1 (a)|P

e (a, f −1 (b)).
X X

y∈ f−1 (b) x∈ f −1 (a)

x∈ f −1 (a)

a. Proposé par Eugene Dynkin vers 1965.

16 → 17

5.7 Chaînes irréductibles, mesures invariantes, récurrence positive, théorème ergodique

L’étude des classes closes, transitoire ou récurrentes, revient à étudier les chaînes irréductibles. En revanche,

he
l’étude des classes transitoires non closes ne s’y ramène pas, et doit être menée spécifiquement.

Mesures et lois invariantes

Une mesure µ ̸≡ 0 sur E est invariante pour le noyau de transition P lorsque pour tout y,

µ(y) = µ(x)P(x, y).

X
x∈E

Cela s’écrit µ = µP, ou encore µL = 0, c’est une notion duale 1 de celle de fonction harmonique positive. En parti-
culier, µ est aussi invariante pour Pn pour tout n. Pour une mesure de probabilité ou loi µ, son invariance pour P
uc
revient à dire que pour si (X n )n∈N est une CM(E , P), alors

X0 ∼ µ ⇒ X n ∼ µ pour tout temps n.

Il s’agit d’un équilibre en loi invariant par la dynamique, et l’équation µ = µP est une équation de point fixe.
Soit µ une mesure invariante pour P. Soit x un état repéré sur le graphe des transitions de P. Multiplions le
poids de chaque flèche arrivant en x par le poids µ(y) où y est l’état de départ de la flèche. La somme totale de ces
produits doit être égale à µ(x) (équation bilan). Il en découle que si, sur le graphe des transitions, un état x ne reçoit
aucune flèche mais envoie au moins une flèche à l’extérieur, alors il ne peut pas exister de mesure invariante, car
a
cela violerait le bilan de masse. Un tel état constitue une classe transitoire singleton (état fuyant en quelque sorte).

Exemple 5.7.1. Mesures et lois invariantes.

— Cas i.i.d. Si (X n )n∈N est une suite i.i.d. de loi µ sur E , alors X est une CM sur E et µ est invariante.
éb

— Chaîne à deux états. Une mesure µ est invariante pour la chaîne à deux états de matrice
µ ¶
1 − p0 p0
p1 1 − p1
ssi p 0 µ(0) = p 1 µ(1). En particulier, lorsque p 0 + p 1 > 0, la mesure µ définie par µ(0) = p 1 /(p 0 + p 1 ) et
µ(1) = p 0 /(p 0 + p 1 ) est l’unique loi invariante. Si p 0 = p 1 = 0, toutes les mesures sont invariantes.
— Processus de Bernoulli. Pour le processus de Bernoulli de l’exemple 5.2.2, une mesure µ sur N inva-
riante ssi µ(0) = (1 − p)µ(0) et µ(x) = (1 − p)µ(x) + pµ(x − 1) pour tout x > 0. Ainsi, si 0 < p < 1, alors
il n’y a pas de mesure invariante (la classe transitoire {0} perd de la masse), si p = 0, alors toutes les
mesures sont invariantes, tandis que si p = 1, alors toute mesure invariante µ est constante.
— Multiplicité des mesures invariantes pour un noyau irréductible. Considérons la marche aléatoire sur
Z de l’exemple 5.2.1 de loi d’incrément pδ1 + (1 − p)δ0 , 0 < p < 1. Une mesure µ est invariante ssi
µ(x) = α + β(p/(1 − p))x pour tout x ∈ Z, où α, β ∈ R. Il n’y a donc pas unicité à normalisation près.
— Absence de mesure invariante pour un noyau irréductible. Le processus de Derman est la chaîne de
Markov irréductible sur E = N de noyau P(x, x + 1) = p x et P(x, 0) = 1 − p x , x ≥ 1, et P(0, 1) = 1, où 0 <
p x < 1 et ∞ 0. Si µ est une mesure invariante, alors µ(x +1) = µ(x)p x , d’où µ(x +1) = xy=1 p y ,
Q Q
x=1 p x >
tandis que µ(0) = x=1 µ(x)(1 − p x ) = x=1 (µ(x) − µ(x + 1)) = µ(1) − limx→∞ µ(x) = µ(1) − x=1 p x . Or
P∞ P∞ Q∞

µ(1) = µ(0) car P(0, 1) = 1 est la seule transition menant à 1, d’où une contradiction car ∞
Q
x=1 p x ̸= 0.
Dessins !

1. Lorsque E est fini, vecteur propre de P à gauche plutôt qu’à droite, associé à la valeur propre 1, et à coordonnées positives.

69
Structure de l’ensemble des mesures invariantes

La linéarité de l’équation µP = µ entraîne que l’ensemble des mesures invariantes est un cône convexe : si
µ1 et µ2 sont invariantes et si α1 et α2 sont deux réels positifs avec α1 + α2 > 0, alors la mesure α1 µ1 + α2 µ2 est
également invariante. L’ensemble des lois invariantes est également convexe (prendre α1 + α2 = 1). Si µ est une
mesure invariante, alors tout multiple de µ est également invariante. En particulier, si µ est invariante et vérifie
µ(E ) < ∞ (toujours vrai si E est fini), alors µ(E )−1 µ est une loi invariante.

Récurrence positive et récurrence nulle

Si (X n )n∈N est une CM(E ), pour tous x, y ∈ E , le nombre moyen de passages en y avant retour en x est
∗
³ TX
x −1 ´
µx (y) := Ex 1{X n =y} ∈ [0, ∞].
n=0

Notons que µx (x) = 1, et µx (y) = δx (y) si x est absorbant. De plus, µx (y) > 0 si et seulement si x → y.

Lemme 5.7.2. Nombre moyen de passages avant retour.

he
Si P est un noyau de transition irréductible sur E , alors pour tout x ∈ E :
(i) µx ≥ µx P c’est-à-dire que µx (y) ≥ z∈E µx (z)P(z, y) pour tout y ∈ E .
P

(ii) µx est une mesure qui charge tous les états, c’est-à-dire que 0 < µx (y) < ∞ pour tout y ∈ E .
(iii) µx a pour masse totale Ex (T x∗ ) ∈ [0, ∞], c’est-à-dire que µx (E ) = Ex (T x∗ ).
(iv) si P est de plus récurrent alors il y a égalité dans (i) et µx est une mesure invariante.

Le (i), qui ne nécessite pas l’irréductibilité, s’écrit aussi µx L ≤ 0, notion duale de la surharmonicité.
uc
¡ PTx∗
Démonstration. Pour (i), nous avons 2 µx (y) ≥ Ex n=1 1{X n =y} avec égalité si P est récurrent car dans ce cas T x∗ <
¢

∞ et X Tx∗ = x. Ce décalage du temps permet d’exploiter une transition en fin de trajectoire, plus précisément

T x∗
³X ´ ∞
³X ´ X∞
x
E 1{X n =y} = Ex 1{X n =y,Tx∗ ≥n} = Px (X n = y, T x∗ ≥ n),
n=1 n=1 n=1

ce qui permet alors un découpage selon X n−1 et l’usage de la propriété de Markov faible, ce qui donne (i) :
∞ ∞ X
a
Px (X n = y, T x∗ ≥ n) = Px (X n = y; X n−1 = z; T x∗ ≥ n)
X X
n=1 n=1 z∈E
∞
P(X n = y | X n−1 = z, T x∗ ≥ n)Px (X n−1 = z, T x∗ ≥ n)
X X
=
z∈E n=1
éb

∞
∗
P(X n = y | X n−1 = z)Px (X n−1 = z, T x∗ > n − 1)
X X
=
z∈E n=1
∞
Px (X n = z, T x∗ > n)
X X
= P(z, y)
z∈E n=0
X
= P(z, y)µx (z).
z∈E

Pour (∗), {T x∗ ≥ n} = {X 1 ̸= x, . . . , X n−1 ̸= x} ∈ Fn−1 , et d’autre part, si z ̸= x, alors {X n−1 = z, X n−1 ̸= x} = {X n−1 = z},
tandis que si z = x alors Px (X n−1 = z, T x∗ ≥ n) = 0, d’où l’usage de la propriété de Markov faible.
Pour (ii), par (i), µx (x)Pm1 (x, y) ≤ µx (y) et µx (y)Pm2 (y, x) ≤ µx (x). Il suffit de choisir m 1 , m 2 t.q. Pm1 (x, y) > 0 et
PTx∗ −1
Pm2 (y, x) > 0 par irréductibilité de P, et d’utiliser µx (x) = 1. Enfin (iii) vient de T x∗ = y∈E n=0 1{X n =y} . Nous avons
P

utilisé plusieurs fois le théorème de Fubini – Tonelli dans [0, ∞] pour commuter sommes ou espérances. ■

Théorème 5.7.3. Mesures invariantes des noyaux irréductibles.

Soit P un noyau de transition sur E , irréductible. Alors :

— toute mesure invariante µ charge tous les états et vérifie µ(y) ≥ µ(x)µx (y) pour tous x et y.

2. Dans le cas transitoire, il y a égalité pour y ̸= x. Dans la même veine, si P est transitoire, alors le potentiel vérifie G(x, y) = ∞
P n
n=0 P (x, y) < ∞
n x x
pour tous x, y, et l’identité GP = I+G donne (νx P)(y) = 1x=y +νx (y) où νx (y) := n=0 P (x, y) = E ( n=0 1{X n =y} ), et νx = µx si P (T x∗ = ∞) = 1.
P∞ P∞

70
 — il y a deux cas distincts :
(i) P est transitoire. Alors :
— µ(E ) = ∞ pour toute mesure invariante µ.
— E est nécessairement infini et il n’y a pas de loi invariante.
(ii) P est récurrent. Alors :
— µx est invariante pour tout x.
— les mesures invariantes sont toutes proportionnelles.
— si µ est invariante alors µ(y) = µ(x)µx (y) pour tous x et y, en particulier, µx (y)µ y (x) = 1.

Démonstration. Soit (X n )n∈N une CM(E , P). Soit µ une mesure invariante pour P. Il existe au moins un état z tel
que µ(z) > 0. Pour tout y, il existe un entier n tel que Pn (z, y) > 0 car P est irréductible. Il en découle que

µ(y) = µ(x)Pn (x, y) ≥ µ(z)Pn (z, y) > 0.

X
x

Ainsi, µ charge tous les états. Soit µ invariante avec µ(x) = 1. La formule µ(y) = µ(x)P(x, y)+ z̸=x µ(z)P(z, y) utilisée
P

récursivement donne, si y ̸= x, µ(y) ≥ Px (X 1 = y, T x∗ > 1) + · · · + Px (X n = y, T x∗ > n). D’où µ(y) ≥ µx (y) quand n → ∞.

he
Cas où P est récurrent. Si µ est invariante et µ(x) = 1, alors nous savons que µ ≥ µx , donc µ − µx est une mesure
sur E . Comme µx est invariante (lemme 5.7.2) et µ(x) = µx (x) = 1, il vient que pour tout n et tout y,

0 = (µ − µx )(x) = ((µ − µx )Pn )(x) ≥ (µ − µx )(y)Pn (y, x),

d’où (µ − µx )(y) = 0 en choisissant, grâce à l’irréductibilité de P, un entier n tel que Pn (y, x) > 0.
Cas où P est transitoire. Dans ce cas G(x, y) < ∞ pour tous x et y, d’où limn→∞ Pn (x, y) = 0. Si µ(E ) < ∞ alors
par convergence dominée, µ(y) = limn x µ(x)Pn (x, y) = 0 pour tout y, ce qui est impossible, d’où µ(E ) = ∞.
P
■
uc
Théorème 5.7.4. Mesures invariantes finies et états transitoires.

Si P est un noyau de transition quelconque, irréductible ou pas, et si µ est une mesure invariante telle que
µ(E ) < ∞, alors µ(E T ) = 0. En particulier, les lois invariantes ne chargent jamais les états transitoires a .
a. La marche aléatoire simple sur Z3 est irréductible, transitoire, et la mesure de comptage est invariante et charge tous les états.
Si nous perturbons cette chaîne en ajoutant un état noté ∂ accessible et absorbant, que nous pouvons qualifier de cimetière, alors la
chaîne n’est plus irréductible, ∂ est récurrent et tous les autres sont transitoires, et l’unique loi invariante est la masse de Dirac en ∂.

n n
Démonstration. Soit y ∈ E T . Par définition ∞
P
n=0 P (x, y) = G(x, y) < ∞, et en particulier limn→∞ P (x, y) = 0, pour
a
n
tout x ∈ E . Or µ(y) = x∈E µ(x)P (x, y) pour tout n car µ est invariante, d’où µ(y) = 0 par convergence dominée,
P

licite car x∈E µ(x) = µ(E ) < ∞ et 0 ≤ Pn (x, y) ≤ 1. Ainsi µ(E T ) = 0.

P
■
Un état récurrent x est dit. . .
— récurrent positif si Ex (T x∗ ) = µx (E ) < ∞ (c’est toujours le cas lorsque x est absorbant).
éb

— récurrent nul si Ex (T x∗ ) = µx (E ) = ∞ (dans ce cas T x∗ est à queue lourde).

Théorème 5.7.5. Récurrence positive.

Pour tout noyau de transition P sur E , irréductible récurrent, l’un des deux cas suivants est réalisé :
(i) P est récurrent positif : tous les états sont récurrents positifs. Alors :
1
— µ(E ) < ∞ pour toute mesure invariante et il existe une unique loi invariante : µ(x) = , x ∈ E.
Ex (T x∗ )
— toujours le cas si E est fini !
(ii) P est récurrent nul : tous les états sont récurrents nuls. Alors :
— µ(E ) = ∞ pour toute mesure invariante µ.
— E est nécessairement infini, et il n’existe pas de loi invariante.
De plus, si un noyau irréductible admet une loi invariante alors il est récurrent positif.

Démonstration. Par le théorème 5.7.3, pour tous x, y ∈ E , les mesures invariantes µx et µ y sont proportionnelles,
donc Ex (T x∗ ) = µx (E ) et E y (T y∗ ) = µ y (E ) aussi. Donc x et y sont simultanément récurrents nuls ou récurrents positifs.
Si µ est une loi invariante alors en sommant sur y dans µ(y)/µ(x) = µx (y) il vient µ(x) = 1/µx (E ) = 1/Ex (T x∗ ).
Enfin, par le théorème 5.7.3, si un noyau irréductible admet une loi invariante, alors il est récurrent positif. ■

71
 Ainsi, la récurrence positive (ou de manière équivalente la récurrence nulle) est une propriété de classe.
(
(1) la classe est récurrente positive
classe de récurrence
(2) la classe est récurrente nulle
En particulier, les classes de récurrence positives sont les seules classes irréductibles closes qui peuvent être finies
(elles ne le sont pas toujours). Ce sont les seules classes irréductibles closes qui portent une loi invariante.
Les mesures invariantes liées aux classes de récurrence s’expriment au moyen des quantités trajectorielles
moyennes µx (y) et 1/Ex (T x∗ ). Réciproquement, la résolution du système linéaire µP = µ fournit les quantités µx (y)
et 1/Ex (T x∗ ). La section suivante renforce ce lien entre trajectoires et mesures invariantes. Pour certains noyaux, le
calcul de Ex (T x∗ ) est plus simple que la résolution directe de l’équation µP = µ.

Exemple 5.7.6. Mesures invariantes.

— Toute chaîne irréductible sur un espace d’état fini est récurrente positive : elle est récurrente car
toute trajectoire passe une infinité de fois par au moins un état, et récurrente positive car toute me-
sure est finie. Ainsi les propriétés des mesures donnent des informations sur les temps de retour.
— La marche aléatoire simple sur Z est irréductible, et la mesure de comptage est invariante a , comme

he
cette mesure est de masse infinie, la chaîne est récurrente nulle ou bien transitoire. Nous savons par
ailleurs qu’elle est récurrente car G(x, x) = G(0, 0) = ∞ pour tout x. Elle est donc récurrente nulle.
— Pour tout 0 < p < 1, la marche aléatoire sur E = N réfléchie en zéro de noyau donné par P(x, x+1) = p,
P(x + 1, x) = 1 − p, x ∈ N, P(0, 0) = 1 − p, et P(0, 1) = p, est irréductible. La mesure µ(x) = ρ x , x ∈
E , où ρ = p/(1 − p) est invariante. Elle est de masse finie ssi p < 1 − p c’est-à-dire p < 1/2. Il en
découle que si p < 1/2 alors la chaîne est récurrente positive de loi invariante GeoN (p/(1 − p)). Cela
illustre également le critère de récurrence positive de Foster (théorème 5.8.2). De plus, il est possible
d’établir que pour p = 1/2, la chaîne est récurrente nulle, tandis que pour p > 1/2, elle est transitoire.
Plus généralement, des critères sont disponibles pour les processus de vie et de mort sur N.
uc
a. Plus généralement, sur un groupe, si le noyau de transition est invariant par translation, alors la mesure de Haar est invariante.

17 → 18

Ceci n’est pas abordé en priorité lors du cours oral.

5.8 Critère de Foster et fonction de Liapounov

Lemme 5.8.1: Critère de récurrence positive

a
Si (X n )n∈N est une CM(E ) irréductible, et s’il existe F ⊂ E fini non-vide tel que Ex (TF∗ ) < ∞ pour tout
x ∈ F , où TF∗ := inf{n ≥ 1 : X n ∈ F }, alors X est récurrente positive.

Démonstration. Notons (T n )n∈N les temps de retours successifs de X en F , avec T 0 := 0, et T 1 = TF∗ . Soit x ∈
éb

F . Par la propriété de Markov forte, (Yn )n∈N := (X T n )n∈N est une CM(F ) irréductible car X est irréductible.
De plus, comme F est fini, Y est récurrente positive, et en particulier Ex (S x ) < ∞ où S x est le temps de
retour de Y en x ∈ F . Si T x∗ est le temps de retour en x de X , le but à présent est de contrôler Ex (T x∗ ) avec
Ex (S x ) < ∞. Pour cela, on observe que T x∗ = ∞ U 1 où Uk := T k+1 − T k , d’où
P
k=0 k {k<S x }

∞
Ex (T x∗ ) = Ex (Uk 1{k<S x } ), et Ex (Uk 1{k<S x } ) = Ex (Uk 1{k<S x } 1{X
X X
Tk
=y} ).
k=0 y∈F

Par la propriété de Markov forte pour T k , en observant que {k < S x } appartient au passé de X au temps T k ,

Ex (Uk 1{k<S x } 1{X =y} ) = E

x
(Uk | k < S x , X T k = y)Px (k < S x , X T k = y) = Ex (Uk | X T k = y)Px (k < S x , X T k = y).
Tk

³ ∞
´X ³ ´
Or Ex (Uk | X T k = y) = E y (TF∗ ), d’où Ex (T x∗ ) ≤ max E y (TF∗ ) Px (S x > k) = max E y (TF∗ ) Ex (S x ) < ∞. ■
y∈F k=0 y∈F

72
 Théorème 5.8.2: Critère de récurrence positive de Foster et fonction de Liapounov

Soit P un noyau de transition irréductible sur E . Alors P est récurrent positif s’il admet une fonction
de Liapounov, c’est-à-dire V : E → R, F ⊂ E fini non-vide, et ε > 0, tels que :
(i) infE V > −∞.
(ii) PV < ∞ sur F .
(iii) PV ≤ V − ε sur F c .

Ce théorème est dû à F. G. Foster vers 1953. Il est inspiré de la stabilité des EDO au sens de Liapounov.
La propriété (iii) s’écrit également LV ≤ −ε où L = P − I est le générateur.
En quelque sorte, V est uniformément strictement surharmonique en dehors d’un ensemble fini.
La preuve consiste à m.q. Ex (TF∗ ) < ∞ pour tout x ∈ F , où TF∗ := inf{n ≥ 1 : X n ∈ F } et à utiliser le lemme 5.8.1.

Exemple 5.8.3: Application du critère de Foster

Soit (X n )n∈N une CM(N) irréductible telle que pour tout x ∈ E ,

he
E(X n+1 | X n = x) < ∞ et d := lim E(X n+1 − X n | X n = x) < 0,
x→∞

comme pour la marche biaisée de l’exemple 5.7.6, qui est une file d’attente discrète à un serveur et
un processus de vie et de mort. Alors X est récurrente positive. En effet, le théorème 5.8.2 s’applique
avec ε = −d , V (x) = x, F = {x : x ≤ x 0 }, avec x 0 assez grand pour que E(X n+1 − X n | X n = x) ≤ −ε.

Démonstration. Grâce à (i) on peut supposer sans perte de généralité que V ≥ 0, car (ii) et (iii) sont inva-
riantes par ajout d’une constante à V . Considérons TF∗ = inf {n ≥ 1 : X n ∈ F }. Comme F est fini non-vide,
uc
d’après le lemme 5.8.1, il suffit d’établir que Ex (TF∗ ) < ∞ pour tout x ∈ F . Soit (X n )n∈N une CM(E ,P) et
Yn := V (X n )1{T ∗ ≥n} . La propriété (iii) s’écrit E(V (X n+1 ) | X n = x) ≤ V (x) − ε pour tout x ̸∈ F . Si x ̸∈ F , alors
F

Ex (Yn+1 | X 0 , . . . , X n ) = Ex (Vn+1 1{T ∗ >n} | X 0 , . . . , X n ) = 1{T ∗ >n} Ex (V (X n+1 ) | X n )

F F

≤ 1{T ∗ >n} (V (X n ) − ε) ≤ Yn − ε1{T ∗ >n}

F F

où la première inégalité utilise le fait que X n ̸∈ F sur {TF∗ > n}, et la seconde le fait que V ≥ 0 sur F .
En prenant l’espérance et en utilisant V ≥ 0, cela donne
a
0 ≤ Ex (Yn+1 ) ≤ Ex (Yn ) − εPx (TF∗ > n),

d’où, en itérant,
n
0 ≤ Ex (Y0 ) − ε Px (TF∗ > k).
X
éb

k=0

Px (TF∗ > k) = Ex (TF∗ ), il vient, pour tout x ̸∈ F ,

P∞
Or comme Y0 = V (X 0 )1{T ∗ >0} = V (X 0 ), et comme k=0
F

Ex (TF∗ ) ≤ ε−1 V (x) < ∞.

D’autre part, pour tout x ∈ F , le découpage selon X 1 , la propriété de Markov faible, et (ii) donnent

Ex (TF∗ ) ≤ 1 + P(x, y)E y (TF∗ ) ≤ 1 + ε−1 P(x, y)V (y) ≤ 1 + ε−1

X X X
P(x, y)V (y) < ∞.
y̸∈F y̸∈F y∈E

5.9 Loi des grands nombres ou théorème ergodique

Chaque trajectoire partant d’un état récurrent se décompose en une suite infinie d’excursions enracinées en cet
état. La propriété de Markov forte indique que ces excursions sont indépendantes et identiquement distribuées.
Leur longueur, aléatoire, est intégrable ssi l’état est récurrent positif. Cette observation mène au théorème suivant.

73
 Lemme 5.9.1. Nombre de passages et temps de retour.

Soit (X n )n∈N une CM(E ) irréductible, et x ∈ E , alors la fréquence de passages en x avant le temps n vérifie
Pn−1
1
k=0 {X k =x} p.s. 1
−→ ∈ [0, 1].
n n→∞ Ex (T x∗ )

La preuve ci-dessous révèle que l’hypothèse d’irréductibilité est inutile si x est transitoire, tandis que si x est
récurrent, elle peut être affaiblie en P(T x∗ < ∞) = 1, ce qui est le cas si X 0 prend ses valeurs dans la classe de x.

Démonstration. Notons N xn := n−1 1

P
k=0 {X k =x}
le nombre de passages en x avant le temps n. Si x est transitoire, alors
p.s. le nombre de passages en x est fini, et donc N xn /n → 0, tandis que Ex (T x∗ ) = ∞ car T x∗ n’est pas fini p.s.
Si x est récurrent, comme le temps d’atteinte de x est fini p.s., on peut donc supposer que la chaîne part de x.
De plus, p.s., la suite strictement croissante (T xn )n≥1 des temps de retour successifs en x est bien définie et tend vers
N xn n
∞. On convient que T x0 = 0 et que T x1 = T x∗ . Les définitions de N xn et T xn donnent T x ≤ n < T Nx +1 , d’où

Nn N n +1
Tx x n Tx x N xn + 1
≤ ≤ .

he
N xn N xn N xn + 1 N xn

Par la propriété de Markov forte, (T xn+1 − T xn )n≥1 est formée de v.a. i.i.d. de loi Loi(T x | X 0 = x) = Loi(T x2 − T x1 ), d’où

T xn T x1 + T x2 − T x1 + · · · + T xn − T xn−1 p.s.
= −−−−→ Ex (T x1 )
n n n→∞

par la loi forte des grands nombres (somme télescopique). D’autre part, la récurrence et l’irréductibilité entraînent
que N xn → ∞ p.s. Ces deux convergences et l’encadrement précédent entraînent que n/N xn → Ex (T x1 ) p.s. ■
uc
En particulier, le lemme 5.9.1 indique que si x et y sont récurrents positifs, alors

E y (T y∗ )
Pn−1
1
k=0 {X k =x} p.s.
−→ ∈ R.
Ex (T x∗ )
Pn−1
1
k=0 {X k =y}
n→∞

De plus, s’ils sont dans la même classe de récurrence, alors, en notant µ la loi invariante portée par cette classe,

E y (T y∗ )
Pn−1
1
k=0 {X k =x} p.s. µ(x)
−→ = ∈ R.
Ex (T x∗ ) µ(y)
Pn−1
1
k=0 {X k =y}
n→∞
a
Dans cet esprit, on dispose plus généralement du théorème suivant.

Théorème 5.9.2. Loi des grands nombres ou théorème ergodique de Chacon – Ornstein – Hopf.
éb

Soit (X n )n∈N une chaîne de Markov sur E récurrente irréductible, de loi initiale quelconque. Alors :
(i) pour toute mesure invariante µ et pour toutes fonctions f , g : E → R µ-intégrables avec µg ̸= 0, on a

µf
P
f (X 0 ) + · · · + f (X n−1 ) p.s. z∈E f (z)µ(z)
−→ P = ∈ R.
g (X 0 ) + · · · + g (X n−1 ) n→∞ z∈E g (z)µ(z) µg

(ii) si la chaîne est récurrente nulle, alors pour toute fonction f : E → R µ-intégrable,

f (X 0 ) + · · · + f (X n−1 ) p.s.
−→ 0.
n n→∞

(iii) si la chaîne est récurrente positive, de loi invariante µ, alors pour toute f : E → R µ-intégrable,

f (X 0 ) + · · · + f (X n−1 ) p.s. X
−→ f (z)µ(z) ∈ R.
n n→∞
z∈E

Toute suite (X n )n∈N de v.a. i.i.d. de loi µ sur E chargeant tous les états est une chaîne de Markov irréductible
récurrente positive de loi invariante µ et le théorème 5.9.2 coïncide avec la loi des grands nombres pour la suite de
v.a. i.i.d. ( f (X n ))n∈N . Il s’agit donc bien d’une généralisation de la loi des grands nombres classique.

74
Démonstration. Raisonnons conditionnellement à {X 0 = x}, où x ∈ E est arbitraire. Les ensembles p.s. construits
dépenderont de x, mais leur intersection sur x ∈ E sera également p.s. car E est au plus dénombrable.
Pour établir (i), considérons tout d’abord le cas g = 1{x} et f ≥ 0. Comme le noyau est irréductible récurrent, le
théorème 5.7.3 indique que toutes les mesures invariantes sont proportionnelles, il suffit de n’en considérer qu’une,
par exemple µ = µx , la mesure invariante valant 1 en x étudiée dans le lemme 5.7.2. La méthode du découpage en
excursions i.i.d. de la preuve du lemme 5.9.1 donne alors, avec les mêmes notations, avec T := T x∗ et N n := N xn ,

f (X 0 ) + · · · + f (X T N n −1 ) f (X 0 ) + · · · + f (X n ) f (X 0 ) + · · · + f (X T N n +1 −1 ) N n + 1
≤ ≤ .
Nn Nn Nn +1 Nn
La propriété de Markov forte donne f (X 0 )+· · ·+ f (X T m −1 ) = Z1 +· · ·+Zm où (Zk )k≥1 est une suite de v.a. i.i.d. De plus
E(Z1 ) = E( f (X 0 ) + · · · + f (X T −1 )) = µx f par définition de µx et le théorème de Fubini – Tonelli. Comme par ailleurs
N n → ∞ p.s., la loi forte des grands nombres pour (Zk )k≥1 et l’encadrement précédent donnent

f (X 0 ) + · · · + f (X T N n ) p.s.
R n ( f ) := −→ µx f .
Nn n→∞

À présent, le résultat pour tout f ∈ L 1 (µx ) s’en déduit en posant f = f + − f − avec f ± := max(0, ± f ). Enfin, pour tout
g ∈ L 1 (µx ) telle que µx g ̸= 0, il vient que R n ( f )/R n (g ) → µx f /µx g p.s. ce qui est le résultat voulu.

he
La propriété (iii) s’obtient à partir de (i) avec g ≡ 1 et µ loi invariante.
La propriété (ii) s’obtient à partir de (i) en se ramenant à f ≥ 0, puis en observant que si g k = 1E k avec E k fini,
(E k ) croissante avec E = ∪k E k , alors

f (X 0 ) + · · · + f (X n ) f (X 0 ) + · · · + f (X n ) p.s. µ f µf
0≤ ≤ −→ −→ =0
n +1 g k (X 0 ) + · · · + g k (X n ) n→∞ µg k k→∞ µ1

où la dernière limite s’obtient par convergence monotone et µ1 = µ(E ) = ∞ (théorème 5.7.5). Alternativement,
nous pouvons utiliser g = 1{x} , multiplier par N n /n, et utiliser le lemme 5.9.1 qui donne N n /n → 0 p.s. ■
uc
1 1 n
R
Le théorème 5.9.2 affirme qu’une moyenne R en temps n ( f (X 0 ) + · · · + f (X n−1 )) = n 0 f (X k )dk converge vers
P
une moyenne en espace z∈E f (z)µ(z) = f dµ. Le long des trajectoires, la fraction de temps passée sur un état
(fréquence de passage), converge vers la masse affecté par la loi invariante à cet état, égale à l’inverse du temps de
retour moyen à cet état. Le lien temps-espace est déjà visible dans la formule de la loi invariante : µ(x)Ex (T x∗ ) = 1.
La variable aléatoie n1 ( f (X 0 ) + · · · + f (X n−1 )) est la moyenne de f pour la mesure empirique Pn , définie par
Pn = n1 (δ X 0 + · · · + δ X n−1 ). Une autre façon d’exprimer le résultat de convergence consiste à dire que Pn → µ p.s.
La méthode des excursions permet également d’établir un théorème limite central.

5.10 Convergence en loi, période, couplage

a
Soit (X n )n∈N une CM(E ,ν,P) récurrente irréductible positive et µ sa loi invariante. Le théorème 5.9.2 donne, par
convergence dominée, pour toute f : E → R (continue) bornée,
éb

νP0 + · · · + νPn−1 E( f (X 0 )) + · · · + E( f (X n−1 ))

f = −→ µ f .
n n n→∞

Ainsi νPn → µ étroitement au sens de Cesàro. Peut-elle converger au sens usuel ? Considérons le cas du processus
de Bernoulli modulo d avec p = 1, c’est-à-dire la chaîne sur Z/d Z de noyau de transition P défini par P(x, y) = 1 si
y = x + 1 dans Z/d Z et P(x, y) = 0 sinon. Ce noyau est récurrent irréductible positif, et la loi uniforme sur Z/d Z est
invariante. Cependant, Loi(X d n+i | X 0 ) = δ X 0 +i pour tout n ∈ N et tout 0 ≤ i < d . Cela s’écrit également Pd n+i = Pi .
Ainsi, bien que νPn → µ au sens de Cesàro, des phénomènes périodiques empêchent sa convergence au sens usuel.

Théodéf 5.10.1. Période.

Si P est un noyau irréductible sur E au plus dénombrable, alors il existe un entier d > 0 appelé période et
une partition E = C 0 ∪ · · · ∪C d −1 tels que, avec la convention C nd +i = C i , les propriétés suivantes ont lieu :
(i) Si Pn (x, y) > 0, alors (x, y) ∈ C i ×C i +n pour un certain i .
(ii) Pour tous x, y ∈ C i , et tout i , il existe r tel que Pnd (x, y) > 0 pour tout n ≥ r .
(iii) Pour tout z ∈ E , d = PGCD{n ≥ 1 : Pn (z, z) > 0}.
En particulier, le noyau Pd possède d classes irréductibles, qui sont C 0 , . . . ,C d −1 .
Enfin on dit que P est apériodique lorsque d = 1.

Il en découle les faits utiles suivants :

75
 — Une chaîne irréductible traverse les ensembles C 0 , . . . ,C d −1 successivement et de façon cyclique. Si le sup-
port de Loi(X 0 ) est inclus dans C i , alors le support de Loi(X 1 ) est inclus dans C i +1 , etc., et ce phénomène
rend la convergence en loi de la chaîne impossible lorsque d > 1. Notons qu’on a toujours 1 ≤ d ≤ |E |.
— S’il existe x ∈ E tel que P(x, x) > 0, alors P est apériodique.
— Si P est apériodique, alors pour tous x, y ∈ E , il existe r tel que Pn (x, y) > 0 pour tous n ≥ r .
— La période de P ne dépend que du squelette de son graphe des transitions : {(x, y) ∈ E × E : P(x, y) > 0}.

Démonstration. Démontrons tout d’abord que d z := PGCD{n ≥ 1 : Pn (z, z) > 0} ne dépend pas de z. Soient z, z ′ ∈ E ,
′
et n, n ′ tels que Pn (z, z ′ ) > 0 et Pn (z ′ , z) > 0. Par définition, d z divise n + n ′ . D’autre part, pour tout m tel que
′
Pm (z ′ , z ′ ) > 0, d z divise n + m + n ′ car Pn+m+n (z, z) > 0. Or comme d z divise n + n ′ , il divise m, donc il divise d z ′ .
Fixons z, et considérons n 2 > n 1 dans S z := {n ≥ 1 : Pn (z, z) > 0} tels que la différence d = n 2 − n 1 soit la plus
petite possible. On définit alors l’ensemble C i pour 0 ≤ i ≤ d − 1 par

C i := {x ∈ E : Pnd +i (z, x) > 0 pour un entier n ≥ 0}.

L’irréductibilité de P donne C 0 ∪ · · · ∪C d −1 = E . Remettons à plus tard la preuve du fait qu’ils sont disjoints.
Démontrons (i). Soit x ∈ C i et supposons que Pn (x, y) > 0. Alors Pmd +i (z, x) > 0 pour un entier m, et donc
Pmd +n+i (z, y) > 0, d’où y ∈ C n+i . En prenant x = y = z, on obtient que md + n + i et i sont égaux modulo d c’est-à-

he
dire que n est divisible par d , et donc d divise tout élément de S z , et donc divise n 1 .
Si nd ≥ n 12 , alors nd = qn 1 + r avec 0 ≤ r < n 1 ≤ q. Comme d divise n 1 , il divise aussi r . En écrivant r = d m =
(n 2 − n 1 )m, on obtient nd = (q − m)n 1 + mn 2 . Ainsi Pnd (z, z) ≥ (Pn1 (z, z))q−m (Pn2 (z, z))m > 0, et donc nd ∈ S z .
Démontrons (ii). Soient x, y ∈ C i . L’irréductibilité de P entraîne que Pm1 (x, z) > 0 et Pm2 (z, y) > 0 pour des en-
tiers m 1 et m 2 . Par ailleurs si nd ≥ n 12 alors nous avons déjà démontré que nd ∈ S z , c’est-à-dire que Pnd (z, z) > 0.
Donc Pm1 +nd +m2 (x, y) ≥ Pm1 (x, z)Pnd (z, z)Pm2 (z, y) > 0. Or m 1 + m 2 est alors un multiple de d par (i), d’où (ii).
′
Supposons que x ∈ C i ∩ C j . Alors Pnd +i (z, x) > 0 et Pn d + j (z, x) > 0 pour des entiers n et n ′ , et (ii) indique qu’on
peut prendre n = n ′ (assez grands). Par irréductibilité de P, Pm (x, z) > 0 pour un entier m. D’où Pnd +i +m (z, z) > 0 et
Pnd + j +m (z, z) > 0, ce qui n’est possible que si i = j , par minimalité de d . Donc C 0 , . . . ,C d −1 partitionnent E .
uc
Démontrons (iii). Nous avons déjà démontré que d divise tous les éléments de S z . À présent, si k divise tous les
éléments de S z , alors il divise n 1 et n 2 et donc divise n 2 − n 1 = d . Par conséquent d = PGCD(S z ). ■
18 → 19

Remarque 5.10.2. Apériodicité par perturbation et chaînes paresseuses.

Si P est un noyau de transition, alors pour tout 0 ≤ ε < 1, la combinaison convexe Pε = (1 − ε)P + εI définit
un noyau de transition, irréductible si P est irréductible, qui possède les mêmes mesures invariantes que
P. De plus, si 0 < ε < 1 alors ce noyau est apériodique car Pε (x, x) ≥ ε > 0 pour tout x (un seul suffit). La
chaîne de noyau Pε est paresseuse : à chaque pas de temps, elle fait du surplace avec probabilité ε. Enfin
a
Pε → P quand ε → 0, par exemple pour la topologie de la convergence simple, d’où la densité des noyaux
apériodiques dans l’ensemble des noyaux pour cette topologie. Cette généricité topologique est utile pour
évaluer la robustesse des modèles markoviens et la stabilité de leurs propriétés par perturbation. Cepen-
dant, en pratique, certains modèles sont périodiques pour de bonnes raisons liées à la physique modélisée.
éb

Enfin, pour rendre apériodique un noyau irréductible, il suffit d’effectuer la perturbation précédente sur au
moins une ligne, c’est-à-dire de rendre la chaîne paresseuse sur un seul site.

Notre but à présent est d’établir que les chaînes de Markov irréductibles récurrentes positives apériodiques, sur
un espace d’état au plus dénombrable E , convergent en loi vers leur unique loi invariante, quelle que soit la loi
initiale. Il y a donc oubli de la loi initiale au profit de la loi invariante, qui représente un équilibre, et qui ne dépend
que du noyau de transition. Pour cela, il est commode d’utiliser la distance en variation totale :
1
dVT (µ, ν) = 2 sup (µ − ν) f .
∥ f ∥∞ ≤1

Le préfacteur 1/2 est peu important, il assure que les valeurs prises sont dans [0, 1], la valeur 1 étant atteinte quand
µ et ν sont à supports disjoints. Il est clair que dans l’ensemble des mesures de probabilités sur E , la convergence
pour cette distance entraîne la convergence étroite, c’est-à-dire la convergence en loi 3 .
Une chaîne de Markov ne s’éloigne jamais d’une loi invariante en variation totale :

3. Il se trouve qu’il y a équivalence (lemme A.2.1). Le chapitre A en appendice est consacré aux propriétés de cette distance dans ce cadre.

76
 Lemme 5.10.3. Contraction markovienne.

Soit P un noyau de transition sur E . Alors pour toutes mesures de probabilité ν1 et ν2 sur E ,

dVT (ν1 P, ν2 P) ≤ dVT (ν1 , ν2 ).

En particulier, si µ est une loi invariante pour P alors pour toute mesure de probabilité ν sur E et tout n ∈ N,

dVT (νPn+1 , µ) ≤ dVT (νPn , µ).

Démonstration. Si f : E → [−1, +1], alors P f : E → [−1, +1], d’où |(ν1 −ν2 )P f | ≤ sup |(ν1 −ν2 ) f | = 2dVT (ν1 , ν2 ). ■
∥ f ∥∞ ≤1

Définition 5.10.4. Couplage de chaîne de Markov.

Soit P un noyau de transition sur E . Un couplage de P est une suite (Zn )n∈N = ((X n , Yn ))n∈N de v.a. sur E × E
telle que ses deux composantes (X n )n∈N et (Yn )n∈N sont toutes deux des chaînes de Markov de noyau P.
Le temps de couplage est la v.a. à valeurs dans N ∪ {∞} définie par

he
TC = inf{n ≥ 0 : X n = Yn }.

Le couplage est coalescent lorsque X n = Yn pour tout n ≥ TC .

Les suites marginales X et Y ne sont pas forcément indépendantes, n’ont pas forcément la même loi initiale,
et la suite couplée Z n’est pas forcément une chaîne de Markov sur E × E . Notons que {TC > n} ⊂ {X n ̸= Yn } pour
tout n, avec égalité lorsque le couplage est coalescent. Le temps de couplage TC s’interprète également comme le
temps d’atteinte de la diagonale TC = inf{n ≥ 0 : Zn ∈ D} où D = {(x, x) : x ∈ E } ⊂ E × E .
uc
Lemme 5.10.5. Distance en temps long et couplage.

Soit P un noyau de transition sur E et Z = (X , Y ) un couplage de P de temps de couplage TC .

Supposons que pour tout n, tout 0 ≤ k ≤ n, et toute f : E → R bornée, sur {TC = k} :

E( f (X n ) | Z0 , . . . , Zk ) = E( f (X n ) | X k ) et E( f (Yn ) | Z0 , . . . , Zk ) = E( f (Yn ) | Yk ).

Alors pour tout n,

dVT (Loi(X n ), Loi(Yn )) = dVT (Loi(X 0 )Pn , Loi(Y0 )Pn ) ≤ P(TC > n).
a
Le couplage des chaînes de Markov a été introduit par Wolfgang Döblin (Vincent Doblin) vers 1938.

Démonstration. Les suites X et Y sont des chaînes de Markov sur E de noyau P. Soit ν = Loi(X 0 ) et µ = Loi(Y0 ).
Pour tout f : E → [−1, +1],
éb

n
νPn f = E( f (X n )) = E( f (X n )1{TC >n} ) + E( f (X n )1{TC =k} ).
X
k=0

Or E( f (X n )1{TC =k} ) = E(1{TC =k} E( f (X n ) | Z0 , . . . , Zk )), et par hypothèse sur X et Y , on a, sur {TC = k},

E( f (X n ) | Z0 , . . . , Zk ) = (Pn−k f )(X k ).

Ainsi, E( f (X n )1{TC =k} ) = E( f (Yn )1{TC =k} ) car X k = Yk sur {TC = k}. Par conséquent, on a
³ ´
|νPn f − µPn f | ≤ E(| f (X n ) − f (Yn )|1{TC >n} ) ≤ 2 sup | f (x)| P(TC > n).
x∈E

Notons que P(TC > n) dépend de Loi(X 0 ) et Loi(Y0 ) via la loi de Z . ■

Théorème 5.10.6. Convergence en loi vers l’équilibre ou théorème de Döblin.

Soit P un noyau de transition sur E , irréductible, récurrent positif, apériodique, de loi invariante µ.
Alors limn→∞ dVT (νPn , µ) = 0 pour toute mesure de probabilité ν sur E .

77
 Ainsi, pour toute chaîne de Markov (X n )n∈N de noyau P, et quelle que soit sa loi initiale Loi(X 0 ),

loi
X n −→ µ.
n→∞

Autrement dit, toutes les lignes de P convergent vers µ : limn→∞ Pn (x, y) = µ(y) pour tous x et y.

Nous avons vu que la loi des grands nombres ou théorème ergodique (théorème 5.9.2) entraîne, par conver-
gence dominée, que νPn → µ au sens de Cesàro, dès que P est récurrent irréductible positif. Le théorème 5.10.6
précise que νPn → µ au sens usuel lorsque P est de plus apériodique. Ainsi, bien que les théorèmes 5.9.2 et 5.10.6
soient de natures différentes, une conséquence du premier est renforcée par le second. Le théorème 5.10.6 énonce
une convergence en loi, et cela ne dit rien pour une trajectoire donnée, contrairement au théorème 5.9.2.

Démonstration. Soient X et Y deux chaînes de Markov indépendantes de même noyau P, et de lois initiales res-
pectives ν1 et ν2 . Alors Z = (X , Y ) est une CM(E × E ,ν1 ⊗ ν2 ,P ⊗ P) avec (ν1 ⊗ ν2 )(x, y) = ν1 (x)ν2 (y) et

(P ⊗ P)((x, y), (x ′ , y ′ )) = P(x, x ′ )P(y, y ′ ).

he
De plus, les hypothèses du lemme 5.10.5 sont satisfaites. Soit TC = inf{n ≥ 0 : X n = Yn } = inf{n ≥ 0 : Zn ∈ D} le temps
de couplage de Z , qui est le temps d’atteinte de la diagonale de E × E . Comme P est irréductible apériodique, par
le théorème 5.10.1, pour tous (x, y) et (x ′ , y ′ ) dans E × E , il existe des entiers r 1 et r 2 tels que Pn (x, x ′ ) > 0 pour
tout n ≥ r 1 et Pn (y, y ′ ) > 0 pour tout n ≥ r 2 . Ainsi, (P ⊗ P)n ((x, y), (x ′ , y ′ )) > 0 pour tout n ≥ max(r 1 , r 2 ), donc P ⊗ P est
irréductible. Or µ⊗µ est une loi invariante pour P⊗P, donc P⊗P est récurrent positif (théorème 5.7.3). En particulier
P(TC < ∞) = 1 (atteinte de la diagonale), d’où limn→∞ P(TC > n) = P(TC = ∞) = 0. Le lemme 5.10.5 entraîne alors
que limn→∞ dVT (ν1 Pn , ν2 Pn ) = 0 pour toutes lois ν1 et ν2 sur E . Il ne reste plus qu’à prendre ν1 = ν et ν2 = µ. ■

Corollaire 5.10.7. Convergence en loi vers l’équilibre dans le cas périodique.

uc
Soit P un noyau de transition sur E , irréductible, récurrent positif, de période d , et de loi invariante µ.
Soit E = C 0 ∪ · · · ∪C d −1 la partition de E en classe de récurrence de Pd , et µi = µ(C i )−1 µ(· ∩C i ).
Alors limn→∞ dVT (νPnd , µi ) = 0 pour tout i et toute loi de probabilité ν portée par C i .
Ainsi, pour toute chaîne de Markov (X n )n∈N de noyau P, si sa loi initiale Loi(X 0 ) est portée par C i , alors

loi
X n −→ µi .
n→∞
a
5.11 Estimation du noyau et de la mesure invariante

Théorème 5.11.1. Estimation du noyau de transition.

Soit (X n )n∈N une CM(E ,ν, P) irréductible, récurrente positive, de loi invariante µ. Alors pour tous x, y,
éb

Pn−1
1
k=0 {(X k ,X k+1 )=(x,y)} p.s.
b n (x, y) :=
P Pn−1 −→ P(x, y).
1
k=0 {X k =x}
n→∞

Démonstration. La suite X ′ = ((X n , X n+1 ))n∈N est une CM sur F = {(x, x ′ ) ∈ E ×E : P(x, x ′ ) > 0}, de noyau de transition
Q((x, x ′ ), (y, y ′ )) = P(y, y ′ )1x ′ =y . Ce noyau est irréductible récurrent, la mesure (x, x ′ ) 7→ µ(x)P(x, x ′ ) est invariante, et
c’est une loi, donc Q est positif. Le théorème 5.9.2 utilisé pour X et X ′ donne P b n (x, y) → µ(x)P(x, y)/µ(x) = P(x, y)
p.s. quand n → ∞, pour tous (x, y) ∈ F , tandis que Pn (x, y) = 0 = P(x, y) si (x, y) ̸∈ F .
b ■
Il se trouve qu’il s’agit de l’estimateur du maximum de vraisemblance qui maximise la log-vraisemblance
³ n ´ n
P 7→ log ν(X 0 )
Y X
P(X k−1 , X k ) = log(ν(X 0 )) + log(P(X k−1 , X k ))
k=1 k=1

sur l’ensemble convexe des noyaux de transition sur E (compact si E est fini). Lorsque le noyau à estimer est défini
de manière paramétrique, le maximum de vraisemblance reste un estimateur tout à fait intéressant.

78
Estimation de la mesure invariante

Pour estimer µ, il est possible d’exploiter la formule µ(x) = 1/Ex (T x∗ ), et d’utiliser les excursions le long d’une ou
plusieurs trajectoires de la chaîne. Alternativement, le théorème 5.9.2 fournit un estimateur direct n1 n−1 1
P
k=0 {X k =x}
de
µ(x) à partir d’une trajectoire de la chaîne. Plus généralement, ce théorème montre que l’histogramme des valeurs
prises par la chaîne le long d’une trajectoire fournit un estimateur de la mesure µ.
Lorsque P est irréductibe récurrent nul, la mesure invariante µ n’est définie qu’à une constante multiplicative
près, mais un estimateur de µ(y)/µ(x) = µx (y) s’obtient de la même manière grâce au théorème 5.9.2.
Lorsque P est apériodique, toutes les lignes de Pn convergent vers µ d’après le théorème 5.10.6. La suite ré-
currente définie par ν0 = ν et νn+1 = νn P converge vers µ. Il est également possible d’estimer µ en utilisant un
échantillon de la loi Loi(X n ) lorsque cela est plus commode, et c’est précisément ce qui fonde les méthodes MCMC.

5.12 Réversibilité et algorithme de Metropolis – Hastings

Mesures réversibles

Une mesure µ sur E est réversible 4 pour le noyau de transition P lorsqu’elle vérifie (équation de bilan détaillé)

µ(x)P(x, y) = µ(y)P(y, x) pour tous x et y dans E .

he
De manière équivalente, cela revient à dire que pour tout n et toute suite x 0 , . . . , x n dans E :

µ(x 0 )P(x 0 , x 1 ) · · · P(x n−1 , x n ) = µ(x n )P(x n , x n−1 ) · · · P(x 1 , x 0 ).

Il en découle qu’une mesure de probabilité µ est réversible ssi pour toute CM (X n )n∈N de noyau P et de loi initiale
µ, la loi des trajectoires de X à horizon fini ne change pas par renversement du temps :

Loi((X 0 , X 1 , . . . , X n )) = Loi((X n , X n−1 , . . . , X 0 )) pour tout n ∈ N.

uc
Si une mesure µ est réversible et vérifie µ(E ) < ∞, alors la mesure de probabilité µ(E )−1 µ est réversible.
Si une mesure µ est réversible, alors elle est invariante car

µ(x)P(x, y) = µ(y) P(y, x) = µ(y) pour tout y ∈ E .

X X
x∈E x∈E

La réciproque est fausse. Il est plus facile de rechercher une mesure réversible qu’une mesure invariante.

Exemple 5.12.1. Mesure uniforme, invariance, et réversibilité.

a
La loi uniforme sur Z/d Z est réversible pour la marche aléatoire simple sur Z/d Z. La mesure de comptage
sur Z est réversible pour la marche aléatoire simple sur Z. Plus généralement P⊤ : E × E → [0, 1] définie par
P⊤ (x, y) := P(y, x) n’est pas forcément un noyau de transition sur E . Cependant, la mesure de comptage est
invariante pour P ssi P⊤ est un noyau de transition, et elle est réversible pour P ssi P⊤ = P. Cela permet
éb

de construire des noyaux dont les mesures invariantes ne sont pas réversibles. En particulier, la mesure
uniforme est par exemple invariante pour toute matrice de permutation, car la matrice transposée est as-
sociée à la permutation inverse. De plus il en découle que cette mesure est réversible ssi la permutation est
son propre inverse, c’est-à-dire que ses cycles sont tous de longueur 2 (transpositions à supports disjoints).
Une matrice de transition dont la transposée est aussi une matrice de transition est dite bistochastique ou
doublement stochastique. L’ensemble des matrices bistochastiques est un polytope convexe et compact de
Rn×n dont les points extrémaux sont les matrices de permutation (théorème de Birkhoff – von-Neumann).
19 → 20

4. Le terme symétrique est également utilisé.

79
 Ceci n’est pas abordé en priorité lors du cours oral.

Théorème 5.12.2: Caractérisations matricielle et fonctionnelle de la réversibilité

Soient µ et P une mesure et un noyau de transition sur E . Les propriétés suivantes sont équivalentes :
(i) µ est réversible pour P.
(ii) DP = P⊤ D, où D = diag(µ), c’est-à-dire D(x, y) := µ(x)1x=y , tandis que P⊤ (x, y) := P(y, x).
(iii) P f ∈ ℓ2C (µ) pour tout f ∈ ℓ2C (µ), et l’opérateur linéaire P : ℓ2C (µ) → ℓ2C (µ) est auto-adjoint :

〈P f , g 〉 = 〈 f , Pg 〉 pour tous f , g ∈ ℓ2C (µ).

— L’ensemble ℓ2C (µ) des f : E → C t.q. x∈E | f (x)|2 µ(x) < ∞ est un espace de Hilbert complexe pour le
P
P
produit scalaire 〈 f , g 〉 := x,y∈E f (x)g (x)µ(x), qui s’avère utile pour l’analyse spectrale de P.
— L’application f (x) 7→ µ(x) f (x) définit une isométrie linéaire ℓ2C (µ) → ℓ2C (λ) où λ est la mesure de
p
p
comptage, de matrice D. Elle est bijective (D est inversible) ssi µ charge tous les états.

Démonstration. L’équivalence (i)⇔(ii) est immédiate. L’implication (iii)⇒(i) s’obtient en spécialisant à f =

he
1{x} et g = 1{y} . Démontrons que (i)⇒(iii). Soit f ∈ ℓ2C (µ), alors P f ∈ ℓ2C (µ) car par l’inégalité de Jensen pour
P(x, ·), la propriété (i), et le théorème de Fubini – Tonelli,

|P f (x)|2 µ(x) ≤ P(x, y)| f (y)|2 µ(x) = P(y, x)| f (y)|2 µ(y) = | f (y)|2 µ(y) P(y, x) = ∥ f ∥22 < ∞.
X X X X X
x∈E x,y∈E x,y∈E y∈E x∈E

Enfin (i) donne, par linéarité, 〈P f , g 〉 = 〈 f , Pg 〉 pour tous f , g : E → C à support fini, et la formule se gé-
néralise ensuite à tous f , g ∈ ℓ2C (µ) par approximation. Plus précisément, pour tout k ∈ N, soit f k := f 1E k
et g k := g 1E k avec E k fini et ∪k E k = E . Alors 〈P f k , g k 〉 → 〈P f , g 〉 et 〈 f k , Pg k 〉 → 〈 f , Pg 〉 quand k → ∞, par
uc
convergence dominée dans ℓ1C (π) où π est la mesure π(x, y) = P(x, y)µ(y) = P(y, x)µ(x) sur E × E . ■

Théorème 5.12.3. Caractérisation de Kolmogorov de la réversibilité.

Soit P un noyau de transition irréductible sur E vérifiant P(x, y) > 0 ssi P(y, x) > 0.
Alors P admet une mesure réversible ssi pour tout n ≥ 0 et toute suite x 0 , . . . , x n+1 dans E avec x n+1 = x 0 ,

n
Y n
Y
P(x i , x i +1 ) = P(x i +1 , x i ).
a
i =0 i =0

Cela signifie que le poids d’un cycle ne dépend pas du sens de parcours.
De plus, dans ce cas, les mesures réversibles sont toutes proportionnelles.
éb

Un noyau irréversible possède donc en quelque sorte un courant (asymétrie) le long de certains cycles.

Démonstration. Si µ est une mesure réversible, alors elle est invariante, donc µ(x) > 0 pour tout x car P est irréduc-
tible, et µ(x)/µ(y) = P(y, x)/P(x, y) pour tous x et y. Ainsi, lorsque P admet une mesure réversible, elle est unique
à une constante multiplicative près. Si µ est réversible, alors la propriété de cocycle s’obtient en utilisant la défini-
tion de la réversiblité. Réciproquement, supposons que la propriété de cocycle est vérifiée par P. Fixons un état y
arbitraire, et choisissons µ(y) > 0. Pour tout x, comme P est irréductible, il existe une suite x 0 , . . . , x n , n ≥ 1, telle que
x 0 = x, x n = y, et P(x i , x i +1 ) > 0 pour tout 0 ≤ i ≤ n − 1. Posons alors

n−1 P(x i +1 , x i )
µ(x) := µ(y)
Y
.
i =0 P(x i , x i +1 )

Si à présent x 0′ , . . . , x m
′
est un autre chemin reliant x à y, de longueur m ≥ 1, alors les deux définitions de µ(x)
′
coïncident grâce à la propriété de cocycle pour le cycle x 0 , . . . , x n , x m−1 , . . . , x 0′ . Enfin, un raisonnement du même
type donne la réversibilité de µ : µ(x)P(x, z) = µ(z)P(z, x) pour tous x, z. ■

La condition se réduit aux cycles triangulaires lorsqu’il existe un état accessible en une étape par tous les autres.
Cette caractérisation de la réversibilité a l’avantage de ne faire intervenir que le noyau P, et montre en particulier
que la réversibilité de P constitue une contrainte polynomiale sur les coefficients de P. Elle a été découverte par
Andrei Kolmogorov vers 1936. Réciproquement, partant d’une mesure µ, la construction de Metropolis – Hastings
ci-dessous fournit un noyau qui admet µ comme mesure réversible.

80
Mesures de Boltzmann – Gibbs et méthode MCMC

Une classe importante de mesures de probabilité est donnée par les mesures de Boltzmann – Gibbs, de la forme

e−V (x)
µ(x) = , x ∈ E,
Z

où V : E → R et où Z = x∈E e−V (x) < ∞ est la normalisation. La probabilité µ(x) est d’autant plus élevée que V (x) est
P

basse. Typiquement x s’interprète comme une configuration d’un système complexe, et V (x) comme son énergie.
Un exemple emblématique issu de la physique statistique théorique est le modèle d’Ising à spins ±1, donné par
E = {−1, 1}Λ , Λ ⊂ Zd , et, en notant Λ′ les arêtes de Zd dont les extrémités sont dans Λ et h un paramètre réel,
X X
V (x) = xi x j − h xi .
(i , j )∈Λ′ i ∈Λ

Une classe importante d’exemples correspond au cas où V est constante, donc µ uniforme, et E complexe, obtenu
comme intersection de contraintes dans un espace produit, dans lequel des mouvements locaux sont possibles.
Dans ces exemples, les différences V (y) − V (x) sont faciles à évaluer quand x et y diffèrent peu, tandis que Z
ne l’est pas facilement. Les rapports µ(x)/µ(y) = eV (y)−V (x) sont donc évaluables quand x et y diffèrent peu, tandis

he
que µ(x) ne l’est pas facilement. Une question importante est alors d’approcher numériquement la quantité
Z
E( f (X )) = f dµ = µ f = f (x)µ(x), X ∼ µ,
X
x

pour f : E → R évaluable. La méthode Markov Chain Monte Carlo (MCMC) consiste à construire, à partir des rap-
ports µ(x)/µ(y), une chaîne (X n )n∈N irréductible récurrente positive de loi invariante µ, simulable, et d’approcher
E( f (X )) par n1 ( f (X 0 )+· · ·+ f (X n−1 )) (horizontal), ou encore, lorsque X est apériodique, par r1 ( f (Z1 )+· · ·+ f (Zr )) où
Z1 , . . . , Zr est un échantillon de la loi de X n pour n assez grand (vertical). Il est possible de combiner ces approches
horizontales et verticales en un rectancle spatio-temporel. La construction de Metropolis – Hastings fournit même
uc
une chaîne irréductible récurrente positive apériodique explicite qui admet µ comme mesure réversible !

Algorithme de Metropolis – Hastings

Soit µ une mesure de probabilité sur E qui charge tous les états, connue à normalisation près. Soit R un noyau de
transition auxiliaire sur E vérifiant R(x, y) = 0 ssi R(y, x) = 0, appelé noyau d’exploration. Ce noyau est typiquement
une marche aléatoire sur E lorsque E s’y prête, ou toute autre exploration facile à simuler. Pour tous x ̸= y, soit

µ(y)R(y, x)
µ ¶
α(x, y) = min 1, si R(x, y) > 0, et α(x, y) = 0 sinon
µ(x)R(x, y)
a
appelée fonction d’acceptation-rejet. Elle quantifie en quelque sorte le défaut de réversibilité de µ pour R.

Théodéf 5.12.4. Noyau de Metropolis – Hastings.

éb

(
R(x, y)α(x, y) si x ̸= y
Soit P : E × E → R définie pour tous x, y ∈ E par P(x, y) = P . Alors :
1 − z̸=x P(x, z) si x = y
(i) P est un noyau de transition sur E appelé noyau de Metropolis – Hastings.
(ii) µ est réversible pour P et en particulier invariante.
(iii) P est irréductible (respectivement apériodique) si R est irréductible (respectivement apériodique).

En particulier, en combinant (ii) et (iii), il vient que P est irréductible récurrent positif lorque R est irréductible,
apériodique si R l’est, ce qui permet d’utiliser aussi bien la LGN que la convergence en loi pour approcher µ !

Démonstration.
(i) Il s’agit bien d’un noyau de transition sur E car 0 ≤ P(x, y) ≤ R(x, y) pour tout x ̸= y.
(ii) La loi µ est réversible et en particulier invariante pour P. En effet, si x ̸= y et R(x, y) > 0, alors

µ(x)P(x, y) = min(µ(x)R(x, y), µ(y)R(y, x)) = µ(y)P(y, x).

(iii) L’héritage de l’irréductibilité et de l’apérodicité découle du fait que les transitions possibles entres états dis-
tincts sont les mêmes pour P et R (autrement dit, les squelettes sont les mêmes hors diagonale).
■

81
 Les trajectoires de la chaîne de Metropolis – Hastings se simulent comme suit : partant de l’état x, on génère
une proposition Y ∼ R(x, ·), et on compare α(x, Y ) à U ∼ Unif([0, 1]) indépendante de Y . Si α(x, Y ) > U , on accepte
la transition et on pose Z = Y , sinon on rejette la transition et on pose Z = x. Ainsi, pour tous x ̸= y,

P(Z = y) = P(U < α(x, Y ), Y = y) = α(x, y)R(x, y) = P(x, y),

ce qui donne bien Z ∼ P(x, ·). Il est remarquable que l’évaluation de P(x, x) soit inutile dans la simulation.
Lorsque E est muni d’une distance d dont les boules fermées de rayon unité sont finies, il est commode de
prendre R(x, y) = 1/n x si d (x, y) = 1 et R(x, y) = 0 sinon, où n x := |{y ∈ E : d (x, y) = 1}|.

Remarque 5.12.5. Fonctions d’acceptation-rejet alternatives.

En posant β(x, y) = µ(x)R(x, y), nous avons α(x, y) = h(β(y, x)/β(x, y)), 0 ≤ h ≤ 1, tandis que la condition de
réversibilité s’écrit β(x, y)h(β(y, x)/β(x, y)) = β(y, x)h(β(x, y)/β(y, x)), vérifiée dès que h(u) = uh(1/u). C’est
le cas pour notre fonction h(u) = min(1, u), mais aussi par exemple pour h(u) = u/(u +1) (noyau de Barker).

Remarque 5.12.6. Algorithme d’optimisation stochastique du recuit simulé.

he
L’algorithme de Metropolis – Hastings permet de simuler approximativement la loi µ, en ne faisant appel
qu’à l’évaluation des rapports µ(x)/µ(y) c’est-à-dire des différences V (y)−V (x) lorque µ est une mesure de
Boltzmann – Gibbs. En remplaçant V par βV où β > 0 est un paramètre (température inverse), et en faisant
décroître la température par paliers le long de l’algorithme, il est possible d’obtenir une approximation du
minimum global de V , qui évite d’être piégée dans un minimum local trop grossier. C’est l’algorithme du re-
cuit simulé, inspiré de la métallurgie. La loi µ = µβ = Zβ−1 e−βV est d’autant plus concentrée sur le minimum
global de V que β est grand. Il s’agit d’un usage probabiliste de la méthode de Laplace.
uc
5.13 Cas des espaces d’état finis

Lorsque E est fini, de cardinal d , les noyaux sur E sont des matrices d × d , on identifie les mesures sur E aux
vecteurs lignes non nuls de Rd , et les fonctions E → R à des vecteurs colonnes de Rd . Le terme noyau de transition
devient matrice de transition ou matrice stochastique ou markovienne. Le noyau spécial I est la matrice identité.
Toutes les mesures sont finies, toutes les fonctions sont bornées et intégrables pour toutes les mesures.
Soit P une matrice de transition sur E de cardinal d . Une mesure µ est invariante ssi le vecteur colonne µ⊤ est un
vecteur propre de P⊤ associé à la valeur propre 1. De même, une fonction f est harmonique ssi le vecteur colonne
f est un vecteur propre de P associé à la valeur propre 1, c’est-à-dire f ∈ ker(L) où L = P − I.
a
Existence de loi invariante par un argument spectral de Perron – Frobenius

Les fonctions constantes sont harmoniques. Autrement dit 1 est toujours valeur propre de P, associée au vec-
éb

teur propre (1, . . . , 1)⊤ . Donc 1 est aussi valeur propre de P⊤ , mais les espaces propres ne sont pas ceux de P en
général. Cependant, si u est un vecteur propre de P⊤ associé à la valeur propre 1, alors il en est de même du vecteur
(|u 1 |, . . . , |u d |)⊤ où d = |E |, et le vecteur ligne ( di=1 |u i |)−1 |u i | est une loi invariante pour P. En effet, si v i = |u i | et
P

w = P⊤ v −v, alors w i ≥ |(P⊤ u)i |−|u i | = 0 pour tout i par l’inégalité triangulaire car P est à coefficients réels positifs.
Or w 1 + · · · + w d = 0 car P est une matrice de transition, d’où w = 0.
Cet argument, publié indépendamment par Oskar Perron (1907) et Ferdinand Georg Frobenius (1912), et indé-
pendamment de A. Markov (1906), possède une généralisation en dimension infinie (théorème de Krein – Rutman).

Unicité de la loi invariante via une propriété de Liouville

Soit f harmonique pour P irréductible sur E fini. Comme E est fini, il existe x ∈ E tel que f (x) = M = maxz∈E f (z).
Supposons qu’il existe y tel que f (y) < M . Comme P est irréductible, Pn (x, y) > 0 pour un n ≥ 1. Or f est harmo-
nique pour Pn , d’où f (x) = z∈E Pn (x, z) f (z) = Pn (x, y) f (y) + z̸= y Pn (x, z) f (z) < M , ce qui contredit la définition
P P

de x. Ainsi, les fonctions harmoniques d’un noyau irréductible sur E fini sont les fonctions constantes, et on parle
de propriété de Liouville 5 . Cela s’écrit également ker(L) = R(1, . . . , 1)⊤ . Par conséquent, l’espace propre de P asso-
cié à la valeur propre 1 est de dimension 1, et il en est donc de même pour P⊤ . Ainsi, une matrice de transition
irréductible admet au plus une loi invariante.
5. En analyse complexe, une fonction entière (holomorphe sur C) bornée est constante. Ses parties réelles et imaginaires sont harmoniques.

82
Existence de loi invariante par un argument de convexité-compacité

L’ensemble ΛE des lois sur E , appelé parfois simplexe, est le sous-ensemble de Rd formé par les vecteurs ligne
(p 1 , . . . , p d ) avec p 1 ≥ 0, . . . , p d ≥ 0 et p 1 + · · · + p d = 1. Soit µ0 ∈ ΛE . Comme ΛE est convexe,

µ0 + µ0 P + · · · + µ0 Pn−1
µn = ∈ ΛE
n

pour tout n ≥ 1. D’autre part, comme ΛE est compact dans Rd , le théorème de Bolzano – Weierstrass assure l’exis-
tence d’une sous-suite convergente (µnk ) de limite µ ∈ ΛE . On a alors µP = µ car

µ0 P + · · · + µ0 Pnk µ0 − µ0 Pnk
µnk P = = µnk − .
nk nk

Toute valeur d’adhérence de (µn )n≥1 est invariante pour P. La réciproque est vraie car si µ0 est invariante pour P
alors (µn )n≥1 est constante et égale à µ0 . Pour E infini, la convexité subsiste, mais pas la compacité.

Résolution du problème de Poisson par une propriété de Liouville

he
Le problème de Poisson consiste à inverser le générateur L = P−I. Si P est irréductible sur E fini, de loi invariante
µ, alors pour toute f : E → R, les deux propriétés suivantes sont équivalentes :
(i) f est de µ-moyenne nulle : µ f = x∈E f (x)µ(x) = 0 .
P

(ii) il existe une fonction g : E → R vérifiant Lg = f (équation de Poisson).

De plus, g est unique à une constante additive près.
En effet, comme µ est invariante, on a µL = 0. Donc si Lg = f , alors µ f = 0. Réciproquement, supposons que
µ f = 0. Comme P est irréductible, la propriété de Liouville donne dim(ker(L)) = 1, donc dim(Im(L)) = |E | − 1. Or
comme µL = 0, on a Im(L) = (ker L⊤ )⊥ ⊂ (Rµ)⊥ espace des fonctions de µ-moyenne nulle, qui est de dimension
|E | − 1. Ainsi, Im(L) = (Rµ)⊥ , ce qui montre l’existence de g , unique à une constante additive près, telle que Lg = f .
uc
Le problème de Poisson est plus délicat lorsque l’espace d’état est infini. Lorsque µ est réversible, cela est lié à
l’existence d’un trou dans le spectre de L, vu comme un opérateur linéaire sur l’espace de Hilbert ℓ2 (µ).

Théorème limite central

Théorème 5.13.1. Théorème limite central pour les chaînes de Markov.

Soit (X n )n∈N une CM(E , ν, P) sur E fini, irréductible, de loi invariante µ.

Alors pour toute fonction f : E → R, en notant g la solution de l’équation de Poisson Lg = f − µ f ,
a
p ³ f (X 0 ) + · · · + f (X n−1 ) ´
loi
n − µ f −→ N (0, σ2 ( f )) où σ2 ( f ) := µ(P(g 2 ) − (Pg )2 )).
n n→∞
éb

La quantité (P(g 2 ) − (Pg )2 )(x) est la variance de g pour P(x, ·).

Le théorème 5.13.1 généralise le TLC des suites i.i.d. En effet, lorsque (X n )n∈N est une suite i.i.d. de loi µ, alors
P(x, ·) = µ pour tout x ∈ E , en particulier, on peut prendre g = f et µ(P(g 2 ) − (Pg )2 ) est la variance de f pour la loi µ.

Démonstration. Par translation, on peut supposer sans perte de généralité que µ f = 0. Comme E est fini, toutes
les fonctions sont bornées et intégrables pour toutes les mesures, et le théorème 5.6.3 indique alors que la suite
(M n )n∈N définie par M 0 = 0 et M n = g (X n ) − g (X 0 ) − nk=1 (Lg )(X k−1 ) pour n ≥ 1 est une martingale de carré inté-
P

grable, de processus croissant (théorème 4.7.1) donné par 〈M 〉0 = 0 et, pour n ≥ 1,

n n
E((M k − M k−1 )2 | Fk−1 ) = E((g (X k ) − g (X k−1 ) − L(g )(X k−1 ))2 | X k−1 )
X X
〈M 〉n =
k=1 k=1
n n
E((g (X k ) − P(g )(X k−1 ))2 | X k−1 ) =
X X
= h(X k−1 ),
k=1 k=1

où h(x) = P((g − (Pg )(x))2 )(x) = P(g 2 )(x) − ((Pg )(x))2 est la variance de g pour P(x, ·). Donc n1 〈M 〉n → σ2 ( f ) p.s.
(th. 5.9.2, LGN pour la CM X , irréductible récurrente positive car E fini). D’autre part, la condition de Lindeberg
du TLC martingale (th. 4.12.1) est vérifiée car toutes les fonctions sont bornées. Donc p1n M n → N (0, σ2 ( f )) en loi.
Enfin, comme g est bornée, il vient que p1n (g (X n ) − g (X 0 )) → 0 en P, donc − p1n nk=1 (Lg )(X k−1 ) → N (0, σ2 ( f )) en
P

loi, d’où le résultat en multipliant par −1, car cette loi gaussienne est symétrique, et Lg = f . ■

83
Ceci n’est pas abordé en priorité lors du cours oral.

Récurrence et invariance

Théorème 5.13.2: Récurrence et invariance en espace d’état fini

Soit (X n )n∈N une CM(E ,ν,P) sur E fini, E R les états récurrents, et E T les états transitoires. Alors :
(i) L’ensemble E R est non vide, et tous les états récurrents sont récurrents positifs.
Si P est irréductible, alors il est irréductible récurrent positif.
(ii) La chaîne est presque sûrement capturée par une classe de récurrence : P(TE R < ∞) = 1.
Quand tous les états récurrents sont absorbants, la chaîne finit p.s. par être constante.
(iii) Si (Pn (x, ·))n∈N converge, sa limite est une loi de probabilité invariante.
(iv) Les mesures invariantes ne chargent pas E T , et si R 1 , . . . , R r sont les classes de récurrence de
P, alors chaque R i porte une unique loi invariante µi . Les mesures invariantes pour P sont les
combinaisons convexes de la forme α1 µ1 + · · · + αr µr où α1 , . . . , αr sont des réels positifs non
tous nuls. Les lois invariantes correspondent au cas où α1 + · · · + αr = 1.

he
(v) L’espace propre de (PRi ×Ri )⊤ associé à la valeur propre 1 est de dimension 1, et contient un
unique vecteur à composantes positives dont la somme vaut 1, qui est précisément µi .
(vi) La matrice P est irréductible ssi P admet une unique loi invariante.
(vii) Une classe irréductible est close ssi elle est récurrente. Les classes irréductibles dont aucune
flèche ne sort sont récurrentes, tandis que les autres sont transitoires.
Un état x est transitoire ssi il existe un état y tel que x → y et y ̸→ x.
La décomposition de E ne dépend que de la connectivité du squelette du graphe des transi-
tions, c’est-à-dire des flèches mais pas de leur poids.
uc
Comme E est fini, toute mesure invariante est normalisable en une loi invariante.
n n
Éléments de démonstration. Si x ∈ E et y ∈ E T , alors ∞
P
n=0 P (x, y) = G(x, y) < ∞ donc limn→∞ P (x, y) = 0.
n x
De plus, y∈E P (x, y) = 1 donne limn→∞ P (X n ∈ E R ) = 1, d’où E R ̸= ∅. De plus, pour tout x et tout n,
P

Px (TE R = ∞) = Px (NE R = 0) ≤ Px (X n ̸∈ E R ) donc Px (TE R = ∞) = 0.

Enfin, comme les classes de récurrence sont finies, elles sont récurrentes positives (th. 5.7.5). La troisième
a
assertion est immédiate en écrivant Pn+1 (x, ·) = Pn (x, ·)P. Pour terminer, si µ est invariante, alors comme
limn→∞ Pn (x, y) = 0 pour tout y ∈ E T et tout x ∈ E , il vient que µ(y) = x∈E µ(x)Pn (x, y) → 0 quand n → ∞
P

par convergence dominée, et donc µ(E T ) = 0. ■

éb

Spectre et période

Théorème 5.13.3: Spectre et période

Soit P irréductible sur E fini. Alors :

(i) La période est toujours ≤ |E |.
(ii) Le spectre de P est inclus dans {z ∈ C : |z| ≤ 1}, est invariant par z 7→ z, contient 1.
(iii) Les propriétés suivantes sont équivalentes :
(a) P est apériodique.
(b) il existe un entier r tel que Pn (x, y) > 0 pour tous x et y et tout n ≥ r .
(c) 1 est la seule valeur propre de P de module 1.
2πk
i
(iv) Si P est de période d , alors son spectre condient des racines de l’unité {e d : 0 ≤ k ≤ d − 1}.
(v) Si P est réversible alors son spectre est réel.

Notons que comme P est irréductible, nous savons que 1 est une valeur propre simple.
Si P est une matrice de permutation, alors son spectre est l’union des racines de l’unité correspondant aux
longueurs des cycles de la permutation.

84
Démonstration.
(i) Découle du partitionnement fourni par le théorème 5.10.1.
(ii) Nous savons déjà que 1 est dans le spectre, associé au vecteur propre (1, . . . , 1). Si λ est valeur
propre de P, associé au vecteur propre v ̸= 0, alors Pv = λv, et il existe x tel que v x ̸= 0, d’où
P
|λ| ≤ j P(i , j )|v j |/|v i | = 1. L’invariance du spectre par rapport à z 7→ z vient du fait que P est réelle.
(iii) (a)⇒(b). Pour tout x ∈ E , soit n x tel que Pnd (x, x) > 0 pour tout n ≥ n x (th. 5.10.1), et N := maxx∈E n x .
D’autre part, pour tous x, y ∈ E , il existe n x,y tel que Pn x,y (x, y) > 0. Soit N ′ := maxx,y∈E n x,y . Alors pour
′ ′
tous x, y ∈ E , PN +N (x, y) ≥ Pn x,y (x, y)PN +N −n x,y (y, y) > 0.
(b)⇒(c). Si eiθ , θ ∈ R, est valeur propre de module 1 de P, donc valeur propre de P⊤ , alors il existe un
vecteur ligne v tel que vP = eiθ v, et donc vPn = einθ v pour tout n ∈ N. Par l’argument de Perron –
Frobenius, |v|Pn = |v|, donc pour tout x, | y Pn (y, x)v y | = y Pn (y, x)|v y |. Si n ≥ r alors Pn (x, y) > 0
P P

pour tout y, donc il existe α ∈ R tel que pour tout y ∈ E , v y = eiα |v y |. Il vient qu’à la fois vPn = einθ v et
einθ v = ei(nθ+α) |v| = ei(nθ+α) |v|Pn = e2inθ vPn . Donc einθ = 1, pour une infinité d’entiers n, d’où θ = 0.
(c)⇒(a). Supposons par l’absurde que la période d vérifie d > 1. Soient C 0 , . . . ,C d −1 les classes irréduc-
tibles de Pd , comme dans le th. 5.10.1. Soit µ l’unique loi invariante de la chaîne sur C 0 de noyau égal
à la restriction de Pd sur C 0 . Le th. 5.10.1 donne aussi que µPr est portée par C r pour tout 0 ≤ r ≤ d −1.

he
P −1 2π r i r 2π
Il en découle que ν := dr =0 e d µP ̸= 0 tandis que νP = e− d i ν, d’où la contradiction.
(iv) L’argument de la preuve du (iii) permet de conclure.
(v) Comme P est irréductible et E fini, par le théorème 5.13.2 (i) et (vi), il existe une unique loi invariante
µ, qui charge tous les états. En particulier la matrice D = diag(µ)
p p est inversible.
p pÀ présent, comme
l’affirme le théorème 5.12.2, la réversibilité de µ donne S := DP D−1 = D−1 P⊤ D. Les matrices P
et S sont semblables et ont donc le même spectre. Or S est symétrique réelle, et a donc un spectre réel.
■
uc
Convergence sous-exponentielle vers l’équilibre et couplage

Théorème 5.13.4: Convergence sous-exponentielle vers l’équilibre

Soit P un noyau de transition sur E fini, irréductible apériodique, et soit µ sa loi invariante.
Alors il existe un réel 0 < ρ < 1 et un entier r > 0 qui dépendent de P tels que

max °Pn (x, ·) − µ°VT ≤ ρ ⌊n/r ⌋ −→ 0.

° °
x∈E n→∞
a
Pour certaines chaînes comme celle de l’urne d’Ehrenfest et celle de la marche aléatoire sur l’hypercube
discret, la convergence avec pire condition initiale se produit de manière abrupte après un temps critique
(cutoff phenomenon) et ce phénomène est d’autant plus marqué que le modèle est en grande dimension.
éb

Démonstration. Comme P est irréductible apériodique sur E fini, il existe un entier r tel que ε :=
minx,y Pr (x, y) > 0. En particulier Pr (x, y) ≥ ε ≥ εµ(y) pour tous x et y. Posons ρ = 1 − ε. D’autre part, µ
charge tous les états. Soit M le noyau de transition sur E dont toutes les lignes sont identiques à µ. Grâce
à la définition de ε, la matrice Q = ρ −1 (Pr − (1 − ρ)M) est un noyau de transition sur E , vérifiant µQ = µ.
Notons que Pr = (1 − ρ)M + ρQ. Pour tout entier k, on a

Pr k = (1 − ρ k )M + ρ k Qk .

Pour le voir, on observe que RM = M pour tout noyau de transition R (car les lignes de M sont identiques), et
que MR = M pour tout noyau R qui admet µ comme mesure invariante. Il en découle que pour tout entier i ,

Pr k+i − M = ρ k (Qk Pi − M).

Donc Pr k+i (x, y) − µ(y) = (Pr k+i − M)(x, y) = ρ k (Qk Pi − M)(x, y) pour tous x et y.
Comme Qk Pi et M sont des noyaux de transition,
X¯ r k+i
(x, y) − µ(y)¯ ≤ ρ k (Qk Pi (x, y) + M(x, y)) = 2ρ k .
¯ X
¯P
y y

Cela entraîne °Pr k+i (x, ·) − µ°VT ≤ ρ k . Le résultat final s’obtient en écrivant n = kr + i avec k = ⌊n/r ⌋. La
° °

méthode est valide pour tout ρ > 1 − minx,y (Pr (x, y)/µ(y)).

85
 Examinons une preuve alternative, qui reprend la preuve du théorème 5.10.6 basée sur un couplage indé-
pendant. Soient X et Y deux CM indépendantes de noyau Pr et de lois initiales δx et µ. La suite Z = (X , Y )
est une CM sur E × E de loi initiale δx ⊗ µ et de noyau C((x, y), (x ′ , y ′ )) = Pr (x, x ′ )Pr (y, y ′ ). En particulier,
minz,z ′ C(z, z ′ ) ≥ ε2 . Si TC est le temps de couplage de Z , alors pour tout entier k, en notant z ∗ = (x, x),

P(TC > k) ≤ P(Z1 ̸= z ∗ , . . . , Zk ̸= z ∗ ) = µ(y)C((x, y), z 1 ) · · · C(z k−1 , z k ) ≤ (1 − ε2 )k .

X
y,z 1 ̸=z ∗ ,...,z k ̸=z ∗

Comme Loi(Yk ) = µPkr = µ et Loi(X k ) = δx Pkr = Pkr (x, ·), le lemme 5.10.5 conduit à

dVT (Pkr (x, ·), µ) ≤ (1 − ε2 )k .

À présent, tout entier n s’écrit n = kr + i avec k = ⌊n/r ⌋ et 0 ≤ i < r . Enfin, par le lemme 5.10.3,

dVT (Pn (x, ·), µ) = dVT (Pkr (x, ·)Pi , µ) ≤ dVT (Pkr (x, ·), µ) ≤ (1 − ε2 )⌊n/r ⌋ .

he
La preuve alternative ci-dessus mène au résultat général suivant, au-delà des espaces d’états finis :

Remarque 5.13.5: Critère de Döblin pour la convergence sous-exponentielle à l’équilibre

Pour tout noyau de transition P irréductible récurrent positif apériodique sur un espace d’état au
plus dénombrable, s’il existe une loi ν, ε > 0, et r ≥ 1 tels que Pr (x, y) ≥ εν(y) > 0 pour tous x, y, alors
il y a convergence sous-exponentielle à l’équilibre, comme dans le théorème 5.13.4.
uc
5.14 Quelques exemples classiques

Ceci n’est pas abordé en priorité lors du cours oral.

5.14.1 Processus de vie ou de mort sur N

Il s’agit des CM sur N dont le noyau vérifie P(x, y) = 0 si |x − y| > 1. Elles permettent de modéliser des
phénomènes discrets qui ne peuvent varier que d’une unité à chaque étape. Soient p, q, r : N → [0, 1] trois
fonctions telles que p + q + r = 1 sur N et q(0) = 0. Le processus de vie ou de mort associé est la chaîne de
Markov sur N de noyau de transition P donné par P(x, ·) = q(x)δx−1 + r (x)δx + p(x)δx+1 , c’est-à-dire par
a

q(x)
 si y = x − 1
P(x, y) = r (x) si y = x .

éb

p(x) si y = x + 1


Cas irréductible général

Supposons que p > 0 sur N, et q > 0 sur N∗ , ce qui garantit que P est irréductible. Considérons le système
d’équations associé à la probabilité d’atteinte de 0 (théorème 5.6.1). Recherchons la solution positive mini-
male a {0} (x) = Px (T0 < ∞). Si a est solution, alors (a(x +1)− a(x))p(x) = (a(x)− a(x −1))q(x) pour tout x > 0,
q(1)···q(x)
et a(0) = 1. Pour tout x > 0, il vient que a(x +1) = 1+(γ(0)+· · ·+γ(x))(a(1)−1) où γ(0) = 1 et γ(x) = p(1)···p(x) .
Si x=0 γ(x) = ∞, alors 0 ≤ a(x + 1) ≤ 1 entraîne a(1) = 1, et donc a {0} (x) = 1 pour
P∞
P∞
tout x.
y=x γ(y)
Si x=0 γ(x) < ∞, alors la solution positive minimale est donnée par a {0} (x) = ∞ γ(y) .
P∞
P
y=0
La propriété de Markov forte donne P0 (T0∗ < ∞) = P(0, 0) + P(0, 1)P1 (T0∗ < ∞). Or P(0, 0) + P(0, 1) = 1 avec
P(0, 1) = p(1) > 0, et P1 (T0∗ < ∞) = P1 (T0 < ∞) = a {0} (1). Ainsi, P est récurrent ssi a {0} (1) = 1, c’est-à-dire ssi
∞
γ(x) = ∞.
X
x=0

En particulier P est récurrent lorsque limx→∞ (q(x)/p(x)) > 1, et transitoire lorsque limx→∞ (q(x)/p(x)) < 1.
Un calcul direct montre qu’une mesure µ sur N est invariante ssi µ(0)p(0) · · · p(x) = µ(x + 1)q(1) · · · q(x + 1).

86
pour tout x > 0. Le théorème 5.7.5 entraîne alors que P est récurrent positif ssi
∞
X 1
< ∞.
x=0 γ(x)p(x)

Marche aléatoire simple sur N réfléchie en 0

Correspond au cas r ≡ 0 et p(x) = q(x) = 1/2 pour tout x > 0. Dans ce cas, la chaîne est récurrente nulle, de
période 2, et les mesures invariantes sont les mesures proportionnelles à la mesure de comptage sur N.
Processus de mort et processus de vie

Le processus de mort correspond au cas où la fonction p est identiquement nulle et où q est strictement
positive sur N∗ . L’état 0 est absorbant, et tous les autres états sont transitoires. Les classes irréductibles
sont des singletons. Les trajectoires sont décroissantes, et la chaîne est presque sûrement absorbée par 0.
Le processus de vie correspond au cas où la fonction q est identiquement nulle et où p est strictement
positive. Les trajectoires sont croissantes. Tous les états sont transitoires, et les classes irréductibles sont
des singletons. Lorsque p est constante, on retrouve le processus de Bernoulli de l’exemple 5.2.2.
Files d’attente à temps discret

he
Dans cette interprétation, la v.a. X n est le nombre de clients dans la file à l’instant n. Conditionnellement à
{X n = x}, p(x) (respectivement q(x)) est la probabilité que la file perde (respectivement gagne) un client.

5.14.2 Marche aléatoire simple sur Zd

Soit (X n )n∈N la marche aléatoire simple sur Zd , d ≥ 1, de l’exemple 5.2.1. Tous les états communiquent
et la chaîne est irréductible. Les seules mesures invariantes sont les multiples de la mesure de comptage
sur Zd . Elles sont de plus réversibles. Il n’y a pas de loi invariante. Il en découle que les états sont soit tous
transitoires, soit tous récurrents nuls. La période vaut 2. Lorsque d = 1, les entiers relatifs X n −X 0 et n sont de
uc
même parité, et la suite ( 21 (X n − X 0 +n)) est un processus de Bernoulli de paramètre 1/2. Plus généralement,
pour tout d ≥ 1 et tout n ≥ 1, la loi Loi(X n − X 0 ) = Loi(X n | X 0 = 0) = Pn (0, ·) est la loi image par l’application

(k 1 , . . . , k 2d ) ∈ N2d 7→ (k 1 − k 2 , . . . , k 2d −1 − k 2d ) ∈ Zd

de la loi multinomiale symétrique sur N2d (n jets indépendants d’un dé à 2d faces, pile ou face si d = 1) :
³ δe + · · · + δe ´∗n 1 n!
1
δ(k1 ,...,k2d ) .
2d
X
=
2d (2d )n k 1 +···+k 2d =n k 1 ! · · · k 2d !
a
Cette formulation multinomiale fournit immédiatement pour tout d et tout n ≥ 1,
1 n!
Pn (0, 0) =
X
.
(2d )n 2r 1 +···+2r d =n r 1 !2 · · · r d!
2
éb

En particulier, P2n+1 (0, 0) = 0 pour tous n, d , ce qui n’est pas surprenant car la période vaut 2. Nous avons
déjà vu dans l’exemple 5.4.2 la récurrence de P lorsque d = 1, en démontrant que G(0, 0) = ∞ Pn (0, 0) = ∞
P
Pn ¡n ¢2 ¡2nn=0
¢
grâce à la formule de Stirling. Lorsque d = 2, par la formule de Vandermonde k=0 k = n ,

n! 2
µ ¶
2n 1 X (2n)! (2n)! X (2n)! (2n)!
P (0, 0) = 2n = = 2n 2 ,
4 r 1 +r 2 =n r 1 !2 r 2 !2 42n n!2 r 1 +r 2 =n r 1 !r 2 ! 4 n! n!2
n
de sorte que G(0, 0) = ∞
P
n=0 P (0, 0) = ∞ par la formule de Stirling. Ainsi, P est récurrent pour d = 2. Il est
possible de procéder ainsi pour établir que P est transitoire pour d = 3. Pour établir que P est transitoire
pour d > 3, il est possible de se ramener au cas d = 3, en considérant les trois premières coordonnées, qui
forment une chaîne paresseuse, et une chaîne incluse non paresseuse. Alternativement à cette approche
combinatoire, il est possible d’utiliser l’analyse de Fourier. Rappelons que pour toute v.a. Z sur Zd ,
Z
e2πi〈z,x〉 ϕ Z (x) d x où ϕ Z (x) := E(e−2πi〈x,Z 〉 ) =
X −2πi〈z,x〉
P(Z = z) = e P(Z = z).
[0,1)d z∈Zd

Ensuite, en introduisant un paramètre ρ ∈ [0, 1) pour permuter série et intégrale, il vient que
∞ ∞ ∞ Z
Pn (0, 0) = lim ρ n P(ε1 + · · · + εn = 0) = lim ρ n e2πi〈0,x〉 ϕε1 +···+εn (x)dx
X X X
n=0 ρ↑1 n=0 ρ↑1 n=0 [0,1)d

87
 ∞ Z ¢n
ρ n ϕε1 (x) dx
X ¡
= lim
ρ↑1 n=0 [0,1)d
Z ∞ ¢n
ρ n ϕε1 (x) dx
X ¡
= lim
ρ↑1 [0,1)d n=0
1
Z
= lim dx
ρ↑1 1 − ρϕε1 (x)
[0,1)d
d
Z
= lim Pd dx
ρ↑1 [0,1)d
k=1
(1 − ρ cos(2πx k ))
d
Z
= Pd
dx,
[0,1)d
k=1
(1 − cos(2πx k ))

où la commutation de la limite quand ρ ↑ 1 et de l’intégrale s’obtient par convergence monotone ou domi-

née. Le comportement de l’intégrale obtenue dépend uniquement du comportement de la fonction sous le
signe somme au voisinage de 0. Un passage en coordonnées sphériques ainsi qu’un développement limité
en 0 montrent que l’intégrale est finie ssi r ≥ 0 7→ r d −3 est intégrable en 0, c’est-à-dire d > 2, c’est-à-dire
d ≥ 3 car d est entier ! Ainsi, tous les états sont récurrents nuls si d ≤ 2, et tous transitoires si d ≥ 3.

he
5.14.3 Urne d’Ehrenfest

Il s’agit de la chaîne de Markov (X n )n∈N sur {0, 1, . . . , d } introduite dans l’exemple 5.2.3, de matrice de transition
 
0 1 0 0
 1 0 d −1 
 d d 
 0 d 2 d −2
0
 
d

d − Xn Xn
uc
 
P=
 . .. . .. . ..  autrement dit Loi(X n+1 | X n ) =

δ X n +1 + δ X n −1 .
  d d
d −2 2
0 0 
 
 d d
 d −1 1 
 d 0 d

0 0 1 0

Tous les états communiquent et la chaîne ¡ ¢ est donc irréductible récurrente positive car l’espace d’état est fini.
La loi binomiale µ = Bin(d , 1/2) = 2−d dk=0 dk δk est réversible donc invariante. De plus, Ex (T x∗ ) = 1/µ(x) = 2d / dx
P ¡ ¢

pour tout x. Lorsque d est pair, cette espérance

p est minimale pour x = d /2 et maximale pour x = 0 et x = d . La
formule de Stirling donne Ed /2 (Td∗/2 ) ∼ πd /2 pour d → ∞. De même, Ed (Td∗ ) = E0 (T0∗ ) = 2d , et cette quantité est
a
considérable lorsque d est de l’ordre du nombre d’Avogadro 6 et ce fait sur ce modèle élémentaire a été mis en
avant par Ehrenfest, ancien élève de Boltzmann, pour dépasser la contradiction apparente entre l’irréversibilité
macroscopique en théorie cinétique des gaz (Boltzmann) et la récurrence des systèmes dynamiques (Poincaré).
L’expression de Loi(X n+1 | X n ) fournit E(X n+1 | X n ) = (1 − d2 )X n + 1, et par récurrence sur n, on obtient
éb

d ¡ 2 ¢n ¡ d¢ d
E(X n | X 0 = x) = + 1− x− −→ .
2 d 2 n→∞ 2
En moyenne, la chaîne oublie l’état initial. Cependant, la période vaut 2, et la chaîne ne converge pas en loi. Mais
d’après la remarque 5.10.2, le modèle peut facilement être rendu apériodique : une fois la boule choisie, on tire à
pile ou face pour décider de l’urne qui va l’accueillir. Cela ne change pas la mesure invariante, qui reste réversible.

Ceci n’est pas abordé en priorité lors du cours oral.

5.14.4 Modèle de Wright – Fisher

Il s’agit de la chaîne de Markov sur {0,¡1, . . . ¢, d } considérée dans l’exemple 5.2.3 et la section 4.2. Comme par
construction Loi(X n+1 | X n = x) = Bin d , dx , sa matrice de transition est donnée par
à !
d ³ x ¢y ¡ x ´d −y
P(x, y) = 1− .
y d d

6. Le nombre de Amedeo Avogadro a vaut environ 6.02×1023 , ce qui est énorme. Il est défini dans le système international comme étant égal
au nombre d’atomes dans 12 grammes de carbone-12. Par définition, une mole d’un gaz parfait contient a molécules. Aux conditions normales
de température et de pression (0 °C et 101325 Pa), une mole d’un gaz parfait occupe un volume d’environ 22.41 litres.

88
Les états 0 et d sont absorbants donc récurrents, tandis que les états 1, . . . , d − 1 communiquent et sont
tous transitoires. Les lois δ0 = Bin(d , 0) et δd = Bin(d , 1) sont donc les seules mesures invariantes. L’absorp-
tion par 0 (respectivement d ) correspond à l’extinction du type A (respectivement B). La suite X /d est une
chaîne de Markov sur {0/d , 1/d , . . . , d /d } ⊂ [0, 1], qui décrit l’évolution du paramètre p n = X n /d d’une loi bi-
nomiale de taille d . Plus généralement, la version à r types de la chaîne de Wright – Fisher décrit l’évolution
du paramètre p n = (p n,1 , . . . , p n,r ) d’une loi multinomiale de taille d (pour r = 2, c’est une loi binomiale).
Probabilité d’extinction

Le théorème 5.13.2 entraîne que le temps d’extinction T = inf{n ∈ N : X n ∈ {0, d }} est un temps d’arrêt
presque sûrement fini. Le théorème 5.6.1 indique que la probabilité a A (x) que la chaîne partant de x soit
absorbée par d (extinction de B) est donnée par a A (x) = x/d . Par symétrie a B (x) = (d − x)/d .
Martingale

Comme observé dans la section 4.2, la suite X est une martingale, bornée, elle converge donc p.s. et dans
tout L p≥1 vers une v.a. X ∞ bornée. On a Loi(X ∞ | X 0 = x) = a A (x)δd + (1 − a A (x))δ0 , et par conséquent on
obtient x = Ex (X 0 ) = Ex (X ∞ ) = a A (x)d . On retrouve bien a A (x) = x/d , plus simplement que via le th. 5.6.1.
Temps moyen d’extinction

he
Par le théorème 5.6.1, le temps d’extinction moyen m(x) = Ex (T ) vérifie, m(x) = 1 + y∈E P(x, y)m(y) pour
P

tout x ̸∈ {0, d }. Il est difficile d’en déduire une expression explicite pour m en fonction de x et d . Cependant,
lorsque x/d → p ∈ (0, 1) quand d → ∞, le vecteur m/d s’approche d’une fonction m ∗ : [0, 1] → R+ solution
de EDO p(1 − p)m ∗′′ (p) = −2 pour 0 < p < 1 et m ∗ (0) = m ∗ (1) = 0. Il en découle que
¡x¢
m ∗ (p) = −2(p log(p) + (1 − p) log(1 − p)) et donc m(x) ≈ d m ∗ quand d ≫ 1.
d
Pour une grande population, lorsque x ≈ d /2, on a m(x) ≈ 2 log(2)d ≈ 1.39d , tandis que m(x) ≈ 2 log(d )
lorsque x ≈ 1. Ainsi, lorsque d est de l’ordre de k milliards, le temps moyen d’extinction est de l’ordre de d
uc
lorsque l’état initial est équilibré, tandis qu’il est de l’ordre de k lorsque l’état initial est très déséquilibré.
Mutations

Afin de rendre la chaîne de Wright – Fisher plus réaliste, on introduit la possibilité de mutations. Le passage
de la génération n à la génération n + 1 se fait d’abord en provoquant de façon indépendante pour chacun
des d individus de la génération n une mutation de A à B avec probabilité p AB et une mutation de B à A
avec probabilité p B A . Ensuite, on procède comme pour le cas sans mutation pour obtenir les d individus
de la génération n + 1. La nouvelle chaîne (X n′ )n∈N est donnée par
a
x′ x′ ´ x′ ´
³ µ ¶ ³
′
Loi(X n+1 | X n′ = x ′ ) = Bin d , q AB + pB A 1 − = Bin d , p B A + (q AB − p B A ) ,
d d d
où q AB = 1−p AB et q B A = 1−p B A . L’état 0 (respectivement d ) n’est plus absorbant dès que p B A > 0 (respecti-
vement p AB > 0). La chaîne est irréductible récurrente positive apériodique si 0 < p AB p B A < 1. Dans ce cas,
éb

la suite X ′ converge en loi vers l’unique loi invariante µ. Cependant, elle n’est pas une sous-martingale ni
une surmartingale puisque E(X n+1 ′
| X n′ ) = d p B A +(q AB −p B A )X n′ . Bien qu’il n’existe pas de formule explicite
connue pour µ, il est possible de calculer sa moyenne et sa variance. Pour la moyenne m, on écrit :
µ(y)P′ (y, x) = µ(y) xP′ (y, x)
X X X X X
m= xµ(x) = x
x∈E x∈E y∈E y∈E x∈E

d pB A
et comme x∈E xP′ (y, x) = d p B A + (q AB − p B A )y, on obtient la formule simple m = p +p
P
. Lorsque
AB BA
′
q AB = p B A , la suite X est i.i.d. de loi Bin(d , p AB ). Cette étude du modèle de Wright – Fisher illustre une
démarche générale : lorsque tous les états récurrents sont absorbants, l’étude porte naturellement sur le
temps d’absorption, en revanche, lorsque tous les états sont récurrents, l’étude porte sur les lois invariantes.

5.14.5 Processus de Galton – Watson

Le processus de Galton – Watson est un modèle de base qui joue un rôle presque aussi important que les
marches aléatoires en modélisation. Il a été étudié notamment par Irénée-Jules Bienaymé vers 1845, puis
par Francis Galton et Henri William Watson, vers 1875. Il décrit l’évolution d’une population asexuée au fil
de générations qui ne se recoupent pas. Si Zn désigne le nombre d’individus de la génération n ∈ N, alors
Zn
X
Zn+1 = X n+1,k
k=1

89
où (X n,k )n≥1,k≥1 sont i.i.d. de loi P := p 0 δ0 + p 1 δ1 + · · · sur N, appelée loi de reproduction. Par convention,
∅ = 0, de sorte que si Zn = 0 alors Zn+1 = 0. La suite (Zn )n≥0 est une CM sur E = N, de noyau de transition
P

P donné par P(z, ·) = P ∗z . L’état 0 est absorbant (extinction de population), et le temps d’extinction est

T := inf{n ≥ 0 : Zn = 0} ∈ N ∪ {∞}.

La suite (Zn )n≥0 issue de Z0 = 1 se représente comme un arbre aléatoire dont la loi de branchement est P ,
de sorte que la variable Zn est le nombre de nœuds de profondeur n. L’arbre a pour profondeur ou hauteur
totale T = inf{n ∈ N : Zn = 0}, pour largeur totale maxn∈N Zn , et pour taille totale N = Z0 + · · · + ZT −1 .
— Le comportement de (Zn )n≥0 se ramène au cas Z0 = 1 car conditionnellement à {Z0 = z}, la suite
(Zn )n≥0 a la loi de la somme de z copies i.i.d. partant de 1.
— Si p z = 1 pour un z ∈ N alors P = δz d’où, pour tout n ≥ 0, Zn+1 = z Zn = · · · = z n+1 Z0 .
— Si p 0 = 0 et p 1 < 1 alors P(Zn ↗ ∞ | Z0 = 1) = 1 en comparant à un jeu de pile ou face.
— Si p 0 + p 1 = 1 et p 0 ̸= 0, alors P(Zn ↘ 0 | Z0 = 1) = 1 en comparant à un jeu de pile ou face, et le temps
d’extinction T est alors la loi géométrique GeoN∗ (p 0 ).
Ces observations nous conduisent à supposer que dans toute la suite : Z0 = 1 et 0 < p 0 ≤ p 0 + p 1 < 1.
Ceci implique que p z < 1 pour tout z ∈ N. Ceci implique aussi que Z1 ∼ P car Z0 = 1.

he
Nous supposons également dans toute la suite que la moyenne m := p 1 + 2p 2 + · · · de P existe.

Trichotomie

Comme E(Zn ) = m n pour tout n, on obtient la trichotomie suivante :

— cas sous-critique : m < 1, E(Zn ) ↘ 0.
— cas critique : m = 1, E(Zn ) = 1 pour tout n.
— cas sur-critique : m > 1, E(Zn ) ↗ ∞.

Fonction génératrice
uc
La fonction génératrice g : [0, 1] 7→ [0, 1] de la loi P est la série entière réelle g (s) = E(s X 1,1 ) = z
P∞
z=0 p z s . Elle
vérifie g ′ (1− ) = m. Pour tout n ≥ 1, la fonction génératrice g n de Zn vérifie

g n = g ◦n := g ◦ · · · ◦ g (composée n fois).

En effet, g 1 = g car Z0 = 1, et g n+1 (s) = E(s Zn+1 ) = E(E(s Zn+1 | Zn )) = E((E(s X 1,1 )) Zn ) = E(g (s) Zn ) = g n (g (s)).

Extinction et phénomène de seuil

a
Comme p 0 > 0, on a P(z, 0) = p 0z > 0 pour tout z ∈ N∗ , et comme 0 est absorbant, on en déduit que tout z ∈ N∗
est transitoire. Or presque sûrement, la chaîne ne visite qu’un nombre fini de fois chaque état transitoire,
et donc presque sûrement, soit la chaîne est capturée par l’état absorbant 0 soit elle diverge vers l’infini.
Autrement dit, p.s. le processus finit par sortir, en temps suffisamment grand, de tout intervalle fini de N∗ .
éb

Ainsi, presque sûrement, soit le processus s’éteint, soit il tend vers l’infini (explosion) :
(
∞ si T = ∞
lim Zn = .
n→∞ 0 si T < ∞

Probabilité d’extinction

Comme Zn est entière, il vient que {T < ∞} = {Zn → 0} = ∪n≥0 {Zn = 0}. La suite ({Zn = 0})n≥0 est croissante
et la probabilité d’extinction vérifie P(T < ∞) = P(Zn → 0) = P(∪n≥0 {Zn = 0}) = limn→∞ P(Zn = 0). Or nous
avons P(Zn = 0) = g n (0) = g ◦n (0), et donc

P(T < ∞) = lim g n (0) = lim g ◦n (0).

n→∞ n→∞

Le réel ρ = P(T < ∞) = limn→∞ g (0) est un point fixe : il vérifie g (ρ) = ρ car g : [0, 1] → [0, 1] est continue.
◦n
z
La fonction g est convexe car g ′′ (s) = ∞
P
z=0 (z + 2)(z + 1)s p z+2 ≥ 0. Comme p 0 + p 1 < 1, la fonction g est en
fait strictement convexe (elle est affine lorsque p 0 + p 1 = 1). D’autre part, g (0) = p 0 ∈ (0, 1) et g (1) = 1. Par
conséquent, si g ′ (1− ) = m ≤ 1 alors le graphe de g est au-dessus de la première bissectrice et 1 est le seul
point fixe. Si g ′ (1− ) = m > 1 alors le graphe de g traverse une et une seule fois la première bissectrice sur
l’intervalle (0, 1) et g admet un second point fixe s ∗ ∈ (0, 1).

90
 — Si m > 1 alors g ′ (1− ) = m > 1 et donc 1 n’est pas un point fixe attractif.
— Si m ≤ 1 alors g possède un unique point fixe, égal à 1, et P(T < ∞) = 1.
— Si m > 1 alors g possède deux points fixes : 1 (répulsif ), et s ∗ ∈ (0, 1) (attractif), et P(T < ∞) = s ∗ .
Cela permet de préciser la trichotomie précédente :
— cas sous-critique (m < 1) : la population s’éteint presque sûrement.
— cas critique (m = 1) : la population s’éteint presque sûrement.
— cas sur-critique (m > 1) : la population s’éteint avec probabilité s ∗ ∈ (0, 1).
Dans le cas d’une loi de reproduction poissonienne P = Poi(λ), il vient que m = λ et g (s) = eλ(s−1) , et donc
si λ ≤ 1, alors la population s’éteint presque sûrement tandis que si λ > 1, alors la probabilité d’extinction
s ∗ est l’unique solution sur (0, 1) de l’équation λ = log(s)/(s − 1) en la variable s.
Dans le cas d’une loi de reproduction géométrique, P = GeoN (p) = p n≥0 q n δn , il vient que m = q/p et
P

g (s) = p/(1 − q s) et donc si p ≥ 1/2 alors la population s’éteint presque sûrement tandis que si p < 1/2 alors
la probabilité d’extinction s ∗ est l’unique solution sur (0, 1) de l’équation q s 2 − s + p = 0, d’où s ∗ = p/q.

Martingales
Zn
La suite (Yn = m n )n≥0 est une martingale positive pour la filtration naturelle de Z . Elle converge donc p.s.

he
vers une v.a.r. positive et intégrable Y∞ , et en particulier Y∞ < ∞ p.s. Aussi Zn ∼n→∞ m n Y∞ p.s. sur {Y∞ > 0}.
Comme Yn = 0 si n ≥ T , on obtient {T < ∞} ⊂ {Y∞ = 0} p.s. Dans le cas sous-critique (m < 1) et dans le cas
critique (m = 1), comme vu précédemment, P(T < ∞) = 1, d’où P(Y∞ > 0) = 0. Néanmoins, si m ≤ 1 alors
Zn 1
supn≥0 m n ̸∈ L , car cela donnerait par convergence dominée 0 = E(Y T ) = E(limn→∞ Y n ) = limn→∞ E(Y n ) = 1.

Il est possible d’étudier la probabilité d’extinction avec l’outil martingale.

Distribution quasi-stationnaire

Considérons le cas sous-critique m < 1. Nous savons que P(T < ∞) = 1 et Zn → 0 p.s. et un théorème de
uc
Yaglom affirme que Loi(Zn | Zn > 0) converge étroitement lorsque n → ∞ vers une loi µ sur N∗ , appelée
distribution quasi-stationnaire, dont la fonction génératrice h vérifie (h − 1) ◦ g = m(h − 1). Les populations
sous-critiques conditionnées à ne pas mourir sont typiquement celles qu’on observe dans la nature.
L’étude du processus peut être raffinée, notamment lorsque la variance de P est finie.

Pour aller plus loin 5.14.1.

— Échantillonneur de Gibbs, modèle d’Ising.

a
— Temps forts de stationnarité.
— Temps de couverture ou de recouvrement.
— Temps de mélange et phénomène de convergence abrupte à l’équilibre (cutoff).
— Marches aléatoires auto-évitantes, en paysage aléatoire, en environnement aléatoire.
éb

— Phénomène de convergence abrupte à l’équilibre (cutoff).

— Renouvellement, fiabilité des systèmes, et processus semi-markoviens.
— Distributions quasi-stationnaires.
— Réseaux électriques.
— Coalescence, couplage par le passé, algorithme de Propp – Wilson, simulation parfaite.
— Récurrence au sens de Harris et chaîne de Harris.

91
Chapitre 6

Processus de Poisson et chaînes de Markov à temps continu et espace discret

he
uc
F IGURE 6.1 – Un central téléphonique vers 1904. Agner Krarup Erlang (1878 – 1929), à la fois mathématicien, in-
génieur, et statisticien, a été membre de l’association danoise des mathématiciens, ce qui lui a fait rencontrer le
mathématicien amateur Johan Jensen (qui a donné son nom à l’inégalité bien connue), ingénieur en chef de la
compagnie du téléphone de Copenhague, filiale de Bell. Erlang a travaillé pour cette compagnie à partir de 1908,
jusqu’à la fin de sa vie. Son étude mathématique des réseaux téléphoniques a contribué à leur automatisation. Au-
a
jourd’hui les processus de Poisson sont incontournables dans tous les champs de la modélisation stochastique.
20 → 21
Le processus de Poisson semble avoir été introduit vers 1909 par Agner Krarup Erlang pour l’étude de réseaux
téléphoniques, et par Ernest Rutherford et Hans Geiger pour l’étude des désintégrations radioactives. Mais on le
éb

trouve également dans la thèse de Filip Lundberg vers 1903 pour l’étude des compagnies d’assurances. Tout cela se
passe bien avant la formalisation moderne des probabilités, et en particulier des processus stochastiques.
Le processus de Poisson est l’analogue à temps continu du processus de Bernoulli. Il ouvre la voie à la fois aux
processus ponctuels, aux processus de Lévy, et aux chaînes de Markov à temps continu, dont les files d’attente.

6.1 Processus de Bernoulli et lois géométriques

Le jeu de pile ou face avec probabilité de gain p ∈ (0, 1] est modélisé par le processus de Bernoulli (B n )n∈N
de l’exemple 5.2.2, défini par B 0 = 0 et B n = Y1 + · · · + Yn où (Yn )n≥1 est une suite de v.a. i.i.d. de loi de Bernoulli
Bin(1, p) = pδ1 + (1 − p)δ0 . La suite des temps de saut de B est définie par

T0 = 0 et Tn+1 = inf{k > Tn : B k ̸= B Tn }.

Pour n ≥ 1, la v.a. Tn est l’instant du n e succès à pile ou face. Les durées inter-sauts (E n )n≥1 définies par E n =
n−1
Tn − Tn−1 sont i.i.d. de loi géométrique GeoN∗ (p) = ∞ δn sur N∗ de moyenne 1/p. Pour tout n ≥ 1,
P
n=1 p(1 − p)

Tn = E 1 + · · · + E n et B n = max{m ∈ N : Tm ≤ n}.

Ainsi B est aussi le processus de comptage de tops espacés par des durées i.i.d. de loi géométrique.

92
 Lemme 6.1.1. Caractérisation des lois géométriques par l’absence de mémoire ou amnésie.

Pour toute v.a. X sur N∗ , les deux propriétés suivantes sont équivalentes :
(i) Loi(X ) est une loi géométrique sur N∗ .
(ii) Loi(X − n | X > n) = Loi(X ) pour tout n ∈ N (propriété d’absence de mémoire, ou d’amnésie).

Démonstration. La propriété (ii) s’écrit G(n + m) = G(n)G(m) pour tous n, m ∈ N, où G(n) = P(X > n), ce qui donne
G(n) = G(1)n pour tout n ∈ N, d’où X ∼ GeoN∗ (1 − G(1)). Réciproquement, si X ∼ GeoN∗ (p) avec 0 < p ≤ 1, alors
P(X − n > m | X > n) = G(n + m)/G(n) = (1 − p)m pour tous n, m ∈ N, et donc Loi(X − n | X > n) = Loi(X ). ■

6.2 Lois géométriques et lois exponentielles

Lemme 6.2.1. Caractérisation des lois exponentielles par l’absence de mémoire ou amnésie.

Pour toute v.a. X sur R+ telle que P(X > 0) > 0, les deux propriétés suivantes sont équivalentes :
(i) Loi(X ) est une loi exponentielle .

he
(ii) Loi(X − t | X > t ) = Loi(X ) pour tout t ∈ R+ (propriété d’absence de mémoire, ou d’amnésie).

Démonstration. Si X ∼ Exp(λ), alors P(X − t > s | X > t ) = P(X > t + s)/P(X > t ) = e−λs pour tous s, t ∈ R+ , ce qui
donne Loi(X − t | X > t ) = Loi(X ). Réciproquement, la propriété (ii) s’écrit G(t )G(s) = G(t + s) pour tous s, t ∈ R+ , où
G(t ) = P(X > t ). Par continuité inférieure, G(ε) = P(X > ε) → P(X > 0) > 0 lorsque ε → 0+ . Ainsi, G(ε) > 0 pour ε > 0
assez petit. Si t > 0 alors t ≤ nε avec n ∈ N et donc G(t ) = P(X > t ) ≥ P(X > nε) = G(ε)n . Ainsi, G(t ) > 0 pour tout
t ≥ 0. D’autre part, les solutions non identiquement nulles de l’équation fonctionnelle G(t + s) = G(t )G(s), s, t ∈ R+ ,
sont de la forme G(t ) = G(1)t (considérer d’abord t ∈ Q puis utiliser la continuité à droite de G pour t ∈ R+ ). ■
uc
Lemme 6.2.2. Lois exponentielles et géométriques.

(i) Loi exponentielle comme contraction de la loi géométrique. Soit (p k )k≥1 une suite dans (0, 1) telle que
kp k → λ > 0. Alors, si X k ∼ GeoN∗ (p k ), il vient que k1 X k → Exp(λ) en loi.
(ii) Loi géométrique comme discrétisation de la loi exponentielle. Si Y ∼ Exp(λ) et si ⌊Y ⌋ désigne la partie
entière de Y , alors ⌊Y ⌋ et Y − ⌊Y ⌋ sont indépendantes et 1 + ⌊Y ⌋ ∼ GeoN∗ (1 − e−λ ).
a
Démonstration. La propriété (i) s’obtient par transformée de Fourier ou de Laplace 1 : pour tout θ > 0,
θ θ
−θ
Xk ∞
−n kθ n−1 p k e− k kp k e− k λ
E(e
X
k )= pk e (1 − p k ) = = −−−−→ .
n=1 1−e − kθ
(1 − p k ) k(1 − e − kθ
) + kp k e − kθ k→∞ θ+λ
éb

La propriété (ii) découle de P(Y > t + s | Y > s) = P(Y > t ) = e−λt , s, t ∈ R+ . Alternativement, pour n ∈ N et u ∈ [0, 1),
Z n+u
P(⌊Y ⌋ = n, Y − ⌊Y ⌋ ≤ u) = P(Y ∈ [n, n + u]) = λe−λs ds = e−λn (1 − e−λu ) = P(⌊Y ⌋ = n)P(Y − ⌊Y ⌋ ≤ u),
n

la dernière égalité provenant de la séparation produit de n et u, qui donne indépendance et lois marginales. ■
L’absence de mémoire des lois géométriques est l’empreinte de la propriété de Markov du processus de Ber-
noulli sur les temps de saut. La version à temps continu des chaînes de Markov à espace d’état au plus dénombrable
s’obtient en remplaçant les temps géométriques par des temps exponentiels. Nous commençons par construire la
version à temps continu du processus de Bernoulli : le processus de Poisson.

Remarque 6.2.3. Durées, durées de vie, rodage et vieillissement, fiabilité, processus semi-markoviens.

En raison de leur abscence de mémoire, les lois géométriques et exponentielles sont adaptées à la modé-
lisation des durées sans phénomène de rodage ni de veillissement : files d’attentes, désintégration radio-
actives, etc. Pour la modélisation des durées de vie avec rodage et viellissement, on leur préfère les lois
de type Weibull par exemple. Les processus de comptage associés ne sont plus markoviens, mais semi-
markoviens, et jouent un rôle important pour la modélisation stochastique de la fiabilité des systèmes [14].

1. Plus généralement, Gamma(m, λ) = Exp(λ)∗m est limite de lois binomiales négatives NegBin(m, p k ) = GeoN∗ (p k )∗m renormalisées.

93
6.3 Lois exponentielles et processus de Poisson

Le processus de Bernoulli de paramètre p est le processus de comptage de tops espacés dans le temps par des
durées i.i.d. de loi géométrique sur N∗ de paramètre p. Le processus de Poisson simple est le processus de comptage
de tops espacés dans le temps par des durées i.i.d. de loi exponentielle. Il est au temps continu ce que le processus
de Bernoulli est au temps discret. Soit (E n )n≥1 une suite de v.a. i.i.d. de loi exponentielle Exp(λ), λ > 0. Pour tout
n ∈ N et tout t ∈ R+ , on définit les v.a. Tn et N t à valeurs dans R+ et N par

T0 = 0, Tn = E 1 + · · · + E n , et N t = sup{n ∈ N : Tn ≤ t }.

En particulier, N0 = 0. Le lemme suivant assure que Tn ↗ ∞ p.s. de sorte que N t < ∞ pour tout t ∈ R+ p.s. Autrement
dit, il n’y a pas d’accumulation ou d’explosion, la trajectoire aléatoire t 7→ N t est bien définie de R+ dans N, p.s.

Lemme 6.3.1. Loi du zéro-un pour les horloges exponentielles cumulées.

Soit (E n )n≥1 une suite de v.a. indépendantes ¢ que EPn∞∼ Exp(λ

telles n ), 0 < λn < ∞, pour tout n.
1
Alors P( ∞ P
P ¡P∞
E
n=1 n = ∞) ∈ {0, 1}, et E
n=1 n = ∞ = 1 ssi n=1 λn = ∞.
Autrement dit, la série ∞
P
n=1 E n diverge en moyenne ssi elle diverge p.s.

he
Démonstration. La v.a. T∞ = ∞ dans R+ ∪ {∞}, et par convergence monotone, on obtient
P
n=1 E n prend ses valeursP
E(T∞ ) = n=1 1/λn dans R+ ∪ {∞}. Par conséquent, si ∞ n=1 1/λn < ∞ alors E(T∞ ) < ∞ et donc P(T∞ = ∞) = 0.
P∞

L’indépendance n’a pas été utilisée. Réciproquement, par convergence monotone et indépendance,
∞ ¡ ∞ λn ³Y∞ ³ 1 ´´−1
E e−T∞ = E e−E n =
¡ ¢ Y ¢ Y
= 1+ .
n=1 n=1 1 + λn n=1 λn

2 P∞
= ∞, alors E(e−T∞ ) = 0, d’où P(T∞ = ∞) = 1.
Q∞ P∞
Or n=1 (1 + 1/λn ) = ∞ ssi n=1 1/λn = ∞. Ainsi, si n=1 1/λn ■
uc
Si (Tn )n∈N modélise les tops espacés par des durées i.i.d. de loi exponentielle Exp(λ), alors la v.a. N t donne le
nombre de tops dans l’intervalle de temps [0, t ]. Le processus de comptage (N t )t ∈R+ de la suite croissante (Tn )n∈N
est appelé processus de Poisson simple issu de 0 et d’intensité λ. En abrégé PPS(0, λ). Comme E(E n ) = 1/λ, plus λ
est élevée, plus les durées sont courtes, et plus il y a de tops par unité de temps, d’où la terminologie.
Notons que pour tout entier n ∈ N et tout réel t ∈ R+ ,

NTn = n, T Nt ≤ t < T Nt +1 , {N t = n} = {Tn ≤ t < Tn+1 } = {Tn ≤ t } \ {Tn+1 ≤ t }.

On dispose également des expressions alternatives suivantes de N t , pour tout réel t > 0 :
a
∞ ∞ ∞
N t = inf{m ∈ N : Tm+1 > t } = 1[Tn ,+∞) (t ) = 1[0,t ] (Tn ) = |{n ∈ N∗ : Tn ∈ [0, t ]|.
X X X
n1[Tn ,Tn+1 ) (t ) =
n=0 n=1 n=1

Presque sûrement, les trajectoires t ∈ R+ 7→ N t ∈ N de (N t )t ≥0 sont issue de 0, croissantes, constantes par morceaux,
éb

continues à droite avec limites à gauche (càdlàg), les sauts valent +1 et Tn est le n e temps de saut, cf. figure 6.2.

6.4 Propriété de Markov du processus de Poisson

Nous savons que le processus de Bernoulli est une chaîne de Markov à temps discret, et que la propriété de
Markov est reliée à la nature géométrique des temps de saut. Il en va de même du processus de Poisson simple.

Théorème 6.4.1. Propriété de Markov faible du processus de Poisson.

Soit (N t )t ∈R+ un processus de Poisson simple issu de 0 et d’intensité λ. Alors pour tout s ∈ R+ , le processus
(N s+t − N s )t ∈R+ est un processus de Poisson simple issu de 0 et d’intensité λ, indépendant de σ((Nu )u∈[0,s] ).

Démonstration. Soient (Tn )n∈N les temps de saut et (E n )n≥1 les durées inter-sauts de N . Plaçons-nous sur

{N s = m} = {Tm ≤ s < Tm+1 } = {Tm ≤ s} ∩ {s < Tm + E m+1 }.

Soient (E n′ )n≥1 les durées inter-sauts de (N s+t − N s )t ∈R+ . Nous avons

E 1′ = E m+1 − (s − Tm ) et E n′ = E m+n , n ≥ 2.
Q∞ P∞
2. Pour toute suite (a n )n≥1 de réels positifs, le produit infini n=1 (1 + a n ) converge ssi la série n=1 a n converge.

94
 Nt

0 t
T0 T1 T2 T3 T4
E1 E2 E3 E4 E5

F IGURE 6.2 – Le début d’une trajectoire d’un processus de Poisson simple. La simulation d’une trajectoire est im-
médiate en utilisant la définition comme processus de comptage : cumsum(-log(rand(1,n))).

he
Conditionnellement à {N s = m} et {E 1 = e 1 , . . . , E m = e m }, la variable aléatoire E 1′ suit la loi exponentielle Exp(λ) car

Loi(E m+1 − (s − t m ) | E m+1 > s − t m ) = Loi(E m+1 ) = Exp(λ)

où t m = e 1 + · · · + e m , grâce à la propriété d’absence de mémoire des lois exponentielles (lemme 6.2.1). Ainsi, condi-
tionnellement à l’événement {N s = m} et {E 1 = e 1 , . . . , E m = e m }, les variables aléatoires (E n′ )n≥1 sont i.i.d. de loi
exponentielle Exp(λ). Cette loi ne dépend pas de m ni de e 1 , . . . , e m , et en particulier ne dépend pas de Nu avec
0 ≤ u ≤ s. Il en découle que (N t +s − N s )t ∈R+ est le processus de comptage d’une suite de v.a. séparées par des durées
i.i.d. de loi Exp(λ), indépendant de Nu , pour tout 0 ≤ u ≤ s, donc indépendant de σ(Nu , 0 ≤ u ≤ s). ■
uc
Théorème 6.4.2. Propriété de Markov forte du processus de Poisson.

Soit N = (N t )t ∈R+ un PPS(0, λ) et (Ft )t ∈R+ sa filtration naturelle Ft = σ(N s : s ∈ [0, t ]).
Soit T un temps d’arrêt a et FT := {A ∈ F : ∀t ∈ R+ , A ∩ {T ≤ t } ∈ Ft } sa tribu d’arrêt. Alors :
(i) Conditionnellement à {T < ∞}, (NT +t − NT )t ∈R+ est également un PPS(0, λ), indépendant de FT .
(ii) Pour tous n ≥ 1, f : Rn 7→ R mesurable et bornée, et 0 ≤ t 1 ≤ · · · ≤ t n ,

E( f (NT +t1 , . . . , NT +tn )1{T <∞} | FT ) = F (NT )1{T <∞} où F (x) = E( f (x + N t1 , . . . , x + N tn )).
a
en particulier E( f (NT +t1 , . . . , NT +tn ) | T < ∞, NT = x) = E( f (x + N t1 , . . . , x + N tn )).
a. C’est-à-dire une variable aléatoire T à valeurs dans [0, ∞] telle que {T ≤ t } ∈ Ft pour tout t ∈ R+ .
éb

La formule {Tn ≤ t } = {N t ≥ n} ∈ Ft montre que Tn := E 1 + · · · + E n = inf{t ≥ 0 : N t = n} est bien un temps d’arrêt. 21 → 22

Démonstration.
(i) Supposons tout d’abord que P(T < ∞) = 1. Posons N ∗ := (NT +t − NT )t ∈R+ . Approchons T par des temps d’ar-
rêt discrets, par excès pour bénéficier de la continuité à droite des trajectoires de N . Pour tout n ∈ N, soit
∞
k+1
2n 1T ∈
X
Tn := h
k k+1
´.
,
2n 2n
k=0

À ne pas confondre avec les temps de sauts de N . Nous avons T ≤ Tn et Tn est à valeurs dans l’ensemble
dyadique D n := {k/2n : k ∈ N}. De plus Tn est un temps d’arrêt, et Tn ↘ T quand n → ∞. Observons au passage
que comme N est p.s. à trajectoires continues à droite, nous avons NT +t = limn→∞ NTn +t p.s. et donc NT +t est
bien mesurable. Soit A ∈ FT , m ∈ N, et 0 = t 0 < · · · < t m < ∞. Par convergence dominée, pour toute ϕ : Nm → R
bornée (forcément continue), grâce au fait que les trajectoires de N sont p.s. continues à droite,

E(1 A ϕ(N t∗1 , . . . , N t∗m )) = E(1 A ϕ(NT +t1 − NT , . . . , NT +tm − NT ))

= lim E(1 A ϕ(NTn +t1 − NTn , . . . , NTn +tm − NTn )).
n→∞

De plus A ∈ FT ⊂ FTn car T ≤ Tn et, en utilisant A ∈ FTn et la propriété de Markov faible (th. 6.4.1),

E(1 A ϕ(NTn +t1 − NTn , . . . , NTn +tm − NTn )) = E(1 A∩{Tn =r } ϕ(Nr +t1 − Nr , . . . , Nr +tm − Nr ))
X
r ∈D n

95
 E(1 A∩{Tn =r } E(ϕ(Nr +t1 − Nr , . . . , Nr +tm − Nr ) | Fr ))
X
=
r ∈D n

P(A ∩ {Tn = r })E(ϕ(N t1 , . . . , N tm ))

X
=
r ∈D n

= P(A)E(ϕ(N t1 , . . . , N tm )).

Donc N est indépendant de FT , et en prenant A = Ω, N ∗ a les mêmes lois fini-dimensionnelles que N . Or

∗

la nature des trajectoires de N ∗ est héritée de celles de N : p.s. issues de 0, constantes par morceaux, càdlàg,
avec des sauts de +1. Pour en déduire que les temps de saut de N et N ∗ ont même loi, il suffit de se ramener
aux lois fini-dimensionnelles en observant que pour tout entier n ∈ N et toute suite de réels 0 =: t 0 < . . . < t n+1 ,

{T1∗ ≤ t 1 , . . . , Tn∗ ≤ t n , Tn+1

∗
> t n+1 } = {N t∗1 − N t∗0 ≥ 1, . . . , N t∗n − N t∗n−1 ≥ 1, N t∗n+1 = n}

où cette fois-ci les Tn∗ sont les temps de sauts de N ∗ . Enfin, plus généralement, pour un temps d’arrêt T
pouvant prendre la valeur ∞, le même argument fonctionne avec A remplacé par A ∩ {T < ∞}.
(ii) Il suffit d’écrire, sur {T < ∞}, la décomposition

(NT +t1 , . . . , NT +tn ) = (NT +t1 − NT , . . . , NT +tn − NT ) + (NT , . . . , NT ),

où (NT +t1 −NT , . . . , NT +tn −NT ) est indépendant de FT et (NT , . . . , NT ) est FT -mesurable, puis d’exploiter une

he
propriété adéquate de l’espérance conditionnelle (aléa résiduel après moyennisation de l’aléa indépendant).
Enfin, le « en particulier » vient du fait que σ({T < ∞}, NT ) ⊂ FT .
■
Il est possible de concevoir un PPS comme une v.a. à valeurs dans un espace de fonctions càdlàg muni d’une
tribu contenant la tribu cylindrique. Cette loi est alors caractérisée par la donnée des lois fini-dimensionnelles,
c’est-à-dire la loi jointe des accroissements. Cette tribu est la tribu borélienne associée à la topologie de la conver-
gence simple. Cela suffit pour obtenir la loi jointe des temps de saut d’un PPS, mais ne suffit plus pour des processus
à temps continu plus généraux, pour lesquels il est alors opportun de choisir une tribu borélienne associée à une
uc
topologie plus forte, uniforme par exemple. Ce type de considérations est en général abordé en M2.

6.5 Structure des temps de saut et des accroissements du processus de Poisson

Si B est un processus de Bernoulli de paramètre p issu de B 0 = 0, alors pour tous 0 ≤ n 0 ≤ n 1 ≤ · · · ≤ n k , les v.a.
B nk −B nk−1 , . . . , B n1 −B n0 sont indépendantes et suivent les lois binomiales Bin(n k −n k−1 , p), . . . , Bin(n 1 −n 0 , p). Une
propriété similaire a lieu pour le processus de Poisson simple, avec la loi de Poisson.
Commençons par l’étude de la structure des temps de saut. Si U1 , . . . ,Un sont des v.a. i.i.d. de loi uniforme sur
a
[0, t ], alors la loi du vecteur (U1 , . . . ,Un ) admet une densité donnée par
1
(t 1 , . . . , t n ) 7→ 1{0<t1 ,...,tn <t } .
tn
Il existe p.s. une unique permutation σ de {1, . . . , n} t.q. Uσ(1) < · · · < Uσ(n) . La loi du vecteur aléatoire (Uσ(1) , . . . ,Uσ(n) )
éb

est la statistique d’ordre de taille n de la loi uniforme sur [0, t ], notée STU(n, [0, t ]). Sa densité sur Rn est donnée par
n!
(t 1 , . . . , t n ) 7→ 1{0<t1 <···<tn <t } .
tn
Pour le concevoir sans calcul, il suffit d’observer que le cube [0, t ]n de mesure de Lebesgue t n est découpé en n!
morceaux isométriques à {0 < t 1 < · · · < t n < t }, qui correspondent à l’action du groupe symétrique.

Lemme 6.5.1. Structure des temps de saut.

Si (N t )t ∈R+ est un processus de Poisson simple issu de 0 et d’intensité λ, de temps de saut (Tn )n∈N , alors :
(i) Loi((T1 , . . . , Tn )) a pour densité (t 1 , . . . , t n ) 7→ λn e−λtn 1{0<t1 <···<tn } .
λn n−1 −λt
(ii) Loi(Tn ) est la loi Gamma(n, λ) de densité t 7→ (n−1)! t e 1{0<t } .
(iii) Loi((T1 , . . . , Tn ) | Tn+1 = t ) = STU(n, [0, t ]).
(iv) Loi(N t ) est la loi de Poisson Poi(λt ).
(v) Loi((T1 , . . . , Tn ) | N t = n) = STU(n, [0, t ]).

Il est commode de simuler une trajectoire d’un processus de Poisson simple en simulant un nombre n prescrit
de temps de saut. Lorsque c’est le temps final t qui est prescrit plutôt que le nombre de sauts n, il est possible de
procéder par simulation de N t ∼ Poi(λt ) puis conditionnellement par simulation de STU du lemme 6.5.1.

96
Démonstration.
(i) S’obtient par le changement de variable linéaire triangulaire (s 1 , s 2 , . . . , s n ) 7→ (s 1 , s 1 + s 2 , . . . , s 1 +· · ·+ s n ) à partir
de la loi de (T1 , T2 − T1 , . . . , Tn − Tn−1 ) de densité (s 1 , . . . , s n ) 7→ ni=1 λe−λsi 1{si >0} .
Q

(ii) S’obtient par récurrence sur n car Tn = Tn−1 + E n , ou à partir de (i) par intégration.
(iii) Découle de (i) et (ii) en faisant le rapport de la densité de Loi((T1 , . . . , Tn+1 )) par la densité de Loi(Tn+1 ).
(iv) Nous avons {N t = n} = {Tn ≤ t < Tn+1 } = {Tn ≤ t } \ {Tn+1 ≤ t }, d’où P(N t = n) = P(Tn ≤ t ) − P(Tn+1 ≤ t ), tandis
n
que (ii) donne, par intégration par parties, P(Tn+1 ≤ t ) = − (λtn!) e−λt + P(Tn ≤ t ).
(v) Nous avons {N t = n} = {Tn ≤ t < Tn+1 }, événement sur le vecteur aléatoire (T1 , . . . , Tn+1 ), et il suffit alors d’uti-
liser la densité de Loi((T1 , . . . , Tn+1 )) fournie par (i) et la formule P(N t = n) = e−λt (λt )n /n! fournie par (iv).
■

Théorème 6.5.2. Caractérisation du processus de Poisson simple.

Soit (N t )t ∈R+ un processus sur N, issu de 0, et dont les trajectoires t 7→ N t sont p.s. croissantes et continues
à droite (donc avec limites à gauche). Alors les propriétés suivantes sont équivalentes, pour tout réel λ > 0.
(i) Comptage. N est le processus de comptage de tops espacés par des durées i.i.d. de loi Exp(λ).

he
Autrement dit, les sauts de N valent +1 et les temps inter-sauts sont i.i.d. de loi Exp(λ).
(ii) Structure des accroissements. Pour tout entier n ≥ 1 et tous réels 0 ≤ t 0 ≤ t 1 ≤ · · · ≤ t n , les accroissements
N tn − N tn−1 , . . . , N t1 − N t0 sont indépendants et de lois de Poisson Poi(λ(t n − t n−1 )), . . . , Poi(λ(t 1 − t 0 )).
(iii) Bernoulli infinitésimal. Les accroissements de N sont indépendants, avec, uniformément en t ∈ R+ ,

P(N t +ε − N t = 0) = 1 − λε + o ε→0+ (ε) et P(N t +ε − N t = 1) = λε + o ε→0+ (ε).

Dans (ii), les accroissements du processus sont stationnaires : ils ne font intervenir que la durée ou différence
de temps. Il s’agit d’un processus à accroissements indépendants et stationnaires (PAIS) de loi de Poisson.
uc
La propriété de Markov faible du théorème 6.4.1 peut être déduite de (ii).
La propriété (iii) est une comparaison infinitésimale à un processus de Bernoulli de paramètre ελ.

Démonstration.
(i)⇒(ii). Découle de la propriété de Markov (th. 6.4.1) et du fait que N t ∼ Poi(λt ) (lemme 6.5.1 (iv)).
(ii)⇒(iii). Découle de P(N t +ε − N t = 0) = e−λε et P(N t +ε − N t = 1) = e−λε λε.
(iii)⇒(ii). La propriété (iii) donne P(N t +ε − N t = m) = o ε→0+ (ε) uniformément en t ∈ R+ , pour tout m ≥ 2. Par
suite, en notant p k (t ) = P(N t = k), on obtient pour tout m ≥ 1, p m (t + ε) = m n=0 P(N t +ε − N t = n)p m−n (t ), et donc
P

p m (t + ε) − p m (t )
a
= −λp m (t ) + λp m−1 (t ) + o ε→0+ (1)
ε
uniformément en t ∈ R+ . En exprimant cette propriété pour t − ε, on obtient
p m (t ) − p m (t − ε)
éb

= −λp m (t − ε) + λp m−1 (t − ε) + o ε→0+ (1).

ε
′
La fonction t 7→ p m (t ) est donc dérivable et vérifie l’EDO p m (t ) = −λp m (t ) + λp m−1 (t ). De même p 0′ (t ) = −λp 0 (t ).
m
Les conditions initiales de ces EDO sont imposées par N0 = 0. Par récurrence sur m, p m (t ) = e−λt (λtm!) , c’est-à-dire
que N t ∼ Poi(λt ). Comme (N s+t − N s )t ∈R+ vérifie également (iii), on obtient bien (ii).
(ii)⇒(i). La propriété (ii) spécifie la loi des trajectoires, et il existe donc un unique processus vérifiant (ii), qui est
donc forcément le processus de Poisson simple issu de 0 et d’intensité λ construit par (i). Plus précisément, il est
possible d’utiliser la même méthode que dans la preuve de la propriété de Markov forte (th. 6.4.2) : pour tout entier
n ≥ 1, en notant T1 , . . . , Tn+1 les n + 1 premiers sauts de N , pour tous réels 0 =: t 0 < · · · < t n ,

{T1 ≤ t 1 , . . . , Tn ≤ t n , Tn+1 > t n } = {N t1 − N t0 ≥ 1, . . . , N tn − N tn−1 ≥ 1, N tn − N t0 = n}

qui permet de déduire la loi jointe des temps de sauts de la loi jointe des accroissements (et réciproquement !).
L’hypothèse de trajectoires continues à droite intervient dans la preuve de la propriété de Markov forte. ■

Remarque 6.5.3. Processus ponctuels de Poisson.

La v.a. N t +s − N s compte les tops dans l’intervalle de temps (s, t + s]. Plus généralement, si I et J sont deux
intervalles disjoints quelconques de R+ , alors le nombre de tops dans I et J sont indépendants et de lois de
Poisson Poi(λ|I |) et Poi(λ|J |). C’est le point de départ de la notion de processus ponctuel de Poisson.

97
 Remarque 6.5.4. Martingales.

Le processus de Bernoulli (B n )n∈N de paramètre p est une sous-martingale pour sa filtration canonique, de
compensateur A n = np, de sorte que sa décomposition de Doob s’écrit B n = B n − np + np = M n + A n . De
même, le processus de Poisson (N t )t ∈R+ d’intensité λ est une sous-martingale pour sa filtration canonique a ,
de compensateur A t = λt , de sorte que sa décomposition de Doob s’écrit N t = N t − λt + λt = M t + A t .

a. Il s’agit d’une filtration à temps continu, et de notre première martingale à temps continu !

La loi des grands nombres et le théorème limite central pour les suites de v.a. i.i.d. de loi de Bernoulli Bin(p) =
(1 − p)δ0 + pδ1 conduisent aux propriétés suivantes pour le processus de Bernoulli B de paramètre p : Bnn → p p.s.
p
et n( Bnn − p) → N (0, p(1 − p)) en loi. Le théorème suivant fournit l’analogue pour le processus de Poisson simple.

Théorème 6.5.5. Loi des grands nombres et théorème limite central.

Si (N t )t ∈R+ est un processus de Poisson simple issu de 0 et d’intensité λ, alors

N t p.s. p Nt
µ ¶
loi
−→ λ et t − λ −→ N (0, λ).

he
t t →∞ t t →∞

Démonstration. La convergence en loi vers N (0, λ) s’obtient en utilisant les fonctions caractéristiques et le fait que
N t ∼ Poi(λt ) (lemme 6.5.1). Pour la convergence p.s. vers λ, la croissance de t 7→ N t donne N⌊t ⌋ ≤ N t ≤ N⌊t ⌋+1 , où ⌊t ⌋
est la partie entière de t . La décomposition N⌊t ⌋ = N1 + (N2 − N1 ) + · · · + (N⌊t ⌋ − N⌊t ⌋−1 ) et le théorème 6.5.2 montrent
que N⌊t ⌋ est la somme de ⌊t ⌋ v.a. i.i.d. de loi Poi(λ). Donc t −1 N⌊t ⌋ converge p.s. vers λ par la LGN pour des v.a. i.i.d.
de loi Poi(λ). Idem pour t −1 N⌊t ⌋+1 , et donc pour t −1 N t , par encadrement. Alternativement, on peut observer que
NTn /Tn = n/Tn et utiliser la LGN sur la suite (Tn+1 − Tn )n≥1 , comme le suggère la remarque suivante. ■
uc
Remarque 6.5.6. Estimation de l’intensité λ.

Considérons un processus de Poisson simple (N t )t ∈R+ issu de 0 et d’intensité λ, de temps de saut (Tn )n≥1
et de durées inter-sauts (E n )n≥1 . Une estimation sans biais de 1/λ peut être obtenue à partir d’une seule
réalisation de la trajectoire du processus grâce aux convergences suivantes, fournies par la loi des grands
nombres et le théorème limite central pour des variables aléatoires i.i.d. de loi Exp(λ) :

Tn E 1 + · · · + E n p.s. 1 p Tn 1 loi
µ ¶ µ ¶
1
= −→ et n − −→ N 0, 2 .
n n n→∞ λ n λ n→∞ λ
a
La loi de Tn /n est explicite car Tn suit une loi Gamma (le. 6.5.1). Il est donc possible d’utiliser cette loi pour
la détermination d’intervalles de confiance non asymptotiques. D’autre part, il est possible d’estimer λ sans
biais à partir d’une seule réalisation de N t grâce à la convergence p.s. de N t /t vers λ (th. 6.5.5). Ici encore,
la loi de N t /t est explicite, et fournit des intervalles de confiance non asymptotiques.
éb

6.6 Processus de Poisson comme limite de processus de Bernoulli

Le lemme 6.2.2 suggère que les temps inter-sauts du processus de Bernoulli convergent, lorsque le temps est
contracté, vers ceux d’un processus de Poisson simple. Le théorème suivant confirme cette intuition. D’autre part,
il est bien connu que Bin(n, p n ) → Poi(λ) lorsque n → ∞ avec np n → λ. Le théorème suivant généralise cette pro-
priété aux lois marginales du processus de Bernoulli. Le tableau 6.1 dresse une comparaison analogique.

Théorème 6.6.1. Processus de Poisson et de Bernoulli.

Soit λ > 0 un réel et (p k )k≥1 une suite de réels dans [0, 1] telle que limk→∞ kp k = λ. Pour tout entier k ≥ 1,
soit (B nk )n∈N un processus de Bernoulli issu de 0 et de paramètre p k . Alors pour tout entier n ≥ 1 et tous
k k
réels 0 ≤ t 1 ≤ · · · ≤ t n , la suite de vecteurs aléatoires ((B ⌊t , . . . , B ⌊t ))k>0 converge en loi vers la loi de
1 k⌋ n k⌋
(N t1 , . . . , N tn ), où (N t )t ∈R+ est un processus de Poisson simple issu de 0 et d’intensité λ.

Démonstration. On a limk→∞ Bin(r k , p k ) = Poi(µ) si limk→∞ r k p k = µ. Pour t ≥ 0 fixé, on pose r k = ⌊t k⌋. Comme
limk→∞ r k /k = t et limk→∞ kp k = λ, on a limk→∞ r k p k = λt , et donc limk→∞ Bin(⌊t k⌋, p k ) = Poi(λt ). Or le processus
de Bernoulli est à accroissements indépendants et stationnaires, de lois binomiales, d’où le résultat. ■
22 → 23

98
 Processus de Bernoulli (jeu de pile ou face) Processus de Poisson simple
Espace d’état N et loi initiale δ0
Processus (B n )n∈N avec B 0 = 0 Processus (N t )t ∈R+ avec N0 = 0
Temps discret n ∈ N Temps continu t ∈ R+
Paramètre p ∈ [0, 1] Paramètre λ ∈ R+
T0 = 0 et Tm = E 1 + · · · + E m
(E m )m∈N∗ i.i.d. géométrique GeoN∗ (p) (E m )m∈N∗ i.i.d. exponentielle Exp(λ)
B n = inf{m ∈ N : Tm+1 > n} N t = inf{m ∈ N : Tm+1 > t }
B n = sup{m ∈ N : Tm ≤ n} N t = sup{m ∈ N : Tm ≤ t }
Loi(Tm ) = GeoN∗ (p)∗m = loi binomiale négative Loi(Tm ) = Exp(λ)∗m = loi Gamma
Loi(B n ) = Bin(n, p) = loi binomiale Loi(N t ) = Poi(λt ) = loi de Poisson
E(B n ) = np E(N t ) = λt
B n = B nk − B nk−1 + · · · + B n1 − B n0 N t = N tk − N tk−1 + · · · + N t1 − N t0
0 = n0 ≤ n1 ≤ · · · ≤ nk = n 0 = t0 ≤ t1 ≤ · · · ≤ tk = t
(B nk − B nk−1 )k∈N indépendantes (N tk − N tk−1 )k∈N indépendantes
Loi(B nk − B nk−1 ) = Bin(n k − n k−1 , p) Loi(N tk − N tk−1 ) = Poi(λ(t k − t k−1 ))
limk→∞ Bin(⌊t k⌋, p k ) = Poi(λt ) quand limk→∞ kp k = λ

TABLE 6.1 – Tableau analogique entre processus de Bernoulli et de Poisson.

he
6.7 Paradoxe de l’autobus

Soit (N t )t ∈R+ un processus de Poisson simple issu de 0, d’intensité λ, et de temps de saut (Tn )n∈N , avec T0 = 0.
Pour tout réel t ≥ 0, T Nt ≤ t < T Nt +1 ce qui permet de considérer la dichotomie

[T Nt , T Nt +1 ] = [T Nt , t ] ∪ [t , T Nt +1 ], de longueurs U t = t − T Nt et Vt = T Nt +1 − t .
uc
Or {U t ≥ u,Vt > v} = {N t +v − N t −u = 0} pour tous 0 < u < t et v > 0, et N t +v − N t −u ∼ Poi(λ(u + v)) (th. 6.5.2), d’où

P(U t ≥ u,Vt > v) = P(N t +v − N t −u = 0) = e−λ(v+u) = e−λv e−λu ,

ce qui montre à la fois que U t et Vt sont indépendantes, que Vt ∼ Exp(λ), et que P(U t > u) = e−λu si 0 < u < t ,
c’est-à-dire que U t a la même loi 3 que min(E , t ) où E ∼ Exp(λ). La formule T Nt +1 − T Nt = U t + Vt donne

1 − e−λt 1 t
Z
E(T Nt +1 − T Nt ) = E(U t ) + E(Vt ) = + car E(U t ) = P(U t > u)du.
λ λ 0
a
En particulier, E(T Nt +1 − T Nt ) > 1/λ et limt →∞ E(T Nt +1 − T Nt ) = 2/λ. En moyenne, l’intervalle [T Nt , T Nt +1 ] délimité
par les deux tops encadrant un temps déterministe fixé t est plus grand que la durée moyenne 1/λ séparant deux
tops consécutifs. Le rapport croît avec t et tend même vers 2 lorsque t → ∞. Cependant, limt →0 E(T Nt +1 −T Nt ) = 1/λ.
Si les tops représentent l’arrivée d’un autobus à la station, l’écart moyen entre le dernier passage avant le temps
éb

t et le prochain passage après le temps t est plus grand que la durée moyenne des passages des autobus à la sta-
tion ! C’est le paradoxe de l’autobus. Il est possible d’interpréter ce paradoxe en faisant appel à la notion d’informa-
tion, qui est à la base de la théorie des probabilités. L’introduction du temps déterministe t correspond à choisir
implicitement un intervalle aléatoire, la loi de la longueur de cet intervalle est donc déformée par ce choix, qui
constitue une information supplémentaire. Si I 0 , I 1 , . . . désignent les intervalles [T0 , T1 ], [T1 , T2 ], . . ., alors l’intervalle
[T Nt , T Nt +1 ] s’écrit I Nt . Pour tout n, la loi de la longueur de I n est exponentielle, mais la loi de la longueur de I Nt n’est
plus exponentielle car N t est aléatoire ! La quantité déterministe t s’est muée en quantité aléatoire N t . L’intuition
n’est correcte que pour des intervalles de longueur déterministe. Plus t est grand, plus le numéro N t de l’intervalle
contenant t est dispersé, de variance λt , et plus la longueur apparente de l’intervalle est grande 4 !

3. La loi de U t est λe−λu 1[0,t ] (u)du + e−λt δt , composée d’une partie à densité sur l’intervalle [0, t ] et d’un atome en t . Ce type de loi com-
posite est typique des phénomèmes de seuillage et de saturation, très courants dans la nature. L’atome en t vient du fait que P(T1 > t ) = e−λt .
4. De manière imagée, le doigt aléatoire désignant l’intervalle tremble d’autant plus que t est grand ! Cela fait penser au phénomène de
biais par la taille, classique en théorie de l’échantillonnage : estimer la taille moyenne des familles d’une population d’être humains en tirant au
hasard des individus dans la population doit tenir compte de la sur ou sous représentation des familles en fonction de leur taille.

99
6.8 Poissonisation d’une chaîne de Markov à temps discret

Exemple 6.8.1. Processus de Poisson composé.

Soit (Zn )n∈N une marche aléatoire sur un semi-groupe E , avec (εn+1 = Zn+1 − Zn )n∈N suite de v.a. i.i.d.
sur E de loi ν, indépendante de Z0 . Soit (N t )t ∈R+ un PPS(0, λ), indépendant de Z . Le processus
(Z Nt = ε0 + · · · + εNt )t ∈R+ est un processus de Poisson composé. Il vérifie

∞ (λt )n ∞ (λt )n
P(Z Nt = y | Z N0 = x) = e−λt P(x + ε1 + · · · + εn = y) = e−λt ν∗n (y − x)
X X
n=0 n! n=0 n!

par le théorème de Fubini – Tonelli. Lorsque ν(0) = 0, les temps de saut de (Z Nt )t ∈R+ sont ceux du proces-
sus de Poisson sous-jacent (N t )t ∈R+ . Dans le cas particulier où (Zn )n∈N est un processus de Bernoulli de
paramètre p ∈ [0, 1], alors ν∗n = Bin(n, p) et on obtient que (Z Nt )t ∈R+ est un PPS(0, pλ).

Remarque 6.8.2. Formules de Wald.

he
Avec les notations de l’exemple 6.8.1 et E = R, si T est une v.a. sur N indépendante de (εn )n∈N , alors a

E(ε1 + · · · + εT ) = E(E(ε1 + · · · + εT | T )) = E(T )E(ε1 ).

Comme (εn )n≥1 et (N t )t ∈R+ sont indépendants et que N t ∼ Poi(λt ), on obtient

E(Z Nt | Z N0 = x) = x + E(ε1 + · · · + εNt ) = x + E(N t )E(ε1 ) = x + λt E(ε1 ).

La même méthode permet d’exprimer la fonction caractéristique de Z Nt en fonction de celle de ν.

uc
a. Le conditionnement est visuel et intuitif, mais l’indépendance permet de s’en affranchir grâce au théorème de Fubini – Tonelli
après réduction au cas positif, plus précisément, E(ε1 + · · · + εT ) = n E((ε1 + · · · + εn )1{T =n} ) = n nE(ε1 )P(T = n) = E(T )E(ε1 ).
P P

Exemple 6.8.3. Poissonisation d’une chaîne de Markov à temps discret.

Reprenons la notion de processus de Poisson composé en la débarrassant de la structure de groupe sur E .

Soit (Zn )n∈N une chaîne de Markov d’espace d’état au plus dénombrable E et de noyau de transition P. Soit
(N t )t ∈R+ un PPS(0, λ), indépendant de (Zn )n∈N . Le processus à temps continu et à espace discret (Z Nt )t ∈R+
est appelée chaîne de Markov poissonisée. Pour tout réel t ≥ 0,
a
Z N t = Zn sur {Tn ≤ t < Tn+1 }.

L’indépendance de Z et N et le fait que N t ∼ Poi(λt ) donnent, par le théorème de Fubini – Tonelli,

éb

∞ (λt )n
P(Z Nt = y | Z N0 = x) = e−λt Pn (x, y).
X
n=0 n!

Les interventions du mécanisme de transition P sont espacées par des temps aléatoires exponentiels indé-
pendants (Tn+1 − Tn )n∈N . Or P ne provoque un saut qu’au bout d’un nombre aléatoire géométrique de ten-
tatives (section 5.5). Ainsi, sachant {Z0 = x}, les temps de saut de (Z Nt )t ∈R+ sont des sommes géométrique
de temps exponentiels indépendants. Le lemme 6.8.4 ci-dessous affirme que ces temps sont exponentiels !

Lemme 6.8.4. Somme géométrique d’exponentielles.

Soit (X n )n≥1 une suite de v.a. i.i.d. de loi exponentielle Exp(λ). Soit Y une v.a. de loi géométrique GeoN∗ (p)
avec p ∈ [0, 1), indépendante de (X n )n≥1 . Alors X 1 + · · · + X Y suit la loi exponentielle Exp(pλ).

Démonstration. Pour tout n ∈ N∗ , X 1 + · · · + X n ∼ Gamma(n, λ) = Exp(λ)∗n . La densité de X 1 + · · · + X Y est

∞ λn
x ∈ R+ 7→ x n−1 e−λx p(1 − p)n−1 = pλe−pλx .
X
n=1 (n − 1)!

100
C’est un mélange géométrique de lois gammas. Alternativement, avec la transformée de Laplace, pour tout θ > 0,
∞ ³ λ ´n pλ
E(e−θ(X 1 +···+X Y ) ) = E(E(e−θ(X 1 +···+X Y ) | Y )) = E(E(e−θX 1 )Y ) = p(1 − p)n−1
X
= .
n=1 λ+θ pλ + θ

■
Plus généralement, la même méthode permet d’établir que si Y suit la loi binomiale négative GeoN∗ (p)∗m , alors
X 1 + · · · + X Y suit la loi Gamma Exp(pλ)∗m . Il y a stabilité de la famille des lois Gamma par mélange géométrique.
Cela correspond au phénomène observé dans l’exemple 6.8.1 : le processus de Poisson composé d’intensité λ ob-
tenu à partir d’un processus de Bernoulli de paramètre p est un processus de Poisson d’intensité λp.

6.9 Chaînes de Markov à temps continu : construction

Nous allons à présent dépasser la temporisation d’une chaîne de Markov à temps discret par un processus de
Poisson indépendant, en considérant une temporisation qui dépend de la position spatiale de la chaîne.
Soit (Zn )n∈N une chaîne de Markov sur E au plus dénombrable de noyau de transition P. On munit chaque état
z ∈ E d’un nombre réel déterministe λ(z) > 0 et d’une suite (E n(z) )n≥1 de v.a. i.i.d. de loi exponentielle Exp(λ(z)). On

he
suppose de plus que les v.a. (E n(z) )z∈E ,n≥1 sont indépendantes, et indépendantes de (Zn )n∈N . Posons à présent

(Z0 ) (Zn−1 )
T0 = 0, et Tn = E 1 + · · · + En , n ≥ 1.

Cette construction assure que conditionnellement à {Z0 = z 0 , . . . , Zn = z n }, la v.a. Tn+1 est bien une somme de v.a.
indépendantes de lois Exp(λ(z 0 )), . . . , Exp(λ(z n )). Presque sûrement, la suite (Tn )n∈N est strictement croissante. Par
conséquent, pour tout réel t vérifiant 0 ≤ t < sup{Tm : m ∈ N}, il existe presque sûrement un unique entier aléatoire
N t vérifiant T Nt ≤ t < T Nt +1 . Cela revient à dire que N t = n sur {Tn ≤ t < Tn+1 }, ou encore que

N t = sup{m ∈ N : Tm ≤ t }.
uc
Par définition, le temps d’explosion est défini par
∞
(Zn−1 )
T∞ = sup{Tm : m ∈ N} = lim Tm =
X
En .
m→∞
n=1

C’est une v.a. qui prend ses valeurs dans R+ ∪{∞}. Pour tout réel t ∈ [0, T∞ ), on définit la v.a. X t à valeurs dans E par

X t = ZNt .
a
Cette variable est définie pour tout réel t ≥ 0 ssi il n’y a pas explosion p.s. : P(T∞ = ∞) = 1.
Le processus (X t )t ∈[0,T∞ ) est une chaîne de Markov à temps continu sur l’espace discret E , associée à λ et P.

Exemple 6.9.1. Cas particulier de la poissonisation.

éb

Lorsque l’intensité λ est constante, alors (N t )t ∈R+ est un processus de Poisson simple, P(T∞ = ∞) = 1, et
(X t )t ∈R+ = (Z Nt )t ∈R+ est la poissonisation de la chaîne de Markov (Zn )n∈N de noyau de transition P. D’autre
part, lorsque E = N, Loi(Z0 ) = δ0 , et P(z, ·) = δz+1 pour tout z ∈ E , alors (X t )t ∈R+ est identique à (N t )t ∈R+ .

6.10 Chaînes de Markov à temps continu : non-explosion

Considérons la chaîne de Markov à temps continu (X t )t ∈[0,T∞ ) sur E construite comme précédemment à partir
de λ et P, de même que la suite (Tn )n∈N associée, de sorte que X Tn = Zn pour tout n, et en particulier X 0 = ZT0 = Z0 .
La trajectoire t 7→ X t pour 0 ≤ t < T∞ est constante par morceaux, et ses temps de saut sont inclus dans la suite de
v.a. (Tn )n≥1 (ce sont tous des temps de saut lorsque P est à diagonale nulle). Pour tout z ∈ E et tout n,

Loi(Tn+1 − Tn | X Tn = z) = Exp(λ(z)) et Loi(X Tn+1 | X Tn = z) = P(z, ·).

Les trajectoires t 7→ X t ne sont définies que pour t < T∞ . Le théorème 6.10.1 ci-dessous montre que lorsque P est
récurrent ou lorsque λ est bornée, alors P(T∞ = ∞) = 1 et les trajectoires sont donc définies pour tout t ∈ R+ .

101
 Théorème 6.10.1. Critère de non-explosion.

Le temps d’explosion T∞ vérifie

∞
³X 1 ´
P(T∞ = ∞) = P =∞ .
n=0 λ(Zn )

En particulier, si λ est bornée ou si Loi(Z0 ) ne charge que des états récurrents de P, alors la chaîne de Markov
à temps continu (X t )t ∈[0,T∞ ) n’explose pas : T∞ = ∞ p.s., et X t est bien définie pour tout t ∈ R+ .

Pour une chaîne de Markov poissonisée, λ est constante donc bornée, donc P(T∞ = ∞) = 1, même si P ne
possède pas d’état récurrent. C’est le cas par exemple pour le processus de Poisson : E = N et P(z, ·) = δz+1 .
Il n’y a jamais explosion si E est fini car alors λ est bornée.

Démonstration. Pour tout entier n, toute suite z 0 , . . . , z n dans E , et tout réel θ > 0,

E(e−θTn+1 | Z0 = z 0 , . . . , Zn = z n ) = E(e−θ(U0 +···+Un ) ),

où U0 , . . . ,Un sont indépendantes avec, pour tout 0 ≤ k ≤ n, Uk ∼ Exp(λ(z k )). Il en découle que pour tout réel θ > 0,

he
n ³ θ ´−1
E(e−θTn+1 | Z0 , . . . , Zn ) =
Y
1+ .
k=0 λ(Zk )

Cela donne la transformée de Laplace de Tn+1 en prenant l’espérance, puis celle de T∞ par convergence monotone :
∞ ³
³Y θ ´−1 ´
E(e−θT∞ ) = E 1+ .
k=0 λ(Zk )

Or pour toute suite (a k )k∈N dans R+ , θa k converge. Comme θ > 0, il en découle que
Q∞ P∞
k=0
(1+θa k ) converge ssi k=0
uc
³ ´ ∞ ³
³Y θ ´−1 P ´
E e−θT∞ 1{T∞ <∞} = E 1+ 1{ ∞ (λ(Zk ))−1 <∞} .
k=0 λ(Zk ) k=0

Les quantités e−θT∞ et ∞ ¢ monotones en θ. Lorsque θ ↘ 0, par convergence monotone,

Q −1
¡P(1+θ/λ(Z
k=0 k )) sont nous
obtenons P(T∞ < ∞) = P n=0 1/λ(Zn ) < ∞ comme attendu. En particulier,
∞
λ
P∞
si est bornée, alors n=0 1/λ(Z n)
diverge p.s. D’autre part ∞ 1
P ©P∞ ª
n=0 1/λ(Z n ) diverge sur l’événement A = n=0 {Z n =Z 0 } = ∞ , donc si Loi(Z 0 ) ne charge
que des états récurrents de P, alors P(A) = 1 et P( ∞ n=0 1/λ(Zk ) = ∞) = P( n=0 1/λ(Zk ) = ∞ | A)P(A) = 1.
P P∞
■
23 → 24
a
Remarque 6.10.2. Non explosion et loi du zéro-un.

La loi du zéro-un pour les horloges exponentielles cumulées du lemme 6.3.1 est une conséquence directe
du critère de non-explosion du lemme 6.10.1 appliqué au cas E = N, P(z, ·) = δz+1 , et Loi(Z0 ) = δ0 . Dans ce
cas (Zn )n∈N est déterministe et Zn = n pour tout n. Par conséquent, ∞
P P∞
n=0 1/λ(Zn ) = n=0 1/λ(n) est déter-
éb

ministe. D’autre part, T∞ = n=1 E n(n−1) et les v.a. (E n(n−1) )n≥1 sont indépendantes, et E n(n−1) ∼ Exp(λ(n − 1)).
P∞

6.11 Chaînes de Markov à temps continu : générateur

Considérons la chaîne de Markov à temps continu (X t )t ∈[0,T∞ ) sur E construite comme précédemment à partir
de λ et P. Supposons qu’il n’y a pas explosion : P(T∞ = ∞) = 1, de sorte que X t est bien défini pour tout réel t ∈ R+ .
Le générateur ou Q-matrice Q : E × E → R de cette chaîne à temps continu est défini pour tout (x, y) ∈ E × E par
(
λ(x)P(x, y) si x ̸= y,
Q(x, y) =
λ(x)(P(x, x) − 1) si x = y.

En utilisant le produit matriciel, on obtient Q = Dλ (P − I), où Dλ : E × E → R+ est la matrice diagonale définie par

Dλ (x, y) = λ(x)1x=y .

Notons que P − I est le générateur de la chaîne à temps discret de noyau de transition P.

Les propriétés caractéristiques d’un générateur sont les suivantes :
(i) Q(x, x) ≤ 0 pour tout x dans E .
(ii) Q(x, y) ≥ 0 pour tous x et y dans E avec x ̸= y.

102
 P
(iii) y∈E Q(x, y) = 0 pour tout x dans E .
Le générateur fournit un nouvel algorithme de simulation des trajectoires en distinguant temps de saut et sauts.
Soit (S n )n∈N la suite des temps de saut de (X t )t ∈R+ à valeurs dans R+ ∪ {∞} définie par

S 0 = 0 et S n+1 = inf{t > S n : X t ̸= X S n },

avec inf ; := ∞. La suite (S n )n∈N est strictement croissante, puis éventuellement constante et égale à ∞.

Théorème 6.11.1. Algorithme de simulation des trajectoires basé sur le générateur.

Les propriétés suivantes ont lieu :

(i) S n ↗ T∞ p.s.
(ii) Pour tous x ∈ E et n ∈ N, conditionnellement à {S n < ∞, X S n = x},
(a) si Q(x, x) = 0, alors S n+1 = ∞, et on dit que x est absorbant.
(b) si Q(x, x) ̸= 0, alors S n+1 < ∞ p.s., S n+1 −S n et X S n+1 sont indépendantes, et pour tout y ∈ E , y ̸= x,

Q(x, y)
Loi(S n+1 − S n | X S n = x) = Exp(−Q(x, x)) et P(X S n+1 = y | X S n = x) = − .

he
Q(x, x)

En particulier la loi (des trajectoires) de (X t )t ∈R+ ne dépend de (λ, P) qu’à travers Q.

Les quantités Q(x, y) sont les taux de transition de la chaîne de Markov à temps continu (X t )t ∈R+ .
Tout générateur permet de construire une chaîne de Markov à temps continu.

Exemple 6.11.2. Processus de Poisson composé.

Si λ est constante et égale à λ, alors le processus de comptage (N t )t ∈R+ de la suite (Tn )n∈N est un processus
uc
de Poisson simple issu de 0 et d’intensité λ, indépendant de (Zn )n∈N , et le générateur de (X t )t ∈R+ est
(
P(x, y) si x ̸= y,
Q(x, y) = λ(P − I)(x, y) = λ
P(x, x) − 1 si x = y.

C’est le cas par exemple pour le processus de Poisson composé de l’exemple 6.8.1.

La simulation des trajectoires de (X t )t ∈[0,T∞ ) peut être menée comme pour les chaînes à temps discret, soit en
utilisant λ et P, soit en utilisant le générateur et la décomposition en sauts fournie par le théorème 6.11.1 (ii)(b)
a
(approche événementielle). Lorsque le temps d’explosion T∞ n’est pas infini p.s. alors ni la loi initiale ni le généra-
teur ne précisent pas la manière dont le processus redémarre après explosion. Il existe une infinité de manières de
procéder, et le prolongement le plus simple consiste à ajouter un point ∞ à l’espace d’état E . Ce point est absorbant
pour le processus prolongé, et les trajectoires explosives sont choisies constantes et égales à ∞ après explosion. Ce
éb

prolongement particulier du processus après explosion est appelé prolongement minimal.

Preuve du théorème 6.11.1. Soient (Tn )n∈N et (Zn )n∈N comme dans la construction de (X t )t ∈R+ précédente. Comme
Tn ≤ S n pour tout entier n, il en découle que S n ↗ T∞ p.s. Soit (Un )n∈N les temps de saut de (Zn )n∈N , définis par

U0 = 0 et Un+1 = inf{m > Un : Zm ̸= ZUn }.

D’après la section 5.5, sachant {ZUn = x}, les variables aléatoires Un+1 −Un et ZUn+1 sont indépendantes et

P(x, y)
δy .
X
Un+1 −Un ∼ GeoN∗ (1 − P(x, x)) et ZUn+1 ∼
y̸=x 1 − P(x, x)

Comme X S n = ZUn , il en découle tout d’abord que sachant {X S n = x}, les variables aléatoires S n+1 − S n et X S n+1 sont
indépendantes. En fait X t = X S n = ZUn pour tout t ∈ [S n , S n+1 ).
Ensuite, comme S n = TUn , nous avons S n+1 − S n = TUn+1 − TUn , et donc, pour tout entier m ≥ 1,

Loi(S n+1 − S n | X S n = x,Un+1 −Un = m) = Exp(λ(x))∗m = Gamma(m, λ(x)).

Comme la loi de Un+1 −Un sachant {ZUn = x} = {X S n = x} est géométrique GeoN∗ (1 − P(x, x)), le lemme 6.8.4 donne

Loi(S n+1 − S n | X S n = x) = Exp(λ(x)(1 − P(x, x))) = Exp(−Q(x, x)).

103
Enfin, pour tout x tel que −Q(x, x) = λ(x)(1 − P(x, x)) > 0, on a pour tous y ∈ E , y ̸= x, et n ∈ N,

P(x, y) λ(x)P(x, y) Q(x, y)

P(X S n+1 = y | X S n = x) = P(ZUn+1 = y | ZUn = x) = = =− .
1 − P(x, x) λ(x)(1 − P(x, x)) Q(x, x)

Si Q(x, x) = 0, alors x est absorbant pour (X t )t ∈R+ , et S n+1 = ∞ sur l’événement {X S n = x}. ■

Remarque 6.11.3. Représentation canonique, chaîne incluse et chaîne harmonisée.

L’écriture sous la forme Q = Dλ (P − I) n’est pas unique. Plusieurs choix sont possibles. Il est commode de
prendre pour λ l’opposé en signe de la diagonale de Q, et pour P le noyau donné par


 0 si x = y et Q(x, x) < 0,

si x = y et Q(x, x) = 0,

1
P(x, y) = Q(x,y)


 − Q(x,x) si x ̸= y et Q(x, x) < 0,

0 si x ̸= y et Q(x, x) = 0.


Ce noyau P est appelée noyau inclus dans Q. La chaîne incluse saute à chaque étape vers un état différent,

he
sauf bien sûr si l’état courant est absorbant. La valeur de λ(z) pour les états z ∈ E tels que Q(z, z) = 0 n’a pas
d’impact sur la loi des trajectoires de (X t )t ∈[0,T∞ ) . La diagonale de P est constituée de 0 et de 1, et ces derniers
correspondent aux états absorbants. Avec ce choix de (λ, P), la suite des temps exponentiels (Tn )n≥1 liée à
λ dans la construction de (X t )t ∈[0,T∞ ) coïncide avec la suite des temps de saut (S n )n≥1 de (X t )t ∈[0,T∞ ) .
Une autre paramétrisation de Q sous la forme Q = Dλ (P−I) s’obtient en faisant en sorte que λ soit constant
et égal à supx −Q(x, x). Cela n’est possible que si ce supremum est fini c’est-à-dire que λ est bornée. Le
noyau P associé est alors appelé noyau harmonisé, et la chaîne associée est appelée chaîne harmonisée.

Remarque 6.11.4. Horloges exponentielles en compétition.

uc
Pour tout x ∈ E , la ligne (Q(x, y)) y∈E a une interprétation en terme d’horloges exponentielles en compéti-
tion.
— Si Q(x, x) = 0 alors x est absorbant et le processus devient constant.
— Si Q(x, x) ̸= 0 alors x n’est pas absorbant et le processus va sauter en un temps fini vers un état y ̸= x
à déterminer. Associons à chaque y ̸= x une horloge qui sonne au bout d’un temps aléatoire de loi
exponentielle de paramètre Q(x, y). Les horloges des différents états y ̸= x sont choisies indépen-
dantes. Le saut se fera au bout d’un temps T vers l’état Y dont l’horloge aura sonné en premier. En
effet, le lemme 6.11.5 entraîne que cet état aléatoire Y est presque sûrement bien défini, qu’il est
a
indépendant de T , que Loi(T ) = Exp(−Q(x, x)), et que P(Y = y) = −Q(x, y)/Q(x, x) pour tout y ̸= x.

L’interprétation en terme d’horloges exponentielles en compétition de la remarque 6.11.4 est commode en

temps continu. Le lemme 6.11.5 n’a pas lieu lorsque les lois exponentielles sont remplacées par des lois géomé-
éb

triques, la probabilité d’égalité de deux v.a. géométriques indépendantes n’est pas nulle.

Lemme 6.11.5. Horloges exponentielles en compétition.

Si (Vz )z∈E est une famille au plus dénombrable de variables aléatoires exponentielles indépendantes telle
que z∈E λz < ∞ où Vz ∼ Exp(λz ), alors V = infz∈E Vz suit la loi exponentielle Exp z∈E λz . De plus, presque
P ¡P ¢

sûrement, l’infimum V est atteint pour un unique élément aléatoire Z de E , indépendant de V , et

λz
P(Z = z) = P(V = Vz ) = P .
z ′ ∈E λz ′

Démonstration. Soit Z la v.a. sur E ∪ {∞} valant z si Vz ′ > Vz pour tout z ′ ̸= z, et ∞ sinon. Déterminons la loi jointe
de (V, Z ). Pour tout z ∈ E et tout réel t ≥ 0, comme {V ≥ t , Z = z} = {Vz ≥ t ,Vz ′ > Vz pour tout z ′ ̸= z} , nous avons
∞ λz
Z
λz ′
P
P(V ≥ t et Z = z) = λz e−sλz P(Vz ′ > s)ds = e−t
Y
z ′ ∈E .
λz ′
P
t z ′ ̸=z z ′ ∈E

Cela donne la loi de V et la loi de Z , en particulier le fait que P(Z ∈ E ) = 1, et l’indépendance de V et Z . ■

104
6.12 Chaînes de Markov à temps continu : semi-groupe et équations de Kolmogorov

Une chaîne de Markov à temps continu d’espace d’état au plus dénombrable E est un processus (X t )t ∈[0,T∞ )
construit comme précédemment à partir d’un champ de temporisation λ et d’un noyau de transition P. Par le
théorème 6.11.1, le générateur Q = Dλ (P − I) caractérise la loi des trajectoires de (X t )t ∈[0,T∞ ) . Quitte à considérer le
prolongement minimal, nous pouvons supposer qu’il n’y a pas explosion : T∞ = ∞ p.s., et que le processus (X t )t ∈R+
est bien défini sur E ∪ {∞}. Pour tout réel t ≥ 0, on considère le noyau de transition

(x, y) ∈ E × E 7→ Pt (x, y) := P(X t = y | X 0 = x) ∈ [0, 1].

En particulier P0 = I. Pour toute f : E → R bornée ou positive et tout t ≥ 0, en notant ν = Loi(X 0 ) la loi initiale,

E( f (X t )) = ν(x)Pt (x, y) f (y) = νPt f .

X
x∈E

En d’autres termes X t ∼ νPt . Il est possible d’établir les propriétés suivantes :

(i) Propriété de Markov. Pour tous x, y ∈ E et s, t ∈ R+ ,
X X
Pt +s (x, y) = Ps (x, z)Pt (z, y) = Pt (x, z)Ps (z, y).

he
z∈E z∈E

Matriciellement Pt +s = Ps Pt = Pt Ps , et P0 = I. On dit que (Pt )t ≥0 est un semi-groupe de Markov.

(ii) Équations de Kolmogorov rétrograde et progressive. Pour tous x, y ∈ E , la fonction t ∈ R+ 7→ Pt (x, y) est déri-
vable (notamment à droite en 0) et solution positive minimale des EDO

d d
Pt (x, y) = (QPt )(x, y) et Pt (x, y) = (Pt Q)(x, y),
dt dt
P (x,y)−P0 (x,y)
En particulier Q(x, y) = ∂t =0+ Pt (x, y) := limt →0+ t t .
uc
Si E est fini, alors Pt = et Q (exponentielle de matrice).

Exemple 6.12.1. Processus de Poisson simple.

Pour le processus de Poisson simple d’intensité λ > 0, on a E = N et pour tous x et y dans N

y−x
 (t λ)

−λ si y = x

si y ≥ x

−t λ
Q(x, y) = +λ si y = x + 1 , et Pt (x, y) = e (y − x)! .
0 sinon
 
0 sinon

a
Ce processus n’explose pas car la diagonale de Q est constante, et donc bornée. Les temps inter-sauts sont
des lois exponentielles i.i.d. de paramètre λ. On peut écrire Q = λ(P − I) où P(x, x + 1) = 1. On reconnaît la
loi de Poisson translatée sur les lignes de Pt puisque Loi(X t | X 0 = x) = δx ∗ Poi(λt ) pour tous x ∈ E et t ≥ 0.
éb

6.13 Chaînes de Markov à temps continu : synthèse

Trois descriptions de la loi d’une chaîne de Markov à temps continu (X t )t ∈R+ , liées par ∂t =0+ Pt = Q = Dλ (P − I) :
— par la donnée de (λ, P).
— par la donnée de Q .
— par la donnée de (Pt )t ≥0 .
Les deux premières descriptions fournissent un algorithme de simulation des trajectoires de la chaîne de Markov à
temps continu, qui sont par construction constantes par morceaux, continues à droite avec limites à gauche.
L’étude de la chaîne à temps continu (X t )t ∈R+ se ramène à celle de la chaîne à temps discret sous-jacente de
noyau P. La récurrence/transience des états est héritée de celle de P. Une mesure µ est invariante lorsque 5 µPt = µ
pour tout t ∈ R+ , ce qui est équivalent à µQ = 0, et les théorèmes de convergence peuvent être développés en se
ramenant à P. Une étude détaillée se trouve dans [56]. La loi des grands nombres ou théorème ergodique et le
théorème limite central prennent la forme suivante :

1
Z t p.s.
Z
p ³1 t
Z Z ´
loi
f (X s )ds −−−→ f dµ et t f (X s )ds − f dµ −−−→ N (0, σ2f ).
t 0 t →∞ t 0 t →∞

Le tableau 6.2 dresse une comparaison analogique entre chaînes à temps discret et continu, en particulier :
5. À ne pas confondre avec l’invariance pour la chaîne incluse lorsque λ n’est pas constante.

105
 — la notion de période est spécifique au cas discret 6 (mais subsiste pour la chaîne incluse).
— la notion de temps d’explosion est spécifique au cas continu (et aux espaces d’états infinis).
— l’interprétation en terme d’horloges est commode pour le cas continu.
— la notion de générateur est commune au cas discret et continu.

Chaîne à temps discret Chaîne à temps continu

Espace d’état au plus dénombrable E et loi initiale ν
Suite (X n )n∈N avec X 0 ∼ ν Processus (X t )t ≥0 avec X 0 ∼ ν
Pn (x, y) = P(X n = y | X 0 = x) Pt (x, y) = P(X t = y | X 0 = x)
Rien d’équivalent Temps d’explosion T∞ ∈ R+ ∪ {∞}
Semi-groupe de Markov (Pn )n∈N Semi-groupe de Markov (Pt )t ∈R+
Noyau de transition P Rien d’équivalent
Générateur L = P − I Générateur L = limt →0+ 1t (Pt − I)
Rien d’équivalent Écriture temporisée L = Dλ (P − I)
E( f (X n )) = νPn f E( f (X t )) = νPt f
Notion de période Rien d’équivalent
Sauts Sauts
S n+1 = inf{n > S n : X n ̸= X S n } S n+1 = inf{t > S n : X t ̸= X S n }
Loi(S n+1 − S n | X S n = x) = GeoN∗ (−L(x, x)) Loi(S n+1 − S n | X S n = x) = Exp(−L(x, x))
L(x,y)
Chaîne incluse P(X S n+1 = y | X S n = x) = − L(x,x)

he
x absorbant ssi L(x, x) = 0
µ invariante ssi µL = 0

TABLE 6.2 – Tableau analogique entre chaînes de Markov à temps discret et à temps continu. Le générateur de la
chaîne à temps continu est noté ici L plutôt que Q pour renforcer l’analogie. Il ne doit pas être confondu avec le
générateur P − I de la chaîne à temps discret associée à une temporisation. Les chaînes de Markov à temps continu
et espace discret sont des processus de sauts markoviens, au sens où l’aléa des trajectoires ne provient que des sauts
(et de la condition initiale). De tels processus peuvent être définis sur des espaces quelconques, discrets ou non. Le
mouvement brownien, qui fait l’objet du chapitre suivant, est markovien, mais n’est pas un processus à sauts.
uc
6.14 Files d’attentes et quelques autres exemples

Exemple de processus explosif

Considérons le générateur Q sur E = N défini par Q(x, x + 1) = −Q(x, x) = a x pour tout x ∈ E , où (a x )x∈N est
une suite de réels positifs telle que ∞
P
x=0 1/a x < ∞. La représentation canonique Q = Dλ (P − I) de Q est donnée par
λ(x) = −a x et P(x, x + 1) = 1 pour tout x ∈ E . Par conséquent, toute chaîne de Markov (Zn )n∈N de noyau P vérifie
1 1
Zn = Z0 + n pour tout n ∈ N, et en particulier ∞ n=0 λ(Zn ) = z=Z0 a z < ∞. Ainsi P(T∞ = ∞) = 0. Explosion p.s. !
P∞
a
P

Files d’attente à temps continu

Considérons des atomes radioactifs dont les arrivées dans un détecteur sont espacées par des durées aléatoires
éb

i.i.d. de loi exponentielle Exp(λ). Après arrivée, chaque atome survit pendant un temps aléatoire de loi Exp(µ), puis
se désintègre. Les atomes sont tous indépendants. On note X t le nombre d’atomes présents à l’instant t . Plaçons-
nous sur l’événement {X 0 = n}, n ≥ 1. Soient V1 , . . . ,Vn les temps de survie des n atomes initiaux, A le temps d’arri-
vée d’un nouvel atome, et T = min(A,V1 , . . . ,Vn ) = min(A,W ) où W = min(V1 , . . . ,Vn ). Notons que X t = n pour tout
t ∈ [0, T ). De plus, X T = n − 1 sur l’événement {T = W }, et X T = n + 1 sur l’événement {T = A}. Or A,V1 , . . . ,Vn sont
indépendantes. De plus, A ∼ Exp(λ) et Vk ∼ Exp(µ) pour tout 1 ≤ k ≤ n. Ainsi

λ nµ
T ∼ Exp(λ + nµ), P(T = A) = , et P(T = W ) = .
λ + nµ λ + nµ

Si n = 0 alors l’étude est simplifiée car seul A est présent. Cette construction peut être renouvelée de manière
indépendante après le temps T , grâce à l’absence de mémoire des lois exponentielles. Ce modèle correspond à une
chaîne de Markov à temps continu sur E = N avec temporisation donnée par λ(n) = λ + nµ et noyau de transition
6. On pourrait penser que les phénomènes de période apparaissent également lors de la simulation de chaînes à temps continu, puisque
l’informatique est le règne des structures discrètes. Cependant, les méthodes de simulation des chaînes à temps continu font appel à des simu-
lations approximatives de variables exponentielles via des nombres réels dyadiques. Ces approximations brisent la spécificité des modèles et
donnent naissance à des processus à temps discret qui ont toutes les chances d’être apériodiques.

106
 λ nµ
donné par P(n, ·) = λ+nµ δn+1 + λ+nµ δn−1 . Le générateur Q = Dλ (P − I) est donné par


nµ si m = n − 1

λ

si m = n + 1
Q(n, m) = .


−(λ + nµ) si n = m

0 sinon


Le processus de Poisson simple correspond au cas où µ = 0. Le noyau de vie ou de mort P est irréductible et sa
période vaut 2. Sa récurrence découle de la condition nécessaire et suffisante de récurrence des processus de vie
ou de mort irréductibles sur N (section 5.14.1). Comme P est récurrent, le temps d’explosion est infini p.s. et X t est
bien défini pour tout réel t ≥ 0. Le semi-groupe de Markov (Pt )t ∈R+ possède l’expression explicite suivante :
³ 1 − e−µt ´ ³λ´
Pt (n, ·) = Loi(X t | X 0 = n) = Bin(n, e−µt ) ∗ Poi λ −→ Poi .
µ t →∞ µ

En effet, on vérifie par calcul que ∂t =0+ Pt (n, m) = Q(n, m). Une vérification directe montre que la loi de Poisson
Poi(λ/µ) est invariante pour Q. Par conséquent, si X 0 ∼ Poi(λ/µ), alors X t ∼ Poi(λ/µ) pour tout t ∈ R+ .

he
Le processus (X t )t ∈R+ peut être interprété de la manière suivante : des clients arrivent selon un processus de
Poisson d’intensité λ, et ils sont servis immédiatement par un serveur dédié dont l’intensité de service est µ. Les
temps de service ne dépendent pas du processus des arrivées. La variable aléatoire X t représente le nombre de
clients en cours de service à l’instant t . Ce processus est connu sous le nom de file d’attente M/M/∞. Les deux
lettres M utilisées rappellent que les arrivées et les services suivent des lois exponentielles : ces processus sont
Markoviens ou sans Mémoire. Cette terminologie due à Kendall est détaillée dans les premières pages de [59].
Cette interprétation en termes de file d’attente suggère la généralisation suivante : des clients arrivent selon un
processus de Poisson d’intensité λ, mais seuls s serveurs sont disponibles. Lorsque tous les serveurs sont occupés,
les clients en surnombre attendent qu’un serveur se libère. Le processus associé compte le nombre de clients en
uc
attente et en cours de service. Ce processus est appelé file d’attente M/M/s. L’interprétation en terme d’horloges
exponentielles en compétition suggère de considérer le générateur défini, pour tous n, m ∈ N, par


min(s, n)µ si m = n − 1

λ

si m = n + 1
Q(n, m) = .


−(λ + min(s, n)µ) si n = m

0 sinon


Le cas s = ∞ correspond à la file d’attente M/M/∞. L’interprétation de Q en terme d’horloges exponentielles en

a
compétition permet également de simuler ces files d’attente de manière intuitive. De manière générale, les proces-
sus de vie ou de mort sur N à temps continu sont des files d’attente.
Il est également possible de construire un générateur qui tient compte de la présence d’une salle d’attente de
capacité finie, de phénomènes d’impatience, de phénomènes de compétition entre clients ou entre serveurs, de
éb

politiques de service, de variation des intensités au cours du temps, etc. Les files d’attente font partie des processus
markoviens les plus utilisés en modélisation : lignes téléphoniques, aéroports, feux tricolores, caisses de supermar-
ché, parkings, échanges de données sur les réseaux informatiques, allocation mémoire des ordinateurs, etc.

Versions à temps continu de chaînes de Markov usuelles

Les versions à temps continu de la marche aléatoire simple sur Zd , des processus de vie ou de mort sur N, de
la chaîne d’Ehrenfest, et de la chaîne de Wright – Fisher sont faciles à construire à partir de leur noyau de transition
et d’une temporisation par un champ d’exponentielles. Idem pour la version à temps continu du processus de
Galton – Watson, appelée processus de Yule.

Pour aller plus loin 6.14.1.

— Processus ponctuels de Poisson [59].

— Processus de Poisson composé avec dérive et ruine d’une compagnie d’assurance [11].
— Équations de Kolmogorov progressive et rétrograde pour les chaînes à temps continu [56, sec. 2.8].

107
Chapitre 7

Mouvement brownien

24 → 25
À propos de la loi normale ou gaussienne du théorème limite central, désigné sous le nom de loi des erreurs
à l’époque : «Cette loi ne s’obtient pas par des déductions rigoureuses ; plus d’une démonstration qu’on a voulu en
donner est grossière, entre autres celle qui s’appuie sur l’affirmation que la probabilité des écarts est proportionnelle
aux écarts. Tout le monde y croit cependant, me disait un jour M. Lippmann, car les expérimentateurs s’imaginent
que c’est un théorème de mathématiques, et les mathématiciens que c’est un fait expérimental. » In Le calcul des Pro-
babilités (1896) p. 149, Henri Poincaré (1854 – 1912). C’était avant l’œuvre de Paul Lévy (1886 – 1971) notamment.

he
Comme le dit le physicien Oriol Bohigas i Guardiola (1925 – 2021), de nos jours, nous savons que c’est à la fois un
fait expérimental et un théorème de mathématiques !
Tout comme le théorème limite central, le mouvement brownien, grâce à de multiples contributions, est à la fois
un phénomène physique et un phénomène mathématique, voir figures 7.1, 7.2, et 7.3. Ce chapitre aborde quelques
aspects du mouvement brownien mathématique.
uc
Processus de Markov

Processus de Lévy
a
éb

Mouvement brownien

Martingales Processus gaussiens

108
 20 25

20

15

-20
10

5
-40

-60

-5

-80 -10
-60 -50 -40 -30 -20 -10 0 10 -10 0 10 20 30 40

10 20

0
0

-10

he
-20

-20

-40
-30

-40 -60
-50 -40 -30 -20 -10 0 10 -40 -30 -20 -10 0 10

F IGURE 7.1 – Premiers pas de quatre trajectoires approchées du mouvement brownien plan issu de l’origine, avec
une marche aléatoires à pas gaussiens, simulée avec le code plot(cumsum(randn(2,1000))). La fonction plot
uc
effectue automatiquement une interpolation linéaire entre les points, coordonnées du vecteur passé en paramètre.
a
éb

F IGURE 7.2 – Extrait du fameux livre [57] intitulé « Les Atomes » (1913) de Jean Perrin (1870 – 1942) : trois tracés de la
trajectoire de grains de mastic de rayon 0.53 µm, vus au microscope. Positions successives, toutes les 30 secondes,
reliées par des segments linéaires (taille de maille de 3.1 µm). Ces expériences, inspirées par les observations histo-
riques de Robert Brown (1773 – 1858), ont permis de tester l’hypothèse atomiste ou moléculaire avancée par Ludwig
Boltzmann (1944 – 1906), Albert Einstein (1879 – 1955), Marian Schmoluchovski (1872 – 1917), entre autres. « Ainsi,
la théorie moléculaire du mouvement brownien peut être regardée comme expérimentalement établie, et, du même
coup, il devient assez difficile de nier la réalité objective des molécules. ». Louis Bachelier (1870 – 1946) a identifié
indépendamment un phénomène physique similaire des actifs financiers.

109
F IGURE 7.3 – Interprétation atomiste du mouvement brownien physique : une particule de poussière dans un li-
quide est sujette à un grand nombre de collisions avec les molécules du liquide, beaucoup plus petites et désor-
données par la chaleur. Dans la réalité, le ratio des diamètres est élevé, par exemple le rayon du grain de mastic
observé par Perrin est de 0.53 µm tandis qu’une molécule d’eau a un rayon d’environ 0.17 nm, ce qui donne un
ratio d’environ 3000. De plus, dans la réalité, la densité des molécules est élevée, la distance entre les molécules est

he
d’environ 0.31 nm pour l’eau. Dans cette interprétation atomiste, le mouvement brownien physique est une sorte
de marche aléatoire à temps continu et à espace continu, à trajectoires faites d’une succession de sauts à temps et
positions aléatoires, vue à une échelle temps-espace qui la rend proche du mouvement brownien mathématique,
sa limite d’échelle idéalisée. Les modèles sont des caricatures, les limites d’échelle des caricatures de caricatures.

|x|2
− 2t
e
Pour tous t > 0, d ≥ 1, la densité de N (0, t I d ) sur Rd est x ∈ Rd 7→ p t (x) = p , où |x|2 = x 12 + · · · + x d2 , et
( 2πt )d
Z
p t +s (x) = (p t ∗ p s )(x) = p t (x − z)p s (z)dz, s, t > 0.
Rd
uc
Définition 7.0.1. Mouvement brownien ou processus de Wiener.

Un mouvement brownien (MB) de Rd issu de B 0 , défini sur un espace de probabilité (Ω, F , P), est un proces-
sus à temps continu B = (B t )t ∈R+ à valeurs dans Rd , c’est-à-dire une application (t , ω) ∈ R+ ×Ω 7→ B t (ω) ∈ Rd
telle que ω 7→ B t (ω) est une variable aléatoire pour tout t ∈ R+ , vérifiant les propriétés suivantes :
1. ses trajectoires t 7→ B t sont presque sûrement continues, on dit que B est un processus continu.
2. ses accroissements sont indépendants, stationnaires, et gaussiens :
a
— B t1 − B t0 , . . . , B tn − B tn−1 sont indépendantes pour tous 0 = t 0 < t 1 < · · · < t n , n ≥ 0.
— B t − B s ∼ N (0, (t − s)I d ) pour tous 0 ≤ s ≤ t .

— À ce stade, B n’est pas conçu comme une v.a. à valeurs dans C (R+ , Rd ), cela viendra plus tard.
B est une sorte de vecteur gaussien sur (Rd )R+ (dimension infinie !)
éb

—
— Il n’y a aucune condition sur B 0 , en particulier B t = B 0 + B t − B 0 peut ne pas être gaussienne !
— La stationnarité signifie que la loi de l’accroissement ne dépend que de l’écart temporel.
— Le théorème 3.3.4 donne ∂t E( f (B t ) | B 0 = x) = ∂t (p t ∗ f )(x) = 12 ∆(p t ∗ f )(x) (équation de la chaleur).

Remarque 7.0.2. MB comme limite d’échelle temps-espace : principe d’invariance de Donsker.

Si X 1 , X 2 , . . . sont i.i.d. centrées de variance σ2 , alors pour tous 0 = t 0 < t 1 < · · · < t k , k ≥ 1, par le TLC,

(n) ¢ loi X 1 + · · · + X ⌊nt ⌋ + (nt − ⌊nt ⌋)X ⌊nt ⌋+1

S (n) −−−→ Loi((B t1 , . . . , B tk )) où S (n)
¡
t1 , . . . , S tk − n→∞ t = p .
nσ2
Ceci exprime la convergence d’une marche aléatoire renormalisée en temps et en espace vers un MB :
¡ (n) ¢
S t t ∈R+ −−−−→ (B t )t ∈R+
n→∞

au sens des lois marginales de dimension finie. Avec un argument de tension, cela peut être renforcé en une
convergence des lois sur les trajectoires, en concevant ces processus comme des v.a. sur C (R+ , R) muni de
la tribu cylindrique, qui coïncide avec la tribu borélienne de la topologie de la convergence uniforme sur
les compacts. Ce phénomène limite central sur les trajectoires, appelé principe d’invariance de Donsker,
exprime le fait que le MB est un objet limite gaussien universel, du moment que les accroissements de la

110
marche aléatoire sont centrés et de variance finie. En revanche, lorsque les accroissements de la marche
aléatoire ont une variance infinie, on parle de vol de Lévy, la classe d’universalité n’est plus la même, le
théorème limite est le TLC stable de Lévy, et la limite d’échelle est un processus de Lévy. La modélisation
aléatoire « bain thermique » des particules du liquide remplace avantageusement la modélisation détermi-
niste par un grand nombre (Avogadro) de sphères dures satisfaisant aux équations de Newton.

# Code Python simulant des trajectoires de marches aléatoires à incréments iid gaussiens
import numpy as np ; import [Link] as plt
for i in range(1,11):
[Link]([Link]([Link](1,1000)[0]),'k-',linewidth=1)
[Link]('off') ; [Link]()

# Code Julia simulant des trajectoires de marches aléatoires à incréments iid gaussiens
using Plots # using Pkg ; [Link]("Plots")
for i=1:10
plot!(cumsum(randn(1000,1),dims = 1),lw=1,legend=false,grid=false,axes=([],false))

he
end
gui() # le graphique obtenu est celui figurant sur la couverture de ces notes !

— Lois finies dimensionnelles. Un processus de Rd continu (X t )t ≥0 issu de x ∈ Rd est un MB ssi pour tout n ≥ 1,
tous 0 < t 1 < · · · < t n , et tous A i ∈ BRd , 1 ≤ i ≤ n, on a
Z
P(X t1 ∈ A 1 , . . . , X tn ∈ A n ) = p t1 (x 1 − x)p t2 −t1 (x 2 − x 1 ) · · · p tn −tn−1 (x n − x n−1 )dx 1 · · · dx n .
A 1 ×···×A n
uc
— Reduction au cas centré. B = (B t )t ∈R+ est un MB ssi B − B 0 = (B t − B 0 )t ∈R+ est un MB issu de 0.
— Réduction au cas unidimensionnel. Si (X t )t ≥0 est d -dimensionnel et X t = (X t1 , . . . , X td ) sont les coordonnées
dans Rd , alors X est un MB issu de 0 ssi les deux propriétés suivantes ont lieu :
(i) (X ti )t ≥0 est un MB sur R issu de 0, pour tout 1 ≤ i ≤ d .
(ii) (X t1 )t ≥0 , . . . , (X td )t ≥0 sont des processus indépendants.
Lorsque X 0 n’est pas déterministe, les coordonnées de X peuvent être corrélées.

Définition 7.0.3. Processus gaussiens.

a
Un processus X = (X t )t ∈R+ sur Rd est un processus gaussien lorsque toutes ses lois fini-dimensionnelles
sont gaussiennes : le vecteur aléatoire (X t1 , . . . , X tn ) est un gaussien pour tout n ≥ 1 et tous 0 ≤ t 1 < · · · < t n .
Cela revient à dire que à la fois X 0 et les accroissements de X sont gaussiens au sens où le vecteur aléatoire
(X t0 , X t1 − X t0 , . . . , X tn − X tn−1 ) est gaussien pour tout n ≥ 1 et tous 0 = t 0 < t 1 < · · · < t n .
éb

Un MB est gaussien lorsque sa condition initiale est gaussienne et indépendante de ses incréments.

Remarque 7.0.4. Processus de Lévy.

Si B est un MB, alors pour tous n ≥ 1 et 0 = t 0 < · · · < t n , les accroissements B t1 − B t0 , . . . , B tn − B tn−1 sont
indépendants, et stationnaires au sens où leur loi ne dépend que des différences t 1 − t 0 , . . . , t n − t n−1 entre
les temps successifs. Aussi le MB est à accroissements indépendants et stationnaires, et ces processus sont
appelés processus de Lévy, sous-classe des processus de Markov. Le processus de Poisson du chapitre 6
est aussi un processus de Lévy, pour lequel les accroissements sont de loi de Poisson, et les trajectoires
constantes par morceaux, continues à droite avec limites à gauche.

111
7.1 Caractérisations, martingales, invariance d’échelle

Théorème 7.1.1. Caractérisation du MB par gaussianité et covariance.

Soit X = (X t )t ∈R+ un processus sur R, issu de 0, continu.

Alors X est un MB ssi X est gaussien, centré, de covariance donnée par E(X t X s ) = s ∧ t pour tous s, t ∈ R+ .

Démonstration. Soit (X t )t ≥0 un MB issu de 0. Nous savons déjà qu’il est gaussien. De plus, pour tous n ≥ 1 et
0 = t 0 < t 1 < · · · < t n , les v.a. X t1 −X t0 , X t2 −X t1 , . . . , X tn −X tn−1 sont gaussiennes, centrées, indépendantes, de variance
t 1 − t 0 , . . . , t n − t n−1 , donc le vecteur aléatoire (X t1 − X t0 , X t2 , . . . , X tn − X tn−1 ) est gaussien centré, donc le vecteur
aléatoire (X t1 , . . . , X tn ) l’est aussi (image linéaire). De plus, pour tous 0 ≤ s ≤ t ,

E(X s X t ) = E(X s (X t − X s )) + E(X s2 ) = 0 + s = s = s ∧ t .

Réciproquement, si (X t )t ∈R+ est gaussien, centré, avec E(X s X t ) = s ∧ t pour tous s, t ≥ 0, alors pour tous n ≥ 1 et
0 = t 0 < t 1 < · · · < t n , le vecteur aléatoire (X t1 − X t0 , X t2 − X t1 , . . . , X tn − X tn−1 ) est gaussien, centré, de covariance

K i , j = E((X ti +1 − X ti )(X t j +1 − X t j )) = t i +1 ∧ t j +1 + t i ∧ t j − t i +1 ∧ t j − t i ∧ t j +1 = t i +1 + t i − t i +1 ∧ t j − t i = (t i +1 − t i )1i = j

he
lorsque i ≤ j , elle est donc diagonale, égale à diag(t 1 − t 0 , t 2 − t 1 , . . . , t n − t n−1 ), ce qui implique l’indépendance des
accroissements X t1 − X t0 , X t2 − X t1 , . . . , X tn − X tn−1 , leur gaussiannité, et stationnarité, donc (X t )t ∈R+ est un MB. ■

Corollaire 7.1.2. Invariance par rééchelonnement (scaling) espace-temps.

³ ´
Si B = (B t )t ∈R+ est un MB sur R, issu de 0, alors p1 B c t l’est aussi, pour tout réel c > 0.
c t ≥0
uc
³ ´
Démonstration. Le processus p1 B ct est continu, gaussien, de même covariance que le MB. ■
c t ≥0

Théorème 7.1.3. Caractérisation martingale Fourier/Laplace du MB.

Soit (X t )t ∈R+ un processus sur Rd , issu de 0, continu, et sa filtration naturelle (Ft )t ∈R+ , Ft := σ(X s : s ∈ [0, t ]).
Alors les propriétés suivantes sont équivalentes :
(i) X est un MB.
(ii) X t − X s est indépendante de Fs et X t − X s ∼ N (0, (t − s)I d ), pour tous 0 ≤ s < t .
a
2
(iii) E(eiλ·(X t −X s ) | Fs ) = exp − |λ| (t2 −s) pour tous 0 ≤ s < t et λ ∈ Rd .
¡ ¢

|λ|2 t
(iv) (M tλ )t ∈R+ = (eiλ·X t + 2 )t ∈R+ est une martingale pour (Ft )t ∈R+ , pour tout λ ∈ Rd .
|λ|2 t
(v) (N tλ )t ∈R+ = (eλ·X t − )t ∈R+ est une martingale pour (Ft )t ∈R+ , pour tout λ ∈ Rd .
éb

— La notion de martingale s’adapte au temps continu : si (M t )t ∈R+ est un processus sur (Ω, F , P), et (Ft )t ∈R+
une famille croissante de sous-tribus de F (filtration à temps continu), alors M est une martingale lorsque
M t est Ft -mesurable (adaptation), M t ∈ L 1 (intégrabilité), et E(M t | Fs ) = M s , pour tous t ≥ s ≥ 0.
— La notion de martingale s’adapte également immédiatement aux processus à valeurs complexes.
— Une v.a. X est indépendante d’une tribu F ssi E( f (X ) | F ) est une v.a. constante pour une famille de fonc-
tions test f qui caractérise la loi (exemples : transformée de Fourier ou de Laplace de la loi conditionnelle).

Démonstration. L’implication (i)⇒(ii) est immédiate. L’équivalence (ii)⇔(iii) provient des propriétés de l’espérance
conditionnelle et de la fonction caractéristique conditionnelle. L’implication (iii)⇒(i) s’obtient en utilisant la pro-
priété d’emboîtement des espérances conditionnelles pour obtenir la loi du vecteur des accroissements.
En multipliant les deux membres de (iii) par eiuZ pour une v.a. Z Fs -mesurable bornée, et en prenant l’espé-
rance, il vient que X t −X s est indépendante de Fs et X t −X s ∼ N (0, (t −s)I d ). Ceci démontre l’équivalence (iii)⇔(iv).
La propriété (v) n’est que la version Laplace de (iv) (Fourier). ■

Définition 7.1.4. MB par rapport à une filtration.

Soit (Ω, F , (Ft )t ∈R+ , P) un espace de probabilité filtré. On dit qu’un processus continu (X t )t ∈R+ dans Rd
est un MB pour la filtration (Ft )t ∈R+ lorsque X est (Ft )t ∈R+ adapté et l’accroissement X t − X s est in-

112
 dépendant de Fs pour tous 0 ≤ s ≤ t , et suit la loi gaussienne N (0, (t − s)I d ). Cela revient à dire que
(exp(iλ · X t + 12 |λ|2 t ))t ∈R est une (Ft )t ∈R+ -martingale pour tout λ ∈ Rd .
+

— Si (X t )t ∈R+ est un MB pour (Ft )t ∈R+ , alors X est un MB au sens de la définition 7.0.1. Réciproquement, si
(X t )t ∈R+ est un MB au sens de la définition 7.0.1, alors c’est un MB pour sa filtration naturelle.
— Être un MB est une affaire de loi des trajectoires : penser à un vecteur gaussien de dimension infinie. Il est
établi par la suite que si B est un BM alors le processus défini par X 0 := 0 et X t := t B 1/t pour tout t > 0 est un
MB, pour sa filtration naturelle, mais pour pour celle de B .

Théorème 7.1.5. Propriétés de martingale.

Soit B = (B t )t ∈R+ un MB sur Rd pour (Ft )t ∈R+ et B t = (B t1 , . . . , B td ) ses coordonnées. Pour tous 1 ≤ j , k ≤ d ,
j
(i) (B t )t ∈R+ est une martingale pour (Ft )t ∈R+ lorsque B 0 ∈ L 1 .
j
(ii) (B t B tk − 1 j =k t )t ∈R est une martingale pour (Ft )t ∈R+ lorsque B 0 ∈ L 2 .
+

he
Un fameux théorème de Paul Lévy, abordé en général dans un cours de calcul stochastique de M2, affirme que
ces propriétés caractérisent le MB dans une classe assez large de processus continus.

Démonstration. Les mesurabilités et intégrabilités sont claires. Pour tous 1 ≤ j ≤ d , 0 ≤ s ≤ t ,

j j j j j j j j j
E(B t − B s | Fs ) = E(B t − B s ) = 0 donc E(B t | Fs ) = E(B t − B s + B s | Fs ) = B s .

De même, pour tous 1 ≤ j , k ≤ d et tous 0 ≤ s ≤ t , en utilisant en plus l’indépendance des composantes,

j j j j
E((B t − B s )(B tk − B sk ) | Fs ) = E((B t − B s )(B tk − B sk )) = (t − s)1 j =k
uc
d’où
j j j j j j j
E(B t B tk − t 1 j =k | Fs ) = E((B t − B s )(B tk − B sk ) + B t B sk + B s B tk − B s B sk − t 1 j =k | Fs ) = B s B sk − s1 j =k .
■
L’objet mathématique MB existe-t-il vraiment ? Une construction explicite est donnée dans la section 7.6.

7.2 Variation des trajectoires et variation quadratique

a
Pour la régularité des trajectoires, la propriété de continuité s’oppose à celle d’accroissements indépendants.

Théorème 7.2.1. Variation et variation quadratique du MB.

Soit B = (B t )t ∈R+ un MB sur R issu de 0, [u, v] un intervalle réel, 0 ≤ u < v, et δ une partition ou subdivision
éb

de [u, v], δ : u = t 0 < · · · < t n = v, n ≥ 1. Considérons les quantités suivantes :

n−1 n−1
|B ti +1 − B ti |2 .
X X
r 1 (δ) := |B ti +1 − B ti | et r 2 (δ) :=
i =0 i =0

Alors les propriétés suivantes ont lieu :

(i) lim|δ|→0 r 2 (δ) = v − u dans L 2 et donc en P, où |δ| := sup0≤i ≤n−1 (t i +1 − t i ).
Ainsi la variation quadratique de B sur un intervalle fini est donnée par la longueur de l’intervalle.
(ii) supδ∈P r 1 (δ) = +∞ p.s., où P est l’ensemble des partitions ou subdivisions de [u, v].
Ainsi les trajectoires de B ont une variation infinie sur tout intervalle, p.s.

— La propriété (i) révèle l’irrégularité des trajectoires du MB. En effet, pour f : [u, v] 7→ R de régularité C 1 ,
l’inégalité des accroissements finis donne r 2 (δ) ≤ ∥ f ′ ∥2∞ ( n−1 ∥ f ′ ∥2∞ (v − u)|δ| → 0 si |δ| → 0.
P
i =0 (t i +1 − t i ))|δ| = R
b
— La propriété (ii) indique qu’on ne peut pas définir l’intégrale stochastique a ϕt dB t (ω) d’une fonction ϕ
continue par rapport à la trajectoire t 7→ B t (ω) avec les sommes de Riemann. Cependant, comme l’ont re-
marqué Döblin et Itô, la propriété (i) est la clé d’une définition L 2 ou en P de cette intégrale stochastique,
abordée dans un cours de calcul stochastique, et qui permet de résoudre des EDS (EDO stochastiques).

Démonstration.

113
 (i) Si Z ∼ N (0, 1) alors E(Z 4 ) = 3. Les propriétés des accroissements du MB donnent
¢2 ¢
E((r 2 (δ))2 ) = E |B ti +1 − B ti |2
¡¡ X
i
E(|B ti +1 − B ti |4 ) + 2 E(|B ti +1 − B ti |2 |B t j +1 − B t j |2 )
X X
=
i i<j
2
X X
=3 (t i +1 − t i ) + 2 (t i +1 − t i )(t j +1 − t j )
i i<j
¢2
(t i +1 − t i )2 + (t i +1 − t i ) = 2 (t i +1 − t i )2 + (v − u)2 .
X ¡X X
=2
i i i

De plus E(r 2 (δ)) =

P
i (t i +1 − t i ) = v − u. Donc

E((r 2 (δ) − (v − u))2 ) = 2 (t i +1 − t i )2 ≤ 2 max(t i +1 − t i )(v − u) −→ 0.

X
i i |δ|→0

(ii) La première propriété implique l’existence d’une suite (δk )k de subdivisions de [u, v] telle que

lim |δk | = 0 et lim r 2 (δk ) = lim |B t k − B t k |2 = v − u p.s.

X

he
k→∞ k→∞ k→∞ i i +1 i

et donc, presque sûrement,

|B t k − B t k |2
P
i
k
X i +1 i
sup r 1 (δ) ≥ r 1 (δ ) = |B t k − B t k | ≥ −→ +∞,
δ i i +1 i maxi |B t k − B t k | k→∞
i +1 i

où on a utilisé le fait que maxi |B t k − B t k | → 0 p.s. quand k → ∞, car |δk | → 0 et p.s. les trajectoires de B sont
i +1 i
continues donc uniformément continues sur tout intervalle fini donc compact comme [u, v] (th. de Heine).
uc
■
— La preuve de la propriété (i) reste valable au-delà du cadre gaussien, pourvu que les accroissements soient
indépendants, stationnaires, centrés, de variance linéaire, et de moment d’ordre 4 fini.
— La preuve de la propriété (ii) révèle une propriété plus forte : de toute suite de subdivisions (δk ) de [u, v]
telle que |δk | → 0, on peut extraire une sous-suite qui fait diverger presque sûrement r 1 vers +∞. 25 → 26

7.3 Loi du zéro-un de Blumenthal et ses conséquences, loi de Bachelier – Lévy

a
Théorème 7.3.1. Propriétés des trajectoires du MB.

Soit B = (B t )t ∈R+ un MB sur R issu de 0, et Ft := σ(B s : s ∈ [0, t ]). Alors :

éb

(i) Loi du zéro-un de Blumenthal : P(A) ∈ {0, 1} pour tout A ∈ F0+ , où F0+ := ∩t >0 Ft .
(ii) Presque sûrement, infs∈[0,ε] B s < 0 et sups∈[0,ε] B s > 0 pour tout ε > 0.
(iii) Pour tout a ∈ R, presque sûrement a , T a = inf{t ∈ R+ : B t = a} < +∞.
(iv) Presque sûrement b , limt →∞ B t = −∞ et limt →∞ B t = +∞.
(v) Presque sûrement, la fonction t ∈ R+ 7→ B t n’est monotone sur aucun intervalle non singleton.
a. En revanche T a n’est pas borné, comme peut le montrer un argument de martingale arrêtée (exemple 4.4.4).
b. Ceci n’implique pas que presque sûrement limt →∞ |B t | = +∞.

Dessin !

Démonstration.
(i) L’idée est de montrer que F0+ est indépendante d’elle-même. Pour tout A ∈ F0+ , tout k ≥ 1, toute f : Rk → R
continue bornée, et tous 0 < t 1 < · · · < t k , les continuités de f et de B donnent, par convergence dominée,

E(1 A f (B t1 , . . . , B tk )) = lim E(1 A f (B t1 − B ε , . . . , B tk − B ε )).

ε→0+

Or lorsque 0 < ε < t 1 , les v.a. B t1 − B ε , . . . , B tk − B ε sont indépendantes de Fε et donc de F0+ . D’où

E(1 A f (B t1 , . . . , B tk )) = lim P(A)E( f (B t1 − B ε , . . . , B tk − B ε )) = P(A)E( f (B t1 , . . . , B tk )).

ε→0+

114
 Ainsi F0+ est indépendante de σ(B t1 , . . . , B tk ) pour tous k ≥ 1 et 0 < t 1 < · · · < t k , et donc indépendante de la
tribu σ(B t : t > 0) par classes monotones 1 . Or σ(B t , t > 0) = σ(B t , t ≥ 0) car B 0 = 0, et F0+ ⊂ σ(B t , t ≥ 0).
(ii) Pour la propriété en sup, il suffit de montrer que P(A) = 1 où A = n sups∈[0,1/n] B s > 0 . Observons que
T © ª

A ∈ n F1/n = t >0 Ft = F0+ . D’autre part,

T T

³ ´ ³ ´ 1
P sup B s > 0 ↘ P(A) tandis que P sup B s > 0 ≥ P(B 1/n > 0) = ,
s∈[0,1/n] n→∞ s∈[0,1/n] 2
donc P(A) ≥ 1/2, d’où P(A) = 1 par (i). La propriété en inf s’obtient en utilisant −B au lieu de B .
(iii) Le (ii) donne P sups∈[0,1] B s > ε ↗ P sups∈[0,1] B s > 0 = 1. Par invariance par rééchelonnement (cor. 7.1.2),
¡ ¢ ¡ ¢
ε→0
³ ´ ³ ´ ³ ´ ³ ´
P sup B s > ε = P sup ε−1 B ε2 s > 1 = P sup B s > 1 ↗ P sup B s > 1 .
s∈[0,1] s∈[0,ε−2 ] s∈[0,ε−2 ] ε→0 s≥0

Donc P sups≥0 B s > 1 = 1. À nouveau par rééchelonnement, pour tout R > 0, et en remplaçant B par −B ,
¡ ¢

³ ´ ³ ´
P sup B s > R = 1 et P inf B s < −R = 1.
s≥0 s≥0

Par conséquent, pour tout R > 0, la trajectoire de B sort de l’intervalle [−R, R] p.s. D’autre part B 0 = 0.

he
Or comme B est continu, le théorème des valeurs intermédiaires donne T a < +∞ p.s. pour tout a ∈ R.
(iv) Découle directement de la fin de la preuve de la propriété (iii). Notons qu’en combinant (iv) avec la continuité
p.s. des trajectoires et le théorème des valeurs intermédiaires, nous obtenons que {t : B t = 0} est non-borné
p.s., d’où inf{t > 0 : B t = 0} < ∞ p.s., et réciproquement grâce à la propriété de Markov forte !
(v) De la propriété (ii) sur les sup et inf, et la structure des accroissements, presque sûrement, pour tout t ∈ Q∩R+
et tout ε > 0, infs∈[t ,t +ε] B s < B t et sups∈[t ,t +ε] B s > B t , d’où le résultat.
■

Corollaire 7.3.2. Loi du temps d’atteinte via transformée de Laplace.

uc
Si (B t )t ∈R+ est un MB sur R issu de 0, alors pour tout a > 0, le temps d’atteinte T a = inf{t ≥ 0 : B t = a} a pour
p a a2
transformée de Laplace λ ≥ 0 7→ E(e−λTa ) = e−a 2λ et pour densité t ∈ R+ 7→ p e− 2t .
2πt 3

— La loi de T a est appelée loi de Lévy ou loi de Bachelier.

— La v.a. T a = inf{t ∈ R+ : B t = a} est bien mesurable car en notant C ∈ F un événement p.s. sur lequel B a
des trajectoires continues, C ∩ {T a ≤ t } = C ∩ {sups∈[0,t ]∩Q B s ≥ a}, pour tous a ∈ R et t ∈ R+ . Ceci montre
également que T a est un temps d’arrêt, à condition que C ∈ Ft pour tout t ∈ R+ . Ceci est en particulier
a
toujours le cas lorsque F0 contient tous les négligeables de F , c’est-à-dire lorsque (Ft )t ∈R+ est une tribu
complète. Nous faisons toujours implicitement cette hypothèse lorsque T a est utilisé comme temps d’arrêt.

Démonstration. Le th. 7.3.1 donne T a < ∞ p.s. Pour tous c, R > 0, la version à temps continu du théorème d’arrêt
éb

c2 c2
de Doob 2 (th. 4.4.1) pour la martingale (ecB t − 2 t
)t ∈R+ et le temps d’arrêt T a ∧ R donne E(ecB Ta ∧R − 2 (T a ∧R)
) = 1. Or
2 2
cB T a ∧R − c2 (T a ∧R) ca cB T a − c2 Ta
comme e ≤ e , nous obtenons E(e ) = 1 par convergence dominée, quand R → ∞.
La continuité de B donne B Ta = a p.s. d’où la transformée de Laplace, puis la densité par inversion (difficile). ■
— La loi de T a est également obtenue, et mieux comprise, dans le corollaire 7.5.3, via la propriété de Markov.
— La densité de la loi de T a est unimodale, à queue lourde, sans espérance. Le comportement du MB res-
semble à celui de la marche aléatoire simple, dont il est la limite d’échelle temps-espace, et bénéficie des
symétries continues des limites d’échelle continues. La dépendance en a de la densité de la loi de T a est liée
à l’invariance par rééchelonnement du MB (corollaire 7.1.2), qui indique que T a et a 2 T1 ont même loi :
loi
T a = inf{t ∈ R+ : B t = a} = inf{t ∈ R+ : a1 B t = 1} = a 2 inf{t ∈ R+ : a1 B a 2 t = 1} = a 2 inf{t ∈ R+ : B t = 1} = a 2 T1 .
2
La loi de T1 a un mode et une médiane distincts. Ceux de T a sont proportionnels
p à ap . Tout cela est relié à la
relation entre échelles temps-espace du MB : l’écart-type de B t est t , de sorte que t = a donne t = a 2 .
1. Soit H l’ensemble des v.a. bornées indépendantes de A, c’est-à-dire de 1 A . C’est un espace vectoriel, contenant les constantes, stable
par convergence monotone. Soit K l’ensemble des v.a. bornées de la forme f (B t1 , . . . , B tk ) pour un k ≥ 1 et des 0 < t 1 < · · · < t k arbitraires. Cet
ensemble est stable par multiplication. Nous avons déjà démontré que K ⊂ H, donc par le théorème des classes monotones fonctionnel, H
contient toutes les v.a. bornées mesurables pour la tribu engendrée par K, qui n’est rien d’autre que σ(B t : t > 0). Cet argument n’est plus valable
si K est remplacé par l’ensemble des v.a. bornées de la forme f (B t ) pour un t > 0 arbitraire, car cet ensemble n’est pas stable par produit. Du
reste, si X , Y , Z sont des v.a. avec X indépendante de Y et de Z , alors X n’est pas forcément indépendante de (Y , Z ). Il n’est donc pas suffisant
de démontrer que A est indépendant de σ(B t ) pour tout t > 0, c’est la raison pour laquelle nous considérons des événements multi-temps.
2. Peut se démontrer de la même manière en approchant le temps d’arrêt par une suite de temps d’arrêts discrets sur les dyadiques.

115
7.4 Loi forte des grands nombres, invariance par inversion du temps

Tout comme pour le processus de Poisson, l’indépendance et la stationnarité des incréments du MB mène
naturellement à une loi forte des grands nombres. Cependant, l’argument sandwich exploitant la monotonie des
trajectoires du processus de Poisson dans la preuve du théorème 6.5.5 n’est pas valable pour le MB. La formule

B t B 1 − B 0 + · · · + B ⌊t ⌋ − B ⌊t ⌋−1 ⌊t ⌋ B t − B ⌊t ⌋
= + ,
t ⌊t ⌋ t t

notamment son dernier terme, suggère de chercher à contrôler uniformément B sur un intervalle de temps fini.

Théorème 7.4.1. Loi forte des grands nombres pour le MB.

Bt
Si (B t )t ∈R+ est un MB sur R issu de 0 alors lim = 0 p.s. et dans L p pour tout p ∈ [1, ∞).
t →∞ t

p loi
Le théorème limite central se résume à l’observation directe suivante : t Btt ∼ N (0, 1) −→ N (0, 1).
t →∞
La convergence p.s. reste valide pour un B 0 arbitraire, et la convergence L p lorsque B 0 ∈ L . p
Dessin !

he
|p )
Démonstration. Comme pour tout t > 0 et tout p > 0, E(| Btt |p ) = E(|B 1
t p/2
, et B 1 ∼ N (0, 1), il vient Btt → 0 dans L p et
donc en probabilité, quand t → ∞. La convergence p.s. peut s’obtenir en contrôlant la vitesse de la convergence en
probabilité, par un argument de tension. Plus précisément, soient a et b des réels tels que 0 < a < b. Nous avons
³ ³ B ´2 ´ 1 ³ ´
t
E sup ≤ 2 E sup B t2 .
a≤t ≤b t a a≤t ≤b

Par la version à temps continu de l’inégalité maximale de Doob (th. 4.7.2) pour la martingale (B a+t )t >0 sur [0, b − a],
uc
³ ³ B ´2 ´ 1 4b ³ ³ B ´2 ´ 8
t t
E sup ≤ 2 4E(B b2 ) = 2 , d’où E sup ≤ .
a≤t ≤b t a a 2n ≤t ≤2n+1 t 2n

L’inégalité de Markov donne alors, pour tout ε > 0,

³ ¯B ¯ ´ 1 ³ ³ B ´2 ´ 8 ∞ ³ ¯B ¯ ´
¯ t¯ t ¯ t¯
P ¯ ¯>ε ≤ 2E P ¯ ¯ > ε < ∞.
X
sup sup ≤ n 2, d’où sup
2n ≤t ≤2n+1 t ε 2n ≤t ≤2n+1 t 2 ε n=0 2n ≤t ≤2n+1 t

Par le lemme de Borel – Cantelli, il existe A ε ∈ F tel que P(A ε ) = 1, et pour tout ω ∈ A ε , il existe n ω tel que pour
tout n ≥ n ω , sup2n ≤t ≤2n+1 ¯ B t t(ω) ¯ ≤ ε, ce qui implique qu’il existe t ω tel que pour tout t ≥ t ω , | B t t(ω) | ≤ ε. Il reste à
¯ ¯
a
Bt
considérer l’événement A = ∞ r =1 A 1 , qui vérifie P(A) = 1, et sur lequel limt →∞ t = 0.
T
■
r

Corollaire 7.4.2. Invariance par inversion du temps.

éb

Si B = (B t )t ∈R+ est un MB sur R issu de 0, alors X := (t B 1/t )t ∈R+ , avec X 0 := 0, est aussi un MB.

Démonstration. Le processus X est gaussien, centré, et E(X s X t ) = s ∧ t pour tous s, t ≥ 0. Il reste à démontrer que
X est continu. Par définition, X est continu sur (0, ∞). La continuité p.s. en 0 découle de la loi forte des grands
nombres du théorème 7.4.1 car limt →0+ X t = limt →0+ t B 1/t = limt →+∞ (B t /t ) = 0. p.s. ■
La preuve du corollaire 7.4.2 est réversible : si nous savons démontrer autrement que p.s. t 7→ t B 1/t est continue
en t = 0, alors cela donne immédiatement en corollaire la loi forte des grands nombres du théorème 7.4.1. Ici aussi,
il est clair que t B 1/t → 0 dans L p et donc en probabilité quand t → 0, et le problème est d’établir la convergence p.s.

7.5 Propriété de Markov, principe de réflexion, temps d’atteinte

Si (B t )t ∈R+ est un MB alors il est immédiat que pour tout T > 0 fixé, (B T +t − B T )t ∈R+ est un MB, issu de 0, et
indépendant de FT . Il s’agit de la propriété de Markov faible. Elle s’étend aux temps d’arrêt T :

Théorème 7.5.1. Propriété de Markov forte du MB.

Soit B = (B t )t ∈R+ un MB sur Rd issu de 0, pour la filtration (Ft )t ∈R+ sur un espace de probabilité (Ω, F , P).
Soit T un temps d’arrêt, et FT := {A ∈ F : ∀t ∈ R+ , A ∩ {T ≤ t } ∈ Ft } sa tribu d’arrêt. Alors :

116
 (i) Conditionnellement à {T < ∞}, (B T +t − B T )t ∈R+ est un MB issu de 0, indépendant de FT .
(ii) Pour tous n ≥ 1, f : (Rd )n 7→ R mesurable et bornée, et 0 ≤ t 1 ≤ · · · ≤ t n ,

E( f (B T +t1 , . . . , B T +tn )1{T <∞} | FT ) = F (B T )1{T <∞} où F (x) = E( f (x + B t1 , . . . , x + B tn )).

en particulier E( f (B T +t1 , . . . , B T +tn ) | T < ∞, B T = x) = E( f (x + B t1 , . . . , x + B tn )).

L’énoncé et la preuve sont semblables à ce qui a déjà été fait pour le processus de Poisson (théorème 6.4.2).
La situation ici est cependant moins subtile car les trajectoires sont continues, et non plus seulement càdlàg.

Ceci n’est pas abordé en priorité lors du cours oral.

Démonstration.
(i) Supposons tout d’abord que P(T < ∞) = 1. Posons B ∗ := (B T +t − B T )t ∈R+ . Pour tout n ∈ N, posons
∞
k+1
2n 1T ∈[k/2 ,(k+1)/2 ) ,
X
Tn := n n
k=0

he
à ne pas confondre avec le temps d’atteinte de n. Nous avons T ≤ Tn et Tn prend ses valeurs dans
l’ensemble dyadique D n := {k/2n : k ∈ N}. De plus Tn est un temps d’arrêt, et Tn ↘ T . Notons au
passage que comme B a p.s. des trajectoires continues, nous avons B T +t = limn→∞ B Tn +t p.s. et donc
B T +t est bien mesurable. Soit A ∈ FT , m ≥ 0, et 0 = t 0 < · · · < t m < ∞. Par convergence dominée, pour
toute ϕ : (Rd )m → R continue et bornée, la continuité p.s. des trajectoires de B donne

E(1 A ϕ(B t∗1 , . . . , B t∗m )) = E(1 A ϕ(B T +t1 − B T , . . . , B T +tm − B T ))

= lim E(1 A ϕ(B Tn +t1 − B Tn , . . . , B Tn +tm − B Tn )).
uc
n→∞

De plus, pour tout n ≥ 1, A ∈ FT ⊂ FTn car T ≤ Tn . En utilisant la propriété de Markov faible,

E(1 A ϕ(B Tn +t1 − B Tn , . . . , B Tn +tm − B Tn )) = E(1 A∩{Tn =r } ϕ(B r +t1 − B r , . . . , B r +tm − B r ))

X
r ∈D n

E(1 A∩{Tn =r } E(ϕ(B r +t1 − B r , . . . , B r +tm − B r ) | Fr ))

X
=
r ∈D n

P(A ∩ {Tn = r })E(ϕ(B t1 , . . . , B tm ))

X
=
r ∈D n
a
= P(A)E(ϕ(B t1 , . . . , B tm )).

Ceci démontre que B ∗ est indépendant de FT . En prenant A = Ω, ceci démontre également que B ∗ a
les mêmes lois finies dimensionnelles que B , c’est donc un processus gaussien de même covariance
que B . Comme B ∗ hérite par ailleurs de B le fait d’avoir p.s. des trajectoires continues, il s’agit bien
éb

d’un MB (l’argument doit être utilisé pour chacune des d composantes de B ∗ ). Enfin, pour T pouvant
prendra la valeur ∞, le même argument fonctionne avec A remplacé par A ∩ {T < ∞}.
(ii) Il suffit d’écrire, sur {T < ∞}, la décomposition

(B T +t1 , . . . , B T +tn ) = (B T +t1 − B T , . . . , B T +tn − B T ) + (B T , . . . , B T ),

où (B T +t1 −B T , . . . , B T +tn −B T ) est indépendant de FT et (B T , . . . , B T ) est FT -mesurable, puis d’exploi-

ter une propriété adéquate de l’espérance conditionnelle (aléa résiduel après moyennisation de l’aléa
indépendant). Enfin, le « en particulier » vient du fait que σ({T < ∞}, B T ) ⊂ FT .
■

Corollaire 7.5.2. Principe de réflexion.

Soit B un MB sur R issu de 0. Pour tout t ≥ 0, S t := sups∈[0,t ] B s vérifie les propriétés suivantes :
(i) P(T a ≤ t , B t − a ≤ −(a − b)) = P(T a ≤ t , B t − a ≥ a − b) pour tous a ≥ 0 et b ∈ (−∞, a].
(ii) P(S t ≥ a, B t ≤ b) = P(B t ≥ 2a − b) pour tous a ≥ 0 et b ∈ (−∞, a].
(iii) S t et |B t | ont même loi.

117
 — La propriété (i) exprime le fait que sur {T a ≤ t }, la probabilité que B t soit en dessous du niveau b = a −(a −b)
est égale à celle d’être au-dessus du niveau 2a − b = a + (a − b). Nous avons B Ta = a. Par la propriété de
Markov forte, le processus après le temps d’arrêt T a est encore un MB, issu de a, indépendant de T a , ce qui
entraîne que la loi des trajectoires après T a est symétrique par rapport à a (réflexion), voir figure 7.4.
— Notons que S t = sups∈[0,t ] B s est mesurable car en notant C ∈ F un événement sur lequel B a des trajectoires
continues, C ∩ {S t ≥ x} = C ∩ {sups∈[0,t ]∩Q B s ≥ x} pour tous x ∈ R et t ∈ R+ . Ceci montre aussi que S t est de
plus adapté lorsque F0 contient les négligeables de F , c’est-à-dire lorsque (Ft )t ∈R+ est une tribu complète.

he
F IGURE 7.4 – Illustration du principe de réflexion du corollaire 7.5.2 avec t = 1, a = 1, et b = 0.75.
26 → 27

Démonstration.
(i) Montrons que (i) et (ii) sont équivalents. Comme B a p.s. des trajectoires continues issues de 0, nous avons
uc
{T a ≤ t } = {S t ≥ a} p.s 3 . D’autre part, comme a − b ≥ 0 et a ≥ 0, nous avons

{B t ≥ 2a − b} = {B t − a ≥ a − b} ⊂ {B t − a ≥ 0} ⊂ {S t ≥ a}.

Et comme b = a − (a − b), la propriété (i) se réécrit en (ii).

(ii) L’idée est de se ramener au processus B t∗ := B Ta +t −B Ta = B Ta +t −a, et d’exploiter la propriété de Markov forte.
Avant tout, notons que T a = inf{t ≥ 0 : B t = a} < ∞ p.s. grâce au théorème 7.3.1. À présent, nous avons

P(S t ≥ a, B t ≤ b) = P(T a ≤ t , B t ≤ b) = P(T a ≤ t , B t∗−Ta ≤ b − a),

a
où on a utilisé dans la dernière étape le fait que B t∗−Ta = B Ta +t −Ta − B Ta = B t − a, ce qui fait sens sur {T a ≤ t }.
Par la propriété de Markov forte (théorème 7.5.1), B ∗ est indépendant de T a et a la même loi que B . Comme
B ∗ et −B ∗ ont même loi, il vient que (T a , B ∗ ) a la même loi que (T a , −B ∗ ). Aussi

P(T a ≤ t , B t∗−Ta ≤ b − a) = P(T a ≤ t , −B t∗−Ta ≤ b − a)

éb

= P(T a ≤ t , −(B t − a) ≤ b − a)
= P(T a ≤ t , B t ≥ 2a − b)
= P(B t ≥ 2a − b)

où la dernière étape s’obtient grâce à l’argument de la preuve de la propriété (i).

(iii) La propriété (ii) avec b = a, l’inégalité B t ≤ S t , et le fait que B t et −B t ont même loi, donnent

P(S t ≥ a) = P(S t ≥ a, B t ≤ a) + P(S t ≥ a, B t ≥ a)

= P(B t ≥ a) + P(B t ≥ a)
= P(B t ≥ a) + P(B t ≤ −a)
= P(|B t | ≥ a).

■
La preuve du corollaire 7.5.2 ne fait intervenir ni la gaussianité ni la covariance du MB. En revanche, elle fait
intervenir l’indépendance et la stationnarité des accroissements via la propriété de Markov forte, et la symétrie de
leur loi. Le principe de réflexion est ainsi valable pour une large classe de processus, incluant la marche aléatoire
simple sur Z, analogue discret du MB. Cela est utile notamment pour le test statistique de Kolmogorov – Smirnov.

3. Par convention, A ⊂ B p.s. lorsqu’il existe Ω′ ∈ A tel que P(Ω′ ) = 1 et A ∩ Ω′ ⊂ B ∩ Ω′ .

118
 Corollaire 7.5.3. Densités.

Soit (B t )t ∈R+ un MB sur R issu de 0. Alors :

(2a−b) 2
2(2a−b)
(i) Pour tout t > 0, la loi du couple (sups∈[0,t ] B s , B t ) a pour densité (a, b) ∈ R2 7→ p e− 2t 1a≥0,b≤a .
2πt 3
a2
a2 p |a| e− 2t
(ii) Pour tout a ∈ R, T a = inf{t ≥ 0 : B t = a} a même loi que B 12
et a pour densité t ∈ R+ 7→ 1t >0 .
2πt 3

Démonstration.
(i) Conséquence directe du corollaire 7.5.2.
(ii) Grâce au corollaire 7.5.2, P(T a ≤ t ) = P(S t ≥ a) = P(|B t | ≥ a) = P(B t2 ≥ a 2 ) = P(t B 12 ≥ a 2 ) = P(a 2 /B 12 ≤ t ).
■

Ainsi, à dilatation près, la loi de Lévy ou de Bachelier se trouve être finalement une loi inverse χ2 , cas spécial de
loi inverse gamma. En physique, elle est connue sous le nom de loi ou profil de van der Waals.
Le corollaire 7.3.2 aborde la loi de T a via des martingales arrêtées au lieu de la propriété de Markov.

he
7.6 Construction avec le théorème de continuité de Kolmogorov, loi du logarithme itéré

L’existence mathématique du MB n’est pas évidente. Historiquement, Norbert Wiener semble être le premier à
donner une construction rigoureuse, vers 1923, et pour cette raison, le MB est également appelé processus de Wie-
ner. Une idée naturelle et intuitive pour construire le MB est de le réaliser comme une limite d’échelle d’une marche
aléatoire à accroissements de variance finie, par exemple gaussiens, en exploitant le phénomène TLC, comme évo-
qué dans la remarque 7.0.2. Ceci est très utile pour obtenir par simulation une approximation numérique des tra-
jectoires. La construction du MB proposée ci-dessous est basée sur une autre idée naturelle : le concevoir comme
une superposition d’une infinité de v.a. gaussiennes centrées orthogonales, bref la limite d’une série aléatoire.
uc
Théodéf 7.6.1. Pré-mouvement brownien, gaussien avec la bonne covariance, mais pas encore continu.

Considérons les ingrédients suivants : R∞

— L’espace de Hilbert de dimension infinie H = L 2 (R+ , dt ) muni de 〈 f , g 〉H = 0 f (t )g (t )dt , f , g ∈ H .
— Une base hilbertienne (suite orthonormée à espace engendré dense) (e n )n∈N de H .
— Une suite (X n )n∈N de v.a. i.i.d. gaussiennes définies sur (Ω, A , P) de loi N (0, 1).
Alors les propriétés suivantes ont lieu :
(i) Bef := n∈N X n 〈 f , e n 〉H est une série aléatoire qui converge dans L 2 (Ω, A , P), pour tout f ∈ H .
P
a
(ii) Bef est une v.a. gaussienne réelle centrée de variance ∥ f ∥2H , pour tout f ∈ H .
(iii) f 7→ Bef est une isométrie linéaire H → L 2 (Ω, A , P) : pour tous f , g ∈ H et α, β ∈ R,

Beα f +βg = αBef + βBeg et E(Bef Beg ) = 〈 f , g 〉H .

éb

(iv) Le pré-MB (B t )t ∈R+ où B t := Be1[0,t ] est gaussien de même moyenne et covariance que le MB :
Z s∧t
E(B t ) = 0 et E(B s B t ) = 〈1[0,s] , 1[0,t ] 〉H = du = s ∧ t , pour tous s, t ∈ R+ .
0

— Le pré-MB n’a pas de raison d’être continu, il est construit comme p une limite L 2 , et non pas uniforme.
— Les polynômes orthogonaux d’Hermite amortis e n = P n (x) p(x) sont un exemple de base. La construction
du pré-MB sur l’intervalle fini I ⊂ R+ , plutôt que sur R+ , peut se faire en utilisant l’espace de Hilbert L 2 (I , dt )
et les bases de Fourier (construction de Wiener) ou de Haar (construction de Lévy) par exemple. Le passage
d’une construction B (0) = (B t(0) )t ∈[0,1] sur l’intervalle de temps [0, 1] à une construction sur R+ peut se faire
B 1 + B t(⌊t
P ⌋−1 (k)
naturellement en répétant à l’infini la même construction : B t := ⌊t k=0
⌋)
−⌊t ⌋ , pour tout t ∈ R+ , où
(B (n) )n≥1 sont des copies indépendantes de B (0) , ce qui produit un processus gaussien de covariance s ∧ t .

Démonstration.
converge dans L 2 (Ω, A , P) car le critère de Cauchy est vérifié :
P∞
(i) Pour tout f ∈ H , la série n=0 X n 〈g , e n 〉 H

³³ p+q ´2 ´ p+q
E 〈 f , e n 〉2H −→ 0.
X X
X n 〈 f , e n 〉H =
n=p n=p p,q→∞

119
 (ii) Comme la convergence dans (i) a lieu dans L 2 , les deux premiers moments convergent, en particulier E(Bef ) = 0
et E((Bef )2 ) = n∈N 〈 f , e n 〉H = ∥ f ∥2H quand f ∈ H . D’autre part, par le lemme 7.6.2, Bef est une v.a. gaussienne.
P

(iii) La linéarité découle du fait que le terme général de la série aléatoire est linéaire en f . Le caractère isométrique
sur H provient de (ii). La formule s’obtient par polarisation, ou directement : pour tous f , g ∈ H ,

E(Bef Beg ) = E(X n X m )〈 f , e n 〉H 〈g , e m 〉H = 〈 f , e n 〉H 〈g , e n 〉H = 〈 〈 f , e n 〉H e n , 〈 f , e m 〉H e m 〉H = 〈 f , g 〉H .

X X X X
n,m n n m

(iv) Pour tout d ≥ 1 et tous 0 ≤ t 1 ≤ · · · ≤ t d , le vecteur aléatoire (B t1 , . . . , B td ) de Rd est la limite dans L 2 d’une
suite de vecteur aléatoires gaussiens de Rd , par construction de ses composantes. Il est donc gaussien par le
lemme 4 7.6.2. Il est par ailleurs centré avec la même matrice de covariance que pour le MB.

Lemme 7.6.2. Convergence gaussienne.

Si X n est un vecteur gaussien de Rd de moyenne m n et de matrice de covariance K n , X ∈ L 2 , et X n → X dans

L 2 , alors X ∼ N (m, K ) où m = limn→∞ m n et K = limn→∞ K n , et X n → X dans L p pour tout p ≥ 1.

Il est possible de ne supposer qu’une convergence en probabilité, mais la preuve est alors plus subtile.

he
Preuve du lemme 7.6.2. La convergence dans L 2 donne m n → m et K n → K . Ensuite, pour tout t ∈ Rd ,
1 1
ϕ X (t ) = lim ϕ X n (t ) = lim ei〈t ,mn 〉− 2 〈K n t ,t 〉 = ei〈t ,m〉− 2 〈K t ,t 〉 = ϕN (m,K ) (t )
n→∞ n→∞

d’où X ∼ N (m, K ). Enfin, pour tout p ≥ 1, comme E(|X n |p ) est continue en m n et K n , elle est bornée en n. Donc
pour tout p ≥ 1, |X n |p est bornée dans disons L 2 , donc u.i., tandis que X n → X en P, d’où X n → X dans L p . ■
■
uc
Concernant la régularité des trajectoires, nous savons déjà que la propriété de continuité s’oppose à celle
d’indépendance des accroissements (théorème 7.2.1). Le théorème ci-dessous affirme que cela reste compatible
lorsque les accroissements sont suffisamment intégrables (la queue de leur distribution n’est pas trop lourde).

Théorème 7.6.3. Critère de continuité ou de tension de Kolmogorov.

Soit (X t )t ∈R+ un processus défini sur un espace de probabilité (Ω, A , P) et prenant ses valeurs dans un es-
pace de Banach B de norme ∥·∥, et tel que la propriété suivante de tension des accroissements a lieu :

∃p ≥ 1, ε > 0, c > 0, ∀s, t ≥ 0, E(∥X t − X s ∥p ) ≤ c|t − s|1+ε .

a
Alors il existe sur le même espace de probabilité un processus continu (X t∗ )t ∈R+ à valeurs dans B tel que :
(i) X ∗ est une modification de X : pour tout t ≥ 0, P(X t∗ = X t ) = 1.
(ii) X ∗ est à trajectoires γ-Hölder pour tout γ ∈ (0, ε/p) sur tout intervalle
éb

¯ fini : p.s., pour tout t > 0, pour

tout γ ∈ (0, ε/p), il existe une v.a. C γ , telle que pour tous u, v ∈ [0, t ], ¯ X u∗ − X v∗ ¯ ≤ C γ |u − v|γ .
¯

Démonstration. La preuve fait appel à un chaînage 5 . Pour alléger les notations, nous allons nous contenter d’éta-
blir le résultat sur l’intervalle de temps [0, 1]. Montrons d’abord que X est Hölder sur les dyadiques D = ∪n∈N Dn où
Dn = {k/2n : k ∈ {0, . . . , 2n }} ⊂ Dn+1 . Pour tous n ≥ 1, ε > 0, et γ > 0, l’inégalité de Markov et (i) donnent

³ ´ X2n ³ ´ X2n ³ ´
P max ∥X k − X k−1 ∥ ≥ 2−γn ≤ P ∥X k − X k−1 ∥ ≥ 2−γn ≤ 2γpn E ∥X k − X k−1 ∥p
1≤k≤2n 2n 2n
k=1 2n 2n
k=1 2n 2n

n −n(1+ε)+γpn
≤ c2 2 = c2−n(ε−γp) .
³ ´
Choisissons à présent γ ∈ (0, ε/p), de sorte que n=1 P
P∞
max1≤k≤2n ∥X k − X k−1 ∥ ≥ 2−γn < ∞. Le lemme de Borel –
2n 2n
Cantelli fournit alors un événement A = A γ ∈ A tel que P(A) = 1 et pour tout ω ∈ A, il existe Nω tel que pour tout
n ≥ Nω , nous avons max1≤k≤2n ∥X k − X k−1 ∥ ≤ 2−γn . Donc il existe une v.a. C = C γ telle que pour tout n ∈ N,
2n 2n

C < ∞ p.s. et max ∥X k − X k−1 ∥ ≤ C 2−γn .

1≤k≤2n 2n 2n

4. Il est possible de ne faire appel au lemme que dans sa version d = 1, en considérant les accroissements de B , qui sont gaussiens par le
lemme, mais aussi indépendants comme limite dans L 2 d’une suite de vecteurs aléatoires de Rd à composantes indépendantes.
5. Inventé semble-t-il par Andrei Kolmogorov, et dont l’usage a contribué au succès de Michel Talagrand bien plus tard.

120
L’événement p.s. A dépend de γ, mais par monotonie, il peut être rendu valable pour tout γ ∈ (0, ε/p). Démontrons
que sur A, les trajectoires de X sont γ-Hölder sur D, pour tout γ ∈ (0, ε/p). Soient s, t ∈ D, s < t . Comme D = ∪n Dn
et Dn ⊂ Dn+1 pour tout n, nous avons s, t ∈ Dn à partir d’un certain rang sur n. Choisissons à présent n assez grand
pour que 2−n ≤ |t − s|. Notons également s = k 1 /2n et t = k 2 /2n , k 1 < k 2 , de sorte que k 2 − k 1 = |t − s|2n . Nous
pouvons alors exploiter le résultat précédent en utilisant un chaînage :

k2
− X k−1 ∥ ≤ (k 2 − k 1 )C 2−γn = |t − s|C 2−n(γ−1) ≤ |t − s|C |t − s|γ−1 = C |t − s|γ .
X
∥X t − X s ∥ ≤ ∥X k
2n 2n
k=k 1 +1

Donc sur l’événement A, les trajectoires de X sont γ-Hölder sur D pour tout γ ∈ (0, ε/p). En particulier, sur A, les
trajectoires de X sont uniformément continues sur D. Comme D est dense sur [0, 1] et comme B est un espace
métrique complet, nous pouvons donc considérer l’unique fonction continue 6 t ∈ [0, 1] 7→ X t∗ (ω) qui coïncide avec
t 7→ X t (ω) sur D, ω ∈ A. Par continuité, cette fonction est γ-Hölder.
Montrons que X ∗ est une modification de X . Par construction, X t = X t∗ pour tout t ∈ D. Soit t ∈ [0, 1]. Comme
D est dense dans R+ , il existe (t n )n∈N dans D t.q. t n → t , ce qui, combiné à l’hypothèse de tension, donne X tn → X t
dans L p ((Ω, A , P), (B, ∥·∥)). Par le lemme de Borel – Cantelli, il existe donc une sous-suite (t ϕ(n) )n∈N t.q. X tϕ(n) → X t
p.s. Or par continuité de X ∗ , X t∗ϕ(n) → X t∗ p.s., et comme X tϕ(n) = X t∗ϕ(n) p.s., il vient que X t∗ = X t p.s. ■

he
Corollaire 7.6.4. Existence du MB.

Le MB sur R existe, et donc le MB sur Rd existe pour tout d ≥ 1. De plus, p.s. les trajectoires du MB sur R
sont, sur chaque intervalle de temps fini, Hölder d’ordre γ pour tout γ ∈ (0, 1/2), pas plus.

Démonstration. Le cas d ≥ 1 se ramène au cas d = 1. Soit B le pré-MB du th. 7.6.1 avec d = 1. Pour tous 0 ≤ s < t ,

Bt − Bs
p ∼ N (0, 1), et donc 7 E((B t − B s )2n ) = c n (t − s)n .
t −s
uc
Le cas du moment d’ordre 4 (n = 2) permet d’utiliser le théorème 7.6.3, avec p = 4, ε = 1, γ < pε = 14 , ce qui donne
un processus continu B ∗ tel que pour tout t ≥ 0, P(B t∗ = B t ) = 1. Le processus continu B ∗ est gaussien et de même
covariance que B , c’est donc un MB sur R issu de 0. De plus, en utilisant p = 2n avec n arbitraire, nous obtenons la
régularité γ-Hölder des trajectoires, pour tout γ < n−1 1
2n → 2 . Enfin la loi du logarithme itéré (corollaire 7.6.6) donne
1
la régularité optimale en excluant le cas γ = 2 . ■

Théorème 7.6.5. Loi du logarithme itéré (LLI).

a
Si (B t )t ∈R+ est un MB sur R alors
³ Bt Bt ´
P lim p = −1, lim p =1 =1
t ↘0 2t log(log(1/t )) t ↘0 2t log(log(1/t ))
éb

et ³ Bt Bt ´
P lim p = −1, lim p = 1 = 1.
t →∞ 2t log(log(t )) t →∞ 2t log(log(t ))

La LLI met en lumière le rééchelonnement critique entre convergence p.s. (LGN) et en loi (TLC) (théorème
7.4.1). Elle est facile à deviner à partir de son analogue pour les sommes de v.a. i.i.d.

Ceci n’est pas abordé en priorité lors du cours oral.

Démonstration. La seconde propriété découle de la première en utilisant l’invariance par inversion du

temps (corollaire 7.4.2). Démontrons la première propriété. On peut supposer sans perte de généralité que
Bt
B 0 = 0. Comme B et −B ont même loi, il suffit d’établir que P(limt ↘0 h(t
p
) = 1) = 1 où h(t ) := 2t log(log(1/t ))
pour t < 1/e. Pour tous α > 0 et β > 0, l’inégalité maximale de Doob (version continue du théorème 4.7.2)

6. Rappelons la propriété topologique générale suivante : si S et T sont des espaces métriques, D ⊂ S est dense dans S, T est complet, et
f : D → T est uniformément continue, alors il existe une unique fe : S → T continue telle que fe = f sur D.
7. Nous avons c n = E(Z 2n ) = (2n)!
2n n!
où Z ∼ N (0, 1) mais cette formule explicite pour c n n’est pas utilisée ici.

121
 2
utilisée pour la martingale (exp(αB t − α2 t ))t ∈R donne, pour tout t ∈ R+ ,
+

³ ³ α ´ ´ ³ α2
´
P max B s − s > β = P max eαB s − 2 s ≥ eαβ ≤ e−αβ .
s∈[0,t ] 2 s∈[0,t ]

(1+δ)h(θ n ) h(θ n )
Pour tous θ, δ ∈ (0, 1) et n ≥ 1, cette inégalité avec t = θ n , α = θn et β = 2 donne
³ ³ (1 + δ)h(θ n ) ´ h(θ n ) ´ −αβ
³ 1 ´−(1+δ)
P max B s − s > ≤ e = n log = O n→∞ (n −(1+δ) ).
s∈[0,θ n ] 2θ n 2 θ

Par le lemme de Borel – Cantelli, on obtient que p.s. il existe N aléatoire tel que pour tout n ≥ N ,
³ (1 + δ)h(θ n ) ´ h(θ n )
max B s − s ≤ .
s∈[0,θ n ] 2θ n 2
(2+δ)h(θ n ) (2+δ)h(t
p )
Ceci implique que pour tout t ∈ [θ n+1 , θ n ], B t ≤ maxs∈[0,θn ] B s ≤ 2 ≤ d’où
2 θ

Bt 2+δ´

he
³
P lim ≤ p = 1.
t ↘0 h(t ) 2 θ
Bt Bt
En faisant θ → 1 et δ → 0, on obtient bien que P(limt ↘0 h(t ) ≤ 1) = 1, et P(limt ↘0 h(t ) ≥ −1) = 1 puisque B et
Bt
−B ont même loi. Il ne reste plus qu’à établir que P limt ↘0 h(t ) ≥ 1 = 1. Pour cela, considérons l’événement
¡ ¢
p
A n := B θn − B θn+1 ≥ (1 − θ)h(θ n ) , et observons que si Φ est la fonction de répartition de N (0, 1), alors a
© ª
′
1 − Φ(x) ≥ x
x 2 +1
Φ′ (x) ≥ Φ2x(x) pour tout x ≥ 1. En particulier, cela donne, pour n assez grand,

2
rn p 2 p
1 e− 2 1 ´− (1−1−θθ) (1 − θ)h(θ n )
uc
1 ³
P(A n ) = 1 − Φ(r n ) ≥ p = p n log où r n := p ,
2r n 2π 2 2πr n θ θ n/2 1 − θ
p 2 p 2
θ)
car r n2 = 2(1− log(n log θ1 ). Or (1−1−θθ) < 1, donc n≥1 P(A n ) = ∞. À présent, l’indépendance des accrois-
P
1−θ
sements de B et le lemme de Borel – Cantelli b donnent que p.s., pour une infinité de valeurs de n,
p
B θn − B θn+1 ≥ (1 − θ)h(θ n ).

Comme −B et B ont même loi, par la première partie de la preuve, p.s. il existe N t.q. pour tout n ≥ N ,
a
p
B θn+1 > −2h(θ n+1 ) ≥ −c θh(θ n )

pour une constante c > 0 ne dépendant pas de θ. Par conséquent, p.s., pour une infinité de valeurs de n,
p
éb

B θn > (1 − (c + 1) θ)h(θ n ).
Bt
p ¢
Cela donne P limt ↘0 h(t ) ≥ 1 − (c + 1) θ = 1. Il ne reste plus qu’à faire θ → 0.
¡

■
a. L’encadrement de Mills x
≤ 1−Φ(x)
Φ′ (x)
≤ x1 est valable pour tout x > 0.
x 2 +1
b. Cette preuve utilise donc les deux sens du lemme de Borel – Cantelli !

Corollaire 7.6.6. Régularité Hölder des trajectoires du MB.

Si (B t )t ∈R+ est un MB sur R alors pour tout s ≥ 0,

³ B s+t − B s B s+t − B s ´
P lim p = −1, lim p = 1 = 1.
t ↘0 2t log(log(1/t )) t ↘0 2t log(log(1/t ))

En particulier, presque sûrement, la trajectoire t ∈ R+ 7→ B t de B n’est pas 12 -Hölder a continue sur tout
intervalle fini non réduit à un point, et en particulier n’est nulle part dérivable sur R+ .
a. f : I → R est γ-Hölder continue quand il existe une constante c > 0 telle que pour tous s, t ∈ I , | f (t ) − f (s)| ≤ c|t − s|γ .

Démonstration. Découle du théorème 7.6.5 et du fait que (B s+t − B s )t ∈R+ et (B t )t ∈R+ ont même loi. ■

122
7.7 Mesure de Wiener et mouvement brownien canonique
27 → 28
Les MB ne sont pas uniques, mais ont tous la même loi, vus comme des v.a. sur un espace de trajectoires :

Théodéf 7.7.1. Mesure de Wiener, espace canonique, MB canonique.

Soit W = C (R+ , Rd ), muni de la tribu cylindrique AW engendrée par les parties de la forme { f ∈ W : f (t 1 ) ∈
A 1 , . . . , f (t n ) ∈ A n }, n ≥ 1, A 1 , . . . , A n ∈ BRd , 0 ≤ t 1 < · · · < t n . Soit πt (w) := w t pour tout w ∈ W et tout t ∈ R+ .
(i) Il existe une unique loi de probabilité µ sur (W, Aw ), appelée mesure de Wiener, telle que pour tout
n ≥ 1, tous 0 < t 1 < · · · < t n , tous A 1 , . . . , A n ∈ BRd , avec t 0 := 0 et x 0 := 0,
Z
µ({w : w t1 ∈ A 1 , . . . , w tn ∈ A n }) = p t1 −t0 (x 1 − x 0 ) · · · p tn −tn−1 (x n − x n−1 )dx 1 · · · dx n
A 1 ×···×A n

|x|2
−
e 2t
où p est le noyau de la chaleur défini pour tout t > 0 et x ∈ Rd par p t (x) = p .
( 2πt )d
(ii) Sous la loi µ sur (W, AW ), le processus des coordonnées ou des projections π = (πt )t ∈R+ est un MB,
appelé MB canonique, tandis que (W, AW , µ) est appelé espace canonique ou processus de Wiener.

he
(iii) Pour tout MB B = (B t )t ∈R+ sur Rd issu de 0, et toute Φ : W → R cylindrique et bornée,
Z
E(Φ(B )) = Φ(w)µ(dw) = E(Φ(π)).
W

— Une fonction cylindrique Φ est une fonction mesurable ne dépendant que d’un nombre fini de temps.
— Il est possible d’établir que la tribu cylindrique AW coïncide avec la tribu borélienne BW de la topologie de la
convergence uniforme sur les compacts de R+ , grâce à la métrique d ( f , g ) = n max(1, supt ∈[0,n] | f (t )−g (t )|).
P

— Si B = (B t )t ∈R+ est un MB sur Rd , défini sur (Ω, A , P), alors il existe Ω′ ∈ A tel que P(Ω′ ) = 1 et t ∈ R+ 7→ B t (ω)
uc
est continue pour tout ω ∈ Ω′ , et le processus B restreint à (Ω′ , A ′ = Ω′ ∩ A , P|A ′ ) est une v.a. à valeurs dans
(W, AW ), dont la loi est la mesure de Wiener.
— La mesure de Wiener est une loi gaussienne sur l’espace de dimension infinie C (R+ , Rd ) ⊂ (Rd )R+ , dont le
support est inclus dans l’ensemble des fonctions qui sont γ-Hölder pour tout γ ∈ (0, 1/2) et pas plus.

Démonstration.
(i) La donnée des lois marginales sur les cylindres caractérise la loi (théorème d’extension de Kolmogorov).
(ii) Par construction !
a
(iii) Découle de ce qui précède.
■

7.8 Intégrale de Wiener

éb

Toute combinaison linéaire finie des accroissements d’un MB est gaussienne. Or il est naturel de considérer
un MB comme un vecteur gaussien de dimension infinie. On s’attend en particulier à ce que les combinaisons
linéaires infinies sommables soient aussi gaussiennes. Cette intuition est réalisée mathématiquement par l’inté-
grale de Wiener du théorème 7.8.1 ci-dessous, qui donne un sens à la v.a. gaussienne
Z ∞
f (t )dB t = « 〈 f , B 〉 »
0
d
où l’intégrateur (B t )t ∈R+ est un MB sur R et l’intégrande f est dans L 2 d (R+ , dt ). Le premier est aléatoire gaussien
R
et le second est déterministe de carré intégrable. C’est notre première intégrale stochastique.

Théodéf 7.8.1. Intégrale de Wiener.

Considérons les ingrédients suivants :

— Un MB B = (B t )t ∈R+ = ((B t1 , . . . , B td ))t ∈R+ sur Rd , issu de 0, défini sur (Ω, A , P).
— L’adhérence G du sous-espace de L 2 (Ω, A , P) engendré par les v.a. {B ti : tR≥ 0, 1 ≤ i ≤ d }.
∞
— L’espace de Hilbert H := L 2 d (R+ , dt ) muni du produit scalaire 〈 f , g 〉H := 0 f (t ) · g (t )dt .
R
Alors il existe une unique application linéaire continue I : H → G telle que

I ( f ) = a · (B t − B s ) lorsque f = a1(s,t ] avec a ∈ Rd et 0 ≤ s ≤ t .

123
 De plus, cette application vérifie les propriétés suivantes :
R∞
(i) I est une isométrie : pour tous f , g ∈ H , 〈I ( f ), I (g )〉G = E(I ( f )I (g )) = 0 f (t ) · g (t )dt = 〈 f , g 〉H .
(ii) I est bijective.
R∞
(iii) I ( f ) ∼ N (0, ∥ f ∥2H ) pour tout f ∈ H , il s’agit de l’intégrale de Wiener de f , notée 0 f (t )dB t .

Espace gaussien : les éléments de G sont des v.a. gaussiennes d’après le lemme 7.6.2.

Démonstration. Le sous-espace S = f ∈ H : f = in−1 =0 a i 1(t i ,t i +1 ] , 0 = t 0 < t 1 < · · · < t n , n ≥ 0, a i ∈ R

d
© P ª
de H est dense.
Si f ∈ S, alors f = finie a i 1(ti ,ti +1 ] , et nous pouvons définir
P

X
I ( f ) := a i · (B ti +1 − B ti ).
finie

Cette définition ne dépend pas de la décomposition choisie pour f , et l’application f 7→ I ( f ) est linéaire.
De plus, grâce aux propriétés d’indépendance des accroissements et des incréments du MB,

E((I ( f ))2 ) = E((a i · (B ti +1 − B ti ))(a j · (B t j +1 − B t j )))

X

he
i,j

E((a i · (B ti +1 − B ti ))2 )
X
=
i
X ³³ X j 2
´ ´
j
= E a i , j (B ti +1 − B ti )
i j
j j
a i , j a i ,k E((B ti +1 − B ti )(B tki +1 − B tki ))
XX
=
i j ,k
Z ∞
|a i |2 (t i +1 − t i ) = | f (t )|2 dt .
XX X
= a i , j a i ,k (t i +1 − t i )1 j =k =
uc
i j ,k i 0

Ainsi I est une isométrie sur S, donc uniformément continue. Comme S est dense dans H , I admet un unique
prolongement continu sur H . Alternativement, pour tout f ∈ H et toute ( f n )n∈N dans S t.q. ∥ f n − f ∥H → 0,

∥ f n − f m ∥H = ∥I ( f n ) − I ( f m )∥G −→ 0,
m,n→∞

et comme G est complet, I ( f ) = limn→∞ I ( f n ) existe. Cette limite ne dépend pas de la suite choisie pour approcher
f . De plus nous avons ∥ f ∥2H = E((I ( f ))2 ), et, par polarisation et linéarité de I , pour tous f , g ∈ H ,
a
Z ∞
1 ∞ 1
Z
f (t )g (t )dt = (( f + g )2 − ( f − g )2 )(t )dt = E((I ( f + g ))2 − (I ( f − g ))2 ) = E(I ( f )I (g )).
0 4 0 4
L’application I ainsi définie est unique. Elle est injective car c’est une isométrie. Elle est également surjective car
F = I (H ) est un sous-espace fermé de G, dense dans G (prendre f = e i 1(0,t ] donne B ti ∈ F ). Le caractère gaussien
éb

centré des éléments de G, et donc de I ( f ) pour tout f ∈ H , est garanti par le lemme 7.6.2.
■
L’ensemble L2 (Ω, A , P) \G est énorme, la plupart des v.a. de carré intégrable ne sont pas gaussiennes !

Corollaire 7.8.2. Propriétés de l’intégrale de Wiener.

R∞
(i) Pour tous f , g ∈ H , I ( f ) et I (g ) sont indépendantes ssi 〈 f , g 〉H = 0 f (t )g (t )dt = 0.
¡ R∞ ¢ Rt
(ii) Pour tous t ≥ 0, 1 ≤ i ≤ d , et f = ( f 1 , . . . , f d ) ∈ H , E B ti 0 f (s)dB s = 0 f i (s)ds.
(iii) Pour tout f ∈ H , le processus (I ( f 1(0,t ] ))t ∈R+ est une martingale pour la filtration de (B t )t ∈R+ .
(iv) Si (h n )n∈N est une base hilbertienne de H , alors (I (h n ))n∈N est une suite de v.a. i.i.d. N (0, 1), base hi-
bertienne de G, et pour tout t ∈ R+ , le développement en série suivant dans L 2 (Ω, A , P) est disponible :
∞ ³Z
X ∞ ´Z t
Bt = h n (s)dB s h n (s)ds .
n=0 | 0 {z } | 0 {z }
I (h n ) vecteur
v.a. gaussienne déterministe

L’intégrale de Wiener produit des martingales à temps continu en masse à partir du MB ! Mais comme elles sont
définies par une approche L 2 , leur continuité (éventuellement à modification près) n’est pas évidente.

124
Démonstration.
(i) Par le lemme 7.6.2 pour d = 2, le vecteur (I ( f ), I (g )) est gaussien, centré et de covariance 0 ssi f ⊥ g .
¡ R∞ R∞ Rt
(ii) Si g = e i 1(0,t ] alors I (g ) = B ti et E B ti 0 f (s)dB s = E(I (g )I ( f )) = 0 g (s) · f (s)ds = 0 f i (s)ds.
¢

(iii) Pour tous f ∈ H , t ≥ 0, et s ∈ [0, t ], M s,t = I ( f 1(s,t ] ) est la limite L 2 des combinaisons linéaires finie a i (B v i −B ui )
P
d
avec a i ∈ R et u i , v i ∈ (s, t ]. Elle est donc intégrable, centrée, Ft -mesurable, indépendante de Fs . De plus
M 0,t = M 0,s + M s,t , d’où E(M 0,t | Fs ) = M 0,s + E(M s,t ) = M 0,s .
(iv) Comme (h n )n∈N est une base hilbertienne de H , par R t isométrie, (I (h n ))n∈N est bien une base hilbertienne de
l’espace gaussien G. De plus, par (ii), 〈B ti , I (h n )〉G = 0 h ni (s)ds, pour tout 1 ≤ i ≤ d .
■

7.9 Vers les intégrales de Itô et de Stratonovich

Soit (B t )t ∈R+ un MB sur Rd . Examinons à présent le sens à donner à l’intégrale stochastique

Z t
B s dB s .
0

he
Ce n’est pas une intégrale de Wiener car l’intégrande est aléatoire.
En utilisant une approximation par des processus étagés, il vient, en réarrangeant les termes pour produire une
sommation télescopique de sommes connues (on s’attend à une martingale, avec lemme 4.2.2 en tête),

B ti (B ti +1 − B ti ) = (B t2i +1 − B t2i − B t2i +1 + B ti B ti +1 )

X X
i i
(B t2i +1 − B t2i − B ti +1 (B ti +1 − B ti ))
X
=
i
X 2
(B ti +1 − B t2i ) − B ti (B ti +1 − B ti ) − (B ti +1 − B ti )2 ,
X X
=
uc
i i i

ce qui donne, si le passage à la limite en probabilité est licite,

Z t Z t
B s dB s = B t2 − B s dB s − [B ]t ,
0 0

où [B ]t est la variation quadratique de B sur [0, t ] (théorème 7.2.1). Comme [B ]t = t (théorème 7.2.1), il vient

t B t2 − t
Z
a
B s dB s = .
0 2

Le processus ( 21 (B t2 − t ))t ∈R est une martingale centrée, et cela est dû au fait qu’on a considéré la valeur B ti de
+
l’intégrande à l’extrémité gauche de l’intervalle [t i , t i +1 ] dans la somme
Rt de Riemann. Il s’agit de l’intégrale stochas-
éb

tique d’Itô. Plus généralement, cela permet de donner un sens à 0 H s dB s où H est un processus de carré intégrable
adapté et càdlàg, l’intégrale de Wiener étant alors le cas particulier où H est déterministe.
Examinons la notion d’intégrale stochastique de Stratonovich, qui correspond à considérer la valeur moyenne
entre les extrémités gauche et droite sur chaque intervalle. Cela donne

X B ti +1 + B ti 1X 2 1
(B ti +1 − B ti ) = (B ti +1 − B t2i ) = B t2 ,
i 2 2 i 2

d’où, toujours en supposant que la convergence a lieu en probabilité, et cette fois-ci en notant ◦ l’intégrale stochas-
tique de Stratonovich pour la distinguer de celle d’Itô,
Z t 1
B s ◦ dB s = B t2 .
0 2

Cette fois-ci, la règle de la chaîne du calcul différentiel est respectée, mais le résultat n’est plus une martingale 8 . La
suite se trouve dans un cours de calcul stochastique ! Un objectif important est de donner un sens rigoureux à la
Rt Rt
solution d’équations différentielles stochastiques (EDS = EDO stochastiques) X t = X 0 + 0 σ(X s )dB s + 0 b(X s )ds.
Le MB a la même physique que la marche aléatoire simple (récurrence/transience, martingale/Markov, etc.), et
les symétries continues des limites d’échelles continues (invariance par rotation) que n’a pas la marche.

P 1 1 2
8. Par symétrie, il y a aussi une intégrale stochastique « anticipative » via i B t i +1 (B t i +1 − B t i ), donnant 2(Stratot − 2 Itôt ) = 2 (B t + t ).

125
Pour aller plus loin 7.9.1.

— Pont brownien et test statistique de Kolmogorov – Smirnov.

— Principe d’invariance de Donsker.
— Récurrence et transience du MB.
— Ensemble des zéros du mouvement brownien.
— Représentation de Kakutani de la solution du problème de Dirichlet au moyen du MB.
— Formule de Cameron – Martin
Application à la singularité des mesures de Wiener, et à la loi du temps d’atteinte du MB avec dérive.
— Brownien fractionnaire, indice de Hurst, p-variation, régularité et mémoire longue.
— Invariance conforme du MB, évolution de Schramm – Loewner (SLE).
— Décomposition en chaos de Wiener, calcul de Malliavin.
— Mesures gaussiennes sur les espaces de Hilbert et de Banach.
— Bruit blanc, champ libre gaussien.
— Intégrale d’Itô, formule d’Itô, caractérisation de Lévy du MB.

he
a uc
éb

126
Annexe A

Variation totale sur espace au plus dénombrable

Si µ et ν sont des mesures de probabilité sur E au plus dénombrable, leur distance en variation totale est

dVT (µ, ν) := sup |µ(A) − ν(A)| ∈ [0, 1].

A⊂E

Par abus de notation dVT (X , Y ) := dVT (Loi(X

° ), Loi(Y ° (X , µ) := dVT (Loi(X ), µ).
° )) et°dVT
Le nom vient du fait que dVT (µ, ν) = °µ − ν°VT où °η°VT := sup A⊂E |η(A)| est la norme en variation totale de
la mesure signée η de masse finie sur E . D’autre part, l’ensemble des mesures de probabilités sur E est un sous-

he
ensemble fermé de ℓ1 (E ), et par la propriété (iii) ci-dessous 2∥·∥VT = ∥·∥ℓ1 (E ,R) , en particulier dVT (·, ·) est bien une
distance sur cet ensemble, qui en fait un espace métrique complet. Cet ensemble est également convexe.

A.1 Formulations alternatives

Lemme A.1.1. Variation totale.

(i) Le supremum dans dVT (µ, ν) := sup |µ(A) − ν(A)| est atteint pour A = A ∗ := {x ∈ E : µ(x) ≥ ν(x)}.
uc
A⊂E
1
(ii) dVT (µ, ν) = 2 sup |µ f − ν f | et le supremum est atteint pour f = f ∗ := 1 A ∗ − 1 A c∗ .
f :E →[−1,1]

1 1
(iii) dVT (µ, ν) = |µ(x) − ν(x)| = ∥µ − ν∥ℓ1 (E ) .
X
2 2
x∈E
(iv) dVT (µ, ν) = 1 − (µ(x) ∧ ν(x)) et en particulier dVT (µ, ν) = 1 ssi µ et ν ont des supports disjoints.
X
x∈E
(v) dVT (µ, ν) = min P(X ̸= Y ) où l’infimum porte sur les couples de v.a. sur E × E de lois marginales µ et ν.
(X ,Y )
a
Démonstration. L’équivalence entre (ii) et (iii) exprime la dualité ℓ1 (E ) − ℓ∞ (E ).
L’égalité entre les membres de droite des formules (ii) et (iii) provient de l’inégalité
éb

|µ f − ν f | ≤ | f (x)||µ(x) − ν(x)| ≤ sup | f (x)| |µ(x) − ν(x)|

X X
x∈E x∈E x∈E

qui est saturée pour f = 1 A ∗ − 1 A c∗ . Pour (ii) et (i), comme |µ(A) − ν(A)| = 21 |µ f A − ν f A | où f A := 1 A − 1 A c , il vient

|µ(A) − ν(A)| ≤ 12 sup |µ f − ν f | = 12 |µ(x) − ν(x)|

X
f :E →[−1,1] x∈E

qui est saturée pour A = A ∗ car, par définition de A ∗ ,

2|µ(A ∗ ) − ν(A ∗ )| = µ(A ∗ ) − ν(A ∗ ) + ν(A c∗ ) − µ(A c∗ ) = |µ(x) − ν(x)| + |µ(x) − ν(x)|.
X X
x∈A ∗ x∈A c∗

Pour (iv), il suffit d’observer que

1 X
(µ(x) ∧ ν(x)) = (µ(x) + ν(x) − |µ(x) − ν(x)|) = 1 − dVT (µ, ν).
X
x∈E 2 x∈E

Démontrons enfin (v). Soit (X , Y ) un couple de v.a. sur E × E de lois marginales µ et ν. Alors (iv) donne

1 − dVT (µ, ν) = (µ(x) ∧ ν(x)) ≥ P(X = x, Y = x) = P(X = Y )

X X
x∈E x∈E

car P(X = x, Y = x) ≤ µ(x) ∧ ν(x) pour tout x ∈ E . Il suffit donc de construire un couple (X , Y ) réalisant l’égalité. Le
cas indépendant de loi µ ⊗ ν ne convient pas forcément. Posons p = 1 − dVT (µ, ν) ∈ [0, 1] et distinguons trois cas.

127
 — Cas où p = 0. On prend (X , Y ) avec X et Y indépendantes de lois respectives µ et ν. Puisque dVT (µ, ν) = 1, µ
et ν ont des supports disjoints, d’où P(X = Y ) = x∈E µ(x)ν(x) = 0.
P

— Cas où p = 1. Alors dVT (µ, ν) = 0, d’où µ = ν. On prend (X , Y ) où X ∼ µ et Y = X .

— Cas où 0 < p < 1. Soit U ,V,W des v.a. de lois p −1 (µ ∧ ν), (1 − p)−1 (µ − (µ ∧ ν)), (1 − p)−1 (ν − (µ ∧ ν)). Notons
que p = x∈E (µ(x) ∧ ν(x)) par (iv). Soit B une v.a. de loi de Bernoulli pδ1 + (1 − p)δ0 indépendante du triplet
P

(U ,V,W ). Posons (X , Y ) = (U ,U ) si B = 1 et (X , Y ) = (V,W ) si B = 0. On a alors X ∼ µ et Y ∼ ν, et puisque les

lois de V et W ont des supports disjoints, on a P(V = W ) = 0, et donc P(X = Y ) = P(B = 1) = p.
■

A.2 Convergence étroite

Lemme A.2.1. Variation totale et convergence étroite ou en loi.

Soient µ, µ1 , µ2 , . . . des lois sur E au plus dénombrable. Les propriétés suivantes sont équivalentes :
(i) limn→∞ f dµn = f dµ pour toute fonction bornée f : E → R.
R R

(ii) limn→∞ µn (x) = µ(x) pour tout x ∈ E .

(iii) limn→∞ dVT (µn , µ) = 0.

he
(iv) si X n ∼ µn pour tout n alors X n → µ en loi.

En revanche, si limn→∞ µn (x) existe pour tout x alors la limite n’est pas forcément une mesure de probabilité
lorsque E est infini, car la masse peut alors se disperser à l’infini. Si par exemple E = N alors n1 (δ1 + · · · + δn ) → 0.

Démonstration. L’équivalence entre (i) et (iv) vient du fait que toute fonction E → R est continue. Pour déduire (i)
de (iii), il suffit d’utiliser l’expression variationnelle fonctionnelle de dVT (·, ·). Pour déduire (ii) de (i) on peut prendre
f = 1{x} . Pour déduire (iii) de (ii) on observe que pour tout A ⊂ E ,
uc
|µn (x) − µ(x)| = |µn (x) − µ(x)| + |µn (x) − µ(x)|.
X X X
x∈E x∈A x∈A c

Grâce à (ii), si A est fini, alors pour tout ε > 0, il existe un entier N = N (A, ε) tel que le premier terme du membre de
droite est majoré par ε pour tout n ≥ N . Le second terme du membre de droite peut se contrôler comme suit :

|µn (x) − µ(x)| ≤ µn (x) + µ(x).

X X X
x∈A c x∈A c x∈A c

µn (x) = x∈A µ(x) − x∈A µn (x) + µ(x), on obtient

P P P P
Puisqu’on a x∈A c x∈A c
a
|µn (x) − µ(x)| ≤ |µn (x) − µ(x)| + 2 µ(x).
X X X
x∈A c x∈A x∈A c

c
Puisque µ est ¯une mesure de
¯ probabilité, pour tout ε > 0, on peut choisir A fini tel que µ(A ) ≤ ε . Ainsi, on obtient
′ ′
éb

limn→∞ x∈E ¯µn (x) − µ(x)¯ = 0, qui n’est rien d’autre que (iii) d’après le lemme A.1.1.
P
■

128
Annexe B

Modèles emblématiques issus de l’informatique, de la physique, et de la biologie

Ils font appel pour la plupart aux martingales et aux chaînes de Markov.
Ils sont pratiquement tous étudiés dans [11], [5], ou [8].
— Marche aléatoire sur Zd
— Marche aléatoire sur Z/nZ
— Marche aléatoire sur l’hypercube discret {0, 1}n
— Marche aléatoire sur le groupe symétrique et battage de cartes

he
— Jeu de pile ou face et processus de Bernoulli, processus de Poisson
— Processus de branchement de Galton – Watson et de Yule
— Modèle de Wright – Fisher et de Moran
— Urnes d’Ehrenfest
— Urnes de Pólya
— Processus des restaurants chinois et loi d’Ewens, coalescent de Kingman
— Processus de vie et de mort, files d’attente M /M /k
— Processus de renouvellement, processus semi-markoviens, fiabilité des systèmes
— Processus de taille de fenêtre TCP
uc
— Processus d’Ornstein – Uhlenbeck
— Processus auto-régressif
— Bandit à deux bras
— Algorithme du recuit simulé
— Algorithme du gradient stochastique
— Algorithme d’approximation stochastique de Robbins – Monro
— Estimateur à noyau
— Voyageur de commerce randomisé
— Percolation de premier passage
a
— Cascades de Mandelbrot
éb

129
Annexe C

Lexique bilingue

Français Anglais
si et seulement si (ssi) if and only if (iff)
tribu σ-field or σ-algebra (hence the notation F and A !)
indépendantes et identiquement distribuées (i.i.d.) independent and identically distributed (i.i.d.)
pas de nom ! continuous mapping theorem
règle de dérivation en chaîne chain rule

he
uniformément intégrable (u.i.) uniformly integrable (u.i.)
temps d’arrêt stopping time
théorème d’arrêt stopping theorem
inégalité maximale maximal inequality
décomposition de Doob Doob decomposition
espérance conditionnelle conditional expectation
propriété d’emboîtement de l’espérance conditionnelle tower property of conditional expectation
processus arrêté stopped process
martingale rétrograde ou renversée backward or reversed martingale
uc
montées et descentes upcrossings and downcrossings
théorème limite central (TLC) central limit theorem (CLT)
loi (forte) des grands nombres (LGN) (strong) law of large numbers (LLN)
loi du logarithme itéré (LLI) law of the iterated logarithm (LIL)
chaîne de Markov (CM) Markov chain (MC)
mouvement brownien (MB) Brownian motion (BM)
Khintchine, Liapounov, et Tchebychev Khinchin, Lyapunov, and Chebyshev
marche paresseuse lazy random walk
équation de bilan balance equation
a
équation de bilan détaillé detailed balance equation
file d’attente queuing process
éb

130
Annexe D

Chronologie

Quelques personnages historiques ou contemporains liés à ces notes 1 .

1675 1700 1725 1750 1775 1800 1825 1850 1875 1900 1925 1950 1975 2000 2025
Hugo Duminil-Copin 1985
Martin Hairer 1975
Terence Tao 1975
Cédric Villani 1973
Stanislav Smirnov 1970
Alice Guionnet 1969
Wendelin Werner 1968
Olle Häggström 1967
Yuval Peres 1963

he
James Norris 1960
Jean-François Le Gall 1959
Michel Ledoux 1958
Laurent Saloff-Coste 1958
Gérard Ben Arous 1957
Russell Lyons 1957
Pierre-Louis Lions 1956
Dominique Bakry 1954
Terence Lyons 1952
Michel Talagrand 1952
Richard Durrett 1951
Gilles Pisier 1950
Boris Tsirelson 1950 2020
Marc Yor 1949 2014
Bernard Maurey 1948
Persi Diaconis 1945
Jean Jacod 1944
Claude Dellacherie 1943
uc
Srinivasa Varadhan 1940
David Williams 1938
Paul-André Meyer 1934 2003
Jacques Neveu 1932 2016
Harry Kesten 1931 2019
Anatoliy Skorokhod 1930 2011
Ruslan Leont’evich Stratonovich 1930 1997
Patrick Billingsley 1925 2011
J. Laurie Snell 1925 2011
Lester Dubins 1920 2010
John Hammersley 1920 2004
Edwin Hewitt 1920 1999
Leonard Jimmie Savage 1917 1971
Wolfgang Döblin ou Vincent Doblin 19151940
Kiyoshi Itō 1915 2008
Mark Kac 1914 1984
Paul Erdős 1913 1996
a
Joseph Leo Doob 1910 2004
Jean Ville 1910 1989
Stanisław Ulam 1909 1984
Andreï Kolmogorov 1903 1987
John von Neumann 1903 1957
Alexandre Khintchine 1894 1959
Norbert Wiener 1894 1964
George Pólya 1887 1985
éb

Paul Lévy 1886 1971

Richard Edler von Mises 1883 1953
Eugen Slutsky 1880 1948
Albert Einstein 1879 1955
Maurice Fréchet 1878 1973
Jarl Waldemar Lindeberg 1876 1932
Henri-Léon Lebesgue 1875 1941
Marian Smoluchowski 1872 1917
1872 1946 Paul Langevin
1871 1956 Émile Borel
1870 1946 Louis Bachelier
1870 1942 Jean Perrin
1866 1962 Charles-Jean de La Vallée Poussin
1857 1918 Alexandre Liapounov
1856 1922 Andreï Markov
1854 1912 Henri Poincaré
1844 1906 Ludwig Boltzmann
1831 1879 James Clerck Maxwell
1821 1894 Pafnouti Tchebychev
1796 1878 Irénée-Jules Bienaymé
1796 1874 Adolphe Quetelet
1781 1840 Siméon Denis Poisson
1773 1858 Robert Brown
1749 1827 Pierre-Simon de Laplace
1707 1783 Leonard Euler
1702 1761 Thomas Bayes
1700 1782 Daniel Bernoulli
1667 1754 Abraham de Moivre
1654 1705 Jacques ou Jacob Bernoulli

1675 1700 1725 1750 1775 1800 1825 1850 1875 1900 1925 1950 1975 2000 2025

1. Merci à Julien Guillod pour le partage de son code Tikz.

131
Bibliographie

[1] D. Aldous et J. A. Fill. Reversible markov chains and random walks on graphs. Monographie inachevée, 2002.
[2] N. Bacaër. Histoires de mathématiques et de populations. Cassini, 2009.
[3] P. Baldi, L. Mazliak, et P. Priouret. Martingales et chaînes de Markov. Hermann, 2008.
[4] P. Barbe et M. Ledoux. Probabilité. EDP Sciences, 2007.
[5] B. Bercu et D. Chafaï. Modélisation stochastique et simulation : cours et applications. Dunod, 2007.
[6] N. Berglund. Processus aléatoires et applications - Algorithmes MCMC et vitesse de convergence. notes de cours arXiv:2412.07396v1, 2024.
[7] P. Billingsley. Probability and measure. Wiley, 2012.
[8] T. Bodineau. Modélisation de phénomènes aléatoires. École Polytechnique, 2023.

he
[9] V. S. Borkar. Probability theory. Universitext. Springer, 1995. An advanced course.
[10] P. Brémaud. Markov chains—Gibbs fields, Monte Carlo simulation and queues. Springer, 2020.
[11] D. Chafaï et F. Malrieu. Recueil de modèles aléatoires. Springer, 2016.
[12] D. Chafaï. Phénomènes de grande dimension. Cours de première année, École normale supérieure, 2024.
[13] D. Chafaï et P.-A. Zitt. Probabilités - Préparation à l’agrégation interne. Notes de cours, 2020.
[14] C. Cocozza-Thivent. Processus stochastiques et fiabilité des systèmes. Springer, 1997.
[15] H. Cramér. Half a century with probability theory : some personal recollections. Ann. Probability, 4(4) :509–546, 1976.
[16] D. Dacunha-Castelle et M. Duflo. Probab. et statistiques. Tome 2. Masson, 1983. ver. anglaise “Probab. and statistics. Vol. II.” Springer 1986.
[17] R. Degenne. Markov kernels in Mathlib’s probability library. prépublication arXiv:2510.04070v1, 2025.
uc
[18] C. Dellacherie et P.-A. Meyer. Probabilités et potentiel. Chapitres I à IV ; V à VIII ; IX à XI ; XII–XVI. Hermann, Paris, 1975 ; 1980 ; 1983 ; 1987.
Intro. générale ; Th. des martingales ; Th. discrète du potentiel ; Th. du potentiel associée à une résolvante et Th. des processus de Markov.
[19] J.-F. Delmas et B. Jourdain. Modèles aléatoires. Springer, 2006.
[20] P. Diaconis et J. Fulman. The mathematics of shuffling cards. American Mathematical Society, 2023.
[21] J. L. Doob. Stochastic processes. Wiley, 1953.
[22] J. L. Doob. Classical potential theory and its probabilistic counterpart. Springer, 1984.
[23] P. G. Doyle et J. L. Snell. Random walks and electric networks. Mathematical Association of America, 1984.
[24] L. E. Dubins et L. J. Savage. Inequalities for stochastic processes (how to gamble if you must). Dover, 1976. Corrected repub. 1965 ed.
[25] M. Duflo. Random iterative models. Springer, 1997.
a
[26] R. Durrett. Probability—theory and examples. Cambridge University Press, 2019.
[27] P. Ehrenfest et T. Ehrenfest. The conceptual foundations of the statistical approach in mechanics. Dover, 1990 (intialement 1912).
[28] M. Fathi. Processus discrets et théorèmes limites. Notes de cours de Master 1, 2020.
[29] W. Feller. An introduction to probability theory and its applications. Vol. I et II. Wiley, 1968 ; 1971.
éb

[30] P. A. Ferrari et A. Galves. Construction of stochastic processes, coupling and regeneration. Notes de cours, monographie inachevée, 2000.
[31] G. R. Grimmett et G. F. Lawler. Harry Kesten (1931–2019) : a personal and scientific tribute. Notices Amer. Math. Soc., 67(6) :822–831, 2020.
[32] G. R. Grimmett et D. R. Stirzaker. Probability and random processes. Oxford University Press, fourth edition, 2020.
[33] A. Gut. Probability : a graduate course. Springer, New York, 2013.
[34] O. Häggström. Finite Markov chains and algorithmic applications. Cambridge University Press, 2002.
[35] P. Hall et C. C. Heyde. Martingale limit theory and its application. Academic Press, 1980.
[36] C. C. Heyde et E. Seneta, editors. Statisticians of the centuries. Springer, 2001.
[37] J. Jacod et P. Protter. Probability essentials. Springer, 2003.
[38] J. Jacod et A. N. Shiryaev. Limit theorems for stochastic processes, volume 288. Springer, 2003.
[39] M. Kac. Enigmas of chance. Harper & Row, 1985.
[40] O. Kallenberg. Foundations of modern probability. Springer, 2021.
[41] J.-M. Kantor et L. Graham. Au nom de l’infini. Une histoire vraie de mysticisme religieux et de création mathématique. Belin, Paris, 2010.
[42] F. P. Kelly. Reversibility and stochastic networks. Cambridge University Press, 2011.
[43] A. Klenke. Probability theory—a comprehensive course. Springer, 2020.
[44] J.-F. Le Gall. Intégration, Probabilités et Processus Aléatoires. École normale supérieure, 2006.
Version anglaise : « Measure theory, probability, and stochastic processes » (2022).
[45] D. A. Levin et Y. Peres. Markov chains and mixing times. American Mathematical Society, 2017.
[46] P. Lévy. Processus stochastiques et mouvement brownien. Gauthier-Villars, 1965. Suivi d’une note de M. Loève, Deuxième édition.
[47] R. Lyons et Y. Peres. Probability on trees and networks. Cambridge University Press, 2016.
[48] P. Lévy. Quelques aspects de la vie d’un mathématicien. Librairie Armand Blanchard, 1970.

132
[49] H. M. Mahmoud. Evolution of random search trees. Pure Appl. Math., Wiley-Intersci. Ser. Texts Monogr. Tracts. Chichester etc. : John Wiley
&| Sons Ltd., 1992.
[50] H. M. Mahmoud. Sorting. A distribution theory. Wiley-Intersci. Ser. Discrete Math. Optim. Chichester : Wiley, 2000.
[51] A. P. Maitra et W. D. Sudderth. Discrete gambling and stochastic games. Springer, 1996.
[52] S. Meyn et R. L. Tweedie. Markov chains and stochastic stability. Cambridge University Press, 2009.
[53] M. Mitzenmacher et E. Upfal. Probab. and computing. Randomization and probab. techniques in algorithms and data analysis. CUP, 2017.
[54] R. Motwani et P. Raghavan. Randomized algorithms. Theory of computation handbook. CRC, 1999.
[55] J. Neveu. Bases mathématiques du calcul des probabilités ; Martingales à temps discret. Masson, 1964 ; 1972.
Version anglaise : « Mathematical foundations of the calculus of probability » (1965) ; « Discrete-parameter martingales » (1975).
[56] J. R. Norris. Markov chains. Cambridge University Press, 1997.
[57] J. Perrin. Les Atomes (1913). CNRS Éditions, 2014.
[58] D. Revuz. Markov chains. North-Holland, 1984.
[59] P. Robert. Réseaux et files d’attente : méthodes probabilistes. Springer, 2000.
[60] E. Seneta. Non-negative matrices and Markov chains. Springer, 2006.
[61] J. Sjöstrand et M. Zworski. Elementary linear algebra for advanced spectral problems. Ann. Inst. Fourier, 57(7) :2095–2141, 2007.
[62] J. L. Snell. A conversation with Joe Doob. Statist. Sci., 12(4) :301–311, 1997.
[63] S. M. Ulam. Adventures of a mathematician. Scribner, 1976.
[64] D. Williams. Probability with martingales. Cambridge University Press, 1991.

he
a uc
éb

133