X. Gendre et F.

Simatos

Probabilités et Statistique

Formation Ingénieur ISAE-SUPAERO

Tronc Commun Scientifique

1ère année 2021/2022

Cette oeuvre, création, site ou texte est sous licence Creative Commons Attribution - Pas d’Utilisa-
tion Commerciale - Partage dans les Mêmes Conditions 4.0 International. Pour accéder à une copie
de cette licence, merci de vous rendre à l’adresse suivante :

[Link]
ou envoyez un courrier à Creative Commons, 444 Castro Street, Suite 900, Mountain View, Califor-
nia, 94041, USA.

Version du 15 novembre 2021.

i
Organisation du cours

Présentation générale
La plupart des séances de cours sont des séances de 3 heures, divisées en 1 heure de cours magistral
(amphi) suivie de 2 heures de PC. Pour les tests d’hypothèses, le format consiste en une séance de
2 heures de cours interactif en salle de pédagogie active, et d’une autre séance de 2 heures de PC.
Il y a au final 9 séances de cours et 2 BE notés qui couvrent les thèmes suivants :
Proba 1 (amphi + PC) : Variables aléatoires discrètes – Chapitre 1 ;
Proba 2 (amphi + PC) : Variables aléatoires absolument continues – Chapitre 2 ;
Proba 3 (amphi + PC) : Théorèmes limites – Chapitre 3 ;
Proba 4 (amphi + PC) : Vecteurs gaussiens – Chapitre 4 ;
Proba 5 (BE noté) : Urne de Pólya ;
Stat 1 & 2 (amphi + PC) : Estimation paramétrique – Chapitre 5 ;
Stat 3 (cours interactif) : Tests d’hypothèses – Chapitre 6 ;
Stat 4 (BE noté) : Tests d’hypothèses – Chapitre 6 ;
Stat 5 (PC) : Tests d’hypothèses – Chapitre 6 ;
et la dernière séance est une séance de questions/réponses en amphi :
Proba+Stat (amphi) : Séance de questions/réponses en amphi.
Comme indiqué ci-dessus avec la référence aux chapitres correspondant, l’organisation de ce poly-
copié suit fidèlement ce plan. Par ailleurs, chaque chapitre se conclut par une fiche de synthèse qui
regroupe les notions essentielles du chapitre, ainsi que par une liste d’exercices et de problèmes. Les
exercices d’application directe du cours sont notés avec une flèche ,→.

Pré-requis
Il est supposé que les étudiants ont déjà une connaissance en probabilités correspondant
au programme des classes préparatoires, et sont donc familiers avec la théorie des probabilités
discrètes et notamment les notions d’espace de probabilités, variable aléatoire, espérance, variance
et indépendance. De manière plus précise, en préalable de ce cours chaque étudiant est supposé
connaître le contenu des Sections 1.1 à 1.4 du Chapitre 1 : si tel n’était pas le cas, il est attendu que
chaque étudiant se mette au niveau.

Première partie : Probabilités

La première séance de cours consiste à compléter la théorie des probabilités discrètes en introduisant
la notion fondamentale d’espérance conditionnelle (Sections 1.6 et 1.7) et en discutant rapide-
ment plusieurs transformées classiques qui ont en fait essentiellement déjà été vues dans le cours de
mathématiques déterministes (Section 1.5).

iii
La deuxième séance est consacrée à la théorie des variables aléatoires absolument continues :
par exemple, cela permettra de parler d’une variable aléatoire uniformément répartie sur l’intervalle
[0, 1], qui représente le résultat de l’expérience “Tirer un nombre au hasard dans [0, 1]”. Le deuxième
chapitre du polycopié revisite dans ce cadre toutes les notions introduites dans le cadre discret.
La troisième séance introduit des résultats de convergence de suites de variables aléatoires, qui
font le lien entre les probabilités discrètes et absolument continues. On verra par exemple dans
quel sens une suite de variables aléatoires discrètes uniformément distribuées sur l’ensemble fini
{0, 1/n, 2/n, . . . , 1 − 1/n, 1} converge vers une variable aléatoire absolument continue uniformément
répartie sur l’intervalle [0, 1]. On verra dans ce chapitre les deux résultats les plus importants de la
théorie des probabilités : la loi forte des grands nombres et le théorème central limite.
La dernière séance est consacrée à l’étude des vecteurs gaussiens, qui jouent un rôle très important
dans de nombreux domaines de l’ingénierie et notamment le traitement du signal.
Le BE de probabilités vise à illustrer les résultats théoriques vus en cours par des simulations
numériques portant sur l’urne de Pólya.

Deuxième partie : Statistique

Pour la plupart des gens, probabilités et statistique sont des notions interchangeables : il s’agit
néanmoins bien de domaines différents. Face à une série de pile ou face, un probabiliste supposera
connu le biais de la pièce et cherchera comprendre la structure aléatoire de cette expérience, par
exemple comprendre la proportion de pile. A l’inverse, un statisticien partira d’une réalisation de
l’expérience et cherchera à en extraire de l’information concernant le biais de la pièce. Ainsi, les
problèmes de statistique correspondent plus ou moins à des problèmes inverses de probabilité.
Une spécificité fondamentale de la statistique est qu’elle est intrinsèquement liée aux données. Cela
ne veut pas dire que la statistique est une science purement appliquée : il s’agit en fait d’un domaine
très large, qui va de la récolte à l’analyse de données en passant par la conception des expériences,
couvrant ainsi des aspects à la fois théoriques et pratiques.
On distingue deux grands domaines de la statistique : la statistique inférentielle, et la statis-
tique descriptive ou exploratoire. La statistique inférentielle postule l’existence d’un modèle
probabiliste expliquant les données observées, et vise à remonter aux paramètres de ce modèle à
l’aide des observations. Ainsi, il s’agit d’une démarche inverse à celle des probabilités : au lieu de
partir d’un modèle probabiliste et d’étudier le comportement théorique des variables aléatoires en
jeu, en statistique on part des observations et on essaie de remonter au modèle probabiliste. La sta-
tistique inférentielle est donc intrinsèquement liée à la théorie des probabilités, mais le changement
de point de vue est tel qu’il correspond à un domaine scientifique très différent.
En statistique descriptive par contre, la théorie des probabilités ne joue pas de rôle : on cherche à
synthétiser, résumer, structurer l’information contenue dans les données dans le but de mettre en
évidence des propriétés de l’échantillon et de suggérer des hypothèses 1 .
Comme nous le verrons, les problèmes théoriques de statistique sont en fait des problèmes de proba-
bilités et font appel aux outils probabilistes les plus avancés. Nous verrons notamment dans ce cours
que les résultats de convergence – et notamment la loi des grands nombres et le théorème central
limite – et les vecteurs gaussiens jouent un rôle importants.
Le BE de statistique porte sur le thème des tests d’hypothèses et prend comme exemple d’application
un problème de traitement du signal.

1. Description tirée du livre Probabilités, Analyse des Données et Statistique de Gilbert Saporta, auquel le lecteur
intéressé pourra se reporter pour une discussion plus détaillée.

iv
Séance questions/réponses
La dernière séance de cours est une séance récapitulative qui a lieu en amphi la semaine de l’examen :
pendant deux heures, vous pouvez venir poser toutes les questions (de probabilité et statistique)
auxquelles vous avez toujours voulu avoir la réponse.

v
Table des matières

Organisation du cours iii

Notations 1

I Théorie des probabilités 3

1 Variables aléatoires discrètes 5
1.1 Espace de probabilités dans le cas discret . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2 Variables aléatoires discrètes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.1 Définition et loi d’une variable aléatoire discrète . . . . . . . . . . . . . . . . 9
1.2.2 Fonctions indicatrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.3 La disparition, ou bien le formalisme probabiliste . . . . . . . . . . . . . . . . 11
1.2.4 Quelques lois discrètes classiques . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.3 Variables aléatoires discrètes à valeurs réelles : fonction de répartition, espérance et
variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.3.1 Fonction de répartition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.3.2 Espérance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.3.3 Variance et écart-type . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.3.4 Inégalités de Markov, de Cauchy–Schwarz et de Bienaymé–Tchebychev . . . . 15
1.4 Famille de variables aléatoires discrètes, indépendance . . . . . . . . . . . . . . . . . 17
1.4.1 Famille de variables aléatoires discrètes : définition et lois marginales . . . . . 17
1.4.2 Indépendance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.4.3 Lois marginales et loi jointe . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.4.4 Covariance de deux variables aléatoires réelles . . . . . . . . . . . . . . . . . . 19
1.4.5 Espérance, variance et covariance : généralisation au cas vectoriel et matriciel 20
1.4.6 Remarques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.5 Fonction caractéristique, fonction génératrice et transformée de Laplace . . . . . . . 22
1.5.1 Le cas de la dimension un . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.5.2 Le cas multi-dimensionnel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.5.3 Lien avec l’analyse harmonique . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.6 Conditionnement par rapport à un évènement . . . . . . . . . . . . . . . . . . . . . . 24
1.6.1 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.6.2 Retour sur l’indépendance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.7 Conditionnement par rapport à une variable aléatoire discrète . . . . . . . . . . . . . 25
1.7.1 Définition de l’espérance conditionnelle par rapport à une variable aléatoire
discrète . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.7.2 Intuition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.7.3 Propriétés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

vii
TABLE DES MATIÈRES

1.7.4 Loi conditionnelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

1.7.5 Approche variationnelle et lien avec l’analyse fonctionnelle . . . . . . . . . . . 29
1.8 Fiche de synthèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
1.9 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

2 Variables aléatoires absolument continues 35

2.1 Motivation et de la nécessité des tribus . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.2 Espace de probabilités : le cas général . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.3 Variables aléatoires et loi : le cas général . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.4 Le cas discret revisité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.5 Variables aléatoires absolument continues . . . . . . . . . . . . . . . . . . . . . . . . 38
2.5.1 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.5.2 Densité : intuition et fausses idées . . . . . . . . . . . . . . . . . . . . . . . . 39
2.5.3 Loi normale et autres lois usuelles . . . . . . . . . . . . . . . . . . . . . . . . 41
2.6 Du discret au continu : les sommes deviennent des intégrales . . . . . . . . . . . . . 42
2.6.1 Fonction de répartition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.6.2 Espérance : cas des variables absolument continues à valeurs dans R . . . . . 43
2.6.3 Variance et écart-type : cas des variables absolument continues à valeurs dans R 44
2.6.4 Inégalités de Markov, de Cauchy–Schwarz et de Bienaymé–Tchebychev . . . . 44
2.6.5 Lois marginales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.6.6 Indépendance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
2.6.7 Covariance : cas des variables absolument continues à valeurs dans R . . . . . 45
2.6.8 Espérance, variance et covariance : généralisation au cas vectoriel et matriciel 45
2.6.9 Fonction caractéristique, fonction génératrice et transformée de Laplace . . . 45
2.7 Méthodes de calculs de loi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
2.7.1 Méthode du changement de variable . . . . . . . . . . . . . . . . . . . . . . . 46
2.7.2 Méthode de la fonction de répartition . . . . . . . . . . . . . . . . . . . . . . 47
2.8 Conditionnement dans le cas absolument continu . . . . . . . . . . . . . . . . . . . . 47
2.8.1 Conditionnement par rapport à un évènement . . . . . . . . . . . . . . . . . . 47
2.8.2 Espérance et loi conditionnelles par rapport à une variable aléatoire . . . . . 48
2.9 Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.10 Fiche de synthèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
2.11 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

3 Théorèmes limites 55
3.1 Série de pile ou face . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.2 Convergence presque sûre et loi forte des grands nombres . . . . . . . . . . . . . . . 60
3.2.1 Définition et loi forte des grands nombres . . . . . . . . . . . . . . . . . . . . 60
3.2.2 Convergence vers une variable aléatoire : l’exemple de l’urne de Pólya . . . . 60
3.2.3 Théorème de convergence dominée . . . . . . . . . . . . . . . . . . . . . . . . 62
3.2.4 Lemme de Borel–Cantelli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.2.5 Interprétation empirique de la densité . . . . . . . . . . . . . . . . . . . . . . 63
3.3 Convergence en probabilité et loi faible des grands nombres . . . . . . . . . . . . . . 64
3.4 Convergence en loi et théorème central limite . . . . . . . . . . . . . . . . . . . . . . 65
3.5 Généralisation à la dimension ≥ 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
3.6 Fiche de synthèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
3.7 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

viii
 TABLE DES MATIÈRES

4 Vecteurs gaussiens 73
4.1 Définition et propriétés élémentaires . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.1.1 Vecteur gaussien standard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.1.2 Vecteur gaussien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.2 Théorème central limite multi-dimensionnel . . . . . . . . . . . . . . . . . . . . . . . 76
4.3 Interprétation géométrique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.3.1 Décomposition spectrale de Var(X) . . . . . . . . . . . . . . . . . . . . . . . 77
4.3.2 Projection sur l’image de Var(X) . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.3.3 Absolue continuité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.4 Définition standard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.5 Espérance conditionnelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.6 Indépendance des moyenne et variance empiriques, loi du χ2 et loi de Student . . . . 81
4.7 Fiche de synthèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.8 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84

II Statistique 87
5 Estimation paramétrique 89
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
5.1.1 Description informelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
5.1.2 Formalisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
5.1.3 Un exemple en dimension d > 1 . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5.2 Définitions et hypothèses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5.2.1 Modèle paramétrique et estimateurs . . . . . . . . . . . . . . . . . . . . . . . 90
5.2.2 Existence d’une densité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
5.3 Vraisemblance : l’estimation paramétrique comme un problème inverse de probabilités 92
5.4 Modèle régulier, vecteur du score et information de Fisher . . . . . . . . . . . . . . . 93
5.5 Estimateurs classiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
5.5.1 Estimateur du maximum de vraisemblance . . . . . . . . . . . . . . . . . . . 94
5.5.2 Estimateur de la moyenne (et donc de la variance) . . . . . . . . . . . . . . . 96
5.6 Estimateurs efficaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.6.1 De l’importance de la variance . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.6.2 Borne de Fréchet–Darmois–Cramer–Rao . . . . . . . . . . . . . . . . . . . . . 98
5.6.3 Normalité asymptotique de l’estimateur du maximum de vraisemblance . . . 99
5.6.4 Réduction de la variance et statistique exhaustive . . . . . . . . . . . . . . . 99
5.7 Régions de confiance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.7.1 Généralités . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.7.2 Intervalles de confiance pour le modèle gaussien . . . . . . . . . . . . . . . . . 101
5.7.3 Ellipsoïde de confiance pour les estimateurs asymptotiquement normaux . . . 104
5.8 Fiche de synthèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.9 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108

6 Tests d’hypothèses 115

6.1 Une histoire de biais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
6.1.1 Première approche : une histoire de seuil . . . . . . . . . . . . . . . . . . . . . 115
6.1.2 Deuxième approche : intervalles de confiance . . . . . . . . . . . . . . . . . . 116
6.1.3 Troisième approche : niveau de signification . . . . . . . . . . . . . . . . . . . 117
6.1.4 Discussion intermédiaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
6.1.5 Risques de première et deuxième espèce, puissance d’un test . . . . . . . . . . 118
6.1.6 Hypothèse nulle et hypothèse alternative . . . . . . . . . . . . . . . . . . . . . 120

ix
TABLE DES MATIÈRES

6.1.7 Antagonisme entre risques de première et de deuxième espèce . . . . . . . . . 120

6.2 Résultats généraux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
6.2.1 Définitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
6.2.2 Cas d’hypothèses simples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
6.2.3 Test à base d’intervalles de confiance . . . . . . . . . . . . . . . . . . . . . . . 123
6.3 Fiche de synthèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
6.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

A Correction des exercices 133

A.1 Exercices du Chapitre 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
A.2 Exercices du Chapitre 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
A.3 Exercices du Chapitre 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
A.4 Exercices du Chapitre 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
A.5 Exercices du Chapitre 5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
A.6 Exercices du Chapitre 6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163

B Tableau des lois usuelles 173

x
Notations

Dans tout ce polycopié les notations suivantes seront utilisées : R désigne l’ensemble des réels,
R+ = [0, ∞[ l’ensemble des réels positifs, |Ω| ∈ N ∪ {∞} la cardinalité d’un ensemble (avec |Ω| = ∞
si et seulement si Ω est infini), Ωc son complémentaire et x+ = max(x, 0) et x− = − min(x, 0)
les parties positive et négative d’un réel x ∈ R. On notera Z l’ensemble des entiers relatifs, N =
Z ∩ R+ = {0, 1, 2, . . .} l’ensemble des entiers naturels positifs et N∗ = N \ {0} l’ensemble des entiers
naturels privé de 0.
Un élément M ∈ Rm×n pour m, n ∈ N∗ est assimilé à une matrice à coefficients dans R avec m
lignes et n colonnes et représente l’application linéaire x ∈ Rn 7→ M x ∈ Rm ; M > ∈ Rn×m désigne
sa transposée. On assimilera Rn et Rn×1 , i.e., un vecteur x ∈ Rn sera vu comme un vecteur colonne
avec n lignes et une colonne, et l’on notera donc parfois x = (x1 , . . . , xn ) = (x1 · · · xn )> ∈
PR
n
. Pour
n > > n
x, y ∈ R on notera hx, yi = x y = y x le produit scalaire euclidien entre x et y : hx, yi = k=1 xk yk
si x = (x1 , . . . , xn ) et y = (y1 , . . . , yn ), et toute inégalité vectorielle x ≤ y est à comprendre
coordonnée par coordonnée. Pour M une matrice et a ∈ R, aM désigne la matrice de même taille
que M où chaque coordonnée est multipliée par a et rang(M) est son rang. Enfin, pour A une matrice
carrée à coefficients dans R, on notera det(A) son déterminant.

1
 Première partie

Théorie des probabilités

3
Chapitre 1

Variables aléatoires discrètes

On rappelle dans ce chapitre les éléments de la théorie des probabilités discrètes vues en classes
préparatoires, que l’on complètera par la notion essentielle d’espérance conditionnelle dans les Sec-
tions 1.6 et 1.7.

1.1 Espace de probabilités dans le cas discret

Dans tout ce chapitre, on considère

Ω un ensemble dénombrable.

Ainsi, Ω est fini ou infini dénombrable. L’ensemble Ω est appelé univers, espace d’états ou espace
des réalisations : il est à envisager comme l’ensemble des résultats possibles d’une expérience
aléatoire. Puisque l’on se restreint au cas où Ω est dénombrable, on ne considère donc que des
expériences “simples”, par exemple un lancer de dé. Un élément ω ∈ Ω, assimilé au singleton {ω},
sera appelé évènement élémentaire.
Dans le cadre de ce chapitre où Ω est dénombrable, on considère F = P(Ω) l’ensemble des parties
de Ω : comme nous le verrons au Chapitre 2 cela ne sera plus nécessairement le cas lorsque Ω n’est
pas dénombrable. L’ensemble F définit les ensembles que l’on peut mesurer : ainsi, on appellera un
ensemble A ∈ F ensemble mesurable ou évènement. Le couple (Ω, F) est quant à lui appelé
espace mesurable.
Afin de rendre ces définitions et les suivantes plus concrètes, il sera utile d’avoir un ou plusieurs
exemples en tête. Pour cela, examinons comment modéliser plusieurs expériences aléatoires.
Exemple 1.1. Un joueur lance deux dés discernables (par exemple, ils ont des couleurs différentes)
à 6 faces. La manière la plus simple de modéliser cette expérience aléatoire est donc de considérer

Ω1 = {1, . . . , 6} × {1, . . . , 6}

où pour ω = (i, j) ∈ Ω, la première coordonnée i donne le résultat du premier dé et la deuxième

coordonnée j le résultat du deuxième dé.
Exemple 1.2. Considérons maintenant la même expérience, mais dans le cas où les deux dés sont
indiscernables. On peut alors enregistrer le résultat de l’expérience de plusieurs manières. On ne
peut plus parler de premier et de deuxième dé, mais on peut par exemple enregistrer le plus petit
et le plus grand résultat, ce qui nous amène à considérer

Ω2 = {(i, j) : 1 ≤ i ≤ j ≤ 6}.

5
CHAPITRE 1. VARIABLES ALÉATOIRES DISCRÈTES

Une autre manière de rendre compte de cette expérience est d’enregistrer le plus petit résultat et la
différence entre le plus grand et le plus petit résultat, ce qui nous amène alors à considérer

Ω3 = {(i, j) : 1 ≤ i ≤ 6, 0 ≤ j ≤ 6 − i}.

Exemple 1.3. Un autre exemple est donné par un joueur qui joue 100 fois à pile ou face. On peut
alors enregistrer le résultat de l’expérience par une suite de longueur 100 de 0/1, où 0 correspond à
pile et 1 à face, ce qui correspond à l’univers

Ω4 = {0, 1}100 .

On peut aussi décrire le résultat en enregistrant le résultat du premier lancer (0 on commence par
pile, 1 par face) puis la longueur des séries de pile ou face successifs. Par exemple, (0, 3, 4, 2, 91, 0, . . . , 0)
signifie que l’on a d’abord 3 fois pile, puis 4 fois face, puis 2 fois pile et enfin 91 fois face. Ainsi,
l’univers correspondant est
Ω5 = {0, 1} × {0, 1, . . . , 100}100 .

Les exemples ci-dessus correspondent à des univers finis, même si on pourrait par exemple rendre
compte de la première expérience aléatoire par l’univers N × N puisque l’on peut toujours décrire
une expérience aléatoire par un univers plus gros. Dans les exemples suivants par contre, on ne peut
pas décrire l’expérience aléatoire par un univers fini.
Exemple 1.4. Un joueur lance une pièce, et l’on s’intéresse au nombre de lancers nécessaires avant
d’obtenir pile pour la première fois : l’univers Ω décrivant cette expérience est alors

Ω6 = N∗ ∪ {∞},

l’ajout de l’infini étant là au cas où la pièce soit truquée et ait deux côtés face.
Exemple 1.5. Dans le jeu de rôle Earthdawn, le résultat du jet d’un dé à n faces est donné par
la règle suivante : tant que l’on obtient le score maximum n, on relance le dé et on additionne le
résultat de tous les jets. Ainsi, on peut potentiellement obtenir n’importe quel résultat et un univers
naturel est donc
Ω7 = N∗ .
Une autre description de cette expérience aléatoire est d’enregistrer le nombre de fois où l’on obtient
le score maximal ainsi que le résultat du dernier lancer : l’univers est alors

Ω8 = N × {1, . . . , n − 1}.

On retiendra notamment des exemples ci-dessus que

Une même expérience aléatoire peut être décrite par plusieurs univers Ω.

Dans les exemples ci-dessus, la description de l’expérience aléatoire n’est pas complète : par exemple,
le résultat d’un lancer de dés sera très différent si l’on jette des dés biaisés ou non. De manière
générale, il n’est pas suffisant de décrire l’ensemble des résultats possibles et les évènements –
via l’espace mesurable (Ω, F) – mais il faut aussi décrire les probabilités d’occurrence des divers
évènements.

Définition 1.1. Une fonction P : F → [0, 1] est appelée mesure de probabilité si elle vérifie les
deux propriétés suivantes :
1. P(Ω) = 1 ;

6
 1.1. ESPACE DE PROBABILITÉS DANS LE CAS DISCRET

2. pour toute famille dénombrable (Ai , i ∈ I) d’ensembles mesurables deux à deux disjoints, i.e.,
I est dénombrable, Ai ∈ F pour tout i ∈ I et Ai ∩ Aj = ∅ pour tout i 6= j dans I, alors
!
[ X
P Ai = P(Ai ). (1.1)
i∈I i∈I

Si P est une mesure de probabilité sur l’espace mesurable (Ω, F), le triplet (Ω, F, P) est appelé
espace de probabilité.
Dans le cadre particulier de ce chapitre où Ω est dénombrable, on dira plus spécifiquement que P
est une mesure de probabilité discrète, cf. la Section 2.4 pour la définition générale. Le triplet
(Ω, F, P) décrit maintenant bien une unique expérience aléatoire, et en outre :

Des mesures de probabilité différentes représentent

des caractéristiques statistiques différentes !

Pour illustrer ce point revenons à l’exemple 1.1 du lancer de 2 dés.

Exemple 1.6. Imaginons que les dés sont non biaisés : alors tous les résultats sont équiprobables et
puisqu’il y a 6 × 6 = 36 résultats possibles, la “bonne” mesure de probabilité P1 qui décrit cette
expérience aléatoire est donc donnée par
1
, ω ∈ Ω1 .
P1 ({ω}) =
36
Si en revanche les dés sont biaisés, par exemple chaque dé donne i avec probabilité qi possiblement
6= 1/6, alors la “bonne” mesure de probabilité qui rend compte de cette expérience est donnée par
P01 ({(i, j)}) = qi qj , (i, j) ∈ Ω1 .
Ainsi, le couple (Ω, F) représente l’expérience aléatoire “jeter deux dés à 6 faces”, et la mesure
de probabilité vient décrire les caractéristiques statistiques des dés, ici, P1 pour des dés non
biaisés et P2 pour des dés possiblement biaisés.
Lorsque l’univers Ω est fini, la probabilité qui à chaque évènement élémentaire associe la probabilité
1/|Ω| est appelée mesure uniforme : tous les résultats de l’expérience aléatoire sont équiprobables.
Dans ce cas, la probabilité d’un évènement A est proportionnelle à sa cardinalité :
|A|
P(A) = , A ∈ F.
|Ω|
Dans l’exemple ci-dessus, nous avons ramené la description d’une mesure de probabilité discrète à
la spécification de la probabilité des évènements élémentaires. Cette approche est correcte car il y a
une bijection entre les mesures de probabilité discrètes sur Ω et les suites (pω , ω ∈ Ω) indexées par
les évènements élémentaires et satisfaisant
X
pω = 1 et ∀ω ∈ Ω, pω ≥ 0. (1.2)
ω∈Ω

En effet, étant donné P mesure de probabilité sur (Ω, F), la suite pω = P({ω}) satisfait (1.2) puisque
P est à valeurs dans [0, 1] et que
X X
pω = P({ω}) (par définition de pω )
ω∈Ω ω∈Ω
!
[
=P {ω} (par (1.1) avec I = Ω et Aω = {ω})
ω∈Ω
= P(Ω) (puisque Ω = ∪ω∈Ω {ω})
=1 (par définition d’une mesure de probabilité).

7
CHAPITRE 1. VARIABLES ALÉATOIRES DISCRÈTES

Réciproquement, étant donnée une suite (pω , ω ∈ Ω) satisfaisant (1.2), on peut définir P : F → R
de la manière suivante : X
P (A) = pω , A ∈ F.
ω∈A

On vérifie alors aisément que P est bien une mesure de probabilité, qui satisfait par ailleurs P({ω}) =
pω . On retiendra donc que

Pour décrire une mesure de probabilité discrète P, il suffit de spécifier

la famille (P({ω}), ω ∈ Ω) des probabilités des évènements élémentaires.

Avant de conclure cette section avec certaines propriétés élémentaires satisfaites par toute mesure
de probabilité dans la Proposition 1.1 ci-dessous, nous noterons que, pour une même expérience
aléatoire, le choix de l’univers Ω influence la “bonne” mesure de probabilité, i.e., celle qui décrit
l’expérience aléatoire. Pour comprendre cela revenons à nouveau à l’exemple du lancer de 2 dés.
Exemple 1.7. Considérons l’expérience aléatoire consistant à jeter 2 dés discernables et non biaisés.
Comme nous l’avons vu dans l’exemple 1.6, on peut décrire cette expérience par l’espace de proba-
bilité (Ω1 , F1 , P1 ) avec P1 la mesure uniforme sur Ω1 .
Quitte à perdre l’identité des deux dés, on peut aussi décrire cette expérience en considérant l’uni-
vers Ω2 , ce qui revient à enregistrer le plus petit et le plus grand résultat. Dans ce cas, il est clair
que la mesure uniforme sur Ω2 ne rend pas bien compte de l’expérience aléatoire : en fait, on peut
montrer que la “bonne” mesure de probabilité P2 est donnée par
(
1/18 si i 6= j,
P2 ({i, j}) = (i, j) ∈ Ω2 . (1.3)
1/36 si i = j,

De même, si l’on décrit cette expérience à l’aide de l’univers Ω3 , ce qui revient à enregistrer le plus
petit résultat et la différence entre le plus grand et le plus petit résultat, la “bonne” mesure de
probabilité P3 est donnée par
(
1/18 si j 6= 0,
P3 ({i, j}) = (i, j) ∈ Ω3 . (1.4)
1/36 si j = 0,

Ainsi, les trois espaces de probabilité (Ωi , Fi , Pi ) pour i = 1, 2, 3 sont différents mais décrivent la
même expérience aléatoire.

Proposition 1.1. Soit (An , n ∈ N) une suite d’évènements, i.e., An ∈ F pour n ∈ N. Toute mesure
de probabilité P sur (Ω, F) satisfait les propriétés suivantes :
• P(Ac1 ) = 1 − P(A1 ) ;
• P(A1 ∪ A2 ) = P(A1 ) + P(A2 ) − P(A1 ∩ A2 ) ;
• si la suite (An , n ∈ N) est croissante, i.e., An ⊂ An+1 , alors
!
[
P An = lim P(An );
n→∞
n∈N

• si la suite (An , n ∈ N) est décroissante, i.e., An+1 ⊂ An , alors

!
\
P An = lim P(An ).
n→∞
n∈N

8
 1.2. VARIABLES ALÉATOIRES DISCRÈTES

1.2 Variables aléatoires discrètes

1.2.1 Définition et loi d’une variable aléatoire discrète
Lorsque Ω est dénombrable, comme c’est le cas dans tout ce chapitre, la définition d’une variable
aléatoire est particulièrement simple. Dans le cas où Ω n’est pas dénombrable il faudra prendre
quelques précautions, cf. Section 2.5.
Définition 1.2. Soit Ω0 un ensemble quelconque (en particulier, dénombrable ou non) et F 0 = P(Ω0 )
l’ensemble de ses parties. Une application X : (Ω, F) → (Ω0 , F 0 ) est appelée variable aléatoire
discrète.
On dit que X est à valeurs dans R (ou N, Rn , etc) si X(Ω) ⊂ R (ou N, Rn , etc). Lorsque X est à
valeurs dans Rn avec n ≥ 2, on dit que X est un vecteur aléatoire discret.

Dans le reste de ce chapitre, en plus de considérer Ω est dénombrable et que F = P(Ω)

on utilisera les notations suivantes :
• Ω0 , Ω00 , Ω1 , Ω2 , etc, sont des ensembles arbitraires ;
• F 0 = P(Ω0 ), F 00 = P(Ω00 ), F1 = P(Ω1 ), F2 = P(Ω2 ), etc ;
• X, X 0 , X 00 , Y , X1 , X2 , etc, sont des variables aléatoires définies sur (Ω, F) et à
valeurs dans des ensembles arbitraires que l’on spécifiera le cas échéant.

A ce stade il peut paraître mystérieux de faire apparaître les ensembles F et F 0 dans la définition
d’une variable aléatoire puisqu’ils ne jouent apparemment aucun rôle, mais cela prendra tout son
sens lorsque l’on parlera de variables aléatoires absolument continues au Chapitre 2. A cause de la
définition très générale d’une variable aléatoire discrète, le fait d’être une variable aléatoire discrète
est une propriété extrêmement stable. On notera par exemple les propriétés suivantes.
Proposition 1.2. Pour toute application ϕ : (Ω0 , F 0 ) → (Ω00 , F 00 ), l’application ϕ ◦ X : (Ω, F) →
(Ω00 , F 00 ) est une variable aléatoire discrète.
Ainsi, si X1 et X2 sont deux variables aléatoires à valeurs dans Ω0 = R, alors toute combinaison
linéaire de X1 et X2 est une variable aléatoire, ainsi que X12 , min(X1 , X2 ), etc.
Les variables aléatoires sont des objets très importants puisqu’ils capturent ce qui, dans l’expérience
aléatoire, nous intéresse vraiment. Ainsi, pour revenir à l’exemple 1.2 du lancer de deux dés indiscer-
nables, ce qui nous intéresse parfois n’est pas tant le résultat de chaque dé mais plutôt leur somme :
dans ce cas, on considèrera la variable aléatoire X2 ou X3 définie par

X2 : (i, j) ∈ Ω = Ω2 7→ i + j ∈ Ω0 = {2, . . . , 12} (1.5)

ou bien par
X3 : (i, j) ∈ Ω = Ω3 7→ 2i + j ∈ Ω0 = {2, . . . , 12}, (1.6)
suivant la modélisation de l’expérience adoptée. Par la suite, la question naturelle est de connaître la
probabilité d’obtenir un certain résultat, par exemple, quelle est la probabilité d’obtenir un résultat
≥ 5 ? Formellement et plus généralement, il s’agit de calculer la loi de X. Pour définir cette notion,
on rappelle la définition ensembliste de l’image réciproque d’une fonction : si f : Ω → Ω0 est une
fonction quelconque, son image réciproque f −1 : P(Ω0 ) → P(Ω) est la fonction définie par

f −1 (A) = {ω ∈ Ω : f (ω) ∈ A} , A ⊂ Ω0 .

Lorsque f est bijective, l’image réciproque de tout évènement élémentaire est un singleton, disons
f −1 ({ω 0 }) = {ω}, et par abus de notation on identifiera alors f −1 avec l’inverse de f , définie dans
l’exemple précédent par la relation f −1 (ω 0 ) = ω.

9
CHAPITRE 1. VARIABLES ALÉATOIRES DISCRÈTES

Définition 1.3. La loi de la variable aléatoire X est l’application P ◦ X −1 : F 0 → [0, 1].

De manière plus légère, la loi de X sera parfois notée PX = P ◦ X −1 . Il s’agit donc de la fonction
qui, à un évènement A ∈ F 0 , associe le nombre
PX (A) = P ◦ X −1 (A) = P X −1 (A) = P ({ω ∈ Ω : X(ω) ∈ A}) ∈ [0, 1].

Remarque 1.1. La loi de X dépend de la mesure de probabilité considérée (ici, P). Si l’on est amenés
à considérer plusieurs mesures de probabilités (ce qui sera le cas lorsque l’on fera de la statistique),
on pourra alors être amené à parler de la loi de X sous P.
Théorème 1.3. Si X : (Ω, F) → (Ω0 , F 0 ), alors la loi de X est une mesure de probabilité sur
(Ω0 , F 0 ).
En d’autres termes,

Toute variable aléatoire X induit

une mesure de probabilité sur son ensemble image, appelée loi de X.

Démonstration du théorème 1.3. Il s’agit de vérifier les deux axiomes d’une mesure de probabilité.
Tout d’abord, on calcule bien PX (Ω0 ) = 1 puisque PX (Ω0 ) = P(X −1 (Ω0 )) par définition de PX , que
X −1 (Ω0 ) = Ω par définition de X −1 et finalement que P(Ω) = 1 par hypothèse. La propriété (1.1)
suit du fait que l’image réciproque commute avec l’union, i.e.,
!
[ [
−1
X Ai = X −1 (Ai ) ,
i∈I i∈I

qui implique que PX (∪i∈I Ai ) = P(∪i∈I X −1 (Ai )), et du fait que si (Ai ) est une famille d’ensembles
deux
P à deux disjoints,Palors la famille (X −1 (Ai )) l’est aussi, ce qui implique que P(∪i∈I X −1 (Ai )) =
−1
i∈I P(X (A i )) = i∈I PX (Ai ). 
Deux variables aléatoires différentes peuvent avoir la même loi. Par exemple, les variables aléatoires
X2 et X3 de (1.5) et (1.6) décrivent le même résultat d’une même expérience aléatoire, à savoir la
somme de deux dés. Il est donc évident que les lois de X2 et X3 doivent coïncider : la probabilité
d’obtenir 2 ne doit pas dépendre du formalisme adopté ! Ainsi, si les mesures de probabilité P2 et
P3 de (1.3) et (1.4) ont été bien choisis, on doit avoir
P2 ◦ X2−1 = P3 ◦ X3−1
ce que l’on peut effectivement vérifier analytiquement.

1.2.2 Fonctions indicatrices

Une famille de variables aléatoires discrètes joue un rôle très important en théorie des probabilités :
il s’agit des fonctions indicatrices.
Définition 1.4. Soit A ∈ F. La fonction indicatrice de l’évènement A, notée ξA , est la variable
aléatoires à valeurs dans {0, 1} définie de la manière suivante : ξA = 1 si l’évènement A a lieu et 0
sinon, i.e., (
1 si ω ∈ A,
ξA (ω) =
0 sinon.
On notera 1 {X ∈ A} la fonction indicatrice de l’évènement X −1 (A), i.e.,
(
1 si X(ω) ∈ A,
1 {X ∈ A} (ω) = 1 {X(ω) ∈ A} =
0 sinon.

10
 1.2. VARIABLES ALÉATOIRES DISCRÈTES

1.2.3 La disparition, ou bien le formalisme probabiliste

Le fait qu’une même expérience aléatoire puisse être décrite par plusieurs espaces de probabilité
montre que le choix de l’espace de probabilité n’est pas très important. En pratique, on est souvent
beaucoup plus intéressé par les variables aléatoires et leur loi, les lois étant, comme on l’a vu, indé-
pendantes de l’espace de probabilité choisi. Ainsi, le formalisme probabiliste vise à faire disparaître
l’espace de probabilité sous-jacent pour mettre l’accent sur les variables aléatoires et leur loi. Ainsi,
au lieu de noter
P ({ω ∈ Ω : X(ω) ∈ A}) ,
ce qui serait parfaitement rigoureux, on notera de manière plus légère

P (X ∈ A)

qui s’interprète tout simplement par la probabilité que X appartienne à A. Il s’agit du premier
exemple où Ω, bien qu’indispensable pour la construction rigoureuse de la théorie des probabilités,
va peu à peu s’effacer au profit des lois induites par les variables aléatoires considérées. De la même
manière, au lieu de noter ϕ ◦ X on notera tout simplement ϕ(X), etc.
Remarque 1.2. Ce formalisme peut parfois prêter à confusion. Considérons par exemple le raison-
nement suivant : soit X une variable aléatoire discrète à valeurs réelles et FX : x ∈ R 7→ P(X ≤
x) ∈ [0, 1] (comme on le verra plus loin, FX est la fonction de répartition de X). Une interprétation
incorrecte du formalisme probabiliste pourrait alors mener à la conclusion que FX (X) = 1 : en effet,
puisque FX (x) = P(X ≤ x) on a FX (X) = P(X ≤ X) = 1. Ce raisonnement est bien entendu
erroné, mais saurez-vous trouver le problème ?

1.2.4 Quelques lois discrètes classiques

Une liste non-exhaustive de lois discrètes inclut :
Loi uniforme sur un ensemble fini : Soit A un ensemble fini : la loi uniforme sur A, mention-
1
née précédemment, est la mesure de probabilité P({a}) = |A| pour a ∈ A. Elle représente
l’expérience où l’on tire un élément uniformément au hasard d’un ensemble fini ;
Loi de Bernoulli : La loi de Bernoulli est la mesure de probabilité la plus simple possible : c’est
une mesure de probabilité sur {0, 1}, elle donc entièrement caractérisée par la probabilité de
1 : P({1}) = p ∈ [0, 1]. La loi de Bernoulli est typiquement la loi du pile ou face ;
Loi binomiale : La loi binomiale est une loi sur N avec deux paramètres : p ∈]0, 1[ et n ∈ N∗ . La
loi binomiale est la loi de la variable aléatoire qui compte le nombre de succès dans une série
de n lancers indépendants lorsque chaque succès a lieu avec probabilité p.
 
n k
P({k}) = p (1 − p)n−k , k = 0, . . . , n;
k

Loi géométrique : La loi géométrique est la loi du nombre de lancers jusqu’au premier succès,
lorsque les lancers sont indépendants et sont un succès avec probabilité p ∈]0, 1[ : ainsi, c’est
une mesure de probabilité sur N∗ paramétrée par un nombre réel p ∈]0, 1[ et donnée par

P({k}) = (1 − p)k−1 p, k ∈ N∗ ;

Loi de Poisson : La loi de Poisson, caractérisée par un paramètre λ > 0, est la mesure de proba-
bilité sur N définie par
λk −λ
P({k}) = e , k ∈ N.
k!
Il s’agit d’une loi essentielle pour la modélisation des évènements rares qui émerge comme
limite de la loi binomiale, cf. Proposition 3.12.

11
CHAPITRE 1. VARIABLES ALÉATOIRES DISCRÈTES

1.3 Variables aléatoires discrètes à valeurs réelles : fonction

de répartition, espérance et variance
Dans toute cette partie (Section 1.3), on suppose que X est à valeurs réelles et l’on introduit
plusieurs notions importantes. Ces notions seront généralisées dans la Section 1.4 au cas de vecteurs
aléatoires discrets (toujours à valeurs réelles).

1.3.1 Fonction de répartition

Définition 1.5. La fonction de répartition de la variable aléatoire X à valeurs réelles est la
fonction FX : R → [0, 1] définie par FX (x) = P(X ≤ x) = PX ((−∞, x]) pour x ∈ R.

Les propriétés suivantes découlent directement de cette définition et des propriétés d’une loi de
probabilité établie dans la Proposition 1.1.

Proposition 1.4. La fonction FX est croissante, continue à droite et satisfait

lim FX (x) = 0, lim FX (x) = 1 et FX (x) − FX (x−) = P(X = x) = PX ({x}), x ∈ R.

x→−∞ x→+∞

Corollaire 1.5. La fonction de répartition caractérise la loi d’une variable aléatoire : si FX = FY

alors PX = PY .

Démonstration. Cela vient directement du fait que FX (x) − FX (x−) = PX ({x}) et du fait qu’une
mesure de probabilité discrète est caractérisée par les probabilités des évènements élémentaires. 

1.3.2 Espérance
Pour x ∈ R on rappelle les notations
( (
+ x si x ≥ 0 − −x si x ≤ 0
x = max(x, 0) = et x = − min(x, 0) = .
0 sinon 0 sinon

Définition 1.6. Si X est à valeurs dans R+ ∪ {∞}, alors son espérance E(X) ∈ R+ ∪ {∞} est
définie de la manière suivante :
X X
E(X) = xPX ({x}) = xP(X = x) (1.7)
x∈X(Ω) x∈X(Ω)

avec la convention E(X) = ∞ si P(X = ∞) > 0.

Si X est à valeurs dans R, X est dite intégrable si E(X + ), E(X − ) < ∞. Dans ce cas, son espérance
E(X) ∈ R est donnée par E(X) = E(X + ) − E(X − ).
Si X est à valeurs dans R, X est dite de carré intégrable si X 2 est intégrable, i.e., E(X 2 ) < ∞.

Remarque 1.3. Formellement, E est un opérateur qui agit sur les variables aléatoires et qui dépend
de la mesure de probabilité considérée, ici, P. Ainsi, chaque nouvelle mesure de probabilité induit
un nouvel opérateur d’espérance associé. Dans le cadre de ce cours il y aura notamment deux cas
particuliers importants :
• comme on le verra dans la Section 1.6, chaque évènement A ∈ F avec P(A) > 0 induit une
nouvelle mesure de probabilité P( · | A), appelée mesure de probabilité conditionnelle sachant
A, et l’opérateur associé est E( · | A) ;
• en statistique, on considérera par exemple une famille {Pθ , θ ∈ Θ} de mesures de probabilités
sur un même espace, et Eθ dénotera alors l’espérance associée à la mesure de probabilité Pθ .

12
 1.3. VARIABLES ALÉATOIRES DISCRÈTES À VALEURS RÉELLES : FONCTION DE
RÉPARTITION, ESPÉRANCE ET VARIANCE

Remarque 1.4. L’espérance de X ne dépend que de sa loi : deux variables aléatoires avec la même
loi ont donc la même espérance.
Nous montrons maintenant quelques propriétés essentielles de l’espérance :
• la Proposition 1.8 donne une formule explicite pour E(|X|) de laquelle découle que la for-
mule (1.7) reste valable dans le cas où X est intégrable ;
• le Théorème 1.9 qui établit une formule fondamentale pour calculer l’espérance de ϕ(X) ;
• la Proposition 1.10 qui montre que l’espérance est un opérateur linéaire ;
• le Théorème 1.16 qui montre l’écriture probabiliste de l’inégalité de Cauchy–Schwarz.
Les preuves de ce résultat sont élémentaires, et reposent essentiellement sur le théorème de Fubini et
les deux résultats suivants. Le premier résultat montre un lien profond entre probabilité et espérance :
P(A) n’est rien d’autre que l’espérance de la variable aléatoire ξA .

Théorème 1.6. Pour tout A ∈ F on a E(ξA ) = P(A).

En particulier, pour tout A0 ∈ F 0 on a E (1 {X ∈ A0 }) = P(X ∈ A0 ).

Démonstration. Il suffit juste de montrer la première propriété puisque la deuxième propriété en

découle en considérant A = X −1 (A0 ). Puisque ξA ⊂ {0, 1}, on a par définition de l’espérance
X
E(ξA ) = yP(ξA = y) = P(ξA = 1).
y∈{0,1}

Par définition de ξA , P(ξA = 1) = P(A) ce qui prouve le résultat voulu. 

Proposition 1.7. Si X est à valeurs dans R+ ,

Z ∞
E(X) = P(X ≥ x)dx.
0
R
Démonstration. Pour x ∈ R+ , on a x = 1 {0 ≤ u ≤ x} du : ainsi, puisque X(Ω) ⊂ R+ par hypo-
thèse, cela nous donne
X X Z
E(X) = xPX ({x}) = 1 {0 ≤ u ≤ x} PX ({x})du.
x∈X(Ω) x∈X(Ω)

Puisque tous les termes sont positifs, le théorème de Fubini nous permet d’intervertir somme et
intégrale ce qui nous donne, en intégrant d’abord sur u ≥ 0,
 
Z X
E(X) = du1 {u ≥ 0}  1 {x ≥ u} PX ({x}) .
x∈X(Ω)

P
Par définition, x∈X(Ω) 1 {x ≥ u} PX ({x}) = P(X ≥ u) et l’on obtient donc le résultat. 

Proposition 1.8. Soit X à valeurs dans R : alors

X
E (|X|) = E X + + E X − =



|x|PX ({x}).
x∈X(Ω)

En particulier, on a les équivalences suivantes :

X
X est intégrable ⇐⇒ E(|X|) < ∞ ⇐⇒ |x|PX ({x}) < ∞.
x∈X(Ω)

13
CHAPITRE 1. VARIABLES ALÉATOIRES DISCRÈTES

Si l’une de ces trois conditions est satisfaite, alors la série (xPX ({x}), x ∈ X(Ω)) est sommable et
la formule (1.7) reste valable, i.e.,
X X
E(X) = xPX ({x}) = xP(X = x).
x∈X(Ω) x∈X(Ω)

Enfin, si X est intégrable alors |E(X)| ≤ E(|X|).

Démonstration. On vérifie que pour x > 0 les évènements {X + ≥ x} et {X − ≥ x} sont disjoints et
que leur union est égale à {|X| ≥ x} : ainsi, la Proposition 1.1 implique que P(|X| ≥ x) = P(X + ≥
x) + P(X − ≥ x) et il s’ensuit grâce à la Proposition 1.7 que
Z ∞ Z ∞
P X + ≥ x dx + P X − ≥ x dx = E X + + E X − .





E (|X|) =
0 0

Par ailleurs, on vérifie que

X X
E X± = x± PX ({x})


xPX ± ({x}) =
x∈X ± (Ω) x∈X(Ω)

si bien que X X
E(X + ) + E(X − ) = (x+ + x− )PX ({x}) = |x|PX ({x}).
x∈X(Ω) x∈X(Ω)
P
On a donc montré que E(|X|) = x∈X(Ω) |x|PX ({x}), d’où le reste de la proposition découle facile-
ment. 
Théorème 1.9. Soit ϕ : Ω0 → R : si ϕ(X) ≥ 0 ou E(|ϕ(X)|) < ∞, alors
X X
E (ϕ(X)) = ϕ(x)PX ({x}) = ϕ(x)P(X = x). (1.8)
x∈X(Ω) x∈X(Ω)

Démonstration. On traite le cas ϕ(X) ≥ 0, duquel le cas intégrable suit en revenant à la définition
de E(X) pour X intégrable. Pour ϕ(X) ≥ 0, on peut utiliser la Proposition 1.7 qui donne
Z Z
E(ϕ(X)) = P(ϕ(X) ≥ x)1 {x ≥ 0} dx = P X ∈ ϕ−1 ([x, ∞)) 1 {x ≥ 0} dx.

P
Pour n’importe quel A ∈ F, on a P(X ∈ A) = x∈X(Ω)∩A PX ({x}) du fait que {X ∈ A} =
∪x∈X(Ω)∩A {X = x}, d’où il vient que
X X
P X ∈ ϕ−1 ([x, ∞)) = 1 u ∈ ϕ−1 ([x, ∞)) PX ({u}) =


1 {ϕ(u) ≥ x} PX ({u}).
u∈X(Ω) u∈X(Ω)

Ainsi, Z X
E (ϕ(X)) = 1 {ϕ(u) ≥ x ≥ 0} PX ({u})dx.
u∈X(Ω)

Puisque tous les termes sont positifs, le théorème de Fubini nous garantit qu’on peut interver-
R somme et intégrale : intégrant d’abord (sur x), on obtient alors le résultat puisque ϕ(u) =
tir
1 {0 ≤ x ≤ ϕ(u)} dx. 
Proposition 1.10. Soit Y une variable aléatoire à valeurs réelles. Si X, Y ∈ R+ , alors pour tout
a, b ∈ R+ on a E(aX + bY ) = aE(X) + bE(Y ). Cette relation reste valable pour tout a, b ∈ R dès
lors que X, Y ∈ R sont intégrables. En particulier, si X et Y sont intégrables et que X ≥ Y , alors
E(X) ≥ E(Y ).

14
 1.3. VARIABLES ALÉATOIRES DISCRÈTES À VALEURS RÉELLES : FONCTION DE
RÉPARTITION, ESPÉRANCE ET VARIANCE

Démonstration. Soit a, b ≥ 0 et X, Y à valeurs dans R+ : alors l’égalité E(aX +bY ) = aE(X)+bE(Y )

découle du Théorème 1.9 avec X = (X, Y ) et ϕ(x, y) = ax + by. En outre, si Y ≥ X alors P(X ≥
x) = P(Y ≥ X ≥ x) ≤ P(Y ≥ x) et donc (en utilisant la Proposition 1.7 pour calculer les espérances)
Z ∞ Z ∞
E(X) = P(X ≥ x)dx ≤ P(Y ≥ x)dx = E(Y )
0 0

ce qui prouve le résultat dans ce cas. Considérons maintenant le cas général. Alors l’inégalité trian-
gulaire donne |aX + bY | ≤ |a||X| + |b||Y | et donc, d’après la première étape,

E (|aX + bY |) ≤ |a|E (|X|) + |b|E (|Y |) .

Ainsi, si X et Y sont intégrables aX + bY l’est aussi et l’on retrouve alors la formule E(aX + bY ) =
aE(X) + bE(Y ) comme dans le cas positif en invoquant le Théorème 1.9. Enfin, si Y ≥ X alors
Y − X ≥ 0 et donc E(Y − X) ≥ 0 ce qui donne le résultat puisque E(Y − X) = E(Y ) − E(X) lorsque
X et Y sont intégrables, comme l’on vient de le voir. 

Le résultat précédent se généralise de la manière suivante.

Proposition 1.11. Si Xi ≥ 0, alors

 
X X
E Xi  = E(Xi ).
i≥1 i≥1

1.3.3 Variance et écart-type

Définition 1.7. Si X à valeurs réelles est intégrable, alors sa variance Var(X) ∈ R+ ∪ {∞} et son
écart-type σX ∈ R+ ∪ {∞} sont définis de la manière suivante :
p
Var(X) = E (X − E(X))2 et σX = Var(X).
 

La variance mesure la dispersion d’une variable aléatoire autour de sa moyenne, ce qui est par
exemple reflété par l’inégalité de Bienaymé–Tchebychev 1.15 ci-dessous.

Proposition 1.12. Si X est intégrable, alors pour tout a, b ∈ R on a

2
Var(X) = E(X 2 ) − E(X) et Var(aX + b) = a2 Var(X).

Ainsi, Var(X) < ∞ si et seulement si X est de carré intégrable.

Le résultat suivant, qui permet de caractériser le fait qu’une variable aléatoire est constante, est une
conséquence directe de l’inégalité de Bienaymé–Tchebychev ci-dessous (Théorème 1.15).

Proposition 1.13. Si X est intégrable et que Var(X) = 0, alors X est (presque sûrement) constante,
i.e., P(X = E(X)) = 1.

Démonstration. On a P(X 6= E(X)) = limε↓0 P(|X − E(X)| ≥ ε) et pour tout ε > 0, l’inégalité de
Bienaymé–Tchebychev donne P(|X − E(X)| ≥ ε) = 0. 

1.3.4 Inégalités de Markov, de Cauchy–Schwarz et de Bienaymé–Tchebychev

On formule maintenant trois inégalités probabilistes classiques. Bien qu’apparemment élémentaire,
les conséquences de l’inégalité de Markov sont très riches.

15
CHAPITRE 1. VARIABLES ALÉATOIRES DISCRÈTES

Théorème 1.14 (Inégalité de Markov). Soit X à valeurs dans R+ : alors pour tout x > 0,

1
P(X ≥ x) ≤ E(X).
x
Démonstration. Il suffit de remarquer que

X
1 {X ≥ x} ≤
x
puis de prendre l’espérance. 

Théorème 1.15 (Inégalité de Bienaymé–Tchebychev). Si X à valeurs réelles est intégrable, alors

pour tout ε > 0 on a
1
P (|X − E(X)| ≥ ε) ≤ 2 Var(X).
ε
Démonstration. On écrit

P (|X − E(X)| ≥ ε) = P (X − E(X))2 ≥ ε2

puis on utilise l’inégalité de Markov. 

p
Théorème 1.16 (Inégalité de Cauchy–Schwarz). On a E(|XY |) ≤ E(X 2 )E(Y 2 ).
En particulier, si X est de carré intégrable alors X est intégrable.
P
Démonstration. La Proposition 1.8 donne E (|XY |) = x∈X(Ω),y∈Y (Ω) |xy|PX,Y ({x, y}) et donc l’in-
égalité de Cauchy–Schwarz donne
 1/2  1/2
 X  2   X  2 
1/2 1/2
E (|XY |) ≤ 
 |x|PX,Y ({x, y}) 


 yPX,Y ({x, y}) 
 .
x∈X(Ω) x∈X(Ω)
y∈Y (Ω) y∈Y (Ω)

Par ailleurs,
X  2 X
|x|PX,Y ({x, y})1/2 = x2 PX,Y ({x, y})
x∈X(Ω) x∈X(Ω)
y∈Y (Ω) y∈Y (Ω)
X X
= x2 PX,Y ({x, y})
x∈X(Ω) y∈Y (Ω)
X
= x2 PX ({x})
x∈X(Ω)

qui vaut E(X 2 ) par le Théorème 1.9 pour ϕ(x) = x2 , et où on a utilisé le Théorème 1.17 pour la
troisième égalité ci-dessus. 

La réciproque de la propriété précédente n’est pas vraie, i.e., on peut avoir une variable aléatoire
intégrable mais pas de carré intégrable : il suffit par exemple de considérer X avec

1 ∗
X 1
P(X = x) = , x ∈ N , où Z = .
Zx5/2 x∈N∗
x5/2

16
 1.4. FAMILLE DE VARIABLES ALÉATOIRES DISCRÈTES, INDÉPENDANCE

1.4 Famille de variables aléatoires discrètes, indépendance

1.4.1 Famille de variables aléatoires discrètes : définition et lois margi-
nales
En pratique, il est très utile de considérer des familles de variables aléatoires discrètes. Reprenons
l’exemple 1.6 du lancer de deux dés discernables décrit par l’espace de probabilité (Ω1 , F1 , P1 ) et
définissons X1 : (i, j) ∈ Ω1 7→ i ∈ {1, . . . , 6} et X2 : (i, j) ∈ Ω1 7→ j ∈ {1, . . . , 6}. Ainsi, Xi est la
variable aléatoire qui enregistre le résultat du i-ème dé, et on dit que X = (X1 , X2 ) est un couple
de variables aléatoires discrètes, ou tout simplement couple aléatoire discret. De manière
plus générale, si chaque Xk pour k ∈ N∗ est une variable aléatoire discrète alors (X1 , . . . , Xn ) est
appelé vecteur aléatoire discret et (Xn , n ∈ N∗ ) est appelé famille aléatoire discrète. On
rappelle que par définition, x ≤ y pour x, y ∈ Rn si et seulement si xk ≤ yk pour k = 1, . . . , n, ce
qui permet d’étendre la Définition 1.5 de la fonction de répartition.
Définition 1.8. La fonction de répartition de la variable aléatoire X à valeurs dans Rn est la
fonction FX : Rn → [0, 1] définie par FX (x) = P(X ≤ x) pour x ∈ Rn .
Le Corollaire 1.5 continue à être vrai dans le cadre vectoriel, i.e., la fonction de répartition carac-
térise la loi d’un vecteur aléatoire discret à valeurs réelles. Dans l’exemple ci-dessus, l’intérêt de
considérer la variable aléatoire X = (X1 , X2 ) est que l’on peut par exemple utiliser le Théorème 1.9
pour calculer l’espérance d’autres variables aléatoires d’intérêt. Si l’on s’intéresse par exemple au
maximum des deux dés, il suffit de prendre ϕ(x, y) = max(x, y) puis de calculer
X
E(ϕ(X)) = E(max(X1 , X2 )) = max(x1 , x2 )P1 (X1 = x1 , X2 = x2 ).
x1 ,x2 =1,...,6

Puisque tous les résultats sont équiprobables, P1 est la mesure uniforme sur Ω1 et donc
1 X 161
E(ϕ(X)) = max(x1 , x2 ) = .
36 x ,x =1,...,6 36
1 2

De manière plus générale, si (Xn , n ∈ N) est une famille aléatoire discrète, il y a deux manières de
considérer la variable aléatoire discrète Xn et sa loi :
1. soit on considère Xn en isolation, ce qui correspond à ce qu’on a fait jusqu’à présent ;
2. soit on considère Xn comme la projection sur la coordonnée n de la famille (Xn , n ∈ N) : dans
ce cas et pour mettre l’accent sur le fait que Xn fait partie d’une famille plus grande, la loi de
Xn sera appelée loi marginale de Xn .
Le Théorème 1.9 utilisé avec la fonction f ((xn , n ∈ N)) = xn , i.e., la projection sur la coordonnée
n, permet de calculer la loi marginale de Xn .
Théorème 1.17. Soit X = (X1 , . . . , Xn ) un vecteur aléatoire discret avec Xk : (Ω, F) → (Ωk , Fk )
pour k = 1, . . . , n. Alors pour tout x1 ∈ X1 (Ω), la loi marginale de X1 est donnée par
X
PX1 ({x1 }) = PX ({(x1 , x2 , . . . , xn )}) .
x2 ∈X2 (Ω),...,xn ∈Xn (Ω)

Démonstration. Il suffit, pour x1 ∈ X1 (Ω) fixé, d’utiliser le Théorème 1.9 avec la fonction ϕ(y1 , . . . , yn ) =
1 {y1 = x1 }. 
Dans le cas d’un couple aléatoire discret (X1 , X2 ) à valeurs réelles, on a par exemple
X
PX1 (A) = P (X1 = x1 , X2 = x2 ) , A ⊂ R.
x1 ∈A
x2 ∈X2 (Ω)

17
CHAPITRE 1. VARIABLES ALÉATOIRES DISCRÈTES

Cet exemple est en fait le plus général possible, puisqu’on peut s’y ramener en définissant X2 =
(X2 , . . . , Xn ) dans le théorème précédent. On retiendra donc que

La loi marginale de X1 est obtenue

en sommant sur les valeurs possibles de X2 .

En outre, si la loi du couple (X1 , X2 ) détermine de manière unique les lois marginales de X1 et de
X2 , la réciproque n’est pas vraie comme nous le discutons ci-dessous via le concept d’indépendance.

1.4.2 Indépendance
Considérer des familles de variables aléatoires permet en outre de formaliser un concept essentiel de
la théorie des probabilités, à savoir la notion d’indépendance.
Définition 1.9. Soit J un ensemble dénombrable : pour chaque j ∈ J on considère Aj ∈ F un
évènement et Xj : (Ω, F) → (Ωj , Fj ) une variable aléatoire.
Les évènements (Aj , j ∈ J) sont indépendants si pour tout ensemble fini I ⊂ J on a
!
\ Y
P Ai = P (Ai ) .
i∈I i∈I

Les variables aléatoires (Xj , j ∈ J) sont indépendantes si pour toute famille (A0j , j ∈ J) d’évène-
ments A0j ∈ F 0 , les évènements (Xj−1 (A0j ), j ∈ J) sont indépendants.
Si J = N, on dit que les variables aléatoires (Xn , n ∈ N) sont indépendantes et identiquement
distribuées, en abrégé i.i.d., si elles sont indépendantes et de même loi, i.e., PXn = PX0 pour tout
n ∈ N.
En particulier, deux variables aléatoires à valeurs réelles X1 et X2 sont indépendantes si pour tout
A, B ⊂ R, on a
P(X1 ∈ A, X2 ∈ B) = P(X1 ∈ A)P(X2 ∈ B).
Théorème 1.18. Les variables aléatoires X1 et X2 sont indépendantes si et seulement si la loi du
couple (X1 , X2 ) est égale au produit des lois marginales :

P(X1 ,X2 ) ({(x1 , x2 )}) = PX1 ({x1 })PX2 ({x2 }), x1 ∈ X1 (Ω), x2 ∈ X2 (Ω).

Dans le cas de l’exemple 1.6 où l’on jette deux dés discernables, on vérifie bien que cette définition
d’indépendance implique que les variables aléatoires X1 et X2 qui enregistrent les résultats de chacun
des dés sont indépendantes. Une vision plus intuitive de l’indépendance correspond à dire que

X1 et X2 sont indépendantes si
toute information sur X1 ne change en rien la loi de X2 .

En d’autres termes, on a une expérience aléatoire avec un couple (X1 , X2 ). Si par exemple X1 est
le minimum des deux dés et X2 le maximum, la connaissance de X1 influence la loi de X2 : bien
qu’en général on peut avoir X2 = 1, si l’on sait que X1 = 3 alors cela contraint X2 ≥ 3. Si en
revanche X1 est le résultat du premier dé et X2 du second, alors ces variables aléatoires sont bien
indépendantes : le résultat d’un dé n’apporte aucune information sur le résultat de l’autre. La notion
de conditionnement introduite dans les Sections 1.6 et 1.7 permettra de formaliser cette idée de
“connaissance” ou d’“information” apportée par un évènement et plus généralement par une variable
aléatoire. Le résultat suivant est très naturel : si deux variables aléatoires sont indépendantes, alors
toute transformation de ces variables aléatoires conserve cette indépendance.

18
 1.4. FAMILLE DE VARIABLES ALÉATOIRES DISCRÈTES, INDÉPENDANCE

Proposition 1.19. Si X1 : (Ω, F) → (Ω1 , F1 ) et X2 : (Ω, F) → (Ω2 , F2 ) sont indépendantes, alors

pour toutes fonctions ϕ1 : (Ω1 , F1 ) → (Ω01 , F10 ) et ϕ2 : (Ω2 , F2 ) → (Ω02 , F20 ) les variables aléatoires
ϕ1 (X1 ) et ϕ2 (X2 ) sont indépendantes.

On conclut enfin par deux formules utiles dans le cas de variables aléatoires indépendantes.

Proposition 1.20. Soit X1 et X2 deux variables aléatoires indépendantes à valeurs réelles.

• Si X1 et X2 sont intégrables, alors X1 X2 est intégrable et E(X1 X2 ) = E(X1 )E(X2 ) ;
• Si X1 et X2 sont de carré intégrables, alors pour tout a, b ∈ R, aX1 +bX2 est de carré intégrable
et Var(aX1 + bX2 ) = a2 Var(X1 ) + b2 Var(X2 ).

On généralise immédiatement la dernière relation : si les Xn à valeurs réelles sont indépendantes et

de carré intégrable, alors pour tout a1 , . . . , an ∈ R on a
n
! n
X X
Var ak Xk = a2k Var (Xk ) .
k=1 k=1

1.4.3 Lois marginales et loi jointe

Nous pouvons maintenant finir la discussion initiée à la fin de la Section 1.4.1 et présenter des
exemples de couples de variables aléatoires avec des lois différentes mais dont les lois marginales
sont les mêmes. L’idée de base est la suivante :

Les lois marginales de X1 et X2 ne contiennent

aucune information sur la corrélation entre X1 et X2 .

Ainsi, prenons deux exemples extrêmes où X1 et X2 sont indépendantes et X1 et X2 sont parfai-

tement corrélées : dans les deux exemples, les lois marginales sont les mêmes mais la loi jointe du
couple est très différente.
Indépendance : On lance un dé non biaisé deux fois de suite : X1 enregistre le résultat du premier
lancer et X2 du deuxième. La loi jointe du couple (X1 , X2 ) est la loi uniforme sur {1, . . . , 6} ×
{1, . . . , 6} et la loi marginale de X1 et X2 est la loi uniforme sur {1, . . . , 6} ;
Corrélation parfaite : On lance un dé : X1 enregistre le résultat du lancer et pour le “deuxième”
lancer on copie le résultat du premier lancer, i.e., on prend X2 = X1 . Alors la loi jointe du
couple (X1 , X2 ) est la loi uniforme sur {(1, 1), . . . , (6, 6)} alors que les lois marginales de X1
et X2 restent inchangées.

1.4.4 Covariance de deux variables aléatoires réelles

Soient X1 , X2 à valeurs réelles et chacune de carré intégrable. La covariance entre X1 et X2 est une
certaine mesure de la dépendance, ou plus précisément de la corrélation, entre ces deux variables.

Lemme 1.21. Si X1 et X2 à valeurs réelles sont de carré intégrable, alors la variable aléatoire
(X1 − E(X1 ))(X2 − E(X2 )) est intégrable.

Démonstration. L’inégalité de Cauchy–Schwarz (Théorème 1.16) donne

E (|X1 − E(X1 )| |X2 − E(X2 )|) ≤ σX1 σX2

ce qui prouve le résultat. 

19
CHAPITRE 1. VARIABLES ALÉATOIRES DISCRÈTES

Définition 1.10. Soient X1 et X2 à valeurs réelles et de carré intégrable : la covariance entre

X1 et X2 , notée Cov(X1 , X2 ), est le nombre réel défini par

Cov(X1 , X2 ) = E [(X1 − E(X1 ))(X2 − E(X2 ))] ∈ R.

Le nombre E[(X1 − E(X1 ))(X2 − E(X2 ))]/(σX σY ) ∈ [−1, 1] est appelé coefficient de corrélation
entre X1 et X2 .
Le fait que E[(X1 −E(X1 ))(X2 −E(X2 ))]/(σX σY ) ∈ [−1, 1] découle de l’inégalité de Cauchy–Schwarz,
cf. preuve du Lemme 1.21. On notera en outre que Cov(X1 , X1 ) = Var(X1 ) et que, pour X1 et X2
à valeurs dans R, Cov(X1 , X2 ) = Cov(X2 , X1 ). Le résultat suivant montre que l’on peut calculer la
variance d’une somme à l’aide de la covariance.
Proposition 1.22. Si X1 et X2 à valeurs réelles sont de carré intégrable, alors

V ar(X1 + X2 ) = Var(X1 ) + Var(X2 ) + 2Cov(X1 , X2 ).

Proposition 1.23. Si X1 et X2 à valeurs réelles sont indépendantes et intégrables, alors Cov(X1 , X2 )

est bien définie et Cov(X1 , X2 ) = 0. En particulier, dans ce cas on a Var(X1 + X2 ) = Var(X1 ) +
Var(X2 ).
Démonstration. Si X1 et X2 sont indépendantes et intégrables, alors les variables aléatoires X1 −
E(X1 ) et X2 − E(X2 ) le sont aussi et donc le fait que Cov(X1 , X2 ) existe et soit nul découle de la
Proposition 1.20. On a par ailleurs Var(X1 + X2 ) = Var(X1 ) + Var(X2 ) au vu de la proposition
précédente. 
Attention :

La réciproque n’est en général pas vraie,

i.e., covariance nulle N’IMPLIQUE PAS (en général) indépendance.

Un contre-exemple simple est obtenu en considérant X1 = ±1 avec probabilité 1/2 et X2 = 0 si

X1 = 1 et X2 = ±1 avec probabilité 1/2 sinon. Alors E(X1 ) = E(X2 ) = E(X1 X2 ) = 0 bien que X1
et X2 ne soient pas indépendantes.
Si covariance nulle n’implique en général pas indépendance, il existe un cas particulier très important
où cela est vrai : il s’agit du cas des vecteurs gaussiens traités dans le Chapitre 4.

1.4.5 Espérance, variance et covariance : généralisation au cas vectoriel

et matriciel
On généralise maintenant les notions d’espérance, de variance et de covariance au cas vectoriel.
Le formalisme introduit est très puissant et permet notamment de traiter de manière unifiée les
variables aléatoires à valeurs dans Rd avec d ≥ 1.
Définition 1.11. Soit X une variable aléatoire discrète à valeurs dans Rm×n , i.e., X = (Xij )1≤i≤m,1≤j≤n
avec chaque Xij à valeurs dans R.
On dit que X est intégrable si chaque Xij l’est, et de carré intégrable si chaque Xij l’est.
Définition 1.12. Si X = (Xij )1≤i≤m,1≤j≤n à valeurs dans Rm×n est intégrable, on définit E(X) ∈
Rm×n comme la matrice dont chaque entrée est la moyenne de l’entrée correspondante de X :
E(X) = (E(Xij ))1≤i≤m,1≤j≤n .
L’opérateur E ainsi défini reste linéaire, et satisfait en outre (E(X))> = E(X > ). On rappelle que dans
le cas scalaire, covariance et variance sont définies par Cov(X1 , X2 ) = E[(X1 − E(X1 ))(X2 − E(X2 ))]
et Var(X) = Cov(X, X) = E[(X − E(X))2 ] : les définitions ci-dessous permettent de généraliser ces
définitions au cas vectoriel.

20
 1.4. FAMILLE DE VARIABLES ALÉATOIRES DISCRÈTES, INDÉPENDANCE

Définition 1.13. Soit X1 et X2 à valeurs dans Rn1 et Rn2 , respectivement, supposées de carré
intégrable. La (matrice de) covariance entre X1 et X2 , notée Cov(X1 , X2 ), est la matrice de
taille n1 × n2 à valeurs dans R définie de la manière suivante :
Cov(X1 , X2 ) = E (X1 − E(X1 ))(X2 − E(X2 ))> ∈ Rn1 ×n2 .
 

Du fait que (E(X))> = E(X > ), il s’ensuit que Cov(X1 , X2 ) = Cov(X2 , X1 )> .
Définition 1.14. Soit X à valeurs dans Rn de carré intégrable. La matrice de covariance de
X, notée Var(X), est la matrice symétrique carrée de taille n × n définie par :
Var(X) = Cov(X, X) = E (X − E(X))(X − E(X))>
 
(1.9)
ou de manière plus explicite, Var(X) = (Cov(Xi , Xj ), 1 ≤ i, j ≤ n) :
 
Var(X1 ) Cov(X1 , X2 ) · · · Cov(X1 , Xn )
 Cov(X2 , X1 ) Var(X2 ) · · · Cov(X2 , Xn )
Var(X) =  . (1.10)
 
.. .. .. ..
 . . . . 
Cov(Xn , X1 ) Cov(Xn , X2 ) · · · Var(Xn )
La proposition suivante est fondamentale dans l’étude des vecteurs gaussiens.
Proposition 1.24. La matrice Var(X) est symétrique et positive.
Démonstration. La symétrie vient du fait que Cov(X1 , X2 )> = Cov(X2 , X1 ), et le caractère positif
du fait que pour tout x ∈ Rn , si
x> Var(X)x = x> E(Y Y > )x = E (x> Y )2 ≥ 0

où l’on a noté Y = X − E(X) pour alléger les notations. 

L’avantage de ces notations vectorielles et matricielles est qu’elles permettent de manière transpa-
rente des manipulations “par bloc”. En effet, si on a la décomposition par bloc
 
X11 X12 · · · X1n
 X21 X22 · · · X2n 
 .. .. .. 
 
..
 . . . . 
X=  Xn1 Xn2 · · · Xnn 

 
 . .. .. .. 
 .. . . . 
Xm1 Xm2 · · · Xmn
où les Xij sont elles-mêmes des matrices aléatoires intégrables, alors on a la même décomposition
par bloc pour E(X) :  
E(X11 ) E(X12 ) · · · E(X1n )
 E(X21 ) E(X22 ) · · · E(X2n ) 
.. .. ..
 
 .. 

 . . . . 

E(X) =  E(X m1 ) E(X m2 ) · · · E(X )
mn  .

 E(Xn1 ) E(Xn2 ) · · · E(Xnn ) 
 
 .. .. .. .. 
 . . . . 
E(Xm1 ) E(Xm2 ) · · · E(Xmn )
De la même manière, si on la décomposition par bloc
 
X1
 .. 
X= . 
Xn
avec chaque Xk un vecteur aléatoire de carré intégrable, alors la formule (1.10) reste valable.

21
CHAPITRE 1. VARIABLES ALÉATOIRES DISCRÈTES

1.4.6 Remarques
Dans la présentation ci-dessus, nous sommes partis d’une famille de variables aléatoires (Xn , n ∈ N)
définies sur un espace de probabilité (Ω, F, P) et avons considéré les différentes marginales X1 , X2 ,
etc. Nous concluons cette section par deux remarques.
Tout d’abord, la construction inverse est possible : si l’on part de deux variables aléatoires X1 :
(Ω1 , F1 , P1 ) → (Ω01 , F10 ) et X2 : (Ω2 , F2 , P2 ) → (Ω02 , F20 ), alors on peut définir la variable aléatoire
X = (X1 , X2 ) sur l’espace produit Ω = Ω1 ×Ω2 muni de la tribu F = P(Ω). Considérer des variables
aléatoires indépendantes revient alors à considérer la mesure tensorielle P = P1 ⊗ P2 sur Ω définie
par P(A1 × A2 ) = P1 (A1 )P2 (A2 ) pour A1 ∈ F1 et A2 ∈ F2 , mais d’autres mesures sur l’espace
produit sont possibles, reflétant toutes les relations de dépendance possibles entre deux variables
aléatoires X1 et X2 dont seulement les marginales sont spécifiées.
En outre, cette approche présente un trou théorique : si Xn est une variable aléatoire sur (Ω, F, P),
alors considérer une suite (Xn , n ∈ N) de variables i.i.d. revient à considérer la variable aléatoire
X = (Xn , n ∈ N) sur l’espace produit ΩN muni de la mesure tensorielle P⊗N . Néanmoins, ΩN n’est
plus dénombrable et l’on sort donc du cadre discret de ce chapitre ! Plus généralement, si l’on veut
considérer une suite infinies de variables aléatoires indépendantes, alors l’espace de probabilité sous-
jacent doit être suffisamment gros et en particulier, non-dénombrable. Pour pallier ce problème,
nous aurions pu faire le choix de nous restreindre à des suites finies dans tout ce chapitre, mais
considérer des suites infinies est indispensable pour les théorèmes limites du Chapitre 3 et nous
nous accommoderons donc de ce trou théorique.

1.5 Fonction caractéristique, fonction génératrice et trans-

formée de Laplace
1.5.1 Le cas de la dimension un
On définit plusieurs transformées liées à une variable aléatoire discrète à valeurs réelles. Pour une
variable aléatoire Z à valeurs complexes, on définit son espérance par E(Z) = E(<(Z)) + iE(=(Z))
dès lors que <(Z) et =(Z), les parties réelle et imaginaire de Z, sont intégrables.
Définition 1.15. Soit X à valeurs dans R : sa fonction caractéristique est la fonction φX : R → C
définie de la manière suivante :
ϕX (t) = E eitX , t ∈ R.

Définition 1.16. Soit X à valeurs dans R+ : sa transformée de Laplace est la fonction LX :

R+ → R+ définie de la manière suivante :
LX (λ) = E e−λX , λ ∈ R+ .

Définition 1.17. Soit X à valeurs dans N : sa fonction génératrice est la fonction φX : [−1, 1] →
[−1, 1] définie par
φX (z) = E z X , z ∈ [−1, 1].

Proposition 1.25. Chacune de ces transformées (fonction caractéristique, transformée de Laplace

ou fonction génératrice) caractérise la loi de X. Par exemple, si X et Y sont à valeurs dans R et
que ϕX = ϕY , alors PX = PY .
Les transformées associées aux lois classiques introduites en Section 1.2.4 sont données dans le
Tableau B.1 en page 174. Par ailleurs, sous réserve de pouvoir dériver sous le signe somme, on
peut retrouver à partir de ces transformées les moments de la variable aléatoire considérée (cf.
Exercice 1.4). Par exemple, on a X
φX (z) = px z x
x∈N

22
 1.5. FONCTION CARACTÉRISTIQUE, FONCTION GÉNÉRATRICE ET TRANSFORMÉE
DE LAPLACE

et donc sous réserve que l’on puisse dériver,

X
φ0X (z) = xpx z x−1 .
x∈N

En considérant z = 1, on obtient donc φ0X (1) =

P
x∈N xpx = E(X).

1.5.2 Le cas multi-dimensionnel

Les définitions ci-dessus s’étendent naturellement au cas multi-dimensionnel : pour la fonction ca-
ractéristique et la transformée de Laplace, il suffit de remplacer le produit par un produit scalaire :
   
ϕX (t) = E eiht,Xi , t ∈ Rn , et LX (λ) = E e−hλ,Xi , λ ∈ Rn+ .

Pour la fonction génératrice, on introduit la notation z x = z1x1 · · · znxn pour z = (z1 , . . . , zn ) ∈ Rn et

x = (x1 , . . . , xn ) ∈ Rn+ , si bien que

φX (z) = E z X , z ∈ [−1, 1]n .

La Proposition 1.25 reste vraie, i.e., chacune de ces transformées caractérise la loi de X. En outre,
ces transformées peuvent aussi être utiles pour caractériser l’indépendance.
Proposition 1.26. Soit Xk à valeurs dans Rnk : alors (X1 , . . . , Xn ) sont indépendantes si et
seulement si
n
Y
ϕX (t) = ϕXk (tk ), t = (t1 , . . . , tn ) ∈ Rn1 × · · · × Rnn .
k=1

Si les Xk sont à valeurs dans Rn+k , alors (X1 , . . . , Xn ) sont indépendantes si et seulement si
n
Y
LX (λ) = LXk (λk ), λ = (λ1 , . . . , λn ) ∈ Rn1 × · · · × Rnn .
k=1

Si les Xk sont à valeurs dans Nnk , alors (X1 , . . . , Xn ) sont indépendantes si et seulement si
n
Y
φX (z) = φXk (zk ), z = (z1 , . . . , zn ) ∈ Rn1 × · · · × Rnn .
k=1

1.5.3 Lien avec l’analyse harmonique

Les trois transformées introduites ci-dessus correspondent aux transformées de Fourier, transformée
en z (Tz) et transformée de Laplace (TL) introduites dans le chapitre VI d’analyse harmonique du
polycopié de mathématiques déterministes. On notera néanmoins des différences de notation et de
convention, par exemple :
• La fonction caractéristique ϕX (t) = E(eitX ) peut se réécrire
X
ϕX (t) = PX ({x})eitx
x∈X(Ω)

et correspond donc, pour X(Ω) = Z et à un facteur −2π près, à la transformée de Fourier

d’une suite apériodique (TFed) pour une suite dans `1 (Z), cf. Définition 11.2.1 du polycopié
de mathématiques déterministes. En outre, si cette transformée TFed a une interprétation
physique entre domaine temporel et fréquentiel (ce qui justifie le facteur −2π) la fonction
caractéristique n’a pas cette interprétation ;

23
CHAPITRE 1. VARIABLES ALÉATOIRES DISCRÈTES

• La fonction génératrice φX (z) = E(z X ) peut se réécrire

X
φX (z) = PX ({n})z n
n∈N

et correspond donc à la transformée en z (Tz) de la section 12.1 du polycopié de mathématiques

déterministes, à la différence que la Tz est définie comme
X
PX ({n})z −n
n∈N

pour z ∈ C tel que la série soit convergente.

Enfin, le lien avec la transformée de Laplace de la section 12.2 du polycopié de mathématiques
déterministes sera plus explicite au chapitre suivant lorsque nous aurons introduit les variables aléa-
toires absolument continues. Dans ce cadre, la fonction caractéristique devient alors la transformée
de Fourier d’une fonction apériodique (TFec) de la définition 11.4.1 du polycopié de mathématiques
déterministes.

1.6 Conditionnement par rapport à un évènement

1.6.1 Définition
Les deux dernières parties du chapitre sont dédiées à la notion de conditionnement : on commence
ici par le conditionnement par rapport à un évènement, qui s’inscrit dans la continuité
du programme de classes préparatoires, et on généralise cette notion dans la section suivante en
introduisant le conditionnement par rapport à une variable aléatoire.
Définition 1.18. Soient A, B ∈ F. La probabilité conditionnelle de B sachant A, notée
P(B | A), est définie par
P(A ∩ B)
P(B | A) =
P(A)
avec la convention P(B | A) = 0 si P(A) = 0.
Théorème 1.27. Si P(A) > 0, la fonction P( · | A) : B ∈ F 7→ P(B | A) est une mesure de
probabilité sur (Ω, F) appelée mesure de probabilité conditionnelle sachant A.
Ainsi, tout évènement A ∈ F tel que P(A) > 0 induit une nouvelle mesure de probabilité
sur (Ω, F), à savoir la probabilité conditionnelle P( · | A). Comme souligné dans la Remarque 1.3, à
chaque mesure de probabilité sur (Ω, F) correspond une espérance, ce qui nous amène naturellement
à définir l’espérance conditionnelle par rapport à un évènement comme l’espérance associée à la
mesure de probabilité P( · | A).
Définition 1.19. Soit A ∈ F avec P(A) > 0. L’espérance conditionnelle sachant A, notée E( · | A),
est l’espérance associée à la mesure de probabilité P( · | A). Pour A avec P(A) = 0 on adoptera la
convention E(X | A) = 0 pour toute variable aléatoire X.
Par la suite, on utilisera la notation E(XξA ) = E(X; A) dès lors que l’espérance du membre de
gauche est bien définie, par exemple si X ≥ 0 (on remarquera que si X est discrète, alors XξA l’est
aussi).
Théorème 1.28. Soit A ∈ F avec P(A) > 0 et X une variable aléatoire discrète à valeurs réelles.
Si X ≥ 0, alors
E(XξA ) E(X; A)
E(X | A) = = .
P(A) P(A)
Cette formule reste valable si X discrète à valeurs réelles est intégrable.

24
 1.7. CONDITIONNEMENT PAR RAPPORT À UNE VARIABLE ALÉATOIRE DISCRÈTE

Démonstration. Puisque E( · | A) est l’opérateur d’espérance associé à la mesure de probabilité

P( · | A), pour X ∈ R+ on a par définition de l’espérance
X
E(X | A) = xP(X = x | A)
x∈X(Ω)

puis par définition de P( · | A),

1 X
E(X | A) = xP({X = x} ∩ A).
P(A)
x∈X(Ω)

Pour tout x ∈ R, on vérifie que xP({X = x} ∩ A) = xP(ξA X = x) : cela donne le résultat pour
X ≥ 0 et le résultat pour X ∈ R intégrable s’ensuit en revenant aux parties positive et négative. 

1.6.2 Retour sur l’indépendance

On revient sur l’encart de la Section 1.4.2 : la notion de conditionnement permet de reformuler le
fait que deux variables aléatoires X1 et X2 sont indépendantes si toute information sur X1 ne change
pas la loi de X2 .
Théorème 1.29. Soient A et B deux évènements : alors
A et B sont indépendants ⇐⇒ P(B | A) = P(B) ⇐⇒ P(A | B) = P(A).
En outre, X1 : (Ω, F) → (Ω1 , F1 ) et X2 : (Ω, F) → (Ω2 , F2 ) sont indépendantes si et seulement si
∀A1 ∈ F1 , A2 ∈ F2 , P(X1 ∈ A1 | X2 ∈ A2 ) = P(X1 ∈ A1 ). (1.11)

1.7 Conditionnement par rapport à une variable aléatoire

discrète
1.7.1 Définition de l’espérance conditionnelle par rapport à une variable
aléatoire discrète
Les notions introduites ci-dessus constituent un rappel de ce que vous avez vu en classes prépa-
ratoires. Nous introduisons maintenant une nouvelle notion : l’espérance conditionnelle par
rapport à une variable aléatoire. On commence par donner la définition de l’espérance condi-
tionnelle par rapport à une variable aléatoire, que l’on discute par la suite.
Définition 1.20. Soit X : (Ω, F) → (Ω0 , F 0 ) une variable aléatoire discrète quelconque et Y :
(Ω, F) → (R, F) une variable aléatoire discrète à valeurs réelles et intégrable. L’espérance condi-
tionnelle de Y par rapport à X, dénotée E(Y | X), est la variable aléatoire h(X) où h : (Ω0 , F 0 ) →
(R, P(R)) est la fonction définie par
h(x) = E(Y | X = x), x ∈ X(Ω).
On retiendra notamment de cette définition que

E(Y | X) est une variable aléatoire ! !

Puisque E(Y | X) = h(X), E(Y | X) est même une variable aléatoire entièrement déterminée par X.

Dans toute cette section, X : (Ω, F) → (Ω0 , F 0 ) est une variable aléatoire discrète quelconque et
Y : (Ω, F) → (R, F) est une variable aléatoire discrète à valeurs réelles et intégrable.

25
CHAPITRE 1. VARIABLES ALÉATOIRES DISCRÈTES

1.7.2 Intuition
Intuitivement, l’espérance conditionnelle de Y sachant X peut être définie de la manière suivante :

L’espérance conditionnelle E(Y | X) correspond à

moyenniser tout ce qui détermine Y mais qui n’est pas déterminé par X.

Essayons d’éclairer notre propos. Pour tout couple (X, Y ), X explique en partie plus ou moins
grande la valeur prise par Y . Par exemple, X peut complètement déterminer Y si Y = ϕ(X) est
une fonction de X, ou bien au contraire X et Y peuvent être indépendantes auquel cas X n’a aucun
pouvoir prédictif sur Y .
Dans le cas général, imaginons que l’on puisse écrire Y = ϕ(X, Z) avec X et Z indépendantes, où
Z correspond intuitivement à ce qui détermine la valeur de Y mais ne peut pas être expliqué par X
(d’où l’indépendance entre X et Z). Dans l’encart ci-dessus, “moyenniser tout ce qui détermine Y
mais qui n’est pas déterminé par X” signifie alors précisément moyenniser sur Z et pas sur X, ce
qui suggère naturellement de définir
X
E(Y | X) = ϕ(X, z)P(Z = z) (1.12)
z∈Z(Ω)

qui correspond bien à la moyenne de ϕ(X, Z) en gardant X constant. On remarquera que le membre
de droite est une fonction de X, disons h(X), en particulier c’est une variable aléatoire et non un
nombre déterministe. En effet, on insiste sur le fait que

E(Y | X) est une variable aléatoire ! !

Par ailleurs, la fonction h telle que (1.12) se réécrit E(Y | X) = h(X) est la fonction
X
h(x) = ϕ(x, z)P(Z = z)
z∈Z(Ω)

et l’on vérifie bien, en utilisant l’indépendance de X et Z, que h(x) = E(Y | X = x) en conformité

avec la définition générale. Par ailleurs, cette définition intuitive permet de calculer directement
E(Y | X) dans les deux cas extrêmes où X et Y sont parfaitement corrélées ou au contraire indé-
pendantes :
• si Y = ϕ(X), alors on n’a pas besoin de la variable explicative Z et donc
E(Y | X) = ϕ(X) = Y ;

• si au contraire X et Y sont indépendantes, alors on n’a pas besoin de X et donc

X
E(Y | X) = ϕ(z)P(Z = z) = E(ϕ(Z)) = E(Y ).
z∈Z(Ω)

1.7.3 Propriétés
On commence par prouver que les résultats “intuitifs” précédents sont effectivement corrects.
Proposition 1.30. Si Y = ϕ(X), alors E(Y | X) = Y .
Si Y est indépendante de X alors E(Y | X) = E(Y ).
Plus généralement, si Y = ϕ(X, Z) avec Z une variable aléatoire discrète indépendante de X et que
pour chaque x ∈ X(Ω) la variable aléatoire ϕ(x, Z) est intégrable, alors la formule (1.12) est valide,
i.e., X
E(Y | X) = ϕ(X, z)PZ ({z}).
z∈Z(Ω)

26
 1.7. CONDITIONNEMENT PAR RAPPORT À UNE VARIABLE ALÉATOIRE DISCRÈTE

Démonstration. Si X et Y sont indépendantes, alors h(x) = E(Y | X = x) = E(Y ).

Si Y = ϕ(X), alors h(x) = E(ϕ(X) | X = x) = E(ϕ(x) | X = x) = ϕ(x) et donc E(Y | X) =
h(X) = ϕ(X) = Y .
Si Y = ϕ(X, Z) avec X et Z indépendantes, alors
X
h(x) = E(ϕ(X, Z) | X = x) = E(ϕ(x, Z) | X = x) = E(ϕ(x, Z)) = ϕ(x, z)PZ ({z})
z∈Z(Ω)

qui donne le résultat. 

Par ailleurs, l’espérance conditionnelle satisfait toutes les propriétés de l’espérance classique.
Proposition 1.31. Soit Y1 , Y2 des variables aléatoires discrètes réelles et intégrables.
• Si Y2 ≥ Y1 , alors E(Y2 | X) ≥ E(Y1 | X), en particulier, E(Y | X) ≥ 0 si Y ≥ 0.
• Pour tout a, b ∈ R, E(aY1 + bY2 | X) = aE(Y1 | X) + bE(Y2 | X).
• Pour toute fonction ϕ : Ω0 → R, E(ϕ(X)Y | X) = ϕ(X)E(Y | X).
• |E(Y | X)| ≤ E(|Y | | X).
Comme d’habitude, pour des variables aléatoires positives toutes les relations ci-dessus restent va-
lables même si les variables aléatoires en jeu ne sont pas intégrables. L’espérance de l’espérance
conditionnelle satisfait une propriété bien particulière.
Théorème 1.32 (Théorème de l’espérance totale). La variable aléatoire E(Y | X) est intégrable et
son espérance est donnée par

E E(Y | X) = E(Y ).
Démonstration. On traite le cas où Y ≥ 0, le cas général est obtenu comme d’habitude en décom-
posant en parties positive et négative. Dans ce cas, la Proposition 1.31 implique que E(Y | X) =
h(X) ≥ 0 et donc le Théorème 1.9 donne

X
E E(Y | X) = h(x)P(X = x).
x∈X(Ω)

Par définition de h(x), on a h(x)P(X = x) = 0 pour x ∈ X(Ω) avec P(X = x) = 0, et pour x ∈ X(Ω)
avec P(X = x) > 0 on a

h(x)P(X = x) = E(Y | X = x)P(X = x) = E(Y ; X = x) = E(Y 1 {X = x}).

Le théorème de Fubini donne alors

   

X X
E E(Y | X) = E  Y 1 {X = x} = E Y 1 {X = x} = E(Y )
x∈X(Ω) x∈X(Ω)
P
puisque x∈X(Ω) 1 {X = x} = 1. 
Nous présentons deux exemples typiques d’utilisation du théorème de l’espérance totale. Le premier
exemple montre que le théorème de l’espérance totale formalise quelque chose de très intuitif :
pour calculer une moyenne, on peut partitionner les valeurs à moyenniser, calculer la moyenne dans
chaque groupe et faire la moyenne des moyennes en pondérant par la taille de chaque groupe.
Exemple 1.8. On considère la taille d’individus dans une population constituée de 21 hommes et 35
femmes, et on souhaite calculer la moyenne. Pour cela, il y a deux manières :
1
P56
• on moyennise directement les 56 valeurs t1 , . . . , t56 , soit 56 k=1 tk ;

27
CHAPITRE 1. VARIABLES ALÉATOIRES DISCRÈTES

Sexe

Hommes

Femmes

Taille
Moyenne Moyenne
des femmes des hommes

Figure 1.7.1 – Chaque point représente la taille d’un individu et les points sont regroupés par sexe.
Pour obtenir la moyenne des tailles, le théorème de l’espérance totale nous dit qu’on peut faire la
moyenne par groupes, puis faire la moyenne des moyennes en tenant compte de l’importance relative
des deux groupes.

• on calcule la moyenne par sexe, puis on moyennise les moyennes en pondérant par la taille
respective des groupes, soit 21 35
56 et 56 , cf. Figure 1.7.1. Cela revient à faire

35 21
Moyenne = × Moyenne des femmes + × Moyenne des hommes. (1.13)
56 56
La deuxième manière correspond exactement au théorème de l’espérance totale. En effet, soit T la
variable aléatoire tirée uniformément au hasard dans l’ensemble {tk } des tailles des individus de la
population, si bien que l’on veut calculer
56
1 X
E(T ) = tk .
56
k=1

Soit ξA la fonction indicatrice de l’évènement A = {on tire une femme} : le théorème de l’espérance
totale nous donne
E(T ) = E [E(T | ξA )]
ce qui nous permet bien de retrouver (1.13) puisque
(
Moyenne des femmes si ξA = 1,
E(T | ξA ) =
Moyenne des hommes si ξA = 0
et que
#femmes 35
P(ξA = 1) = P({on tire une femme}) = = = 1 − P(ξA = 0).
#individus 56
Exemple 1.9. Cet exemple montre l’utilité du théorème de l’espérance totale dans un cadre plus
théorique, où ce résultat est très utile pour effectuer certains calculs. Soit S la somme d’un nombre
aléatoire de variables aléatoires i.i.d. :
N
X
S= Xk
k=1
où les variables aléatoires (Xn , n ∈ N ) sont i.i.d. et N ∈ N∗ est indépendante des Xn . On montre
∗

aisément à l’aide du Théorème 1.32 que PnE(S) = E(N )E(X). Pour cela, on calcule d’abord E(S | N ) :
on écrit S = ϕ(X, N ) avec ϕ(x, n) = k=1 xk , si bien que
n
!
X
E(S | N = n) = E(ϕ(X, n)) = E Xk = nE(X)
k=1

28
 1.7. CONDITIONNEMENT PAR RAPPORT À UNE VARIABLE ALÉATOIRE DISCRÈTE

et qui implique que E(S | N ) = N E(X). On utilise maintenant le théorème de l’espérance totale
pour obtenir
E(S) = E[E(S | N )] = E(N E(X)) = E(N )E(X).
En combinant la Proposition 1.31 et le Théorème 1.32, on obtient la généralisation suivante du
théorème de l’espérance totale.
Proposition 1.33. Pour toute fonction ϕ : Ω0 → R, on a E(ϕ(X)Y ) = E[ϕ(X)E(Y | X)].
Démonstration. Le théorème de l’espérance totale nous assure que

E(ϕ(X)Y ) = E [E(ϕ(X)Y | X)]

et puisque E(ϕ(X)Y | X) = ϕ(X)E(Y | X) par la Proposition 1.31 on obtient le résultat. 

1.7.4 Loi conditionnelle

Dans toutes les sections précédentes, on est partis d’une mesure de probabilité P ou P( · | A) pour
définir l’espérance E ou E( · | A) associée, et on a montré que probabilités et espérance étaient reliées
par P(A) = E(ξA ). Dans le cas de l’espérance conditionnelle par rapport une variable aléatoire,
on a directement défini l’espérance, et on utilise la relation précédente pour définir l’espérance
conditionnelle associée.
Définition 1.21. La mesure de probabilité conditionnelle sachant X, notée P( · | X), est la
mesure de probabilité aléatoire définie de la manière suivante :

P(A | X) = E (ξA | X) , A ∈ F.

En particulier, la mesure de probabilité aléatoire PY |X

A ∈ F 7→ P(Y ∈ A | X)

est appelée loi conditionnelle de Y sachant X.

Sous réserve d’être bien définies, toutes les relations liant espérance et mesure de probabilité res-
tent vraies conditionnellement à une variable aléatoire. Par exemple, on a le théorème de transfert
conditionnel suivant, qui généralise le Théorème 1.9.
Théorème 1.34. Soit ϕ : Ω0 → R : si ϕ(Y ) ≥ 0 ou E(|ϕ(Y )|) < ∞, alors
X
E (ϕ(Y ) | X) = ϕ(y)P(Y = y | X). (1.14)
y∈Y (Ω)

1.7.5 Approche variationnelle et lien avec l’analyse fonctionnelle

Nous présentons maintenant une deuxième manière intuitive de voir l’espérance conditionnelle. Sup-
posons que Y soit de carré intégrable : alors la dérivée de la fonction y 7→ E[(Y −y)2 ] vaut 2(y−E(Y ))
et donc l’espérance E(Y ) peut être vue comme la quantité minimisant cette fonction. En d’autres
termes, on a que, dans un certain sens (en fait, L2 ),

E(Y ) est la meilleure approximation de Y par une constante.

La notion d’espérance conditionnelle généralise cette manière de voir l’espérance : c’est en fait
même la bonne manière de définir l’espérance conditionnelle dans un contexte général. Généralisant
la définition précédente de l’espérance, on peut dire que

29
CHAPITRE 1. VARIABLES ALÉATOIRES DISCRÈTES

E(Y | X) est la meilleure approximation de Y par une fonction de X

et formellement, on a en effet, dans le cas où X est de carré intégrable,

h i
2
E(Y | X) = h(X) avec h = arg min E (Y − g(X))

où le minimum est pris sur toutes les fonctions mesurables g.

D’un point de vue abstrait, l’espérance conditionnelle n’est donc en fait rien d’autre que la projection
orthogonale, dans l’espace de Hilbert des variables aléatoires de carré intégrable, de la variable Y
sur l’espace engendré par X.

30
 1.8. FICHE DE SYNTHÈSE

1.8 Fiche de synthèse

X est une variable aléatoire discrète si c’est une application de Ω dans X(Ω) fini ou dénombrable.
L’ensemble (=évènement) X −1 (B) = {ω ∈ Ω ; X(ω) ∈ B} sera noté {X ∈ B}.

La loi d’une variable aléatoire discrète est donnée par : X(Ω) et, pour tout x ∈ X(Ω), px = P(X = x).
P P
On a alors px ≥ 0 et px = 1 et P(X ∈ B) = P(X = x).
x x∈B

Le Théorème de transfert permet de calculer l’espérance de ϕ(X) où X(Ω) ⊂ Rd , avec ϕ : Rd → R :

P
E(ϕ(X)) = ϕ(x)P(X = x) sous réserve de convergence absolue de cette série. En particulier, si X et Y
x

sont des variables aléatoires discrètes réelles et ϕ : R2 → R, alors

X
E(ϕ(X, Y )) = ϕ(x, y)P(X = x, Y = y).
x,y

Si X est une variable aléatoire discrète réelle, on a, pour les applications ϕ : R → R suivantes :
P
• ϕ(x) = x : E(X) = xP(X = x) = m (espérance mathématique de X ou moyenne de X) ;
x

• ϕ(x) = (x − m)2 avec m = E(X), E((X − m)2 ) = (x − m)2 P(X = x) = x2 P(X = x) − m2 =

P P
x x

E(X 2 ) − (E(X))2 = Var(X) (variance de X) ;

• si ϕ(x) = eitx avec t ∈ R on obtient la fonction caractéristique ϕX (t) = E eitX = eitx P(X = x).
P
x
• si X(Ω) ⊂ N et ϕ(x) = sx on obtient la fonction génératrice φX (s) = E(sX ) = sk P(X = k) : c’est une
P
série entière de rayon R ≥ 1 et on a
E(X) = G0X (1−) ; G00X (1−) = E(X(X − 1)) ; Var(X) = G00X (1−) + G0X (1−) − (G0X (1−))2 .
p
Propriétés : E(aX + b) = aE(X) + b et Var(aX + b) = a2 Var(X). Écart-type de X : σX = Var(X).

Dans la suite, on prend d = 2 pour simplifier.

Lois marginales d’un couple discret (X, Y ) : si px,y = P(X = x, Y = y) pour x ∈ X(Ω) et y ∈ Y (Ω),
P P
alors px. = P(X = x) = px,y et p.y = P(Y = y) = pxy .
y x
Indépendance : X et Y sont indépendantes si et seulement si px,y = px. p.y pour tout (x, y).

Covariance : Cov(X, Y ) = E [(X − E(X))(Y − E(Y ))] = E(XY ) − E(X)E(Y ) .

Propriétés :
• E(aX + bY ) = aE(X) + bE(Y ) ; Cov(X, X) = Var(X) et Cov(aX + b, cY + d) = ac Cov(X, Y ) ;
• Var(aX + bY ) = a2 Var(X) + b2 Var(Y ) + 2ab Cov(X, Y ) ;
• Si X et Y sont indépendantes, alors Cov(X, Y ) = 0, mais la réciproque est fausse en général !

Probabilités conditionnelles : On s’intéresse à la probabilité que A ait lieu, sachant que B a lieu : ceci
P(A∩B)
revient à remplacer Ω par B et A par A ∩ B : si P(B) 6= 0, P(A | B) = P(B)
.

A et B indépendants (i.e. P(A ∩ B) = P(A)P(B)) équivaut à P(B) = P(B | A) ou à P(A) = P(A | B) : “la
connaissance de B n’apporte aucune information pour déterminer la probabilité de A”.
S
Probabilités totales : Lorsque Ω = En , avec les En disjoints deux à deux,
n
X X
P(A) = P(A ∩ En ) = P(A|En )P(En )
n n

31
CHAPITRE 1. VARIABLES ALÉATOIRES DISCRÈTES

Loi conditionnelle : Si x ∈ X(Ω) fixé, la loi PY ( · | X = x) est déterminée, pour tout y ∈ Y (Ω) par :

P(X = x, Y = y) pxy
PY ({y} | X = x) = P(Y = y | X = x) = = .
P(X = x) px.

Espérance conditionnelle de Y à X = x : espérance d’une variable aléatoire de loi PY ( · | X = x). C’est

un réel fonction de x. Plus précisément, si X et Y sont des variables aléatoires réelles discrètes, pour
x ∈ X(Ω),
X
E(Y | X = x) = yP(Y = y | X = x), sous réserve de convergence absolue.
y∈Y (Ω)

E(Y | X) est la variable aléatoire ϕ(X) fonction de X où ϕ est la fonction réelle définie par ϕ(x) = E(Y |
X = x).

Espérance totale : Si Y admet une espérance, E(Y | X) aussi et alors E(E(Y | X)) = E(Y ) .

Propriété : E(ψ(X)Y | X) = ψ(X)E(Y | X) pour toute fonction bornée ψ.

Corollaire de l’inégalité de Markov : Si ε > 0 et α > 0 alors

1
P(|X| > ε) ≤ E(|X|α )
εα
1
Pour α = 2 cela donne l’inégalité de Bienaymé–Tchebychev P(|X − E(X)| > ε) ≤ ε2
Var(X).

32
 1.9. EXERCICES

1.9 Exercices
Les exercices précédés d’une flèche ,→ sont des exercices d’application directe du cours.

,→ Exercice 1.1 (Manipulation de l’espérance conditionnelle)

1. Prouvez la Proposition 1.31.

2. Prouvez le Théorème 1.34.
3. Soit X, X 0 i.i.d. : donnez une expression de P(X 0 ≤ X | X) faisant intervenir la fonction de répartition
de X.
c
P Montrez que E(X | ξA ) = ξA E(X | A) + (1 − ξA )E(X | A ) et plus généralement que E(Y | X) =
4.
x∈X(Ω)
E(Y | X = x)1 {X = x}.
dans N∗ et Xi ≥P
5. Soit N à valeurs P 0 : sans repasser par le conditionnement par des évènements, prouvez
N N
directement que E( k=1 Xi | N ) = k=1 E(Xi | N ).
PN P
Indication : On écrira k=1
Xi = k≥1 Xi 1 {k ≤ N } et on utilisera les Propositions 1.11 et 1.31.
QN
6. Soit N à valeurs dans N∗ et les Xi ≥ 0 i.i.d. et indépendantes de N : montrez que E( k=1
Xi | N ) =
E(X1 )N .
7. Résolvez le paradoxe de la Remarque 1.2 à l’aide de l’espérance conditionnelle.

,→ Exercice 1.2 (Calcul d’espérances conditionnelles)

1. Soit X et Y des variables aléatoires géométriques indépendantes de même paramètre p ∈ (0, 1). Calculez
la loi conditionnelle de X sachant X + Y et déduisez-en E(X | X + Y ).
2. Montrez plus généralement
Pn que si X1 , . . . , Xn sont i.i.d., alors E(Xi | X1 + · · · + Xn ) = (X1 + · · · + Xn )/n.
Indication. Que vaut k=1
E(X k | X1 + · · · + Xn ) ?

3. Soit X et Y des variables aléatoires de Poisson indépendantes et de paramètre respectif a, b > 0. Montrez
que X +Y suit une loi de Poisson de paramètre a+b par calcul direct et en utilisant les fonctions génératrices,
puis calculez la loi conditionnelle de X sachant X + Y et déduisez-en E(X | X + Y ).
4. Soit X et Y des variables aléatoires indépendantes et uniformément réparties sur {1, . . . , n} : calculez la
loi conditionnelle de max(X, Y ) sachant min(X, Y ).

,→ Exercice 1.3 (Théorème de la variance totale)

1. On définit la variance conditionnelle Var(Y | X) par

Var(Y | X) = E (Y − E(Y | X))2 | X .

 

Montrez que

Var(Y | X) = E(Y 2 | X) − [E(Y | X)]2 et que Var(Y ) = E Var (Y | X) + Var E (Y | X) .

   
(1.15)

2. (Application numérique) Une étude statistique faite pour un magasin a montré que le nombre de clients
par semaines est une variable aléatoire de moyenne 400 et d’écart-type 20, et que la dépense de chaque
client est une variable aléatoire de moyenne 100 euros et d’écart-type 100 euros. Les dépenses des différents
clients sont mutuellement indépendantes, et sont indépendantes du nombre de clients. Calculez la moyenne
et l’écart-type du chiffre d’affaires réalisé par le magasin pendant une semaine (le chiffre d’affaires est la
recette totale).

Exercice 1.4

1. Soit X à valeurs entières : en admettant que l’on peut intervertir dérivation et sommation, montrez que

E(X) = φ0X (1) et Var(X) = φ00X (1) + φ0X (1)(1 − φ0X (1)).

33
CHAPITRE 1. VARIABLES ALÉATOIRES DISCRÈTES

Exercice 1.5
On suppose que le nombre Xt d’accidents dans une ville sur une durée de t jours est une variable aléatoire
de loi de Poisson de paramètre at. D’autre part, le nombre de personnes impliquées dans un accident suit
une loi géométrique de paramètre 1/2.
1. Soit Zt la variable aléatoire égale au nombre de personnes impliquées dans un accident sur une durée de
t jours : en supposant que le nombre de personnes impliquées dans un accident est indépendant du nombre
d’accidents, montrez que φZt (z) = φXt ◦ φG (z) avec G une variable aléatoire que l’on précisera.
2. Déduisez-en en utilisant l’exercice précédent l’espérance et la variance de Zt .
3. Retrouvez ce résultat en utilisant les théorèmes de l’espérance totale et de la variance totale.

Problème 1.6
Un QCM se compose de 20 questions à 4 réponses possibles dont une seule est correcte et vaut 1 point. Le
programme de l’examen comporte 100 questions dont on tire aléatoirement les 20 de l’examen. On considère
un candidat ayant appris p ≥ 20 questions : pour une question de l’examen, si le candidat l’a apprise alors
il obtient un point et sinon il choisit une réponse au hasard. Le but de ce problème est de calculer la loi,
l’espérance et la variance de la note N de ce candidat. Pour cela on écrira N = X + Y avec X le nombre de
questions apprises par le candidat et figurant à l’examen.
1. Calculez la loi conditionnelle de Y sachant X et déduisez-en E(Y | X) et Var(Y | X).
2. Déduisez-en E(N ) et Var(N ) en fonction de E(X) et Var(X) en utilisant les théorèmes de l’espérance
totale et de la variance totale.
3. En considérant tous les questionnaires possibles, montrez que pour k ∈ {0, . . . , 20} avec k ≥ p − 80 on a
p

100−p


k 20−k
P(X = k) =

100
.
20

Déduisez-en l’espérance et la variance de X.

Indication. On pourra utiliser l’identité
k     
X m n m+n
= , k ≤ m, n
j k−j k
j=0

obtenue en développant (x + y)m (x + y)n = (x + y)m+n . Pour calculer la variance, on pourra chercher à
calculer E(X(X − 1)).
4. (Application numérique) Que vaut E(N ) pour p = 50 ? p = 70 ?

34
Chapitre 2

Variables aléatoires absolument

continues

Nous introduisons dans ce chapitre une nouvelle classe de variables aléatoires : les variables aléatoires
absolument continues par rapport à la mesure de Lebesgue, que nous appellerons par simplicité
variables aléatoires absolument continues. Le message principal est le suivant : si vous avez bien
compris le chapitre précédent sur les probabilités discrètes, il sera facile de comprendre ce chapitre.
En effet,

Pour passer du cas discret Pau cas continu, R

il suffit de remplacer les sommes par des intégrales
et les probabilités PX ({x}) par les densités fX (x)dx.

Tout le chapitre précédent a été écrit de telle sorte que le maximum de résultats n’ait pas besoin de
changement, ainsi, ce chapitre sera beaucoup plus concis que le précédent.

2.1 Motivation et de la nécessité des tribus

Il y a au moins deux raisons d’aller au-delà du cadre des probabilités discrètes du chapitre précédent.
La première est qu’il existe des expériences et variables aléatoires qui ne peuvent pas être décrites
par un univers dénombrable. Un premier exemple est une série infinie de pile ou face : une description
naturelle est alors Ω = {0, 1}N . De manière équivalente, on aimerait pouvoir parler d’un nombre tiré
au hasard dans l’ensemble [0, 1].
Une deuxième motivation vient de la volonté naturelle de vouloir parler de convergence de variables
aléatoires (cf. Chapitre 3). Considérons par exemple Un pour n ∈ N∗ une variable aléatoire discrète
répartie uniformément sur l’ensemble {k/n : k = 0, . . . , n}. Pour chaque n ∈ N∗ , Un est bien une
variable aléatoire discrète mais intuitivement, lorsque n → ∞ la suite (Un , n ∈ N∗ ) devrait converger
(en un sens à préciser) vers une variable aléatoire uniformément répartie sur [0, 1], et en particulier
qui n’est plus discrète. De même, le théorème de la limite centrale justifie l’introduction des variables
aléatoires gaussiennes qui sont des variables aléatoires absolument continues.

D’un point de vue conceptuel, il n’y a pas beaucoup de différences entre les variables aléatoires dis-
crètes traitées au chapitre précédent et les variables aléatoires absolument continues que nous allons
maintenant introduire. Comme mentionné précédemment, il s’agit essentiellement de remplacer les
sommes par les intégrales. En fait, cette distinction est artificielle puisque les deux cas peuvent être
unifiés dans le cadre de la théorie de la mesure.

35
CHAPITRE 2. VARIABLES ALÉATOIRES ABSOLUMENT CONTINUES

D’un point de vue technique par contre, il y a certaines différences importantes. En particulier, bien
que dans le cas discret tout ensemble est mesurable – ce qui correspond au fait que l’on ait considéré
dans tout le chapitre précédent F = P(Ω) – cela n’est plus vrai dans le cas non-dénombrable.
Prenons par exemple Ω = [0, 1], qui décrirait une expérience aléatoire où l’on tire au hasard un point
de l’intervalle unité. On voudrait une mesure sur [0, 1] qui satisfait la Propriété (1.1) de σ-additivité
mais aussi la relation P([a, b]) = b − a pour tout 0 ≤ a ≤ b ∈ 1 : il s’avère que l’on peut prouver qu’il
n’est pas possible de construire une telle mesure qui soit définie sur P([0, 1]). Le lecteur intéressé
pourra par exemple consulter l’exemple de Vitali.
Pour cette raison, dès lors que Ω n’est plus dénombrable on va devoir restreindre l’ensemble de
définition des mesures de probabilité que l’on va considérer : cela nous amène donc en premier lieu
à revisiter la notion d’espace de probabilités. Encore une fois, cette différence est la plus importante
d’un point de vue technique, mais conceptuellement, tout a été vu au chapitre précédent.

2.2 Espace de probabilités : le cas général

Comme expliqué précédemment, pour développer une théorie satisfaisante dans le cas où Ω n’est
pas dénombrable, il est nécessaire de restreindre l’ensemble de définition des mesures de probabilité.
Néanmoins, il faut quand même imposer certaines conditions, par exemple le fait que l’union de
deux ensembles mesurables reste mesurable afin de pouvoir parler de la probabilité de l’évènement
A ou B ; de même, il faut que le complément d’un ensemble mesurable reste mesurable. En fait, il
ne faut pas beaucoup plus pour définir une théorie satisfaisante.

Définition 2.1. Un ensemble F ⊂ P(Ω) de parties de Ω est appelée tribu si les trois conditions
suivantes sont satisfaites :
1. Ω ∈ F ;
2. si A ∈ F, alors Ac ∈ F ;
3. si An ∈ F pour chaque n ∈ N, alors ∪n∈N An ∈ F.
Le couple (Ω, F) est appelé espace mesurable et A ∈ F un ensemble mesurable, ou encore
évènement.

Lorsque Ω est dénombrable, on considèrera toujours la tribu F = P(Ω) et l’on retombe dans le cadre
du Chapitre 1. Dans le cas où Ω n’est pas dénombrable par contre, plusieurs choix sont possibles :
comme on l’a discuté, P(Ω) est souvent trop gros et {∅, Ω} est bien évidemment trop petit. Dans le
cas où Ω est un espace topologique, ce qui sera le cas dans tout le reste de ce chapitre, il y a un choix
canonique. Pour tout ensemble F ⊂ P(Ω) de parties de Ω, on prouve aisément que l’intersection de
toutes les tribus qui contiennent F est encore une tribu, et que c’est par définition la plus petite
tribu qui contient F. Cela justifie donc la définition suivante.

Définition 2.2. Supposons que Ω est munie d’une topologie T . La tribu borélienne, notée B(Ω),
est la plus petite tribu qui contienne T .

Pour revenir à l’exemple précédent de la mesure de Lebesgue sur R (i.e., la mesure que l’on cherchait
à construire ci-dessus, et qui vérifie P([a, b]) = b − a pour a ≤ b), on peut prouver que sur R, la tribu
borélienne B(R) est strictement plus petite que l’ensemble des parties P(R).
Les définitions d’une mesure de probabilité et d’un espace de probabilité, données à la Défini-
tion (1.1), restent inchangées, et une mesure de probabilité continue à satisfaire les propriétés de
base de la Proposition 1.1. Néanmoins, comme nous le verrons par la suite dans le cas général une
mesure de probabilité sur un ensemble non-dénombrable ne peut pas être décrite par la famille
(pω , ω ∈ Ω).

36
 2.3. VARIABLES ALÉATOIRES ET LOI : LE CAS GÉNÉRAL

2.3 Variables aléatoires et loi : le cas général

Lorsque Ω est dénombrable, toute application définie sur Ω est une variable aléatoire, cf. Défini-
tion 1.2. Dans le cas général, il faut prendre plus de précautions. On rappelle que f −1 est l’application
image réciproque de f , qui coïncide avec son inverse lorsque f est bijective.

Définition 2.3. Soient (Ω, F) et (Ω0 , F 0 ) deux espaces mesurables.

Une application f : (Ω, F) → (Ω0 , F 0 ) est dite mesurable si f −1 (A0 ) ∈ F pour tout A0 ∈ F 0 .
Une application mesurable est appelée, dans le contexte probabiliste, variable aléatoire.

Cette définition explique maintenant pourquoi les ensembles F étaient systématiquement spécifiés
dans le chapitre précédent, bien que ces ensembles étaient toujours pris comme étant l’ensemble
des parties de l’ensemble Ω correspondant : en général, le fait d’être mesurable dépend des tribus
considérées et puisque l’on a le choix de la tribu, il est nécessaire de spécifier tout l’espace mesurable
et pas juste l’univers.
Cette définition est à rapprocher de la définition de continuité : on rappelle qu’une application est
continue si l’image réciproque d’un ouvert est un ouvert. Ici, il suffit de remplacer continu(e) par
mesurable, i.e., une application est mesurable si l’image réciproque d’un ensemble mesurable est un
ensemble mesurable. En particulier, lorsque l’on considère les tribus boréliennes, on a le résultat
suivant.

Théorème 2.1. Soient Ω et Ω0 deux espaces topologiques. Si f : Ω → Ω0 est continue, alors

f : (Ω, B(Ω)) → (Ω0 , B(Ω0 )) est mesurable.

Dans le cas où Ω était discret, il n’y avait aucune question à se poser : tout était mesurable. Mainte-
nant il faut faire attention, au moins conceptuellement, et on a la généralisation de la Proposition 1.2
suivante.

Proposition 2.2. Soient Ω, Ω0 et Ω00 des espaces topologiques et X : (Ω, F) → (Ω0 , F 0 ) une variable
aléatoire.
Alors pour toute application mesurable ϕ : (Ω0 , F 0 ) → (Ω00 , F 00 ), l’application ϕ ◦ X : (Ω, F) →
(Ω00 , F 00 ) est une variable aléatoire.
Ainsi, si X et Y sont deux variables aléatoires à valeurs dans Ω0 = R muni de sa tribu borélienne,
alors toute combinaison linéaire de X et Y est une variable aléatoire, ainsi que X 2 , min(X, Y ), etc.

Bien qu’il existe des applications non-mesurables,

Toutes les fonctions que l’on rencontrera

dans le cadre de ce cours sont mesurables.

Ainsi, s’il est indispensable d’introduire les notions de mesurabilité pour définir une théorie co-
hérente, dans le cadre de ce cours on pourra sans problème ignorer ces subtilités et continuer à
considérer que tous les ensembles et fonctions que vous serez amenés à considérer sont mesurables
(et ils le seront effectivement). Nous ne passerons donc pas de temps à donner des critères simples
pour vérifier qu’une application est mesurable.

La Définition 1.3 de la loi d’une variable aléatoire et le Théorème 1.3 (ainsi que sa preuve) montrant
que la loi d’une variable aléatoire est une mesure de probabilité restent vrais dans ce cadre général.

2.4 Le cas discret revisité

Dans le chapitre précédent, une mesure de probabilité discrète et une variable aléatoire discrète
ont été définies comme étant des mesure de probabilité et des applications définies sur ensemble

37
CHAPITRE 2. VARIABLES ALÉATOIRES ABSOLUMENT CONTINUES

dénombrable. Néanmoins, ce n’est pas une définition très satisfaisante car on a vu que l’univers Ω
n’était pas si important : par exemple, on pourrait tout aussi bien décrire l’expérience d’un lancer
de dé à l’aide d’un univers continu, par exemple [0, 1], l’expérience n’en reste pas moins discrète.
Nous présentons donc maintenant la définition générale de ces objets.

Définition 2.4. Soient (Ω, F) et (Ω0 , F 0 ) deux espaces mesurables.

Une mesure de probabilité P sur (Ω, F) est dite discrète si son support est dénombrable, i.e., s’il
existe S dénombrable tel que P(S) = 1.
Une variable aléatoire X : (Ω, F) → (Ω0 , F 0 ) est dite discrète si sa loi est discrète, i.e., s’il existe S
dénombrable tel que P(X ∈ S) = 1.

Puisque le support de la loi de X est inclus dans X(Ω), on obtient qu’une variable aléatoire dont
l’ensemble image est dénombrable est discrète. En particulier, si Ω est dénombrable toute variable
aléatoire est discrète et cette définition est donc cohérente avec celle du chapitre précédent.

2.5 Variables aléatoires absolument continues

2.5.1 Définition
Dans le cadre de ce cours, on se restreindra à une classe particulière de variables aléatoires : les
variables aléatoires absolument continues par rapport à la mesure de Lebesgue, que l’on appellera
simplement variables aléatoires absolument continues. A noter qu’on définit directement une variable
aléatoire absolument continue à valeurs dans Rn pour n ≥ 1.

Définition 2.5. Soit (Ω, F) un ensemble mesurable.

Une variable aléatoire X : (Ω, F) → (Rn , B(Rn )) est dite absolument continue s’il existe une
fonction mesurable fX : (Rn , B(Rn )) → (R+ , B(R+ )) telle que la loi PX de X s’écrive sous la forme
Z Z
PX (A) = P(X ∈ A) = fX (x)dx = fX (x)1 {x ∈ A} dx, A ∈ B(Rn ).
A Rn

Si la fonction fX vérifie cette relation, alors elle est appelée densité de la (loi de la) variable aléatoire
X.

Par définition, on a Rn fX (x)dx = P(X ∈ Rd ) et donc

R

Z
fX (x)dx = 1.
Rn

Il ne faut pas beaucoup plus pour définir une densité, notamment,

R si f est positive, mesurable et
que son intégrale vaut 1, alors l’application A ∈ F 7→ A f définit la loi d’une variable aléatoire
absolument continue de densité f .

L’interprétation géométrique est claire : l’aire (ou le volume, en plus grande dimension) sous la
densité fX d’une variable aléatoire X représente la probabilité que X appartienne à l’ensemble sur
lequel on intègre.
R
Remarque 2.1. Lorsque l’on écrit fX (x)dx, il s’agit de l’intégration d’une fonction mesurable par
rapport à la mesure de Lebesgue au sens de la théorie de la mesure : pour plus de détails, vous
pouvez vous référer au Chapitre 8 du polycopié de mathématiques déterministes. Dans le cadre de
ce cours, nous ne rencontrerons que des densités continues par morceaux (toute fonction continue
par morceaux est mesurable, cf. Théorème 2.1) auquel cas l’intégrale de Lebesgue coïncide avec
l’intégrale de Riemann.

38
 2.5. VARIABLES ALÉATOIRES ABSOLUMENT CONTINUES

P(X ∈ [−2, 2])

−2 2

Figure 2.5.1 – L’aire sous la courbe entre −2 et 2 est égale à la probabilité P(X ∈ [−2, 2]) que la
variable aléatoire X soit entre −2 et 2.

Remarque 2.2. Dans la même veine, il n’y a pas unicité de la densité puisque si f etRg coïncident
R
partout sauf sur un ensemble de mesure nulle, alors pour tout A mesurable on a A f = A g.
Néanmoins, avec un abus de langage nous continuerons à parler de “la” densité de X.
Une différence notable entre les cas discret et continu est que, alors que dans le cas discret toute
fonction d’une variable aléatoire discrète est une variable aléatoire discrète (Proposition 1.2), cela
n’est plus forcément le cas dans le cas absolument continu. D’une part, pour que ϕ(X) reste une
variable aléatoire il faut que ϕ soit mesurable. En outre, la fonction constante ϕ(x) = x0 montre
que ϕ(X) n’est pas forcément absolument continue. Le Théorème 2.14 montre que si ϕ est un
C 1 -difféomorphisme, alors ϕ(X) est encore absolument continue.

Dans le reste de ce chapitre, on utilisera les notations suivantes :

• Ω est un espace topologique et F = B(Ω) ;
• X, X 0 , X 00 , Y , X1 , X2 , etc, sont des variables aléatoires absolument continues sur
0 00
(Ω, F) et à valeurs dans Rn , Rn , Rn , RnY , Rn1 , Rn2 , etc.

2.5.2 Densité : intuition et fausses idées

Le concept de densité est la seule vraie nouveauté du cas continu par rapport au cas discret : il est
donc indispensable de bien comprendre ce que cette fonction signifie. Dans le cas discret on a
X
P(X ∈ A) = PX ({x}) (X variable aléatoire discrète)
x∈A

alors que dans le cas continu, on a par définition

Z
P(X ∈ A) = fX (x)dx (X variable aléatoire absolument continue).
x∈A

On voit donc ici une application du premier encart de ce chapitre, que l’on répètera une nouvelle
fois :

Pour passer du cas discret Pau cas continu, R

il suffit de remplacer les sommes par des intégrales
et les probabilités PX ({x}) par les densités fX (x)dx.

Moralement, la valeur fX (x) prise au point x par la densité de X, variable aléatoire continue, joue
le rôle analogue à la probabilité PX ({x}) de la probabilité de l’évènement élémentaire x sous la loi
de X, variable aléatoire discrète. En particulier, on soulignera que

39
CHAPITRE 2. VARIABLES ALÉATOIRES ABSOLUMENT CONTINUES

L’analogue de PX ({x}) pour X variable aléatoire discrète

N’EST PAS
P(X = x) pour X variable aléatoire absolument continue.

En effet, on a le résultat suivant qui découle directement de la définition de la densité.

Théorème 2.3. Si X est une variable aléatoire absolument continue, alors pour tout x ∈ Rn on a
P(X = x) = 0.
Démonstration.
R On vérifie facilement que {x} ∈ B(Rn ) et donc par définition de la densité on obtient
0 0
P(X = x) = {x} f (x )dx et puisque l’intégrale de Lebesgue de toute fonction mesurable sur un
ensemble dénombrable est nulle on obtient bien P(X = x) = 0. 
Corollaire 2.4. Une variable aléatoire absolument continue n’est pas discrète.
Remarque 2.3. Il existe des variables aléatoires qui ne sont ni discrètes, ni absolument continues.
Remarque 2.4. Dans la même veine que le Théorème 2.3, et puisque la mesure de Lebesgue d’un
espace vectoriel de dimension r < n est nulle, on pourrait aussi montrer que si X ∈ Rn est absolument
continue et que E ⊂ Rn est un espace vectoriel de dimension dim(E) < n, alors P(X ∈ E) = 0.
Remarque 2.5. Il suit de la remarque précédente que si X et Y sont absolument continues, alors
(X, Y ) n’est pas forcément absolument continue : il suffit pour voir cela de considérer Y = X.
Néanmoins, si X et Y sont absolument continues et indépendantes, alors comme nous le verrons
dans le Théorème 2.13, (X, Y ) est bien absolument continue.
Le fait que P(X = x) = 0 pour une variable absolument continue constitue une différence importante
entre le cas discret et le cas continu : pour une variable aléatoire absolument continue à valeurs dans
R par exemple, on a bien que P(X ∈ R) = 1 mais contrairement au cas discret, on n’a pas
X
P(X ∈ R) = P(X = x) (FAUX ET HORRIBLE ! !)
x∈X(Ω)

ni même
Z
P(X ∈ R) = P(X = x)dx (FAUX ET (un peu moins) HORRIBLE ! !)

En fait, sommer sur X(Ω) n’est même pas bien définie si X(Ω) n’est pas dénombrable et donc la
première formule est encore plus horrible que la seconde. Il y a là un paradoxe apparent : lorsque
l’on fait une expérience aléatoire continue, on obtient bien un résultat. Néanmoins, la probabilité a
priori d’obtenir ce résultat était nulle. . .

S’il ne faut pas directement interpréter la valeur de la densité comme une probabilité, le résultat
suivant montre que l’on peut néanmoins donner un sens infinitésimal à cette interprétation. Ainsi,
s’il est faux et horrible de dire que fX (x) = P(X = x), il n’est pas inconcevable d’écrire P(X ≈ x) ≈
fX (x) dans le sens suivant.
Théorème 2.5. Si X est une variable aléatoire absolument continue à valeurs dans R, alors pour
tout point x ∈ R auquel fX est continue,


P X ∈]x − ε, x + ε[) = 2fX (x)ε + o(ε)
i.e.,
1

lim P X ∈]x − ε, x + ε[) = fX (x).
2ε
ε→0

Démonstration. Il s’agit du théorème fondamental du calcul, cf. par exemple le Théorème 8.3.10 du
polycopié de mathématiques déterministes. 

40
 2.5. VARIABLES ALÉATOIRES ABSOLUMENT CONTINUES

2.5.3 Loi normale et autres lois usuelles

Une liste non-exhaustive de lois absolument continues inclut :
Loi uniforme : la loi uniforme sur un intervalle [a, b] ⊂ R avec a ≤ b correspond à choisir un
point uniformément au hasard : sa densité vaut
1
f (x) = 1 {x ∈ [a, b]} , x ∈ R;
b−a
n
Ron peut plus généralement définir la loi uniforme sur un ensemble A ⊂ R de volume Vol(A) =
A
dx fini par f (x) = 1 {x ∈ A} /Vol(A) ;
Loi normale sur R : la loi normale (aussi appelée loi gaussienne) sur R de paramètre (m, σ) ∈
R×]0, ∞[ a pour densité
(x − m)2
 
1
f (x) = exp − , x ∈ R.
(2πσ 2 )1/2 2σ 2
Il s’agit d’une loi de probabilité universelle qui apparaît dans le théorème central limite, cf.
Théorème 3.14. Elle sera généralisée à la dimension supérieure dans le Chapitre 4 ;
Loi standard normale sur R : il s’agit de la loi normale sur R de paramètre m = 0 et σ = 1,
on parle aussi de loi normale centrée réduite ;
Loi exponentielle : la loi exponentielle de paramètre µ ∈ R+ est la loi dont la densité vaut

f (x) = µe−µx 1 {x ∈ R+ } , x ∈ R.

Il s’agit de l’équivalent continu de la loi géométrique, cf. Proposition 3.13 ;

Loi Gamma : la loi Gamma de paramètre α, β > 0 est la loi dont la densité est donnée par
β α α−1 −βx
f (x) = x e 1 {x ∈ R+ } , x ∈ R;
Γ(α)

Loi Beta : la loi Gamma de paramètre α, β > 0 est la loi dont la densité est donnée par
Γ(α + β) α−1
f (x) = x (1 − x)β−1 1 {|x| ≤ 1} , x ∈ R.
Γ(α)Γ(β)
La loi normale joue un rôle important, il est notamment important de connaître sa fonction carac-
téristique. Le résultat suivant permet de ramener de nombreux calculs sur des lois normales au cas
standard. A noter que les énoncés et démonstrations des deux résultats suivants anticipent légère-
ment et font appel aux notions de fonction de répartition et de fonction caractéristique dans le cas
absolument continu, cf. Sections 2.6.1 et 2.6.9.
Proposition 2.6. X suit une loi normale de paramètre (m, σ 2 ) si et seulement si (X − m)/σ suit
une loi normale standard.
Démonstration. Soit Xm,σ2 qui suit une loi normale de paramètre (m, σ 2 ) et Ym,σ2 = (Xm,σ2 −m)/σ :
pour montrer le résultat, il suffit de prouver que Ym,σ2 suit une loi normale centrée réduite, i.e., que
FYm,σ2 = FY0,1 . Par définition,
 

Xm,σ2 − m

FYm,σ2 (x) = P Ym,σ2 ≤ x = P ≤ x = P Xm,σ2 ≤ σx + m
σ
et en utilisant l’expression de la densité de Xm,σ2 , on obtient donc
Z σx+m
1 2 2
FYm,σ2 (x) = 2 )1/2
e−(y−m) /(2σ ) dy.
−∞ (2πσ

41
CHAPITRE 2. VARIABLES ALÉATOIRES ABSOLUMENT CONTINUES

Le changement de variable u = (y − m)/σ donne donc

Z x
1 2
FYm,σ2 (x) = 1/2
e−u /2 du = FY0,1 (x)
−∞ (2π)

ce qui prouve le résultat. 

Proposition 2.7. La fonction caractéristique de la loi normale de paramètre (m, σ 2 ) est donnée
par  2 2 
x σ
ϕ(x) = exp − + ixm , x ∈ R.
2

Démonstration. Soit X qui suit une loi normale de paramètre (m, σ 2 ) et Y = (X − m)/σ qui suit
une loi normale centrée réduite. Puisque

ϕX (x) = E(eixX ) = eixm ϕY (σx),

il suffit de montrer le résultat pour m = 0 et σ = 1, i.e., dans le cas standard. Dans ce cas, on a
Z
1 2
ϕY (x) = eixy e−y /2 dy.
(2π)1/2

Le changement de variable u = −y montre que ϕY (y) ∈ R, et donc

Z
1 2
ϕY (x) = 1/2
cos(xy)e−y /2 dy.
(2π)

Dérivant par rapport à x, on obtient

Z
1 2
ϕ0Y (x) = − y sin(xy)e−y /2
dy
(2π)1/2

et une intégration par parties donne ϕ0Y (x) = −xϕY (x). La résolution de cette équation différentielle
avec la condition initiale ϕY (0) = 1 donne la réponse. 

2.6 Du discret au continu : les sommes deviennent des inté-

grales
Nous revisitons maintenant les notions introduites dans les Sections 1.3 à 1.5 dans le cas Pdiscret
R
(fonction de répartition, espérance, variance, etc) : il s’agit essentiellement de remplacer par
et PX ({x}) par fX (x)dx.

2.6.1 Fonction de répartition

Si X est absolument continue à valeurs dans Rn , la définition de sa fonction de répartition FX est
identique à celle du cas discret, cf. Définition 1.8 : FX (x) = P(X ≤ x). Lorsque X est à valeurs
réelles et absolument continue, on énumère ci-dessous quelques propriétés de FX : la seule différence
avec le cas discret, cf. Proposition 1.4, est que FX est continue et non plus constante par morceaux.

Proposition 2.8. Si X absolument continue est à valeurs dans Rn , alors sa fonction de répartition
est FX continue et croissante en chacune de ses variables. Si n = 1, FX satisfait en outre

lim FX (x) = 0 et lim FX (x) = 1.

x→−∞ x→+∞

42
 2.6. DU DISCRET AU CONTINU : LES SOMMES DEVIENNENT DES INTÉGRALES

Rx
Démonstration. Cela découle directement de la formule FX (x) = −∞ fX et de résultats classiques
d’analyse, cf. par exemple le Théorème 8.3.10 du polycopié de mathématiques déterministes. 
Rx
Remarque 2.6. En fait, on pourrait aller plus loin : si FX (x) = −∞ fX , alors FX n’est pas seule-
ment continue, mais absolument continue, et l’on peut montrer que cela caractérise une variable
aléatoire absolument continue, i.e., la loi de X est absolument continue si et seulement si sa fonc-
tion de répartition est absolument continue. Il existe des variables aléatoires ayant une fonction de
répartition continue mais qui ne sont pas absolument continues, par exemple la fonction de Cantor.
Enfin, les fonctions dérivables constituent une classe importante de fonctions absolument continues.
Comme pour le cas discret (Corollaire 1.5), la fonction de répartition d’une variable aléatoire absolu-
ment continue caractérise sa loi : si X et Y sont absolumentR x continues et FX = FY , alors PX = PY .
Par ailleurs, dans le cas réel on a par définition FX (x) = −∞ fX (u)du et le théorème fondamental
du calcul donne donc le résultat suivant.

Proposition 2.9. On considère X à valeurs réelles. Si fX est continue en x ∈ R, alors FX est

0
dérivable en x avec FX (x) = fX (x).

On énonce maintenant un résultat qui, bien qu’apparemment anodin, a de nombreuses conséquences

importantes.

Proposition 2.10. Si X ∈ R et FX est strictement croissante, alors la variable aléatoire FX (X)

suit une loi uniforme sur [0, 1].

Démonstration. Pour prouver que FX (X) suit une loi uniforme, il suffit de prouver que sa fonction
de répartition est celle de la loi uniforme, i.e., que

0 si x ≤ 0,

FFX (X) (x) = x si 0 ≤ x ≤ 1,

1 si x ≥ 1.


Puisque FFX (X) (x) = P (FX (X) ≤ x) par définition et que FX est à valeurs dans [0, 1], le résultat
est évident pour x 6∈ [0, 1]. Pour x ∈ [0, 1], on utilise le fait que F est une bijection croissante pour
obtenir
−1 −1



P (FX (X) ≤ x) = P X ≤ FX (x) = FX FX (x) = x
ce qui prouve le résultat. 

Remarque 2.7. Une conséquence fondamentale de ce résultat est qu’on peut générer n’importe quelle
−1
variable aléatoire à partir d’une variable uniforme : il suffit d’écrire X = FX (U ) avec U = FX (X).
Bien qu’on n’a prouvé ce résultat que dans le cas où FX est continue et strictement croissante, ce
−1
résultat reste en fait valable en tout généralité si l’on définit FX (x) = inf{y ∈ R : FX (y) > x}.

2.6.2 Espérance : cas des variables absolument continues à valeurs dans

R
Pour définir
P l’espérance
R d’une variable absolument continue et à valeurs dans R+ , on continue à
remplacer par et PX ({x}) par fX (x)dx, cf. la Définition 1.6 dans le cas discret.

Définition 2.6. Si X est à valeurs dans R+ , alors son espérance E(X) ∈ R+ ∪ {∞} est définie de
la manière suivante : Z
E(X) = xfX (x)dx. (2.1)

43
CHAPITRE 2. VARIABLES ALÉATOIRES ABSOLUMENT CONTINUES

Le reste de la définition reste inchangé et, hormis le Théorème 1.9, tous les résultats de la Sec-
tion 1.3.2 restent
P valables
R dans ce nouveau cadre. Quant au Théorème 1.9, il suffit encore une fois
de remplacer par et PX ({x}) par fX (x)dx dans l’énoncé.

Théorème 2.11. Supposons que X est à valeurs dans Rn et considérons ϕ : (Rn , B(Rn )) →
(R, B(R)) mesurable. Si ϕ(X) ≥ 0 ou E(|ϕ(X)|) < ∞, alors
Z
E (ϕ(X)) = ϕ(x)fX (x)dx. (2.2)

Remarque 2.8. L’énoncé précédent cache une subtilité : ce n’est pas parce que X est absolument
continue que ϕ(X) l’est, et en particulier il n’est pas clair quel sens donner à E(ϕ(X)). Dans le
cas où ϕ(X) est absolument continu, la preuve de ce résultat est la même que dans le cas discret
en remplaçant les sommes par les intégrales. Dans le cas général, le résultat reste vrai et peut être
vu, dans le cadre de ce cours, comme la définition de l’espérance d’une variable aléatoire qui peut
s’écrire comme l’image d’une variable aléatoire absolument continue par rapport à une application
mesurable.

2.6.3 Variance et écart-type : cas des variables absolument continues à

valeurs dans R
La Définition 1.7 et les Propositions 1.12 et 1.13 restent valables dans le cas absolument continu.

2.6.4 Inégalités de Markov, de Cauchy–Schwarz et de Bienaymé–Tchebychev

Les Théorèmes 1.14, 1.15 et 1.16 restent vrais dans le cadre absolument continu. La preuve du
Théorème 1.16PutiliseRla version intégrable de l’inégalité de Cauchy–Schwarz, encore une fois il suffit
de remplacer par et PX ({x}) par fX (x)dx.

2.6.5 Lois marginales

Comme dans le cas discret, si X = (X1 , . . . , Xn ) alors la loi de X1 sera parfois qualifiée de loi
marginale. LePThéorème
R 1.17 du cas discret se généralise au cas absolument continu en remplaçant,
sans surprise, par et PX ({x}) par fX (x)dx.

Théorème 2.12. Soit X = (X1 , . . . , Xn ) avec Xk ∈ Rnk . On suppose que X est absolument
continue de densité fX . Alors X1 est absolument continue et sa densité fX1 est donnée par
Z
fX1 (x1 ) = fX (x1 , x2 , . . . , xn ) dx2 · · · dxn , x1 ∈ Rn1 . (2.3)
x2 ∈Rn2 ,...,xn ∈Rnn

Démonstration. Soit A ∈ B(Rn1 ) : on a P(X1 ∈ A) = P(X1 ∈ A, X2 ∈ Rn2 , . . . , Xn ∈ Rnn ) et par

définition de la densité, on obtient donc
Z
P(X1 ∈ A) = fX (x1 , x2 , . . . , xn ) dx2 · · · dxn .
x1 ∈A,x2 ∈Rn2 ,...,xn ∈Rnn
R
Le théorème de Fubini donne donc P(X1 ∈ A) = x1 ∈A f (x1 )dx1 avec f (x) donnée par le membre
de droite de (2.3) pour x1 = x. Par définition, cela identifie la densité de X1 comme étant f ce qui
prouve le résultat. 

Ce résultat assure donc entre autre que si (X, Y ) est absolument continue, alors chaque marginale
l’est aussi. Néanmoins, il faut faire attention au fait que la réciproque n’est pas vraie : (X, X) n’est

44
 2.6. DU DISCRET AU CONTINU : LES SOMMES DEVIENNENT DES INTÉGRALES

jamais absolument continue, même si X l’est. De manière plus générale, ce n’est pas parce que X
et Y sont chacun absolument continus que le couple (X, Y ) l’est.
Dans le cas d’une variable aléatoire absolument continue (X1 , X2 ), le théorème précédent donne par
exemple
Z
PX1 (A) = fX (x1 , x2 )dx1 dx2 , A ⊂ Rn1 .
x1 ∈A,x2 ∈Rn2

Cet exemple est en fait le plus général possible, puisqu’on peut s’y ramener en définissant X2 =
(X2 , . . . , Xn ) dans le théorème précédent. On retiendra donc que

La loi marginale de X1 est obtenue

en intégrant sur les valeurs possibles de X2 .

2.6.6 Indépendance
La Définition 1.9 de l’indépendance d’évènements et de variables aléatoires reste la même. Le Théo-
rème 1.18 se généralise en remplaçant PX ({x}) par fX (x) de la manière suivante.

Théorème 2.13. Soit X1 et X2 deux variables aléatoires absolument continues. Alors X1 et X2

sont indépendantes si et seulement si (X1 , X2 ) est absolument continue et que la densité de la loi
du couple (X1 , X2 ) est égale au produit des densités des lois marginales :

f(X1 ,X2 ) (x1 , x2 ) = fX1 (x1 )fX2 (x2 ), x1 ∈ Rn1 , x2 ∈ Rn2 .

Les Propositions 1.19 et 1.20 restent inchangées.

2.6.7 Covariance : cas des variables absolument continues à valeurs dans R

Les définitions et résultats de la Section 1.4.4 restent valables mot pour mot dans le cas de variables
aléatoires absolument continues à valeurs dans R.

2.6.8 Espérance, variance et covariance : généralisation au cas vectoriel

et matriciel
Les définitions et notations de la Section 1.4.5 restent valables dans le cas absolument continu.

2.6.9 Fonction caractéristique, fonction génératrice et transformée de La-

place
Les définitions et résultats de la Section 1.5 restent valables dans le cas absolument continu, et
les transformées des lois absolument classiques introduites en Section 2.5.3 sont données dans le
Tableau B.2 en page 175. On remarquera en particulier que, en une dimension, la fonction caracté-
ristique est donnée au vu du Théorème par
Z
itX
= eitx fX (x)dx


ϕX (t) = E e

qui n’est rien d’autre, à une constante multiplicative près, que la transformée de Fourier de la
fonction fX vue en cours d’analyse fonctionnelle.

45
CHAPITRE 2. VARIABLES ALÉATOIRES ABSOLUMENT CONTINUES

2.7 Méthodes de calculs de loi

En pratique, il arrive très souvent que l’on parte d’une variable aléatoire absolument continue X
bien connue, et que l’on s’intéresse à une transformation de cette variable aléatoire, i.e., à une
variable aléatoire de la forme ϕ(X). En supposant que ϕ(X) reste absolument continue, il existe
deux méthodes principales pour calculer la loi de ϕ(X) : la méthode du changement de variable et
la méthode de la fonction de répartition.

2.7.1 Méthode du changement de variable

Par définition, pour calculer la densité de ϕ(X), il faut pouvoir écrire
Z
P (ϕ(X) ∈ A) = f (y)1 {y ∈ A} dy

pour tout borélien A et une certaine fonction f ≥ 0, qui est alors par définition la densité de ϕ(X).
Pour se ramener à la loi de X, on écrit
P (ϕ(X) ∈ A) = P X ∈ ϕ−1 (A)

avec ϕ−1 l’inverse ensembliste de ϕ, ce qui donne donc

Z Z
P (ϕ(X) ∈ A) = 1 x ∈ ϕ−1 (A) fX (x)dx = 1 {ϕ(x) ∈ A} fX (x)dx.


R
Pour écrire P(ϕ(X) ∈ A) sous la forme 1 {y ∈ A} f (y)dy et donc calculer la densité de ϕ(X),
l’expression précédente suggère donc de faire le changement de variable y = ϕ(x), ce qui n’est
possible que sous certaines conditions techniques. Quand ces conditions sont satisfaites, on obtient
le résultat suivant en appliquant directement le Théorème 8.3.16 du polycopié de mathématiques
déterministes. On rappelle notamment que pour une application ϕ : Rn → Rm bijective (sur un
ensemble D), continûment différentiable ainsi que son inverse, Jacx (ϕ) dénote sa matrice jacobienne
prise au point x (cf. la Définition 3.2.1 et le Théorème 8.3.16 du polycopié de mathématiques
déterministes) :  
∂ϕi
Jacx (ϕ) = (x) .
∂xj 1≤i≤m,1≤j≤n
Théorème 2.14. On considère X à valeurs dans Rn et ϕ : (Rn , B(Rn )) → (Rm , B(Rm )) mesurable.
On suppose qu’il existe un ensemble ouvert D ⊂ Rn tel que :
• fX (x) = 0 pour x 6∈ D ;
• ϕ est bijective de D dans ϕ(D) ;
• ϕ et ϕ−1 sont continûment différentiables sur D.
Alors ϕ(X) est absolument continue et sa densité est donnée par fϕ(X) (y) = 0 si y 6∈ ϕ(D) et
fϕ(X) (y) = fX ϕ−1 (y) det Jacy (ϕ−1 ) , y ∈ ϕ(D).

Démonstration. Pour A ∈ B(Rm ) on a P (ϕ(X) ∈ A) = P X ∈ ϕ−1 (A) par définition de ϕ−1 .

Puisque ϕ est mesurable, ϕ−1 (A) ∈ B(Rn ) et donc la définition de la densité donne
Z Z
P (ϕ(X) ∈ A) = 1 x ∈ ϕ−1 (A) fX (x)dx = 1 {ϕ(x) ∈ A} fX (x)dx.


Puisque l’on peut se restreindre à x ∈ D du fait que fX (x) = 0 pour x 6∈ D, le changement de variable
multi-dimensionnel y = ϕ(x) ⇔ x = ϕ−1 (y) (Théorème 8.3.16 du polycopié de mathématiques
déterministes) donne donc
Z
P (ϕ(X) ∈ A) = 1 {y ∈ A} fX ϕ−1 (y) det Jacy (ϕ−1 ) dy

ce qui prouve à la fois que ϕ(X) est absolument continue et que sa densité est bien celle annoncée. 

46
 2.8. CONDITIONNEMENT DANS LE CAS ABSOLUMENT CONTINU

2.7.2 Méthode de la fonction de répartition

Une autre approche pour calculer la densité de ϕ(X) est de passer par les fonctions de répartition.
Cette méthode marche bien en dimension un et quand ϕ est bijective et monotone. Considérons
pour fixer les idées le problème de calculer la loi de X 2 avec X ≥ 0. D’après la Proposition 2.9, pour
calculer fX 2 il suffit de calculer FX 2 puis de dériver. Ainsi, on a
Z √x
2

√

FX 2 (x) = P X ≤ x = P X ≤ x = fX (u)du
−∞

en utilisant le fait que X ≥ 0 pour la deuxième égalité. En dérivant, on obtient donc

1 √
fX 2 (x) = √ fX ( x).
2 x
On obtiendrait bien évidemment le même résultat en appliquant le Théorème 2.14, mais cette
approche est légèrement plus flexible. Par exemple, on l’adapte facilement pour calculer la densité
de X 2 pour X ∈ R (alors que ϕ : x ∈ R 7→ x2 n’est pas bijective) : on a alors pour x ≥ 0
Z √x Z −√x
2

√ √

FX 2 (x) = P X ≤ x = P − x ≤ X ≤ x = fX (u)du − fX (u)du
−∞ −∞

et donc
1 √ 1 √
fX 2 (x) = √ fX ( x) + √ fX (− x).
2 x 2 x

2.8 Conditionnement dans le cas absolument continu

Il reste maintenant à revisiter, dans le cas absolument continu, les notions de conditionnement
introduites dans les Sections 1.6 et 1.7 dans le cas discret.

2.8.1 Conditionnement par rapport à un évènement

Les Définitions 1.18 et 1.19 et le Théorème 1.27 n’ont rien de spécifique au cas discret et restent
vrais en toute généralité. Néanmoins, et on touche là à la limitation de l’approche de ce cours, il
n’est pas évident de généraliser le Théorème 1.28 car avec l’approche utilisée, on ne sait pas quel
sens donner à E(XξA ) : sauf cas particulier, XξA n’est ni discrète ni absolument continue. Si on
voit E( · | A) comme l’opérateur d’espérance associée à la mesure de probabilité P( · | A), on n’a
que défini E(X | A) pour une variable aléatoire X absolument continue sous P( · | A). Le résultat
suivant exhibe un cas particulier très important où c’est bien le cas.
Lemme 2.15. Soit (X, Y ) ∈ RnX ×RnY absolument continue sous P de densité fX,Y , et B ∈ B(RnY )
avec P(Y ∈ B) > 0. Alors X est absolument continue sous P( · | Y ∈ B) et sa densité conditionnelle
est donnée par
Z
1
fX|Y ∈B (x) = 1 {y ∈ B} fX,Y (x, y)dy, x ∈ RnX .
P(Y ∈ B)
Démonstration. En utilisant successivement la définition de la probabilité conditionnelle, la défini-
tion de la densité de (X, Y ) puis le théorème de Fubini, on obtient pour tout borélien A ∈ B(RnX )
P(X ∈ A, Y ∈ B)
P(X ∈ A | Y ∈ B) =
P(Y ∈ B)
Z
1
= 1 {x ∈ A, y ∈ B} fX,Y (x, y)dxdy
P(Y ∈ B)
Z
= 1 {x ∈ A} fX|Y ∈B (x)dx

47
CHAPITRE 2. VARIABLES ALÉATOIRES ABSOLUMENT CONTINUES

ce qui prouve bien que fX|Y ∈B est la densité de X sous P( · | Y ∈ B). 

Ce résultat permet donc de donner un sens à E(X | Y ∈ B). Par ailleurs, le Théorème donne un
sens à E(X; Y ∈ B) = E(X1 {Y ∈ B}) en considérant ϕ(x, y) = x1 {y ∈ B}. Un calcul élémentaire
montre que, au terme multiplicatif P(Y ∈ B) près, ces deux espérances coïncident, généralisant ainsi
le Théorème 1.28 au cas absolument continu pour un événement A de la forme Y −1 (B) = {Y ∈ B}.

Théorème 2.16. Soit (X, Y ) ∈ RnX × RnY absolument continue sous P de densité fX,Y , et B ∈
B(RnY ) avec P(Y ∈ B) > 0. Si X ≥ 0 ou X est intégrable, alors

E(X; Y ∈ B)
E(X | Y ∈ B) = .
P(Y ∈ B)

2.8.2 Espérance et loi conditionnelles par rapport à une variable aléatoire

L’intuition derrière la notion d’espérance conditionnelle et décrite en Section 1.7.2 reste la même dans
le cas absolument continu que dans le cas discret. Néanmoins, on ne peut plus directement définir
E(Y | X) = h(X) avec h(x) = E(Y | X = x) car P(X = x) = 0 d’après le Théorème 2.3. Néanmoins,
l’approche infinitésimale derrière la densité (Théorème 2.5) permet de comprendre comment définir
l’espérance conditionnelle dans le cas absolument continu.
Intuitivement, on voudrait définir h(x) ≈ E(Y | X ≈ x) dans le sens suivant :

h(x) = lim E(Y | X ∈]x − ε, x + ε[)).

ε→0

En utilisant le Lemme 2.15 avec Bε =]x − ε, x + ε[, on obtient

Z
E(Y | X ∈]x − ε, x + ε[) = yfY |X∈Bε (y)dy

avec par définition

1 {x − ε ≤ x0 ≤ x + ε} fX,Y (x0 , y)dx0

R
fY |X∈Bε (y) = R .
1 {x − ε ≤ x0 ≤ x + ε} fX (x0 )dx0

Lorsque ε ↓ 0, le numérateur se comporte comme 2εfX,Y (x, y) et le dénominateur comme 2εfX (x),
ce qui donne fY |X∈B (y) ≈ fX,Y (x, y)/fX (x) et finalement,
Z
fX,Y (x, y)
E(Y | X ∈]x − ε, x + ε[)) ≈ yfY |X=x (y)dy avec fY |X=x (y) = .
fX (x)

Pour tout x, fY |X=x est appelée densité de Y sachant X = x. Par analogie avec le cas discret,
on pourrait alors définir l’espérance conditionnelle E(Y | X) = h(X) avec h(x) = 0 si fX (x) = 0 et
Z Z
1
h(x) = yfY |X=x (y)dy = yfX,Y (x, y)dy.
fX (x)

Néanmoins, nous allons adopter un point de vue légèrement plus direct. On commence par la re-
marque suivante.

Proposition 2.17. On a P(fX (X) = 0) = 0.

Ainsi, on peut supposer que fX (X) > 0 puisque cela arrive avec probabilité un. Cela nous permet
d’adopter la définition suivante.

48
 2.9. LIMITATIONS

Définition 2.7. Pour tout y, la densité aléatoire

fX,Y (X, y)
fY |X (y) =
fX (X)

est appelée densité de Y sachant X : c’est la densité de la loi conditionnelle de Y sachant X.

La densité aléatoire fY |X induit donc une mesure de probabilité notée P(Y ∈ · | X) et appelée loi
conditionnelle de Y sachant X via la formule suivante :
Z
P(Y ∈ A | X) = 1 {y ∈ A} fY |X (y)dy.

On a alors le résultat suivant, qui généralise le théorème de transfert discret 1.34 au cas absolument
continu et qui définit notamment directement E(Y | X).

Théorème 2.18. Soit (X, Y ) absolument continu et ϕ : RnY → R mesurable : si ϕ(Y ) ≥ 0 ou

E(|ϕ(Y )|) < ∞, alors Z
E (ϕ(Y ) | X) = ϕ(y)fY |X (y)dy. (2.4)

Avec ces définitions,

P les résultats
R de la Section 1.7.3 restent valables. Dans la Proposition 1.30, il faut
juste remplacer par et PZ ({z}) par fZ (z)dz, i.e.,
R si Y = ϕ(X, Z) avec (X, Y, Z) absolument
continu et X et Z indépendantes, alors E(Y | X) = ϕ(X, z)fZ (z)dz.

2.9 Limitations
Comme on l’a vu, la théorie des variables absolument continues présente certaines limitations intrin-
sèques qui rendent par exemple difficile de définir proprement l’espérance conditionnelle. Une autre
limitation est que l’on sort très naturellement du cadre absolument continu. Le premier exemple,
mentionné précédemment, consiste à considérer le couple (X, X) avec X absolument continue. Un
autre exemple naturel vient du traitement du signal : imaginons qu’avec probabilité p, on reçoive un
signal X modélisé par une loi normale, et qu’avec la probabilité complémentaire 1 − p on ne reçoive
aucun signal. La variable aléatoire correspondante est alors εX avec ε une variable de Bernoulli,
qui n’est ni discrète ni absolument continue. Dans de tels cas on pourra se fonder sur son intuition,
pour par exemple écrire

E(ϕ(εX)) = ϕ(0)P(ε = 0) + E(ϕ(X))P(ε = 1).

Seule la théorie de la mesure permet de construire une théorie des probabilités complètement satis-
faisante. Une introduction à cette théorie est donnée dans le cours électif “Approfondissement en
mathématiques” proposée une année sur deux dans la séquence commune 1A/2A.

49
CHAPITRE 2. VARIABLES ALÉATOIRES ABSOLUMENT CONTINUES

2.10 Fiche de synthèse

Remarque importante : Presque tout ce qui a été fait dans le cas discret (définitions, propriétés,. . .) est
R
encore valable dans le cas continu, en remplaçant Σ par et P(X = x) par fX (x)dx. . .

Si Ω n’est pas dénombrable, toutes ses parties ne sont pas intéressantes, d’où l’introduction de la notion de
tribu.

Tribu F sur Ω : tout sous-ensemble de parties de Ω tel que :

i) Ω ∈ F ;
ii) si A ∈ F , alors Ac ∈ F ;
+∞
S
iii) si pour tout n ∈ N, An ∈ F , alors An ∈ F .
n=0
Probabilité P sur (Ω, F) : toute application P de F vers [0, 1] telle que :
i) P(Ω) = 1 ;  +∞ 
S +∞
P
ii) pour toute suite d’événements An ∈ F , incompatibles deux à deux, on a : P An = P(An ).
n=0 n=0

Variable aléatoire X : application mesurable X : (Ω, F) → (Ω0 , F 0 ) (X −1 (B) ∈ F pour tout B ∈ F 0 )

Loi de X : PX probabilité sur (Ω0 , F 0 ) définie par PX (B) = P(X −1 (B)), où P probabilité sur (Ω, F).
Le plus souvent, (Ω0 , F 0 ) = (Rd , B(Rd )) où B(Rd ) est la tribu des boréliens.

Une variable X : (Ω, F) → (Rd , B(Rd )) est dite absolument continue s’il existe une fonction mesurable
fX : (Rd , B(Rd )) → (R+ , B(R+ )), appelée densité telle que, pour tout B ∈ B(Rd ),
Z Z
PX (B) = P(X ∈ B) = fX (x)dx = fX (x)1 {x ∈ B} dx .
B

R
En particulier, toute densité satisfait fX (x)dx = 1.

Loi de U = ϕ(X) où X est de densité fX , nulle hors de D et h C 1 difféomorphisme de D ⊂ Rd sur

D0 = ϕ(D) :

fϕ(X) (y) = fX ϕ−1 (y) det Jacy (ϕ−1 )

, y ∈ ϕ(D)

En général, on veut la loi de ϕ(X, Y ) où ϕ : R2 → R (par exemple la loi de X + Y ) : on peut commencer à

chercher la loi de (U, V ) = (X, ϕ(X, Y )) puis on intégre pour obtenir la deuxième marginale.

Le Théorème de transfert permet de calculer l’espérance de ϕ(X) où X(Ω) ⊂ Rd , avec ϕ : Rd → R :

R
E(ϕ(X)) = ϕ(x) fX (x)dx sous réserve d’intégrabilité de x 7→ ϕ(x)fX (x).

R
Fonction caractéristique : si t ∈ Rd , pour ϕ(x) = eiht,xi , ϕX (t) = E eiht,Xi = eiht,xi fX (x)dx.
Fonction de répartition : FX : x ∈ Rd 7→ P(X1 ≤ x1 , · · · , Xd ≤ xd ).

Dans la suite, on prend d = 2 pour simplifier.

Lois marginales : FX (x) = lim FX,Y (x, y) ; FY (y) = lim FX,Y (x, y).
y→+∞ x→+∞
Si (X, Y ) absolument continu a pour densité
R fX,Y , alors X et Y sontR absolument continues, de densités
respectives fX et fY définies par fX (x) = fX,Y (x, y)dy et fY (y) = fX,Y (x, y)dx.
Rx
Cas particulier important où d = 1 : FX (x) = −∞ fX (s)ds, FX est continue, croissante sur R, de classe
0
C 1 presque partout, avec alors FX = fX . On a aussi P(X = x) = 0 pour tout x ∈ R et P(a ≤ X ≤ b) =
Rb
a
f X (x)dx.

50
 2.10. FICHE DE SYNTHÈSE

Loi de U = ϕ(X) : utiliser les fonctions de répartition. FU (u) = P(ϕ(X) ≤ u), à exprimer à l’aide de FX
puis dériver . . .

Loi conditionnelle dans le cas continu : Pour x ∈ X(Ω) fixé tel que fX (x) 6= 0, PY ( · | X = x) est une
f (x,y)
loi absolument continue de densité fY |X=x (y) = X,Y
fX (x)
.

Remarque : Le réel x étant fixé, il ne doit pas y avoir d’indicatrice dans fX (x) et dans fX,Y (x, y), c’est y
qui doit être exprimé en fonction de x et non l’inverse.

Espérance conditionnelle de Y à X = x : espérance d’une variable de loi PY ( · | X = x). C’est un réel

fonction de x. Plus précisément, si (X, Y ) est absolument continu,
Z
E(Y | X = x) = y fY |X=x (y)dy.

E(Y | X) est la variable aléatoire ϕ(X) fonction de X où ϕ est la fonction réelle définie par ϕ(x) = E(Y |
X = x).

51
CHAPITRE 2. VARIABLES ALÉATOIRES ABSOLUMENT CONTINUES

2.11 Exercices
Les exercices précédés d’une flèche ,→ sont des exercices d’application directe du cours.

,→ Exercice 2.1

1. Montrez en utilisant le théorème de transfert que P(fX (X) = 0) = 0.

Exercice 2.2 (Caractérisations variationnelles)

1. Montrez que E(X) = arg minx E((X − x)2 ) pour toute variable aléatoire X.
2. Soit X une variable aléatoire absolument continue : montrez que arg minx E(|X − x|) = {x : FX (x) = 21 }.

,→ Exercice 2.3 (Calcul de densités)

1. Montrez que
1 x−b
 
faX+b (x) = fX .
|a| a

2. Montrez que f|X| (x) = (fX (x) + fX (−x))1 {x ≥ 0}.

1 √ 1 √
3. Montrez que fX 2 (x) = 2√ f ( x) + 2√
x X
f (− x) pour x ≥ 0.
x X
R
4. Montrez que si X et Y sont indépendantes, alors fX+Y (z) = fX (x)fY (z − x)dx.
5. Montrez que si X et Y sont indépendantes, alors

fmax(X,Y ) (z) = fX (z)P(Y ≤ z) + fY (z)P(X ≤ z)

6. Soit U uniformément répartie sur [0, 1] et c > 0 : calculez la loi de −c ln(U ).

7. Soit U1 , U2 indépendantes et uniformément réparties sur [0, 1] : calculez la loi du couple
 p p 
cos(2πU1 ) −2 ln(U2 ), sin(2πU1 ) −2 ln(U2 )

et déduisez en que ces deux variables sont i.i.d. standard normales.

,→ Exercice 2.4 (Loi normale)

On rappelle que la densité de la loi normale de paramètre (m, σ 2 ) ∈ R × (0, ∞) est donnée par
 
1 (x − m)2
x ∈ R 7→ √ exp − .
σ 2π 2σ 2

1. Par un calcul direct, calculez la moyenne et la variance de X.

On suppose dorénavant que m = 0 et σ = 1.
2. Montrez que E(X k ) = 0 pour k ∈ N impair.
3. Montrez par récurrence que E(X 2k ) = (2k − 1) × (2k − 3) × · · · × 3 × 1 pour k ∈ N.
4. Montrez que pour a < b,
fX (a) − fX (b)
E(X | a < X < b) = .
FX (b) − FX (a)

5. Soient X et Y deux variables aléatoires normales indépendantes : quelle est la loi de X + Y ?

Indication : vous pourrez considérer les fonctions caractéristiques.

52
 2.11. EXERCICES

,→ Exercice 2.5 (Lois Gamma et Beta)

La loi Gamma de paramètre (α, λ) est la loi de probabilité sur R dont la densité est donnée par
Γ −λx α−1
fα,λ (x) = cΓ
α,λ e x 1 {x ≥ 0} .

La loi Beta de paramètre (α, β) est la loi de probabilité sur R dont la densité est donnée par
β
fα,β (x) = cβα,β xα−1 (1 − x)β−1 1 {0 ≤ x ≤ 1} .

1. Pour quelles valeurs des paramètres ces lois sont-elles bien définies ? Montrez alors que
∞
λα
Z
cΓ
α,λ = avec Γ(α) = tα−1 e−t dt
Γ(α) 0

et que Z 1
1
cβα,β = avec B(α, β) = xα−1 (1 − x)β−1 dx.
B(α, β) 0

2. Montrez que Γ(α + 1) = αΓ(α) et que Γ(α)Γ(β) = B(α, β)Γ(α + β).

Indication. Pour la deuxième identité on pourra partir du membre de gauche et faire intervenir le difféo-
morphisme ϕ−1 : (z, t) ∈ R+ × [0, 1] 7→ (zt, z(1 − t)) ∈ R2+ pour changer de variable.
3. Calculez l’espérance, la variance et la transformée de Laplace de chacune de ces lois.
4. Soit U et V deux variables aléatoires indépendantes suivant des lois Γ(α, 1) et Γ(β, 1), respectivement :
montrez que U/(U + V ) suit une loi Beta(α, β).
Indication. On pourra utiliser le même changement de variable qu’à la question 2.

,→ Exercice 2.6 (Loi exponentielle)

Soit E1 , E2 , . . . des variables exponentielles i.i.d..
1. Calculez la loi de E1 + · · · + En .
Indication. On pourra calculer la transformée de Laplace puis l’identifier à l’aide de l’exercice précédent.
2. A l’aide de la question précédente et du théorème de l’espérance totale, calculer la loi de E1 + · · · + EG
où G est une variable géométrique indépendante.
Indication. On pourra calculer puis identifier la transformée de Laplace.
3. Calculez la loi de E1 /(E1 + E2 ).

,→ Exercice 2.7
Soit (X, Y ) un couple aléatoire de densité f définie par :
r
 x si (x, y) ∈ ∆ = {(x, y) : 0 < y ≤ x ≤ 1},
f (x, y) = y

0 sinon.

1. Représentez ∆, puis vérifiez que f est bien une densité et déterminez les lois marginales de X et de Y .
2. Les variables aléatoires X et Y sont-elles indépendantes ? Calculez E(X), E(Y ), E(XY ) et déduisez-en la
covariance Cov(X, Y ).
3. Déterminez la loi du couple (X, Y /X) et en déduire la loi de U = Y /X. Les variables aléatoires X et U
sont-elles indépendantes ?
4. Trouvez la loi conditionnelle de Y sachant X. Déduisez-en E(Y | X) et retrouvez E(Y ).
5. Calculez P(Y < X/2) puis déterminez la loi conditionnelle de X sachant Y .

53
CHAPITRE 2. VARIABLES ALÉATOIRES ABSOLUMENT CONTINUES

3 1−Y 5/2
6. Déduisez-en que E(X | Y ) = 5 1−Y 3/2
et retrouvez E(X).

,→ Exercice 2.8
Soit X une variable aléatoire de densité f définie par
1
fX (x) = √ e−x 1 {x > 0}
πx
et Y une variable aléatoire dont la loi conditionnelle sachant X = x est la loi normale de moyenne 0 et de
1
variance 2x .
1. Rappelez la définition de fY |X=x puis calculez la loi du couple (X, Y ) et celle de Y .
2. Déterminez la loi conditionnelle de X sachant Y = y et déduisez-en E(X | Y ). Calculez E(X) et déduisez
R +∞ dt
de ce qui précéde, sans calcul, la valeur de 0 (1+t2 )2
.

,→ Exercice 2.9
Deux personnes conviennent de se retrouver entre 17h et 18h, et on suppose que chaque personne arrive à
un instant choisi uniformément au hasard dans cet intervalle.
1. Si la première personne arrivée n’attend pas plus de 10 minutes, quelle est la probabilité qu’elles se
rencontrent ?
2. Soit Ti , i = 1, 2 l’heure d’arrivée de la personne i. Calculez la loi du temps d’attente |T2 − T1 | et retrouvez
le résultat de la question précédente.

Problème 2.10
Soit E1 , E2 , . . . des variables i.i.d. distribuées selon la loi exponentielle de paramètre µ : le but de ce problème
est de prouver que max(E1 , . . . , En ) et E1 + E2 /2 + · · · + En /n sont égales en distribution. La propriété
fondamentale qui permet de prouver cette égalité est la propriété suivante, dite d’absence de mémoire.
1. Soit x ≥ 0 : montrez que E1 − x sachant E1 ≥ x est égale en loi à E1 .
2. Montrez que pour tout α > 0, E1 /α suit la loi exponentielle de paramètre αµ.
3. Montrez que pour tout λ, λ0 > 0, on a
 0
 0
E e−λE2 −λ (E1 −E2 )
| E2 ≤ E1 = E(e−λE1 /2 )E(e−λ E1
).

4. En déduire que la loi de (E2 , E1 − E2 ) conditionnellement à E2 ≤ E1 est la même que celle de (E2 /2, E1 ),
puis que max(E1 , E2 ) et E1 + E2 /2 ont même loi.
5. Généralisez les calculs précédents pour montrer que la loi de (En , E1 − En , . . . , En−1 − En ) conditionnel-
lement à En = mink=1,...,n Ek est la même que celle de (En /n, E1 , . . . , En−1 ), puis concluez par récurrence
que max(E1 , . . . , En ) et E1 + E2 /2 + · · · + En /n ont même loi.
6. En déduire que
n n
1X1 1 X 1
E(max(E1 , . . . , En )) = et Var(max(E1 , . . . , En )) = 2 .
µ k µ k2
k=1 k=1

7. Quelle est la loi de mink=1,...,n Ek ?

54
Chapitre 3

Théorèmes limites

Dans ce chapitre nous introduisons les deux résultats les plus importants de la théorie des pro-
babilités, avec des ramifications dans de nombreux domaines scientifiques et en ingénierie : la loi
des grands nombres et le théorème central limite. Ces deux résultats mènent à un développement
asymptotique d’ordre d’une somme d’un nombre important de variables i.i.d. :
p
X1 + · · · + Xn ≈ nE(X1 ) + N Var(X1 )n où N suit une loi normale standard

Ces deux résultats peuvent être compris à l’aide d’une série infinie de pile ou face, et nous commen-
cerons par présenter quelques résultats de simulation qui illustrent les concepts clef de ce chapitre.

3.1 Série de pile ou face

Considérons une série infinie de pile ou face : on définit
(
1 si on obtient pile au k-ième lancer,
Xk =
0 sinon.

On suppose que la pièce est non biaisée, la suite (Xk , k ∈ Z+ ) est donc i.i.d. et la loi commune
aux Xk est la loi de Bernoulli de paramètre 1/2. On s’intéresse en particulier au comportement
asymptotique quand n → ∞ de la moyenne empirique X̄n définie par
n
1X
X̄n = Xk , n ∈ N∗ .
n
k=1

Dans les trois pages suivantes, nous présentons des résultats de simulation qui illustrent trois résul-
tats fondamentaux :
Loi forte des grands nombres (Figure 3.1.1) : Pour quatre réalisations de l’expérience, on trace
l’évolution de X̄n pour n = 1, . . . , 300. Ces résultats suggèrent que, pour chaque expérience,
on a X̄n → 1/2 lorsque n → ∞, ce qui est conforme à l’intuition ;
Loi du logarithme itéré (Figure 3.1.2) : Pour l’une des quatre réalisations de l’expérience (de
la Figure 3.1.1b) on n’a pas X̄300 ≈ 1/2. Deux explications sont possibles : X̄n ne converge
pas vers 1/2, ou bien il y a bien convergence mais la suite n’a pas encore convergé au bout de
300 itérations. Pour décider, on s’intéresse donc au deuxième ordre de X̄n , i.e., on voudrait un
développement asymptotique du genre X̄n = 1/2 + εn + o(εn ) : la Figure 3.1.2 montre qu’une
telle suite εn n’existe pas ! !

55
CHAPITRE 3. THÉORÈMES LIMITES

Théorème central limite (Figure 3.1.3) : Au lieu d’exiger un développement asymptotique du

type X̄n = 1/2 + εn + o(εn ), on va seulement exiger un contrôle en probabilité : on va chercher
εn tel que, pour tout a ≤ b réels, la probabilité P(a ≤ (X̄n − 1/2)/εn ≤ b) converge lorsque
n → ∞ vers une quantité non-triviale.

56
 3.1. SÉRIE DE PILE OU FACE

0.7 0.7

0.6 0.6

0.5 0.5

0.4 0.4

0.3 0.3
0 50 100 150 200 250 300 0 50 100 150 200 250 300
(a) Résultat de la première expérience. (b) Résultat de la deuxième expérience.
0.7 0.7

0.6 0.6

0.5 0.5

0.4 0.4

0.3 0.3
0 50 100 150 200 250 300 0 50 100 150 200 250 300
(c) Résultat de la troisième expérience. (d) Résultat de la quatrième expérience.

Figure 3.1.1 – Chaque courbe représente l’évolution de la moyenne empirique (X̄n ) pour une
série de pile ou face : la ligne rouge correspond à la valeur asymptotique attendue 1/2. Pour les
expériences a, c et d la moyenne empirique semble converger vers 1/2, ce qui est le résultat attendu.
Pour l’expérience b la convergence semble plausible mais n’est pas évidente : en fait, elle a bien lieu
mais il faudrait considérer un horizon temporel plus grand pour s’en convaincre.

57
CHAPITRE 3. THÉORÈMES LIMITES

2
2

1
1
0

−1 0

−2
−1
−3

102 103 104 105 106 107 108 109 102 103 104 105 106 107 108 109
(a) Résultat de la première expérience. (b) Résultat de la deuxième expérience.
4

2
2

0
0

−2
−2

102 103 104 105 106 107 108 109 102 103 104 105 106 107 108 109
(c) Résultat de la troisième expérience. (d) Résultat de la quatrième expérience.

Figure 3.1.2 – La loi forte des grands nombres illustrée sur la figure précédente nous assure que
X̄n → 1/2, i.e., pour chaque expérience on a convergence de la moyenne empirique vers 1/2. On
s’intéresse maintenant à la vitesse à laquelle cette convergence a lieu et d’ainsi mieux comprendre
pourquoi X̄n n’a pas encore convergé sur la figure 3.1.1b. Les quatre figures représentent l’évolution,
sur une échelle logarithmique en n, de la suite (Yn ) avec
 1/2
n

Yn = X̄n − 1/2 .
4 ln(ln(n))

Ces résultats suggèrent que cette suite fluctue, ce qui est en fait une manifestation de la loi du
logarithme itéré qui nous assure que, pour chaque expérience aléatoire, on a

lim sup Yn = 2 et lim inf Yn = −2.

n→∞ n→∞

En particulier, il n’existe pas de développement asymptotique du genre X̄n = 1/2 + εn + o(εn ) avec
une suite déterministe εn → 0.

58
 3.1. SÉRIE DE PILE OU FACE

1.0

1.0
0.8

0.8
0.6

0.6
0.4

0.4
0.2

0.2
0.0

0.0
−3 −2 −1 0 1 2 3 −4 −3 −2 −1 0 1 2 3

(a) Fonction de répartition de Z5 . (b) Fonction de répartition de Z10 .

1.0

1.0
0.8

0.8
0.6

0.6
0.4

0.4
0.2

0.2
0.0

0.0

−2 0 2 −4 −2 0 2 4

(c) Fonction de répartition de Z20 . (d) Fonction de répartition de Z100 .

Figure 3.1.3 – Dans notre recherche de la vitesse de convergence de Zn , nous avons été trop
gourmands en cherchant εn → 0 tel que X̄n = 1/2 + εn + o(εn ) : une telle suite n’existe pas. Après
tout, ce n’est peut-être pas surprenant vu que, dans un contexte probabiliste, il est peut-être plus
raisonnable de n’exiger que des garanties concernant la probabilité que un (X̄n − 1/2) appartienne à
un certain intervalle [a, b] ⊂ R. Si on définit Zn = un (X̄n − 1/2), on a


P a ≤ un (X̄n − 1/2) ≤ b = FZn (b) − FZn (a)
et il devient naturel de s’intéresser au comportement asymptotique de la fonction de répartition
de Zn , illustré par les quatre figures ci-dessus : on voit clairement la convergence de FZn vers une
fonction limite (tracée en rouge), ce qui est une manifestation du théorème central limite qui garantit
que si l’on choisit un = n1/2 /2, alors pour tout x ∈ R on a
Z x
1 2
FZn (x) −→ e−y /2 dy.
n→∞ (2π)1/2 −∞

59
CHAPITRE 3. THÉORÈMES LIMITES

3.2 Convergence presque sûre et loi forte des grands nombres

3.2.1 Définition et loi forte des grands nombres
La convergence presque sûre est le mode de convergence dans la loi des grands nombres illustrée sur
la Figure 3.1.1.
Définition 3.1. Soit X et (Xn , n ∈ N) des variables aléatoires définies sur le même espace de
p.s.
probabilité. On dit que Xn converge presque sûrement vers X, ce que l’on note Xn → X, si et
seulement si Xn → X avec probabilité un, i.e.,
 
P lim Xn = X = 1.
n→∞

p.s.
Ainsi, Xn → X si la convergence a lieu pour (presque toute) réalisation de l’expérience aléa-
toire
Théorème 3.1 (Loi forte des grands nombres). Si les (Xn , n ≥ 1) à valeurs dans Rm sont i.i.d. et
intégrables, alors
1 p.s.
(X1 + · · · + Xn ) −→ E(X1 ).
n
La loi forte des grands nombres peut donc être vue comme le développement asymptotique à l’ordre
un de la somme X1 + · · · + Xn ≈ nE(X1 ). Malgré son apparente simplicité, il arrive en fait très
souvent que l’on soit amenés à considérer la somme de variables aléatoires i.i.d., ce qui explique
l’importance de la loi forte des grands nombres.
Nous ne prouverons pas ce résultat en toute généralité, mais proposerons une preuve plus loin basée
sur le lemme de Borel–Cantelli. En outre, si l’on revient à l’exemple de la série de pile ou face on
remarque qu’il existe des évènements ω tels que X̄n (ω) ne converge pas vers 1/2 : par exemple,
l’évènement ω = {0, 0, 0, . . .} qui correspond à obtenir une série infinie de face. Néanmoins, la loi
forte des grands nombres nous dit précisément que la probabilité d’un tel évènement est nulle !
p.s. p.s.
Proposition 3.2. Si Xn → X et f est continue, alors f (Xn ) → f (X).
Démonstration. Pour ω tel que Xn (ω) → X(ω), on a par continuité f (Xn (ω)) → f (X(ω)) : ainsi,
{Xn → X} ⊂ {f (Xn ) → f (X)} et donc 1 = P(Xn → X) ≤ P(f (Xn ) → f (X)). 

3.2.2 Convergence vers une variable aléatoire : l’exemple de l’urne de

Pólya
La loi forte des grands nombres est l’archétype de la convergence presque sûre. Néanmoins, la limite
est déterministe ce qui n’est pas forcément le cas en général. Nous présentons ici un exemple simple
de suite de variables aléatoires qui converge presque sûrement vers une limite aléatoire : il s’agit de
l’urne de Pólya.
L’expérience est très simple : on a une urne avec des boules de deux couleurs, rouge et noir. Itéra-
tivement, on effectue l’opération suivante :
1. Tirer une boule de l’urne choisie uniformément au hasard ;
2. Remettre la boule dans l’urne plus une boule de la même couleur :
• si la boule tirée est rouge, on remet donc la boule rouge PLUS une autre boule rouge ;
• si la boule tirée est noire, on remet donc la boule noire PLUS une autre boule noire.
Ainsi, si initialement on a 2 boules, après la première itération on aura 3 boules dans l’urne, puis
4, puis 5, etc. La Figure 3.2.4 présente quatre réalisations de cette expérience aléatoire, où l’on
s’intéresse à la fraction Rn de boules rouges juste après la n-ième itération. Pour chaque expérience,
on commence initialement avec une boule rouge et une boule noire (et donc R0 = 1/2).

60
 3.2. CONVERGENCE PRESQUE SÛRE ET LOI FORTE DES GRANDS NOMBRES

1 1

0.8 0.8

0.6 0.6

0.4 0.4

0.2 0.2

0 0
0 200 400 600 800 1,000 0 200 400 600 800 1,000
(a) ω avec Rn (ω) → 0,46. (b) ω avec Rn (ω) → 0,01.
1 1

0.8 0.8

0.6 0.6

0.4 0.4

0.2 0.2

0 0
0 200 400 600 800 1,000 0 200 400 600 800 1,000
(c) ω avec Rn (ω) → 0,06. (d) ω avec Rn (ω) → 0,84.

Figure 3.2.4 – Quatre réalisations d’une urne de Pólya : pour chaque réalisation, on s’intéresse à
l’évolution de la fraction de boules rouges dans l’urne. On voit que cette fraction converge, mais la
fraction asymptotique dépend de la réalisation. Il s’agit d’un cas typique de convergence presque
p.s.
sûre vers une limite aléatoire. En fait, on pourrait prouver que Rn → R∞ où R∞ suit la loi uniforme
sur [0, 1].

61
CHAPITRE 3. THÉORÈMES LIMITES

On voit sur cette figure que la suite Rn converge presque sûrement (i.e., pour chaque réalisation
de l’expérience aléatoire), mais que la limite dépend de l’expérience et est donc aléatoire. Il y a
une explication intuitive à ce comportement dû à un phénomène de renforcement. S’il est possible
d’observer des fluctuations de la proportion de boules rouges au début (après tout, tant qu’il y a peu
de boules tout peut arriver), une fois qu’il y a beaucoup de boules dans l’urne, il devient alors de plus
en plus dur, et finalement impossible, d’inverser la situation et la proportion de boules rouges reste
alors constante. On observe en effet que la convergence est très rapide, i.e., la valeur asymptotique
est essentiellement déterminée au début de l’expérience et après quelques itérations il ne se passe
plus grand chose.

3.2.3 Théorème de convergence dominée

Il est très fréquent que l’on ait besoin de la convergence de la moyenne d’une suite de variables
p.s.
aléatoires. Cela ne découle pas forcément de la convergence presque sûre, néanmoins si Xn → X et
les Xn sont bornés par une constante déterministe, alors on obtient la convergence des moyennes.
Nous aurons plusieurs occasions dans les preuves suivantes de voir l’utilité d’un tel résultat.
p.s.
Théorème 3.3 (Théorème de convergence dominée). Si Xn → X et P(|Xn | ≤ K) = 1 pour un
certain K ∈ R+ , alors Xn et X sont intégrables et E(Xn ) → E(X).

3.2.4 Lemme de Borel–Cantelli

Prouver un résultat de convergence presque sûre peut s’avérer très délicat : par exemple, dans le
cas de l’urne de Pólya discuté ci-dessus il n’existe même pas d’expression analytique de la limite
R∞ . Néanmoins, il existe un critère de convergence presque sûre qui, lorsqu’il s’applique, est très
efficace : il s’agit du lemme de Borel–Cantelli.
L’idée est simple : considérons pour ε > 0 la variable aléatoire
X
N (ε) = 1 {|Xk − X| ≥ ε} .
k≥1

Ainsi, N (ε) est le nombre de fois où Xk est à distance ≥ ε de X. Par définition de la convergence,
on a alors Xn (ω) → X(ω) si et seulement si N (ε)(ω) est finie pour tout ε > 0. L’idée du lemme de
Borel–Cantelli est très simple : si E(N (ε)) est fini, alors N (ε) est presque sûrement finie : puisque
X
E(N (ε)) = P (|Xk − X| ≥ ε)
k≥1

on obtient donc le critère suivant.

Théorème 3.4 (Lemme de Borel–Cantelli). Si pour tout ε > 0 on a
X
P (|Xn − X| ≥ ε) < ∞,
n∈N

p.s.
alors Xn → X.
Démonstration. De par la discussion ci-dessus, on voit que l’hypothèse du lemme de Borel–Cantelli
implique que N (ε) est presque sûrement fini pour tout ε > 0. Puisque l’union dénombrable d’évè-
nements de probabilité nulle reste de probabilité nulle par (1.1), il s’ensuit que

P (N (1/k) < ∞, ∀k ≥ 1) = 1.
T
Puisque les événements {Xn → X} et k≥1 {N (1/k) < ∞} sont égaux, cela prouve le résultat. 

62
 3.2. CONVERGENCE PRESQUE SÛRE ET LOI FORTE DES GRANDS NOMBRES

Nous appliquons maintenant ce lemme pour prouver la loi forte des grands nombres dans le cas
particulier où E(eθX1 ) < ∞ pour tout θ ∈ R.
Démonstration du Théorème 3.1 quand E(eθX1 ) < ∞ pour tout θ ∈ R. Sans perte de généralité on
supposera que E(X1 ) = 0. Soit Sn = X1 + · · · + Xn : alors
n
!
1X
P Xk ≥ ε = P (|Sn | ≥ nε) = P (Sn ≥ nε) + P (Sn ≤ −nε) .
n
k=1

Pour θ ≥ 0, la fonction x 7→ eθx est croissante et donc

P (Sn ≥ nε) = P eθSn −nε ≥ 1 ≤ e−θnε E eθSn

où l’on a utilisé l’inégalité

 de Markov

n (Théorème 1.14) pour obtenir l’inégalité. Puisque les Xn sont
i.i.d., on a E eθSn = E eθX1 et donc

P (Sn ≥ nε) ≤ exp (−n(θε − ϕ(θ))) avec ϕ(θ) = ln E(eθX1 ).

On admettra que ϕ est continûment dérivable de dérivée ϕ0 (θ) = E(X1 eθX1 )/E(eθX1 ), ce que l’on
pourrait prouver à l’aide du théorème de convergence dominée. Il s’ensuit que ϕ(θ)/θ → ϕ0 (0) = 0
lorsque θ → 0 et donc il existe θ0 > 0 tel que ϕ(θ0 ) ≤ θ0 ε/2. Considérant l’inégalité précédente pour
ce θ0 , on obtient alors
 
1
P (Sn ≥ nε) ≤ exp (−n(θ0 ε − ϕ(θ0 ))) ≤ exp − nεθ0
2
P
ce qui prouve que n≥1 P(Sn ≥ nε) < ∞. De manière symétrique on prouve que la série de terme
général P(Sn ≤ −nε) est sommable ce qui donne le résultat. 

3.2.5 Interprétation empirique de la densité

La loi forte des grands nombres permet de porter un regard différent sur la densité. La Figure 3.2.5
représente par des points sur l’axe des abscisses un échantillon de 40 variables exponentielles i.i.d.,
notées X1 , . . . , X40 . On remarque une “densité” de points décroissante : plus on s’éloigne de l’origine
et plus les points sont loin les uns des autres.

Figure 3.2.5 – Illustration de l’interprétation empirique de la densité discutée dans la Section 3.2.5.

63
CHAPITRE 3. THÉORÈMES LIMITES

En fait, cela reflète que la densité de la variable exponentielle, donnée par x ∈ R+ 7→ e−x , est
décroissante. En effet, la loi des grands nombres nous assure que pour tout sous-ensemble A ⊂ R,
la densité empirique
n
1X
1 {Xk ∈ A}
n
k=1

converge presque sûrement vers

Z
E(1 {X1 ∈ A}) = P(X1 ∈ A) = fX1 .
A

Ainsi, de manière empirique, le nombre de points qui tombent dans un intervalle donné est propor-
tionnel à la densité : dans les zones où la densité est élevée, il y aura donc une forte accumulation
de points.

3.3 Convergence en probabilité et loi faible des grands nombres

Définition 3.2. Soit X et (Xn , n ∈ N) des variables aléatoires définies sur le même espace de
P
probabilité. On dit que Xn converge en probabilité vers X, ce que l’on note Xn → X, si pour
tout ε > 0 on a
P (|Xn − X| ≥ ε) −→ 0.
n→∞

Au vu de cette définition, la proposition suivante découle directement de l’inégalité de Bienaymé–

Tchebycheff (Théorème 1.15).
P
Proposition 3.5. Si E(Xn ) → x et Var(Xn ) → 0, alors Xn → x.
p.s.
On note que convergence presque sûre implique convergence en probabilités : en effet, si Xn → X
p.s. P
alors pour tout ε > 0 on a 1 {|Xn − X| ≥ ε} → 0 et la convergence Xn → X s’ensuit donc du
théorème de convergence dominée.
p.s.
Proposition 3.6. Convergence presque sûre implique convergence en probabilités : si Xn → X alors
P
Xn → X.

Par contre, la réciproque n’est pas vraie : un contre-exemple est donnée par la suite Xn = Bn où
les Bn sont des variables de Bernoulli indépendantes avec E(Bn ) = 1/n. Alors

1
P(Xn ≥ ε) = P(Bn = 1) =
n
P
et donc Xn → 0. Néanmoins, on peut prouver que
 
P lim sup Xn = 1 = 1
n→∞

et donc Xn ne converge pas presque sûrement vers 0.

Une conséquence directe du résultat précédent est la loi faible des grands nombres.

Théorème 3.7 (Loi faible des grands nombres). Si les (Xn , n ≥ 1) sont i.i.d. et intégrables, alors

1 P
(X1 + · · · + Xn ) −→ E(X1 ).
n

64
 3.4. CONVERGENCE EN LOI ET THÉORÈME CENTRAL LIMITE

Démonstration dans le cas de la variance finie. On fournit la preuve dans le cas de la variance finie
où X1 est de carré intégrable. On suppose sans perte de généralité que E(X1 ) = 0 : l’inégalité de
Bienaymé–Tchebycheff donne
 
1 1 Var(X1 )
P |X1 + · · · + Xn | ≥ ε ≤ 2 2 Var(X1 + · · · + Xn ) =
n n ε nε2

et il suffit donc de faire tendre n → ∞. 

Comparé à la loi forte des grands nombres, on prouve beaucoup plus facilement le résultat sous des
hypothèses plus générales (variance finie pour la loi faible, tous les moments exponentiels finis pour
la loi forte) : cela correspond au fait que la convergence en probabilité est un mode de convergence
moins fort que la convergence presque sûre.

3.4 Convergence en loi et théorème central limite

Les convergences presque sûre et en probabilité introduites ci-dessus sont des convergences trajec-
torielles, dans le sens où Xn − X tend vers 0 en un certain sens. En particulier, toutes les variables
aléatoires doivent vivre sur le même espace de probabilité afin de donner un sens à la différence
Xn − X.
La notion de convergence en loi est différente : on veut simplement que les lois de Xn convergent.
Puisque la loi d’une variable aléatoire est indépendante de l’espace de probabilités sous-jacent, on
peut avoir convergence en loi de variables aléatoires vivant dans des espaces distincts. Dans le cadre
de ce cours on se limitera à la convergence en loi pour des variables aléatoires à valeurs dans Rm ,
ce qui permet de définir la convergence en loi par la convergence des fonctions caractéristiques.

Définition 3.3. Soit X et (Xn , n ∈ N) des variables aléatoires à valeurs dans Rm . On dit que Xn
L
converge en loi vers X, ce que l’on note Xn → X, si pour tout t ∈ Rm on a ϕXn (t) → ϕX (t).

Par définition, la convergence en loi est donc indépendante de la structure de dépendance entre les
variables (Xn ) :

La convergence en loi de la suite (Xn ) ne contient aucune information

sur la corrélation entre les Xn !

L
En effet, dans les deux exemples suivants on a Xn → X1 alors que dans le premier cas, les Xn sont
indépendantes et dans le deuxième, elles sont parfaitement corrélées.
L
Exemple 3.1. Soit Xn des variables de Bernoulli de paramètre 1/2. Alors Xn → X1 dans les deux
cas suivants :
• les (Xn ) sont indépendantes ;
• on tire X1 puis on prend Xn = X1 : alors les Xn sont parfaitement corrélées.
Cet exemple illustre aussi que l’on peut avoir convergence en loi sans avoir convergence presque
sûre ni convergence en probabilités. Par contre, convergence en probabilités (et donc, convergence
presque sûre) implique convergence en loi.
P L
Proposition 3.8. Si Xn → X alors Xn → X.

Démonstration. On a

|ϕXn (t) − ϕX (t)| = E eitXn − eitX ≤ E eitXn − eitX ≤ 2E [min (1, t |Xn − X|)]

65
CHAPITRE 3. THÉORÈMES LIMITES

0
où l’on a utilisé l’inégalité |eiz − eiz | ≤ 2 min(1, |z − z 0 |) pour tous z, z 0 ∈ R. Pour ε ∈]0, 1[, on a

E [min (1, t |Xn − X|)] = E [min (1, t |Xn − X|) ; t|Xn − X| ≤ ε]

+ E [min (1, t |Xn − X|) ; t|Xn − X| ≥ ε]

ce qui donne
E [min (1, t |Xn − X|)] ≤ ε + P (|Xn − X| ≥ ε/t) .
P
Puisque Xn → X, on obtient donc

lim sup |ϕXn (t) − ϕX (t)| ≤ ε.

n→+∞

Puisque cette borne est valable pour tout ε ∈]0, 1[, il ne reste plus qu’à faire tendre ε → 0 pour
obtenir le résultat. 

Puisque convergence presque sûre implique convergence en probabilité, on a donc

 p.s.
    
P L
Xn −→ X =⇒ Xn −→ X =⇒ Xn −→ X .

On énonce maintenant plusieurs critères de convergence en loi, qui font notamment intervenir les
transformées de la Section 1.5.

Proposition 3.9. Chacune des conditions suivantes est une condition nécessaire et suffisante pour
L
que Xn → X :
• Xn et X sont à valeurs dans Nm et P(Xn = x) → P(X = x) pour tout x ∈ Nm ;
• Xn et X sont à valeurs dans Nm et φXn (z) → φX (z) pour tout z ∈ [−1, 1]m ;
• Xn et X sont à valeurs dans Rm m
+ et LXn (λ) → LX (λ) pour tout λ ∈ R+ ;
• Xn et X sont à valeurs dans Rm , X est absolument continue et FXn (x) → FX (x) pour tout
x ∈ Rm
+ ;
• Xn et X sont à valeurs dans Rm et FXn (x) → FX (x) pour tout x ∈ Rm
+ tel que P(X = x) = 0.

L
L’exemple ci-dessous montre que l’on peut avoir Xn → X mais que FXn (x) 6→ FX (x) si P(X = x) 6=
0.
L p.s.
Exemple 3.2. Si Xn = 1/n, alors Xn → 0 (puisque Xn → 0) mais FXn (0) = P(Xn ≤ 0) = 0 ne tend
pas vers FX (0) = 1.
Les résultats suivants sont très utiles.
L L
Proposition 3.10. Si Xn → X, alors f (Xn ) → f (X) pour toute fonction continue f .
L L L
Proposition 3.11 (Lemme de Slutsky). Si Xn → X et Yn → c avec c une constante, alors (Xn , Yn ) →(X, c).

Avant d’énoncer le théorème central limite, qui est le deuxième résultat le plus important de la théorie
des probabilités après la loi des grands nombres, on montre deux exemples simples de convergence
en loi qui justifient de voir la loi de Poisson comme la loi des évènements rares ainsi que la loi
exponentielle comme l’équivalent continu de la loi géométrique.

Proposition 3.12. Soit λ ∈ R+ et Xn qui suit une loi binomiale de paramètre (n, λ/n) : alors
L
Xn → X où X suit une loi de Poisson de paramètre λ.

66
 3.4. CONVERGENCE EN LOI ET THÉORÈME CENTRAL LIMITE

Démonstration. On peut écrire Xn = In1 + · · · + Inn où les Ink sont i.i.d. et suivent une loi de Bernoulli
de paramètre λ/n : il s’ensuit que
h  1 in  n
In λ
φXn (z) = E z = 1 − (1 − z)
n

qui tend vers e−λ(1−z) quand n → ∞. Puisqu’on reconnaît la fonction génératrice de la loi de Poisson
de paramètre λ, cela prouve le résultat par la proposition précédente. 

Proposition 3.13. Soit λ ∈ R+ et Xn pour n ≥ λ qui suit une loi géométrique de paramètre λ/n :
L
alors Xn /n → X où X suit une loi exponentielle de paramètre λ.

Démonstration. Pour x ∈ R+ , on a
 dnxe
λ
1 − FXn /n (x) = 1 − P (Xn /n ≤ x) = P (Xn /n > x) = P (Xn > nx) = 1−
n

ce qui montre que FXn /n (x) → 1 − e−λx . D’un autre côté, puisque la densité de la loi exponentielle
de paramètre λ est λe−λx 1 {x ≥ 0}, on a
Z x
FX (x) = P(X ≤ x) = λe−λu du = 1 − e−λx .
0

L
On a donc bien montré FXn (x) → FX (x) pour tout x ∈ R ce qui montre que Xn → X par la
Proposition 3.9. 

Théorème 3.14 (Théorème central limite). Soit (Xn , n ≥ 1) i.i.d. avec E(X1 ) = 0 et Var(X1 ) = 1 :
alors
n
1 X L
Xk → X
n1/2 k=1

où X suit une loi standard normale.

Ebauche de démonstration. Puisque les Xk sont i.i.d., on a

" n
!#
it X h in
−1/2
ϕn−1/2 (X1 +···+Xn ) (t) = E exp X k = ϕX 1
(tn ) .
n1/2 k=1

ε2
Pour ε → 0, le développement limité eε = 1 + ε + 2 + o(ε2 ) suggère

ε2 X12
 
ϕX1 (ε) = E eiεX1 = E 1 + iεX1 − + o(ε2 )


2

et puisque E(X1 ) = 0 et Var(X1 ) = 1, on admettra que cela donne ϕX1 (ε) = 1 − ε2 /2 + o(ε2 ). Ainsi,
" n
!#  n
t2

it X 1 2
E exp Xk = 1− +o −→ e−t /2 .
n1/2 k=1 2n n n→∞

2
Puisque e−t /2
est la fonction caractéristique de X, cela donne le résultat. 

67
CHAPITRE 3. THÉORÈMES LIMITES

Puisque X est absolument continue, la Proposition 3.9 montre que

Z x
1 2
Fn−1/2 (X1 +···+Xn ) (x) → FX (x) = √ e−y /2 dy
2π −∞
ce qui était déjà illustré numériquement sur la Figure 3.1.3.
p
Si X est de variance finie, alors la variable aléatoire (X − E(X))/ Var(X) est centrée (i.e., de
moyenne nulle) et réduite (i.e., de variance 1) : ainsi, le théorème central limite s’applique aussi à
une suite de variables i.i.d. dès lors que leur variance commune est finie.
Proposition 3.15. Soit (Xn , n ≥ 1) i.i.d. avec Var(X1 ) ∈ (0, ∞) : alors
n
1 X L
p (Xk − E(X1 )) → X
n1/2 Var(X1 ) k=1

où X suit une loi standard normale.

Remarque 3.1. Dans le cas centré E(X1 ) = 0 et de variance finie, on a donc que la suite de variables
aléatoires √1n (X1 +· · ·+Xn ) converge en loi. Néanmoins, une conséquence du théorème du logarithme
itéré (illustré sur la Figure 3.1.2) est que presque sûrement (i.e., avec probabilité un), on a
1
lim sup √ (X1 + · · · + Xn ) = +∞
n→∞ n
et
1
lim inf √ (X1 + · · · + Xn ) = −∞.
n→∞ n
En d’autres termes, bien que la suite de variables aléatoires √1 (X1 + · · · + Xn ) converge en loi, elle
n
ne converge pas presque sûrement.

3.5 Généralisation à la dimension ≥ 1

La convergence en probabilités n’a été définie qu’en dimension 1, et plusieurs des preuves ci-dessus
ne considérent que ce cas. Néanmoins, tout se généralise en dimension d ≥ 1 en remplaçant les
valeurs absolues par n’importe quelle norme sur Rd .

68
 3.6. FICHE DE SYNTHÈSE

3.6 Fiche de synthèse

L
Convergence en loi : Xn → X si FXn (x) → FX (x) en tout x où FX est continue, ce qui équivaut à
n→+∞
ϕXn (t) → ϕX (t) pour tout t (rappel : ϕX (t) = E(eitX ) est la fonction caractéristique de X).
n→+∞
P
Convergence en probabilité : Xn → X si, pour tout ε > 0,

lim P(|Xn − X| > ε) = 0.

n→+∞
 
p.s.
Convergence presque sûre : Xn → X si P {ω ∈ Ω ; lim Xn (ω) = X(ω)} = 1.
n→+∞

Propriété : La convergence p.s. implique la convergence en probabilité, qui implique la convergence en loi.
La réciproque est fausse en général, mais

convergence en loi vers une constante ⇔ convergence en probabilité vers cette constante.

Loi forte des grands nombres : si les Xi sont des v.a. indépendantes de même loi, d’espérance m, alors
X1 + · · · + Xn p.s.
→ m (v.a. constante).
n
Théorème Central Limite : si les Xi sont de plus de variance σ 2 finie, alors

X1 + · · · + Xn − nm L
√ →Z
n×σ

avec Z de loi normale N (0, 1).

√
Conséquence : X1 + · · · + Xn ≈ nm + σZ n avec Z ∼ N (0, 1), ce que l’on écrit parfois PX1 +···+Xn ≈
2
N (nm, nσ ).

69
CHAPITRE 3. THÉORÈMES LIMITES

3.7 Exercices
Les exercices précédés d’une flèche ,→ sont des exercices d’application directe du cours.

,→ Exercice 3.1 (Approximation de π)

1. On considère un joueur de fléchettes qui lance ses fléchettes au hasard sur une cible carrée. Comment
faire pour obtenir une approximation de π ? Quelle est la qualité de cette approximation ?

Exercice 3.2

1. Soit (Un ) i.i.d. uniformément réparties sur [0, 1] et Mn = maxk=1,...,n Uk : montrez que la suite (Mn )
converge presque sûrement. Quelle est sa limite ?

Exercice 3.3
L P
1. Montrez que si Xn → c avec c une constante, alors Xn → c.
L L L
2. Montrez en utilisant les Propositions 3.10 et 3.11 que si Xn → X et Xn − Yn → 0, alors Yn → X.

Exercice 3.4
Soit (Xn ) une suite de variables i.i.d. intégrables.
Pn p.s.
1. Montrez que 1
n k=1
Xk Xk+1 → E(X1 )2 .
√ Pn

2. Peut-on utiliser le théorème central limite pour calculer la limite en loi de n 1
n k=1
Xk Xk+1 − E(X1 )2 ?

Exercice 3.5 (Convergence jointe)

1. Montrez que P(X + Y ≥ ε) ≤ P(X ≥ ε/2) + P(Y ≥ ε/2).

P P P
2. Montrez en utilisant la question précédente que si Xn → 0 et Yn → 0, alors Xn + Yn → 0. Déduisez-en que
P P P
si Xn → X et Yn → Y , alors (Xn , Yn ) →(X, Y ).
3. Montrez que le résultat précédent n’est plus valable pour la convergence en loi, i.e., que l’on peut avoir
la convergence en loi des marginales mais pas la convergence en loi de la loi jointe.

,→ Exercice 3.6 (Valeurs extrêmes)

On considère (Xk , k ∈ N∗ ) une suite de variables aléatoires i.i.d. de loi commune la loi de X : on s’intéresse
dans cette question à la convergence en loi du maximum Mn = max(X1 , . . . , Xn ).
1. Montrez que P(Mn ≤ x) = P(X ≤ x)n .
2. On suppose que X suit une loi uniforme sur [a, b] : quelle est la limite de Mn (on pourra utilise l’exercice
3.1) ? Montrez que n(b − Mn ) converge en loi : quelle est sa limite ?
3. On suppose que X suit une loi Beta de paramètre (α, 2), i.e., sa densité f est donnée par
f (x) = α(α + 1)xα−1 (1 − x)1 {x ∈ [0, 1]} .
En utilisant Z 1 Z 1
α(α + 1) 2
f (x)dx ∼ f 0 (1) (x − 1)dx = ε ,
1−ε 1−ε
2
montrez que n1/2 (1 − Mn ) converge en loi. Montrez que la variable aléatoire limite est absolument continue
et donnez une expression de sa densité.
4. On suppose que X suit une loi exponentielle de paramètre λ. Montrez que Mn − (1/λ) ln n converge en
loi et exprimez la limite.
5. On suppose que X vérifie P(X ≥ x) = (1 + x)−α : trouvez β tel que Mn /nβ converge en loi et exprimez
la limite.

70
 3.7. EXERCICES

Exercice 3.7 (Urne de Pólya)

On considère l’urne de Pólya. On note Bn le nombre de boules blanches et Rn le nombre de boules rouges
après le n-ième tirage. A l’instant n, on tire une boule uniformément au hasard, que l’on remet dans l’urne
en ajoutant une boule de la même couleur.
1. On commence avec une boule de chaque couleur, i.e., B0 = R0 = 1. Montrez que pour tout n ≥ 0, Bn est
uniformément répartie sur {1, . . . , n + 1}.
2. On commence avec B0 = 1 boule blanche et R0 = N boules rouges. Montrez que pour tout n ≥ 0 fixé,
L
on a Bn −→ 1.
N →∞

3. On commence avec B0 = N boules blanches et R0 = N boules rouges. Montrez que pour tout n fixé, on
L
a Bn − N −→ X avec X qui suit une loi binomiale de paramètre (n, 1/2).
N →∞

4. La convergence précédente a-t-elle lieu presque sûrement ?

,→ Exercice 3.8 (Physique statistique)

Soit X une variable aléatoire absolument continue.
1. Calculez la loi de Xε = εbX/εc pour ε > 0 et comparez sur un même graphique la loi de X et celle de
Xε .
p.s.
2. Montrez que Xε → X lorsque ε ↓ 0.
3. Pour ε > 0 on considère Xε une variable aléatoire discrète de support {εk : k ∈ Z} telle que
1
P(Xε = εk) = fX (εk), k ∈ Z,
Zε
L
avec Zε la constante de normalisation. Montrez que Xε → X.

Exercice 3.9 (Lien avec l’analyse fonctionnelle)

L’énoncé suivant est la question 2 de l’exercice 4 de la PC8&PC9 d’analyse fonctionnelle.

Une suite de fonctions (Un ) est appelée unité approchée pour la convolution si elle vérifie les propriétés
suivantes :
1. ∀n ∈ N, ∀x ∈ R, Un (x) ≥ 0 ;
R
2. ∀n ∈ N, Un (x)dx = 1 ;
R
3. ∀ε > 0, |x|>ε
Un (x)dx → 0 lorsque n → ∞.
2 2
- Montrez que la suite de fonctions Un (x) = √n2π e−x n /2 est une unité approchée.
- Montrez que pour tout fonction f ∈ L1 (R), f ∗ Un appartient à L1 (R) ∩ C ∞ (R).
- Soit f une fonction de L1 (R) ∩ C 0 (R). On suppose de plus que f est bornée sur R. Montrez que, pour tout
réel fixé x0 , (f ∗ Un )(x0 ) converge vers f (x0 ) (utiliser le théorème de convergence dominée).

1. Reformulez-le et résolvez-le en terme probabiliste.

Problème 3.10
Dans ce problème, on considère (Xk , k ∈ N∗ ) une suite de variables aléatoires indépendantes et l’on exhibe
des cas où la suite converge en loi vers 0 mais pas presque sûrement. On regarde tout d’abord le cas
de variables de Bernoulli puis le cas de variables exponentielles, pour lesquelles on exhibe des conditions
nécessaires et suffisantes de convergence en loi et presque sûre vers 0.
Dans la première partie du problème, Xk est une variable aléatoire de Bernoulli de paramètre pk .
L
1. A quelle condition nécessaire et suffisante a-t-on Xn → 0 ?

71
CHAPITRE 3. THÉORÈMES LIMITES

Pn
Dans le reste de l’exercice on suppose que pk → 0 et on définit Nn = k=1
Xk .
2. Montrez que la suite Nn converge presque sûrement vers une variable aléatoire N∞ à valeurs dans N∪{∞}.
p.s.
3. Montrez que Xn → 0 si et seulement si P(N∞ < ∞) = 1.
P p.s.
4. Déduisez-en en considérant la moyenne de N∞ que si k
pk < ∞, alors Xn → 0. De quel résultat du
cours ce résultat est-il un cas particulier ?
P
Les questions 5 et 6 visent à prouver la réciproque, i.e., que si k
pk = ∞ alors Xn ne converge pas presque
sûrement vers 0.
5. On suppose que pour tout K ≥ 0, on a P(Nn ≤ K) → 0 : montrez que cela implique que Xn ne converge
pas presque sûrement vers 0.
6. Montrez en utilisant l’inégalité de Markov pour la première inégalité que
n
!
K −Nn

K
X −1


P (Nn ≤ K) ≤ e E e = e exp ln 1 − pk (1 − e )
k=1

et conclure.
7. La suite Xn converge-t-elle vers 0 pour pk = 1/k ?
8. Soit U uniforme sur [0, 1] et Xn0 = 1 {U ≤ 1/n} : en quel sens la suite Xn0 converge-t-elle vers 0 ? Cela
contredit-il le résultat de la question précédente ?

Pn suppose maintenant que Xk est une variable exponentielle de paramètre λk , et on définit Nn (ε) =
On
k=1
1 {Xk ≥ ε}.
9. Montrez que pour tout ε > 0, la suite Nn (ε) converge presque sûrement : on notera N∞ (ε) la limite.
10. Montrez que
p.s.
Xn → 0 ⇐⇒ ∀k ∈ N∗ , P(N∞ (1/k) < ∞) = 1.

11. En déduire à l’aide du cas Bernoulli que

p.s.
X
Xn → 0 ⇐⇒ ∀ε > 0, e−λk ε < ∞.
k≥1

12. Trouvez λk tel que la suite Xn converge en loi mais pas presque sûrement vers 0.

72
Chapitre 4

Vecteurs gaussiens

Les vecteurs gaussiens généralisent en dimension ≥ 1 la loi normale sur R introduite dans la Sec-
tion 2.5.3 et qui est apparue comme limite universelle dans le théorème central limite sur R (Théo-
rème 3.14). Ils jouent un rôle prépondérant dans de nombreux domaines d’application de la théorie
des probabilités, et notamment en statistique inférentielle et en traitement du signal, mais aussi en
optimisation où les processus gaussiens sont utilisés dans la construction de méta-modèles.

4.1 Définition et propriétés élémentaires

4.1.1 Vecteur gaussien standard
Nous définissons ci-dessous un vecteur gaussien comme étant l’image par une application affine d’un
vecteur gaussien standard, puis montrons dans le Théorème 4.8 que cette définition est équivalente
à la définition classique d’un vecteur gaussien comme vecteur dont toute combinaison linéaire des
coordonnées suit une loi normale sur R.

Définition 4.1 (Loi normale standard sur Rn , vecteur gaussien standard). La loi normale standard
sur Rn est la loi du vecteur (X1 , . . . , Xn ) où les Xi sont i.i.d. et suivent une loi standard normale
sur R. On dit alors que le vecteur (X1 , . . . , Xn ) est un vecteur gaussien standard.

En particulier, si X est un vecteur gaussien standard, alors E(X) = 0 et Var(X) = In , l’identité de

Rn×n . Par ailleurs, puisque la densité de variables indépendantes est égale au produit des densités
2
(Théorème 2.13), et que la densité de la loi normale standard sur R est (2π)−1/2 e−x /2 , il s’ensuit
directement que la densité de X est donnée par

n  
Y 1 −x2k /2 1 1 >
fX (x) = √ e = n/2
exp − x x , x = (x1 , . . . , xn ) ∈ Rn . (4.1)
2π (2π) 2
k=1

Cette densité est représentée sur la Figure 4.1.1a et la Figure 4.1.1b illustre les courbes d’iso-densité
{x : f (x) = c} qui correspondent à des cercles {x : x> x = c0 }. On note aussi que la fonction
caractéristique d’un vecteur gaussien standard X est donnée par
 
1 >
ϕX (t) = exp − t t , t ∈ Rn . (4.2)
2

73
CHAPITRE 4. VECTEURS GAUSSIENS

2
1

0.5 0

−2 2 −2
0 0
2 −2 −2 0 2
(a) Vue de profil. (b) Vue de haut.

Figure 4.1.1 – Densité de la loi normale standard sur R2 vue de deux angles différents. La Fi-
gure 4.1.1b illustre que les courbes iso-densité sont des cercles.

En effet,
>
ϕX (t) = E(eit X
) (définition de ϕX )
i(t1 X1 +···+tn Xn )
= E(e )
Yn
= E(eitk Xk ) (indépendance des Xk )
k=1
n
Y 2
= e−tk /2 (Proposition 2.7)
k=1

ce qui donne bien le résultat annoncé. On remarquera que, à un coefficient multiplicatif près, la
densité et sa fonction caractéristique sont les mêmes, i.e., la transformée de Fourier laisse la loi
normale invariante.

4.1.2 Vecteur gaussien

On définit maintenant un vecteur gaussien comme l’image par une application affine d’un vecteur
gaussien standard.

Définition 4.2 (Loi normale sur Rn , vecteur gaussien). Une variable aléatoire X ∈ Rn est un
vecteur gaussien s’il existe µ ∈ Rn , m ∈ N∗ , M ∈ Rn×m et Y qui suit une loi normale standard sur
Rm tels que X = M Y + µ. La loi d’un vecteur gaussien est appelée loi normale ou loi gaussienne.

Il découle immédiatement de cette définition que si X est un vecteur gaussien, alors toute trans-
formation affine de X reste un vecteur gaussien. En particulier, si X = (X1 , . . . , Xn ), alors
chaque Xk est un vecteur gaussien. Néanmoins,

La réciproque n’est pas vraie en général !

En effet, on peut avoir X1 et X2 qui suivent une loi normale mais (X1 , X2 ) n’est pas un vecteur
gaussien comme le montre l’exemple ci-dessous. En revanche, nous verrons dans la Proposition 4.2
que la réciproque est vraie sous condition d’indépendance.

74
 4.1. DÉFINITION ET PROPRIÉTÉS ÉLÉMENTAIRES

Exemple 4.1. Soit X1 qui suit une loi normale standard, ε à valeurs dans {1, −1} indépendante de
X1 avec P(ε = 1) = P(ε = −1) = 1/2 et X2 = εX1 : alors X2 suit aussi une loi normale standard
et la propriété P(X1 + X2 = 0) = 1/2 empêche X1 + X2 d’être absolument continue et a fortiori de
suivre une loi normale. Or, si (X1 , X2 ) est un vecteur gaussien, il suit directement de la définition
que toute combinaison linéaire de X1 et X2 devrait suivre une loi normale : puisque X1 + X2 ne
suit pas une loi normale, (X1 , X2 ) ne peut pas être un vecteur gaussien.
Dans la Définition 4.2, il y a unicité du vecteur µ puisque par linéarité de l’espérance on a µ = E(X) :

E(X) = M E(Y ) + µ = µ.

La matrice M n’est quant à elle pas forcément unique (cela sera discuté plus en détail en Section 4.3)
mais par contre, elle satisfait nécessairement M M > = Var(X). En effet, on a

Var(X) = Var(M Y + µ) (définition de X)

= Var(M Y ) (invariance de la variance par translation)
= E(M Y (M Y )> ) (définition de la variance)
> >
= E(M Y Y M ) (algèbre linéaire)
> >
= M E(Y Y )M (linéarité de l’espérance)
>
= M Var(Y )M (définition de la variance)

qui vaut bien M M > puisque, comme mentionné précédemment, la matrice de covariance d’un vec-
teur gaussien standard est égale à l’identité. Cette remarque permet de calculer la fonction caracté-
ristique d’un vecteur gaussien : en effet, pour t ∈ Rn on a
> >
M Y +it> µ > > >
ϕX (t) = E(eit X
) = E(eit ) = eit µ
E(eit MY
) = eit µ
ϕY (M > t)

et donc en utilisant la formule 4.2 et le fait que M > M = Var(X) et que µ = E(X), on obtient
finalement le résultat suivant.

Proposition 4.1. Si X est un vecteur gaussien, alors il est de carré intégrable et sa fonction
caractéristique est donnée par
 
1
ϕX (t) = exp − t> Var(X)t + it> E(X) , t ∈ Rn .
2

Une conséquence très importante de ce résultat est que

La loi d’un vecteur gaussien est uniquement déterminée

par son espérance et sa variance.

En particulier, toute propriété concernant la loi d’un vecteur gaussien est “visible” sur son espérance
et sa variance. On peut ainsi facilement prouver les résultats suivants. On rappelle que le second
point n’est pas vrai sans l’hypothèse que (X1 , X2 ) est un vecteur gaussien, cf. la discussion à la fin
de la Section 1.4.4.

Proposition 4.2. Soit X1 et X2 deux vecteurs gaussiens. Alors :

• si X1 et X2 sont indépendantes, alors (X1 , X2 ) est un vecteur gaussien ;
• si X1 et X2 sont décorrélées, i.e., Cov(X1 , X2 ) = 0, et que (X1 , X2 ) est un vecteur gaussien,
alors X1 et X2 sont indépendantes.

75
CHAPITRE 4. VECTEURS GAUSSIENS

Démonstration. Supposons que X1 et X2 sont indépendantes et définissons X = (X1 , X2 ). Puisque

la fonction caractéristique caractérise la loi, pour montrer le résultat il suffit de montrer que ϕX (t) =
1 > >
e− 1 t Var(X)t+it E(X) pour tout t ∈ Rn , avec n = n1 + n2 où nk est la dimension ambiante de Xk .
On fixe donc t ∈ Rn , que l’on écrit t = (t1 , t2 ) avec tk ∈ Rnk . Puisque X1 et X2 sont indépendantes,
on a
ϕX (t) = ϕX1 ,X2 (t1 , t2 ) = ϕX1 (t1 )ϕX2 (t2 )
et la Proposition 4.1 donne donc
 
1 X X
ϕX1 ,X2 (t1 , t2 ) = exp − t>
k Var(Xk )tk + i t>
k E(Xk ) .

2
k=1,2 k=1,2

Puisque X1 et X2 sont indépendantes, elles sont décorrélées et donc Var(X) est diagonale par bloc :
 
Var(X1 ) 0
Var(X) =
0 Var(X2 )

et on vérifie alors que

X X
t> >
k Var(Xk )tk = t Var(X)t et t> >
k E(Xk ) = t E(X)
k=1,2 k=1,2

ce qui donne le résultat voulu.

Supposons maintenant que (X1 , X2 ) est un vecteur gaussien et que X1 et X2 sont décorrélées : alors
Var(X) est diagonale par bloc et coïncide donc, comme on vient de le voir, avec la variance d’un
couple de vecteurs gaussiens indépendants. Puisque, à espérance fixée, la variance caractérise la loi,
cela implique bien que X1 et X2 sont indépendantes. 

4.2 Théorème central limite multi-dimensionnel

On généralise maintenant le théorème central limite 3.14 au cas multi-dimensionnel et sous une
forme souvent utile en pratique.

Théorème 4.3 (Théorème central limite). Soit (Xn , n ≥ 1) à valeurs dans RN , i.i.d. avec E(X1 ) =
m et X1 de carré intégrable et de matrice de covariance Var(X1 ). Alors
n
1 X L
(Xk − m) → X
n1/2 k=1

où X est un vecteur gaussien de moyenne nulle et de matrice de covariance Var(X1 ).

Une ébauche de preuve de ce résultat suit l’ébauche de preuve du Théorème 3.14 où l’on remplace
les produits par des produits scalaires.

4.3 Interprétation géométrique

On adopte dans cette partie un point de vue géométrique qui permet d’établir des propriétés fines
sur les vecteurs gaussiens.

76
 4.3. INTERPRÉTATION GÉOMÉTRIQUE

4.3.1 Décomposition spectrale de Var(X)

On définit I = Im(Var(X)) et r = dim(I) l’image et le rang de Var(X), respectivement. On rappelle
que Var(X) est symétrique positive, cf. Proposition 1.24 : en particulier, on peut la diagonaliser dans
une base orthonormale (V1 , . . . , Vn ), toutes ses valeurs propres λ1 , . . . , λn sont ≥ 0 et le nombre de
valeurs propres non nulles est égale à son rang r. On écrira par la suite Var(X) = V ∆V > avec
V = (V1 · · · Vn ) unitaire, i.e., V −1 = V > , et ∆ diagonale avec ∆ii = λi . Quitte à permuter
les vecteurs de la base orthonormale, on supposera que λi > 0 si i ∈ {1, . . . , r} et λi = 0 si
i ∈ {r + 1, . . . , n}. On notera enfin que par définition, I est l’espace engendré par (V1 , . . . , Vr ) et
Ker(Var(X)), le noyau de Var(X), est l’espace engendré par (Vr+1 , . . . , Vn ).

4.3.2 Projection sur l’image de Var(X)

Puisque V est unitaire, i.e., V −1 = V > , la décomposition V ∆V > = Var(X) donne V > Var(X)V =
∆ puis, par définition de la matrice de variance, Var(V > X) = ∆. Ce résultat élémentaire a la
conséquence très importante suivante.

Théorème 4.4. Si X est un vecteur gaussien, alors X − E(X) appartient presque sûrement à
l’image de Var(X).

Démonstration. Partant de Var(V > X) = ∆ et multipliant par ek à droite et par e> k à gauche, il
vient Var((V ek )> X) = λk . Puisque V ek = Vk par définition et que λk = 0 pour k = r + 1, . . . , n,
on a donc prouvé que
Var(Vk> X) = 0, k = r + 1, . . . , n.
La Proposition 1.13 implique donc que Vk> X = Vk> E(X) (presque sûrement) puis que Vk> (X −
E(X)) = 0. Puisque cette relation est valable pour tout k = r + 1, . . . , n, cela entraîne que X − E(X)
appartient à l’orthogonal de l’espace engendré par (Vr+1 , . . . , Vn ) qui n’est autre, par construction,
que I. 

Une conséquence de ce résultat est que si Var(X) n’est pas de rang plein, i.e., r < n, alors X − E(X)
vit dans un espace vectoriel de dimension < n : ce résultat est illustré en dimension n = 2 sur la
Figure 4.3.2.
En outre, il existe donc Y ∈ Rn tel que X = Var(X)Y + E(X). Sauf lorsque Var(X) est de rang
plein, Y n’est pas unique et peut être modifié par un vecteur du noyau de Var(X). Intuitivement,
il y a r degrés de liberté et le résultat suivant montre qu’on peut effectivement se ramener à un
vecteur de dimension r. Le résultat suivant est une généralisation de la Proposition 2.6 qui permet
de se ramener au cas standard.

Théorème 4.5. Soit X un vecteur gaussien. Il existe une décomposition de la forme X = W Y +

E(X) où :
• W ∈ Rn×r a la même image que Var(X) : Im(W ) = Im(Var(X)) ;
• Y ∈ Rd est un vecteur gaussien standard.
Cette décomposition est donnée de manière explicite par
˜ 1/2 ∈ Rn×r et Y = ∆
W = Ṽ ∆ ˜ −1/2 Ṽ > (X − E(X)) ∈ Rd

où :
• ∆˜ ∈ Rr×r est la matrice diagonale avec ∆
˜ ii = λi pour i ∈ {1, . . . , r} ;


• Ṽ = V1 · · · Vr est la matrice de taille n × r obtenue en gardant les r premières colonnes
de V .

77
CHAPITRE 4. VECTEURS GAUSSIENS

(a) Cas Var(X) = ( 10 01 ) (b) Cas Var(X) = ( 11 11 )

Figure 4.3.2 – Les deux figures présentent un échantillon de 30 vecteurs gaussiens (représentés par
des points) en dimension n = 2 : chaque point représente
un vecteur gaussien, et dans chaque cas
les 30 vecteurs gaussiens sont i.i.d. de moyenne −0,3
0,5 . Les deux figures différent par la matrice
de variance choisie : pour la Figure 4.3.2a on a pris Var(X) = ( 10 01 ) et Var(X) = ( 11 11 ) pour la
Figure 4.3.2b. Dans chaque cas, les points vivent dans un espace dont la dimension est égale au
rang de Var(X) : ainsi, lorsque Var(X) n’est pas de rang plein, les vecteurs gaussiens vivent dans
un espace de dimension plus petite (ici, une droite).

Démonstration. On commence par vérifier que Y est un vecteur gaussien standard. Tout d’abord,
Y est bien un vecteur gaussien comme image d’un vecteur gaussien par une transformation affine.
En outre, il est centré puisque E(Y ) = ∆ ˜ −1/2 Ṽ > E(X − E(X)) = 0, et on calcule sa variance :
 
Var(Y ) = Var ∆ ˜ −1/2 Ṽ > (X − E(X)) (définition de Y )
 
= Var ∆ ˜ −1/2 Ṽ > X (invariance de la variance par translation)
˜ −1/2 Ṽ > Var (X) Ṽ ∆
=∆ ˜ −1/2 (déf. de la variance et linéarité de l’espérance).
Par définition, on a la décomposition par bloc
˜ 0
 
∆


∆= et V = Ṽ V̂ avec V̂ = Vr+1 ··· Vn
0 0
et donc
˜
   >

∆ 0 Ṽ ˜ Ṽ >
Var(X) = V ∆V > = Ṽ V̂ = Ṽ ∆
0 0 V̂ >
ce qui donne
˜ −1/2 Ṽ > Ṽ ∆
Var(Y ) = ∆ ˜ Ṽ > Ṽ ∆
˜ −1/2 = Id .
On a donc bien montré que Y est un vecteur gaussien standard, et il reste à montrer que X = W Y +
E(X) avec Im(W ) = I. On a bien Im(W ) = I : en effet, ∆ ˜ étant inversible on a Im(W ) = Im(Ṽ )
qui est l’espace engendré par ses colonnes (V1 , . . . , Vr ), qui est bien I. Enfin, on calcule
˜ 1/2 ∆
W Y = Ṽ ∆ ˜ −1/2 Ṽ > (X − E(X)) = Ṽ Ṽ > (X − E(X)).

Pour x ∈ Im(Var(X)), on a Ṽ Ṽ > x = x ce qui donne le résultat puisque X ∈ I presque sûrement

par le Théorème 4.4. 

78
 4.4. DÉFINITION STANDARD

4.3.3 Absolue continuité

Corollaire 4.6. Si Var(X) n’est pas inversible, alors X n’est pas absolument continue.
Démonstration. Si X ∈ Rn est absolument continue, alors d’après la Remarque 2.4 on a P(X −
E(X) ∈ E) = 0 pour tout espace vectoriel de dimension dim(E) < n. Puisque P(X − E(X) ∈
Im(Var(X))) = 1 d’après le Théorème 4.4, il s’ensuit que dim(Im(Var(X))) = n lorsque X est
absolument continue. 
Le Théorème 4.5 implique que la réciproque est vraie, et on peut alors calculer la densité de X.
Théorème 4.7. Soit X un vecteur gaussien. Si Var(X) est inversible, alors X est absolument
continue et sa densité est donnée par
 
1 1
fX (x) = p exp − (x − E(X))> Var(X)−1 (x − E(X)) , x ∈ Rn .
(2π)n det(Var(X)) 2

Démonstration. Lorsque r = n, le Théorème 4.5 implique que Y = ∆−1/2 V > (X − E(X)) est un
vecteur gaussien standard en dimension n, et que X = V ∆1/2 Y + E(X). Puisque Y est absolument
continue et que l’application x 7→ ∆−1/2 V > x+E(X) est infiniment différentiable et que son jacobien
vaut ∆−1/2 V > , le Théorème 2.14 montre que X est absolument continue et que
   
fX (x) = fY ∆−1/2 V (x − E(X)) det ∆−1/2 V > .

D’un côté, la formule (4.1) implique que

 

−1/2
 1 1 > −1/2 −1/2 >
fY ∆ V (x − E(X)) = exp − (x − E(X)) V ∆ ∆ V (x − E(X))
(2π)n/2 2
 
1 1 > −1
= exp − (x − E(X)) Var(X) (x − E(X))
(2π)n/2 2
et d’un autre côté, puisque V est unitaire on
 
−1/2
det ∆−1/2 V > = |det (∆)| = det(Var(X))−1/2 .

Cela prouve le résultat. 

Dans le cas standard, les courbes d’iso-densité sont des cercles : dans le cas général, ce sont donc
des ellipses de la forme {x : (x − E(X))> Var(X)−1 (x − E(X)) = c}.

4.4 Définition standard

La caractéristation suivante d’un vecteur gaussien comme unique vecteur dont toute combinaison
linéaire des coordonnées suit une loi normale sur R est très importante d’un point de vue conceptuel
et est par ailleurs généralement prise comme définition d’un vecteur gaussien.
Théorème 4.8. X ∈ Rn est un vecteur gaussien si et seulement si pour tout t ∈ Rn , t> X suit une
loi normale sur R.
Démonstration. Soit X un vecteur gaussien : on peut donc écrire X = M Y + µ comme dans la
Définition 4.2, si bien que t> X = t> M Y + t> µ. Pour montrer que t> X suit une loi normale, il suffit
de montrer que sa fonction caractéristique est celle d’une loi normale donnée par (2.7). En utilisant
la proposition précédente, on calcule
 
iat> X > 1 2 > >
ϕt> X (a) = E(e ) = ϕX (at ) = exp − a t Var(X)t + iat E(X)
2

79
CHAPITRE 4. VECTEURS GAUSSIENS

4
1
2
0.5
0
0
−5 5 −2

0 0 −4
5 −5 −4 −2 0 2 4
(a) Vue de profil. (b) Vue de haut.

Figure 4.3.3 – Densité de la loi normale sur R2 de moyenne E(X) = ( 12 ) et de variance Var(X) =
( 12 11 ) vue de deux angles différents. Pour revenir à la loi normale standard, il faut opérer une rotation
et dilater les axes, ce qui correspond exactement au Théorème 4.5.

et donc ϕt> X est bien de la forme attendue. Pour montrer la réciproque, on suppose que pour tout
t ∈ Rn , t> X suit une loi normale sur R : en particulier, la Proposition (2.7) montre que
 
> 1
E(eit X ) = ϕt> X (1) = exp − Var(t> X) + iE(t> X) .
2

Par linéarité de l’espérance et définition de la variance, E(t> X) = t> E(X) et

Var(t> X) = E(t> (X − E(X))(X − E(X))> t) = t> E((X − E(X))(X − E(X))> )t = t> Var(X)t

et donc  
it> X 1 > >
E(e ) = exp − t Var(X)t + it E(X) .
2
>
Puisque E(eit X ) = ϕX (t) et que le membre de droite est la fonction caractéristique du vecteur
gaussien de moyenne E(X) et de matrice de covariance Var(X), cela montre bien que X est un
vecteur gaussien. 

4.5 Espérance conditionnelle

De manière générale, E(X2 | X1 ) = h(X1 ) avec h une fonction mesurable. Dans le cas où (X1 , X2 )
est un vecteur gaussien avec Var(X1 ) inversible, le résultat suivant montre que h est tout simplement
une fonction affine.
Théorème 4.9. Soit X = (X1 , X2 ) un vecteur gaussien tel que X1 est absolument continu. Alors

E(X2 | X1 ) = E(X2 ) + Cov(X2 , X1 )Var(X1 )−1 (X1 − E(X1 )) .

En particulier, E(X2 | X1 ) est un vecteur gaussien de matrice de moyenne E(X2 ) et de matrice de

covariance Cov(X2 , X1 )Var(X1 )−1 Cov(X1 , X2 ).
Démonstration. Soit Yi = Xi − E(Xi ) pour i = 1, 2 : afin de montrer le résultat, il suffit de montrer
que E(Y2 | Y1 ) = Cov(Y2 , Y1 )Var(Y1 )−1 Y1 , ce qui nous permet donc de nous ramener au cas centré.

80
 4.6. INDÉPENDANCE DES MOYENNE ET VARIANCE EMPIRIQUES, LOI DU χ2 ET LOI
DE STUDENT

Pour cela, l’idée est de chercher une matrice M telle que Y2 − M Y1 et Y1 soient indépendants.
Puisque (Y2 − M Y1 , Y1 ) est un vecteur gaussien (comme transformation linéaire du vecteur gaussien
(Y1 , Y2 )), il suffit d’annuler la covariance entre Y2 − M Y1 et Y1 pour qu’ils soient indépendants : il
s’agit donc de résoudre
0 = Cov(Y2 − M Y1 , Y1 ) = E (Y2 − M Y1 )Y1> = Cov(Y2 , Y1 ) − M Var(Y1 ).
 

Puisque Var(Y1 ) est inversible, il suffit de prendre M = Cov(Y2 , Y1 )Var(Y1 )−1 . On définit alors
Z = Y2 − M Y1 : alors Y2 = M Y1 + Z et donc
E(Y2 | Y1 ) = E(M Y1 | Y1 ) + E(Z | Y1 ).
On a E(M Y1 | Y1 ) = M Y1 et E(Z | Y1 ) = E(Z) puisque Z et Y1 sont indépendants, cf. Proposi-
tion 1.30. Puisque E(Z) = 0 on obtient bien le résultat. 
Ce résultat a de nombreuses conséquences. On notera par exemple la formule élégante suivante.
Corollaire 4.10. Si (X1 , X2 , X3 ) est un vecteur gaussien, que E(X1 ) = 0 et que X2 et X3 sont
indépendants et absolument continus, alors
E (X1 | X2 , X3 ) = E (X1 | X2 ) + E (X1 | X3 ) .
Démonstration. Une première preuve consiste à utiliser le Théorème 4.9 puis effectuer des calculs
matriciels. On propose ici une preuve géométrique.
On suppose sans perte de généralité que E(X2 ) = E(X3 ) = 0 et on définit Vect(Z) = {AZ : A ∈
Rn1 ×d } pour n’importe quelle variable aléatoire Z de dimension d, et où ni est la dimension de Xi .
De manière générale, E(X1 | X2 , X3 ) est la projection orthogonale de X1 sur l’espace engendré par
(X2 , X3 ), i.e., sur l’espace {h(X2 , X3 ) : h : Rn2 +n3 → Rn1 mesurable}, cf. Section 1.7.5. Dans le cas
de vecteurs gaussiens, le Théorème 4.9 montre qu’en fait, on peut se restreindre à la projection sur
l’espace engendré par les transformations linéaires de (X2 , X3 ), i.e., on projette X1 sur Vect(X2 , X3 ).
L’indépendance et le fait que X2 et X3 sont centrées impliquent alors que Vect(X2 , X3 ) = Vect(X2 )⊕
Vect(X3 ) ce qui donne le résultat : de manière générale, la projection orthogonale d’un élément sur
l’union directe de deux espaces orthogonaux est égale à la somme des projections orthonogales sur
ces deux sous-espaces. 

4.6 Indépendance des moyenne et variance empiriques, loi

du χ2 et loi de Student
On conclut ce chapitre par un résultat qui joue un rôle prépondérant en statistique. Ce résultat fait
intervenir la loi du χ2 et la loi de Student qui sont deux mesures de probabilité liées aux vecteurs
gaussiens.
Définition 4.3. La loi du χ2 à n ∈ N∗ degrés de liberté est la loi de la variable aléatoire X > X où
X est un vecteur gaussien standard en dimension n.
Derrière tout vecteur gaussien se cache un vecteur gaussien standard, cf. Théorème 4.5. Ainsi, la loi
du χ2 apparaît naturellement comme suit.
Proposition 4.11. Soit X un vecteur gaussien en dimension n tel que Var(X) est inversible. Alors
(X − E(X))> Var(X)−1 (X − E(X)) suit la loi du χ2 à r ∈ N∗ degrés de liberté.
Démonstration. En utilisant les notations du Théorème 4.5, on voit que
(X − E(X))> Var(X)−1 (X − E(X)) = Y > ∆1/2 V 1/2 V > ∆−1 V Var(X)1/2 ∆1/2 Y = Y > Y
ce qui donne le résultat. 

81
CHAPITRE 4. VECTEURS GAUSSIENS

Définition 4.4. La loi de Student à r ∈ N∗ degrés de liberté est la loi de la variable aléatoire
Z
p
Vr /r

où Z est une variable aléatoire normale standard, Vr suit une loi du χ2 à r degrés de liberté et Z et
Vr sont indépendantes.
Il découle directement de ces définitions que si Vr suit la loi du χ2 à r degrés de libertés, alors Vr /r
converge en loi vers un lorsque r → ∞. En particulier, si Sr suit la loi de Student à r degrés de
liberté alors Sr converge en loi lorsque r → ∞ vers la loi normale standard (cf. Propositions 3.10
et 3.11).
Théorème 4.12. Si X1 , . . . , Xn sont n variables aléatoires gaussiennes réelles i.i.d. de moyenne
m ∈ R et de variance σ 2 ∈ R+ , alors les variables aléatoires
n n
1X 2 1 X
2
X̄n = Xk et Sn−1 = Xk − X̄n
n n−1
k=1 k=1

sont indépendantes. Par ailleurs,

• X̄n suit une loi normale sur R, de moyenne m et de variance σ 2 /n ;
2
• (n − 1)Sn−1 /σ 2 suit la loi du χ2 à n−1 degrés de liberté ;
et donc

X̄n − m
n1/2
Sn−1
suit la loi de Student à n − 1 degrés de liberté.

82
 4.7. FICHE DE SYNTHÈSE

4.7 Fiche de synthèse

Loi normale N (m, σ 2 ) sur R
 2

• de densité f : x ∈ R 7→ √1
σ 2π
exp − (x−m)
2σ 2
;
 
σ 2 t2
• de fonction caractéristique ϕ : t ∈ R 7→ exp itm − 2
.

Définition : X = (X1 , . . . , Xn ) est un vecteur gaussien standard en dimension n si les Xi sont i.i.d. et
suivent des lois normales standard N (0, 1).

Définition : X ∈ Rn est un vecteur gaussien s’il existe Y ∈ Rm vecteur gaussien standard, M ∈ Rn×m
et µ ∈ Rn tels que X = M Y + µ, i.e., si X est l’image par une transformation affine d’un vecteur gaussien
standard.

Remarque : En particulier, chaque coordonnée Xi suit une loi normale : par contre la réciproque n’est pas
vraie en général, sauf sous une hypothèse supplémentaire d’indépendance.

Propriété : Si les Xi sont indépendantes de lois normales, alors X est un vecteur gaussien.

Propriété : X est un vecteur gaussien si et seulement si pour tout t ∈ Rn t> X suit une loi normale (sur R).

Densité et fonction caractéristique d’un vecteur gaussien :

• Si Var(X) n’est pas inversible, alors X n’est pas absolument continu.

• Si Var(X) est inversible, alors X est absolument continu, de densité fX où

1 1
 
fX (x) = p exp − (x − E(X))> Var(X)−1 (x − E(X)) .
(2π)d det(Var(X)) 2

où E(X) est le vecteur (E(Xi ))i et Var(X) la matrice de covariance (Cov(Xi , Xj ))i,j .

Propriété : Les Xi sont indépendantes si et seulement si Var(X) est une matrice diagonale.

Conditionnement :
Si X = (X1 , X2 ) est un vecteur gaussien tel que X1 est absolument continu, alors

E(X2 | X1 ) = E(X2 ) + Cov(X2 , X1 )Var(X1 )−1 (X1 − E(X1 )).

En particulier, E(X2 | X1 ) est un vecteur gaussien de matrice de moyenne E(X2 ) et de matrice de covariance
Cov(X2 , X1 )Var(X1 )−1 Cov(X1 , X2 ).

Corollaire : Si (X1 , X2 , X3 ) est un vecteur gaussien tel que E(X1 ) = 0 et que X2 et X3 sont indépendants
et absolument continus, alors

E(X1 | X2 , X3 ) = E(X1 | X2 ) + E(X1 | X3 ).

83
CHAPITRE 4. VECTEURS GAUSSIENS

4.8 Exercices
Les exercices précédés d’une flèche ,→ sont des exercices d’application directe du cours.

,→ Exercice 4.1

1. Soit X = (X1 , X2 , X3 ) le vecteur gaussien centré de matrice de covariance

3 6 2
!
Var(X) = 6 14 3
2 3 6

Calculez E(X3 | X1 , X2 ) à l’aide du Théorème 4.9.

Dans le reste de l’exercice on propose une autre méthode pour calculer cette espérance conditionnelle. On
considère Xn = (X1 , . . . , Xn ) un vecteur gaussien centré.
2. Montrez que pour tout i = 1, . . . , n − 1, on a


E(Xi Xn ) = E Xi E(Xn | X1 , . . . , Xn−1 ) .

3. En déduire un système linéaire de n−1 équations dont la solution permet d’exprimer E(Xn | X1 , . . . , Xn−1 )
comme une combinaison linéaire de X1 , . . . , Xn−1 .
4. Retrouvez le résultat de la première question par cette méthode.

,→ Exercice 4.2 (Coordonnées polaires)

Soient X, Y deux variables aléatoires réelles indépendantes de densité de probabilité fX et fY . On considère
le changement de variables en coordonnées polaires X = R cos(Θ) et Y = R sin(Θ) avec R ∈ [0, ∞) et
Θ ∈ [0, 2π].
1. Calculer en fonction des densités fX et fY la loi de (R, Θ) et en déduire la loi de R.
2. En déduire que si X et Y suivent des lois gaussiennes centrées réduites, alors R et Θ sont indépendantes.

,→ Exercice 4.3 (Loi du χ2 )

Soit X un vecteur gaussien centré en dimension n avec Var(X) inversible : on prouve la Proposition 4.11
d’une manière différente.
1. Montrez que la transformée de Laplace Lr de la loi du χ2 à r degrés de liberté est donnée par
1
Lr (t) = .
(1 + 2t)r/2

2. Utilisez le théorème de transfert pour calculer la transformée de Laplace LX > Var(X)−1 X de X > Var(X)−1 X.

3. Déduisez-en que X > Var(X)−1 X suit une loi du χ2 .

Exercice 4.4
Soit Xi = cos Θi et Yi = sin Θi avec les (Θi ) i.i.d., uniformément réparties dans [0, 2π].
1. Montrez que E(Xi ) = E(Yi ) = E(Xi Yi ) et déduisez-en que Cov(Xi , Yi ) = 0.
2. Montrez que les variables Xi et Yi ne sont pas indépendantes.
3. Soit X̄n = n−1/2 (X1 + · · · + Xn ) et Ȳn = n−1/2 (Y1 + · · · + Yn ). Calculez Cov(X̄n , Ȳn ). Les variables
aléatoires X̄n et Ȳn sont-elles indépendantes ?

84
 4.8. EXERCICES

L
4. Montrez que (X̄n , Ȳn ) →(X∞ , Y∞ ) avec (X∞ , Y∞ ) que l’on identifiera. Justifiez que X∞ et Y∞ sont
indépendantes.

Exercice 4.5
Le but de cet exercice est de prouver le Théorème 4.12. Sans perte de généralité on supposera que m = 0 et
σ 2 = 1.
1. Calculez Cov(X1 + X2 , X1 − X2 ) et déduisez-en le résultat pour n = 2.
On montre maintenant le résultat dans le cas général. Pour cela, 1 = (1, . . . , 1) ∈ Rn , A1 = (1/n)11> la
matrice de taille n × n dont toutes les entrées valent 1/n et A2 = I − A1 avec I la matrice identité de taille
n × n.
2. Montrez que nX̄n2 = X > A1 X et que (n − 1)Sn−1
2
= X > A2 X.
3. Justifiez que l’on puisse écrire A1 = U > ∆U et A2 = U > (I − ∆)U avec U unitaire et ∆11 = 1 et ∆ij = 0
sinon.
4. Montrez que U X est un vecteur gaussien standard et concluez.

85
Deuxième partie

Statistique

87
Chapitre 5

Estimation paramétrique

5.1 Introduction
Afin de motiver le concept d’estimation paramétrique, nous commencerons par discuter un exemple
illustratif simple.

5.1.1 Description informelle

Imaginons la situation concrète suivante. J’ai à ma disposition une pièce de monnaie dont j’aimerais
identifier le biais (= probabilité d’obtenir pile) : comment faire ? Après des discussions endiablées
lors du dernier gala de l’école, mes amis et moi avons convenu de la procédure suivante : je vais jeter
la pièce 103 fois puis je vais enregistrer le nombre de succès, i.e., le nombre de fois où j’aurai obtenu
pile. Si N est ce nombre, alors je considérerai N/103 comme estimation du biais de ma pièce.

5.1.2 Formalisation
Nous passons maintenant à la formalisation de la description ci-dessus. Comme on l’a discuté en
détail au Chapitre 1, l’expérience aléatoire consistant à lancer une pièce de monnaie peut être décrite
par l’espace de probabilités (Ω, F, P) où Ω = {0, 1}, F = P(Ω) et P décrit les caractéristiques
statistiques de la pièce : la probabilité sous P de l’évènement élémentaire {1}, que l’on notera
θ = P({1}), représente la probabilité d’obtenir pile lors de l’expérience aléatoire. Dans l’exemple
précédent, on cherche donc à estimer le paramètre inconnu θ.
Formalisons maintenant la procédure d’estimation proposée ci-dessus : jeter n fois la pièce (n = 103
dans l’exemple ci-dessus) correspond à considérer n variables aléatoires X1 , . . . , Xn de même loi P
et indépendantes, et le nombre de fois où l’on a obtenu pile, noté Nn , est donc donné par
n
X
Nn = 1 {Xk = 1} .
k=1

Puisque les variables aléatoires (1 {Xk = i} , k ∈ N∗ ) sont i.i.d., intégrables et de moyenne θ, la loi
p.s.
des grands nombres assure Nn /n → θ et justifie donc d’utiliser N103 /103 comme estimation de θ.
Quant à la question du choix de n = 103 (en pratique, on ne peut pas jeter la pièce une infinité de
fois) c’est une question que l’on considérera dans la section de ce chapitre dédiée aux intervalles de
confiance.

Prenons maintenant un peu de hauteur et définissions Θ = [0, 1]. Ainsi, chaque θ ∈ Θ correspond à
une mesure de probabilité Pθ sur Ω qui n’est rien d’autre que la mesure de Bernoulli de paramètre

89
CHAPITRE 5. ESTIMATION PARAMÉTRIQUE

θ = Pθ ({1}). Dans l’exemple considéré, on connaît parfaitement l’expérience aléatoire mais pas
ses propriétés statistiques : on sait qu’on jette une pièce de monnaie et on connaît donc l’espace
mesurable (Ω, F) mais on ne connaît pas la mesure de probabilité P qui décrit cette expérience. Par
contre, on sait que P fait partie de la famille de mesures de probabilités Pθ indexées par Θ, ce que
l’on notera P ∈ {Pθ : θ ∈ Θ}, et on cherche en fait le “vrai” paramètre θ∗ tel que P = Pθ∗ . On peut
alors résumer le problème de l’estimation paramétrique de la manière suivante :

Parmi la famille {Pθ : θ ∈ Θ}, on cherche le paramètre θ ∈ Θ

qui rend le mieux compte des observations X1 , . . . , Xn .

Le paramètre choisi, noté θ̂n , est appelé un estimateur de θ∗ : θ̂n est donc d’une fonction des
observations X1 , . . . , Xn et l’on notera donc parfois θ̂n = θ̂n (X1 , . . . , Xn ) pour mettre l’accent sur
le fait que

L’estimateur θ̂n est une variable aléatoire.

Dans l’exemple ci-dessus, on a donc fait le choix

Nn
θ̂n(1) =
n
(1) p.s.
qui satisfait θ̂n → θ∗ par la loi forte des grands nombres. Néanmoins, si ce choix est naturel il
n’est pas unique : par exemple, puisque l’on cherche le paramètre θ qui rend le mieux compte des
observations X1 , . . . , Xn , un autre choix naturel est celui qui maximise la probabilité d’obtenir les
valeurs observées :
θ̂n(2) ∈ arg max L(θ; X1 , . . . , Xn )
θ∈Θ

où L(θ; x1 , . . . , xn ) = Pθ (X1 = x1 , . . . , Xn = xn ) pour x1 , . . . , xn ∈ Ω est appelée vraisemblance :

c’est la probabilité, si le biais de la pièce valait θ, d’obtenir (x1 , . . . , xn ) comme résultat des n lancers.
Le but de ce chapitre est de présenter une introduction à la théorie de ces estimateurs : on verra
(1) (2)
par exemple quel est le lien entre les deux estimateurs θ̂n et θ̂n .

5.1.3 Un exemple en dimension d > 1

Dans l’exemple ci-dessus on a considéré un modèle paramétrique en dimension un, i.e., avec Θ ⊂ R.
Par la suite, on considérera le cas général Θ ⊂ Rd . Un exemple naturel est l’estimation du paramètre
d’un dé à 6 faces : dans ce cas, l’ensemble des paramètres Θ est donné par

Θ = (p1 , . . . , p5 ) ∈ [0, 1]5 : p1 + · · · + p5 ≤ 1 .



C’est un sous-ensemble de R5 qui correspond donc à un problème d’estimation en dimension d = 5.

5.2 Définitions et hypothèses

5.2.1 Modèle paramétrique et estimateurs
On considère un espace de probabilité (Ω, F, P), un sous-ensemble mesurable Θ ⊂ Rd pour un certain
d ∈ N∗ et P = {Pθ : θ ∈ Θ} une famille de mesures de probabilités sur Ω : P est appelé modèle
paramétrique. On supposera dans tout ce cours que le modèle est identifiable, c’est-à-dire que
les mesures de probabilité de deux paramètres différents sont différentes :

∀θ, θ0 ∈ Θ : θ 6= θ0 ⇒ Pθ 6= Pθ0 .

90
 5.2. DÉFINITIONS ET HYPOTHÈSES

La mesure de probabilité P représente la “vraie” mesure de probabilité qui rend bien compte de
l’expérience aléatoire à laquelle on s’intéresse, et on suppose que P ∈ {Pθ : θ ∈ Θ}. Puisque le
modèle est identifiable, il existe donc un unique paramètre θ∗ ∈ Θ tel que P = Pθ∗ et le but est de
trouver une bonne estimation de θ∗ (et donc de P). On s’intéressera parfois plus généralement à des
fonctions de θ∗ de la forme g(θP ∗
) : par exemple, on cherchera parfois à estimer la moyenne de P,
donnée dans le cas discret par x xP({x}).
Exemple 5.1. Si on cherche à estimer le paramètre d’une loi exponentielle, on prendra d = 1,
Θ =]0, ∞[ et Pθ la loi exponentielle de paramètre θ ∈ Θ, et donc de moyenne 1/θ.
Si on cherche une variable gaussienne en dimension un, on pourra prendre d = 2, Θ = R × R+ et
Pm,σ avec (m, σ) ∈ Θ la loi de la variable aléatoire gaussienne de moyenne m et de variance σ. On
vérifie aisément que ces deux modèles sont identifiables.
La donnée de base de notre problème est une suite (Xn , n ∈ N∗ ) de variables aléatoires i.i.d. de loi
P, que l’on appellera échantillon : le but est, à partir de cette suite, de construire un estimateur du
paramètre θ∗ qui nous intéresse. Evidemment, on ne connait pas P mais par contre, on connaît les
lois Pθ et l’on sera amené à faire des calculs sous ces mesures de probabilités :

Faire des calculs sous Pθ revient à faire des calculs

en supposant que la loi commune aux Xi est Pθ .

Dans l’exemple introductif, faire des calculs sous Pθ revient donc à faire des calculs en supposant
que le biais de la pièce vaut θ. Par la suite, l’opérateur d’espérance associé à Pθ sera noté Eθ .
Exemple 5.2. Considérons le modèle gaussien à variance connue {Pm : m ∈ R} avec Pm la loi
normale de moyenne m et de variance 1. On a alors par exemple E1 (X1 ) = 1, E2 (X1 ) = 2 et plus
généralement Em (X1 ) = m : cette dernière égalité est à interpréter de la manière suivante : si X1
suit une loi normale de paramètre (m, 1), alors sa moyenne vaut m.
Par la suite, on supposera par simplicité que les Xi sont à valeurs dans R (la généralisation au
cas vectoriel ne posant pas de problème technique majeur), et on notera les vecteurs en gras et
notamment Xn = (X1 , . . . , Xn ) et xn ∈ Rn une réalisation possible de Xn . Enfin, supposera que
pour tout θ ∈ Θ, le second moment de X1 sous Pθ est fini.
Définition 5.1. On appelle statistique toute fonction de (X1 , . . . , Xn ) à valeurs réelle ou vectorielle
indépendante de θ.
Exemple 5.3. Considérons le problème d’estimer la variance σ ∗ d’un échantillon tiré selon une loi
normale de moyenne µ∗ et de variance σ ∗ . Si l’on suppose la moyenne µ∗ connue, alors
n
1X 2
σ̂n2 = (Xk − µ∗ ) (5.1)
n
k=1

est bien une statistique, qui plus est naturelle puisqu’elle converge presque sûrement vers la variance
(σ ∗ )2 par la loi des grands nombres. En revanche, si la moyenne µ∗ est inconnue alors cette variable
aléatoire n’est plus une statistique puisqu’elle fait appel au paramètre inconnu µ∗ .
Définition 5.2. On appelle estimateur toute statistique à valeurs dans Θ.
Cette définition n’est évidemment pas très intéressante puisqu’extrêmement large : ce qui rendra un
estimateur intéressant sont les propriétés qu’il satisfait.
Définition 5.3. Un estimateur θ̂ est sans biais si Eθ (θ̂) = θ pour tout θ ∈ Θ, et une suite d’esti-
mateurs (θ̂n , n ∈ N∗ ) est asymptotiquement sans biais si Eθ (θ̂n ) → θ pour tout θ ∈ Θ.
Définition 5.4. Une suite d’estimateurs (θ̂n , n ∈ N∗ ) est dite convergente si pour tout θ ∈ Θ,
p.s.
θ̂n → θ sous Pθ . Dans ce cas, on dit aussi que θ̂n est fortement consistant.

91
CHAPITRE 5. ESTIMATION PARAMÉTRIQUE

Exemple 5.4. On considère l’exemple du modèle gaussien {Pσ : σ ∈ R+ } à moyenne µ∗ connue, i.e.,
Pσ est la loi normale de moyenne µ∗ et de variance σ 2 : ainsi, σ̂n2 défini par (5.1) est un estimateur
sans biais et convergent de σ 2 .
Puisqu’un estimateur n’est rien d’autre qu’une variable aléatoire, il existe autant de mode de conver-
gence pour les estimateurs que pour les variables aléatoires. Par exemple, une suite d’estimateurs
est :
L
Convergente en loi si θ̂n → θ sous Pθ pour tout θ ∈ Θ ;
P
Convergente en probabilité si θ̂n → θ sous Pθ pour tout θ ∈ Θ (θ̂n est dit consistant) ;
Convergente en moyenne quadratique si Eθ [(θ̂n − θ)2 ] → 0 pour tout θ ∈ Θ.

5.2.2 Existence d’une densité

Dans le reste du cours on supposera que, pour tout θ ∈ Θ, Pθ est soit discrète, soit absolument
continue : dans le second cas, on notera alors fθ sa densité. Pour x ∈ R et θ ∈ Θ on définit alors
p(x; θ) de la manière suivante :
(
Pθ (X = x) dans le cas discret,
p(x; θ) =
fθ (x) dans le cas continu,

et on appellera p( · ; θ) la densité de Pθ (dans le cas absolument continu c’est cohérent avec ce qu’on
a fait au Chapitre 2, et dans le cas discret la théorie de la mesure permettrait de justifier cette
terminologie). Pour xn = (x1 , . . . , xn ) ∈ Rn on notera
n
Y
pn (xn ; θ) = p(xk ; θ)
k=1

qui correspond à la densité du vecteur (X1 , . . . , Xn ) sous Pθ , puisque que les Xk sous sont supposés
i.i.d. sous chaque Pθ .

Lorsque nous aurons des calculs à effectuer nous supposerons par commodité que les mesures de pro-
babilités impliquées sont absolument continues, mais des calculs similaires (en remplaçant intégrale
par somme et densité par loi) marchent dans le cas discret.
Remarque 5.1. Dans ce cours on se limite principalement au cas de la dimension 1 : néanmoins,
tous les résultats et preuves ci-dessous se généralisent aisément à toute dimension, essentiellement
en remplaçant la dérivée première ∂θ par le gradient ∇θ et la dérivée seconde ∂θ2 par la matrice
hessienne ∇2θ .

5.3 Vraisemblance : l’estimation paramétrique comme un pro-

blème inverse de probabilités
Le problème d’estimation paramétrique tel qu’on l’a présenté ci-dessus est d’une certaine manière
le dual des questions de probabilité qu’on s’est posées dans la première partie du cours. On peut
caricaturer les deux approches de la manière suivante :
Point de vue probabiliste : étant donné une loi de probabilité P, des variables aléatoires générées
selon P vont-elles satisfaire certaines propriétés de régularité malgré le hasard inhérent ? Par
exemple, la loi des grands nombres qui assure que, sous P, la moyenne empirique converge vers
la moyenne met un peu d’ordre dans le chaos.

92
 5.4. MODÈLE RÉGULIER, VECTEUR DU SCORE ET INFORMATION DE FISHER

Point de vue statistique : étant donné des observations X1 , . . . , Xn , quelle loi de probabilité
explique le mieux ces données ?
Ainsi, si en probabilités on part de P et on s’intéresse aux propriétés satisfaites par une suite i.i.d., en
statistique on effectue la démarche inverse : la suite X1 , . . . , Xn est donnée, ce sont les observations
dont on va se servir pour retrouver P. Ce changement radical de point de vue justifie d’utiliser une
terminologie différente comme dans le cas de la vraisemblance.

Définition 5.5. La vraisemblance L est la fonction définie par

L : (θ, x) ∈ Θ × Rn 7→ L(θ; x) = pn (x; θ).

On s’accommodera du léger abus de notation du fait que la vraisemblance dépend de la taille n

de l’échantillon. On notera par ailleurs que, pour θ fixé, la vraisemblance n’est rien d’autre que la
densité de Xn sous Pθ .
Cette terminologie traduit le changement de point de vue entre probabilités et statistique : en
probabilités, le paramètre θ est fixe et l’on s’intéresse à la probabilité d’obtenir un résultat donné,
l’accent est donc mis sur les réalisations x possibles. En statistique en revanche, le point de vue est
renversé : les données sont ce qu’elles sont, par contre on peut jouer sur le paramètre de la loi de
probabilité pour voir son influence sur la probabilité d’observer ces données. Ainsi,

L(θ; x) est la vraisemblance que le paramètre θ explique les observations x.

5.4 Modèle régulier, vecteur du score et information de Fi-

sher
Pour g : (x, θ) ∈ R × Θ 7→ g(x; θ) ∈ R on note par la suite ∂θ g(x; θ) et ∂θ2 g(x; θ) ses dérivées partielle
du premier et du second ordre en θ, à x fixé, lorsqu’elles sont bien définies. On réunit ici plusieurs
hypothèses qui seront fréquemment invoquées :
(H1) le support des lois Pθ ne dépend pas de θ, i.e., l’ensemble {x ∈ R : p(x; θ) > 0} ne dépend pas
de θ ;
(H2) pour tout x ∈ R, θ ∈ Θ 7→ p(x; θ) est deux fois différentiable ;
(H3) dans tous les cas rencontrés, on peut intervertir intégrale (ou somme) et dérivation.
Il s’ensuit par exemple de cette dernière hypothèse que, dans le cas absolument continu,
Z
∂θ p(x; θ)dx = 0. (5.2)

En effet, puisque l’on peut intervertir intégrale et dérivation, on a

Z Z
∂θ p(x; θ)dx = ∂θ p(x; θ)dx
R
et puisque p( · ; θ) à θ fixé est une densité de probabilité, la fonction θ 7→ p(x; θ)dx est constante
(et prend la valeur 1) et sa dérivée est donc nulle.

Définition 5.6. Lorsque l’hypothèse (H2) est satisfaite, le vecteur Vn (θ) = ∂θ ln pn (Xn ; θ) est
appelé vecteur du score de Xn .

On considère alors une quatrième hypothèse :

(H4) pour tout θ ∈ Θ, V1 (θ) est de carré intégrable sous Pθ .

93
CHAPITRE 5. ESTIMATION PARAMÉTRIQUE

Définition 5.7. Si Θ est un ouvert et que les quatre hypothèses (H1)–(H4) sont satisfaites, le
modèle P est dit régulier.
Lorsque le modèle est régulier, la variance du vecteur du score est bien définie : cette variance est
appelée information de Fisher. L’information de Fisher apparaît dans la borne de Fréchet–Darmois–
Cramer–Rao (Théorème 5.5 ci-dessous) et joue plus généralement un rôle important en théorie de
l’information.
Définition 5.8. Lorsque le modèle est régulier, la variance de V1 (θ) est appelée information de
Fisher et est notée I(θ) = Varθ (V1 (θ)).
Proposition 5.1. Si le modèle est régulier, alors l’information de Fisher est donnée par

I(θ) = −Eθ ∂θ2 ln p(X1 ; θ) .

Démonstration. On montre d’abord que V1 (θ) est centrée. On a

Z Z
Eθ (V1 (θ)) = Eθ (∂θ ln p(X1 ; θ)) = p(x; θ)∂θ ln p(x; θ)dx = ∂θ p(x; θ)dx = 0

où la deuxième égalité vient de ∂θ p = p/∂θ p, et la dernière égalité suit de (5.2). Cela montre
que V1 (θ) est centrée, et on montre maintenant la formule pour l’information de Fisher. Puisque
∂θ p = p∂θ ln p, (5.2) se réécrit Z
0= ∂θ ln p(x; θ)p(x; θ)dx

et on obtient donc en dérivant par rapport à θ

Z Z
2
0 = ∂θ2 ln p(x; θ)p(x; θ)dx + (∂θ ln p(x; θ)) p(x; θ)dx.

Le premier terme du membre de droite est égal à E(∂θ2 ln p(X1 ; θ)) et le second terme à E((∂θ ln p(X1 ; θ))2 ) =
E(V1 (θ)2 ) = Var(V1 (θ)) = I(θ), ce qui prouve bien le résultat. 

5.5 Estimateurs classiques

Chaque problème d’estimation paramétrique, lié à un modèle paramétrique donné, doit en général
se résoudre de manière ad hoc. Il existe néanmoins deux grandes familles d’estimateurs universels
que nous présentons maintenant : l’estimateur du maximum de vraisemblance et l’estimateur d’une
moyenne.

5.5.1 Estimateur du maximum de vraisemblance

On considère le modèle paramétrique {P0,1 , P0,9 } où Pp est la loi de Bernoulli de paramètre p ∈ [0, 1] :
en d’autres termes, on cherche à estimer le biais d’une pièce sachant que le biais (= probabilité
d’obtenir pile) vaut soit 0,1, soit 0,9. Si l’on ne dispose du résultat que d’un seul lancer et que l’on
a observé pile, quelle est la meilleure décision à prendre ?
• Si le biais valait 0,1, la probabilité d’obtenir pile aurait été de 0,1 ;
• Si le biais valait 0,9, la probabilité d’obtenir pile aurait été de 0,9.
Intuitivement, on opte donc pour la deuxième solution qui explique mieux le résultat obtenu : si
l’on a obtenu pile, c’est probablement que c’était un résultat plus probable. De manière un peu plus
formel, le choix effectué est revenu à

Sélectionner le paramètre qui maximise la probabilité des observations.

94
 5.5. ESTIMATEURS CLASSIQUES

Cette approche très naturelle est à la base de l’estimation par maximum de vraisemblance.
Définition 5.9. On suppose que pour x ∈ Rn fixé, la fonction θ ∈ Θ 7→ L(θ; x) admet un unique
maximum. Alors l’estimateur
θ̂n = arg max L(θ; Xn )
θ∈Θ
est appelé l’estimateur du maximum de vraisemblance de θ∗ .
Le résultat suivant est un résultat préliminaire qui sera complété avec le Théorème 5.6 lorsque nous
aurons vu la notion d’efficacité.
Théorème 5.2. Si le modèle est régulier, identifiable et que certaines hypothèses techniques sont
satisfaites, alors l’estimateur du maximum de vraisemblance est convergent en loi.
Par exemple, dans le cas à densité (p(x; θ) = fθ (x) densité de probabilité), les hypothèses tech-
niques suivantes garantissent la convergence de l’estimateur du maximum de vraisemblance (voir
par exemple le Théorème 5.7 et l’exercice 5.27 de [2] et noter que la fonction de θ ci-dessous est
uniquement maximisée en θ∗ ) :
1. Θ est compact ;
R
2. θ 7→ fθ∗ (x) ln fθ (x)dx est continue.
Ces hypothèses sont suffisantes mais pas forcément nécessaires, et on peut par exemple avoir la
convergence de l’estimateur du maximum de vraisemblance même si Θ n’est pas compact.

Pour calculer
Qn l’estimateur du maximum de vraisemblance en pratique, on utilisera le fait que
L(θ; x) = k=1 L(θ; xk ) par indépendance. A cause de cette forme produit, il sera aussi souvent plus
facile de maximiser le logarithme ln L de la vraisemblance – appelé log-vraisemblance – plutôt que
la vraisemblance elle-même : puisque la fonction ln est croissante ces deux problèmes d’optimisation
sont équivalents.
Exemple 5.5. Considérons le modèle paramétrique gaussien {Pm : m ∈ R} avec Pm la loi normale
de moyenne m et de variance σ 2 connue. Pour x ∈ Rn on a alors
n n
(xk − m)2
 
Y 1 1 X n
ln L(m; x) = ln exp − = − (xk − m)2 − ln(2πσ 2 )
σ(2π)1/2 2σ 2 2σ 2 2
k=1 k=1

et donc
n n
∂L 1 X 1X
(m; x) = 0 ⇐⇒ − 2 (m − xk ) = 0 ⇐⇒ m = xk .
∂m σ n
k=1 k=1
Ainsi, l’estimateur du maximum de vraisemblance est donné par
n
1X
θ̂n = Xk .
n
k=1

Exemple 5.6. Considérons le modèle paramétrique exponentiel {Pλ : λ ∈ R+ } avec Pλ la loi expo-
nentielle de paramètre λ. Pour x ∈ Rn+ on a alors
n
X n
X
ln λe−λxk = n ln λ − λ


ln L(λ; x) = xk
k=1 k=1

et donc
n
∂L n X n
(λ; x) = 0 ⇐⇒ − xk = 0 ⇐⇒ λ = Pn .
∂λ λ k=1 xk
k=1
Ainsi, l’estimateur du maximum de vraisemblance est donné par
n
θ̂n = Pn .
k=1 Xk

95
CHAPITRE 5. ESTIMATION PARAMÉTRIQUE

Remarque 5.2. Il est très important de ne pas confondre x ∈ Rn , un nombre déterministe qui
représente une réalisation potentielle de la variable aléatoire Xn , et la variable aléatoire Xn elle-
mê[Link], dans l’exemple ci-dessus on a fait les calculs avec x et l’on a trouvé comme
Pn maximiseur
n
(1/n) Pk=1 xk , mais l’estimateur du maximum de vraisemblance est bien (1/n) k=1 Xk et non
n
(1/n) k=1 xk .

5.5.2 Estimateur de la moyenne (et donc de la variance)

On présente maintenant des estimateurs très naturels, dont la justification repose sur la loi forte des
grands nombres.

Estimateur de la moyenne

Si l’on veut estimer la moyenne de P, un estimateur très naturel est donné par la moyenne empirique
n
1X
X̄n = Xk .
n
k=1

La linéarité de l’espérance nous assure que X̄n est sans biais, et la loi forte des grands nombres
garantit que X̄n est un estimateur convergent de la moyenne. En outre, la moyenne empirique est
parfois égale à l’estimateur du maximum de vraisemblance comme le montre l’exemple 5.5.

Estimateur de la variance à moyenne connue

Par définition, la variance de X est donnée par Var(X) = E((X − m)2 ) avec m = E(X) : ainsi,
estimer la variance revient à estimer la moyenne de la variable aléatoire (X − m)2 et si la moyenne
m est connue, on peut donc appliquer la méthode ci-dessus.

Estimateur de la variance à moyenne inconnue

En revanche, si la moyenne est inconnue l’estimateur de la variance empirique

n
1X
(Xk − m)2
n
k=1

n’est plus acceptable. L’idée est alors de remplacer la moyenne m par son estimation X̄n , ce qui
nous mène à l’estimateur suivant :
n
2 1 X
2
Sn−1 = Xk − X̄n .
n−1
k=1

La justification de la division par n − 1 réside dans le résultat suivant.

2
Proposition 5.3. Sn−1 est un estimateur sans biais de la variance.
2
Démonstration. Il s’agit de montrer que E(Sn−1 ) = Var(X1 ) et puisque

n
!
2 1 X n
(Xk − X̄n )2



E Sn−1 =E = Var X1 − X̄n
n−1 n−1
k=1

96
 5.6. ESTIMATEURS EFFICACES

(en utilisant par symétrie que les Xk − X̄n ont même loi 1 ) il suffit de montrer l’identité Var(X1 −
X̄n ) = (n − 1)Var(X1 )/n. Par définition de X̄n on a
n
! n
!

n−1 1X (n − 1)2 1 X
Var X1 − X̄n = Var X1 − Xk = Var(X1 ) + 2 Var Xk
n n n2 n
k=2 k=2
Pn
en utilisant pour la dernière égalité le fait que X1 et k=2 Xk sont indépendantes, et puisque
Var(X2 + · · · + Xn ) = (n − 1)Var(X1 ) puisque les variables X2 , . . . , Xn sont i.i.d. on obtient bien le
résultat. 
2
Proposition 5.4. Sn−1 est un estimateur convergent de la variance.
Démonstration. On calcule !
n
2 n 1X 2
Sn−1 = Xk − X̄n2
n−1 n
k=1
et le résultat suit donc d’une double application de la loi forte des grands nombres, qui donne
2 p.s. 2 p.s.
1
Pn 2 2
n k=1 Xk → E(X1 ) et X̄n → E(X1 ) . 

5.6 Estimateurs efficaces

Dans cette section on cherche à quantifier la performance d’un estimateur. La borne de Fréchet–
Darmois–Cramer–Rao établit une borne inférieure générale qui mène alors naturellement à la défi-
nition d’efficacité : un estimateur est efficace s’il atteint cette borne.

5.6.1 De l’importance de la variance

La variance quantifie la vitesse à laquelle l’estimateur θ̂n converge. D’une part, la Proposition 3.5
montre que, pour un estimateur sans biais, il suffit de montrer que sa variance tend vers 0 pour
garantir que l’estimateur converge en probabilités.
Exemple 5.7. On considère le modèle paramétrique exponentiel où l’on choisit comme paramètre la
moyenne de la loi exponentielle (et non son paramètre comme dans l’exemple 5.6) :
Θ =]0, ∞[ et P = {Pθ : θ ∈ Θ} avec Pθ la loi exponentielle de paramètre θ−1 .
Puisque Eθ (X1 ) = θ et Varθ (X1 ) = θ2 , on a
1 θ2
Eθ (θ̂n ) = Eθ (X1 ) = θ et Varθ (θ̂n ) = Varθ (X1 ) = −→ 0
n n n→∞
P
et donc la Proposition 3.5 implique que θ̂n → θ (sous Pθ , pour tout θ ∈ Θ).
De manière plus fine, la vitesse à laquelle la variance tend vers 0 quantifie la vitesse à laquelle θ̂n
converge. Pour formaliser cela, on considère la distance en moyenne quadratique, donnée par la
norme L2 (Ω, Pθ ) : pour une variable aléatoire Y ,
p
kY k2,θ = Eθ (Y 2 ).

Cette distance contrôle la vitesse de convergence de θ̂n vers θ via l’inégalité de Bienaymé–Tchebychev
(Théorème 1.15) qui nous dit que
  kθ̂n − θk2
2,θ
Pθ kθ̂n − θk2,θ ≥ ε ≤ .
ε2
1. Attention : ces variables ne sont pas indépendantes à cause de la corrélation induite par X̄n !

97
CHAPITRE 5. ESTIMATION PARAMÉTRIQUE

Dans le cas d’un estimateur sans biais, cette distance est égale à la variance θ̂n :
 2 
2
kθ̂n − θk2,θ = Eθ θ̂n − θ = Var(θ̂n )

et l’inégalité précédente se réécrit donc

  Var(θ̂ )
n
Pθ kθ̂n − θk2,θ ≥ ε ≤ .
ε2
 
Ainsi, plus la variance tend vite vers 0 et plus la probabilité Pθ kθ̂n − θk2,θ ≥ ε tend vite vers 0.

Parmi tous les estimateurs sans biais de θ

on cherchera ceux de plus petite variance.

Si l’on autorise un biais, alors on a

h i2
Eθ [(θ̂n − θ)2 ] = Eθ [(θ̂n − Eθ (θ̂n ) + Eθ (θ̂n ) − θ)2 ] = Varθ (θ̂n ) + Eθ (θ̂n ) − θ

et la vitesse de convergence dépend à la fois de la vitesse à laquelle Varθ (θ̂n ) → 0, mais aussi à
laquelle Eθ (θ̂n ) → θ.

5.6.2 Borne de Fréchet–Darmois–Cramer–Rao

Le Théorème 5.5 ci-dessous donne une borne inférieure générale sur la variance d’un estimateur sans
biais, appelée borne de Fréchet–Darmois–Cramer–Rao, qui permet donc d’évaluer la vitesse
de convergence d’un estimateur.
Théorème 5.5 (Borne de Fréchet–Darmois–Cramer–Rao). Si le modèle est régulier, que I(θ) > 0
et que θ̂n est un estimateur de carré intégrable et sans biais de θ, alors
1
Varθ (θ̂n ) ≥ I(θ)−1 .
n
R
Démonstration. Puisque θ̂n est sans biais, on a θ = Eθ (θ̂n ) = θ̂n (x)pn (x; θ)dx et en dérivant par
rapport à θ, il vient donc Z
1 = θ̂n (x)∂θ pn (x; θ)dx.

Puisque ∂θ pn = pn ∂θ ln pn , l’égalité précédente se réécrit 1 = Eθ (θ̂n Vn (θ)). Puisque les Xk sont

indépendantes, on remarque que
n
X
Vn (θ) = ∂θ ln p(Xk ; θ)
k=1

et Vn (θ) est donc centré puisque V1 (θ) l’est. En particulier,

   
1 = Eθ θ̂n Vn (θ) = Eθ (θ̂n − θ)Vn (θ)

et donc l’inégalité de Cauchy–Schwarz (Théorème 1.16) donne

1 ≤ Varθ (θ̂n )Varθ (Vn (θ)).

On conclut finalement en notant que Vn (θ) est égale à la somme de n variables i.i.d. distribuées
comme V1 (θ), et donc Varθ (Vn (θ)) = nVarθ (V1 (θ)) = nI(θ). 

98
 5.6. ESTIMATEURS EFFICACES

Remarque 5.3. Dans le cas général d ≥ 1, il faut remplacer l’hypothèse I(θ) > 0 par l’hypothèse
I(θ) inversible.
Cette borne donne lieu à la définition d’efficacité.
Définition 5.10. Un estimateur sans biais θ̂n est efficace si Varθ (θ̂n ) = (nI(θ))−1 , et asympto-
tiquement efficace si nVarθ (θ̂n ) → I(θ)−1 .
Exemple 5.8. On continue l’exemple 5.7 du modèle paramétrique exponentiel – paramétré par la
moyenne – pour lequel p(x; θ) = θ−1 e−x/θ 1 {x ≥ 0}. Ainsi, ln p(x; θ) = − ln θ − x/θ ce qui donne
∂θ2 ln p(x; θ) = θ−2 − 2xθ−3 et donc

2Eθ (X1 ) 1 1
I(θ) = −Eθ ∂θ2 ln p(X1 ; θ) = − 2 = 2.
θ θ θ
Ainsi la borne de Fréchet–Darmois–Cramer–Rao vaut 1/(nI(θ)) = θ2 /n et puisque Varθ (θ̂n ) = θ2 /n
on en déduit que θ̂n est un estimateur efficace de θ.

5.6.3 Normalité asymptotique de l’estimateur du maximum de vraisem-

blance
Le résultat suivant complète le Théorème 5.2 et montre que l’estimateur du maximum de vraisem-
blance est asymptotiquement normal.
Théorème 5.6. Si le modèle est régulier, identifiable et que certaines hypothèses techniques sont
satisfaites, alors pour tout θ ∈ Θ on a, sous Pθ ,
L
n1/2 (θ̂n − θ) −→ X
où X suit une loi normale centrée de variance I(θ)−1 .
Différentes hypothèses techniques sont explicitées dans [2, Théorème 5.39] ou encore [1, Théorème
4.2.2]. Par exemple, dans le cas à densité (p(x; θ) = fθ (x) densité de probabilité), les hypothèses
techniques suivantes, tirées de [1, Théorème 4.2.2], garantissent la normalité asymptotique de l’es-
timateur du maximum de vraisemblance :
1. pour tout x, θ 7→ fθ (x) est trois fois dérivable ;
2. pour tout θ0 ∈ Θ, il existe des fonctions g(x), h(x) et H(x) (qui dépendent possiblement de
θ0 ) telles que pour θ dans un voisinage O(θ0 ) de θ0 , on a
|∂θ fθ (x)| ≤ g(x), ∂θ2 fθ (x) ≤ h(x) et ∂θ3 log fθ (x) ≤ g(x)
et en outre, Z Z
g(x)dx < ∞, h(x)dx < ∞ et Eθ (H(X)) < ∞

pour tout θ ∈ O(θ0 ) ;

3. pour tout θ ∈ Θ,
0 < E[(∂θ fθ (x))2 ] < ∞.

5.6.4 Réduction de la variance et statistique exhaustive

La borne de Fréchet–Darmois–Cramer–Rao fournit une indication de la performance d’un estima-
teur : une question naturelle est de savoir si cette borne est toujours atteignable. Plus généralement,
on s’intéresse dans cette section à la question suivante : comment réduire la variance d’un estima-
teur convergent ? La réponse à cette question repose fondamentalement sur la notion de statistique
exhaustive.

99
CHAPITRE 5. ESTIMATION PARAMÉTRIQUE

Définition 5.11. Une statistique T est dite exhaustive si la loi de X1 sous Pθ ( · | T ) ne dépend
pas de θ.

De manière un peu plus imagée,

T est une statistique exhaustive si elle contient toute l’information sur θ.

L’intérêt d’une statistique exhaustive réside dans le résultat suivant qui montre que pour tout
estimateur θ̂, alors Eθ (θ̂ | T ) est un estimateur de variance plus faible. En fait, le fait que T
soit exhaustive est nécessaire pour que Eθ (θ̂ | T ) soit un estimateur : autrement, cette statistique
dépendrait de θ !
En particulier, on omettra θ de cette notation et on écrira simplement E(θ̂ | T ). On remarque aussi
immédiatement au vu du théorème de l’espérance totale que θ̂ et E(θ̂ | T ) ont le même biais, et
le résultat suivant – qui n’est en fait qu’un cas particulier de l’inégalité de Jensen – montre que la
variance est améliorée en considérant E(θ̂ | T ) à la place de θ̂.

Théorème 5.7 (Théorème de Rao–Blackwell). Si T est une statistique exhausive, alors pour tout
estimateur θ̂ on a h
2 i h
2 i
Eθ E(θ̂ | T ) − θ ≤ Eθ θ̂ − θ .

Démonstration. En considérant
 θ̂ − θ, on
 peut supposer sans perte de généralité que θ = 0 et il faut
2 2
donc montrer que Eθ θ̂ − (E(θ̂ | T )) ≥ 0. La Proposition 1.33 donne

E(θ̂E(θ | T )) = E(E(θ | T )2 )

et donc 
  2 
2 2
Eθ θ̂ − (E(θ̂ | T )) = Eθ θ̂ − E(θ̂ | T )

ce qui prouve le résultat. 

5.7 Régions de confiance

5.7.1 Généralités
Dans les sections précédentes on a construit des estimateurs θ̂n d’un paramètre θ∗ inconnu. Néan-
moins, dans la plupart des cas θ̂n n’est qu’une approximation de θ∗ : dans le cas absolument continu
par exemple on a P(θ̂n = θ∗ ) = 0, et il se pose donc la question de savoir si cette approximation est
bonne.
Pour répondre à cette question à partir des observations X1 , . . . , Xn , on cherche un ensemble
aléatoire Λn ⊂ Θ qui contienne le vrai paramètre θ∗ avec grande probabilité (évidemment, sous
la vraie mesure de probabilité). En d’autres termes, on cherche Λn tel que P(Λn 3 θ∗ ) soit le plus
large possible : on préfèrera noter P(Λn 3 θ∗ ) plutôt que P(θ∗ ∈ Λn ) pour mettre en avant que l’aléa
porte sur Λn et non sur θ∗ . Une généralisation de cette question consiste à chercher, pour chaque
θ ∈ Θ, Λn tel que Pθ (Λn 3 θ) soit large.

Définition 5.12. Soit α ∈ [0, 1]. L’ensemble Λα ⊂ Θ est une région de confiance de niveau
1 − α si Pθ (Λα 3 θ) ≥ 1 − α pour tout θ ∈ Θ.

L’idée de base pour construire des intervalles de confiance, que l’on illustrera sur plusieurs exemples
ci-dessous, peut être résumée de la manière suivante :

100
 5.7. RÉGIONS DE CONFIANCE

Pour construire des intervalles de confiance,

on utilise des statistiques ayant des lois connues
et indépendantes du paramètre à estimer

On illustre cette idée dans la section suivante dans le cas du modèle paramétrique gaussien : dans
ce cas, les statistiques utilisées sont les moyennes et variances empiriques, dont les lois sont données
par le Théorème 4.12.

5.7.2 Intervalles de confiance pour le modèle gaussien

Intervalles de confiance pour la moyenne à variance connue
On fixe σ ∈]0, ∞[ et on considère le modèle paramétrique {Pm : m ∈ R} avec Pm la loi normale
de moyenne m et de variance σ 2 . Alors X̄n = n−1 (X1 + · · · + Xn ) sous Pm suit une loi normale de
moyenne m et de variance σ 2 /n, en particulier on peut vérifier que c’est un estimateur sans biais
et efficace de m. Le problème de cette statistique est que sa loi dépend de la moyenne m que l’on
cherche à estimer, ce qui empêche de calculer la probabilité que X̄n appartienne à un intervalle
donné.
Pour pallier ce problème et se ramener à une loi indépendante de m, il suffit juste de centrer la
variable : en effet, sous Pm la variable aléatoire
n1/2
(X̄n − m)
σ
suit la loi normale standard qui ne dépend plus de m. En particulier, si F est la fonction de répartition
de la loi normale standard, i.e.,
Z x
1 2
F (x) = √ e−y /2 dy,
2π −∞
alors pour tout a+ , a− > 0 on a
n1/2
 
−
Pm −a < (X̄n − m) < a+
= F (a+ ) − F (−a− ).
σ
On remarquera que le membre de gauche, alors qu’il a l’air de dépendre de m, n’en dépend en fait
pas. La relation ci-dessus entraîne le résultat suivant.
Proposition 5.8. Soit F la fonction de répartition de la loi normale standard. Alors pour tout
couple a+ , a− > 0 satisfaisant
F (a+ ) − F (−a− ) = 1 − α, (5.3)
l’intervalle aléatoire
σa− σa+
 
X̄n −1/2
, X̄n + 1/2
n n
est un intervalle de confiance de niveau 1 − α.
Démonstration. Pour montrer le résultat, il s’agit de montrer que
σa− σa+
  
Pm X̄n − 1/2 , X̄n + 1/2 3 m = 1 − α.
n n
Cette probabilité se réécrit
σa− σa+ n1/2 (m − X̄n )
   
Pm X̄n − 1/2 < m < X̄n + 1/2 = Pm −a− < < a+
n n σ
qui est égale à F (a+ ) − F (−a− ) puisque n1/2 (m − X̄n )/σ suit une loi normale standard. 

101
CHAPITRE 5. ESTIMATION PARAMÉTRIQUE

On notera que la condition (5.3) est équivalente à F (a+ )+F (a− ) = 2−α du fait que F (−a) = 1−F (a)
par symétrie de la loi normale standard. Le résultat précédent nous donne une infinité d’intervalles
de confiance. On en distinguera trois particuliers :
L’intervalle de confiance bilatéral symétrique : il s’agit de l’intervalle de confiance mettant
autant de masse à droite qu’à gauche de X̄n , i.e., tel que

σa− σa+
   
1−α
Pθ X̄n − 1/2 < θ < X̄n = Pθ X̄n < θ < X̄n + 1/2 = .
n n 2

Cette contrainte donne alors a+ = a− (par symétrie de la loi normale) et donc (en utilisant la
condition F (a+ ) + F (a− ) = 2 − α, équivalente à (5.3) comme expliqué précédemment)
2−α
F (a+ ) = ⇐⇒ a+ = F −1 (1 − α/2)
2
ce qui donne, pour l’intervalle de confiance bilatéral symétrique,

σF −1 (1 − α/2) σF −1 (1 − α/2)
 
X̄n − , X̄n + ;
n1/2 n1/2

L’intervalle de confiance unilatéral à droite : il s’agit de l’intervalle de confiance mettant le

moins de masse possible à gauche de X̄n . Pour α < 1/2 (cas intéressant en pratique), il convient
donc de prendre a+ = ∞ (qui donne par symétrie de la loi normale une masse 1/2 à droite de
X̄n ) puis a− qui satisfait F (a− ) = 1 − α, ce qui donne finalement l’intervalle

σF −1 (1 − α)
 
X̄n − , ∞ ;
n1/2

L’intervalle de confiance unilatéral à gauche : il s’agit de l’intervalle de confiance mettant le

moins de masse possible à droite de X̄n , et est obtenu par un raisonnement symétrique par
rapport à l’intervalle de confiance unilatéral à droite.
Pour construire les intervalles de confiance ci-dessus on a utilisé la fonction F −1 , l’inverse de la
fonction F : R → [0, 1] qui est continue et strictement croissante : cet inverse apparaît naturellement
au vu de la condition (5.3). Pour toute fonction de répartition continue et strictement croissante,
cet inverse est bien défini et permet de définir les quantiles d’une loi de distribution.

Définition 5.13. Soit F la fonction de répartition d’une loi de probabilité telle que F est continue
et strictement croissante. Pour β ∈ (0, 1), F −1 (β) est appelé quantile d’ordre β de F .

Ainsi, par définition, le quantile d’ordre β est l’unique nombre γ tel que F (γ) = β.

Intervalle de confiance pour la variance à moyenne connue

On fixe maintenant m ∈ R et on considère le modèle paramétrique {Pσ : σ ∈ R+ } avec Pσ la loi
normale de moyenne m fixée et de variance σ 2 . Comme dans le cas précédent, afin de construire un
intervalle de confiance on cherche à se ramener à une loi connue. Puisque la moyenne est connue,
l’estimateur naturel de la variance est donné par
n
1X
σ̂n2 = (Xk − m)2 .
n
k=1

La loi de cette variable aléatoire dépend de σ, mais puisque (Xk −m)/σ suit une loi normale standard,
on voit que nσ̂n2 /σ 2 sous Pσ suit une loi du χ2 à n degrés de liberté et on obtient le résultat suivant.

102
 5.7. RÉGIONS DE CONFIANCE

Proposition 5.9. Soit Gn la fonction de répartition de la loi du χ2 à n degrés de liberté. Alors

pour tout couple a+ > a− > 0 satisfaisant

Gn (a+ ) − Gn (a− ) = 1 − α, (5.4)

l’intervalle aléatoire
nσ̂n2 nσ̂n2
 
, −
a+ a
est un intervalle de confiance de niveau 1 − α.
Démonstration. Pour montrer le résultat il faut montrer que
 2
nσ̂n nσ̂n2
 
2
Pσ , − 3 σ = 1 − α.
a+ a
Pour établir cette égalité, on écrit
 2
nσ̂n nσ̂n2
 2
nσ̂n2 nσ̂n2
    
2 nσ̂n 2 − +
Pσ , − 3 σ = Pσ < σ < − = Pσ a < 2 < a
a+ a a+ a σ
et puisque nσ̂n2 /σ 2 sous Pσ suit une loi du χ2 à n degrés de liberté, on a donc par définition de Gn
nσ̂ 2
 
Pσ a− < 2n < a+ = Gn (a+ ) − Gn (a− )
σ
ce qui donne le résultat. 
Un choix classique pour a+ , a− satisfaisant (5.4) est donné par

a− = G−1 + −1
n (α/2) et a = Gn (1 − α/2),

qui correspond à imposer la condition symétrique supplémentaire Gn (a+ ) + Gn (a− ) = 1.

Intervalle de confiance pour la variance à moyenne inconnue

On considère le même modèle paramétrique que précédemment mais on suppose maintenant que la
moyenne est inconnue. Dans ce cas, l’estimateur de la variance est obtenu en remplaçant la moyenne
par la moyenne empirique : il est donné par
n
2 1 X
2
Sn−1 = Xk − X̄n
n−1
k=1

2
et (n − 1)Sn−1 /σ 2 suit une loi du χ2 à n − 1 degrés de liberté d’après le Théorème 4.12. Ainsi, en
suivant exactement la même démarche que précédemment on obtient le résultat suivant. Comme
dans la Proposition 5.9, Gn désigne la fonction de répartition du χ2 à n degrés de liberté.
Proposition 5.10. Pour tout couple a+ > a− > 0 satisfaisant

Gn−1 (a+ ) − Gn−1 (a− ) = 1 − α,

l’intervalle aléatoire
2 2
(n − 1)Sn−1 (n − 1)Sn−1
 
+
, −
a a
est un intervalle de confiance de niveau 1 − α.
De même que précédemment, une condition symétrique revient à prendre a− = G−1
n−1 (α/2) et
a+ = G−1
n−1 (1 − α/2).

103
CHAPITRE 5. ESTIMATION PARAMÉTRIQUE

Intervalle de confiance pour la moyenne à variance inconnue

On conclut par la construction d’intervalles de confiance pour la moyenne lorsque la variance est
inconnue : on considère donc le modèle paramétrique {Pm,σ : m ∈ R, σ ∈ R+ } avec Pm,σ la loi
normale de moyenne m et de variance σ 2 (on sort donc du cadre de la dimension un considéré dans
le reste du chapitre). Encore une fois, le but est de se ramener à une loi connue : ici, on utilisera le
fait que
X̄n − m
n1/2
Sn−1
sous Pm,σ suit une loi de Student à n − 1 degrés de liberté (cf. Théorème 4.12). Sans surprise, les
intervalles de confiance feront donc appel à la fonction de répartition de la loi de Student.
Proposition 5.11. Soit Hn la fonction de répartition de la loi de Student à n degrés de liberté.
Alors pour tout couple a+ , a− > 0 satisfaisant
Hn−1 (a+ ) − Hn−1 (−a− ) = 1 − α,
l’intervalle aléatoire
Sn−1 a− Sn−1 a+
 
X̄n − 1/2
, X̄n +
n n1/2
est un intervalle de confiance de niveau 1 − α.
Démonstration. Pour montrer le résultat, il s’agit de montrer que
Sn−1 a− Sn−1 a+
  
Pm,σ X̄n − , X̄n + 3 m = 1 − α.
n1/2 n1/2
Cette probabilité se réécrit
Sn−1 a− Sn−1 a+ n1/2 (m − X̄n )
    
− +
Pm,σ X̄n − , X̄n + 3 m = Pm,σ −a < <a
n1/2 n1/2 Sn−1
qui est égale à Hn−1 (a+ ) − Hn−1 (−a− ). 
En utilisant la symétrie de la loi de Student, les intervalles de confiance bilatéraux symétriques sont
donc de la forme
" #
−1 −1
Hn−1 (1 − α/2)Sn−1 Hn−1 (1 − α/2)Sn−1
X̄n − , X̄n + .
n1/2 n1/2

5.7.3 Ellipsoïde de confiance pour les estimateurs asymptotiquement nor-

maux
En ouverture, on considère dans cette section une suite d’estimateurs θ̂n en dimension d ∈ N∗ et
asymptotiquement normaux :
L
n1/2 (θ̂n − θ) → X
où X est un vecteur gaussien centré, et l’on supposera sa matrice de covariance Var(X) connue.
Comme dans la section précédente, le but est de se ramener à une loi connue, ce qui est rendu
possible grâce au résultat de convergence suivant.
Proposition 5.12. Si Var(X) est définie positive, alors la suite de variables aléatoires à valeurs
réelles  
n(θ̂n − θ)> Var(X)−1 (θ̂n − θ), n ∈ N∗

converge en loi vers la loi du χ2 à d degrés de liberté.

104
 5.7. RÉGIONS DE CONFIANCE

L
Démonstration. Puisque n1/2 (θ̂n − θ) → X il s’ensuit que
L
n(θ̂n − θ)> Var(X)−1 (θ̂n − θ) → X > Var(X)−1 X.

et le résultat découle donc de la Proposition 4.11. 

Proposition 5.13. Soit Gn la fonction de répartition de la loi du χ2 à n degrés de liberté : l’ellip-
soïde aléatoire
n o
Λn,α = x ∈ Rd : n(θ̂n − x)> Var(X)−1 (θ̂n − x) ≤ G−1 n (1 − α)

est une région de confiance au niveau asymptotique 1 − α.

Démonstration. Il faut montrer que Pθ (Λn,α 3 θ) → 1 − α. Par définition,
 
Pθ (Λn,α 3 θ) = Pθ n(θ̂n − θ)> Var(X)−1 (θ̂n − θ) ≤ G−1
n (1 − α) .

La proposition précédente implique donc que

Pθ (Λn,α 3 θ) −→ Gn G−1


n (1 − α) = 1 − α,
n→∞

ce qui montre le résultat attendu. 

105
CHAPITRE 5. ESTIMATION PARAMÉTRIQUE

5.8 Fiche de synthèse

Premières définitions

On suppose que P ∈ {Pθ ; θ ∈ Θ} et qu’il existe un unique θ∗ ∈ Θ tel que P = Pθ∗ . Par ailleurs, ou bien
chaque Pθ est absolument continu de densité fθ , ou bien chaque Pθ est discret de loi pθ . Dans tous les cas
on notera p( · ; θ) la loi, discrète ou continue, de Pθ .

• Échantillon de taille n : (X1 , . . . , Xn ) où les Xk sont indépendantes de même loi Pθ .

• Estimateur de θ : variable aléatoire θ̂n de la forme f (X1 , · · · , Xn ) à valeurs dans Θ.

• Estimateur sans biais si Eθ (θ̂n ) = θ ; asymptotiquement sans biais si lim Eθ (θ̂n ) = θ.

n→+∞
p.s.
• Estimateur p.s. convergent si θ̂n → θ quand n → +∞.

• V́raisemblance : L(θ; x) = pn (x; θ) : on met l’accent sur le fait que les observations x sont fixées mais le
paramètre θ varie.

Quelques estimateurs

n
1
P Varθ (X)
• Estimateur de la moyenne (moyenne empirique) : X̄n = n
Xk ; Eθ (X̄n ) = Eθ (X), Varθ (X̄n ) = n
.
k=1

• Estimateur du maximum de vraisemblance : θ̂n = arg max L(θ; Xn )

θ∈Θ
n
Q
où, si ~x = (x1 , · · · , xn ), L(θ; ~
x) = p(xk ; θ) avec
k=1

Pθ (X = xk ) si X est discrète
p(xk ; θ) =
fθ (xk ) si X est absolument continue.

Remarque : θ 7→ L(θ, ~
x) et θ 7→ ln L(θ, ~
x) ayant les mêmes variations, la deuxième expression se prête souvent
mieux à la dérivation.

Rappel de Conditionnement :

• Espérance totale : Si Y admet une espérance, E(Y |X) aussi et alors E(E(Y |X)) = E(Y ) .

• Propriété : E(ψ(X)Y |X) = ψ(X)E(Y |X) pour toute fonction ψ.

• Vecteur gaussien : Si Z = (Z1 , Z2 ) est un vecteur gaussien tel que Z1 est absolument continu, alors

E(Z2 | Z1 ) = E(Z2 ) + Cov(Z2 , Z1 )Var(Z1 )−1 (Z1 − E(Z1 )) .

Définitions et propriétés supplémentaires :

• Information de Fisher : I(θ) = Varθ (∂θ ln p(X1 ; θ)) .

Propriété : Si le modèle est régulier (voir p88), on a aussi I(θ) = −Eθ ∂θ2 ln p(X1 ; θ) .
Théorème 5.2 : Si le modèle est régulier, l’estimateur du maximum de vraisemblance est convergent en loi.
1
Borne de Fréchet–Darmois–Cramer–Rao (Théorème 5.5) : Si le modèle est régulier et I(θ) > 0 alors Varθ (θ̂n ) ≥ nI(θ)
.

1 1
• Estimateur efficace si Varθ (θ̂n ) = nI(θ)
(asymptotiquement si lim nVarθ (θ̂n ) = I(θ)
).
n→+∞

106
 5.8. FICHE DE SYNTHÈSE

Théorème 5.6 : Si le modèle est identifiable et régulier, alors l’estimateur du maximum de vraisemblance est
√ L
asymptotique normal, i.e., pour tout θ, sous Pθ , n(θ̂n − θ) → X de loi normale N (0, 1/I(θ)) .

• Pour α ∈ [0, 1], Λα est une région de confiance de niveau 1 − α si Pθ (θ ∈ Λα ) ≥ 1 − α pour tout θ.
√ √ 
Exemple : Pour N (θ, σ 2 ), X n − σF −1 (1 − α/2)/ n, X n + σF −1 (1 − α/2)/ n , où F est la fonction de

répartition de la loi normale N (0, 1), est l’intervalle de confiance bilatéral symétrique de niveau 1 − α.

107
CHAPITRE 5. ESTIMATION PARAMÉTRIQUE

5.9 Exercices
Les exercices précédés d’une flèche ,→ sont des exercices d’application directe du cours.

,→ Exercice 5.1 (Estimateurs de la moyenne)

Soit X1 , . . . , Xn n variables aléatoires indépendantes de même loi et de carré intégrable.
Pn On s’intéresse dans
cet exercice aux estimateurs θ̂ de la moyenne θ = E(X1 ) qui sont de la forme θ̂n = k=1 ak Xk .

1. Sous quelles conditions sur les coefficients ak l’estimateur θ̂n est-il un estimateur sans biais de la moyenne
E(X1 ) ?
Pn Pn
2. En admettant que (1/n, . . . , 1/n) minimise la somme a2 sous la contrainte
k=1 k
a = 1, montrez
k=1 k
que la moyenne empirique
Pn est un estimateur de la moyenne de variance minimale parmi les estimateurs sans
biais de la forme a X .
k=1 k k
Pn Pn
3. (Facultatif) Montrez que (1/n, . . . , 1/n) minimise la somme k=1
a2k sous la contrainte k=1
ak = 1.

,→ Exercice 5.2 (Estimateur du maximum de vraisemblance)

Calculez l’estimateur du maximum de vraisemblance pour le modèle paramétrique {Pθ : θ ∈ Θ} dans les cas
suivants.
1. Pθ est la loi beta β(1, 1/θ) : fθ (x) = 1
θ
(1 − x)1/θ−1 1 {0 ≤ x ≤ 1}.
x
2. Pθ est la loi de Poisson de paramètre θ : pθ (x) = e−θ θx! pour x ∈ N.
2
3. Pθ est la normale de moyenne m fixée et connue et de variance θ2 : fθ (x) = (2πθ2 )−1/2 exp(− (x−m)
2θ 2
).
4. Pθ est la loi uniforme sur [0, θ] : fθ (x) = θ1 1 {0 ≤ x ≤ θ}.

,→ Exercice 5.3 (Estimateurs de la loi uniforme)

La durée d’un feu rouge est égale à θ∗ , paramètre inconnu strictement positif. On observe un échantillon
T1 , T2 , . . . , Tn de taille n où Ti désigne la durée d’attente du i-ème automobiliste. On suppose que les Ti
sont i.i.d. et suivent une loi uniforme sur [0, θ∗ ].
1. Formulez un modèle paramétrique {Pθ , θ > 0} visant à estimer θ∗ .
2. Calculez Eθ (T1 ) et Varθ (T1 ) et déduisez-en que 2T1 est un estimateur sans biais de θ. Est-il convergent ?
Pn
3. On considère T̄n = (1/n) k=1 Tk la moyenne empirique. Calculez Eθ (T̄n ) et Varθ (T̄n ) et déduisez-en que
(1)
θ̂n = 2T̄n est un estimateur sans biais de θ. Est-il convergent ?
4. Calculez l’estimateur du maximum de vraisemblance Mn .
5. Calculez la loi de Mn sous Pθ et déduisez-en Eθ (Mn ) puis Varθ (Mn ). L’estimateur Mn est-il sans biais ?
convergent ?
6. Quel estimateur choisiriez-vous pour estimer θ∗ ? Justifiez votre réponse.

,→ Exercice 5.4 (Estimateur de la loi de Bernoulli)

On considère une chaîne de production à la sortie de laquelle chaque pièce a une probabilité p∗ d’être
défectueuse, indépendamment les unes des autres.
1. Pour estimer p∗ , on prélève un échantillon de n pièces et on définit Xi la variable aléatoire qui vaut 1 si
la i-ième pièce de l’échantillon est défectueuse et 0 sinon. Formulez un modèle paramétrique adéquat pour
estimer p∗ , calculez l’estimateur du maximum de vraisemblance θ̂ associé ainsi que sa variance.
Indication. On pourra utiliser la formule P(X = x) = px (1 − p)1−x valable pour une variable aléatoire de
Bernoulli de paramètre p.
On répète cette procédure deux fois mais avec des tailles d’échantillon différentes : le premier échantillon
a une taille n1 et le deuxième une taille n2 . On note θ̂(1) l’estimateur du maximum de vraisemblance du
premier échantillon et θ̂(2) celui du second.

108
 5.9. EXERCICES

2. (θ̂(1) + θ̂(2) )/2 est-il un estimateur sans biais de p ? Dans la classe des estimateurs de la forme a1 θ̂(1) +a2 θ̂(2) ,
trouvez par le calcul celui sans biais et de variance minimale.
(i)
3. Retrouvez directement ce résultat à l’aide de l’exercice 1 en considérant Xk = 1 si la k-ième pièce du
i-ième échantillon est défectueuse et 0 sinon.

,→ Exercice 5.5 (Loi de Bernoulli)

Soit Pθ pour θ ∈ [0, 1] la loi de Bernoulli de paramètre θ. On rappelle (cf. Exercice 5.4)
Pnque l’estimateur du
maximum de vraisemblance associé est donné par la moyenne empirique θ̂n = (1/n) k=1 Xk .

1. Calculez le biais et l’erreur quadratique moyenne de θ̂n . Cet estimateur est-il convergent, efficace ?
√
2. Quelle est la limite de n(θ̂n − θ) ? Comparez ce résultat au Théorème 5.6.
3. Pour m ∈ [0, 1] montrez que la fonction

m−p
p ∈ (0, 1) 7→ p
p(1 − p)

est décroissante. Déduisez-en que pour tout a− < a+ et m ∈ [0, 1], l’ensemble
( )
m−p
I(m, a− , a+ ) = p ∈ (0, 1) : a− ≤ p ≤ a+
p(1 − p)
√ √
est un intervalle, puis utilisez la question précédente pour montrer que I(θ̂n , a+ / n, a− / n) est un intervalle
de confiance de niveau asymptotique F (a+ ) − F (a− ).
4. Question bonus. Pour 0 ≤ r ≤ n entiers et α ∈ (0, 1), on considère p1 = p1 (r, n, α) et p2 = p2 (r, n, α) tels
que
n   r  
X n k n−k α X n k α
p1 (1 − p1 ) = et p2 (1 − p2 )n−k = .
k 2 k 2
k=r k=0

Montrez que [p1 (nθ̂n , n, α), p2 (nθ̂n , n, α)] est un intervalle de confiance de niveau 1 − α pour θ. Quel est son
inconvénient ?

Exercice 5.6 (Loi beta)

Soit Pθ pour θ > 0 la loi beta β(1, 1/θ). On rappelle qu’il s’agit de la loi de densité

1
fθ (x) = (1 − x)1/θ−1 1 {x ∈ [0, 1]}
θ
et (cf. Exercice 5.2) que l’estimateur du maximum de vraisemblance associé est donné par
n
X
θ̂n = −(1/n) log(1 − Xk ).
k=1

1. Montrez que − log(1 − Xi ) sous Pθ suit une loi exponentielle : quel est son paramètre ? Déduisez-en sa
moyenne et sa variance.
2. Calculez le biais et l’erreur quadratique moyenne de θ̂n . Cet estimateur est-il convergent, efficace ?
3. Soit Gn la fonction de répartition de la loi Gamma(n, n). Montrez que θ̂n /θ suit une loi Gamma(n, n) et
déduisez-en une famille d’intervalles de confiance au niveau 1 − α pour θ exprimée en fonction de Gn .
Indications. On rappelle que la loi Gamma(n, λ) est la loi de la somme de n variables exponentielles i.i.d. de
paramètre λ, et que si E est une variable exponentielle de paramètre λ alors µE est une variable exponentielle
de paramètre λ/µ.

109
CHAPITRE 5. ESTIMATION PARAMÉTRIQUE

√
4. Montrez que n(θ̂n /θ − 1) sous Pθ converge en loi : quelle est la limite ? Comparez au Théorème 5.6 et
déduisez-en un intervalle de confiance asymptotique.

,→ Exercice 5.7 (Loi uniforme)

Soit Pθ pour θ > 0 la loi uniforme sur [0, θ]. On rappelle (cf. Exercice 5.2) que l’estimateur du maximum de
vraisemblance associé est θ̂n = maxk=1,...,n Xk .
1. Peut-on utiliser la borne de Fréchet–Darmois–Cramer–Rao ? Pourquoi ?
2. Montrez que la loi de θ̂n /θ sous Pθ est égale à la loi le θ̂n sous P1 , et déduisez-en que [θ̂n /a+ , θ̂n /a− ] est
un intervalle de confiance pour θ au niveau 1 − α pour tout a− , a+ satisfaisant an n
+ − a− = 1 − α.

3. Montrez que n(1− θ̂n /θ) sous Pθ converge en loi vers une loi exponentielle dont on identifiera le paramètre,
et utilisez ce résultat pour construire un intervalle de confiance au niveau asymptotique 1 − α.

Problème 5.8 (Statistique bayésienne)

On s’intéresse ici à l’estimation d’une variable aléatoire Θ à valeur dans R à l’aide de mesures bruitées. On
suppose plus précisément que la i-ème observation Xi est donnée par

Xi = Θ + Wi
2
où les Wi sont i.i.d. et suivent une loi normale centrée et de variance σw supposée connue.

1. Montrez que pour toute fonction g : Rn → R mesurable, on a


2 
2 
2 
E g(Xn ) − Θ | Xn = g(Xn ) − E(Θ | Xn ) + E E(Θ | Xn ) − Θ | Xn

et déduisez-en que

2  
2 
E E(Θ | Xn ) − Θ ≤ E g(Xn ) − Θ .
Ce résultat dépend-il de la loi des Wi ? Justifiez la terminologie estimateur des moindres carrés pour E(Θ |
Xn ).
Par la suite, on appelle erreur quadratique moyenne MSE(Θ̂) associée à un estimateur Θ̂ le carré de la
distance L2 entre Θ̂ et Θ : 
2 
MSE(Θ̂) = E Θ̂ − Θ .
Première partie. Dans la première partie du problème, on suppose que Θ = θ0 ∈ R est une variable déter-
ministe (i.e., une constante).
2. Que vaut E(Θ | Xn ) dans ce cas ? E(Θ | Xn ) est-il vraiment un estimateur ?
3. Montrez que l’estimateur du maximum de vraisemblance est égal à la moyenne empirique
n
1X
X̄n = Xk .
n
k=1

X̄n est-il convergent ? quelle est sa limite ?

4. Montrez que son erreur quadratique moyenne est donnée par
2
σw
MSE(X̄n ) = .
n
Cette erreur quadratique moyenne est-elle plus ou moins élevée que l’erreur quadratique moyenne de l’espé-
rance conditionnelle ?
Deuxième partie. Dans la deuxième partie du problème, on suppose que Θ suit une loi normale de moyenne
E(Θ) et de variance Var(Θ) et est indépendante des Wi .
5. Quel est le comportement asymptotique de la moyenne empirique X̄n ?

110
 5.9. EXERCICES

6. Montrez que (Θ, Xn ) est un vecteur gaussien dont la matrice de variance-covariance est donnée par

···
 
Var(Θ) Var(Θ) Var(Θ) Var(Θ)
2
Var(Θ) Var(Θ) + σw Var(Θ) ··· Var(Θ) 
2
Var(Θ) + σw ···
Var(Θ) Var(Θ) Var(Θ)  .

Var((Θ, Xn )) = 
 .
 .. .. .. .. .. 
. . . . 
2
Var(Θ) Var(Θ) Var(Θ) ··· Var(Θ) + σw

7. Déduisez à l’aide du Théorème 4.9 du polycopié que

nVar(Θ)
E(Θ | Xn ) = αn X̄n + (1 − αn )E(Θ) avec αn = 2
.
nVar(Θ) + σw
Indication : Si H est la matrice de taille n dont toutes les entrées valent 1 et I la matrice identité de taille
n aussi, alors pour tout a, b > 0 on a on a (aH + bI)−1 = a0 H + b0 I avec a0 = −a/(b2 + nab) et b0 = 1/b.
8. Sous quelles conditions peut-on se servir de E(Θ | Xn ) comme estimateur ? Interprétez les valeurs de
E(Θ | Xn ) pour n petit et grand.
9. Montrez que l’erreur quadratique moyenne associée à E(Θ | Xn ) est donnée par
2 2
αn σw
MSE(E(Θ | Xn )) = + (1 − αn )2 Var(Θ)
n
et vérifiez que l’on a bien MSE(E(Θ | Xn )) ≤ MSE(X̄n ).
Troisième partie. On suppose toujours que Θ suit une loi normale et est indépendante des Wi mais on ne
connaît ni sa moyenne ni sa variance. On fixe µ ∈ R et une suite an ∈ [0, 1] et l’on considère

Θ̂n = an X̄n + (1 − an )µ.

10. Θ̂n est-il un estimateur de Θ ? à quelle condition est-il convergent ?

11. Montrez que l’erreur quadratique moyenne associée à Θ̂n est donnée par
a2n σw
2
+ (1 − an )2 (E(Θ) − µ)2 + Var(Θ) .
 
MSE(Θ̂n ) =
n

12. Comparez MSE(X̄n ), MSE(E(Θ | Xn )) et MSE(Θ̂n ) : sous quelles conditions sur µ et a a-t-on MSE(Θ̂n ) ≤
MSE(X̄n ) ?
Quatrième partie. On suppose maintenant que n varie dans le temps et que les observations X1 , X2 , . . . ,
sont acquises une par une séquentiellement.
13. Montrez que
 
Var(Θ) Var(Θ)
E(Θ | Xn+1 ) = 1− 2 E(Θ | Xn ) + 2
Xn+1 .
σw + (n + 1)Var(Θ) σw + (n + 1)Var(Θ)

Quel est l’intérêt ce cette formule ?

Problème 5.9
On considère 5 groupes de femmes âgées respectivement de 35, 45, 55, 65 et 75 ans. Dans chaque groupe, on
a mesuré la tension artérielle en mm de mercure de chaque et on a calculé la valeur moyenne pour chaque
groupe. On définit donc les variables :
Afin de visualiser ces données, on fait une représentation cartésienne comme sur la Figure 5.9.1.
Sur le graphique, on constate que la tension artérielle augmente avec l’âge, mais surtout, que cette augmen-
tation semble linéaire puisque les points du graphique sont presque alignés. On considère donc le modèle
suivant pour expliquer cette relation de dépendance :

Ti = α∗ + β ∗ xi + εi

111
CHAPITRE 5. ESTIMATION PARAMÉTRIQUE

160

140

120

40 50 60 70

Figure 5.9.1 – Représentation graphique de la relation entre âge et tension artérielle.

112
 5.9. EXERCICES

T : tension moyenne en mm Hg 114 124 143 158 166

x : âge du groupe considéré 35 45 55 55 75

Table 5.1 – Tableau donnant la tension moyenne en fonction de l’âge du groupe.

où les εi représentent un bruit par rapport au modèle déterministe strictement linéaire. D’un point de vue
technique, on supposera que les εi sont décorrélées, centrées et de même variance σ 2 , i.e., pour tout i 6= j,

E(εi ) = 0, Var(εi ) = σ 2 et Cov(εi , εj ) = 0.

1. Est-on dans le cadre d’application du cours ? Par exemple, le Théorème 5.5 s’applique-t-il ?
On considère l’estimateur des moindres carrés θ̂n = (α̂n , β̂n ) donné par
( n )
X 2
θ̂n ∈ arg min (Ti − α − βxi ) : α, β ∈ R .
i=1

Pour x et t deux vecteurs de longueur n, on définit les moyenne, corrélation et variance empirique par
n n
1X 1 X
m(x) = xk , C(x, t) = (xk − m(x)) (tk − m(t)) et V (x) = C(x, x)
n n−1
k=1 k=1

et par la suite on note Tn = (T1 , . . . , Tn ) et xn = (x1 , . . . , xn ).

2. Montrez que β̂n = C(xn , Tn )/V (xn ) et que α̂n = m(Tn ) − β̂n m(xn ).
3. Montrez que θ̂n = (α̂n , β̂n ) est sans biais. Par la suite on admettra que sa matrice de variance-covariance
est donnée par  
σ2 2
m(xn ) −m(xn )
Varθ (θ̂n ) =
(n − 1)V (xn ) −m(xn ) 1
et on supposera en plus des hypothèses précédentes que les εi suivent une loi normale.
4. Quelle est la loi de Tn ? Donnez la formule de sa densité pn ( ·; θ) sous Pθ et déduisez-en que θ̂n coïncide
avec l’estimateur du maximum de vraisemblance.
5. Quelle est la loi de θ̂n ? Déduisez-en des intervalles de confiance pour α∗ et β ∗ .
6. Peut-on utiliser ces intervalles lorsque σ est inconnu ? Montrez que dans ce cas, l’estimateur du maximum
de vraisemblance de σ est donné par
v
u n
u1 X
2
σ̂n = t Tk − α̂n − β̂n xk .
n
k=1

On admet que le Théorème 5.5 se généralise de la manière suivante : pour tout estimateur θ̂, on a l’inégalité
matricielle Varθ (θ̂) ≥ [Eθ (Mn (θ))]−1 où Mn (θ), supposée inversible, est la matrice aléatoire définie par (on
revient au cas où σ est supposé connu)

∂ 2 log pn ∂ 2 log pn
 
2
Mn (θ) = −∇2θ log pn (Tn ; θ) = −  2 ∂α ∂α∂β  (T ; θ).

∂ log pn ∂ 2 log pn  n
∂α∂β ∂β 2

On dira qu’un estimateur est efficace si sa variance est égale à [Eθ (Mn (θ))]−1 .
7. Calculez Mn (θ) puis [Eθ (Mn (θ))]−1 : l’estimateur θ̂n est-il efficace ?

113
CHAPITRE 5. ESTIMATION PARAMÉTRIQUE

8. On suppose maintenant que σ est inconnu et on utilise les estimateurs α̂n , β̂n et σ̂n pour faire de la
prédiction. Etant donnée une valeur z 6∈ {x1 , . . . , xn }, on considère Ŷn (z) = α̂n + β̂n z la prédiction de la
tension artérielle pour un groupe d’âge z. On admettra que l’intervalle de confiance symétrique au niveau
1 − α pour Ŷn (z) est donné par

α̂n + β̂n z − tn,α σ̂n∗ , α̂n + β̂n z + tn,α σ̂n∗

 

où r
n1/2 σ̂n 1 (z − m(xn ))2
σ̂n∗ = 1+ +
(n − 2)1/2 n (n − 1)V (xn )
et tn,α est le quantile d’ordre 1 − α/2 pour la loi de Student à n − 2 degrés de liberté. Quelles sont les valeurs
z le mieux prédites par ce modèle ? Interprétez ce résultat.

114
Chapitre 6

Tests d’hypothèses

Pour expliquer les concepts importants derrière les tests d’hypothèse, on commence par décortiquer
dans la Section 6.1 un exemple très simple que l’on formalise dans le reste du chapitre.

6.1 Une histoire de biais

Pour motiver le concept d’estimation paramétrique, nous avons considéré l’exemple de l’estimation
du biais d’une pièce de monnaie. Continuons cet exemple et imaginons qu’en fait, j’ai acheté cette
pièce pour faire des tours de magie et le vendeur m’a assuré qu’elle était biaisée, avec une probabilité
p = 0,54 d’obtenir pile. Au-delà d’estimer le biais de la pièce, je souhaite plus précisément tester
l’hypothèse selon laquelle la pièce a un biais de 0,54 : le but de ce chapitre est de répondre à une
telle question.

6.1.1 Première approche : une histoire de seuil

Grâce au chapitre précédent, on sait dorénavant que si on considère une série de lancers et que l’on
définit Xk = 1 si l’on obtient pile au k-ième lancer et 0 sinon, alors la moyenne empirique X̄n est
un bon estimateur du biais (il est sans biais, convergent et efficace). Une idée naturelle est donc de
choisir la règle de décision suivante :
Règle de décision informelle : On décide que la pièce n’a pas un biais 0,54 si l’écart |X̄n − 0,54|
entre estimation X̄n et valeur testée 0,54 est grand.
Immédiatement vient alors la question de ce que l’on entend par “grand” : doit-on décider que le
biais ne vaut pas 0,54 si |X̄n − 0,54| vaut 1/20 ? 1/10 ? Comment choisir ce seuil ?
Pour répondre à cette question, il est impératif de comprendre que cette procédure possède un risque
inhérent : même si le biais de la pièce valait 0,54, il serait toujours possible d’obtenir X̄n = 0 : cela
arriverait avec la probabilité 0,46n qui, bien que faible, est strictement positive. Ainsi,

Le seuil auquel on décidera que la pièce est biaisée

est déterminé par le risque de se tromper que l’on est prêts à prendre.

En d’autres termes, le seuil est déterminé par une assertion du genre :

Je veux fixer mon seuil afin de ne me tromper qu’avec au plus 5% de chance.

Ici, se tromper veut dire que, bien que la pièce a le biais annoncé, on rejette cette hypothèse
car la distance |X̄n − 0,54| est trop grande, supérieure à un seuil κ fixé. Ainsi, pour calculer la
probabilité de se tromper il faut faire les calculs sous P0,54 qui est la mesure de probabilité sous

115
CHAPITRE 6. TESTS D’HYPOTHÈSES

laquelle le biais de la pièce vaut effectivement 0,54, qui correspond à supposer que le biais de la
pièce vaut 0,54. On trouve ainsi que la probabilité de se tromper vaut


P0,54 |X̄n − 0,54| ≥ κ .
Si l’on veut fixer le seuil κ afin de ne se tromper qu’avec 5% de chance, cela revient donc à résoudre
l’équation

P0,54 |X̄n − 0,54| ≥ κ = 5%. (6.1)
L’équation (6.1) n’est pas évidente à résoudre de manière exacte : par contre, une approximation est
donnée par le théorème central limite qui nous assure que n1/2 (X̄n − 0,54)/σ sous P0,54 et avec σ 2 =
0, 54 × 0,46 converge en distribution vers une loi normale standard. Ainsi, pour n raisonnablement
grand on a l’approximation
n1/2 κ
 


P0,54 |X̄n − 0,54| ≥ κ ≈ P |X| ≥
σ
où X suit une loi normale standard. Si F est la fonction de répartition de X, κ est donc (approxi-
mativement) déterminé par la relation
  1/2 
n κ
2 1−F = 5%
σ
soit
σ
κ= F −1 (0,975).
n1/2
Pour ce choix du seuil, on a donc conçu un test statistique qui, pour n = 50 lancers, peut être
résumé de la façon suivante :
Règle de décision #1 : On rejettera l’hypothèse que la pièce a un biais de 0,54 si
√
0,54 × 0,46 × F −1 (0,975)
|X̄50 − 0,54| > √ ≈ 0,138.
50
En outre, on a conçu le test de telle sorte que, si la pièce a effectivement un biais de 0,54, alors la
probabilité de se tromper (i.e., de décider que la pièce n’a pas un biais de 0,54) est approximativement
de 5%.

6.1.2 Deuxième approche : intervalles de confiance

La procédure ci-dessus fait fortement penser aux raisonnements que l’on a effectués lors de la
construction d’intervalles de confiance au chapitre précédent. Et effectivement, le test statistique
proposé ci-dessus peut se reformuler en termes d’intervalle de confiance de la manière suivante.
Considérons I l’intervalle de confiance bilatéral symétrique au niveau α ∈ (0, 1) de la probabilité de
succès : sous l’approximation normale effectuée ci-dessus, on sait grâce à la Proposition 5.8 que Iα
est donné par
σF −1 (1 − α/2) σF −1 (1 − α/2)
 
Iα = X̄n − , X̄n + .
n1/2 n1/2
Il est alors naturel de considérer le test statistique suivant :
Règle de décision #2 : On décide que la pièce n’a pas un biais 0,54 si 0,54 6∈ I5% .
La probabilité de se tromper est alors
P0,54 (0,54 6∈ I5% )
qui par construction de l’intervalle de confiance vaut 5%. En outre, on observe que les deux règles de
décision proposées sont les mêmes ! En d’autres termes, on peut se servir des intervalles de confiance
pour construire des tests statistiques.

116
 6.1. UNE HISTOIRE DE BIAIS

6.1.3 Troisième approche : niveau de signification

Nous présentons maintenant une troisième interprétation du même test statistique qui s’appuie sur
la notion de niveau de signification. L’idée est de concevoir un test selon le critère suivant. Etant
donnée la réalisation de X̄n , on va calculer la probabilité d’obtenir une valeur au moins aussi
extrême que X̄n : si cette probabilité est faible, on rejettera le test.
Pour rendre cette idée plus concrète, imaginons qu’on observe X̄n = 0,7 : cela paraît un résultat
très large, au moins comparé au 0,54 attendu, et l’idée est de calculer la probabilité P0,54 (X̄n ≥ 0,7)
d’obtenir un résultat au moins aussi extrême. Si inversement on avait observé X̄n = 0,2, on se serait
intéressés à la probabilité P0,54 (X̄n ≤ 0,2), et dans les deux cas on aurait rejeté l’hypothèse que le
biais vaut 0,54 si la probabilité calculée était faible. En effet, cela signifierait que l’hypothèse selon
laquelle le biais vaut 0,54 n’explique pas bien les données, et il est donc naturel de la rejeter.
On montre maintenant que ce test est, à un facteur multiplicatif près, équivalent au test précédent.
Par définition, on a proposé la règle de décision suivante :
Règle de décision #3 : On décide que la pièce n’a pas un biais 0,54 si P ≤ α où

P = 1 X̄n < 0,54 P0,54 X̄n0 ≤ X̄n | X̄n + 1 X̄n > 0,54 P0,54 X̄n0 ≥ X̄n | X̄n



avec X̄n0 de même loi que X̄n et indépendante de X̄n .

On laisse effectivement le lecteur se convaincre que la probabilité (aléatoire) P est exactement la
probabilité d’obtenir une valeur au moins aussi extrême que X̄n . En outre, on a

P0,54 X̄n0 ≤ X̄n | X̄n = P0,54 Zn0 ≤ Zn | X̄n

où l’on a défini
n1/2 (X̄n − 0,54) n1/2 (X̄n0 − 0,54)
Zn = et Zn0 = ,
σ σ
et donc sous l’approximation de normalité du théorème central limite, on obtient

P0,54 X̄n0 ≤ X̄n | X̄n ≈ F (Zn ).

Sous cette approximation, on a donc

 
P = 1 X̄n < 0,54 F (Zn ) + 1 X̄n > 0,54 F (−Zn )

et l’on vérifie que

σF −1 (1 − α)
P ≤ α ⇐⇒ |X̄n − 0,54| > .
n1/2
A un facteur 2 près, cette règle de décision basée sur le niveau de signification P est donc bien
équivalente au test précédent.

6.1.4 Discussion intermédiaire

Bien qu’extrêmement simple, l’exemple ci-dessus illustre plusieurs notions très importantes. Tout
d’abord, il est essentiel de comprendre que

En toute rigueur, on ne peut que rejeter une hypothèse.

Reprenons les tests ci-dessus : in fine, ce que l’on fait est choisir un évènement – ici, l’évènement
{|X̄n − 0,54| ≥ κ} – tel que, si l’hypothèse était vraie, alors la probabilité de cet évènement
serait faible – ici, fixée à 5%. Ainsi, si l’on observe cet évènement, cela veut dire que l’hypothèse
n’explique pas bien les données et il est naturel de la rejeter.

117
CHAPITRE 6. TESTS D’HYPOTHÈSES

A l’inverse, si l’évènement a lieu, on ne peut que conclure que la probabilité de cet évènement sous
l’hypothèse n’est pas très faible : néanmoins, de nombreuses autres hypothèses pourraient avoir la
même propriété et il ne s’agit donc pas d’une preuve “positive” ! Le raisonnement est similaire à celui
qui consisterait à dire que ça n’est pas parce que personne n’a jamais observé de fantômes qu’ils
n’existent pas. A l’inverse, une observation de fantômes prouverait automatiquement leur existence.
Cette discussion montre l’importance de l’hypothèse testée : en effet, si les données ne permettent
pas de la rejeter, alors on sera amenés à l’accepter et il vaut donc mieux choisir une hypothèse en
laquelle on a déjà confiance puisqu’on n’a pas vraiment apporté de preuve de sa validité : on aura
seulement montré qu’elle n’était pas incompatible avec les observations. Une manière de pallier ce
problème est de contrôler la puissance du test, notion que nous introduisons maintenant toujours
sur l’exemple de la pièce de monnaie.

6.1.5 Risques de première et deuxième espèce, puissance d’un test

Introduction au risque de deuxième espèce
Soit θ∗ le vrai biais de la pièce de monnaie : dans l’exemple ci-dessus, on a testé l’hypothèse θ∗ = 0,54
et, si cette hypothèse était rejetée, on aurait adopté l’hypothèse θ∗ 6= 0,54. L’hypothèse que l’on teste
est appelée hypothèse nulle et notée H0 , et l’autre hypothèse est appelée hypothèse alternative
et est notée H1 . Dans l’exemple ci-dessus on a donc
H0 : θ∗ = 0,54 ;
H1 : θ∗ 6= 0,54.
On a considéré des tests de la forme

Rejeter H0 ⇐⇒ |X̄n − 0,54| ≥ κ

où le seuil κ a été fixé de manière à contrôler le risque de se tromper si l’hypothèse H0 était vraie :


P0,54 |X̄n − 0,54| ≥ κ = α

avec α ∈ [0, 1] le risque que l’on est prêts à prendre. De manière générale, α est appelé risque de
première espèce :

Le risque de première espèce est la probabilité de

rejeter H0 alors qu’H0 est vraie.

Comme expliqué ci-dessus, si l’on rejette H0 alors pas (ou peu) de doutes : H0 n’expliquait pas
bien les observations et il était raisonnable de la rejeter (le risque de première espèce étant là pour
quantifier le “peu de doutes”). Par contre, si l’on vient à accepter H0 , on ne peut être sûrs qu’H0 est
la vraie explication des observations et pour accroître la confiance que l’on a dans H0 , on considèrera
le risque de deuxième espèce β :

Le risque de deuxième espèce β est la probabilité

d’accepter H0 alors qu’H1 est vraie.

Un risque de deuxième espèce faible est réconfortant : ainsi, bien qu’on ne puisse pas savoir avec
certitude si H0 est la vraie hypothèse qui explique les données – on a juste prouvé que H0 était
compatible avec les données – au moins on sait que H1 n’est pas compatible avec les données.
A l’inverse, un risque de deuxième espèce élevé est embêtant : il signifie que H1 aussi est compatible
avec les données et cela ne permet donc pas de trancher entre H0 et H1 .
De manière générale et dans la mesure du possible, on cherchera donc des tests avec des risques de
première et deuxième espèce faibles. De manière équivalente, on cherchera à maximiser la puissance

118
 6.1. UNE HISTOIRE DE BIAIS

1.0
0.8
0.6
0.4
0.2
0.0

0.0 0.2 0.4 0.6 0.8 1.0

Figure 6.1.1 – Risque de deuxième espèce θ ∈ [0, 1] \ {0,54} 7→ β(θ) dans le cas discuté en Sec-
tion 6.1.5.

η du test, la puissance étant définie comme la probabilité complémentaire du risque de seconde

espèce :
η = 1 − β.
Néanmoins, le problème est bien évidemment que les risques de première et deuxième espèce
varient en sens inverse, i.e., lorsque le seuil κ varie et que le risque de première espèce dimi-
nue, alors le risque de deuxième espèce augmente. Cet antagonisme est discuté plus en détails en
Section 6.1.7.

Le cas d’hypothèse composite

On a défini le risque de deuxième espèce comme la probabilité d’accepter H0 à tort : ainsi, pour
calculer β il faut pouvoir faire des calculs sous H1 ce qui n’est pas possible si H1 est une hypothèse
composite, i.e., une hypothèse où la valeur de θ∗ n’est pas uniquement déterminée (par opposition
à une hypothèse simple de la forme H0 : θ∗ = 0,54). Si Θ1 est l’ensemble des valeurs prises par
H1 , i.e., H1 : θ∗ ∈ Θ1 , alors le risque de deuxième espèce est en fait la fonction

β : θ ∈ Θ1 7→ Pθ (Accepter H0 )

et la puissance du test est aussi une fonction, définie par η(θ) = 1−β(θ) pour θ ∈ Θ1 . Dans l’exemple
de la pièce de monnaie où Θ0 = {0,54} et Θ1 = Θ \ Θ0 = [0, 1] \ {0,54}, on peut calculer la fonction
puissance, et la courbe obtenue est donnée en Figure 6.1.1. Pour effectuer le calcul, on note que, par
définition
 σ σ 
β(θ) = Pθ 0,54 − 1/2 F −1 (1 − α/2) ≤ X̄n ≤ 0,54 + 1/2 F −1 (1 − α/2) .
n n
On utilise ensuite le fait que n1/2 (X̄n − θ)/σ(θ) sous Pθ et avec σ(θ) = (θ(1 − θ))1/2 suit approxi-
mativement une loi normale pour obtenir
 1/2   1/2 
n σ n σ
β(θ) ≈ F (0,54 − θ) + F −1 (1 − α/2) − F (0,54 − θ) − F −1 (1 − α/2) .
σ(θ) σ(θ) σ(θ) σ(θ)

On voit donc que la puissance est d’autant mauvaise que θ est proche de 0,54, ce qui est tout à fait
normal : il est par exemple très difficile de distinguer les hypothèses θ∗ = 0,54 et θ∗ = 0,55 !

119
CHAPITRE 6. TESTS D’HYPOTHÈSES

6.1.6 Hypothèse nulle et hypothèse alternative

L’exemple discuté jusqu’à maintenant consistait en
H0 : θ∗ = 0,54 ;
H1 : θ∗ 6= 0,54 ;
et le test proposé était de la forme
Rejeter H0 ⇐⇒ |X̄n − 0,54| ≥ κ
avec κ choisi de telle sorte à fixer le risque de première espèce P0,54 (Rejeter H0 ) = α. Comme déjà
mentionné précédemment, les hypothèses H0 et H1 ne jouent pas un rôle symétrique. On voit que
si l’on change H0 , par exemple on considère H0 : θ∗ = θ0 alors le test change et devient
Rejeter H0 ⇐⇒ |X̄n − θ0 | ≥ κ
avec κ tel que Pθ0 (|X̄n − θ0 | ≥ κ) = α. Il semble donc à première vue que l’hypothèse H1 ne joue
pas de rôle ce qui n’est en fait pas le cas : H1 joue un rôle sur la forme du test. En effet, au lieu de
H1 : θ∗ 6= θ0 considérons par exemple H1 : θ∗ > θ1 pour un certain θ1 > θ0 : alors on ne rejetera H0
pour l’hypothèse alternative H1 que si l’estimateur X̄n de θ∗ est grand. Ainsi, le test prend la forme
Rejeter H0 ⇐⇒ X̄n ≥ κ
avec κ tel que Pθ0 (X̄n ≥ κ) = α. On remarque dans cet exemple que H1 joue un rôle sur la forme
du test, mais que même pour H1 de la forme H1 : θ∗ > θ1 la valeur de θ1 ne joue pas de rôle sur la
détermination du paramètre de seuil κ qui par définition ne dépend que de θ0 (ou plus généralement
Θ0 ) et α. En revanche, θ1 joue un rôle sur la puissance du test : intuitivement, plus θ1 est grand et
plus il est facile de discriminer entre H0 et H1 , et plus le test est puissant.

6.1.7 Antagonisme entre risques de première et de deuxième espèce

Pour illustrer l’antagonisme évoqué plus haut entre les risques de première et de deuxième espèce,
on considère le cas de deux hypothèses simples :
H0 : θ∗ = θ0 ;
H1 : θ∗ = θ1 ;
avec θ0 < θ1 . Comme expliqué dans la section précédente, le test est alors de la forme
Rejeter H0 ⇐⇒ X̄n ≥ κ
avec un seuil κ à déterminer. Les risques de première et deuxième espèce sont alors donnés par



α = Pθ0 X̄n ≥ κ et β = Pθ1 X̄n ≤ κ .
Le risque de première espèce est donc décroissant en κ, alors que le risque de deuxième espèce est lui
croissant. L’allure de ces courbes est illustrée sur la Figure 6.1.2, qui montre bien que l’on ne peut
pas choisir de seuil κ assurant à la fois un risque de première espèce faible et un risque de deuxième
espèce faible.

6.2 Résultats généraux

6.2.1 Définitions
Le cadre général des tests d’hypothèse est le suivant. On considère un modèle paramétrique {Pθ :
θ ∈ Θ} et deux sous-ensembles Θ0 , Θ1 ⊂ Θ que l’on suppose disjoints : Θ0 ∩ Θ1 = ∅. Par contre,
on ne supppose pas nécessairement que Θ0 et Θ1 forment une partition de Θ, i.e., on peut avoir
Θ0 ∪ Θ1 ⊂ Θ au sens strict. On définit :

120
 6.2. RÉSULTATS GÉNÉRAUX

1.0

0.8

0.6

0.4

0.2

0.0
0.0 0.2 0.4 0.6 0.8 1.0

Figure 6.1.2 – Evolution des risques de première et deuxième espèce en fonction du seuil κ pour
l’exemple de la Section 6.1.7 pour θ0 = 0,54, θ1 = 0,7 et n = 100.

H0 (hypothèse nulle) : θ∗ ∈ Θ0 ;
H1 (hypothèse alternative) : θ∗ ∈ Θ1 .
Une hypothèse est dite simple si elle est réduite à un singleton, et composite ou multiple sinon.
On observe un échantillon (X1 , . . . , Xn ) de taille n que l’on souhaite utiliser pour décider de rejeter
H0 ou non 1 . On considérera des tests d’hypothèse de la forme suivante :

Rejeter H0 ⇐⇒ Tn = T (X1 , . . . , Xn ) ∈ Λ

pour une certaine statistique à valeur réelle T appelée statistique de test et un certain ensemble
Λ ⊂ R, la plupart du temps un intervalle ou une union d’intervalles. La région

W = T −1 (Λ) = {x ∈ Rn : T (x) ∈ Λ}

est appelée région critique ou région de rejet du test : en effet, le test précédent se réécrit sous
la forme équivalente
Rejeter H0 ⇐⇒ (X1 , . . . , Xn ) ∈ W.
De manière générale, les risques de première et de deuxième espèce ainsi que la puissance d’un test
sont des fonctions à valeurs dans [0, 1], définies de la manière suivante.
Définition 6.1. Le risque de première espèce α, le risque de deuxième espèce β et la
puissance du test η sont les fonctions données par

 α : θ ∈ Θ0 7→ Pθ (Rejeter H0 ) (risque de première espèce),
β : θ ∈ Θ1 7→ Pθ (Accepter H0 ) (risque de deuxième espèce),
η : θ ∈ Θ1 7→ 1 − β(θ) (puissance).


On remarquera que les fonctions α et β et η différent notamment (et principalement) par leur
domaine de définition. Ainsi, α et β représentent des probabilités d’erreur mais sous des hypothèses
1. Comme expliqué précédemment, on ne peut en général pas se servir d’un test pour accepter une hypothèse : ne
pas rejeter une hypothèse veut dire qu’il n’existe pas suffisamment de preuves statistiques pour la rejeter, ce qui ne
veut pas dire que l’hypothèse est vraie ! Il est plus correct de dire que l’hypothèse est compatible avec les données.

121
CHAPITRE 6. TESTS D’HYPOTHÈSES

différentes : α est le risque de se tromper si H0 est vraie (et donc θ ∈ Θ0 ) et β le risque de se tromper
si H1 est vraie (et donc θ ∈ Θ1 ).
Comme expliqué précédemment, on veut concevoir un test qui, en priorité, contrôle le risque de
première espèce : en pratique, on choisira Λ tel que
sup α(θ) = sup Pθ (Tn ∈ Λ) = α
θ∈Θ0 θ∈Θ0

pour un niveau de risque α fixé. Ensuite, si l’on a le choix entre plusieurs tests ayant le même risque
de première espèce, alors on privilégiera celui de puissance maximale, où la puissance du test est
définie par
η = sup η(θ).
θ∈Θ1

6.2.2 Cas d’hypothèses simples

Le cas où H0 et H1 sont simples est le seul cas traitable en toute généralité. Le test de Neyman–
Pearson est alors, à un niveau de risque de première espèce donné, plus puissant que tout autre test.
On rappelle que L(θ; x) est la fonction de vraisemblance.
Théorème 6.1 (Test de Neyman–Pearson). Supposons que H0 et H1 sont simples :
H0 : θ∗ = θ0 ;
H1 : θ∗ = θ1 .
et considérons le test suivant :
L(θ1 ; Xn )
Rejeter H0 ⇐⇒ > κα
L(θ0 ; Xn )
où le seuil κα est déterminé par
Pθ0 (Rejeter H0 ) = α.
Alors la puissance de ce test est meilleure que la puissance de n’importe quel autre test de même
risque de première espèce α.
Démonstration. Soit W = {x : L(θ1 ; x) > kα L(θ0 ; x)} la région critique du test de Neyman–
Pearson et W 0 la région critique d’un autre test de niveau α : le but de la preuve est de montrer que
la puissance du test de Neyman–Pearson est plus élevée que la puissance du test de région critique
W 0 , i.e., que
Pθ1 (Xn ∈ W 0 ) ≤ Pθ1 (Xn ∈ W ) ⇐⇒ Pθ1 (Xn ∈ W 0 \ W ) ≤ Pθ1 (Xn ∈ W \ W 0 )
où l’équivalence est obtenue en retranchant Pθ1 (Xn ∈ W 0 ∩ W ) des deux côtés. Tout d’abord, on
note que Pθ0 (Xn ∈ W ) = Pθ0 (Xn ∈ W 0 ) puisque ces deux probabilités valent α par construction.
En retranchant Pθ0 (Xn ∈ W 0 ∩ W ), on obtient donc
Pθ0 (Xn ∈ W \ W 0 ) = Pθ0 (Xn ∈ W 0 \ W ).
Par ailleurs, Z
Pθ1 (Xn ∈ W 0 \ W ) = 1 {x ∈ W 0 \ W } L(θ1 ; x)dx

et puisque L(θ1 ; x) ≤ kα L(θ0 ; x) pour x 6∈ W , on obtient

Z
Pθ1 (Xn ∈ W \ W ) ≤ kα 1 {x ∈ W 0 \ W } L(θ0 ; x)dx = kα Pθ0 (Xn ∈ W 0 \ W ).
0

On obtient de manière symétrique Pθ1 (Xn ∈ W \ W 0 ) > kα Pθ0 (Xn ∈ W \ W 0 ) et puisque Pθ0 (Xn ∈
W \ W 0 ) = Pθ0 (Xn ∈ W 0 \ W ) cela implique le résultat voulu. 

122
 6.2. RÉSULTATS GÉNÉRAUX

6.2.3 Test à base d’intervalles de confiance

Comme on l’a vu en introduction, il est naturel d’utiliser des intervalles de confiance pour construire
des tests statistiques. Plus précisément, si Λ est un intervalle de confiance de θ au niveau 1 − α,
alors par définition le test
Rejeter H0 ⇐⇒ θ 6∈ Λ
est un test de risque de première espèce α : en effet, pour θ ∈ Θ0 on a

Pθ (Rejeter H0 ) = Pθ (θ 6∈ Λ)

qui par définition de l’intervalle de confiance vaut 1 − (1 − α) = α. On peut ainsi revisiter les quatre
Propositions 5.8, 5.9, 5.10 et 5.11 qui donnent autant de tests statistiques pour tester la moyenne
à variance connue, la variance à moyenne connue, la variance à moyenne inconnue et la moyenne à
variance inconnue, respectivement. Dans les quatre sections qui suivent, on se place donc dans les
mêmes conditions que dans la Section 5.7.2, i.e., on considère le modèle gaussien.

Test pour la moyenne à variance connue

On fixe σ ∈]0, ∞[ et on considère le modèle paramétrique {Pm : m ∈ R} avec Pm la loi normale de
moyenne m et de variance σ 2 . La Proposition 5.8 montre alors que pour tout a+ , a− qui satisfont
F (a+ ) − F (−a− ) = 1 − α où F est la fonction de répartition de la loi normale standard, le test

σa− σa+
 
Rejeter H0 ⇐⇒ θ0 6∈ X̄n − 1/2 , X̄n + 1/2
n n

est un test au niveau α. On a donc le choix sur les paramètres a+ , a− qui sera guidé par la forme
de l’hypothèse alternative H1 . On considère trois cas :
Premier cas : H1 : θ∗ 6= θ0 . On considère alors l’intervalle bilatéral symétrique donné par a+ =
a− = F −1 (1 − α/2).
Deuxième cas : H1 : θ∗ > θ1 avec θ1 > θ0 . On considère alors un test de la forme

Rejeter H0 ⇐⇒ X̄n > κ

ce qui revient à considérer l’intervalle unilatéral à droite, i.e., a+ = ∞ et a− = F −1 (1 − α) ;

Troisième cas : H1 : θ∗ < θ1 avec θ1 < θ0 . On fait un raisonnement symétrique au cas précédent
et on considère l’intervalle unilatéral à gauche.

Intervalle de confiance pour la variance à moyenne connue

On fixe maintenant m ∈ R et on considère le modèle paramétrique {Pσ : σ ∈ R+ } avec Pσ la loi
normale de moyenne m fixée et de variance σ 2 . La Proposition 5.9 montre alors que pour tout a+ , a−
satisfaisant Gn (a+ ) − Gn (a− ) = 1 − α avec Gn la fonction de répartition de la loi du χ2 à n degrés
de liberté, le test  2
nσ̂n nσ̂n2

Rejeter H0 ⇐⇒ θ0 ∈ / ,
a+ a−
est un test au niveau α.
Premier cas : H1 : θ∗ 6= θ0 . On considère alors l’intervalle bilatéral symétrique donné par le choix
a− = G−1 + −1
n (α/2) et a = Gn (1 − α/2).
Deuxième cas : H1 : θ∗ > θ1 avec θ1 > θ0 . On considère alors l’intervalle unilatéral à droite.
Troisième cas : H1 : θ∗ < θ1 avec θ1 < θ0 . On considère alors l’intervalle unilatéral à gauche.

123
CHAPITRE 6. TESTS D’HYPOTHÈSES

Intervalle de confiance pour la variance à moyenne inconnue

On considère le même modèle paramétrique que précédemment mais on suppose maintenant que la
moyenne est inconnue. La Proposition 5.10 montre alors que pour tout a+ > a− > 0 satisfaisant
Gn−1 (a+ ) − Gn−1 (a− ) = 1 − α, le test
2 2
(n − 1)Sn−1 (n − 1)Sn−1
 
Rejeter H0 ⇐⇒ θ0 ∈
/ ,
a+ a−
est un test au niveau α.
Premier cas : H1 : θ∗ 6= θ0 . On considère alors l’intervalle bilatéral symétrique donné par le choix
a− = G−1 + −1
n−1 (α/2) et a = Gn−1 (1 − α/2).
Deuxième cas : H1 : θ∗ > θ1 avec θ1 > θ0 . On considère alors l’intervalle unilatéral à droite.
Troisième cas : H1 : θ∗ < θ1 avec θ1 < θ0 . On considère alors l’intervalle unilatéral à gauche.

Test de Student : intervalle de confiance pour la moyenne à variance inconnue

On conclut par la construction d’intervalles de confiance pour la moyenne lorsque la variance est
inconnue : on considère donc le modèle paramétrique {Pm,σ : m ∈ R, σ ∈ R+ } avec Pm,σ la loi
normale de moyenne m et de variance σ 2 (on sort donc du cadre de la dimension un considéré
dans le reste du chapitre). La Proposition 5.11 montre alors que pour tout a+ , a− > 0 satisfaisant
Hn−1 (a+ ) − Hn−1 (−a− ) = 1 − α avec Hn la fonction de répartition de la loi de Student à n degrés
de liberté, le test
Sn−1 a− Sn−1 a+
 
Rejeter H0 ⇐⇒ θ0 ∈ / X̄n − , X̄n +
n1/2 n1/2
est un test au niveau α.
Premier cas : H1 : θ∗ 6= θ0 . On considère alors l’intervalle bilatéral symétrique donné par le choix
−1 −1
a− = Hn−1 (α/2) et a+ = Hn−1 (1 − α/2).
Deuxième cas : H1 : θ∗ > θ1 avec θ1 > θ0 . On considère alors l’intervalle unilatéral à droite.
Troisième cas : H1 : θ∗ < θ1 avec θ1 < θ0 . On considère alors l’intervalle unilatéral à gauche.
Il s’agit d’un test extrêment utile en pratique, qui s’appelle le test de Student.

124
 6.3. FICHE DE SYNTHÈSE

6.3 Fiche de synthèse

Les tests statistiques sont utilisés lorsqu’on cherche à savoir si une certaine hypothèse relative à la population
est compatible avec l’information disponible à partir de l’échantillon.

On considère un modèle paramétrique {Pθ ; θ ∈ Θ} et deux sous-ensembles disjoints Θ0 et Θ1 de Θ.

→ Une hypothèse H concernant le paramètre θ∗ est énoncée et traduite sous la forme de 2 propositions
contradictoires.
• H0 dite hypothèse nulle : θ∗ ∈ Θ0 (test simple si Θ = {θ0 }, composite sinon)
• H1 dite hypothèse alternative : θ∗ ∈ Θ1 . Si H0 est θ∗ = θ0 , H1 peut être θ∗ 6= θ0 (test bilatéral) ou bien
θ∗ > θ0 ou θ∗ < θ0 (test unilatéral).
→ On utilise un échantillon Xn = (X1 , · · · , Xn ) et une statistique de test Tn = f (Xn ) (par exemple Xn )
dont la loi sous H0 est parfaitement connue (Tn n’est pas unique !).

Règle de décision, risques d’erreur : on fixe α ∈]0, 1[ (souvent 0, 05 ou 0, 01 )

→ On a alors α = PH0 (rejeter H0 ) risque de 1er type : risque de rejeter à tort H0 , contrôlé.
Pour un test composite, α = sup Pθ (rejeter H0 ).
θ∈Θ0
Si Θ0 = {θ0 }, on détermine Λ (souvent union d’intervalles) tel que α = Pθ0 (rejeter H0 ) = Pθ0 (Tn ∈ Λ).
L’ensemble W = {x ∈ Rn ; Tn (x) ∈ Λ} est la région critique.
→ β = PH1 (accepter H0 ) risque de 2ème type : risque d’accepter à tort H0 , non contrôlé.
→ Pour θ ∈ Θ1 , η(θ) = 1 − β(θ) puissance du test : si on a H0 : θ∗ = θ0 et H1 : θ∗ = θ1 , le test de plus
grande puissance parmi les tests de risque de 1er type α est le test de Neyman-Pearson qui consiste à rejeter
L(θ1 ,Xn )
H0 ssi L(θ 0 ,Xn )
> κα où κα est déterminé par Pθ0 (rejeter H0 ) = α.

Pratique des tests : le tableau suivant envisage des cas fréquents.

paramètre à tester statistique de test loi

√
2 n(X n −m)
variance σ connue σ
N (0; 1)
moyenne m
√
n(X n −m)
variance inconnue Sn−1
Student à n − 1 d.d.l.
n
2
1
χ2 à n d.d.l.
P
moyenne m connue σ2
(Xk − m)
k=1
variance σ 2
2
(n−1)Sn−1
moyenne inconnue σ2
χ2 à n − 1 d.d.l.
Lois de probabilités utilisées dans les tests

• Loi du χ2 à n degrés de liberté (d.d.l.) : de densité x 7→ 1

2n/2 Γ(n/2)
xn/2−1 e−x/2 1 {x > 0}. C’est aussi la
loi Gamma de paramètres n/2 et 1/2.
n
Xk −m 2


Propriété : Si Xk sont des variables aléatoires indépendantes de loi normale N (m; σ 2 ), alors
P
σ
k=1
suit la loi du χ2 à n d.d.l.
Γ( n+1
− n+1
2 )

√1 x2 2
• Loi de Student à n d.d.l. : de densité x 7→ nπ Γ( n )
1+ n
.
2
Propriété : C’est la loi de √X où X suit la loi normale N (0; 1) et est indépendante de Zn qui suit la loi
Zn /n
2
du χ à n d.d.l.

px

p/2 px

q/2
px+q
1− px+q
• Loi de Fisher-Snedecor de paramètre (p, q) : de densité x 7→ xB(p/2,q/2)
1 {x > 0}
Zp /p
Propriété : C’est la loi de Zq /q
où Zp et Zq sont indépendantes et suivent des lois du χ2 à p et q d.d.l.
respectivement.

Théorème 4.12 : Si X1 , · · · , Xn sont des variables aléatoires indépendantes de loi normale N (m; σ 2 ), alors

125
CHAPITRE 6. TESTS D’HYPOTHÈSES

les variables aléatoires

n n
1X 2 1 X
Xn = Xk et Sn−1 = (Xk − X n )2
n n−1
k=1 k=1

sont indépendantes.

Par ailleurs :
• X n suit la loi normale N (m, σ 2 /n) ;
2
• (n − 1)Sn−1 /σ 2 suit la loi du χ2 à n − 1 d.d.l. ;
√
n(X n −m)
• Sn−1
suit la loi de Student à n − 1 d.d.l.

126
 6.4. EXERCICES

6.4 Exercices
Les exercices précédés d’une flèche ,→ sont des exercices d’application directe du cours.

,→ Exercice 6.1 (Modèle gaussien)

1. On considère le modèle paramétrique {Pθ , θ ∈ R} où Pθ est la loi normale sur R de moyenne θ ∈ R et de

variance σ 2 connue. On considère l’hypothèse nulle H0 : θ = 2 : pour chacune des hypothèses alternatives
suivantes, proposez un test avec un risque de première espèce de α ∈ [0, 1] et calculez le risque de deuxième
espèce associé :
a. H1 : θ = 4 ;
b. H1 : θ < 1 ;
c. H1 : θ 6= 2 ;

2. Même question que précédemment mais Pθ est la loi gaussienne de moyenne µ ∈ R connue et de variance
θ.
3. Même question que précédemment mais maintenant la moyenne µ est inconnue.
Indication : Utilisez le Théorème 4.12.

,→ Exercice 6.2 (Approximation normale)

On considère Pθ la loi de Bernoulli de paramètre θ ∈ [0, 1] et les hypothèses H0 : θ = θ0 et H1 : θ = θ1 avec
θ1 > θ 0 .
1. Ecrivez la forme du test.
2. Utilisez le théorème central limite pour obtenir une approximation de la taille n de l’échantillon qu’il
faut pour garantir des risque de première et deuxième espèce α et β donnés. On se contentera d’exhiber un
système de deux équations à deux inconnues à résoudre.

,→ Exercice 6.3 (Risques de première et de deuxième espèce)

1. On considère le modèle gaussien à variance σ 2 = 4 connue et l’on souhaite tester l’hypothèse nulle
H0 : θ = 1 contre l’hypothèse alternative H1 : θ = 2. Quelle est la taille d’échantillon minimale qui
garantisse un risque de première espèce α = 3% et une puissance η = 80% ?
2. On considère le même modèle qu’à la question précédente. Parmi les hypothèses alternatives suivantes,
pour lesquelles peut-on tester l’hypothèse nulle H0 : θ = 2 avec un risque de α = 3% et une puissance
η = 85% ? Commentez les résultats obtenus.
Cas a. H1 : θ = 3
Cas b. H1 : θ = 1,999
Cas c. H1 : θ < 2

3. On considère un test statistique de la forme

Rejeter H0 ⇐⇒ θ̂n − θ0 > κ

pour tester deux hypothèses simples H0 : θ∗ = θ0 contre H1 : θ∗ = θ1 . Dans quel sens les risques de première
et de deuxième espèce varient-ils lorsque κ varie ? Quel est le problème de fixer un risque de première espèce
très faible ?

Exercice 6.4
On considère un échantillon X1 , . . . , Xn de variables aléatoires i.i.d. tirées sur la loi uniforme sur [0, θ]. On
souhaite tester l’hypothèse nulle H0 : θ = 1 contre l’hypothèse alternative H1 : θ = 1 + ε. On considère les
statistiques Mn = maxk=1,...,n Xk et X̄n = n1 (X1 + · · · + Xn ) que l’on souhaite utiliser comme statistique
de test.

127
CHAPITRE 6. TESTS D’HYPOTHÈSES

1. Expliquez pourquoi les deux tests suivants sont raisonnables :

Accepter H0 ⇐⇒ X̄n < κX et Accepter H0 ⇐⇒ Mn < κM .

A-t-on κX < 1/2 ou κX > 1/2 ? et κM < 1 ou κM > 1 ?

√
2. Quelle est la limite en loi de n(X̄n − 12 ) ?
3. Utilisez la question précédente pour montrer que si l’on se fixe un risque de première espèce α donné,
alors κX et κM doivent satisfaire
1 F −1 (1 − α)
κX ≈ + √ et κM = (1 − α)1/n .
2 2 3n

4. Montrez que, sous l’approximation normale précédente et en utilisant donc les valeurs de κX et κM de la
question précédente, les puissances η X et η M associées à ces tests sont données par
 √ 
ε 3n 1−α
ηX ≈ 1 − F − + (1 + ε)−1 F −1 (1 − α) et η M = 1 −
1+ε (1 + ε)n

avec z et z 0 certaines constantes indépendantes de n.

2
5. En utilisant l’approximation (fausse mais instructive) F (x) ≈ 1 − √1 e−x /2 , justifiez les approximations
2π

3ε2 n
− log(1 − η X ) ≈ et − log(1 − η M ) ≈ nε.
2
Quel test utiliseriez-vous lorsque ε est petit ?
6. Peut-on utiliser le test de Neyman–Pearson ? Pourquoi ?

,→ Exercice 6.5
On distingue deux types de plantes à graines : les plantes qui disséminent leurs graines très localement avec
une grande probabilité et loin avec une faible probabilité (type 0) et les plantes qui disséminent leurs graines
localement (type 1). La loi de la position relative (X, Y ) d’une graine par rapport à la plante est :
• pour le type 0, la loi gaussienne centrée réduite de densité
1 1
 
p0 (x, y) = exp − (x2 + y 2 ) ;
2π 2

• pour le type 1, la loi uniforme sur [−d, d]2 avec d = 1, de densité

1  1
p1 (x, y) = 1 x, y ∈ [−d, d]2 = 1 {x, y ∈ [−2, 2]} ;
4d2 4

La graine d’une plante est observée à la position relative (x, y) par rapport à la plante. On souhaite savoir
s’il s’agit d’une plante de type 0. Dans les deux premières questions on supposera que H0 est l’hypothèse
“la plante est de type 0” et H1 l’hypothèse “la plante est de type 1”.
1. Décrivez le test de Neyman–Pearson au niveau de risque de première espèce α ainsi que sa région critique.
2. Soit G2 la fonction de répartition de la loi du χ2 à 2 degrés de liberté : montrez que le risque de première
espèce du test
Rejeter H0 ⇐⇒ |X|, |Y | ≤ d, X 2 + Y 2 > G−1 2 (1 − α)

est majoré par α.

3. On donne G−1 −1
2 (0,95) ≈ 6 et G2 (0,99) ≈ 9. Dessinez la région critique du test de la question 2 pour
α = 5% et α = 1% et commentez les résultats obtenus.

,→ Exercice 6.6 (Comparaison de moyenne et de variance)

128
 6.4. EXERCICES

On considère deux échantillons X1 , . . . , XnX et Y1 , . . . , YnY : toutes les variables aléatoires sont indépen-
dantes, et on suppose en outre que les Xi suivent une loi normale de paramètre (mX , σX ) et que les Yi
suivent une loi normale de paramètre (mY , σY ).
On définit
nX nX
1 X 2 1 X
2
X̄ = Xk et SX = Xk − X̄
nX nX − 1
k=1 k=1
ainsi que
nY nY
1 X 1 X
2
Ȳ = Yk et SY2 = Yk − Ȳ .
nY nY − 1
k=1 k=1

2 2
1. Quelle est la loi de (SX /σX )/(SY2 /σY2 ) ? Quelle est la loi de SX
2
/SY2 sous H0 ? (Reportez-vous au paragraphe
“Lois de probabilités utilisées dans les tests” de la fiche de synthèse de ce chapitre)
2. Déduisez de la question précédente un test pour les deux cas suivants : H0 : σX = σY et H1 : σX > σY .
3. Même question mais pour tester H0 : σX = σY contre H1 : σX 6= σY , puis commentez la différence entre
les deux tests.
On suppose que le test précédent a mené à la conclusion d’égalité des variances σX = σY = σ et l’on
considérera donc dorénavant cette hypothèse comme étant satisfaite. On définit n = nX + nY et
nX nY
!
2 1 X
2 X
2
S = Xk − X̄ + Yk − Ȳ .
n−2
k=1 k=1

4. Quelle est la loi de (n − 2)S 2 /σ 2 et de X̄ − Ȳ ?

5. Montrez que S est indépendante de X̄ et Ȳ et déduisez-en la loi de

X̄ − Ȳ − (mX − mY )
q .
1 1
S nX
+ nY

6. Déduisez un test de Student pour tester l’égalité des moyennes, i.e., pour tester l’hypothèse H0 : mX = mY
contre H1 : mX 6= mY .

,→ Problème 6.7
Dans les conditions usuelles d’emploi, la durée de vie des pièces produites par une machine est modélisée
par une loi gaussienne N (µ0 , σ 2 ), avec µ0 = 120 heures et σ = 19,4 heures. Le représentant d’un fournisseur
propose un nouveau modèle de machine, en promettant un gain sur la durée de vie des pièces produites de
5% en moyenne, pour un écart-type identique σ.
On décide de tester le nouveau modèle de machine sur un échantillon de n = 64 pièces produites. On note
(Xi , i ∈ {1, ..., n}) les durées de vie des n pièces produites par le nouveau modèle de machine.
1. Quelle est la loi de (Xi , i ∈ {1, ..., n}) ?
2. Soit µ la durée de vie moyenne des pièces produites par le nouveau modèle de machine. Donner un
estimateur sans biais de µ. Identifier la loi de cet estimateur.
3. On ne souhaite pas changer de modèle si le nouveau n’est pas plus performant que l’ancien. Plus précisé-
ment, on souhaite que la probabilité d’adopter à tort le nouveau modèle ne dépasse pas le seuil de α = 0,05.
Quelle est alors la procédure de décision construite à partir de l’estimateur de µ ? Les 64 pièces testées ont
eu une durée de vie moyenne égale à 123,5 heures. Conclusion.
4. Evaluez le risque que cette procédure vous fasse rejeter le nouveau modèle si l’annonce du représentant
est exacte.
Le représentant conteste cette procédure, prétextant qu’il vaut mieux partir de l’hypothèse H00 , selon laquelle
le gain de performance moyen est réellement de 5%, tout en conservant le même seuil α pour ce test.

129
CHAPITRE 6. TESTS D’HYPOTHÈSES

5. Quelle est alors la procédure de décision ? Quel est le risque de l’acheteur ? Quel est le résultat de cette
procédure au vu des observations faites. Conclusion.
6. Quelle procédure peut-on proposer pour égaliser les risques de l’acheteur et du vendeur ? Quel est alors
ce risque ?

Problème 6.8 (Tests de Wilcoxon)

Les tests statistiques présentés dans ce chapitre sont dits paramétriques car les hypothèses considérées
portent sur certains paramètres tels que la moyenne, la variance, . . . La formulation de la théorie statistique
des tests permet d’envisager des tests plus généraux tels que l’égalité de lois de probabilité, l’indépendance
entre des variables, . . . Nous parlons alors de tests non paramétriques. L’objectif de ce problème est de
présenter des exemples de tests non paramétriques largement utilisés en pratique et introduits vers la fin
des années 1940 par le statisticien Frank Wilcoxon.

Étant donné un échantillon X1 , . . . , Xn de variables aléatoires indépendantes et de même loi qu’une variable
aléatoire réelle X absolument continue, nous commençons par considérer le test des signes bilatéral de

H0 : P(X > 0) = 1/2 contre H1 : P(X > 0) 6= 1/2.

1. Expliquez pourquoi ce test est paramétrique et justifiez dans ce contexte l’introduction de la variable Sn+
définie par
n
X
Sn+ = 1 {Xk > 0} .
k=1

2. Donnez la loi de Sn+ sous l’hypothèse nulle H0 et, en particulier, montrez qu’elle ne dépend pas de la loi
inconnue de X.
3. Soit α ∈]0, 1[, expliquez comment définir kα < n/2 dans la règle suivante pour obtenir un test de H0
contre H1 de risque de première espèce inférieur à α,

Accepter H0 ⇐⇒ kα < Sn+ < n − kα .

Nous introduisons maintenant le test des rangs de Wilcoxon afin de tester la symétrie de la loi de X par
rapport à l’origine,

H00 : X et − X ont la même loi contre H10 : X et − X n’ont pas la même loi.

4. Montrez que si H00 est vraie, alors P(X > 0) = 1/2. En quoi le test de H00 contre H10 est-il différent du
précédent ? Expliquez pourquoi il s’agit d’un test non paramétrique.

L’idée de Wilcoxon pour tester H00 contre H10 consiste à étudier si les réalisations positives dans l’échantillon
sont distribuées de façon symétrique par rapport aux réalisations négatives. Ainsi, pour tout k ∈ {1, . . . , n},
nous introduisons la variable aléatoire Rk à valeurs dans {1, . . . , n} qui correspond au rang de |Xk | lorsque
les valeurs absolues des réalisations sont classées par ordre croissant.
5. Expliquez pourquoi la séquence des rangs (R1 , . . . , Rn ) est une permutation aléatoire uniforme de {1, . . . , n}
qui ne dépend pas de la loi inconnue de X.
6. Soit k ∈ {1, . . . , n}, déduisez de la question précédente que Rk est une variable aléatoire uniforme sur
{1, . . . , n} indépendante du signe de Xk sous l’hypothèse H00 .
7. Le test des rangs de Wilcoxon se construit à partir de la variable aléatoire
n
X
Wn+ = Rk 1 {Xk > 0} .
k=1

130
 6.4. EXERCICES

Montrez que Wn+ est à valeurs dans {0, . . . , n(n + 1)/2} et que sa loi ne dépend pas de celle de X sous H00 .

La loi de Wn+ sous H00 s’appelle la loi de Wilcoxon, notée Wn , et il s’agit d’une loi bien connue. En particulier,
tout bon logiciel de statistique met à disposition des outils pour calculer ses quantiles.
n(n+1)
8. Si W suit la loi de Wilcoxon Wn , montrez que 2
− W suit également la loi Wn .
9. Soit α ∈]0, 1[, si W suit la loi Wn , nous introduisons le plus grand entier wα tel que P(W ≤ wα ) ≤ α/2.
Justifiez que la règle suivante fournit un test de H00 contre H10 de risque de première espèce inférieur à α,

n(n + 1)
Accepter H00 ⇐⇒ wα < Wn+ < − wα .
2

L’approche proposée par Wilcoxon se généralise à des données appariées (X1 , Y1 ), . . . , (Xn , Yn ) issues de n
observations indépendantes de vecteurs aléatoires de même loi qu’un vecteur aléatoire (X, Y ) absolument
continu dans R2 où X et Y sont également indépendantes. Le test de Wilcoxon permet de tester

H000 : X et Y ont la même loi contre H100 : X et Y n’ont pas la même loi.

10. Montrez que sous H000 , X − Y et Y − X ont la même loi.

11. Déduisez des questions précédentes un test de H000 contre H100 de risque de première espèce inférieur à
une valeur α ∈]0, 1[ donnée.

Problème 6.9 (Test du χ2 d’ajustement)

Pour un entier d > 1, nous considérons un vecteur p = (p1 , . . . , pd )> ∈]0, 1[d tel que
d
X
pj = 1.
j=1

Nous introduisons la loi multinomiale M(1, p) d’un vecteur aléatoire X = (X (1) , . . . , X (d) )> à valeurs dans
{0, 1}d tel que
d
X
∀j ∈ {1, . . . , d}, P(X (j) = 1) = 1 − P(X (j) = 0) = pj et X (j) = 1.
j=1

Autrement dit, pour j ∈ {1, . . . , d} fixé, le vecteur X ne contient que des 0 sauf la j ème composante qui vaut
1 avec probabilité pj > 0.

Dans la suite de l’exercice, nous considérons n vecteurs aléatoires X1 , . . . , Xn indépendants et de même loi
que X et nous notons
 2
(j)
d
X Nn − npj n
X (j)
Dn = où Nn(j) = Xi , ∀j ∈ {1, . . . , d}.
npj
j=1 i=1

(j)
1. Soit j ∈ {1, . . . , d}, que représente la variable Nn ? Donnez sa loi de probabilité. Est-ce que les variables
(1) (d)
Nn , . . . , Nn sont indépendantes ?
(1) (d)
2. Montrez que (Nn − np1 ) + · · · + (Nn − npd ) = 0 et déduisez-en que
 2
(j) !2
d−1 Nn − npj d−1
X 1 X
Dn = + (Nn(j) − npj ) .
npj npd
j=1 j=1

131
CHAPITRE 6. TESTS D’HYPOTHÈSES

(1) (d−1)
3. Pour tout i ∈ {1, . . . , n}, nous définissons Xi∗ = (Xi , . . . , Xi )> la restriction de Xi aux d − 1
premières composantes. Montrez que la matrice de covariance Σ = (Σjk )16j,k6d−1 de X1∗ est donnée par
∗ ∗


pj (1 − pj ) si j = k,
∀j, k ∈ {1, . . . , d − 1}, Σ∗jk =
−pj pk 6 k.
si j =
(1) (d−1) >
Dans la suite, nous considérons également les restrictions aux d−1 premières composantes Nn∗ = (Nn , . . . , Nn )
et p∗ = (p1 , . . . , pd−1 )> . Nous admettrons dans un premier temps que Σ∗ est inversible et que nous avons
l’écriture matricielle
1
Dn = (Nn∗ − np∗ )> (Σ∗ )−1 (Nn∗ − np∗ ).
n
Nn∗ − np∗
4. Justifiez que Dn = Zn> Zn avec Zn = (Σ∗ )−1/2 √ .
n
5. Prouvez que Zn converge en loi vers un vecteur gaussien standard Z.
6. Déduisez des questions précédentes que Dn converge en loi vers une variable de loi χ2 (d − 1).
(1) (d)
En pratique, la variable Dn permet de quantifier l’écart entre les effectifs observés Nn , . . . , Nn et les
effectifs théoriques np1 , . . . , npd sous la loi M(1, p). En référence au résultat de la question précédente, Dn
s’appelle la distance du χ2 . Ce n’est pas une distance au sens mathématique du terme mais elle permet de
formuler un test statistique, appelé test du χ2 d’ajustement pour valider la valeur du paramètre p lorsque
Dn n’est pas « trop grande ».
7. Soient α ∈]0, 1[ et q = (q1 , . . . , qd )> ∈]0, 1[d tel que q1 + · · · + qd = 1, nous considérons les hypothèses

(H0 ) : p = q contre (H1 ) : p 6= q

et la règle de décision
 2
(j)
d
X Nn − nqj
Rejeter (H0 ) ⇐⇒ > sα
nqj
j=1

où sα est le quantile d’ordre 1 − α de la loi χ2 (d − 1) (voir Définition 5.13). Montrez que ce test de (H0 )
contre (H1 ) a un risque de première espèce asymptotique α.
8. (Application numérique) Un groupe de 162 étudiant a été sondé pour évaluer le nombre d’heures passées
à cuisiner par mois. Voici les résultats de ce sondage :
Nombre d’heures Entre 0 et 5 Entre 5 et 10 Entre 10 et 15 Plus de 15
Nombre d’étudiants 63 49 19 31
Des études précédentes avaient permis d’évaluer la distribution de ce nombre d’heures au sein d’une grande
population étudiante,
Nombre d’heures Entre 0 et 5 Entre 5 et 10 Entre 10 et 15 Plus de 15
Proportion 40% 35% 15% 10%

Le quantile d’ordre 95% de la loi χ2 (3) vaut 7.81. Appliquer le test du χ2 d’adjustement à ces données avec
un risque de première espèce de 5% pour valider ou rejeter que la répartition observée pour le sondage est
en adéquation avec la distribution théorique proposée.
9. Pour finir, nous revenons sur l’écriture matricielle de Dn . Montrez que
1
Dn = (Nn∗ − np∗ )> M (Nn∗ − np∗ )
n
où la matrice M = (Mjk )16j,k6d−1 est donnée par

1/pj + 1/pd si j = k,
∀j, k ∈ {1, . . . , d − 1}, Mjk =
1/pd sinon.

Vérifiez ensuite que M = (Σ∗ )−1 .

132
Annexe A

Correction des exercices

A.1 Exercices du Chapitre 1

,→ Exercice 1.1 (Manipulation de l’espérance conditionnelle)

1. Supposons que Y1 ≥ Y2 : alors Y1 1 {X = x} ≥ Y2 1 {X = x} et la Proposition 1.10 donne E(Y1 ; X = x) ≥

E(Y2 ; X = x). Puisque E(Yi | X = x) = E(Yi ; X = x)/P(X = x) (Théorème 1.28), il vient E(Y1 | X = x) ≥
E(Y2 | X = x) après division par P(X = x). Soit hi la fonction telle que E(Yi | X) = hi (X) : on vient de
prouver h1 (x) ≥ h2 (x) pour tout x, et donc on a bien h1 (X) ≥ h2 (X).
Les relations E(aY1 + bY2 | X) = aE(Y1 | X) + bE(Y2 | X) et |E(Y | X)| ≤ E(|Y | | X) se prouvent de la
même manière.
Pour E(ϕ(X)Y | X) = ϕ(X)E(Y | X), il faut aussi utiliser le fait que E(ϕ(X)Y | X = x) = ϕ(x)E(Y | X =
x) : pour cela, on utilisera le Théorème 1.28 et le fait que ϕ(X)1 {X = x} = ϕ(x)1 {X = x}.
2. On prouve le résultat pour ϕ(X) ≥ 0. Soit x ∈ X(Ω) avec P(X = x) > 0, h(x) = E(ϕ(Y ) | X = x) et
hy (x) = P(Y = y | X = x) : alors
1
h(x) = E(ϕ(Y ); X = x) (Théorème 1.28)
P(X = x)
1 X
ϕ(y)1 x0 = x P(Y = y, X = x0 )

= (Théorème 1.9 appliqué à (X, Y ))
P(X = x) 0
x ,y
1 X
= ϕ(y)P(Y = y, X = x)
P(X = x)
y
X
= ϕ(y)hy (x) (Définition 1.18).
y
P P
Ainsi, les fonctions h et y
ϕ(y)hy sont identiques, et donc h(X) = y
ϕ(y)hy (X) ce qui est exactement
ce qu’il fallait montrer.
3. On a P(X 0 ≤ X | X = x) = P(X 0 ≤ x | X = x) et puisque X et X 0 sont indépendantes, P(X 0 ≤ x |
X = x) = P(X 0 ≤ x) qui vaut FX (x) puisque X 0 a la même loi que X. On vient donc de prouver que
P(X 0 ≤ X | X) = FX (X).
4. On montre la formule générale : on a

E(Y | X = x)1 {X = x} = h(x)1 {X = x} = h(X)1 {X = x}

et donc
X X X
E(Y | X = x)1 {X = x} = h(X)1 {X = x} = h(X) 1 {X = x} = h(X).
x∈X(Ω) x∈X(Ω) x∈X(Ω)

133
ANNEXE A. CORRECTION DES EXERCICES

Pour X = ξA cela donne E(Y | ξA ) = 1 {ξA = 1} E(Y | ξA = 1) + 1 {ξA = 0} E(Y | ξA = 0) ce qui donne
bien le résultat puisque {ξA = 1} = A, {ξA = 0} = Ac et 1 {ξA = 1} = ξA .
5. La Proposition 1.11 donne
N
! !
X X X
E Xi | N =E 1 {k ≤ N } Xi | N = E(1 {k ≤ N } Xi | N ).
k=1 k≥1 k≥1

Puisque 1 {k ≤ N } est une fonction de N , la Proposition 1.31 donne

E(1 {k ≤ N } Xi | N ) = 1 {k ≤ N } E(Xi | N )

et donc !
N N
X X X
E Xi | N = 1 {k ≤ N } E(Xi | N ) = E(Xi | N ).
k=1 k≥1 k=1

6. Par des raisonnements similaires à ci-dessus, on voit que

N
! n
!
Y Y
E Xi | N = n =E Xi | N = n
k=1 k=1

et puisque les Xi sont indépendants et N , la Proposition 1.20 donne

n
! n
!
Y Y
E Xi | N = n =E Xi = E(X1 )n
k=1 k=1

ce qui montre qui prouve le résultat.

7. Si FX (x) = P(X ≤ x), on a en fait FX (X) = P(X 0 ≤ X | X) avec X et X 0 indépendantes et de même
loi.

,→ Exercice 1.2 (Calcul d’espérances conditionnelles)

1. Pour k, s ∈ N∗ avec k ≤ s − 1 on a

P(X = k, Y = s − k) (1 − p)k−1 p(1 − p)s−k−1 p 1

P(X = k | X + Y = s) = = Ps−1 = ,
P(X + Y = s) (1 − p) p(1 − p)
j−1 s−j−1 p s − 1
j=1

et donc X sachant X + Y est uniformément réparti sur {1, . . . , X + Y − 1}. Puisque la moyenne de la loi
uniforme sur {1, . . . , n} vaut (n + 1)/2 (cf. Tableau B.1) on en déduit que

X +Y
E(X | X + Y ) = .
2

2. Puisque les Xi sont i.i.d., on a E(Xi | X1 + · · · + Xn ) = E(X1 | X1 + · · · + Xn ). Par ailleurs, on a par

linéarité de l’espérance conditionnelle
n n
! n
X X X
E(Xi | X1 + · · · + Xn ) = E Xi | X1 + · · · + Xn = Xi
i=1 i=1 i=1

en utilisant la Proposition 1.31 pour la dernière égalité, ce qui donne le résultat.

3. Par calcul direct :
s s
X X ak −b bs−k (a + b)s
P (X + Y = s) = P(X = k, Y = s − k) = e−a e = e−(a+b) , s ∈ N,
k! (s − k)! s!
k=0 k=0

134
 A.1. EXERCICES DU CHAPITRE 1

et par la fonction génératrice :

φX+Y (z) = φX (z)φY (z) = exp (−a(1 − z)) exp (−b(1 − z)) = exp (−(a + b)(1 − z)) , z ∈ [−1, 1]

en utilisant la Proposition 1.26 pour la première égalité (la fonction génératrice de la somme de variables
indépendantes est égale au produit des fonctions génératices) puis l’expression de la fonction génératrice de
la loi de Poisson pour la seconde égalité (cf. Tableau B.1). On reconnaît bien la fonction génératrice d’une
loi de Poisson de paramètre a + b, ce qui donne le résultat. Pour x, s ∈ N avec x ≤ s cela donne
x s−x
e−a ax! e−b (s−x)!
b   x  s−x
P(X = x)P(Y = s − x) s a b
P (X = x | X + Y = s) = = (a+b)s = .
P(X + Y = s) e−(a+b) s! x a+b a+b

La loi conditionnelle de X sachant X + Y est donc une loi binomiale de paramètre (X + Y, a/(a + b)) d’où
on déduit
a
E(X | X + Y ) = (X + Y )
a+b
puisque la moyenne de la loi binomiale de paramètre (n, p) est np, cf. Tableau B.1.
4. Pour α ∈ {1, . . . , n} on a
1
P(max(X, Y ) = min(X, Y ) = α) = P(X = Y = α) =
n2
et pour β > α dans {1, . . . , n},
2
P(max(X, Y ) = β, min(X, Y ) = α) = P(X = α, Y = β) + P(X = β, Y = α) =
n2
ce qui donne
X 2n − 2α + 1
P(min(X, Y ) = α) = P(max(X, Y ) = β, min(X, Y ) = α) =
n2
β≥α

et donc 
0 si β < α,





 1
P(max(X, Y ) = β | min(X, Y ) = α) = si β = α,
 2n − 2α +1




 2
 si β > α.
2n − 2α + 1
et donc
1 {min(X, Y ) = β} + 21 {min(X, Y ) < β}
P(max(X, Y ) = β | min(X, Y )) = .
2n − 2 min(X, Y ) + 1

,→ Exercice 1.3 (Théorème de la variance totale)

1. Soit Z = E(Y | X). Pour la première formule, on commence par développer le carré

Var(Y | X) = E Y 2 − 2Y Z + Z 2 | X

et puisque l’espérance conditionnelle est linéaire (Proposition 1.31) cela donne

Var(Y | X) = E Y 2 | X − 2E (Y Z | X) + E Z 2 | X .

Puisque Z = E(Y | X) est par définition une fonction de X, on obtient (Proposition 1.31)

E (Y Z | X) = ZE (Y | X) = Z 2

ainsi que E(Z 2 | X) = Z 2 ce qui donne bien la première formule.

Pour la deuxième formule, on écrit

Var(Y ) = E (Y − E(Y ))2 = E (Y − Z + Z − E(Y ))2 = A + B + 2C

135
ANNEXE A. CORRECTION DES EXERCICES

avec
A = E (Y − Z))2 , B = E (Z − E(Y ))2



et C = E ((Y − Z) (Z − E(Y ))) .
Le théorème de l’espérance totale (Théorème 1.32) donne

A = E E((Y − Z)2 | X) = E(Var(Y | X))

 

ainsi que
B = E((Z − E(Y ))2 ) = E((Z − E(Z))2 ) = Var(Z) = Var(E(Y | X))
et enfin
C = E [E ((Y − Z)(Z − E(Y )) | X)] .
Puisque Z − E(Y ) est une fonction de X, on a comme précédemment

E ((Y − Z)(Z − E(Y )) | X) = (Z − E(Y ))E (Y − Z | X)

et puisque
E (Y − Z | X) = E(Y | X) − E(Z | X) = Z − Z = 0
on obtient C = 0, ce qui prouve le résultat.
2. Soit N le nombre de clients dans une semaine et Di la dépense du ième client, si bien que le chiffre
d’affaires R est donné par
N
X
R= Di .
k=1

Puisque les Di sont i.i.d. et indépendants de N , on a E(Di | N ) = E(D) et donc

" N
!# " N
#
X X
E(R) = E E Di | N =E E (Di | N ) = E(D)E(N ) = 4 × 104 .
k=1 k=1

En outre, on vient de calculer E(R | N ) = N E(D) si bien que Var(E(R | N )) = Var(N )(E(D))2 et
" N
!2 #
 2
 X
Var(R | N ) = E (R − N E(D)) | N = E (Di − E(D)) |N = N Var(D)
k=1

et donc
Var(R) = Var(N )(E(D))2 + E(N )Var(D) = 400 × 104 + 400 × 104 = 8 × 106 .

Exercice 1.4

1. Par définition, X
φX (z) = E(z X ) = z k P(X = k)
k≥0

et donc
X X
φ0X (x) = kz k−1 P(X = k) = E Xz X−1 et φ00X (x) = k(k − 1)z k−2 P(X = k) = E X(X − 1)z X−2



k≥0 k≥0

ce qui donne
φ0X (1) = E (X) et φ00X (x) = E (X(X − 1)) .

136
 A.1. EXERCICES DU CHAPITRE 1

Exercice 1.5
t
PX
1. Si Gk est le nombre de personnes impliquées dans le k-ième accident, alors Zt = k=1 Gk et par hypothèse,
les Gk sont i.i.d. et indépendantes de Xt . Ainsi, la question 6 de l’exercice 1 donne
Xt
!
Zt
Y G1

Xt
= E z G1 = φG1 (z)Xt


E z | Xt = E z | Xt
k=1

puis le théorème de l’espérance totale donne

φZt (z) = E E(z Zt | Xt ) = E φG1 (z)Xt = φXt (φG1 (z)) .

   

2. Puisque φXt (z) = e−at(1−z) et φG1 (z) = z/(2 − z), il vient

φ0Zt = atφ0G1 e−at(1−φG1 ) et φ00Zt = atφ00G1 e−a(1−φG1 ) + a2 t2 (φ0G1 )2 e−at(1−φG1 ) .

Puisque
2 4
φ0G1 (z) = et φ00G1 (z) = ,
(2 − z)2 (2 − z)3
on obtient finalement E(Zt ) = φ0Zt (1) = 2at et

Var(Zt ) = φ00Zt (1) + φ0Zt (1)(1 − φ0Zt (1)) = 4at + 4a2 t2 + 2at(1 − 2at) = 6at.

3. On a
E(Zt ) = E(Xt )E(G) = 2at
et
Var(Zt ) = E(Xt Var(G)) + Var(Xt E(G)) = 2at + 4at = 6at.

Problème 1.6

1. Conditionnellement à X = k, Y suit une loi binomiale de paramètre (20 − k, 1/4) puisque pour chacune
des 20 − k questions que le candidat n’a pas apprise, la probabilité d’obtenir un point vaut 1/4. On a donc

X 3(20 − X)
E(Y | X) = 5 − et Var(Y | X) = .
4 16

2. On a
3E(X)
E(N ) = E(X + Y ) = E(X) + E(E(Y | X)) = 5 +
4
et

Var(N ) = E(Var(N | X)) + Var(E(N | X))

= E(Var(X + Y | X)) + Var(E(X + Y | X))
= E(Var(Y | X)) + Var(X + E(Y | X))
3(20 − E(X)) 3X
 
= + Var 5 +
16 4
3(20 − E(X)) 9
= + Var (X) .
16 16


3. On a 100
20
questionnaires possibles. Si X = k, cela signifie que parmi les 20 questions, on en a tirées k
parmi les p connues du candidat et 20 − k parmi les 100 − p autres ce qui donne le résultat attendu. Pour
la moyenne, cela donne
20   
1 X p 100 − p
E(X) = 100

k .
20
k 20 − k
k=0

137
ANNEXE A. CORRECTION DES EXERCICES

p

p−1


Pour se ramener à l’identité de l’indication, il faut faire disparaître le k : pour cela on utilise k k
=p k−1
et l’on obtient
20    20     
p X p−1 100 − p p X p−1 100 − p p 99 p
E(X) = 100

= 100

= 100

= .
20
k−1 20 − k 20
k−1 19 − (k − 1) 20
19 5
k=0 k=0

Pour la variance, on calcule

20    20     
1 X p 100 − p p(p − 1) X p−2 100 − p p(p − 1) 98
E(X(X − 1)) = 100

k(k − 1) = 100

= 100


20
k 20 − k 20
k−2 20 − k 20
18
k=0 k=0

et donc E(X(X − 1)) = 19p(p − 1)/495. On en déduit

19p(p − 1) p p2 4p(100 − p)
Var(X) = E(X(X − 1)) + E(X) − (E(X))2 = + − = .
495 5 25 2475

4. Pour p = 50 on a alors E(N ) = 12,5 et Var(N ) ≈ 5,4, et pour p = 70 on a E(N ) = 15,5 et Var(N ) ≈ 4,78.
N’apprendre que 50 questions n’assure pas d’avoir la moyenne !

A.2 Exercices du Chapitre 2

,→ Exercice 2.1

1. On a Z
P(fX (X) = 0) = 1 {fX (x) = 0} fX (x)dx

qui vaut bien 0 car 1 {fX (x) = 0} fX (x) = 0. Ce résultat garantit que la densité conditionnelle fY |X de Y
sachant X est bien définie.

Exercice 2.2 (Caractérisations variationnelles)

1. On développe le carré E((X − x)2 ) = E(X 2 ) − 2xE(X) + x2 et on minimise en x.

2. On écrit
Z Z
E|X − x| = 1 {y > x} (y − x)fX (y)dy + 1 {y < x} (x − y)fX (y)dy
Z ∞ Z ∞ Z x Z x
= yfX (y)dy − x fX (y)dy + x fX (y)dy − yfX (y)dy
x x −∞ −∞

et donc en dérivant en x, on obtient

Z ∞ Z x
d
E|X − x| = −xfX (x) − fX (y)dy + xfX (x) + fX (y)dy + xfX (x) − xfX (x)
dx x −∞

= P(X < x) − P(X > x)

qui vaut 2FX (x) − 1 : la dérivée est donc croissante et s’annule en la médiane.

,→ Exercice 2.3 (Calcul de densités)

1 x−b


1. Soit g(x) = f
|a| X a
: le théorème de transfert (Théorème 2.11) donne
Z
P(aX + b ≤ z) = 1 {ax + b ≤ z} fX (x)dx

138
 A.2. EXERCICES DU CHAPITRE 2

et donc par changement de variable, (attention à la valeur absolue ! !)

Z Z z
1 y−b
 
P(aX + b ≤ z) = 1 {y ≤ z} fX dx = g.
|a| a −∞
Rz
Puisque FaX+b (z) = −∞
faX+b , on obtient en dérivant faX+b = g ce qui donne le résultat.

R x= (fX (x) + fX (−x))1 {x ≥ 0} : comme pour la question précédente il suffit de montrer que
2. Soit g(x)
F|X| (x) = −∞ g. Pour x < 0 on a F|X| (x) = P(|X| ≤ x) = 0 et pour x ≥ 0,
Z x Z x
F|X| (x) = P(|X| ≤ x) = P(−x ≤ X ≤ x) = fX (a)da = (fX (a) + fX (−a))da
−x 0
Rx
ce qui montre que FX (x) = −∞
g pour tout x ∈ R.
3. Pour x ≥ 0 √ √
√ √
P X 2 ≤ x = P − x ≤ X ≤ x = FX ( x) − FX (− x)

et donc en dérivant, on obtient le résultat.

R Rz
4. Soit g(s) = fX (x)fY (s−x)dx : comme précédemment il suffit de montrer que FX+Y (z) = −∞ g. Puisque
X et Y sont indépendantes et que chacune est absolument continue, le couple (X, Y ) est absolument continue
(Théorème 2.13). Par définition de la densité (en dimension 2) ou bien en utilisant le théorème de transfert
(Théorème 2.11) avec ϕ(x, y) = 1 {x + y ≤ z}, on obtient
Z
P(X + Y ≤ z) = 1 {x + y ≤ z} fX,Y (x, y)dxdy.

Puisque X et Y sont indépendantes, la densité du couple est égale au produit des densités (Théorème 2.13)
et donc Z
P(X + Y ≤ z) = 1 {x + y ≤ z} fX (x)fY (y)dxdy.

Le changement de variables (x, y) 7→ (x, x + y) donne

Z
P(X + Y ≤ z) = 1 {s ≤ z} fX (x)fY (s − x)dxds

et puisque toutes les quantités sont ≥ 0, on peut utiliser le théorème de Fubini qui donne
Z
P(X + Y ≤ z) = ds1 {s ≤ z} g(s)ds

ce qui prouve le résultat.

5. On a P(max(X, Y ) ≤ z) = P(X ≤ z)P(Y ≤ z) et il suffit de dériver : la dérivée du membre de gauche
donne la densité de max(X, Y ) et la densité du membre de droite est égale à fX (z)P(Y ≤ z)+fY (z)P(X ≤ z)
ce qui prouve le résultat.
6. Pour x < 0 on a P(−c ln(U ) ≤ x) = 0 et pour x ≥ 0,

P(−c ln(U ) ≤ x) = P(U ≥ e−x/c ) = 1 − e−x/c .

La dérivée vaut (1/c)e−x/c : on reconnaît la densité de la loi exponentielle de paramètre 1/c.

7. L’application
 p p 
ϕ : (u1 , u2 ) ∈]0, 1[2 7→ cos(2πu1 ) −2 ln(u2 ), sin(2πu1 ) −2 ln(u2 ) ∈ ∆

avec ∆ = R2 \ {(x, 0) : x ≥ 0} est un difféomorphisme C ∞ d’inverse

1
 >

ϕ−1 : x = (x1 , x2 ) ∈ ∆ 7→ θ(x), e−x x/2 ∈]0, 1[2
2π

139
ANNEXE A. CORRECTION DES EXERCICES

avec θ(x) ∈]0, 2π[ tel que cos θ(x) = x1 /(x> x)1/2 et sin θ(x) = x2 /(x> x)1/2 , en particulier

0 si x1 , x2 > 0,
x2
 
θ(x) = arctan + 2π si x1 > 0 > x2 ,
x1 
π si x2 > 0 > x1 .

En particulier, θ a les mêmes dérivées partielles que (x1 , x2 ) 7→ arctan(x2 /x1 ) et on en déduit que
 x2 x1 
−
2πx> x 2πx> x
Jacx ϕ−1 ) = 

 

> >
−x1 e−x x/2
−x2 e−x x/2

et donc
x22 > x21 > 1 −x> x/2
det Jacx ϕ−1 e−x x + e−x x =



= >
e
2πx x 2πx> x 2π
et le Théorème 2.14 donne donc
1 −x> x
fX1 ,X2 (x) = e avec (X1 , X2 ) = ϕ(U1 , U2 ).
2π
Puisque   
1 2 1 2
fX1 ,X2 (x1 , x2 ) =√ e−x1 /2 √ e−x2 /2
2π 2π
on voit que X1 et X2 sont i.i.d. et suivent la loi normale standard d’après le Théorème 2.13.

,→ Exercice 2.4 (Loi normale)

1. De manière générale, on a par le théorème de transfert

Z Z
E(X) = xfX (x)dx et Var(X) = E((X − E(X))2 ) = (x − E(X))2 fX (x)dx.

Dans le cas présent, cela donne donc

 
(x − m)2
Z
1
E(X) = x √ exp − dx
σ 2π 2σ 2

et le changement de variables y = (x − m)/σ donne donc

     
y2 y2 y2
Z Z Z
1 1 1
E(X) = (σy + m) √ exp − dy = σ y √ exp − dy + m √ exp − dy.
2π 2 2π 2 2π 2
 2

La première intégrale est nulle par parité, et la seconde vaut 1 puisque √1
2π
exp − y2 est une densité (c’est
celle de la loi normale standard avec m = 0 et σ = 1). Cela montre bien que E(X) = m. Pour la variance,
le même changement de variable donne, et en utilisant aussi m = E(X),
 
y2
Z
1
Var(X) = E((X − E(X))2 ) = E((X − m)2 ) = σ 2 y 2 √ exp − dy
2π 2

et par intégration par parties,

 
y2
i+∞ Z
1
h
2 2 −y 2 /2 2
Var(X) = E((X − E(X)) ) = σ −ye +σ √ exp − dy
−∞ 2π 2

ce qui donne bien Var(X) = σ 2 .

2. La formule de transfert donne Z
E(X k ) = xk fX (x)dx.

140
 A.2. EXERCICES DU CHAPITRE 2

Lorsque m = 0, fX est paire et donc si k est impair, xk fX (x) est impaire et son intégrale est donc nulle.
3. Pour k = 1 on a E(X 2 ) = Var(X) + (E(X))2 = σ 2 + m2 qui vaut bien 1 puisque σ = 1 et m = 0. Pour k
plus grand, le théorème de transfert donne
Z
1 2
E(X 2k+2 ) = √ x2k+2 e−x /2
dx
2π
et on obtient donc en intégrant par parties
h i∞ Z 
2k+2 1 2k+1 −x2 /2 2k −x2 /2
E(X )= √ −x e + (2k + 2) x e dx
2π −∞

ce qui donne bien E(X 2k+2 ) = (2k + 1)E(X 2k ).

4. Le Théorème 2.16 donne
E(X1 {a < X < b})
E(X | a < X < b) = .
P(a < X < b)
Puisque P(a < X < b) = FX (b) − FX (a), il suffit de montrer que le numérateur est égal à fX (a) − fX (b).
Pour cela, on utilise le théorème de transfert qui nous donne
Z b ib
1 1
2 2
h
E(X1 {a < X < b}) = √ xe−x /2
dx = √ −e−x /2
2π a 2π a

qui vaut bien fX (a) − fX (b).

5. On regarde les fonctions caractéristiques : par définition,

ϕX+Y (t) = E(eit(X+Y ) ) = E(eitX eitY ).

Puisque X et Y sont indépendantes, eitX et eitY le sont aussi (Proposition 1.19) et donc l’espérance du
produit est égal au produit des espérances (Proposition 1.20) : cela donne

E(eitX eitY ) = E(eitX )E(eitY ) = ϕX (t)ϕY (t).

En utilisant l’expression de la fonction caractéristique d’une loi normale (Proposition 2.7) on obtient donc
 
−t2
ϕX+Y (t) = exp − (Var(X) + Var(Y )) + ix(E(X) + E(Y )) .
2

On reconnaît la fonction caractéristique d’une loi normale de moyenne E(X) + E(Y ) = E(X + Y ) et de
variance Var(X) + Var(Y ) = Var(X + Y ) (puisque X et Y sont indépendantes).

,→ Exercice 2.5 (Lois Gamma et Beta)

1. Pour que les fonctions considérées soient des densités, il faut qu’elles soient ≥ 0 et que leur intégrale vaille
Γ β
1. Par définition, les fonctions fα,λ et fα,β sont ≥ 0, et pour qu’elles soient intégrables il faut α > 0 et λ ≥ 0
β
pour la loi Gamma, et α, β > 0 pour la loi beta. Sous ces conditions, les valeurs ci-dessus pour cΓ α,λ et cα,β
sont les constantes de normalisation qui assurent que
Z Z
Γ β
fα,λ (x)dx = fα,β (x)dx = 1.

2. La première identité s’obtient par intégration par partie, et pour la deuxième identité :
Z
Γ(α)Γ(β) = xα−1 y α−1 e−(x+y) 1 {x, y ≥ 0} dxdy
Z
= (zt)α−1 (z(1 − t))β−1 e−z z1 {z ≥ 0, t ∈ [0, 1]} dzdt

141
ANNEXE A. CORRECTION DES EXERCICES

où l’on a fait le changement de variable (x, y) = ϕ−1 (z, t) et le facteur z correspond à la valeur absolue du
déterminant du Jacobien de ϕ−1 .

3. Loi Gamma : la moyenne est donnée par

∞ ∞
λα
Z Z
α −λx 1 α
E(X) = x e dx = xα e−x dx =
Γ(α) 0
λΓ(α) 0
λ

et
∞ ∞
λα
Z Z
1 α(α + 1)
E(X 2 ) = xα+1 e−λx dx = xα+1 e−x dx =
Γ(α) 0
λ2 Γ(α) 0
λ2
si bien que la variance est donnée par

α2 + α α2 α
Var(X) = − 2 = 2.
λ2 λ λ

La transformée de Laplace :
∞
λα λα
Z
−sX
E(e )= e−sx xα−1 e−λx dx =
Γ(α) 0
(λ + s)α

Loi Beta : la moyenne est donnée par

Z 1
1 B(α + 1, β) Γ(α + 1)Γ(β) Γ(α + β) α
E(X) = xα (1 − x)β−1 dx = = =
B(α, β) 0
B(α, β) Γ(α + β + 1) Γ(α)Γ(β) α+β

et
Z 1
1 Γ(α + 2)Γ(β) Γ(α + β) (α + 1)α
E(X 2 ) = xα+1 (1 − x)β−1 dx = =
B(α, β) 0
Γ(α + β + 2) Γ(α)Γ(β) (α + β + 1)(α + β)
et donc la variance est donnée par

(α + 1)α α2
Var(X) = −
(α + β + 1)(α + β) (α + β)2
1
(α2 + α)(α + β) − α3 − α2 β − α2


= 2
(α + β + 1)(α + β)
αβ
= .
(α + β + 1)(α + β)2

Pour la transformée de Laplace,

Z 1
1
E(e−sX ) = e−sx xα−1 (1 − x)β−1 dx
B(α, β) 0
X (−s)k B(α + k, β)
=
k! B(α, β)
k≥0
X (−s)k Γ(α + k)Γ(α + β)
=
k! Γ(α)Γ(α + β + k)
k≥0

X (−s)k k−1
Y α+i
=1+ .
k! α+β+i
k≥1 i=0

142
 A.2. EXERCICES DU CHAPITRE 2

4. On a
Z
U 1 u
    
E f = f uα−1 v β−1 e−(u+v) 1 {u, v ≥ 0} dudv
U +V Γ(α + β)B(α, β) u+v
Z
1
= f (t)(zt)α−1 (z(1 − t))β−1 e−z z1 {z ≥ 0, t ∈ [0, 1]} dzdt
Γ(α + β)B(α, β)
Z 1 Z ∞
1
= f (t)t α−1
(1 − t) β−1
dt e−z z α+β−1 dz
Γ(α + β)B(α, β) 0 0
Z 1
1
= f (t)tα−1 (1 − t)β−1 dt.
B(α, β) 0

En prenant f la fonction indicatrice d’un Borélien on obtient donc la réponse.

,→ Exercice 2.6 (Loi exponentielle)

1. On a !!
n  n
X −λE1

n µ
E exp −λ Ek = E(e ) =
λ+µ
k=1

et l’on reconnaît donc la transformée de Laplace d’une loi Gamma de paramètre (n, µ).

2. Si l’on définit q = µ/(λ + µ) et que l’on note p le paramètre de G,

G
!!  G !
X µ X pq
E exp −λ Ek =E = (1 − p)k−1 pq k =
λ+µ 1 − q(1 − p)
k=1 k≥1

ce qui donne !!
G
X pµ pµ
E exp −λ Ek = = .
λ + µ − µ(1 − p) λ + µp
k=1

On reconnaît la transformée de Laplace de la loi exponentielle de paramètre µp : ce n’est rien d’autre que
la propriété de division du processus de Poisson !

3. Pour x ∈]0, 1[, on a

E1 µ
 
≥ x = P(E2 ≤ E1 (1/x − 1)) = E 1 − e−µ(1/x−1)E1 = 1 −


P = 1 − x.
E1 + E2 µ + µ(1/x − 1)

On reconnaît donc une loi uniforme sur [0, 1].

,→ Exercice 2.7

1. ∆ est la région hachurée sur le dessin suivant :

x=y

143
ANNEXE A. CORRECTION DES EXERCICES

f est ≥ 0, le changement de variables (x, y) ∈ ∆ 7→ (x, y/x) ∈]0, 1]2 donne

Z Z r Z Z 1  Z 1 
x x dz
f= 1 {0 < y ≤ x ≤ 1} dxdy = √ 1 {0 < x, z ≤ 1} dxdz = xdx √ =1
y z 0 0 z

et donc f est bien une densité. Le Théorème 2.12 donne pour x ∈]0, 1]
Z Z r
x √ √
fX (x) = fX,Y (x, y)dy = 1 {0 < y ≤ x} dy = x [2 y]x0 = 2x
y

et pour y ∈]0, 1]

2(1 − y 3/2 )
Z Z r i1
x 1 2 3/2
h
fY (y) = fX,Y (x, y)dx = 1 {y ≤ x ≤ 1} dx = √ x = .
y y 3 y 3y 1/2

2. On a fX,Y (x, y) 6= fX (x)fY (y) et donc X et Y ne sont pas indépendantes au vu du Théorème 2.13. On a
Z 1 Z 1
2
E(X) = xfX (x)dx = 2 x2 dx =
0 0
3

et
Z 1 Z 1 Z 1 Z 1
2 4 4 2
E(Y ) = yfY (y)dy = y 1/2 (1 − y 3/2 )dy = (1 − y 3/2 )d(y 3/2 ) = (1 − z)dz = .
0
3 0
9 0
9 0
9

Par ailleurs, le théorème de transfert 2.11 donne

Z
E(XY ) = xyfX,Y (x, y)dxdy
Z
= x3/2 y 1/2 1 {0 < y ≤ x ≤ 1} dxdy
Z 1 ix
2 3/2
h
= x3/2 y dx
0
3 0
Z 1
2
= x3 dx
3 0

et donc E(XY ) = 1/6. Finalement,

1 4 1
Cov(X, Y ) = E(XY ) − E(X)E(Y ) = − = .
6 27 54

3. Soit ϕ : (x, y) ∈ ∆ 7→ (x, y/x) ∈]0, 1]2 d’inverse ϕ−1 : (x, z) ∈]0, 1]2 7→ (x, xz) ∈ ∆ : alors
 
1 0
Jacx,z ϕ−1 =


z x

dont le déterminant vaut x, si bien que par le Théorème 2.14, on a pour x, z ∈]0, 1[

x x
q
fX,Y /X (x, z) = fX,Y (x, xz)x = x = √ .
xz z

En intégrant sur x, le Théorème 2.12 donne

Z 1
x 1
fY /X (z) = √ dx = √ .
0 z 2 z

On a bien fX,Y /X = fX fY /X et donc X et Y /X sont indépendantes.

144
 A.2. EXERCICES DU CHAPITRE 2

4. Par définition, la densité fY |X de la loi de Y sachant X est donnée par

r
fX,Y (X, y) X 1 1
fY |X (y) = = 1 {0 < y ≤ X} = √ 1 {0 < y ≤ X}
fX (X) y 2X 2 yX
et donc le Théorème 2.18 donne
Z X iX
y 1 2 3/2 X
h
E(Y | X) = √ dy = √ y = .
0 2 yX 2 X 3 0 3

A l’aide du théorème de l’espérance totale, on retrouve

1 12 2
E(Y ) = E(E(Y | X)) = E(X) = = .
3 33 9

5. Par définition de la densité,

Z r
x
P(Y < X/2) = 1 {y < x/2} 1 {0 < y ≤ x ≤ 1} dxdy
y
Z
x
= √ 1 {0 < z ≤ 1/2, 0 < x ≤ 1} dxdz
z
1
= √ .
2
Par définition, la densité de X sachant Y est donnée par
√
fX,Y (x, Y ) x 3Y 1/2 3 x
q
fX|Y (x) = = = .
fY (Y ) Y 2(1 − Y 3/2 ) 2(1 − Y 3/2 )

6. On en déduit comme précédemment

1 √
3(1 − Y 5/2 )
Z
3 x
E(X | Y ) = x dx =
Y
2(1 − Y 3/2 ) 5(1 − Y 3/2 )

,→ Exercice 2.8

1. On a
fX,Y (x, y)
fY |X=x (y) =
fX (x)
et donc par hypothèse,
1 2 1 1 1 2
fX,Y (x, y) = fY |X=x (y)fX (x) = p e−y /(2 2x ) × √ e−x 1 {x > 0} = e−x(1+y ) 1 {x > 0}
1
2π 2x πx π

d’où on déduit Z ∞
1 −x(1+y2 ) 1
fY (y) = e dx = .
0
π π(1 + y 2 )

2. On a
fX,Y (x, y) 1 2 2
fX|Y =y (x) = = e−x(1+y ) 1 {x > 0} × π(1 + y 2 ) = (1 + y 2 )e−x(1+y ) 1 {x > 0}
fY (y) π
d’où on déduit 2
fX|Y (x) = (1 + Y 2 )e−x(1+Y ) 1 {x > 0}
et donc Z ∞ Z ∞
−x(1+Y 2 ) 1 1
E(X | Y ) = x(1 + Y )e 2
dx = xe−x dx = .
0
1+Y2 0
1+Y2

145
ANNEXE A. CORRECTION DES EXERCICES

Par le théorème de l’espérance totale,

1
 
E(X) = E
1+Y2
et par le théorème de transfert,
Z Z
1 1 dy
E(X) = fY (y)dy = .
1 + y2 π (1 + y 2 )2
D’un autre côté, si on repart de la densité de X on obtient
Z ∞
1 1
E(X) = √ x1/2 e−x dx = √ Γ(3/2).
π 0 π
On obtient donc Z
dy √
= πΓ(3/2).
(1 + y 2 )2

,→ Exercice 2.9

1. On note T1 et T2 les instants d’arrivée : on cherche donc à calculer

P(rencontre) = P(max(T1 , T2 ) ≤ min(T1 , T2 ) + 1/6).

Par symétrie,

P(max(T1 , T2 ) ≤ min(T1 , T2 ) + 10) = 2P(T2 ≤ T1 + 1/6, T1 ≤ T2 )

Z
=2 1 {17 ≤ t2 ≤ t1 ≤ 18, t2 ≥ t1 − 1/6} dt1 dt2 .

On cherche donc à calculer l’aire ci-dessous :

18
1/6

17
17 18
√
qui vaut y 2 − y 2 avec 2y 2 = 1/62 , soit 11/72. La réponse est donc P(rencontre) = 11/36.
2. En généralisant le raisonnement ci-dessus, on obtient pour x ∈ [0, 1]
√
P(|T1 − T2 | ≤ x) = 2 y 2 − y 2

avec y donné par 2y 2 = x2 , soit

P(|T1 − T2 | ≤ x) = 2x − x2 .
La densité de |T1 − T2 | vaut donc 2(1 − x)1 {x ∈ [0, 1]}.

Problème 2.10

1. Soit x ≥ 0 : on a
P(E1 ≥ x + y)
P(E1 − x ≥ y | E1 ≥ x) = = e−µy .
P(E1 ≥ x)

146
 A.3. EXERCICES DU CHAPITRE 3

2. On a P(E1 /α ≥ x) = P(E1 ≥ αx) = e−µαx .

3. On a
Z
0 0
E(e−λE2 −λ (E1 −E2 )
| E2 ≤ E1 ) = 2 1 {0 ≤ x2 ≤ x1 } e−λx2 −λ x1 −x2
µ2 e−µ(x1 +x2 ) dx1 dx2
Z
0
=2 1 {0 ≤ u, v} e−λu−λ v µ2 e−µ(v+2u) dudv
Z  Z 
−2µu −λu −µv −λ0 v
= 2µe e du µe e dv
0
= E(e−λE1 /2 )E(e−λ E1
).

4. Cela montre bien que (E2 , E1 − E2 ) conditionnellement à E2 ≤ E1 est égale en distribution à (E2 /2, E1 ).
Pour le max, on écrit

P(max(E1 , E2 ) ≥ x) = 2P(E1 ≥ x, E2 ≤ E1 )
= P(E1 ≥ x | E2 ≤ E1 )
= P(E2 + (E1 − E2 ) ≥ x | E2 ≤ E1 )
= P(E1 + E2 /2 ≥ x)

où l’on a utilisé la question précédente pour la troisième égalité.

5. On a

E(e−λn En −λ1 (E1 −En )−···−λn−1 (En−1 −En ) | En ≤ Ek , k = 1, . . . , n)

Z
=n 1 {0 ≤ xn ≤ xk , k = 1, . . . , n} e−λn xn −λ1 (x1 −xn )−···−λn−1 (xn−1 −xn ) µn e−µ(x1 +···+xn ) dx1 · · · dxn
Z
=n 1 {0 ≤ u1 , . . . , un } e−λn un −λ1 u1 −···−λn−1 un−1 µn e−µ(u1 +···+un−1 +nun ) du1 · · · dun

= E(e−λn En /n )E(e−λ1 E1 ) · · · E(e−λn−1 En−1 ).

6.
7. Les arguments ci-dessous montrent que mink=1,...,n Ek est égale en distribution à E1 /n, c’est donc une
variable exponentielle de paramètre nµ.

A.3 Exercices du Chapitre 3

,→ Exercice 3.1 (Approximation de π)

1. Il suffit de compter deux fois la proportion de fléchettes à distance ≤ 1 du centre. En effet, soit Xn ∈ [0, 1]2
l’emplacement de la n-ième fléchette (on suppose sans perte de généralité que le carré est de dimension un).
ParPhypothèse, les (Xn ) sont i.i.d. et uniformément réparties sur [0, 1]2 . Alors l’estimateur proposé s’écrit
2 n
n k=1
ϕ(Xk ) avec ϕ(x) = 1 {kxk ≤ 1}. La loi forte des grands nombres s’applique et donne
n Z
2X p.s.
ϕ(Xk ) → 2E(ϕ(X1 )) = 2 1 {kxk ≤ 1} dx = π.
n [0,1]2
k=1
√
Par ailleurs, le théorème central limite nous dit que la qualité de cette approximation est d’ordre 1/ n, i.e.,
√
la différence entre l’estimation et la valeur recherchée est de l’ordre 1/ n.

147
ANNEXE A. CORRECTION DES EXERCICES

Exercice 3.2

1. Pour toute réalisation ω, la suite (Mn (ω)) est croissante et converge donc vers M∞ (ω) = maxk≥1 Uk (ω) :
p.s.
on a donc la convergence presque sûre Mn → M∞ . Par contre, il n’est pas vrai que M∞ (ω) = 1 pour tout
ω : il existe par exemple ω tel que Uk (ω) = 1/2 pour tout k. En revanche, on va maintenant montrer que
l’évènement E = {ω : M∞ (ω) = 1} a probabilité 1, ce qui prouvera le résultat P(Mn → 1) = 1 puisque
P(E) ≤ P(Mn → 1). Par propriété d’une mesure de probabilités, on a (Proposition 1.1)

P(M∞ ≤ x) = P(Uk ≤ x ∀k ≥ 1) = lim P(Uk ≤ x ∀k = 1, . . . , n).

n→∞

Puisque les (Uk ) sont i.i.d. et uniformément réparties sur [0, 1], on a

P(Uk ≤ x ∀k = 1, . . . , n) = P(U1 ≤ x)n = xn .

On obtient donc P(M∞ ≤ x) = 0 pour tout x < 1, ce qui donne en faisant x ↑ 1 que P(M∞ < 1) = 0
(Proposition 1.1) et donc P(M∞ = 1) = 1.

Exercice 3.3

1. On utilise la définition de convergence en loi vue en amphi : par hypothèse on a que FXn (x) → Fc (x)
pour tout x où FX est continue. Pour une variable aléatoire constante, on a Fc (x) = P(c ≤ x) = 1 si
P
x ≥ c et 0 sinon, donc FX est continue partout sauf en c. Pour montrer que Xn → c il faut montrer que
P(|Xn − c| ≥ ε) → 0 pour tout ε > 0. On a

P(|Xn − c| ≥ ε) = P(Xn ≥ c + ε ou Xn ≤ c − ε) = 1 − FXn (c + ε) − FXn (c − ε).

Puisque c ± ε 6= c pour ε > 0, on a FXn (c + ε) → 1 et FXn (c − ε) → 0 ce qui donne le résultat.

L
2. La Proposition 3.11 implique la convergence jointe (Xn , Xn − Yn ) →(X, 0) et puisque la fonction f :
(x, d) 7→ x − d est continue, on obtient en appliquant la Proposition 3.10 que
L
Yn = f (Xn , Xn − Yn ) → f (X, 0) = X.

Exercice 3.4

1. Attention, on ne peut pas directement appliquer la loi forte des grands nombres à la suite Yk = Xk Xk+1
car les Yk ne sont pas indépendantes. Néanmoins, les deux suites (Zk0 ) et (Zk1 ) avec Zki = Y2n−i sont elles i.i.d.
Pn p.s.
(mais elles sont dépendantes), et donc la loi forte des grands nombres donne n1 k=1 k
Z i → E(Z1i ) = E(X1 )2 .
Puisque
2n 2n n n n n
1 X 1 X 1 X 1 X 1 X 0 1 X 1
Xk Xk+1 = Yk = Y2k + Y2k−1 = Zk + Zk
2n 2n 2n 2n 2n 2n
k=1 k=1 k=1 k=1 k=1 k=1

on obtient donc le résultat voulu, en utilisant aussi la Proposition 3.2 qui implique que si deux suites de
variables aléatoires convergent presque sûrement, alors leur somme aussi.
2. Non, on ne peut pas directement utiliser les arguments précédents car, contrairement à la convergence
presque sûre, ça n’est pas parce que deux suites de variables aléatoires convergent en loi que leur somme
converge en loi.

Exercice 3.5 (Convergence jointe)

1. Si X + Y ≥ ε, alors X ≥ ε/2 ou Y ≥ ε/2, et puisque P(A ∪ B) ≤ P(A) + P(B) on obtient

P(X + Y ≥ ε) ≤ P(X ≥ ε/2 ou Y ≥ ε/2) ≤ P(X ≥ ε/2) + P(Y ≥ ε/2).

2. On a
P(|Xn + Yn | ≥ ε) ≤ P(|Xn | ≥ ε/2) + P(|Yn | ≥ ε/2)

148
 A.3. EXERCICES DU CHAPITRE 3

et chaque terme tend bien vers 0 par définition de la convergence en probabilités. Pour montrer que
P
(Xn , Yn ) →(X, Y ) il faut montrer que

P(k(Xn , Yn ) − (X, Y )k ≥ ε) → 0

pour n’importe quelle norme k·k sur R2 (cf. Section 3.5). Si on prend la norme L1 , on a

P(k(Xn , Yn ) − (X, Y )k ≥ ε) = P(|Xn − X| + |Yn − Y | ≥ ε)

L L
et puisque |Xn − X| → 0 et |Yn − Y | → 0 on obtient bien le résultat.
L L
3. Soit X et X 0 i.i.d. : alors X → X et X → X 0 mais (X, X) ne converge pas en loi vers (X, X 0 ).

,→ Exercice 3.6 (Valeurs extrêmes)

1. P(Mn ≤ x) = P(X1 ≤ x, . . . , Xn ≤ x) : puisque les Xk sont indépendantes, on a P(X1 ≤ x, . . . , Xn ≤ x) =

P(X1 ≤ x) · · · P(Xn ≤ x) et puisqu’elles ont même loi, toutes les probabilités apparaissant dans le produit
sont égales à P(X ≤ x) ce qui donne le résultat.
p.s.
2. (Exponentiel = cas spécial de Weibull) Par l’exercice 1, on a Mn → b et puisque convergence presque sûre
L
implique convergence en loi on a aussi Mn → b. Par ailleurs, pour x ≥ 0 fixé, on a pour n suffisamment grand
 n
x
P(n(b − Mn ) ≥ x) = P(Mn ≤ b − x/n) = P(X ≤ b − x/n) = n
1− −→ e−x/(b−a) .
n(b − a) n→∞

On reconnaît la fonction de répartition d’une loi exponentielle de paramètre 1/(b − a).

3. (Weibull) On calcule alors pour x ≥ 0

P(n1/2 (1 − Mn ) ≥ x) = P(Mn ≤ 1 − x/n1/2 )

= P(X ≤ 1 − x/n1/2 )n
 Z 1 n
= 1− f (y)dy
1−x/n1/2
  Z 1 
= exp n ln 1 − f (y)dy
1−x/n1/2
 
α(α + 1) 2
−→ exp − x
n→∞ 2
R1 α(α+1) 2
puisque les équivalences 1−ε
f (x)dx ∼ 2
ε et ln(1 + ε) ∼ ε impliquent que
 1  1
α(α + 1) x2
Z Z
n ln 1 − f (y)dy ∼ −n f (y)dy ∼ −n .
1−x/n1/2 1−x/n1/2
2 n

Si M∞ est la variable aléatoire limite, on a donc prouvé que

 
α(α + 1) 2
P(M∞ ≥ x) = exp − x
2
2
et donc en dérivant, on obtient que M∞ est absolument continue de densité α(α+1)xe−α(α+1)x /2
1 {x ≥ 0} .
4. (Gumbel) Si un = (1/λ) ln n, on a
n
1 −λx

n 
P(Mn − un ≤ x) = FX (x + un )n = 1 − e−λ(x+un ) −→ exp −e−λx .


= 1− e
n n→∞

5. (Fréchet) On a  n
1
1/α
−→ exp −x−α .


P(Mn /n ≤ x) = 1−
(1 + xn1/α )α n→∞

149
ANNEXE A. CORRECTION DES EXERCICES

Exercice 3.7 (Urne de Pólya)

1. On montre le résultat par récurrence sur n ≥ 0. Pour n = 0 on a B0 = 1 donc c’est vrai. Supposons
maintenant n ≥ 1. Pour k = n + 1 on a

P (Bn = n + 1) = P (Bn−1 = n, on tire une boule blanche au n-ième tirage)

= P (on tire une boule blanche au n-ième tirage | Bn−1 = n) P (Bn−1 = n) .

En utilisant l’hypothèse de récurrence et la définition de l’urne de Pólya, on obtient

n 1 1
P (Bn = n + 1) = × = .
n+1 n n+1
Pour k = 1 on obtient le même résultat avec le même raisonnement, et pour k = 2, . . . , n on a

P (Bn = k) = P (Bn−1 = k, on tire une boule blanche au n-ième tirage)

= P (on tire une boule rouge au n-ième tirage | Bn−1 = k) P (Bn−1 = k)
+ P (on tire une boule blanche au n-ième tirage | Bn−1 = k − 1) P (Bn−1 = k − 1)
n+1−k 1 k−1 1
= × + ×
n+1 n n+1 n
1
=
n+1

2. On montre le résultat par récurrence sur n ≥ 0. Pour n = 0 on a B0 = 1 donc c’est vrai. Supposons
maintenant n ≥ 1. Alors

P (Bn = 1) = P (Bn−1 = 1, on tire une boule rouge au n-ième tirage)

= P (on tire une boule rouge au n-ième tirage | Bn−1 = 1) P (Bn−1 = 1)

Par définition de l’urne de Pólya, lorsque Bn−1 = 1 cela veut dire qu’avant le n-ième tirage on a 1 boule
blanche et N + n − 1 boules rouges, et donc
N +n−1
P ( on tire une boule rouge au n-ième tirage | Bn−1 = 1) = → 1.
N +n
Par ailleurs, on a par hypothèse de récurrence P(Bn−1 = 1) → 1 et donc finalement, P(Bn = 1) → 1 ce qui
montre le résultat.
3. On montre le résultat par récurrence. Pour n = 0 ou même n = 1 c’est ok puisque B1 suit une loi de
Bernoulli de paramètre 1/2. Supposons n ≥ 2. Alors

P (Bn − N = k) = P (on tire une boule rouge au n-ième tirage | Bn−1 − N = k) P (Bn−1 − N = k)
+ P (on tire une boule blanche au n-ième tirage | Bn−1 − N = k − 1) P (Bn−1 − N = k − 1)
n−1

1
Par hypothèse de récurrence, P (Bn−1 − N = i) → i 2n−1
. Par ailleurs, le même argument que ci-dessus
implique que
N +k−1 1
P (on tire une boule blanche au n-ième tirage | Bn−1 − N = k − 1) = →
2N + n − 1 2


n−1 1


n−1 1


n 1
et donc P (Bn − N = k) → k−1 2n
+ k 2n
= k 2n
ce qui donne le résultat.
4. La question est trompeuse, puisqu’en fait la réponse dépend de comment on construit la suite considérée.
En effet, pour répondre à la question, il faudrait considérer la suite (BnN , N ≥ 1) mais on n’a pas expliqué
comment construire simultanément deux “urnes” qui démarrent avec un nombre différent de boules ! On
0
peut les prendre indépendantes (i.e., BnN et BnN correspondent à deux urnes distinctes, où les tirages ont
lieu indépendamment), auquel cas il n’y a évidemment pas convergence presque sûre. Mais on peut aussi
les coupler de manière à avoir convergence presque sûre. Pour cela, on peut considérer (Un , n ≥ 1) une

150
 A.3. EXERCICES DU CHAPITRE 3

suite de variables aléatoires i.i.d. uniformément réparties sur [0, 1], et, pour chaque N , on construit l’urne
(BnN , n ≥ 0) par récurrence de la manière suivante : B0N = R0N = N et pour n ≥ 0,
   
N BnN RnN
Bn+1 = BnN + 1 Un+1 ≤ N
et Rn+1 N
= Rn +1 Un+1 ≤ .
2N + n 2N + n

On vérifie bien que pour chaque N , on a bien construit une urne de Pólya. Avec cette construction on a
alors
1
n o
B1N − N = 1 U1 ≤
2
qui ne dépend pas de N et converge donc a fortiori presque sûrement (vers une variable aléatoire qui suit
bien une loi binomiale de paramètre (1, 1/2)). On étend alors le résultat pour n ≥ 1 par récurrence. Pour
n ≥ 1, on a  
N
N N Bn−1
Bn − N = Bn−1 − N + 1 Un ≤
2N + n − 1
N p.s.
Par hypothèse de récurrence, on a Bn−1 − N → Xn−1 qui suit une loi binomiale (n − 1, 1/2). Par ailleurs,
N →∞
on a
  N
 o  N
  N

Bn−1 1 Bn−1 1 1 Bn−1
n
P 1 Un ≤ 6 1 Un ≤
= =P ≤ Un ≤ +P ≤ Un ≤
2N + n − 1 2 2N + n − 1 2 2 2N + n − 1
 N
  N

Bn−1 1 1 Bn−1
=P ≤ Un ≤ +P ≤ Un ≤
2N + n − 1 2 2 2N + n − 1
 N

1 Bn−1
=E −
2 2N + n − 1
N
N p.s. 1 Bn−1 p.s.
Or, par hypothèse de récurrence on a Bn−1 /(2N + n − 1) → 1/2 et donc 2
− 2N +n−1
→ 0, puis par le
N
théorème de convergence dominée (puisque Bn−1 /(2N + n − 1) ≤ N/(2N + n − 1))
 N

1 Bn−1
E − → 0.
2 2N + n − 1
N
1 1
n Bn−1
o n o n o
p.s. p.s.
Cela montre donc que 1 Un ≤ 2N +n−1
→ 1 Un ≤ et donc que BnN − N → Xn−1 + 1 Un ≤ avec
2 2
N
Xn−1 et Un indépendantes. Cela montre donc bien que Bn − N converge presque sûrement vers une variable
aléatoire qui suit une loi binomiale de paramètre (n, 1/2).

,→ Exercice 3.8 (Physique statistique)

1.
2. Cela suit directement du fait que pour tout x ∈ R, on a bx/εc ∼ x/ε lorsque ε → 0.
3. On a P
ε g(εk)
E(eitXε ) = P k∈Z
ε k∈Z
f (εk)
itx
R R
g = E(eitX ) et ε
P P
avec g(x) = e f (x) et par somme de Riemann, ε k∈Z g(εk) → R k∈Z
f (εk) → R
f = 1,
ce qui prouve la convergence des fonctions caractéristiques.

Exercice 3.9 (Lien avec l’analyse fonctionnelle)

1. Les deux premières propriétés de l’unité approchée pour la convolution définissent une densité de pro-
babilité, et si Xn est une variable aléatoire de densité Un , alors la troisième propriété veut exactement
P
dire que Xn → 0. La première question est évidente lorsque l’on reconnaît la densité gaussienne. En terme
probabiliste, on a Z
f ∗ Un (x) = f (x − t)Un (t)dt = E(f (x − Xn ))

151
ANNEXE A. CORRECTION DES EXERCICES

et donc Z Z
kf ∗ Un k1 ≤ E(|f (x − Xn )|)dx = E( |f (x − Xn )dx|) = kf k1 .

P P
Par ailleurs, puisque Xn → 0, on a f (x − Xn ) → f (x) par continuité, puis E(f (x − Xn )) → f (x) par domi-
nation.

Problème 3.10

1. Il faut pk → 0 puisque P(Xk 6= 0) = pk .

2. La suite Nn est presque sûrement croissante.

p.s.
3. Puisque Xn est à valeurs dans {0, 1}, on a Xn → 0 si et seulement si, presque sûrement, Xn = 0 pour n
suffisamment grand, ce qui équivaut à N∞ < ∞.

4. On a X X
E(N∞ ) = E(Xk ) = pk .
k≥1 k≥1
P
Si k pk < ∞, alors N∞ est de moyenne finie et est donc presque sûrement finie. On a donc refait la preuve
du lemme de Borel–Cantelli.
p.s. L
5. Puisque Nn → N∞ , on a Nn → N∞ et donc P(Nn ≤ K) → P(N∞ ≤ K). Ainsi, si P(Nn ≤ K) → 0 pour
tout K, cela implique que P(N∞ ≤ K) = 0 pour tout K, et donc P(N∞ = ∞) = 1 et donc Xn ne converge
pas presque sûrement vers 0.

6. On a
n
Y
P(Nn ≤ K) = P(e−Nn ≥ e−K ) ≤ eK E(e−Nn ) = eK E(e−(X1 +···+Xn ) ) = eK E(e−Xk )
k=1

ce qui donne le résultat puisque E(e−Xk ) = e−1 pk + 1 − pk . On voit donc que si

P
p = ∞, alors
k k
P(Nn ≤ K) → 0 et donc Xn ne converge pas presque sûrement vers 0 par la question précédente.
P
7. Pour pk = 1/k, on a donc pk → 0 mais k
pk = ∞ : la suite (Xn ) converge en loi vers 0 mais pas presque
sûrement !
p.s.
8. On a Xn0 → 0, et ce alors que Xn0 est une variable aléatoire de Bernoulli de paramètre 1/n. La différence
avec la suite Xn est que les Xn0 ne sont pas indépendantes !

9. Idem.

10. On a !
p.s.
\
Xn → 0 ⇐⇒ P Ek =1
k∈N∗

avec Ek l’évènement Ek = {N∞ (1/k) < ∞}. Puisque la suite Ek est décroissante, on a
!
\
P Ek = lim P(Ek )
k→∞
k∈N∗

et puisque la suite P(Ek ) à valeurs dans [0, 1] est décroissante, on a P (Ek ) → 1 si et seulement si P(Ek ) = 1
pour chaque k.

11. On utilise le cas Bernoulli pour les variables 1 {Xk ≥ ε} qui sont Bernoulli de paramètre e−λk ε .
L
e−λk =
P P
12. λk = ln k : alors λk → ∞ (CNS pour que Xk → 0) mais k k
(1/k) = ∞.

152
 A.4. EXERCICES DU CHAPITRE 4

A.4 Exercices du Chapitre 4

,→ Exercice 4.1

>
1. On définit X0 = X1 X2 : alors X0 est centrée, et en outre
 
3 6
Var(X0 ) =
6 14

Le déterminant vaut 6, Var(X0 ) est donc inversible et donc le Théorème 4.9 donne

E(X3 | X1 , X2 ) = Cov(X3 , X0 )Var(X0 )−1 X0 .

On calcule  
1 14 −6
Var(X0 )−1 =
6 −6 3
et par définition,
Cov(X3 , X0 ) = Var(X)31



Var(X)32 = 2 3
ce qui donne
    

1 14 −6 X1 1
14X1 − 6X2 1
E(X3 | X1 , X2 ) = 2 3 = 2 3 = (10X1 − 3X2 ).
6 −6 3 X2 6 −6X1 + 3X2 6

2. On peut invoquer directement la Proposition 1.33, ou alors calculer directement

E(Xi Xn ) = E(E(Xi Xn | X1 , . . . , Xn−1 )) = E(Xi E(Xn | X1 , . . . , Xn−1 ))

en utilisant le théorème de l’espérance totale pour la première égalité et la Proposition 1.31 pour la seconde.
Pn−1
3. On cherche E(Xn | X1 , . . . , Xn−1 ) = α X : si cette relation est satisfaite, alors on obtient en
k=1 k k
utilisant la question précédente pour chaque i = 1, . . . , n − 1
n−1
! n−1
X X
E(Xi Xn ) = E Xi αk Xk = αk E(Xi Xk )
k=1 k=1

ce qui donne bien n − 1 équations satisfaites par les αk .

4. Pour n = 3, cela donne

E(X1 X3 ) = 2 = α1 E(X12 ) + α2 E(X1 X2 ) = 3α1 + 6α2

et
E(X2 X3 ) = 3 = α1 E(X2 X1 ) + α2 E(X22 ) = 6α1 + 14α2
ce qui donne 2α2 = −1 et 3α1 = 5

,→ Exercice 4.2 (Coordonnées polaires)

1. On utilise le théorème de changement de variables pour des variables aléatoires absolument continues
(Théorème 2.14). On a (R, Θ) = ϕ(X, Y ) avec ϕ−1 (r, θ) = (r cos θ, r sin θ) pour (r, θ) ∈ (0, ∞) × (0, 2π), et
donc  
−1 cos θ −r sin θ
Jac(r,θ) (ϕ ) =
sin θ r cos θ
et donc
det(Jac(r,θ) (ϕ−1 )) = r cos θ2 + r sin θ2 = r

153
ANNEXE A. CORRECTION DES EXERCICES

ce qui donne

fR,Θ (r, θ) = rfX,Y (r cos θ, r sin θ)1 {(r, θ) ∈ [0, ∞) × [0, 2π]}
= rfX (r cos θ)fY (r sin θ)1 {(r, θ) ∈ [0, ∞) × [0, 2π]}

et donc, pour r ≥ 0,
Z 2π Z 2π
fR (r) = fR,Θ (r, θ)dθ = r fX (r cos θ)fY (r sin θ)dθ.
0 0

2. Dans le cas gaussien, cela donne (pour r ≥ 0 et θ ∈ [0, 2π], sinon la densité vaut 0)
1 1 1 1 1
   
fR,Θ (r, θ) = r exp − (r cos θ)2 − (r sin θ)2 =r exp − r2
2π 2 2 2π 2
2
et donc fR (r) = re−r /2
1 {r ≥ 0}, Θ suit une loi uniforme sur [0, 2π] et R et Θ sont indépendantes.

,→ Exercice 4.3 (Loi du χ2 )

1. Par définition,  
2 2
Lr (t) = E e−t(Y1 +···+Yr )
où les Yi sont i.i.d. standard normaux. Puisque les Yi sont i.i.d.,
h  2
ir
Lr (t) = E e−tY1 = L1 (t)r .

Le théorème de transfert donne

Z
1 2 2 1
L1 (t) = √ e−tx e−x /2
dx = √
2π 1 + 2t
par changement de variable pour la deuxième égalité, ce qui donne finalement
1
Lr (t) = .
(1 + 2t)r/2

2. La densité de X est donnée par (Théorème 4.7)

1 1
 
fX (x) = p exp − x> Var(X)−1 x ,
(2π)n det(Var(X)) 2

et donc le théorème de transfert donne

LX > Var(X)−1 X (t) = E exp −tX > Var(X)−1 X

Z
1 1 >
 
= p exp −tx> Var(X)−1 x − x Var(X)−1 x dx
n
(2π) det(Var(X)) 2
Z
1 1
 
= p exp − (1 + 2t)x> Var(X)−1 x dx
(2π)n det(Var(X)) 2
Z
1 1 1
 
= exp − x> Var(X)−1 x dx
(1 + 2t)n/2
p
(2π)n det(Var(X)) 2

où la dernière égalité vient du changement de variable y = (1 + 2t)1/2 x. La dernière intégrale vaut 1 puisque
c’est l’intégrale de la densité gaussienne standard, ce qui donne bien le résultat.
3. On reconnait la transformée de Laplace d’une loi du χ2 , et puisque la transformée de Laplace caractérise
la loi cela montre le résultat.

154
 A.4. EXERCICES DU CHAPITRE 4

Exercice 4.4
R 2π
1
1. Le théorème de transfert donne E(Xi ) = 0 cos θ 2π dθ qui vaut 0 par symétrie, et le même raisonnement
donne E(Yi ) = E(Xi Yi ) = 0. Puisque Cov(Xi , Yi ) = E(Xi Yi ) − E(Xi )E(Yi ) cela donne Cov(Xi , Yi ) = 0.
2. La relation Xi2 + Yi2 = 1 empêche Xi et Yi d’être indépendantes. Plus formellement, si Xi et Yi étaient
indépendantes, alors Xi2 + Yi2 serait absolument continue (en appliquant les résultats de l’Exercice 2.3) et
on aurait alors P(Xi2 + Yi2 = 1) = 0 par le Théorème 2.3.
1
3. Puisque E(Xi ) = 0, on a E(X̄n ) = n
(E(X1 ) + · · · + E(Xn )) = 0 et de même E(Yi ) = 0, et donc
n
! n
1 X 1X 1X
Cov(X̄n , Ȳn ) = E(X̄n Ȳn ) = E Xi Yj = E(Xi Yi ) + E(Xi )E(Yj ) = 0
n n n
i,j=1 i=1 i6=j

4. Le Théorème central limite multi-dimensionnel (Théorème 4.3) donne

L
(X̄n , Ȳn ) →(X∞ , Y∞ )

où (X∞ , Y∞ ) est un vecteur gaussien centré de matrice de covariance Var(X1 , Y1 ). Puisque (X∞ , Y∞ ) est
un vecteur et que sa matrice de covariance est diagonale (par la question 1), il s’ensuit que X∞ et Y∞ sont
bien indépendantes (Proposition 4.2) !

Exercice 4.5

1. On a
Cov(X1 + X2 , X1 − X2 ) = Var(X1 ) − Var(X2 ) = 0.
Puisque (X1 + X2 , X1 − X2 ) est un vecteur gaussien, décorrélation implique indépendance.
P
2. On rappelle que xM y = i,j
Mij xi yj . On a

1 X 1
X̄n2 = Xi Xj = X > A1 X
n2 n
i,j

et
n n
X X X
2
(n − 1)Sn−1 = (Xk − X̄n )2 = Xk2 − 2X̄n Xk + nX̄n2 = X > X − nX̄n2 = X > A2 X
k=1 k=1 k

3. A1 et A2 sont symétriques, A1 est de rang 1 et A2 de rang n − 1, et la seule valeur propre non nulle de
A1 est 1.
4. Puisque toute transformation affine d’un vecteur gaussien est un vecteur gaussien, U X est bien un vecteur
gaussien. Par ailleurs, il est centré puisque E(U X) = U E(X) et que X l’est, et il est bien standard car

Var(U X) = U Var(X)U > = U IU > = U U > = I.

Utilisant la première question, on voit que

X̄n2 = nX > A1 X = n(U X)> ∆(U X) = n(U X)21

avec (U X)k la k-ième coordonnée du vecteur U X, et

n
X
2
(n − 1)Sn−1 = X > A2 X = (U X)> (I − ∆)(U X) = (U X)2k .
k=2

Cela prouve tout ce qu’il faut :

2 2
• X̄n et Sn−1 sont bien indépendantes car X̄n est une fonction de (U X)1 et Sn−1 de ((U X)k , k ≥ 2) et
que les (U X)k sont indépendantes ;
2
• X̄n et Sn−2 suivent bien les lois annoncées.

155
ANNEXE A. CORRECTION DES EXERCICES

A.5 Exercices du Chapitre 5

,→ Exercice 5.1 (Estimateurs de la moyenne)

Pn Pn
1. Il faut E( k=1
ak Xk ) = E(X1 ) soit k=1
ak = 1.
2. On a

1
Var X̄n = Var(X1 )
n
et !
n n
X X
Var ak Xk = Var(X1 ) a2k .
k=1 k=1

3. On cherche à résoudre le problème

n n
X X
min a2k sous la contrainte ak = 1.
k=1 k=1

On considère le lagrangien !
n n
X X
L(a1 , . . . , an , λ) = a2k +λ 1− ak .
k=1 k=1
Pn
On a ∂i L = 2ai − λ et ∂λ L = 1 − k=1
ak ce qui donne bien ai = 1/n. On a

1
Var X̄n = Var(X1 )
n
et !
n n
X X
Var ak Xk = Var(X1 ) a2k .
k=1 k=1

,→ Exercice 5.2 (Estimateur du maximum de vraisemblance)

1. On calcule !
n
1 1
 X
L(θ; xn ) = n exp −1 log(1 − xk )
θ θ
k=1

et donc

∂θ L(θ; xn ) = 0 ⇐⇒ ∂θ log L(θ; xn ) = 0

n
n 1 X
⇐⇒ − − 2 log(1 − xk ) = 0
θ θ
k=1
n
1X
⇐⇒ θ = − log(1 − xk )
n
k=1

ce qui donne finalement

n
1X
θ̂n = − log(1 − Xk ).
n
k=1

2. On calcule !
n n
−nθ
Y θ xk 1 X
L(θ; xn ) = e = Q exp −nθ + log θ xk
xk ! xk !
k=1 k=1

156
 A.5. EXERCICES DU CHAPITRE 5

et donc en passant à nouveau par la log-vraisemblance log L on obtient

n n
1X 1X
∂θ L(θ; xn ) = 0 ⇐⇒ −n + xk = 0 ⇐⇒ θ = xk .
θ n
k=1 k=1

L’estimateur du maximum de vraisemblance est donc la moyenne empirique.

3. On calcule
n
! n
!
1 1 X 1 1 X
L(θ; xn ) = exp − 2 (xk − m)2 = exp −n log θ − 2 (xk − m)2
(2π)n/2 θn 2θ (2π)n/2 2θ
k=1 k=1

et donc en passant à nouveau par la log-vraisemblance log L on obtient

n
!1/2
n 1 X 1X
∂θ L(θ; xn ) = 0 ⇐⇒ − + 3 (xk − m)2 = 0 ⇐⇒ θ = (xk − m)2 .
θ θ n
k=1

L’estimateur du maximum de vraisemblance est donc donnée par

n
!1/2
1X
θ̂n = (Xk − m)2 .
n
k=1

4. Pour x1 , . . . , xn ≥ 0 on a L(θ; xn ) = θ−n 1 {θ ≥ maxk xk }. La vraisemblance vaut 0 pour θ < maxk xk ,

saute à (maxk xk )−n en θ = maxk xk puis décroît strictement. L’estimateur du maximum de vraisemblance
Mn est donc donnée par Mn = maxk=1,...,n Xk .

,→ Exercice 5.3 (Estimateurs de la loi uniforme)

1. Pθ est la loi uniforme sur [0, θ].

Rθ
2. On a Eθ (T1 ) = θ/2, Eθ (T12 ) = θ−1 0 x2 dx = θ2 /3 et donc Varθ (T1 ) = θ2 /3 − θ2 /4 = θ2 /12. 2T1 est donc
bien un estimateur sans biais de θ, néanmoins il ne converge pas.
3. Eθ (T̄n ) = E(T1 ) = θ/2 par linéarité et Varθ (T̄n ) = Var(T1 )/n (en utilisant Var(aX + bY ) = a2 Var(X) +
(1)
b2 Var(Y ) pour X et Y indépendants) et donc θ̂n = 2T̄n est bien un estimateur de θ sans biais, qui plus est
p.s.
convergent puisque T̄n → E(T1 ) par la loi forte des grands nombres.
4. Cf. question 4 de l’exercice 2.
5. Pour calculer la loi de Mn on utilise la méthode de la fonction de répartition :

Pθ (Mn ≤ x) = Pθ (X1 ≤ x)n

et donc en dérivant, on obtient

nxn−1
fMn (x, θ) = nfX1 (x, θ)FX1 (x, θ)n−1 1 {0 ≤ x ≤ θ} = 1 {0 ≤ x ≤ θ} .
θn
On en déduit
θ
nxn
Z Z
nθ
Eθ (Mn ) = xfMn (x, θ)dx = dx = ,
0
θn n+1
θ
nxn+1 nθ2
Z Z
Eθ (Mn2 ) = 2
x fMn (x, θ)dx = n
dx =
0
θ n+2
et donc  2
nθ2 nθ nθ2
Varθ (Mn ) = − = .
n+2 (n + 1) (n + 1)2 (n + 2)
L’estimateur Mn a donc un biais mais il est convergent.

157
ANNEXE A. CORRECTION DES EXERCICES

6. On a
Varθ (Mn ) 12n2
= −→ 0
Varθ (T̄n ) (n + 1)2 (n + 2) n→∞
et donc Mn converge a priori beaucoup plus vite que T̄n .

,→ Exercice 5.4 (Estimateur de la loi de Bernoulli)

1. On considère le modèle paramétrique {Pθ : θ ∈ [0, 1]} avec Pθ la loi binomiale de paramètre θ. On a
P P
xk n− xk
L(θ; xn ) = θ k (1 − θ) k

et donc (en considérant encore la log-vraisemblance par exemple)

! n
1X 1 X 1X
∂θ L(θ; xn ) = 0 ⇐⇒ xk − n− xk = 0 ⇐⇒ θ = xk
θ 1−θ n
k k k=1

ce qui donne pour l’estimateur du maximum de vraisemblance

n
1X
θ̂ = Xi
n
k=1

dont la variance vaut Var(θ̂) = Var(X1 )/n.

2. Puisque θ̂(i) sont des moyennes empiriques, ils sont sans biais et donc leur moyenne aussi. On cherche a1
et a2 tels que a1 + a2 = 1 (pour que l’estimateur soit sans biais) et de variance minimale. On calcule

Var(a1 θ̂(1) + a2 θ̂(2) ) = a21 Var(θ̂(1) ) + a22 Var(θ̂(2) ).

Le lagrangien vaut donc

L(a1 , a2 , λ) = a21 Var(θ̂(1) ) + a22 Var(θ̂(2) ) + λ (1 − a1 − a2 )

et donc ∂i L = 2ai Var(θ̂(i) ) − λ et ∂λ L = 1 − a1 − a2 ce qui donne comme a1 et a2 optimaux

Var(θ̂(2) ) n1
a1 = = = 1 − a2 .
Var(θ̂(1) ) + Var(θ̂(2) ) n1 + n2

3. On a
n1 n2
a1 X (1) a2 X (2)
a1 θ̂(1) + a2 θ̂(2) = Xk + Xk
n1 n2
k=1 k=1

et donc d’après l’exercice 1, il faut prendre a1 + a2 = 1 et a1 /n1 = a2 /n2 .

,→ Exercice 5.5 (Loi de Bernoulli)

1. On a !
n
1X
Eθ (θ̂n ) = Eθ Xk = Eθ (X1 ) = θ.
n
k=1

θ̂n est donc sans biais, sa variance est donc égale à l’erreur quadratique moyenne et
n
!
1X 1 θ(1 − θ)
Varθ (θ̂n ) = Varθ Xk = Varθ (X1 ) = .
n n n
k=1

θ̂n est convergent presque sûrement par la loi forte des grands nombres. On vérifie maintenant qu’il est
efficace en calculant la borne de Fréchet–Darmois–Cramer–Rao : p(x; θ) = θx (1 − θ)1−x

log p(x; θ) = x log θ + (1 − x) log(1 − θ)

158
 A.5. EXERCICES DU CHAPITRE 5

et donc
x 1−x
∂θ2 log p(x; θ) = − −
θ2 (1 − θ)2
et donc
1 1 1
I(θ) = −Eθ (∂θ2 log p(X1 ; θ)) = + = .
θ 1−θ θ(1 − θ)
θ̂n est donc efficace.
√ p
2. Par le théorème central limite, n(θ̂n − θ)/ Varθ (X1 ) sous Pθ converge en loi vers une loi normale
standard (cf. Proposition 3.15) : on retrouve donc le Théorème 5.6.
3. Appelons ϕ la fonction décroissante de l’énoncé : puisqu’elle est continue, on a donc que ϕ−1 (I) reste un
intervalle. On montre maintenant que c’est un intervalle de confiance de niveau asymptotique F (a+ )−F (a− ) :
on a
! √ !
√ √
a− θ̂n − θ a+ n(θ̂n − θ)
Pθ θ ∈ I(θ̂n , a+ / n, a− / n) = Pθ √ ≤ p ≤ √ = Pθ a− ≤ p ≤ a+
n θ(1 − θ) n Varθ (θ̂n )

qui tend bien par la question précédente vers F (a+ ) − F (a− ).

4. A FAIRE

Exercice 5.6 (Loi beta)

1. On a

Pθ (− log(1 − Xi ) ≤ x) = Pθ 1 − Xi ≥ e−x

= Pθ Xi ≤ 1 − e−x


Z 1−e−x
1
= (1 − y)1/θ−1 dy
0
θ
Z 1
1
= y 1/θ−1 dy
θ e−x
−x/θ
=1−e

ce qui montre que − log(1 − Xi ) suit une loi exponentielle de paramètre 1/θ. Sa moyenne et son écart-type
valent donc θ.
2. Comme à l’exercice précédent, on calcule Eθ (θ̂n ) = Eθ (− log(1 − X1 )) = θ. θ̂n est donc sans biais, sa
variance et son erreur quadratique moyenne sont donc égales et données par

1 θ2
Varθ (θ̂n ) = Varθ (− log(1 − X1 )) = .
n n
θ̂n est convergent presque sûrement par la loi forte des grands nombres. Pour répondre à la question de
l’efficacité, il faut calculer la borne de Fréchet–Darmois–Cramer–Rao : p(x; θ) = fθ (x) et donc

log p(x; θ) = − log θ + log(1 − x)/θ − log(1 − x)

et donc
1 2 log(1 − x)
∂θ2 log p(x; θ) = +
θ2 θ3
et donc
1 2 1
I(θ) = −Eθ (∂θ2 log p(X1 ; θ)) = − + 2 = 2.
θ2 θ θ
θ̂n est donc efficace.
Pn
3. On écrit θ̂n /θ = Y avec Yi = −(nθ)−1 log(1 − Xi ) pour voir grâce aux indications que θ̂n /θ suit
k=1 i
une loi Gamma(n, n) de fonction de répartition Gn . On utilise alors le fait que cette loi ne dépend pas θ

159
ANNEXE A. CORRECTION DES EXERCICES

pour construire des intervalles de confiance : ainsi, si 0 < a− < a+ satisfont Gn (a+ ) − Gn (a− ) = 1 − α, alors
[θ̂n /a+ , θ̂n /a− ] est un intervalle de confiance au niveau 1 − α puisque
   
θ̂n θ̂n θ̂n
Pθ <θ< = Pθ a− ≤ ≤ a+ = Gn (a+ ) − Gn (a− ) = 1 − α.
a+ a− θ

√
4. Puisque Varθ (− log(1 − X1 )) = θ2 et Eθ (− log(1 − X1 )) = θ, n(θ̂n − θ)/θ sous Pθ converge vers une
variable standard normale par le théorème central limite (cf. Proposition 3.15). On aurait directement pu
√ √
obtenir ce résultat grâce au Théorème 5.6. On en déduit donc que [θ̂n /(a+ / n + 1), θ̂n /(a− / n + 1)] pour
tout a− < a+ satisfaisant F (a+ )−F (a− ) = 1−α avec F la fonction de répartition de la loi normale standard
est un intervalle de confiance asymptotique puisque
   
θ̂n θ̂n a− θ̂n a+
Pθ √ ≤θ≤ √ = Pθ √ +1≤ ≤ √ +1 −→ F (a+ ) − F (a− ).
a+ / n + 1 a− / n + 1 n θ n n→∞

,→ Exercice 5.7 (Loi uniforme)

1. Le support de Pθ dépend de θ : le modèle n’est donc pas régulier et on ne peut a priori pas utiliser tous
les résultats du cours.
2. On a θ̂n /θ = maxk=1,...,n (Xk /θ) et donc le résultat découle directement du fait que sous Pθ , les (Xk /θ)
sont i.i.d. et de loi uniforme sur [0, 1]. On en déduit que [θ̂n /a+ , θ̂n /a− ] est un intervalle de confiance pour
θ au niveau 1 − α pour tout a− , a+ satisfaisant (a+ )n − (a− )n = 1 − α :
   
θ̂n θ̂n θ̂n
= P1 a− ≤ θ̂n ≤ a+ = (a+ )n − (a− )n .


Pθ ≤θ≤ = Pθ a− ≤ ≤ a+
a+ a− θ

3. On a n
x

Pθ (n(1 − θ̂n /θ) ≥ x) = P1 (θ̂n ≤ 1 − x/n) = 1 − → e−x
n
et donc n(1 − θ̂n /θ) sous Pθ converge en loi vers une variable exponentielle de paramètre 1. On montre donc
comme précédemment que  
θ̂n θ̂n
,
1 − a− /n 1 − a+ /n
est un intervalle de confiance de niveau asymptotique 1−α pour tous a− , a+ satisfaisant e−a− −e−a+ = 1−α.

Problème 5.8 (Statistique bayésienne)

1. Si h(Xn ) = E(Θ | Xn ), on a

2  
2 
E g(Xn ) − Θ | Xn = E g(Xn ) − h(Xn ) + h(Xn ) − Θ | Xn

2 
2 
= g(Xn ) − h(Xn ) + E h(Xn ) − Θ | Xn

 
+ 2 g(Xn ) − h(Xn ) E h(Xn ) − Θ | Xn

2 
2 
= g(Xn ) − h(Xn ) + E h(Xn ) − Θ | Xn .

2 
2  
2 
Puisque g(Xn ) − h(Xn ) ≥ 0 on obtient que E g(Xn ) − Θ | Xn ≥ E h(Xn ) − Θ | Xn ce qui
donne le résultat en prenant l’espérance et en utilisant le théorème de l’espérance totale.
Première partie. Dans la première partie du problème, on suppose que Θ = θ0 ∈ R est une variable déter-
ministe (i.e., une constante).
2. Si Θ = θ0 alors E(Θ | Xn ) = θ0 : l’“estimateur” de Θ est Θ lui-même !
3. On est en train d’estimer la moyenne d’une normale, on a déjà vu que l’estimateur du maximum de
vraisemblance est alors la moyenne empirique X̄n qui converge donc presque sûrement vers θ0 = Θ.

160
 A.5. EXERCICES DU CHAPITRE 5

4. On calcule " !2 #
n 2

2  1X σw
MSE(X̄n ) = E X̄n − θ0 =E Wk = .
n n
k=1

Cette erreur quadratique moyenne est plus élevée que celle de E(Θ | Xn ) puisqu’on a prouvé que cette
variable aléatoire était d’erreur quadratique moyenne minimale.
Pn
5. On a X̄n = Θ + (1/n) k=1
Wk . Puisque les Wk sont i.i.d. centrés, la loi forte des grands nombres donne
p.s.
X̄n → Θ.
6. (Θ, Xn ) est obtenu de (Θ, W1 , . . . , Wn ) qui est un vecteur gaussien (puisque les coordonnées sont indépen-
dantes) par transformation affine, et reste donc un vecteur gaussien. Pour calculer sa matrice de covariance,
on calcule
2
Cov(Θ, Xi ) = Cov(Θ, Θ + Wi ) = Var(Θ), Var(Xi ) = Var(Θ + Wi ) = Var(Θ) + σw

et, pour i 6= j,
Cov(Xi , Xj ) = Cov(Θ + Wi , Θ + Wj ) = Var(Θ)
pour obtenir le résultat.
7. Le Théorème 4.9 du polycopié donne

E(Θ | Xn ) = E(Θ) + Cov(Θ, Xn )Var(Xn )−1 (Xn − E(Xn )).

2
On vient de voir que Var(Xn ) = Var(Θ)H + σw I et donc (d’après l’indication)
Var(Θ)
Var(Xn )−1 = − 4 2
−2
H + σw I.
σw + nVar(Θ)σw

En outre, Cov(Θ, Xn ) = Var(Θ)1> avec 1> = (1 · · · 1) ∈ Rn . En particulier,

 
−1 > Var(Θ) −2
Cov(Θ, Xn )Var(Xn ) (Xn − E(Xn )) = Var(Θ)1 − 4 2
H + σw I (Xn − E(Θ)1)
σw + nVar(Θ)σw
 
Var(Θ)
= Var(Θ) − 4 2
1> H + σw
−2 >
1 I (Xn − E(Θ)1)
σw + nVar(Θ)σw
 
Var(Θ)
= Var(Θ) − 4 2
n1> + σw
−2 >
1 (Xn − E(Θ)1)
σw + nVar(Θ)σw
 
Var(Θ) nVar(Θ)
= 2
− 2
+ 1 (1> Xn − E(Θ)1> 1)
σw σw + nVar(Θ)
2
Var(Θ) σw
= 2 2
(nX̄n − nE(Θ))
σw σw + nVar(Θ)
nVar(Θ)
= 2 (X̄n − E(Θ))
σw + nVar(Θ)
ce qui donne le résultat pour E(Θ | Xn ).
8. On voit que E(Θ | Xn ) ne dépend que de la moyenne et de la variance de Θ (en plus des observations Xk )
qui doivent donc être connus si l’on veut pouvoir utiliser cet estimateur. Si ces paramètres sont connus, on
peut alors interpréter la formule comme une pondération entre les observations et la connaissance a priori
E(Θ) : pour n petit les observations ne participent pas beaucoup et la connaissance a priori domine, pour
n grand c’est l’inverse.
Pn
9. Soit W̄n = (1/n) k=1
Wk : on calcule

2 
MSE(E(Θ | Xn )) = E αn X̄n + (1 − αn )E(Θ) − Θ

2 
= E αn W̄n + αn Θ + (1 − αn )E(Θ) − Θ
2
= αn Var(W̄n ) + (1 − αn )2 Var(Θ)

161
ANNEXE A. CORRECTION DES EXERCICES

ce qui donne le résultat.

p.s.
10. Θ̂n est bien un estimateur de Θ, et on a Θ̂n → Θ si an → 1.
11. On calcule

2 
MSE(Θ̂n ) = E an X̄n + (1 − an )µ − Θ

2 
= E an W̄n + (1 − an )(µ − E(Θ)) + (1 − an )(E(Θ) − Θ)
= a2n Var(W̄n ) + (1 − an )2 Var(Θ) + (1 − an )2 (µ − E(Θ))2 .

12. Par la question 1, MSE(E(Θ | Xn ) est plus petit que MSE(Θ̂n ) et MSE(X̄n ). Pour comparer ces deux
derniers termes, on obtient en utilisant les expressions calculées précédemment que MSE(Θ̂) ≤ MSE(X̄n ) si
et seulement si
a2n Var(W̄n ) + (1 − an )2 Var(Θ) + (1 − an )2 (µ − E(Θ))2 ≤ Var(W̄n )
ce qui est équivalent à
2
σw
(1 − an )Var(Θ) + (1 − an )(µ − E(Θ))2 ≤ (1 + an ) .
n

13. Simple calcul à partir de la question 7. L’intérêt est que l’on peut faire une simple mise à jour de
E(Θ | Xn+1 ) à partir de l’ancienne estimation E(Θ | Xn ) et de la nouvelle observation Xn+1 sans avoir
besoin de tout recalculer.

Problème 5.9

1. Non : les variables Ti ne sont ni indépendantes (elles sont juste deux à deux décorrélées), ni identiquement
distribuées.
2. On définit
n
X
ϕ(θ) = ϕ(α, β) = (Ti − α − βxi )2
i=1
de sorte que
n n
X X
∂α ϕ = 2 (α + βxi − Ti ) et ∂β ϕ = 2 xi (α + βxi − Ti ).
i=1 i=1

On vérifie bien que β̂n = C(xn , Tn )/V (xn ) et que α̂n = m(Tn ) − β̂n m(xn ) annule le gradient et que la
hessienne en ce point est définie positive, il s’agit donc bien de la variable qui minimise l’erreur quadratique
moyenne.
3. Par linéarité, E(m(Tn )) = m(E(Tn )) = m(α1 + βxn ) = α + βm(xn ), avec 1 le vecteur avec que des 1, et
donc E(α̂n ) = α + (β − E(β̂n ))m(xn ) : il suffit donc de montrer que β̂n est sans biais. Encore par linéarité,
E(β̂n ) = C(xn , E(Tn ))/V (xn ) = C(xn , α1 + βxn )/V (xn ) et puisque α1 est constant, C(xn , α1 + βxn ) =
C(xn , βxn ) = βC(xn , xn ) = βV (xn ) et on obtient bien que θ̂n est sans biais.
4. Tn est un vecteur gaussien de moyenne α1 + βxn et de matrice de variance-covariance σ 2 I. On a donc
n
!
1 1 X
pn (tn ; θ) = n exp − 2 (tk − α − βxk )2 .
σ (2π)n/2 2σ
k=1

Trouver le maximum de vraisemblance revient à maximiser la log-vraisemblance log pn (x; ·), et donc d’après
la forme ci-dessus à minimiser l’erreur quadratique.
5. θ̂n est obtenu par transformation linéaire des Tn , c’est donc un vecteur gaussien de moyenne (α, β)
et dont lapmatrice de variance-covariance a été admise plus haut. On en déduit donc par exemple que
(α − α̂n )/ Varθ (α̂n ) suit une loi normale standard, et donc
" #
2 1/2 2 1/2
a− σm(xn ) a+ σm(xn )
h p p i
α̂n + Varθ (α̂n )a− , α̂n + Varθ (α̂n )a+ = α̂n + p , α̂n + p
(n − 1)V (xn ) (n − 1)V (xn )

162
 A.6. EXERCICES DU CHAPITRE 6

un intervalle de confiance pour α de niveau F (a+ )−F (a− ) avec F la fonction de répartition de la loi normale
standard.
6. On a maintenant θ = (α, β, σ) : la vraisemblance est inchangée, mais on calcule sa dérivée par rapport à
σ pour trouver
n
n 1 X
∂σ log pn (tn ; θ) = − + 3 (tk − α − βxk )2 .
σ σ
k=1

Puisque la dérivée s’annule pour α = α̂n et β = β̂n , on obtient bien le résultat pour σ̂n .
7. On reprend les calculs de la question 2 pour obtenir
n n
1 X 1 X
∂α log pn = (t k − α − βx k ) et ∂ β log p n = xk (tk − α − βxk )
σ2 σ2
k=1 k=1

et donc  
n 1 m(xn )
Mn (θ) = 2 2
σ m(xn ) m(xn )
et donc
   
σ2 1 2
m(xn ) −m(xn ) σ2 2
m(xn ) −m(xn )
Mn (θ)−1 = = .
2
n m(xn ) − m(xn )2 −m(xn ) 1 (n − 1)V (xn ) −m(xn ) 1

L’estimateur θ̂n est donc efficace.

8. On voit que la largeur de l’intervalle est une fonction de z de la forme
p
z 7→ c 1 + d(z − m(xn ))2

avec c et d indépendants de z. L’intervalle est donc le plus petit autour de la moyenne m(xn ), qui seront
donc les valeurs les mieux prédites par le modèle.

A.6 Exercices du Chapitre 6

,→ Exercice 6.1 (Modèle gaussien)

1. a. Comme 4 > 2, le test est de la forme accepter H0 ⇔ X̄n < κ. En supposant H0 vraie, X̄n suit une loi
normale de moyenne 2 et de variance σ 2 /n et on est donc amenés à résoudre
σ
α = P(N (2, σ 2 /n) > κ) =⇒ κ = 2 + √ F −1 (1 − α)
n

avec F la fonction de répartition de la loi normale standard. On a alors

   √ 
σ σ 2 n
β = P(N (4, σ 2 /n) < κ) = P 4 + √ N < 2 + √ F −1 (1 − α) =F F −1 (1 − α) − .
n n σ

b. Comme 1 < 2, le test est de la forme accepter H0 ⇔ X̄n > κ et on résout

σ
α = P(N (2, σ 2 /n) < κ) =⇒ κ = 2 + √ F −1 (α).
n

On a alors
 √ 
2 σ n
β = sup P(N (θ, σ /n) > κ) = sup P(θ + √ N > κ) = sup 1−F (κ − θ)
θ<1 θ<1 n θ<1 σ

163
ANNEXE A. CORRECTION DES EXERCICES

et donc par monotonie,

√  √ 
n n
β =1−F (κ − 1) =1−F + F −1 (α)
σ σ

c. On considère maintenant deux côtés, le test est de la forme accepter H0 ⇔ |X̄n − 2| < κ et on résout
σ
α = P |N (0, σ 2 /n)| > κ = P(N (0, σ 2 /n) < −κ) + P(N (0, σ 2 /n) > κ) =⇒ κ = √ F −1 (1 − α/2).


n
On a alors
 √ 
2 σ n
β = sup P(|N (θ, σ /n) − 2| < κ) = sup P(|θ − 2 + √ N | < κ) = P |N | < κ = 1 − α.
θ6=2 θ6=2 n σ

Pn
2. La statistique de test est maintenant σ̂ 2 = n1 k=1
(Xk − µ)2 . Sous Pθ , nσ̂ 2 /θ suit une loi du χ2 à n
degrés de liberté.
a. On trouve κ = θ0 /nFn−1 (1 − α) avec Fn la fonction de répartition du χ2 à n degrés de liberté et θ0 = 2,
qui correspond à un risque de deuxième espèce β = Fn (θ0 /θ1 Fn−1 (1 − α)) avec θ1 = 4.
b. κ = θ0 /nFn−1 (α), β = 1 − Fn (θ0 /θ1 Fn−1 (α)).
c. κ vérifie
n n
   
1 − Fn (κ + 2) + Fn (2 − κ) = α
θ0 θ0
et
n n
 
β = sup P (2 − κ) < χ2n < (2 + κ)
θ6=2 θ θ
Il n’est a priori pas évident de calculer le θ qui maximise cette probabilité, mais pour θ = 2 on obtient
β ≥ 1 − α.
3. On se ramène à une loi de Student grâce au Théorème 4.12.

,→ Exercice 6.2 (Approximation normale)

1. Le test est donc Accepter H0 ⇔ X̄n < κ.

2. Le test correspond à des risques
√ !
(κ − θ0 ) n
 p 
α = P (Bin(n, θ0 ) > nκ) ≈ P nθ0 + θ0 (1 − θ0 )nN > nκ = 1 − F p
θ0 (1 − θ0 )

et
√ !
(κ − θ1 ) n
 p 
β = P (Bin(n, θ1 ) < nκ) ≈ P nθ1 + θ1 (1 − θ1 )nN < nκ = F p
θ1 (1 − θ1 )
et il faut donc résoudre le système
 √ p
(κ − θ0 ) n = pθ0 (1 − θ0 )F −1 (1 − α)
√
(κ − θ1 ) n = θ1 (1 − θ1 )F −1 (β)

,→ Exercice 6.3 (Risques de première et de deuxième espèce)

1. Le test est de la forme

Accepter H0 ⇐⇒ X̄n < κ.
Par ailleurs, on veut choisir n et κ tels que
  √ 
 α = P1 (X̄n > κ) = 1 − F (κ−1) n  √
σ (κ − 1) n = σF −1 (1 − α)
√  ⇐⇒ √
(κ − 2) n = σF −1 (1 − η)

 η = P2 (X̄n > κ) = 1 − F (κ−2) n
σ

164
 A.6. EXERCICES DU CHAPITRE 6

et donc √
n = σF −1 (1 − α) − σF −1 (1 − η).
Pour que le membre de droite soit > 0 il faut α < η ce qui est raisonnable. Par ailleurs, une application
numérique donne n ≈ 29.
2. On regarde chaque test.
Cas aH1 : θ = 3. Dans ce cas le test est de la forme θ = 2 ⇔ X̄n < κ et on a donc le système
 √ √  √
α = P(N (2, σ/ n) > κ) = 1 − F ( n(κ − 2)/σ) (κ − 2) n = σF −1 (1 − α)
√ √ ⇔ √
η = P(N (3, σ/ n) > κ) = 1 − F ( n(κ − 3)/σ) (κ − 3) n = σF −1 (1 − α)

On peut résoudre de système, on peut donc répondre aux critèrs imposés.

Cas b : H1 : θ = 1,999. Dans ce cas le test est de la forme θ = 2 ⇔ X̄n > κ et on a donc le système
 √ √  √
α = P(N (2, σ/ n) < κ) = F ( n(κ − 2)/σ) n(κ − 2) = σF −1 (α)
√ √ ⇔ √
η = P(N (2 − ε, σ/ n) < κ) = F ( n(κ − 2 + ε)/σ) n(κ − 2 + ε) = σF −1 (η)

Encore une fois, on peut répondre aux contraintes, mais on voit que plus ε est petit et plus il faut
√
prendre n grand puisque nε = σ(F −1 (η) − F −1 (α)).
Cas c : H1 : θ < 2. Dans ce cas le test est de la forme θ = 2 ⇔ X̄n > κ et puisque l’hypothèse alternative
est composite, il faut résoudre le système
 √ √
α = P(N (2, σ/ n) < κ) = F ( n(κ − 2)/σ)
√ √ √
η = inf θ<2 P(N (θ, σ/ n) < κ) = inf θ<2 F ( n(κ − θ)/σ) = F ( n(κ − 2)/σ)

Donc dans ce cas, la puissance et égale au risque de première espèce ! Dans ce cas, les hypothèses nulle
et alternative sont trop “proches”, de telle sorte qu’on ne peut les distinguer avec certitude.

3. Par définition, dans le cas d’hypothèses simples le risque de première espèce est donné par


α = Pθ0 (Rejeter H0 ) = Pθ0 (Rejeter H0 ) = Pθ0 θ̂n − θ0 ≥ κ

et est donc décroissant en κ. A l’inverse, le risque de deuxième espèce est donné par


β = Pθ1 (Accepter H0 ) = Pθ1 (Accepter H1 ) = Pθ1 θ̂n − θ0 < κ

et est décroissant en κ. Ainsi, les risques de première et deuxième espèce varient en sens inverse. Fixer un
risque de première espèce très faible présente donc un problème si l’on ne rejette pas H0 : dans ce cas,
le risque de deuxième espèce est élevé ce qui correspond au fait que si H1 était vraie, alors la probabilité
d’accepter H0 serait élevée. Ainsi, avoir accepté H0 n’est pas significatif.

Exercice 6.4

1. Ces tests sont raisonnables car X̄n ainsi que Mn ont “tendance” à être plus grands sous H1 que sous
H0 : ainsi, plus ces statistiques seront petites et plus cela sera compatible avec H0 . Par ailleurs, sous H0 on
a X̄n → 12 et Mn → 1, ce qui justifie de prendre κX < 1/2 et κM < 1, avec les valeurs précises calculées
après.
√
2. Sous H0 , on a n(X̄n − 1/2) qui converge en loi vers une loi normale centrée et de variance σ 2 = 1/12
par le théorème central limite.
3. On a donc

α = Pθ0 (X̄n > κX )

√   √  
n 1 n 1
= Pθ0 X̄n − > κX −
σ 2 σ 2
 √  
n 1
≈ P N (0, 1) > κX −
σ 2
√ X


=1−F n(κ − 1/2)/σ

165
ANNEXE A. CORRECTION DES EXERCICES

ce qui donne la formule annoncée pour κX . Quant à κM , on a

α = Pθ0 (Mn > κM ) = 1 − (κM )n

ce qui donne la formule annoncée pour κM .

4. Les puissances sont données par
 √ 
2 3n 1 ε

η X = P1+ε X̄n > κX ≈ 1 − F κX − −


.
1+ε 2 2

Pour le deuxième test, on a

(κM )n 1−α
η M = P1+ε Mn > κM = P1 (1 + ε)Mn > κM = 1 −



=1−
(1 + ε)n (1 + ε)n

5. Pour ε petit on a − ln(1 − η X ) < − ln(1 − η M ) et donc la puissance du test basé sur M est plus grande.
6. La statistique de test dans le test de Neyman–Pearson est donnée par le rapport des vraisemblances : ici,
on a L(θ; x) = θ−n 1 {0 ≤ x1 , . . . , xn ≤ θ} et donc

L(θ1 ; Xn ) L(1 + ε; Xn ) 1 {Mn ≤ 1 + ε}

= = (1 + ε)−n .
L(θ0 ; Xn ) L(1; Xn ) 1 {Mn ≤ 1}

Avec la convention x/0 = +∞, on a donc

(1 + ε)−n

L(θ1 ; Xn ) si Mn ≤ 1,
=
L(θ0 ; Xn ) +∞ sinon.

Le test de Neyman–Pearson est de la forme

L(θ1 ; Xn )
>κ
L(θ0 ; Xn )

et donc avec κ > (1 + ε)−n , on ne rejette H0 que lorsque Mn > 1 auquel cas on ne se trompe jamais : le
risque de première espèce est nul ! Si par contre κ < (1 + ε)−n alors on rejette tout le temps H0 si H0 est
vraie : on se trompe toujours ! Dans ce cas on ne peut donc fixer le risque de première espèce à une valeur
α ∈]0, 1[. Par ailleurs, la puissance du test vaut alors
1
η = P1+ε (1 < Mn < 1 + ε) = 1 −
(1 + ε)n
qui est du même ordre de grandeur que le test proposé à base de Mn .

,→ Exercice 6.5

1. Le test de Neyman–Pearson est de la forme

p1 (X, Y )
Rejeter H0 ⇐⇒ >κ
p0 (X, Y )

où κ est déterminé par PH0 (Rejeter H0 ) = α. Utilisant les expressions de p1 et p0 , on obtient

Rejeter H0 ⇐⇒ |X|, |Y | ≤ d, X 2 + Y 2 > κ0

et κ0 est défini par PH0 (|X|, |Y | ≤ d, X 2 + Y 2 > κ0 ) = α.

2. On a
PH0 |X|, |Y | ≤ d, X 2 + Y 2 > G−1 2 2 −1



2 (1 − α) ≤ PH0 X + Y > G2 (1 − α)

qui vaut α puisque sous H0 , X et Y sont des variables normales centrées réduites indépendantes et donc
X 2 + Y 2 suit une loi du χ2 à 2 degrés de liberté.

166
 A.6. EXERCICES DU CHAPITRE 6

√
3. Pour α = 5%, la région critique est donc l’intersection entre l’extérieur
√ du√disque de rayon 6 et le carré
2
[−2, 2] , qui n’est pas vide puisque le coin du carré est de coordonnée ( 8, 8).√
En revanche, pour α = 1% l’intersection entre l’extérieur du disque de rayon 9 = 3 et le carré [−2, 2]2
est vide. Cela signifie que dans ce cas, une seule observation ne permet pas de rejeter H0 avec un risque de
première espèce inférieure à 1%.

,→ Exercice 6.6 (Comparaison de moyenne et de variance)

2 2
1. On sait d’après le cours que (nX − 1)SX /σX et (nY − 1)SY2 /σY2 suivent des lois du χ2 à nX − 1 et nY − 1
2 2
degrés de liberté. Ainsi, (SX /σX )/(SY2 /σY2 ) suit une loi de Fisher–Snedecor de paramètre (nX − 1, nY − 1).
2
Sous H0 , σX = σY et donc SX = SY2 = (SX 2
/σX2
)/(SY2 /σY2 ) suit une loi de Fisher–Snedecor de paramètre
(nX − 1, nY − 1).
2
2. Sous l’hypothèse H0 , on a SX /SY2 = (SX
2 2
/σX )/(SY2 /σY2 ) et SX
2
/SY2 suit une loi de Fisher–Snedecor de
paramètre (nX − 1, nY − 1) dont on notera FnX −1,nY −1 la fonction de répartition. Pour H1 : σX > σY on
a donc le test suivant :
S2
Rejeter H0 ⇐⇒ X ≥κ
SY2
avec κ déterminé par
PH0 (Rejeter H0 ) = α ⇐⇒ κ = Fn−1
X −1,nY −1
(1 − α).
Au final, le test de H0 : σX = σY contre H1 : σX > σY au niveau α est donné par
2
SX
Rejeter H0 ⇐⇒ ≥ Fn−1
X −1,nY −1
(1 − α).
SY2

3. Si l’on teste H0 contre H1 : σX 6= σY , on considère alors un test bilatéral de la forme

2
SX S2
Rejeter H0 ⇐⇒ 2
≥ κ+ ou X ≤ κ−
SY SY2
avec
 2

SX S2
α = PH0 (Rejeter H0 ) = PH0 2
≥ κ+ ou X ≤ κ− = 1 − FnX −1,nY −1 (κ+ ) + FnX −1,nY −1 (κ− ).
SY SY2

Si l’on impose l’hypothèse de symétrie 1−FnX −1,nY −1 (κ+ ) = FnX −1,nY −1 (κ− ), on obtient κ+ = Fn−1
X −1,nY −1
(1−
α/2). On remarque donc que la forme du test est dictée par H1 .
Pn Pn
4. On a (n − 2)S 2 /σ 2 = X
k=1
(Xk − X̄)2 /σ 2 + k=1
Y
(Yk − Ȳ )2 /σ 2 . Chaque somme suit une loi du χ2 à
nX − 1 et nY − 1 degrés de liberté, et comme les Xi et les Yi sont indépendants la somme totale et donc
(n − 2)S 2 /σ 2 suit une loi du χ2 à n − 2 degrés de liberté.
2
Par ailleurs, X̄ − Ȳ suit une loi normale de moyenne mX − mY et de variance σX /nX + σY2 /nY = σ 2 (1/nX +
1/nY ).
5. On sait d’après le cours sur les vecteurs gaussiens que SX et X̄ sont indépendants, painsi que SY et Ȳ . Il
s’ensuit donc bien que S est indépendante de X̄ et Ȳ . Ainsi, (X̄ − Ȳ − mX + mY )/(σ 1/nX + 1/nY ) suit
une loi normale centrée réduite et est indépendante de (n − 2)S 2 /σ 2 qui suit une loi du χ2 à n − 2 degrés
de liberté : ainsi,
p
(X̄ − Ȳ − mX + mY )/(σ 1/nX + 1/nY ) X̄ − Ȳ − mX + mY
p = p
((n − 2)S 2 /σ 2 )/(n − 2) S 1/nX + 1/nY

suit une loi de Student à n − 2 degrés de liberté.

6. On considère le test
|X̄ − Ȳ | −1
Rejeter H0 ⇐⇒ p ≥ Tn−2 (1 − α/2)
S 1/nX + 1/nY

167
ANNEXE A. CORRECTION DES EXERCICES

avec Tn−2 la fonction de répartition de la loi de Student à n − 2 degrés de liberté. Ainsi, on a prouvé dans
la question précédente que pour ce test,
!
|X̄ − Ȳ | −1
PH0 (Rejeter H0 ) = PH0 p ≥ Tn−2 (1 − α/2)
S 1/nX + 1/nY
−1 −1
= 1 − Tn−2 (Tn−2 (1 − α/2)) + Tn−2 (−Tn−2 (1 − α/2))
−1
= 1 − (1 − α/2) + Tn−2 (Tn−2 (1 − α/2))
= α/2 + α/2
=α

et on contrôle donc bien le risque de première espèce. Pour la troisième égalité, on a utilisé la relation
−1 −1
Tn−2 (x) = −Tn−2 (1 − x). En effet
−1 −1 −1


Tn−2 (x) = −Tn−2 (1 − x) ⇐⇒ x = Tn−2 −Tn−2 (1 − x)
−1


⇐⇒ x = 1 − Tn−2 Tn−2 (1 − x)

où la deuxième équivalence provient de la symétrie de Tn−2 : pour tout x, Tn−2 (x) + Tn−2 (−x) = 1.

,→ Problème 6.7

1. Les variables aléatoires sont indépendantes et de même loi N (µ, σ 2 ), avec µ inconnu.
Pn
2. L’estimateur de la moyenne empirique µ̂n = n1 i=1
Xi est un estimateur sans biais de µ. Dans ce modèle,
c’est également l’estimateur du maximum de vraisemblance. La loi de µ̂n est la loi gaussienne N (µ, σ 2 /n).
3. On considère l’hypothèse nulle H0 : µ ≤ µ0 (le nouveau modèle n’est pas plus performant que l’ancien)
et l’hypothèse alternative H1 : µ > µ0 ce qui donne un test de la forme

Rejeter H0 ⇐⇒ µ̂n ≥ κ

avec κ qui détermine le risque de première espèce α. Puisque H0 est composite, on a

α = sup Pµ (µ̂n ≥ κ) = sup Pµ (µ̂n ≥ κ).

µ∈H0 µ≤µ0

√
Comme µ̂n est de loi gaussienne N (µ, σ 2 /n), n(µ̂n − µ)/σ est centre réduit et il vient
√
κ−µ

Pµ (µ̂n ≥ κ) = 1 − F n
σ
avec F la fonction de répartition de N (0, 1). On remarque que µ 7→ Pµ (µ̂n ≥ κ) est une fonction croissante
de µ et donc supµ≤µ0 Pµ (µ̂n ≥ κ) = Pµ0 (µ̂n ≥ κ). Pour un seuil α, κ est donc déterminé par l’équation :
√
κ − µ0

α=1−F n
σ
√
soit κ = µ0 + σF −1 (1 − α)/ n. Pour l’application numérique, on a α = 5%, F −1 (1 − α) ≈ 1.64 et
κ ≈ 123.9 > µ̂n = 123.5.
4. On évalue l’erreur de deuxième espèce, β, pour µ1 = 1.05µ0 , c’est-à-dire la probabilité de rejeter le
nouveau modèle sachant que l’annonce du représentant est exacte et donc que le nouveau modèle est plus
performant de 5%. Elle est définie par :
√ √ 
n(µ̂n − µ1 ) n(κ − µ1 )
β = Pµ1 (µ̂n < κ) = Pµ1 < .
σ σ

Sous Pµ1 , µ̂n ∼ N (µ1 , σ 2 /n) et donc, poursuivant les calculs précédents, on obtient
√   √ 
n(κ − µ1 ) −1 n(µ0 − µ1 )
β=F = F F (1 − α) + .
σ σ

168
 A.6. EXERCICES DU CHAPITRE 6

L’application numérique donne β ≈ 19.5%. Il s’agit du risque du vendeur, i.e. le risque que sa machine ne
soit pas achetée alors qu’elle est 5% meilleure que l’ancienne.
5. L’hypothèse nulle est alors H00 : µ = µ1 , et l’hypothèse alternative H1 : µ ≤ µ0 . Dans ce cas, le test est
de la forme
Rejeter H0 ⇐⇒ µ̂n ≤ κ0
et l’erreur de première espèce est :
 
√ κ 0 − µ1
Pµ1 (µ̂n ≤ κ0 ) = F n .
σ

Pour un niveau α, on obtient :

1 1
κ0 = µ1 + √ σF −1 (α) = 1.05µ0 + √ σF −1 (α)
n n

Pour α = 5%, on obtient κ0 ≈ 122.0 < µ̂n = 123.5. On accepte donc H00 : le nouveau modèle est donc plus
performant que l’ancien de 5% en moyenne. Le risque de deuxième espèce maximal est alors ;

β 0 = sup Pµ (µ̂n > κ0 )

µ≤µ0

= Pµ0 (µ̂n > κ0 )

 √ µ0 − µ1 
= 1 − F F −1 (α) −
n
σ

−1 √ µ0 − µ1 
= F −F (α) + n
σ
= β.

La quatrième égalité vient de 1 − F (x) = F (−x) et la dernière de −F −1 (x) = F −1 (1 − x) (cf. correction

de la dernière question de l’exercice 6.3) et de l’expression de β calculée précédemment. L’acheteur a donc
environ 20% de chance d’accepter l’annonce du représentant alors que celle-ci est fausse.

6. A FAIRE

Problème 6.8 (Tests de Wilcoxon)

1. L’objet du test est la valeur P(X > 0) et les hypothèses H0 et H1 se formulent à partir de ce paramètre.
La variable Sn+ est le nombre d’observations positives parmi l’échantillon. Lorsque n tend vers l’infini, Sn+ /n
converge presque sûrement vers P(X > 0) qui vaut 1/2 sous l’hypothèse H0 . Il est donc naturel de comparer
Sn+ et n/2 pour formuler une règle de rejet de l’hypothèse nulle.
2. Sous l’hypothèse H0 , les variables 1 {X1 > 0} , . . . , 1 {Xn > 0} sont indépendantes et de même loi de
Bernoulli de paramètre 1/2. Leur somme Sn+ suit une loi binomiale B(n, 1/2) qui ne dépend pas de la loi de
X.
3. Par définition de la règle de test et comme kα < n/2,

PH0 (Rejeter H0 ) = PH0 (Sn+ ≤ kα ou n − kα ≤ Sn+ ) = PH0 (Sn+ ≤ kα ) + PH0 (n − kα ≤ Sn+ ).

D’après la question précédente, si B désigne une variable aléatoire de loi B(n, 1/2), alors

PH0 (Rejeter H0 ) = P(B ≤ kα ) + P(n − kα ≤ B) = 2P(B ≤ kα )

car B et n − B ont la même loi. Ainsi, pour assurer un risque de première espèce inférieur à α, il suffit de
prendre kα comme le plus grand entier tel que P(B ≤ kα ) ≤ α/2.
4. Par définition d’une loi de probabilité, nous savons que

P(X > 0) + P(X = 0) + P(X < 0) = 1.

169
ANNEXE A. CORRECTION DES EXERCICES

Par hypothèse, la loi de X est absolument continue et nous avons P(X = 0) = 0. De plus, sous H00 , les
variables X et −X ont la même loi et donc P(X < 0) = P(−X < 0) = P(X > 0). Ainsi, nous obtenons
P(X > 0) = 1/2 sous l’hypothèse H00 . Ce résultat dit que H00 implique H0 mais la réciproque n’est pas vraie
car il existe des lois de probabilité telles que P(X > 0) = 1/2 qui ne sont pas symétriques. Par exemple,
il suffit de considérer la loi de E − ln(2) où E suit une loi exponentielle E(1). Le test de H00 contre H10 est
bien distinct du précédent et ses hypothèses ne peuvent pas se formuler à partir d’un simple paramètre. En
effet, l’hypothèse H00 est vraie pour toute loi symétrique et cela ne peut pas s’exprimer à partir d’une simple
valeur calculée avec la loi de X. Il s’agit donc bien d’un test non paramétrique.
5. Puisque les variables aléatoires X1 , . . . , Xn sont absolument continues, indépendantes et de même loi,
il en va de même pour les valeurs absolues |X1 |, . . . , |Xn |. En particulier, cela implique que la probabilité
d’observer deux réalisations égales est nulle et que les rangs sont bien définis presque sûrement. Ainsi, la
séquence (R1 , . . . , Rn ) est bien une permutation aléatoire de l’ensemble {1, . . . , n}. Le caractère uniforme
de cette permutation provient de l’échangeabilité des variables aléatoires |X1 |, . . . , |Xn |, c’est-à-dire du fait
que, pour toute permutation déterministe σ de {1, . . . , n}, la loi du vecteur aléatoire (|Xσ(1) |, . . . , |Xσ(n) |)
est la même que celle de (|X1 |, . . . , |Xn |). Ainsi,

1
P(|Xσ(1) | ≤ · · · ≤ |Xσ(n) |) = P(|X1 | ≤ · · · ≤ |Xn |) =
n!
où la dernière égalité découle du fait que
X
P(|Xσ(1) | ≤ · · · ≤ |Xσ(n) |) = 1.
σ permutation de {1,...,n}

Puisque une permutation des réalisations X1 , . . . , Xn ne modifie pas la suite des valeurs absolues classées
par ordre croissant, il vient que la séquence (R1 , . . . , Rn ) est uniforme parmi toutes les permutations de
{1, . . . , n} quelque soit la loi de X.
6. Soit j ∈ {1, . . . , n}, pour calculer la probabilité P(Rk = j), il suffit de dénombrer le nombre de permuta-
tions de {1, . . . , n} telles que |Xk | occupe la jème place puisque la permutation des rangs est uniforme. Il
est évident qu’il y a (n − 1)! telles permutations et donc Rk suit bien la loi uniforme sur {1, . . . , n} puisque

(n − 1)! 1
P(Rk = j) = = .
n! n
Sous H00 , Xk et −Xk ont la même loi et admettent la même valeur absolue |Xk |. Le rang Rk de cette valeur
absolue est donc indépendant du signe de Xk .
7. La variable Wn+ est la somme d’un sous-ensemble des entiers allant de 1 à n. Elle est donc positive et sa
valeur maximale est donnée par
n n
X X n(n + 1)
Wn+ ≤ Rk k= .
2
k=1 k=1

Nous avons vu que la loi des rangs R1 , . . . , Rn ne dépend pas de la loi de X. De plus, sous l’hypothèse H00 , la
loi de Rk est indépendante du signe de Xk donc les variables Rk 1 {Xk > 0} et Rk 1 {Xk < 0} ont la même
loi. Il en découle que la loi de Wn+ ne dépend pas de celle de X.
8. De manière symétrique pour les réalisations négatives, nous pouvons définir la variable
n
X
Wn− = Rk 1 {Xk < 0} .
k=1

Sous H00 , Wn+ et Wn− admettent la même loi puisque celle-ci ne dépend pas du signe des réalisations. Si W
désigne la valeur prise par Wn+ , alors n(n+1)
2
− W est celle de Wn− et cela répond à la question.

9. À l’aide de la question précédente et de la même façon que dans la question 3, nous obtenons que

PH00 (Rejeter H00 ) = 2P(W ≤ wα ) ≤ α.

170
 A.6. EXERCICES DU CHAPITRE 6

10. Il s’agit d’une conséquence immédiate de l’indépendance entre X et Y et du fait que ces variables
admettent la même loi sous H000 .
11. Il suffit de considérer le test des rangs de Wilcoxon construit à partir des réalisations Z1 = X1 −
Y1 , . . . , Zn = Xn − Yn et calibré avec la loi Wn pour assurer un risque de première espèce inférieur à α.

Problème 6.9 (Test du χ2 d’ajustement)

(j)
1. Pour j ∈ {1, . . . , d}, la variable Nn est le nombre de vecteurs parmi l’échantillon X1 , . . . , Xn où la j ème
composante vaut 1. Il s’agit d’une somme de variables de Bernoulli indépendantes de paramètre pj . Sa loi
(1) (d)
est donc une binomiale B(n, pj ). Les variables Nn , . . . , Nn ne sont pas indépendantes car elles sont liées
par la relation
d n d
X X X (j)
Nn(j) = Xi = n.
j=1 i=1 j=1

2. Par définition, nous avons

d n d d
X X X (j)
X
(Nn(j) − npj ) = Xi −n pj = n − n = 0.
j=1 i=1 j=1 j=1

En particulier,
d−1
X
Nn(d) − npd = − (Nn(j) − npj )
j=1

et nous pouvons écrire

 2  2
(j) (d)
d−1
X Nn − npj Nn − npd
Dn = +
npj npd
j=1
 2
(j) !2
d−1 Nn − npj d−1
X 1 X
= + (Nn(j) − npj ) .
npj npd
j=1 j=1

(j)
3. Pour tout j ∈ {1, . . . , d − 1}, la variable X1 suit une loi de Bernoulli de paramètre pj donc Σ∗jj =
(j) (j) (j)
Cov(X1 , X1 ) = Var(X1 ) = pj (1 − pj ). Soit k ∈ {1, . . . , d} distinct de j, nous savons, par définition
(j) (k)
de la loi multinomiale, que les variables X1 et X1 ne peuvent pas être simultanément non nulles. Ainsi
(j) (k)
X1 X1 = 0 et la covariance vaut

Σ∗jk = Cov(X1 , X1 ) = E[X1 X1 ] − E[X1 ] × E[X1 ] = −pj pk .

(j) (k) (j) (k) (j) (k)

4. En tant que matrice de covariance inversible, Σ∗ est symétrique définie positive et il en va de même pour
son inverse. La racine carrée (Σ∗ )−1/2 est donc bien définie et nous retrouvons Dn ,
 ∗
>  
∗ −1/2 Nn − np∗ ∗
∗ −1/2 Nn − np∗ 1
Zn> Zn = (Σ ) √ (Σ ) √ = (Nn∗ − np∗ )> (Σ∗ )−1 (Nn∗ − np∗ ).
n n n

5. Puisque E[X1∗ ] = p∗ , le théorème central limite multi-dimensionnel donne la convergence

n
Nn∗ − np∗ X ∗ L
√ = n−1/2 (Xi − p∗ ) −−−−→ (Σ∗ )1/2 Z.
n n→∞
i=1

Par continuité, nous en déduisons la convergence en loi de Zn vers Z.

171
ANNEXE A. CORRECTION DES EXERCICES

6. Par continuité de l’application z ∈ Rd−1 7→ z > z, nous déduisons des questions précédentes que
L
Dn = Zn> Zn −−−−→ Z > Z.
n→∞

Puisque Z est un vecteur gaussien standard de dimension d − 1, la loi de Z > Z est une loi χ2 (d − 1) par
définition.
7. Notons Pq la loi de X1 sous (H0 ), les questions précédentes conduisent à
  2 
(j)
d N n − nqj
X
> sα  −−−−→ P χ2 (d − 1) > sα = α.


Pq (Rejeter (H0 )) = Pq 

nq j n→∞
j=1

8. Nous calculons la valeur observée dn de la variable Dn sur ces données,

(63 − 162 × 0.40)2 (49 − 162 × 0.35)2 (19 − 162 × 0.15)2 (31 − 162 × 0.10)2
dn = + + +
162 × 0.40 162 × 0.35 162 × 0.15 162 × 0.10
= 0.05 + 1.05 + 1.16 + 13.52 = 15.77.

Comme 15.77 > 7.81, nous rejetons l’hypothèse nulle d’adéquation des données au vecteur de probabilité
proposé.
9. Nous calculons
d−1 d−1
1 1 XX
(Nn∗ − np∗ )> M (Nn∗ − np∗ ) = Mjk Nn(j) − npj Nn(k) − npk



n n
j=1 k=1
d−1  
1X 1 1
2
= + Nn(j) − npj
n pj pd
j=1
d−1
1 XX 1
Nn(j) − npj Nn(k) − npk



+
n pd
j=1 k6=j
 2
(j) !2
d−1 Nn − npj d−1
X 1 X
= + (Nn(j) − npj ) = Dn .
npj npd
j=1 j=1

Soit j ∈ {1, . . . , d − 1}, nous avons

d−1   d−1
X 1 1 pj X
(M Σ∗ )jj = Mjj Σ∗jj + Mjk Σ∗kj = + pj (1 − pj ) − pk
pj pd pd
k=1,k6=j k=1,k6=j

pj (1 − pj ) pj
= 1 − pj + − (1 − pj − pd ) = 1.
pd pd
Prenons k ∈ {1, . . . , d − 1} distinct de j, alors
d−1
X
(M Σ∗ )jk = Mjj Σ∗jk + Mjk Σ∗kk + Mj` Σ∗`k
`=1,`6=j,`6=k
  d−1
1 1 pk (1 − pk ) pk X
=− + pj pk + − p`
pj pd pd pd
`=1,`6=j,`6=k

pj pk pk (1 − pk ) pk
= −pk − + − (1 − pj − pk − pd ) = 0.
pd pd pd
Ainsi M Σ∗ = Id−1 et nous obtenons que M est la matrice inverse de Σ∗ .

172
Annexe B

Tableau des lois usuelles

Les pages suivantes présentent la définition des lois discrètes et absolument continues les plus
usuelles, avec leur domaine de définition et leurs transformées.

173
 Probabilité élémentaire Fonction de Fonction
Loi Paramètre Support Espérance Variance
P(X = k) répartition FX (x) caractéristique ϕX (t)
1 x n+1 n2 − 1 1 − eint
Uniforme n ∈ N∗ {1, . . . , n}
n n 2 12 n(e−it − 1)
( (
Bernoulli p ∈]0, 1[ {0, 1} p si k = 1 1 − p si x = 0 p p(1 − p) peit + 1 − p
1 − p si k = 0 1 si x = 1
X x  
n k
n ∈ N∗ ,
 
n k p (1 −
n
Binomiale {0, . . . , n} p (1 − p)n−k k np np(1 − p) peit + 1 − p
p ∈]0, 1[ k=0
k
p)n−k
ANNEXE B. TABLEAU DES LOIS USUELLES

174
Géométrique p ∈]0, 1[ N∗ (1 − p)k−1 p 1 − (1 − p)x 1 1−p peit
p p2 1 − eit + peit
x

Poisson µ>0 N µk X µk µ µ exp −µ(1 − eit )
e−µ e−µ
k! k!
k=0

Table B.1 – Lois discrètes classiques : dans les colonnes probabilité élémentaire et fonction de répartition, on ne considère que k et x dans le
1
support. De manière plus générale, la loi uniforme est définie sur n’importe quel ensemble fini A et est définie par P(X = a) = |A| . Puisque
toutes les lois présentées sont des lois sur N, leur transformée de Laplace LX et fonction génératrice ϕX sont aussi définies. Elles s’obtiennent
directement à partir de la fonction caractéristique : LX (λ) = ϕX (iλ) et φX (z) = LX (− ln z).
 Fonction de Fonction
Loi Paramètre Support Densité fX (x) Espérance Variance
répartition FX (x) caractéristique ϕX (t)
Uniforme 1 x−a a+b (b − a)2 eitb − eita
a<b [a, b]
(continue) b−a b−a 2 12 it(b − a)
m∈R   Z x  
Normale R 1 (x − m)2 m σ2 1 2 2
σ>0 exp − fX (y)dy exp − t σ + itm
(2πσ 2 )1/2 2σ 2 −∞ 2

175
Exponentielle λ>0 [0, ∞[ λe −λx
1 − e−λx 1 1 λ
λ λ2 λ − it
Z x α α  −α
Gamma α, β > 0 [0, ∞[ β α α−1 −βx it
x e fX (y)dy 1−
Γ(α) 0
β β2 β

Table B.2 – Lois absolument continues classiques : dans les colonnes densité et fonction de répartition, on ne considère que x dans le support.
Bibliographie

[1] R. J. Serfling, Approximation theorems of mathematical statistics, John Wiley & Sons, Inc.,
New York, 1980. Wiley Series in Probability and Mathematical Statistics.
[2] A. W. van der Vaart, Asymptotic statistics, vol. 3 of Cambridge Series in Statistical and
Probabilistic Mathematics, Cambridge University Press, Cambridge, 1998.

177
Adresse postale
ISAE-SUPAERO
10 avenue É. Belin – BP 54032
31055 Toulouse CEDEX 4 – France
Téléphone
33 (0)5 61 33 80 80
Site internet
[Link]