Phénomènes aléatoires et probabilités
Phénomènes aléatoires et probabilités
Mars 2020
Table des matières
1 Introduction 7
1.1 Avant-propos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2 Phénomènes aléatoires . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.3 Deux idées majeures et incontournables . . . . . . . . . . . . . . . . . 10
1.3.1 La loi des grands nombres . . . . . . . . . . . . . . . . . . . . . 10
1.3.2 Conditionnement et indépendance . . . . . . . . . . . . . . . . 10
1.4 Les variables aléatoires . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4.1 Loi d’une variable aléatoire . . . . . . . . . . . . . . . . . . . . 11
1.4.2 Simulation de variables aléatoires . . . . . . . . . . . . . . . . . 11
1.5 Historique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2 Espace de probabilité 15
2.1 Le langage des probabilités . . . . . . . . . . . . . . . . . . . . . . . . 15
2.1.1 Information issue d’une expérience aléatoire . . . . . . . . . . . 15
2.1.2 Probabilité - Premières propriétés . . . . . . . . . . . . . . . . 18
2.2 Espace fondamental fini ou dénombrable . . . . . . . . . . . . . . . . . 23
2.2.1 Caractérisation . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2.2 Modèles d’urnes et calcul combinatoire . . . . . . . . . . . . . . 25
2.3 Conditionnement et indépendance . . . . . . . . . . . . . . . . . . . . 29
2.3.1 Probabilités conditionnelles . . . . . . . . . . . . . . . . . . . . 29
2.3.2 Indépendance . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.3.3 Le lemme de Borel-Cantelli . . . . . . . . . . . . . . . . . . . . 35
2.4 Rappels et compléments . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.4.1 Rappels sur les ensembles . . . . . . . . . . . . . . . . . . . . . 36
2.4.2 Modélisation ensembliste des événements . . . . . . . . . . . . 37
2.4.3 Les ensembles dénombrables . . . . . . . . . . . . . . . . . . . . 38
2.4.4 Quelques résultats utiles sur les séries . . . . . . . . . . . . . . 38
2.5 Exercices sur le chapitre 2 . . . . . . . . . . . . . . . . . . . . . . . . . 40
3
4 TABLE DES MATIÈRES
3.2.1 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.2.2 Propriétés de l’espérance des v.a. discrètes . . . . . . . . . . . . 47
3.2.3 Variance et écart-type . . . . . . . . . . . . . . . . . . . . . . . 48
3.2.4 Moments d’une variable aléatoire . . . . . . . . . . . . . . . . . 49
3.3 Fonction génératrice d’une v.a. entière . . . . . . . . . . . . . . . . . . 50
3.4 Variables aléatoires discrètes usuelles . . . . . . . . . . . . . . . . . . . 52
3.4.1 Variable aléatoire de Bernoulli . . . . . . . . . . . . . . . . . . 52
3.4.2 Variable aléatoire binomiale . . . . . . . . . . . . . . . . . . . . 52
3.4.3 Probabilité de succès et variable aléatoire géométrique . . . . . 54
3.4.4 Variable aléatoire de Poisson . . . . . . . . . . . . . . . . . . . 55
3.5 Lois conditionnelles et indépendance . . . . . . . . . . . . . . . . . . . 56
3.5.1 Lois marginales . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.5.2 Lois conditionnelles . . . . . . . . . . . . . . . . . . . . . . . . 57
3.5.3 Espérance conditionnelle . . . . . . . . . . . . . . . . . . . . . . 57
3.5.4 Variables aléatoires indépendantes . . . . . . . . . . . . . . . . 59
3.5.5 Somme de v.a. indépendantes . . . . . . . . . . . . . . . . . . . 61
3.6 Exercices sur le chapitre 3 . . . . . . . . . . . . . . . . . . . . . . . . . 63
Bibliographie 261
Index 263
Chapitre 1
Introduction
A quoi tu penses ?
Je pense que,
7
8 Chapitre 1 – Introduction
1.1 Avant-propos
Le mot Hasard est un mot d’origine arabe : az-zahr, le dé. Il est apparu en français
pour signifier tout d’abord un jeu de dés, puis plus généralement un événement non
prévisible, et par extension le mode d’apparition de ce type d’événement.
Dans la vie quotidienne, chacun est familier avec le mot et même le concept de pro-
babilité : probabilité qu’il pleuve la semaine suivante, probabilité d’avoir une fille aux
yeux bleus, probabilité de gagner au loto ou celle d’être dans la bonne file au super-
marché. Les assurances fixent le contrat d’assurance-vie d’un individu de 20 ans, grâce
à une estimation de sa probabilité de survie à 80 ans. Dans de nombreux domaines,
les probabilités interviennent : les entreprises cherchent à calculer le besoin probable
de leurs produits dans le futur, les médecins cherchent à connaı̂tre les probabilités
de succès de différents protocoles de soin, les compagnies pharmaceutiques doivent
estimer les probabilités d’apparitions d’effets secondaires pour leurs médicaments. Un
exemple récent et spectaculaire est celui de l’utilisation des probabilités en économie,
et en particulier en finance. Nous pouvons citer également d’autres domaines d’appli-
cations extrêmement importants et en pleine expansion, aussi variés que le calcul de
structures, la théorie du signal, l’optimisation et le contrôle des systèmes, l’imagerie
médicale, la génomique et la théorie de l’évolution.
Les probabilités sont en lien étroit avec la vie quotidienne. A ce titre, elles s’appuient
sur un passage du concret à l’abstrait : la modélisation mathématique. En effet, la
première difficulté face à un problème concret va être de transformer cette réalité phy-
sique en un modèle mathématique abstrait qu’il est possible d’étudier et sur lequel des
calculs peuvent être menés. Il est alors possible de fabriquer des expérimentations fic-
tives du problème concret sur ordinateur, que l’on appelle des simulations numériques,
obtenues à partir du modèle mathématique. Ces simulations sont utilisées, soit à des
fins descriptives, soit à des fins numériques.
Pour pouvoir modéliser les innombrables situations, de natures très différentes, où le
hasard intervient, un cadre très général d’étude est nécessaire. Ce cadre abstrait a été
défini rigoureusement par Andrei Kolmogorov en 1933 (donc très récemment), sous le
nom de modèle probabiliste. Sa définition a nécessité préalablement le développement
de théories d’analyse importantes telles le calcul intégral et la théorie de la mesure.
Le but de ce cours est d’introduire les notions de base de la théorie des probabilités,
et surtout de permettre d’acquérir le raisonnement probabiliste. Cette théorie des
probabilités ne peut se construire axiomatiquement qu’en utilisant la théorie de la
mesure et de l’intégration, ce qui en constitue une des difficultés principales. Nous
n’en donnerons dans ce texte que les éléments nécessaires à sa bonne compréhension,
sans exiger de prérequis dans ce domaine. (Mais nous remarquerons que la théorie des
probabilités constitue un très bel exemple d’application de la théorie de l’intégration).
Définition 1.1 Un phénomène est dit aléatoire si, reproduit maintes fois dans des condi-
tions identiques, il se déroule chaque fois différemment de telle sorte que le résultat de
l’expérience change d’une fois sur l’autre de manière imprévisible.
Deux idées majeures illustrent la théorie des probabilités et son extrême richesse :
la loi des grands nombres et le conditionnement (lié à la notion d’indépendance).
Ces deux notions formeront l’ossature de ce cours et méritent d’être assimilées en
profondeur.
C’est cette stabilité confirmée par l’expérience qui s’appelle Loi des grands
nombres, et qui légitime l’utilisation d’un modèle mathématique.
La construction d’un modèle probabiliste repose sur l’information connue a priori sur
l’expérience aléatoire. Ce modèle permet de quantifier les probabilités de réalisation de
certains résultats de l’expérience. Il est fondamental de remarquer que si l’information
change, les probabilités de réalisation changent. Par exemple, la chance de choisir au
1.4 – Les variables aléatoires 11
hasard un homme de plus de 100 kilos parmi 1000 hommes de la population française
est plus grande si le groupe est composé d’hommes de plus de 1,80m que si le groupe
est composé d’hommes de moins de 1,65m. La richesse du modèle probabiliste que nous
allons construire réside dans le fait que si l’information change par rapport au modèle
initial, les nouvelles chances de réalisation pourront être calculées. Ce raisonnement
lié à l’information a priori se résume en théorie des Probabilités par le mot condition-
nement. Quand l’information donnée a priori sur un phénomène aléatoire n’a aucune
influence sur la réalisation d’un autre phénomène, par exemple deux tours successifs
de roulette dans un casino, ces phénomènes aléatoires sont dits indépendants. Cette
hypothèse d’indépendance sera fondamentale dans toute la théorie, et simplifiera de
nombreux calculs.
Nous allons dans ce livre étudier des fonctions qui dépendent du résultat de
l’expérience aléatoire sous-jacente. Elles sont appelées variables aléatoires, car leurs
valeurs varient en fonction du hasard. Plutôt que de chercher les antécédents de chaque
valeur possible de la fonction, nous allons nous intéresser à la chance de réalisation
de l’ensemble des antécédents qui permettent à la fonction d’être égale à une de ces
valeurs ou d’appartenir à un ensemble de ces valeurs. C’est cela que nous appellerons
la loi de la variable aléatoire. Cette notion de loi d’une variable aléatoire est à la base
du raisonnement probabiliste moderne.
L’outil de base est un générateur de nombres au hasard qui simule une variable
aléatoire de loi uniforme. La plupart des langages de programmation et des logiciels
mathématiques en possèdent un :
• la méthode [Link] en Java,
• la fonction rand sous Matlab ou Scilab,
• la bibliothèque [Link] en Python.
Ainsi, par exemple, l’application répétée de la fonction rand fournit une suite de
nombres indépendants les uns des autres et uniformément répartis sur [0, 1]. Nous
verrons comment, à partir de ce générateur, nous pouvons simuler de nombreux types
de loi.
1.5 Historique
La théorie des probabilités se construit dans la modélisation d’une réalité qui n’est pas
forcément (pas souvent) de nature physique. Pascal la croit utilisable en théologie. Le
célèbre Pari de Pascal montre que croire en Dieu est une solution statistiquement plus
avantageuse, en supposant au préalable que les deux hypothèses d’existence ou non de
Dieu ont la même probabilité. Leibniz (1646-1716), et plus tard Laplace (1749-1827),
1.5 – Historique 13
De nos jours, l’Ecole française de Probabilités est très active. La première Médaille
Fields décernée à un probabiliste a et́é attribuée à Wendelin Werner en 2006. Les pro-
babilités se développent de plus en plus, alimentées en particulier de manière essen-
tielle par la physique, le développement des réseaux de télécommunications, la finance,
et plus récemment, par la biologie et la médecine. Elles permettent de construire des
modèles mathématiques, qui peuvent être validés par les données suivant la théorie
statistique, et fournissent également des possibilités d’expérimentations fictives dans
de multiples domaines d’applications.
Chapitre 2
Espace de probabilité
L’ensemble de tous les résultats possibles d’une expérience aléatoire est appelé
espace fondamental et sera noté Ω. Ses éléments, notés classiquement ω ∈ Ω, sont
aussi appelés événements élémentaires.
Exemple 2.1
1. Deux Lancers d’une pièce à Pile ou Face : Ω = {P P, P F, F P, F F }. Le sous-
ensemble {P P, P F, F P } est l’événement “obtenir au moins un P ”.
2. Lancer simultané de deux pièces identiques à Pile ou Face : Ω = {P P, P F, F F },
puisque l’expérience aléatoire ne permet pas l’accès à l’ordre d’obtention de P
et F . Le sous-ensemble {P P, P F } est l’événement “obtenir au moins un P ”.
15
16 Chapitre 2 – Espace de probabilité
Ainsi, l’espace fondamental peut être fini (exemples 1 à 3), infini dénombrable
(exemple 4), ou infini non dénombrable (exemples 5 à 9). Il peut être dépourvu d’une
structure topologique naturelle, comme dans l’exemple 1, ou en avoir une plus ou
moins riche. Cela permet de réaliser la richesse de la théorie qu’il faut mettre en place
afin d’englober tous ces cas.
Le modèle abstrait que nous allons construire est fondé sur la modélisation de l’in-
formation qui est définie mathématiquement par le choix de la famille des événements
(sous-ensembles de Ω) qui peuvent être discernés par l’expérience aléatoire. La
définition suivante permet de mettre en place cette notion en suivant l’intuition de
l’information révélée par une telle expérience aléatoire.
et que la combinaison de (A2) et (A3) implique que A est stable par intersection
dénombrable.
Notons également que (A3) n’implique pas que A soit stable par réunion ou intersec-
tion infinie non dénombrable. Cependant en considérant le cas particulier A0 = A et
An = B pour n ≥ 1 dans (A3), on obtient la condition plus faible suivante.
Définition 2.3 Une classe A ⊂ P(Ω) est dite additive si elle vérifie :
(A3)f A est stable par union finie : si A, B ∈ A, alors A ∪ B ∈ A.
Si Ω est fini, alors A ⊂ P(Ω) est finie, et (A3) est équivalente à (A3)f .
Exemple 2.4 (i) A = {∅, Ω} est la tribu grossière, ou triviale : c’est la plus petite
tribu de Ω.
(ii) L’ensemble P(Ω) des parties de Ω est une tribu sur Ω. C’est celle que nous choi-
sirons systématiquement si Ω est un ensemble fini ou dénombrable. Cependant, pour
des raisons fondamentales que nous indiquerons ultérieurement, cette tribu sera trop
grande dès que Ω est infini non dénombrable pour que l’on puisse définir la probabilité
de tous ses éléments de manière non triviale.
En dehors des cas très simples, il est souvent impossible de lister les éléments
d’une algèbre ou d’une σ−algèbre. Il est alors commode de les caractériser par des
sous-ensembles “assez riches”. D’après la définition d’une tribu, on voit que toute
intersection (même infinie non dénombrable) de tribus est une tribu. Comme P(Ω)
est une tribu, on peut définir la notion suivante.
Définition 2.5 Soit C ⊂ P(Ω). La tribu engendrée par C est la plus petite tribu conte-
nant C et est donnée par
T
σ(C) = A.
A tribu, C⊂A⊂P (Ω)
Exemple 2.6 (i) La tribu engendrée par un ensemble A ⊂ Ω est {∅, A, Ac , Ω}.
(ii) Si (Ai )i∈I est une partition finie ou dénombrable de Ω (i.e. les Ai sont deux-à-
deux disjoints et leur réunion est Ω), la tribu engendrée par {Ai , i ∈ I} est l’ensemble
des réunions BJ = ∪i∈J Ai , où J décrit la classe de toutes les parties de I.
18 Chapitre 2 – Espace de probabilité
À titre d’exemple, la tribu borélienne de R est la tribu engendrée par la classe des
intervalles ouverts de R. Le résultat suivant montre qu’on peut se restreindre aux
intervalles (ouverts ou fermés) non bornés à gauche (ou à droite). La démonstration
est un très bon exercice de maniement des tribus :
Proposition 2.8 La tribu borélienne de R est la tribu engendrée par les intervalles
de la forme ] − ∞, a] pour a ∈ Q.
Preuve. Rappelons que toute tribu est stable par passage au complémentaire, par
réunion ou intersection dénombrable. Puisque ] − ∞, a] est le complémentaire de l’in-
tervalle ouvert ]a, +∞[, ce dernier appartient à la tribu borélienne, et donc la tribu
C engendrée par ces intervalles est incluse dans la tribu borélienne. Réciproquement,
soit ]x, y[ un intervalle ouvert de R. Soit (xn )n une suite de rationnels décroissant vers
x et (yn )n une suite de rationnels croissant strictement vers y. On a :
[
] − ∞, yn ]∩] − ∞, xn ]c .
]x, y[=
n
Pour justifier notre définition d’une probabilité, nous allons faire appel à notre in-
tuition et discuter la signification usuelle de ce qu’est la probabilité d’un événement.
Considérons un événement A pouvant se produire lors d’une certaine expérience
aléatoire (par exemple, A = obtenir Pile lors du lancer d’une pièce). Supposons
que l’on puisse répéter un grand nombre n de fois cette expérience aléatoire. Notons
n(A) le nombre de fois où l’événement A se produit. La fréquence de réalisation de A,
n(A)
fn (A) = ,
n
1. Un espace topologique est muni d’une famille d’ouverts contenant l’ensemble vide, stable par
union quelconque, et stable par intersection finie.
2.1 – Le langage des probabilités 19
est elle-même aléatoire. Mais notre expérience courante tend à nous faire penser que,
lorsque le nombre n de répétitions de l’expérience augmente, fn (A) se stabilise autour
d’une valeur limite déterministe (on peut penser que fn (A) tend vers 1/2 dans le cas
où A est l’événement obtenir Pile lors du lancer d’une pièce non biaisée). Cette
limite est notre idée intuitive de la probabilité P(A) de l’événement A. L’approche
intuitive et naturelle consiste donc à définir P(A) comme étant la limite quand n tend
vers l’infini des fréquences de réalisation fn (A) :
P(A) = limite de fn (A) quand n ↑ +∞. (2.1)
Nous donnerons ultérieurement une justification et un sens précis à cette limite, grâce
à la loi des grands nombres, qui est un des théorèmes fondamentaux de la théorie,
justifiant toute la construction mathématique. Des propriétés évidentes vérifiées par
les fréquences de réalisation sont les suivantes :
fn (A) ∈ [0, 1] ; fn (Ω) = 1 ;
Si A et B sont disjoints, alors fn (A ∪ B) = fn (A) + fn (B) ;
Ceci motive la définition générale 2.9 d’une probabilité. On dira qu’une suite
d’événement (An )n sont 2à2 disjoints si Ai ∩ Aj = ∅ pour tous i 6= j
Définition 2.9 Soit A une tribu sur Ω. Une probabilité sur (Ω, A) est une application
P : A −→ [0, 1]
vérifiant les deux propriétés suivantes :
• Masse totale unitaire : P(Ω) = 1, (2.2)
X
• σ−additivité : P(∪n An ) = P(An ), pour tout (An )n ⊂ A, 2à2 disjoints. (2.3)
n
Remarque : La probabilité P (dite aussi mesure de probabilité) est une mesure abstraite
de masse 1 sur l’espace mesurable (Ω, A). Le cadre dans lequel nous travaillons est
mathématiquement développé par la théorie de la mesure, mais nous n’invoquerons
aucun résultat général de cette théorie.
Notons cependant que les propriétés de σ−additivité (2.3) et d’addivité (2.4) sont
équivalentes dans le cadre d’un espace fondamental Ω fini.
20 Chapitre 2 – Espace de probabilité
• P(∅) = 0 (2.5)
c
• P(A) + P(A ) = 1, (2.6)
n
X
• P(∪ni=1 Ai ) = P(Ai ) , si les Ai sont 2à2 disjoints, (2.7)
i=1
• P(A ∪ B) + P(A ∩ B) = P(A) + P(B), (2.8)
• P(A) ≤ P(B) si A ⊂ B. (2.9)
U C B
B A
U C
A B U
A B
Figure 2.1 – A, B, A ∩ B c , A ∩ B, B ∩ Ac et A ∪ B
card(A)
Pn (A) = pour tout A ⊂ Ω.
2n
Supposons maintenant que le jeu se poursuive indéfiniment. L’espace fondamen-
∗
tal devient Ω = {P, F }N , c’est-à-dire l’ensemble des mots de longueur infinie,
avec le même alphabet à deux lettres P et F . C’est un ensemble infini. Essayons
d’évaluer la probabilité P(A) de l’événement A = “on ne tire jamais Pile”. Soit
An = “on ne tire aucun Pile lors des n premiers tirages”. D’après l’expression de
Pn (A) ci-dessus, nous avons P(An ) = Pn (An ) = 2−n . Remarquons que A est la limite
2.1 – Le langage des probabilités 21
naturelle des ensembles An , au sens où les An sont décroissants (i.e. An+1 ⊂ An ) et
où A = ∩n An . Il est alors naturel d’écrire que
P(A) = lim P(An ) = 0,
n→∞
ce qui ne peut pas être justifié par la propriété d’additivité (2.4). La proposition 2.12
dit que la σ−additivité permet exactement de justifier ce passage à la limite.
Nous utilisons les notations suivantes. Une suite (An )n ⊂ P(Ω) est dite
décroissante si An+1 ⊂ An pour tout n. Pour une telle suite, on définit A = ∩n An ,
et on écrit An ↓ A ou limn ↓ An = A. De même, la suite (An )n est croissante si
An ⊂ An+1 pour tout n, on définit A = ∪n An et on écrit An ↑ A ou limn↑ An = A.
Proposition 2.12 Soit P : A → [0, 1] une application vérifiant (2.2) et (2.4). Alors,
il y a équivalence entre :
(i) La propriété de σ-additivité (2.3).
(ii) Pour toute suite (An )n croissante, on a P (limn↑ An ) = limn ↑ P(An ).
(iii) Pour toute suite (An )n décroissante, on a P (limn↓ An ) = limn ↓ P(An ).
Preuve. Etant donné (2.6), on a (ii) ⇔ (iii). Montrons que (i) ⇔ (ii).
Supposons d’abord (ii). Considérons une suite (An )n d’éléments de A deux-à-deux
P Bn = ∪p≤n Ap et B =
disjoints, et posons P ∪n An . Comme P vérifie (2.4), elle vérifie
(2.7) et P(Bn ) = p≤n P(Ap ) croı̂t vers n P(An ) et aussi vers P(B) par (ii). Nous
avons donc (i).
Supposons maintenant (i). Soit An ∈ A pour n ≥ 0, avec An ↑ A. Soit aussi B0 = A0 ,
et définissons par récurrence Bn = An \Bn−1 , pour n ≥ 1. Comme ∪n Bn = A et
comme les Bn sont deux-à-deux disjoints, nous avons
X n
X
P(A) = P(Bn ) = lim P(Bp ) = lim P(An ),
n n
n p=0
Proposition 2.13 Soit P une probabilité, et soit (An )n∈I une famille finie ou
dénombrable d’événements. On a alors
[ X
P An ≤ P(An ).
n∈I n∈I
22 Chapitre 2 – Espace de probabilité
Cette propriété est évidente pour k = 1. Supposons la propriété vraie pour k − 1, avec
k ≥ 2, et posons B = A1 ∪ · · · ∪ Ak−1 et C = B ∪ Ak . En vertu de (2.8), nous avons
P(C) + P(B ∩ Ak ) = P(B) + P(Ak ), donc P(C) ≤ P(B) + P(Ak ), et nous en déduisons
immédiatement Pk .
b) Considérons maintenant le cas où I est dénombrable. Nous pouvons supposer sans
restriction que I = N∗ . Posons Bn P = ∪ni=1 Ai , qui croı̂t vers l’ensemble C = ∪n∈I An .
n
D’après (a), nous avons P(Bn ) ≤ i=1 P(Ai ). Mais le membre de gauche ci-dessus
croı̂t vers P(C)
P en vertu de la proposition précédente, tandis que le membre de droite
croı̂t vers n∈I P(An ) ∈ [0, +∞]. En passant à la limite, nous obtenons donc le
résultat voulu.
Nous avons pu ainsi construire dans toute sa généralité un espace abstrait Ω (non-
vide), une tribu sur cet espace et définir la notion de probabilité sur cette tribu.
C’est cette idée géniale qu’a introduite Kolmogorov en 1933 : avoir mis au cœur des
probabilités un objet nouveau, une mesure de probabilité, et ne pas s’intéresser aux
causes de l’expérience génériquement représentées par ω ∈ Ω.
La définition suivante introduit une notion de “vrai ou faux” qui dépend de la pro-
babilité choisie sur l’espace fondamental.
pour lesquels elle est vraie est de probabilité égale à 1, ou en d’autres termes, l’ensemble
des ω pour lesquels la propriété est fausse est négligeable.
2.2.1 Caractérisation
et P est ainsi caractérisée par ses valeurs sur les singletons {pω = P({ω}), ω ∈ Ω}.
(ii) Soit (pω )ω∈Ω ∈ RΩ . Alors il existe une unique probabilité P telle pour tout ω ∈ Ω,
pω = P({ω}), si et seulement si
X
0 ≤ pω ≤ 1 et pω = 1.
ω∈Ω
Preuve. Commençons par le cas Ω fini. (i) Pour une probabilité P sur Ω, le résultat
découle de (2.7) du fait que tout A ∈ P(Ω) est réunion disjointe (et finie) des single-
tons {ω}, pour les ω ∈ A.
(ii) La condition nécessaire découle de (i) appliqué à A = Ω et de P(Ω) = 1. Inver-
sement, considérons n nombres (pi )1≤i≤n vérifiant la conditionPdu (ii). Nous posons
P({ωi }) = pi et pour tout A ⊂ Ω, nous définissons P(A) = ω∈A P({ω}) et nous
vérifions immédiatement que P est une probabilité au sens de la définition 2.9.
Si Ω est infini dénombrable,Pon suit le même argument, si ce n’est que pour prouver
que P définie par P(A) = ω∈A P({ω}) vérifie (2.3), il faut utiliser la propriété de
sommation par paquets pour les séries. (Voir Section 2.4.4 ci-après.)
Cette probabilité modélise en particulier la chance pour une pièce de tomber sur Pile
dans un jeu de Pile ou Face. Dans ce cas, Ω = {P, F } peut être assimilé à {0, 1}.
24 Chapitre 2 – Espace de probabilité
Si la pièce est équilibrée, alors p = 1/2. Mais cette probabilité peut aussi modéliser
la probabilité de réalisation d’un des résultats, pour toute expérience aléatoire avec
deux résultats possibles (mon premier enfant sera-t-il une fille ou un garçon ?).
Exemple 2.18 (Loi uniforme.) Nous dirons que la probabilité P sur l’espace fini
Ω est uniforme si pω = P({ω}) ne dépend pas de ω. Nous avons donc :
1
pωi = pour tout i = 1, . . . , n,
n
où n = card(Ω) désigne le cardinal de Ω, c’est-à-dire son nombre d’éléments. Nous
déduisons de la proposition 2.16(i) que
card(A)
P(A) = , (2.11)
card(Ω)
de sorte que le calcul des probabilités se ramène à des dénombrements : nous sommes
dans le cadre du calcul combinatoire.
Remarquons que sur un espace fini donné Ω, il existe une et une seule probabilité
uniforme. Cette probabilité décrit mathématiquement l’expression intuitive de “au
hasard” (tirage au hasard d’une carte, lancer au hasard d’un dé, choix au hasard d’un
échantillon dans une population).
X X
P= pn δωn et P(A) = pn δωn (A) pour tout A ∈ A.
n∈N n∈N
2.2 – Espace fondamental fini ou dénombrable 25
Dans les calculs de probabilités uniformes sur des ensembles finis, il est fondamen-
tal de faire très attention à bien préciser l’espace de probabilité sous-jacent. Cette
remarque prend toute son ampleur dans ce paragraphe, où nous allons développer
différents “modèles d’urnes” que l’on peut également voir comme des modèles de
prélèvement d’échantillons dans une population au cours d’un sondage. Ces modèles
interviennent aussi en contrôle de fabrication, ou dans de multiples autres situations.
Si le lecteur n’est pas inspiré par les couleurs des boules d’une urne, il pourra transcrire
l’analyse suivante dans le cadre des opinions politiques dans la population française
ou celui du niveau de perfection d’un objet dans une chaı̂ne de fabrication.
Le modèle général est le suivant : une urne contient N boules de k couleurs différentes,
réparties en N1 boules de couleur 1, N2 boules de couleur 2, . . . , Nk boules de couleur
k. Nous appelons pi = Ni /N la proportion de boules de couleur i dans l’urne. Tirons
au hasard n boules de cette urne, 2 ≤ n ≤ N , et intéressons-nous à deux événements :
- A =“la couleur des deux premières boules tirées est 1”,
- B =“on obtient n1 boules de couleur 1, n2 boules de couleur 2,. . . , nk boules de
couleur k”, avec ni des entiers tels que n1 + n2 + · · · + nk = n.
On remarque que l’événement A dépend de l’ordre de tirages, mais pas l’événement B.
Nous allons considérer trois façons de tirer les boules au hasard : tirage avec remise,
tirage sans remise, tirage simultané. Nous verrons que chaque tirage donnera lieu à
un calcul de probabilité et à des résultats différents.
Le problème du choix du tirage de l’échantillon se pose sans cesse dès que l’on souhaite
récolter des données statistiques.
Pour k et n deux entiers tels que k ≤ n, nous allons souvent utiliser, dans la suite,
le nombre de parties nk à k éléments dans un ensemble à n éléments, qui vaut :
n n! n(n − 1) · · · (n − k + 1)
= = .
k k!(n − k)! k!
Exemple 2.21 Dans une fabrication en série, nous savons que parmi N pièces
usinées, M sont à mettre au rebut, et si nous choisissons au hasard et simultanément
un échantillon de n pièces, la probabilité pour que cet échantillon contienne k pièces
(M )(N −M )
défectueuses sera k Nn−k .
(n)
Tirage avec remise - La loi binomiale. Les tirages sont successifs. Nous replaçons
la boule tirée dans l’urne avant le tirage suivant. Nous pouvons donc tirer plusieurs
fois la même boule. L’ensemble Ω est alors l’ensemble de tous les n-uplets d’éléments
de l’urne. Toutes les répétitions étant possibles, card(Ω) = N n . Nous munissons Ω de
sa probabilité uniforme.
La probabilité de l’événement A est facile à calculer, c’est la probabilité de tirer une
des N1 boules de couleur 1 parmi les N boules de l’urne deux fois de suite, donc A a
(2)
pour probabilité PA = (N1 /N )2 = p21 .
Pour évaluer la probabilité de l’événement B, on commence par dire que le nombre de
façons de déterminer les places des k couleurs parmi n est égal au nombre de façons de
partager n en k parties de tailles ni , à savoir n1 !n2n!!···nk ! . Une fois la place des couleurs
choisie, nous avons Ni possibilités pour chaque boule de couleur i. Le nombre de n-
uplets de répartition n1 , n2 , . . . , nk est alors égal à n1 !n2n!!···nk ! N1n1 · · · Nknk . Nous avons
donc finalement que la probabilité de l’événement B est :
sont pas interchangeables : n ∈ N et p ∈ [0, 1]. Notons également que cette probabilité
est définie sur l’espace Ω = {0, 1, 2, . . . , n} comportant n + 1 éléments.
Pn
Remarque 2.22 On rappelle la formule du binôme (a + b)n = i=0 ni ai bn−i pour
Pn n i
tous a, b ∈ R. En prenant a = p et b = 1 − p, on a alors i=0 i p (1 − p)n−i = 1.
Tirage sans remise. Nous tirons maintenant successivement les boules de l’urne,
mais sans les replacer dans l’urne après tirage. L’ensemble Ω est alors l’ensemble des
suites de n éléments distincts parmi N et le nombre de cas possibles sera N (N −
1) · · · (N − n + 1) = AnN . Nous munissons Ω de sa probabilité uniforme.
La probabilité de l’événement A est la probabilité de tirer une des N1 boules de
couleur 1 parmi les N de l’urne lors du premier tirage, puis de tirer une des N1 − 1
boules de couleur 1 parmi N − 1 boules restantes de l’urne, donc A a pour probabilité
(3) −1
PA = NN1 NN1−1 .
En raisonnant comme dans le cas avec remise pour évaluer la probabilité de B, nous
pouvons montrer que le nombre de cas favorables vaut n1 !n2n!!···nk ! AnN11 · · · AnNkk , ce qui
finalement donne pour probabilité la même que celle du cas de tirage simultané :
(3) (1)
PB = PB .
Remarque 2.23 Cas d’une urne dont le nombre de boules est infini. Nous nous
plaçons dans les hypothèses du tirage simultané, avec 2 couleurs, en supposant que N
et N1 tendent vers l’infini de telle manière que NN1 converge vers p ∈]0, 1[. Il est facile
de montrer qu’alors,
N1 N −N1
n1 n−n1 n n1
P̂n1 ,n−n1 = N
converge vers Pn1 ,n−n1 = p (1 − p)n−n1 .
n
n 1
Ce résultat est intuitivement évident car si le nombre de boules devient infini, les
tirages de boules avec ou sans remise deviennent presque équivalents : on a une chance
très infime de tomber deux fois sur la même boule.
Dans la dernière remarque, nous avons obtenu la loi binomiale comme limite de lois
hypergéométriques. Cette convergence d’une suite de probabilités vers une probabilité
donnée sera développée au chapitre 7.3 (convergence en loi).
EXERCICE 2.1 Les yeux bandés, vous manipulez 7 fiches où sont écrites les lettres
E, E, T, B, R, L, I. Quelle est la probabilité que vous écriviez le mot
LIBERTE
2 1
Solution : 7! = 2520 .
28 Chapitre 2 – Espace de probabilité
EXERCICE 2.2 On tire au hasard 4 cartes d’un jeu de 52 cartes. Quelle est la
probabilité pour que, parmi ces 4 cartes, il y ait exactement 2 rois ?
EXERCICE 2.3 On lance trois dés parfaitement équilibrés. Montrer que la probabi-
lité que la somme des points amenés dépasse dix strictement est égale à la probabilité
que cette somme ne dépasse pas dix. (d’où un jeu parfaitement équitable...)
Solution : L’ensemble Ω est ici l’ensemble des suites (a1 , a2 , a3 ) de 3 nombres compris
entre 1 et 6, muni de la probabilité P uniforme. Remarquons que
a1 + a2 + a3 > 10 ⇔ (7 − a1 ) + (7 − a2 ) + (7 − a3 ) ≤ 10.
Ainsi, si A désigne l’événement “la somme des points obtenus est strictement
supérieure à 10”, nous remarquons que l’application (a1 , a2 , a3 ) 7→ (7−a1 , 7−a2 , 7−a3 )
est une bijection de A sur Ac . Les événements A et Ac ont donc même cardinal, et
donc même probabilité de réalisation.
Calculer les probabilités des événements ci-dessus et juger l’opportunité de ces règles.
La différence avec 12 est faible, mais apte à fournir à long terme des gains assurés : le
chevalier devait jouer souvent selon la règle 1...
La deuxième règle est mauvaise, puisque la probabilité de l’événement cherché vaut :
24
35 1
1− ' 0,4914 < .
36 2
Le Chevalier était donc moins heureux avec cette règle qu’avec la précédente. En fait,
il s’était laissé abuser par un soi-disant argument d’homothétie : en lançant un dé,
il y a 6 résultats possibles, en lançant deux dés, il y en a 62 = 36, soit 6 fois plus.
Comme il est avantageux de parier sur l’apparition d’au moins un 6 en lançant un dé
4 fois de suite, il doit être avantageux de parier sur l’apparition d’un double-six en
lançant deux dés 4 × 6 = 24 fois de suite. Paradoxe !
La notion de conditionnement est l’une des plus fructueuses de la théorie des pro-
babilités, et la différencie fondamentalement de la théorie de la mesure. L’idée de
base permettant la compréhension de cette notion est la suivante : une information
supplémentaire concernant l’expérience modifie la vraisemblance que l’on
accorde à l’événement étudié.
Par exemple (et il serait bien de méditer sur cet exemple très simple), cherchons, pour un
lancer de deux dés, la probabilité de l’événement “la somme est supérieure ou égale à 10”.
Elle vaut 16 sans information supplémentaire, 21 si l’on sait que le résultat d’un des dés
est 6, 0 si l’on sait a priori que le résultat d’un des dés est 2. Pour obtenir ces résultats,
nous avons dans chaque cas calculé le rapport du nombre de résultats favorables sur le
nombre de cas possibles. Nous remarquons qu’il est indispensable de bien définir l’espace
de probabilité lié à l’expérience munie de l’information a priori. Remarquons également
que l’information a priori a changé la valeur de la probabilité de l’événement.
Définition 2.24 Soit A et B deux événements, avec P(B) > 0. La probabilité condi-
tionnelle de A sachant B est le nombre
P(A ∩ B)
P(A|B) = . (2.16)
P(B)
Preuve. Il est clair que 0 ≤ P(A|B) ≤ 1. Par ailleurs, les propriétés (2.2) et (2.3)
pour P(·|B) proviennent des mêmes propriétés pour P et des remarques suivantes :
Ω ∩ B = B, et (∪n An ) ∩ B = ∪n (An ∩ B). De plus, si A et C sont disjoints, il en est
de même de A ∩ B et C ∩ B. L’assertion (ii) est évidente.
Preuve. On procède par récurrence. Si n = 2, les formules (2.16) et (2.17) sont les
mêmes. Supposons que (2.17) soit vraie pour n − 1, et soit B = A1 ∩ · · · ∩ An−1 .
D’après (2.16), on a P(B ∩ An ) = P(B)P(An |B). En remplaçant P(B) par sa valeur
dans (2.17) avec n − 1, nous obtenons (2.17) pour n.
Proposition 2.27 Formule des probabilités totales. Soit (Bi )i∈I une partition
finie ou dénombrable d’événements de Ω, telle que P(Bi ) > 0 pour chaque i ∈ I. Pour
tout A ∈ A, on a alors
X X
P(A) = P(A ∩ Bi ) = P(A|Bi ) P(Bi ).
i∈I i∈I
Théorème 2.28 Formule de Bayes. Sous les mêmes hypothèses que la proposition
2.27, et si P(A) > 0,
P(A|Bi )P(Bi )
P(Bi |A) = P pour tout i ∈ I.
j∈I P(A|Bj )P(Bj )
2.3 – Conditionnement et indépendance 31
EXERCICE 2.5 Un individu est tiré au hasard dans une population où l’on trouve
une proportion 10−4 de séropositifs. On lui fait passer un test de détection de la
séropositivité. Par ailleurs, des expérimentations antérieures ont permis de savoir que
la probabilité d’avoir un résultat positif lors de l’application du test sur un individu
séropositif est égale à 0,99 (c’est la sensibilité du test) ; la probabilité d’avoir un
résultat positif lors de l’application du test sur un individu séronégatif est 0,001
(0,999 = 1 − 0,001 est la spécificité du test). Sachant que le test donne un résultat
positif, quelle est la probabilité pour que l’individu soit effectivement séropositif ?
EXERCICE 2.6 On classe les gérants de portefeuilles en deux catégories, les bien
informés et les autres. Lorsqu’un gérant bien informé achète une valeur boursière pour
son client, on peut montrer par une étude préalable que la probabilité que le cours
de cette valeur monte est de 0,8. Si le gérant est mal informé, la probabilité que le
cours descende est de 0,6. On sait par ailleurs que si l’on choisit au hasard un gérant
de portefeuille, il y a une chance sur 10 que celui-ci soit un gérant bien informé.
Un client choisit au hasard un gérant dans l’annuaire, et lui demande d’acheter une
valeur. Sachant que le cours de cette valeur est monté, cherchons la probabilité pour
que le gérant soit mal informé.
Solution : Notons M l’événement “la valeur monte” et I l’événement “le gérant est
bien informé”. Par la formule des probabilités totales, la probabilité que la valeur
monte vaut
P(M ) = P(M |I) P(I) + P(M |I c ) P(I c ) = 0,8 × 0,1 + 0,4 × 0,9 = 0,44.
32 Chapitre 2 – Espace de probabilité
2.3.2 Indépendance
Evénements indépendants
Remarque 2.30 1) Cette notion est liée au choix de la probabilité P et n’est pas une
notion ensembliste. Cela n’a en particulier rien à voir avec le fait que A et B soient
disjoints ou non. (Cf. Exemple 2.31 ci-dessous).
2) Si P(A) > 0 et P(B) > 0, alors
Définition 2.33 Une suite (An )n d’événements de (Ω, A, P ) est dite indépendante si
pour toute suite finie (i1 , . . . , ik ) d’entiers deux-à-deux distincts :
Cette définition est délicate. Par exemple, pour que la suite (A, B, C) soit
indépendante, la propriété doit être vérifiée pour toutes les intersections de deux
événements et l’intersection des trois événements. Il ne suffit pas d’avoir P(A∩B∩C) =
P(A) P(B) P(C). Par exemple, prenons un lancer de dé avec A = {1, 2, 3}, B = {2, 4, 6}
et C = {1, 2, 4, 5}. Nous avons P(A) = 21 , P(B) = 12 , P(C) = 32 . Ainsi, nous avons
bien P(A ∩ B ∩ C) = P(A) P(B) P(C) mais P(A ∩ B) 6= P(A) P(B).
Il ne suffit pas non plus que les événements soient indépendants deux-à-deux. On joue
2 fois à Pile ou Face et on considère les événements A = { Face au premier lancer },
B = { Face au deuxième lancer } et C = { les deux tirages donnent le même résultat }.
On vérifie que ces événements sont deux-à-deux indépendants mais que la probabilité
de leur intersection n’est pas égale au produit des probabilités.
34 Chapitre 2 – Espace de probabilité
A1 × A2 × · · · × Ak × Ωk+1 × Ωk+2 × · · · , Ai ∈ Ai , k = 1, 2, 3, . . .
Il est possible de montrer par un théorème général de théorie de la mesure qu’il existe
une unique probabilité P sur (Ω, A) qui vérifie
En particulier, en prenant tous les espaces coordonnées (Ωj , Aj ) égaux, cela nous
permettra de modéliser la même expérience répétée une infinité (dénombrable) de
fois, de manière indépendante et dans les mêmes conditions.
Exemple 2.34 Considérons les lancers successifs et indépendants d’une même pièce
de monnaie, telle que la probabilité de tirer Pile soit égale à p ∈]0, 1[. Soient Fn
l’événement “Face au n-ième lancer” et Pn l’événement “Pile au n-ième lancer”.
Soient Tk l’événement “le premier Pile est obtenu au k-ième lancer” et A l’événement
“on n’obtient jamais de Pile”. Alors, par indépendance des lancers, nous avons
Nous allons maintenant voir un théorème fameux, dans lequel intervient fonda-
mentalement la notion d’indépendance, et qui sera très important, en particulier pour
les théorèmes de convergence (cf. Chapitre 6).
Il est clair que cette dernière propriété n’est plus vraie dans le cas où la suite n’est
pas indépendante. Il suffit pour s’en convaincre de prendre tous les An égaux à un
même événement A de probabilité P(A) ∈]0, 1[.
La première partie de ce lemme est un outil précieux pour démontrer qu’une propriété
est vraie P-presque sûrement. Nous en verrons un exemple dans la preuve de la loi
forte des grands nombres donnée dans la section 6.2. La deuxième partie du lemme
caractérise entièrement, dans le cas indépendant, le fait que P(lim supn An ) vaut 0 ou
1 suivant la convergence ou la divergence de la série de terme général P(An ).
P
où lim ↓ désigne la limite d’une suite décroissante. Si la série n P(An ) est conver-
gente, le reste de cette série tend vers 0 et la dernière inégalité implique que
P(lim supn An ) = 0. P
Supposons maintenant que les An soient indépendants et que la série n P(An )
diverge. Soit m un nombre entier. Nous avons
P(∪m
i=p Ai ) = 1 − P(∩m c m c
i=p Ai ) = 1 − Πi=p P(Ai ) grâce à l’indépendance
Pm
− i=p P(Ai )
= 1− Πm
i=p (1 − P(Ai )) ≥ 1 − e
Plus généralement, pour une famille (Ai )i∈I d’ensembles, indexée par un ensemble
quelconque I, ∪i∈I Ai désigne la réunion de cette famille, i.e. l’ensemble des points
appartenant à au moins l’un des Ai . De même, ∩i∈I Ai désigne l’intersection de
cette famille, i.e. l’ensemble des points appartenant à tous les Ai . Dans ces deux
cas, l’ordre d’indexation des Ai n’a pas d’importance.
Une partition de Ω est une famille (Ai )i∈I telle que les ensembles Ai soient
disjoints deux-à-deux (Ai ∩ Aj = ∅, ∀i, j, i 6= j), et que ∪i∈I Ai = Ω.
Un ensemble E est dénombrable s’il est en bijection avec N, c’est-à-dire si ses points
peuvent être énumérés en une suite (xn )n∈N . C’est le cas de l’ensemble N lui-même,
de Z, de Q, des entiers pairs ou de toute suite strictement croissante d’entiers. Ce
n’est pas le cas de R, ni des intervalles [a, b] lorsque a < b, ni de {0, 1}N , ni de P(N). 2
Nous rappelons les résultats essentiels sur les séries, qui seront d’usage constant dans
l’étude des variables aléatoires sur un espace dénombrable.
P
S1 La série
P n un est dite convergente si Sn converge vers une limite finie S, notée
aussi S = n un . C’est la “somme” de la série.
P
S2 Si la série n un converge, la suite (unP )n≥1 tend vers 0. La réciproque est
fausse : on peut avoir un → 0 sans que la série n un converge (Prendre par exemple
un = n1 ).
P P
S3 La série n un est dite absolument convergente si la série n |un | converge.
S4 Si un ≥ 0 pour tout n, alors la suite Sn est croissante,P donc elle tend toujours
vers une limite S éventuellement infinie. On écrit encore S = n un , bien que la série
converge au sens de (S1) si et seulement si S < ∞.
En général l’ordre dans lequel on considère les termes d’une série est important.
Il existe en effet de nombreuxPexemples de suitesP(un )n≥1 et de bijections v de N∗
dans lui-même pour lesquels n un converge et n uv(n) diverge, ou converge vers
une somme différente. Cela étant, il existe deux cas importants où l’ordre des termes
n’a pas d’importance :
P
S5 Si un ≥ 0 pour tout n, la somme n un ne change pas si l’on change l’ordre
de sommation. Rappelons rapidement la démonstration de cette propriété, qui est
fondamentale pour les probabilités : soit v une bijection de N∗ dans lui-même, Sn =
u1 +. . .+un et Sn0 = uv(1) +. . .+uv(n) ; les suites (Sn ) et (Sn0 ) sont croissantes. Notons
S et S 0 leur limites respectives (dans R+ ∪ {+∞}). Pour tout n il existe un entier
m(n) tel que v(i) ≤ m(n) dès que i ≤ n. Comme ui ≥ 0, clairement Sn0 ≤ Sm(n) ≤ S
et donc en passant à la limite nous obtenons S 0 ≤ S. Nous montrons de même que
S ≤ S 0 , et donc S = S 0 .
S6 Lorsque les un sont des réels de signe quelconque et que la série est absolument
convergente, nous pouvons modifier de manière arbitraire l’ordre des termes sans
changer la propriété d’être absolument convergente, ni la somme de la série.
S9 Théorème de Fubini pour Ples séries. Soit (amn )m,n∈N une série
P double
P telle
que
P P la série de terme général m |amn | converge. Alors les séries n m a mn et
m n amn sont convergentes et de même somme.
40 Chapitre 2 – Espace de probabilité
EXERCICE 2.7
1) Parmi n personnes en présence (n ≤ 365), quelle est la probabilité pour qu’au
moins deux personnes soient nées le même jour ? (On conviendra de ne pas prendre
en compte les personnes nées le 29 février). Que vaut cette probabilité pour n = 4,
n = 16, n = 22, n = 40, n = 64 ?
2) Déterminer nmin pour que la probabilité qu’au moins deux personnes soient nées
le
√ même jour soit supérieure à 0,5. On pourra utiliser la formule de Stirling m! ∼m→∞
1
2πmm+ 2 e−m .
EXERCICE 2.10 Soit a ∈]0, 1[. Montrer que la suite de nombres définie par pn =
(1 − a)an−1 caractérise une probabilité sur N∗ .
EXERCICE 2.11 M. et Mme Barbétipoil ont deux enfants, garçons ou filles, les
4 configurations sont équiprobables. Quelle est la probabilité que les deux enfants
Barbétipoil soient des filles,
• sans autre information,
• sachant que l’aı̂née est une fille,
• sachant que l’un des deux enfants est une fille.
EXERCICE 2.13 L’hémophilie est transmise par la mère. La reine porte le gène
de l’hémophilie avec une probabilité de 0,5. Si elle est porteuse, chaque prince aura
une chance sur deux de souffrir de cette maladie. La reine a eu 3 fils non hémophiles.
Quelle est la probabilité qu’elle soit porteuse du gène ? S’il naı̂t un quatrième prince,
avec quelle probabilité sera-t-il hémophile ?
EXERCICE 2.14 Le jeu des 3 portes est un jeu télévisé populaire (Let’s make a
deal) diffusé dans les années 70 aux USA. Trois portes A, B, C sont fermées. Derrière
l’une d’elle il y a une Ferrari, derrière les autres une chèvre.
• Le joueur choisit une porte, disons A.
• Le présentateur, qui sait où se trouve la voiture, l’informe alors qu’elle n’est
pas derrière la porte B et lui offre la possibilité de réviser son choix (i.e. de
choisir la porte C).
Le joueur a-t-il intérêt à réviser son choix ?
EXERCICE 2.17 Montrer qu’il n’existe pas de probabilité P sur (N, P(N)) telle
que P(kN) = k1 pour tout entier strictement positif k, où kN désigne l’ensemble des
entiers multiples de k.
Chapitre 3
I have deeply regretted that I did not proceed at least to understand something of
the great leading principles of mathematics ; for men thus endowed seem to have an
extra sense.
X : Ω −→ X
est appelée variable aléatoire (v.a.). Comme Ω est fini ou dénombrable, l’ensemble
d’arrivée (quitte à le remplacer par X(Ω) sans perte de généralité) est fini ou
dénombrable et de la forme X = {xi , i ∈ I}, pour un certain sous-ensemble I ⊂ N.
43
44 Chapitre 3 – Espace fini ou dénombrable
Attention, cette définition de v.a. n’est valable que dans le cadre d’un espace Ω fini
ou dénombrable. On donnera une définition générale de v.a. dans le cas d’un espace
arbitraire dans le chapitre suivant.
La loi d’une variable aléatoire X est définie par la probabilité induite sur X ,
muni de la tribu P(X ), et le résultat suivant est une conséquence immédiate de la
proposition 2.16.
Proposition 3.1 La loi d’une v.a. X à valeurs dans un espace au plus dénombrable
X est caractérisée par
(xi , pX
i ), xi ∈ X ,
avec pX
P
i = PX ({xi }) = P({ω, X(ω) = xi }) = P(X = xi ) = ω: X(ω)=xi pω .
Exemple 3.2 Une v.a. de loi uniforme sur {1, . . . , n} a pour loi {(k, n1 )}1≤k≤n .
0.15 0.15
probabilite
probabilite
0.1 0.1
0.05 0.05
0 0
1 2 3 4 5 6 2 3 4 5 6 7 8 9 10 11 12
a) x b) s
Figure 3.1 – Diagramme en bâtons de la loi d’un lancer de dé (a) et de la loi de la
somme de deux lancers de dés (b).
3.2.1 Définition
où fn ({ω}) est la fréquence de réalisation du singleton {ω} au cours des n expériences.
Remarquons que la dernière somme est finie puisqu’il ne peut exister qu’un nombre
fini de fn (ω) non nuls. Nous voulons faire tendre n vers l’infini. Si la propriété (2.1)
intuitée au Chapitre 2 est vraie, c’est-à-dire si fn ({ω}) → pω , et si dans l’expression
ci-dessus on peut intervertir la sommeP et la limite (ce qui est en particulier vrai si Ω est
fini), alors la suite (Mn )n tend vers ω∈Ω pω X(ω). Nous justifierons cette assertion
plus loin, dans l’un des théorèmes les plus importants de la théorie des probabilités,
appelé la loi des grands nombres.
Définition 3.5 Soit X une variable aléatoire réelle définie sur l’espace fini ou
dénombrable Ω à valeurs dans X (i.e. une application de Ω dans X ⊂ R). Son espérance
46 Chapitre 3 – Espace fini ou dénombrable
(Rappelons que, en vertu de (S6) (section 2.4.4), comme la série de terme général
pω X(ω) est absolument convergente, la somme E(X) de la série ne dépend pas de la
manière dont les ω sont ordonnés.)
L’espérance mathématique E(X) est un réel qui donne une valeur moyenne résumant
la v.a. X. C’est l’un des concepts les plus importants de la théorie des probabilités. La
dénomination d’espérance pour cette quantité fait référence aux problèmes de jeux et
d’espérance de gain. Cette terminologie imagée a été introduite par Pascal.
Théorème 3.6 Pour une variable aléatoire X satisfaisant E(|X|) < +∞, on a :
X X X
E(X) = pω X(ω) = xi P(X = xi ) = xi pX
i . (3.2)
ω∈Ω xi ∈X xi ∈X
P
Preuve. Puisque ω∈Ω pω |X(ω)| = E(|X|) < +∞, la sommation par paquets est
justifiée par (S8) (section 2.4.4), et on obtient
X X X X X
E(X) = pω X(ω) = pω xi = xi P({ω : X(ω) = xi }) = xi p X
i .
ω∈Ω xi ∈X ω: X(ω)=xi xi ∈X xi ∈X
Exemple 3.7 Un nombre est choisi au hasard entre 1 et 10, et nous devons deviner ce
nombre en posant des questions auxquelles il ne sera répondu que par oui ou par non.
Calculons l’espérance du nombre N de questions nécessaires dans les cas suivants :
• La ième question est du type “Est-ce i ?”, i étant égal à 1, 2, . . . , 10.
Soit Ak l’événement : “le nombre k ∈ {1, . . . , 10} a été choisi”. Comme les Ak forment
une partition de l’espace fondamental, on a
10
X 1
P(N = k) = P(N = k|Ak0 )P(Ak0 ) = P(N = k|Ak )P(Ak ) =
10
k0 =1
et
10
X 11
E(N ) = k P(N = k) = .
2
k=1
• Avec chaque question, nous éliminer à peu près la moitié des réponses possibles,
avec le protocole suivant : est-ce ≤ 5, ≤ 2 (resp. ≤ 7), ≤ 4 (resp. ≤ 9). Alors
6 4 17
E(N ) = 3 × +4× = .
10 10 5
Proposition 3.9
(i) L1 est un espace vectoriel, et l’espérance est linéaire sur L1 :
1A (ω) = 1 si ω ∈ A et 1A (ω) = 0 si ω ∈
/ A.
48 Chapitre 3 – Espace fini ou dénombrable
E(1A ) = P(A).
On note par L2 l’ensemble des v.a. réelles X dont le carré X 2 est intégrable. Nous dirons
dans ce cas que X est de carré intégrable.
L’écart-type est une grandeur qui mesure la moyenne (en un certain sens) de l’écart
2
des valeurs de X à sa moyenne, d’où son nom. En développant le carré (X − E(X))
comme dans la preuve ci-dessus, nous obtenons la formule de Huygens :
2
σX = E(X 2 ) − E(X)2 . (3.4)
Exemple 3.13 (Loto) On considère tout d’abord la forme classique du loto, qui a été
utilisée de 1976 à 2008. Le joueur coche 6 numéros sur une grille en comportant 49,
dans le cas d’un bulletin simple. Les 6 numéros gagnants sont déterminés par tirage
3.2 – Espérance des v.a. discrètes 49
au sort. L’espace fondamental est ici l’ensemble des parties à 6 éléments ( tirage )
de {1, . . . , 49} muni de la probabilité uniforme. Son cardinal est Card(Ω) = 49 6 =
13 983 816. Notant N le nombre de numéros gagnants figurant parmi les numéros
cochés par le joueur (on rappelle que la grille du joueur comporte 6 numéros cochés et
43 non-cochés), l’événement {N = n} (n ∈ {0, . . . , 6}) est réalisé si le tirage produit
n numéros cochés et 6 − n numéros non-cochés. La loi de la v.a. N est donc :
6
43
n 6−n
P(N = n) = 49
, n ∈ {0, . . . , 6} ,
6
Le gain moyen est E[G] = 2,70 × 1,8 10−2 + 30,70 × 9,7 10−4 + · · · ' 0,168 Euros,
tandis que l’écart-type σ(G) = (E[G2 ] − E[G]2 )1/2 ' 212 Euros. On voit que le jeu est
défavorable au joueur, dont le bénéfice moyen est E[G] − 0,3 = −0,132 Euros, et la
grande valeur de σ vient de ce que parfois (mais très rarement) ça rapporte gros.
La forme moderne du loto, mise en place à partir de 2008, est légèrement différente :
le joueur coche 5 numéros sur une grille en comportant 49 et un numéro chance
sur une autre grille en comportant 10. Donc la probabilité qu’un joueur trouve la bonne
combinaison est :
1 1 1
p = 49 = ' 5,2 10−8 ,
5
10 19 068 840
49
car il y a 5 choix possibles des cinq premiers numéros, et 10 choix possibles du
numéro chance . Notez qu’on a moins de chance de gagner le gros lot avec la
Soit f une fonction de X dans R. La v.a. réelle f (X) prend un nombre fini ou
dénombrable de valeurs. Nous pouvons aussi considérer f comme une v.a. définie
sur l’espace de probabilité (X , P(X ), PX ). Le résultat suivant, appelé propriété de
transfert, montre la cohérence de la notion d’espérance.
50 Chapitre 3 – Espace fini ou dénombrable
Théorème 3.14 Pour f : X → R, la v.a. f (X) définie sur (Ω, P(Ω), P) est intégrable
si et seulement si la v.a. f sur (X , PX ) l’est également. Dans ce cas, les espérances
de ces deux v.a. sont égales, et
X X
E(f (X)) = f (X(ω)) pω = f (xi )P(X = xi ). (3.5)
ω∈Ω xi ∈X
Preuve. Comme nous pouvons sommer par paquets par (S7) (section 2.4.4) dans
une série à termes positifs, nous voyons comme pour (3.2) que les deux expres-
sions de droite de (3.5) sont égales si nous remplaçons f par |f | ; elles sont donc
finies simultanément. D’après la définition de l’espace L1 , nous avons donc f (X) ∈
L1 (Ω, P) ⇔ f ∈ L1 (X , PX ).
Si ces propriétés sont réalisées, en utilisant cette fois (S8) (section 2.4.4), nous voyons
de la même manière que les deux expressions de droite de (3.5) sont aussi égales pour
f , ce qui, compte-tenu de (3.1), achève la démonstration.
La loi d’une v.a. entière (à valeurs dans N) X est caractérisée par les nombres pn =
pX
n = P(X = n). Le but de ce paragraphe est de montrer qu’une telle loi de probabilité
peut également être caractérisée par une fonction, appelée fonction génératrice, définie
sur [0, 1] et indéfiniment dérivable sur [0, 1[. Les dérivées auront leur interprétation
en termes de moments de la variable aléatoire.
Preuve. La fonctionP GX est la somme d’une série entière qui converge absolument
au point 1, puisque n pn = 1. Les propriétés de continuité et de dérivabilité en
(n)
découlent. Comme la dérivée nième en 0 est GX (0) = pn n! , la fonction GX ca-
ractérise les pn , donc la loi de X.
Preuve. Rappelons d’abord un résultat sur les séries : si les fonctions s 7→ un (s) sont
croissantes et positives sur [0, 1[, on a :
X X
lim un (s) = lim un (s). (3.7)
s↑1 s↑1
n≥0 n≥0
Pour retrouver cette formule, nous pouvons dériver formellement la série (3.6) terme
à terme p + 1 fois au point s = 1, ce qui donne
(p+1)
X
GX (1) = pn n(n − 1) · · · (n − p),
n
Remarque 3.20 Pour calculer les moments d’une variable aléatoire entière (espérance,
variance,...), il peut être plus simple d’utiliser les dérivées de la fonction génératrice
plutôt qu’un calcul direct, comme nous le verrons dans le paragraphe ci-dessous.
Nous lançons une pièce n fois. Nous associons 1 à Pile et 0 à Face. L’espace des
résultats de l’expérience sera donc
Ω = {0, 1}n .
Nous supposons que les lancers sont indépendants les uns des autres. Par ailleurs, la
pièce peut être truquée, ce qui nous conduit à supposer que la probabilité de Pile vaut
p ∈]0, 1[. Pour une pièce équilibrée, nous prendrons p = 21 .
Définition 3.21 X est une variable de Bernoulli de paramètre p si X prend ses valeurs
dans {0, 1} avec P(X = 1) = 1 − P(X = 0) = p. Sa loi est la loi de Bernoulli de
paramètre p, que l’on note B(p).
La v.a. Sn peut prendre toutes les valeurs entières entre 0 et n. Calculons sa loi. Pour
tout k ∈ {0, . . . , n}, nous cherchons
n
X
PSn ({k}) = P(Sn = k) = P {ω ∈ Ω, Xi (ω) = k} .
i=1
Cela veut dire que les n lancers ont donné k Piles et n − k Faces. Il faut tenir compte
des places des Piles dans la suite de résultats obtenus. Il y a nk possibilités d’obtenir
les k Piles parmi les n lancers. Si nous fixons une répartition précise, (par exemple les
k Piles sont les k premiers), et comme les lancers sont indépendants, la probabilité
de cette répartition est égale à pk (1 − p)n−k . Ainsi, nous obtenons que
n k
P(Sn = k) = p (1 − p)n−k pour tout k = 0, . . . , n.
k
Nous avions obtenu cette loi dans nos modèles d’urnes, par un raisonnement intuitif.
Elle correspond au choix d’un tirage avec remise. Remarquons que B(1, p) = B(p) est
la loi de Bernoulli de paramètre p.
suite, puisque E(X) = np, nous en déduisons que Var(X) = E (X(X − 1)) + E(X) −
E(X 2 ) = n p(1 − p).
Exemple 3.23 Aux jeux olympiques de Vancouver (2010), 86 médailles d’or ont été
mises en jeu. Nous faisons l’hypothèse que le nombre de médailles remportées par
pays est proportionnel à sa population. Soit X le nombre de médailles prévues pour
la France. X va suivre une loi binomiale B(86, p), où
population France 60 × 106
p= ≈ = 0,01.
population monde 6000 × 106
54 Chapitre 3 – Espace fini ou dénombrable
Ainsi E(X) = 86 × 0,01 = 0,86. La probabilité pour que le nombre de médailles soit
inférieur à 3 est P(X ≤ 3) = P(X = 0) + P(X = 1) + P(X = 2) + P(X = 3), avec
86
P(X = k) = (0,01)k (0,99)86−k ,
k
d’où P(X ≤ 3) = 0,9889 (La France avait en effet remporté 2 médailles d’or).
Toujours sur ce jeu de n lancers de Pile (P) ou Face (F), intéressons-nous au premier
temps où nous allons obtenir un P. Pour ce faire, définissons la variable aléatoire T
par
T (ω) = inf{k ∈ {1, . . . , n}, Xk (ω) = P },
avec la convention inf ∅ = +∞. La v.a. T est à valeurs dans {1, 2, . . . , n, +∞} et
P(T = k) = P(X1 = F, . . . , Xk−1 = F, Xk = P } = (1 − p)k−1 p, 1 ≤ k ≤ n,
car nous avons supposé que nos lancers étaient indépendants. De même,
P(T = +∞) = P(X1 = F, . . . , Xn = F ) = (1 − p)n .
Si nous faisons (heuristiquement) tendre le nombre de lancers n vers l’infini, la loi de
la variable aléatoire T de succès du premier Pile est alors une probabilité définie par
P(T = k) = p(1 − p)k−1 , pour tout k ∈ N∗ .
Définition 3.24 X est une variable géométrique de paramètre p ∈]0, 1[ si X est une
variable aléatoire à valeurs dans N∗ telle que ∀k ∈ N∗ ,
P(X = k) = p(1 − p)k−1 .
Définition 3.25 X est une v.a. de Poisson de paramètre θ > 0 si X prend ses valeurs
dans N et si sa loi est caractérisée pour tout k ∈ N par
θk
P(X = k) = e−θ . (3.11)
k!
Sa loi est une loi de Poisson de paramètre θ > 0, que l’on note P(θ).
Exemple 3.26 Supposons que le nombre d’erreurs Y par page d’un livre suit une loi
de Poisson de paramètre 21 . Calculons la probabilité qu’il y ait au moins une erreur
dans une page donnée :
1
P(Y ≥ 1) = 1 − P(Y = 0) = 1 − e− 2 ≈ 0,39.
Ainsi, (pj (an , n))j∈N est l’extension naturelle sur N de la loi binomiale B(n, an ) de
paramètre an et de taille n. Supposons alors que la suite (an )n tende vers 0 quand n
∗
vers l’infini, de telle sorte que nan → θ ∈ R+ . En développant les combinaisons
tend
n
j , il est facile de vérifier que pour tout j ∈ N,
n→∞ θj
pj (an , n) −→ pj = e−θ .
j!
La loi de Poisson modélise donc la probabilité du nombre d’apparitions d’un
événement rare (an ∼ nθ est petit) dans une grande suite d’événements (n grand).
Ce résultat est très utile pour les calculs numériques, dans le cas où l’on souhaite
56 Chapitre 3 – Espace fini ou dénombrable
modéliser les occurences d’un événement rare. Il permet de remplacer la loi binomiale
par la loi de Poisson, ce qui conduit à des calculs beaucoup plus simples.
On peut citer beaucoup d’exemples de variables aléatoires qui peuvent être modélisées
par une loi de Poisson (parce que l’on approxime ainsi une loi binomiale) :
• le nombre de centenaires dans une communauté humaine,
• le nombre de clients entrant dans un bureau de poste en l’espace d’un jour,
• le nombre de bactéries dans un volume de liquide fixé,
• le nombre de particules émises par un gramme de matière radioactive,
• le nombre d’objets défectueux trouvés pendant un contrôle de qualité.
Reprenons l’exemple 3.23. La variable aléatoire X peut être approchée par une va-
riable aléatoire Z de loi de Poisson P(0,86). Comparons les probabilités :
k P(X = k) P(Z = k)
0 0,4213 0,4231
1 0,3660 0,3639
2 0,1571 0,1564
3 0,0444 0,0448
La connaissance des deux lois PX et PY ne donne pas d’information sur les liens
qui peuvent unir les comportements aléatoires de X et de Y .
pZ
k = P(Z = zk ) = P(X = xi et Y = yj ) pour tous zk = (xi , yj ) ∈ X × Y.
3.5 – Lois conditionnelles et indépendance 57
Nous lançons en même temps un dé rouge et un dé bleu. Soient X le résultat du
dé rouge et Y le résultat de la somme des deux dés. Il est clair que la connaissance
de la valeur de X va influer sur les valeurs possibles que peut prendre Y et sur sa
loi. Par exemple, si X = 3, alors Y ne pourra prendre que des valeurs supérieures ou
égales à 4, ce qui n’est pas le cas si X = 1. Il est donc naturel de s’intéresser, pour
chaque valeur fixée xi de X, à la loi de Y avec l’information a priori que X = xi .
Définition 3.28 Soient X et Y deux variables aléatoires définies sur le même espace
de probabilité, à valeurs dans X et Y. Soit xi ∈ X tel que pX
i = P(X = xi ) > 0. On
appelle loi conditionnelle de Y sachant X = xi la probabilité sur Y définie par
Y |X=xi P(Z = (xi , yj ))
pj = P(Y = yj |X = xi ) = , ∀yj ∈ Y. (3.15)
P(X = xi )
espérance, sa variance ou plus généralement ses moments, dès qu’ils existent. Com-
mençons par l’espérance conditionnelle.
Remarque 3.31 La série définie en (3.16) est bien convergente. En effet, nous pou-
vons utiliser l’observation suivante
X XX
E(|Y | |X = xi )P(X = xi ) = |yj | P(X = xi , Y = yj )
i i j
X X
= |yj | P(X = xi , Y = yj ) = E(|Y |) < ∞,
j i
d’après le théorème de Fubini (voir (S9), section 2.4.4) et l’expression de la loi mar-
ginale (3.14) de Y . On en déduit que E(|Y | |X = xi ) < ∞ pour tout xi tel que
P(X = xi ) > 0.
E(E(Y | X)) = E( Y ).
Nous avons utilisé ici le théorème de Fubini pour les séries. La justification de
l’intégrabilité de ψ(X) et du théorème de Fubini sont montrées en utilisant le même
calcul que ci-dessus où on a remplacé yj par |yj |.
Exemple 3.34 Considérons une variable aléatoire Z qui vaut (1, 1) et (−1, −1) avec
probabilité p2 , et (1, −1) et (−1, 1) avec probabilité 1−p
2 , où p ∈]0, 1[. Alors, les variables
60 Chapitre 3 – Espace fini ou dénombrable
Il convient alors d’étudier le cas où l’information sur X ne change rien à la loi de Y ,
généralisant ainsi la notion d’indépendance introduite pour les événements.
Définition 3.35 Les v.a. X et Y sont dites indépendantes si pour tous événements
A ⊂ X , B ⊂ Y elles vérifient
P(X ∈ A, Y ∈ B) = P(X ∈ A) P(Y ∈ B). (3.19)
Remarque 3.37 (iii) signifie que la loi conditionnelle de Y sachant X = xi est égale
à la loi marginale de Y , ce qui correspond bien à l’idée intuitive d’indépendance. Bien
entendu, comme la définition 3.35 de l’indépendance est symétrique en X et Y , nous
pouvons ci-dessus échanger les v.a. X et Y .
Preuve. Pour obtenir (i)⇒(ii) il suffit de prendre A = {xi } et B = {yj } dans (3.19).
Inversement, supposons (ii). En sommant par paquets dans la série à termes positifs,
nous obtenons pour A ⊂ X et B ⊂ Y :
X
P(X ∈ A, Y ∈ B) = P(Z ∈ A × B) = P(Z = (xi , yj ))
(xi ,yj )∈A×B
X X X X
= pX Y
i pj = pX
i pYj = P(X ∈ A) P(Y ∈ B),
xi ∈A yj ∈B xi ∈A yj ∈B
qui est fini par hypothèse. Par suite, la variable aléatoire f (X) g(Y ) est intégrable.
En utilisant alors (S8) (section 2.4.4), la même démonstration montre que les égalités
ci-dessus sont également vérifiées en enlevant les valeurs absolues, ce qui donne bien
(3.20).
Exemple 3.40 On admet que le nombre de clients dans un bureau de poste pen-
dant une journée est une v.a. de Poisson de paramètre λ > 0. Soit p la probabi-
lité qu’une personne entrant dans le bureau de poste soit une femme. Dans ce cas,
le nombre de femmes X et celui des hommes Y parmi les clients quotidiens sont
des v.a. indépendantes, et suivent des lois de Poisson de paramètres respectifs λ p et
λ (1 − p). Pour s’en assurer, le lecteur pourra utiliser les calculs de l’exemple 3.1.
Proposition 3.41 Supposons que X et Y sont deux v.a. à valeurs dans Z et notons
Z = (X, Y ). Alors
X X
P(X + Y = i) = P(Z = (j, i − j)) = P(Z = (i − j, j)). (3.22)
j∈Z j∈Z
Preuve. Il suffit de remarquer que pour s ∈ [0, 1], GU (s) = E(sU ) = E(sX+Y ) et
GX (s) = E(sX ) et GY (s) = E(sY ), et d’appliquer (3.20).
Ce résutat permet d’identifier dans certains cas très facilement la loi d’une somme
de variables aléatoires.
Exemple 3.44 Soient X et Y des v.a. indépendantes de loi B(n, p) et B(m, p) (avec
le même paramètre p). D’après (3.10), U = X + Y vérifie
Soit X le dernier saut réussi. Quelle est la loi de X ? Calculer E(X), Var(X).
P∞
EXERCICE 3.3 Si X est à valeurs dans N, montrer que E(X) = k=0 P(X > k).
EXERCICE 3.4 Le nombre d’accidents N en une semaine dans une usine est
aléatoire d’espérance m et de variance σ 2 . Le nombre d’individus X blessés dans
un accident est aléatoire, d’espérance µ et de variance τ 2 . Tous ces événements sont
supposés indépendants.
EXERCICE 3.5 On étudie le flux de véhicules durant une tranche horaire donnée
à un raccordement de routes, décrit dans le dessin ci-dessous.
Rappel : Considérons ψ une fonction strictement convexe, et pour i ∈ {1, . . . , n}, des
réels xi et des réels positifs ai dont l’un au moins est non nul. Alors
P P
i ai xi ai ψ(xi )
ψ P ≤ iP ,
a
i i i ai
1-a) Vérifier que φ : [0, 1] → [0, +∞[, φ(t) = −t log t est strictement concave.
1-b) Montrer que H(p) = 0 si et seulement si p est une mesure de Dirac sur Ω.
1-c) Montrer que H(p) ≤ ln |Ω| = ln n.
2) Considérons une variable aléatoire réelle U , supposée non constante, et pour p une
probabilité sur Ω, nous noterons hU ip son espérance et Varp (U ) sa variance. Nous
appellerons fonction de partition associée à l’énergie U la fonction
n
X
Z(β) = e−βU (ωi ) , β ∈ R.
i=1
−βU (ωi )
La probabilité de Gibbs associée est définie pour chaque ωi par µβ (ωi ) := e Z(β) ·
2-a) Que vaut ln Z(0) ?
2-b) Montrer que quand β tend vers +∞, µβ devient une probabilité uniforme sur
l’ensemble Ωmin := {ω; U (ω) = minΩ U }, et que lorsque β → −∞, µβ devient une
probabilité uniforme sur Ωmax := {ω; U (ω) = maxΩ U }. En déduire que
2-c) Montrer que l’application définie sur R par β 7→ ln Z(β) est de classe C ∞ et que
H(µβ ) = ln Z(β) + β E.
3-c) Montrer que la fonction p → 7 H(p) − βhU ip − ln Z(β) est négative ou nulle, et
qu’elle est nulle si et seulement si p = µβ .
En déduire que µβ est bien un maximum et que c’est en fait l’unique maximum.
Chapitre 4
Espérance mathématique de
variables aléatoires réelles
Je crois au hasard avec une obstination constante ; c’est même cela qui fait que
lorsque je vois, je vois comme personne d’autre...
Nicolas de Stael.
Dans ce paragraphe, nous découvrons les difficultés importantes que l’on rencontre
dans le cas de l’espace fondamental Ω = [0, 1]d muni de sa tribu Borélienne B[0,1]d .
Le cas unidimensionnel [0, 1] est l’exemple le plus simple d’un ensemble infini non
dénombrable. Nous allons voir en particulier qu’il n’est pas possible de construire
une probabilité uniforme qui s’étend sur P([0, 1]), justifiant ainsi le besoin crucial
d’introduire des tribus plus petites que P([0, 1]).
Pour définir une probabilité uniforme λ : B[0,1] −→ [0, 1], il est naturel de com-
mencer par le sous-ensemble A0 ⊂ B[0,1] constitué des parties A ⊂]0, 1] de la forme
Le candidat naturel pour une probabilité uniforme se doit d’être défini sur A0 par :
n
X
λ0 (A) := (bi − ai ). pour tout A ∈ A0 de la forme (4.1). (4.2)
i=1
67
68 Chapitre 4 – Espérance mathématique de variables aléatoires réelles
L’objectif est maintenant d’obtenir une probabilité λ sur B[0,1] qui soit une extension
de λ0 , c’est-à-dire λ vérifiant les propriétés de la définition 2.9 et λ(A) = λ0 (A) pour
tout A ∈ A0 .
Théorème 4.1 (admis) Il existe une unique probabilité λ sur ([0, 1], B[0,1] ) qui soit
une extension de l’application λ0 de (4.2).
Théorème 4.3 (admis) Pour tout entier d ≥ 1 fixé, il existe une unique probabilité
λ définie sur B[0,1]d qui coincide avec le volume sur les pavés :
Enfin, cette construction s’étend sur Rd et permet de définir une mesure (de masse
infinie) sur l’espace (Rd , BRd ) qui coincide avec le volume sur les pavés.
4.2 – Variables aléatoires dans Rd 69
Théorème 4.4 (admis) Pour tout entier d ≥ 1 fixé, il existe une unique mesure λ
sur (Rd , BRd ), appelée mesure de Lebesgue sur Rd , telle que
λ Πdi=1 ]ai , bi ] = Πdi=1 (bi − ai ), pour tous ai < bi , i = 1, . . . , d.
Remarque 4.5 Il n’est pas possible d’étendre la probabilité λ à P([0, 1]). En parti-
culier, B[0,1] ( P([0, 1]). Nous allons en effet définir un ensemble (dit de Vitali) qui
ne peut être mesuré par la probabilité λ définie dans le théorème 4.1.
— On introduit la relation d’équivalence sur [0, 1] : x ∼ y si x − y ∈ Q. On note
(Ai )i∈I les classes d’équivalence.
— En invoquant l’axiome du choix (car I non dénombrable), on identifie chaque
Ai avec xi ∈ Ai , et on note B := (xi )i∈I .
— On introduit Bn := rn + B, où (rn )n∈N = Q ∩ [−1, 1]. Alors
— Les (Bn )n sont deux à deux disjoints. En effet, si x ∈ Bn ∩ Bp , alors il
existe in et ip tels que x = rn + xin = rp + xip ce qui implique que xin ∼ xip ,
donc xin = xip et n = p.
— Pour tout x ∈ [0, 1], il existe i tel que x ∈ Ai , donc x = xi + r pour un
certain rationnel r ∈ Q ∩ [−1, 1]. Donc
[0, 1] ⊂ ∪n Bn ⊂ [−1, 2].
— On fait un raisonnement par l’absurde. Supposons que B est mesurable. Alors
λ(Bn ) = λ(B) pour tout n car la mesure de Lebesgue λ est invariante par
translation, et d’une part
X X
1 = λ([0, 1]) ≤ λ(Bn ) = λ(B),
n≥1 n≥1
Les v.a. que nous considérons maintenant peuvent être à valeurs dans Rd tout en-
tier (ou, dans ce paragraphe, dans n’importe quel espace topologique). Comme dans
70 Chapitre 4 – Espérance mathématique de variables aléatoires réelles
Définition 4.6 Soit Ω l’espace fondamental muni de la tribu A des événements. On dit
que X : (Ω, A) −→ (Rd , BRd ) est une fonction mesurable ou une variable aléatoire si
X −1 (B) ∈ A pour tout B ∈ B Rd .
Dans le cas où Ω est fini ou dénombrable et muni de la tribu A = P(Ω), toute
application de (Ω, A) dans (Rd , BRd ) est une variable aléatoire, comme on l’a défini
dans le chapitre précédent.
Proposition 4.8 (i) Soient X est une variable aléatoire à valeurs dans Rd et
0
f : Rd −→ Rd mesurable (par rapport aux tribus Boréliennes). Alors f (X) est une
variable aléatoire.
(ii) Soit X : Ω −→ R. Alors X est une v.a. ssi X −1 (] − ∞, a]) ∈ A pour tout a ∈ R
ssi X −1 ([a, ∞[) ∈ A pour tout a ∈ R.
(iii) Soit (Xn )n∈N? une suite de v.a. réelles (à valeurs dans R). Alors
inf Xn , sup Xn , lim inf Xn = sup inf Xn et lim sup Xn = inf sup Xn
n≥1 n≥1 n n≥1 p≥n n n≥1 p≥n
sont des variables aléatoires. En particulier, si la suite Xn (ω) n est convergente pour
tout ω ∈ Ω, alors limn Xn est une variable aléatoire.
Preuve. Pour le (i), il suffit de remarquer que pour tout B ∈ BRd0 , on a f −1 (B) ∈ BRd
d’après la mesurabilité de f et Y −1 (B) = X −1 f −1 (B) ∈ A d’après la mesurabilité
de X.
Pour le (ii), notons R = {B ∈ BR : X −1 (B) ∈ A}. Comme l’image réciproque X −1
commute avec la réunion, l’intersection et le passage au complémentaire, il est clair
que R est une tribu contenue dans BR . Alors, si R contient les intervalles ] − ∞, a]
pour tout a ∈ R, on déduit dela proposition 2.8 que R = BR . On utilise le même
argument pour montrer la deuxième équivalence.
4.3 – Espérance des v.a. réelles 71
Remarque fondamentale : Il est important de comprendre ici que l’on connaı̂t bien
l’espace d’arrivée d’une v.a. réelle (R) mais qu’on connaı̂t mal son espace de départ
(l’espace abstrait Ω). L’idée majeure, qui est à la base de la théorie de l’intégration de
Lebesgue, est d’approcher nos v.a. par une suite obtenue par découpage de l’espace
d’arrivée, et non pas de l’espace de départ (comme dans le cas de l’intégrale de Rie-
mann).
Définition 4.9 Une v.a. Y est dite étagée si Y (Ω) est fini, c’est-à-dire qu’elle prend
un nombre fini de valeurs Y (Ω) = {y1 , . . . , yn } et on a
n
X
Y = yi 1Ai , avec Ai = {Y = yi }.
i=1
Ici, il est commode d’autoriser la valeur +∞ pour Y , et on utilisera les règles de calcul
0 × ∞ = ∞ × 0 = 0. Nous étendons à présent la définition de l’espérance à l’ensemble
L0+ des v.a. positives.
Définition 4.10 Pour X ∈ L0+ , l’espérance de X par rapport à P est définie par
E(X) = sup {E(Y ) : Y ∈ E+ et Y ≤ X} .
Théorème 4.12 (convergence monotone) Soit (Xn )n ⊂ L0+ une suite croissante
P−p.s., i.e. pour tout n ≥ 1, Xn ≤ Xn+1 , P−p.s. Alors
E (lim ↑ Xn ) = lim ↑ E(Xn ).
4.3 – Espérance des v.a. réelles 73
Remarque 4.13 Par le même argument que l’étape 2 ci-dessus (approximation par
les fonctions étagées (4.4) et utilisation du théorème de convergence monotone), on
montre facilement que :
(i) Pour X1 , X2 ∈ L0+ telles que X1 = X2 P−p.s., on a E(X1 ) = E(X2 ). En particu-
lier, pour toute constante a ∈ R+ ,
Si X = a P − p.s. alors E[X] = a.
(ii) Pour X1 , X2 ∈ L0+ , on a E(X1 + X2 ) = E(X1 ) + E(X2 ).
1. Pour une première lecture, la première étape de cette preuve sera suffisante pour l’ensemble
des résultats de ce chapitre.
74 Chapitre 4 – Espérance mathématique de variables aléatoires réelles
1.000 1.000
0.875 0.875
0.750 0.750
0.625 0.625
0.500 0.500
0.375 0.375
0.250 0.250
0.125 0.125
0.000 0.000
0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0 0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0
Figure 4.1 – Découpage “à la Riemann” (à gauche) ou “à la Lebesgue” (à droite), en 16
intervalles de même longueur de l’abscisse ou de l’ordonnée, respectivement.
où αn (X) est l’approximation de X introduite dans (4.4) qui approxime X par un
découpage de l’espace d’arrivée. On aurait pu en fait utiliser n’importe quelle approxi-
mation monotone, la limite est toujours la même, à savoir l’espérance.
mais n’est pas Riemann-intégrable). Montrons ceci dans Ω = [0, 1] muni de la mesure
de Lebesgue λ. Soit f une fonction Riemann integrable bornée sur Ω d’intégrale (au
R1 R1
sens de Riemann) 0 f (x)dx. Alors f est Lebesgue intégrable et E(f ) = 0 f (x)dx.
Si f est une fonction en escalier, ce résultat est trivial. Pour une fonction Riemann
intégrable bornée f arbitraire, on peut trouver deux suites de fonctions en escalier
(gn )n et (hn )n respectivement croissante et décroissante telles que gn ≤ f ≤ hn et
Z 1 Z 1
inf (gn − hn )(x)dx = lim (gn − hn )(x)dx = 0.
n 0 n→∞ 0
Remarque 4.17 Les outils développés tout au long de ce paragraphe ne sont pas
spécifiques aux probabilités, et s’écrivent exactement de la même manière pour les me-
sures, c’est-à-dire les fonctions σ−additives de A dans R+ (sans condition de masse
totale unitaire). Par exemple, les mêmes arguments (fonctions étagées, puis conver-
gence monotone pour les fonction positives, puis décomposition en partie négative et
positive) permettent de définir l’intégrale par rapport à la mesure de Lebesgue (intro-
duite dans le théorème 4.4) :
Z Z
f (x)λ(dx) = f (x)dx1 . . . dxd pour tout f ∈ L0+ ∪ L1 (λ),
Rd Rd
Preuve. Tout d’abord, cette propriété est vraie pour les fonctions X = 1B , B ∈ A,
puisque dans ce cas E(1B 1A ) = P(A ∩ B) = EA (1B |A ). Par linéarité, cette égalité
76 Chapitre 4 – Espérance mathématique de variables aléatoires réelles
reste vraie pour les fonctions étagées, puis par convergence monotone pour les fonc-
tions mesurables positives. Enfin, pour X ∈ L1 (A, P), on décompose X = X + − X − ,
et on obtient le résultat voulu en appliquant l’égalité à X + et X − .
Outre l’espace L1 , nous définissons aussi, comme au Chapitre 3, l’espace L2 des va-
riables aléatoires X dont le carré X 2 est dans L1 .
Définition 4.19 Une v.a. réelle X est de carré intégrable si la variable aléatoire X 2 est
intégrable, c’est-à-dire si son espérance E(X 2 ) est finie.
Définition
4.21 La variance d’une v.a. réelle X ∈ L2 , est Var(X) = E (X −
2 2
E(X)) , notée aussi σX , ou σ 2 s’il n’y a pas d’ambiguité. Sa racine carrée positive
p
σX = Var(X) s’appelle l’écart-type de X.
De même que l’espérance a été comparée au centre de gravité d’un ensemble de masses,
la variance peut être rapprochée du concept mécanique de moment d’inertie (par
rapport à l’espérance).
qui est extension de la formule de Huygens ci-dessus car Var(X) = Cov(X, X). On
obtient aussi que la covariance est une forme bilinéaire sur l’espace vectoriel des v.a. de
carré intégrable, et nous avons
En particulier,
et nous déduisons pour des v.a. non constantes P−p.s. que ρ(X, Y ) = ρ(aX + b, a0 Y +
b0 ) lorsque aa0 > 0.
Pn
Enfin, si X1 , . . . , Xn ∈ L2 , alors i=1 Xi ∈ L2 et
n
X X
Var(X1 + . . . + Xn ) = Var(Xi ) + 2 Cov(Xi , Xj ). (4.12)
i=1 1≤i<j≤n
La notion de variance s’étend aux vecteurs aléatoires comme suit. Dans la suite |.|
désigne la norme Euclidienne dans Rn , | l’opérateur de transposition et · le produit
scalaire correspondant.
78 Chapitre 4 – Espérance mathématique de variables aléatoires réelles
Preuve. La symétrie est évidente. En notant ci,j := Cov(Xi , Xj ), on Pvérifie par un cal-
n
cul direct que pour tout a = (a1 , . . . , an )| ∈ Rn , on a a| Var(X)a = i,j=1 ai aj ci,j =
Pn
Var i=1 ai Xi = Var(a · X) ≥ 0, ce qui prouve que la matrice Var(X) est positive.
La formule pour Var(AX) est obtenue par un calcul direct.
Nous constatons que lorsque ρ(X, Y ) est voisin de +1 ou −1, le carré moyen de l’erreur
est presque nul : plus |ρ(X, Y )| est proche de 1, meilleure est l’approximation.
σ2
P(|X − m| ≥ a) ≤ ,
a2
1
soit encore P(|X − m| ≥ aσ) ≤ a2 , d’où
1
P(|X − m| < aσ) = P(X ∈]m − aσ, m + aσ[) ≥ 1 − .
a2
En particulier, pour a = 2 et a = 3, nous avons respectivement :
1 1
P(X ∈]m − 2σ, m + 2σ[) ≥ 1 − ≈ 0,75 ; P(X ∈]m − 3σ, m + 3σ[) ≥ 1 − ≈ 0,88.
4 9
Ces approximations sont universelles mais très grossières. Par exemple, si X suit
une loi de Bernoulli de paramètre 21 , alors m = 12 et σ = 12 et on obtient précisément
P(X ∈]m − 2σ, m + 2σ[) = P(X ∈] − 12 , 32 [) = 1.
Mais ceci n’est possible que si ce trinôme en x a au plus une seule racine réelle. Son
discriminant doit donc être négatif ou nul, ce qui donne immédiatement (4.15).
4.5 – Des inégalités fameuses 81
− 1 ≤ ρ(X, Y ) ≤ 1. (4.16)
Appliquant cette inégalité à x = X(ω), on obtient d’une part que f (X)− ≤ f (a) +
−
λa (X − a) ∈ L1 du fait que X ∈ L1 , et d’autre part que f (X) ≥ f (a) + λa (X − a).
L’inégalité voulue est obtenue en fixant a = E(X) en prenant l’espérance.
Exemple 4.35 Un investisseur a le choix : soit il place son capital dans une affaire
risquée rapportant une somme aléatoire X d’espérance m, soit il le place en titres sans
risque qui rapporteront m avec probabilité 1. Il va prendre sa décision de manière à
maximiser l’espérance de u(R), où R est son bénéfice et u sa fonction de préférence.
L’inégalité de Jensen nous montre que si u est une fonction concave, E(u(X)) ≤ u(m),
ce qui rend le placement sûr préférable. Si par contre u est convexe, le placement risqué
est meilleur puisque E(u(X)) ≥ u(m).
82 Chapitre 4 – Espérance mathématique de variables aléatoires réelles
Définition 4.36 La loi PX d’un vecteur aléatoire X à valeurs dans Rd est la probabilité
définie sur (Rd , B Rd ) par :
Le résultat suivant est une extension du théorème 3.14. Nous considérons une
vecteur aléatoire X à valeurs dans Rd et une fonction mesurable h de Rd dans R.
Alors Y = h(X) est une v.a. réelle sur Ω.
alors PX = µ.
Preuve. (i) Tout d’abord, le résultat est évident lorsque lorsque h ne prend qu’un
nombre fini de valeurs, grâce à (4.3) et au fait que P(X −1 (B)) = PX (B), par définition
de la loi de X. Si h est une fonction positive, nous suivons la recette de la remarque
4.14 : nous l’approchons par la suite de fonctions étagées αn ◦ h définie dans (4.4) et
nous déduisons le résultat voulu grâce au théorème 4.12 de convergence monotone,
les trois membres étant simultanément finis ou infinis. Le résultat général s’en déduit
par décomposition de h = h+ − h− .
(ii) Pour tout x ∈ Rd , on introduit la fonction H x = 1]−∞,x] de Rd dans R, avec
4.6 – Loi d’un vecteur aléatoire 83
R
Ainsi, la loi de X est caractérisée par son action h 7−→ h(x)PX (dx) = E(h(X))
sur toutes les fonctions mesurables intégrables h, et permet en effet de calculer
E(h(X)) par un calcul d’intégrale (au sens de Lebesgue) sur Rd . La situation se
simplifie encore plus si X est une v.a. discrète,
R chargeant une Psuite de points (xn )n
avec probabilité pn , et nous retrouvons que Rd h(x)PX (dx) = n h(xn )pn .
Pour x ∈ Rd , on note ] − ∞, x] =] − ∞, x1 ] × · · · ×] − ∞, xd ].
Preuve. Ce résultat est en fait déjà prouvé dans la deuxième moitié de la preuve
de la proposition 4.37 (ii). Pour une meilleure compréhension, nous la reprenons
ici de manière plus détaillée en dimension d = 1. D’après (4.17), nous avons
n
PX (]x, y]) = FX (y) − FX (x) pour tousPx < y. Par suite, si PnB = ∪i=1 ]xi , yi ], avec
n
xi < yi < xi+1 , nous avons PX (B) = i=1 PX (]xi , yi ]) = i=1 (FX (yi ) − FX (xi )),
car les intervalles sont disjoints. Enfin, PX (]x, +∞[) = 1 − FX (x).
Ainsi FX caractérise la restriction de PX à l’ensemble de toutes les réunions finies
d’intervalles disjoints de la forme ]x, y] ou ]x, +∞[. Cet ensemble contient R, ∅ et est
stable par passage au complémentaire et par réunion finie, c’est donc une algèbre. Le
théorème 4.2 de Carathédory permet de conclure que FX caractérise PX .
La notion de fonction de répartition est communément utilisée pour les v.a. réelles
car il est en général difficile de les caractériser dans le cas multi-dimensionnel.
84 Chapitre 4 – Espérance mathématique de variables aléatoires réelles
Exemple 4.40 Loi uniforme sur [0, 1]. On considère sur ([0, 1], B[0,1] , λ) la variable
aléatoire X(ω) = ω pour tout ω ∈ [0, 1]. Alors, PX = λ : X est de loi uniforme sur
[0, 1]. Sa fonction de répartition est donnée par FX (x) = x+ ∧ 1, l’identité sur [0, 1],
nulle sur R− et égale à 1 sur [1, ∞[.
En général, une fonction de répartition sur R n’est pas continue, comme illustré
par l’exemple d’un variable aléatoire constante.
Remarquons qu’on ne peut pas, en général, définir la probabilité µ de (ii) sur la tribu
P(R) de toutes les parties de R, comme illustré par la remarque 4.5 dans l’exemple
de la fonction de répartition de la loi uniforme de l’exemple 4.40. En fait, la preuve
de (ii) ci-dessous montre que les “probabilités discrètes” du chapitre précédent sont
les seules à pouvoir être définies sur la tribu P(R).
Preuve. (i) La croissance de FX est immédiate. Puis, pour une suite xn qui décroı̂t
vers x, on a ] − ∞, xn ] décroı̂t vers ] − ∞, x] et donc F (xn ) décroı̂t vers F (x) d’après
la proposition 2.12. Enfin, on obtient les limites dans (F3) par le même argument du
fait que ] − ∞, x] décroı̂t vers ∅ (resp. croı̂t vers R) lorsque x décroı̂t vers −∞ (resp.
croı̂t vers +∞).
(ii) Sur l’espace ([0, 1], B[0,1] , λ), avec λ la mesure de Lebesgue, la variable aléatoire
X(ω) := inf{u ∈ R : F (u) ≥ ω}, ω ∈ [0, 1],
admet F pour fonction de répartition. Pour montrer cette assertion pour X, il suffit
de montrer que {ω ≤ F (c)} = {X(ω) ≤ c}, puisqu’alors F (c) = λ({X ≤ c}) = FX (c).
L’inclusion {ω ≤ F (c)} ⊂ {X(ω) ≤ c} découle de la définition. Pour l’inclusion in-
verse, on observe que F (X(ω)) ≥ ω. En effet, si ce n’était pas le cas, on déduirait de
la continuité à droite de F que F (X(ω) + ε) < ω pour ε > 0 assez petit, impliquant
l’absurdité X(ω) + ε ≤ X(ω) ! Avec cette observation et la croissance de F , on voit
que X(ω) ≤ c implique ω ≤ F (X(ω)) ≤ F (c), qui à son tour implique ω ≤ F (c).
4.6 – Loi d’un vecteur aléatoire 85
avec la convention qu’une somme “vide” vaut 0. La fonction FX est en escalier, avec
des sauts d’amplitude pi en tout point xi ∈ X . Il s’agit d’une fonction purement
discontinue, au sens où elle est complètement
P caractérisée par ses sauts ∆FX (x) =
FX (x) − FX (x−), via la formule FX (x) = y≤x ∆FX (y).
Notons que l’ensemble X du dernier exemple, quoiqu’au plus dénombrable, peut être
dense dans R. Par exemple il peut être égal à l’ensemble des rationnels Q. Dans ce
cas, si qi > 0 pour tout xi ∈ Q, la fonction FX nous donne un exemple de fonction
discontinue en tout nombre rationnel, et continue partout ailleurs.
Plus généralement, les vecteurs aléatoires X1 , . . . , Xn , à valeurs dans Rd1 , . . . , Rdn , sont
indépendants (ou, “mutuellement indépendants”) si
n
Y
P(X1 ∈ A1 , . . . , Xn ∈ An ) = P(Xi ∈ Ai ) pour tous Ai ∈ BRdi , 1 ≤ i ≤ n.
i=1
Pour des v.a. réelles non constantes, P−p.s. nous savons que |ρ(X, Y )| ≤ 1 par
(4.16). Si X et Y sont indépendantes, alors ρ(X, Y ) = 0. Si les v.a. X et Y sont
indépendantes, le résultat précédent dit que ρ(X, Y ) = 0 ; au contraire si |ρ(X, Y )|
est proche de 1, nous avons déjà remarqué que les variables aléatoires sont “forte-
ment dépendantes”, d’où le nom de “coefficient de corrélation”. Attention cependant,
ρ(X, Y ) = 0 n’implique pas que X et Y soient indépendantes.
Définition 4.49 La suite (Xn )n∈N∗ de vecteurs aléatoires est dite indépendante si
pour tout n, la famille finie X1 , . . . , Xn est indépendante.
4.6 – Loi d’un vecteur aléatoire 87
L’application Xi : Ω → {0, 1}, qui à ω associe Xi (ω) = ωi est une v.a. sur Ω. En
effet,
i i
[ hX x j
X xj 1h
{Xi = xi } = , + , pour xi ∈ {0, 1}, 1 ≤ i ≤ n,
j=1
2j j=1
2j 2i
x1 ,...,xi−1 ∈{0,1}
qui est la mesure de Lebesgue de l’intervalle ci-dessus. Cela démontre que les variables
aléatoires Xi sont indépendantes et de loi de Bernoulli de paramètre 21 . Ainsi, nous
venons de construire sur Ω = [0, 1[ une suite de v.a. telle que toute sous-suite finie
est constituée de variables aléatoires indépendantes. C’est donc une suite de variables
aléatoires indépendantes de loi de Bernoulli de paramètre 12 .
Théorème 4.52 (admis) Soit µn une probabilité sur Rdn , dn ∈ N∗ , pour tout n ∈ N.
Alors, il existe un espace Ω muni d’une tribu A et d’une probabilité P sur lequel on
peut définir une suite (Xn )n de vecteurs aléatoires indépendants, avec Xn de loi µn
pour tout n ≥ 0.
88 Chapitre 4 – Espérance mathématique de variables aléatoires réelles
La loi d’une v.a. uniforme est donnée par la mesure de Lebesgue λ sur ([0, 1], B[0,1] ).
Les réalisations d’une telle v.a. ont autant de chance d’être situées au voisinage de
chaque point de ]0, 1[.
Sans être les plus récents, les générateurs congruentiels linéaires sont très utilisés. Ils
produisent une suite d’entiers
xn+1 = a xn + b modulo m ,
à partir d’une valeur initiale x0 . Bien entendu, les entiers m, a et b doivent être
soigneusement choisis (on exige au moins que la période p soit maximale, c’est-à-dire
égale à m).
2. Park & Miller, Random number generators, good ones are hard to find, Commun. ACM (1988),
31, p. 1192-1201.
3. [Link] Twister
4.8 – Exercices sur le chapitre 4 89
Le résultat suivant donne une méthode de simulation d’une v.a. réelle X de loi
quelconque à partir d’une v.a. uniforme U sur [0, 1], générée comme ci-dessus. Ce
résultat a en fait été démontré dans la preuve de la proposition 4.42 (iii) et repose
sur l’utilisation de l’inverse continue à gauche d’une fonction de répartititon
Proposition 4.53 Soit U une variable aléatoire de loi uniforme sur [0, 1], et F une
fonction de répartition. Alors la v.a. X = G(U ) admet F pour fonction de répartition.
EXERCICE 4.1 Soit X une v.a. de carré intégrable. Montrer que E((X − a)2 )
atteint son minimum lorsque a = E(X).
Chapitre 5
Donald Knuth.
Dans cette section, nous allons nous servir de la mesure de Lebesgue λ sur Rd
introduite dans le théorème 4.4, ainsi que l’intégrale par rapport à cette mesure in-
troduite dans la remarque 4.17. Nous allons commencer par introduire la notion de
fonction de densité qui permet de décrire une large classe de probabilités à partir de
la mesure de Lebesgue λ sur Rd .
Définition 5.1 Soit f : (Rd ,RBRd ) −→ (R, BR ) une fonction mesurable. On dit que f
est une densité si f ≥ 0 et Rd f dλ = 1. Dans ce cas, on définit la fonction Pf de
BRd −→ R :
Z Z
Pf (A) = f 1A dλ = f (x)dx pour tout A ∈ BRd .
Rd A
91
92 Chapitre 5 – Variables aléatoires à densité
Définition 5.2 (i) On dit que f est la densité de Pf par rapport à λ, et on note
Pf = f · λ et Ef l’espérance mathématique sous Pf .
(ii) Une probabilité P sur (Rd , BRd ) est dite à densité s’il existe une densité f sur
(Rd , BRd ) telle que P = f · λ.
(iii) Une v.a. X à valeurs dans Rd est dite à densité si sa loi PX est à densité.
d d
Théorème 5.3 Soient X une v.a. dans R R et à densité f et φ : R −→ R mesurable.
(i) Si φ est positive, on a E φ(X) = Rd (f φ)(x) dx. R
(ii) φ(X) ∈ L1 si et seulement si f φ ∈ L1 (λ), et alors E φ(X) = Rd (f φ)(x) dx.
Pn Pn
Preuve.
Pn RSi φ = i=1Rai 1Ai est une fonction étagée, on a E(φ(X)) = i=1 ai PX (Ai ) =
i=1 ai f 1Ai dλ = f φdλ. Puis, pour φ ∈ L0+ on utilise l’approximation par les
f
v.a.
R étagées Yn = αn (φ(X)) comme dans (4.4) pour laquelle nous avons E (Yn ) =
R f Yn dλ, et on conclut par le théorème 4.12 de convergence monotone que E(φ(X)) =
f φdλ, ce qui termine la démonstration de (i). Enfin pour obtenir (ii), on procède à
la décomposition φ = φ+ − φ− .
Pour les v.a. X à valeurs dans Rd , on s’intéresse plus particulièrement aux cas où
sa loi PX est à densité.
Ainsi pour une v.a. réelle X à densité continue, celle-ci a l’interprétation (en un
point de continuité x)
F (x + ∆x) − F (x) PX ([x, x + ∆x])
f (x) ∼ = . (5.3)
∆x ∆x
La dernière proposition donne les expressions suivantes pour l’espérance et la variance
d’une v.a. réelle à densité f (intégrable ou de carré intégrable) :
Z +∞
E(X) = xf (x)dx,
−∞
Z +∞ Z +∞ Z +∞ 2
2 2
Var(X) = (x − E(X)) f (x)dx = x f (x)dx − xf (x)dx .
−∞ −∞ −∞
Remarque 5.6 Notons que la réciproque (ii) peut être améliorée (jusqu’à l’obtension
d’une équivalence) en utilisant des outils de dérivation plus avancés qui n’ont pas
encore été abordés dans votre scolarité. Si en effet FX vérifie (5.1) pour d = 1, elle
vérifie la même propriété en remplaçant f par g = f + 1Q ; alors g est encore une
densité de PX . D’une manière générale, une densité est définie à un ensemble de
mesure de Lebesgue nulle près.
94 Chapitre 5 – Variables aléatoires à densité
0.25
0.20
0.15
0.10
0.05
0.00
0 1 2 3 4 5 6 7 8 9 10
1 − x
f (x) = e 100 1R+ (x), x ∈ R.
100
La probabilité que X soit comprise entre 50 et 150 heures est
100 √
e−1
Z
1 − x
P(X ∈ [50, 100]) = e 100 dx = ≈ 0,24.
50 100 e
Remarque 5.8 Il existe des v.a. qui n’ont pas de densité : c’est le cas des variables
aléatoires discrètes. Il existe des cas “mixtes” : soit f une fonction positive intégrable
et d’intégrale strictement positive, Ret soit I ⊂ R uneP partie finie ou dénombrable non
+∞
vide, et des qi > 0, i ∈ I, tels que −∞ f (x)dx + i∈I qi = 1; alors, on peut définir
la fonction de répartition
Z x X
F (x) = f (y)dy + qi , x ∈ R,
−∞ i∈I: i≤x
la probabilité PX associée n’admet pas de densité et n’est pas non plus discrète.
5.2 – Exemples classiques de v.a. réelles à densité 95
Si FX (a) > 0, alors FY n’est pas continue au point a et Y n’est pas à densité. Par
contre, on peut exprimer la loi de Y sous forme d’une masse au point a et d’une partie
à densité à droite de a.
Variable aléatoire uniforme. Soient a < b deux réels, X est uniforme sur [a, b] si sa
loi PX est de densité
1
f (x) = 1[a,b] (x), x ∈ R.
b−a
En vertu de la proposition 5.5, nous pourrions aussi bien choisir f (a) = 0 ou f (b) = 0.
Au vu de l’interprétation (5.3), le fait que f soit constante sur [a, b] exprime que si
nous simulons une variable aléatoire selon la probabilité PX , nous avons “autant de
chances” de tomber au voisinage de chaque point de l’intervalle [a, b]. Cela explique
le nom “uniforme”. Remarquons aussi que PX ({x}) = 0 pour tout x (comme pour
toutes les probabilités avec densité). Nous avons donc une probabilité nulle de tomber
exactement en un point x fixé à l’avance.
Avec la même chance de tirer “un quelconque point” de l’intervalle [a, b], il est naturel
d’obtenir comme espérance le milieu du segment.
EXERCICE 5.1 A partir de 7h, les bus passent toutes les 15 minutes à un arrêt
donné. Un usager se présente entre 7h et 7h30 à cet arrêt, l’heure exacte de son
arrivée étant une variable uniforme sur cette période. Trouver la probabilité qu’il
doive attendre moins de 5 minutes, puis plus de 10 minutes.
La loi exponentielle possède la propriété importante dite de non vieillissement, on dit aussi
5.2 – Exemples classiques de v.a. réelles à densité 97
PX (X > s) > 0 et PX (X > t + s|X > t) = P(X > s) pour tous s, t ∈ R. (5.7)
Preuve. Soit G(t) = P(X > t) = 1 − FX (t). D’après (2.16), la propriété de l’énoncé
équivaut à dire que G(t+s) = G(t)G(s) pour tous s, t > 0. Comme G est décroissante
et continue à droite et tend vers 0 à l’infini, cela revient aussi à dire que c’est une
exponentielle négative, de la forme G(t) = e−λt pour un λ > 0 [Poser α = G(1),
vérifier par récurrence que G(n) = αn pour tout n entier, puis que G(q) = αq pour
tout q rationnel, puis conclure que G(t) = αt pour tout t ∈ R+ par la continuité à
droite]. Le résultat s’obtient alors en comparant à (5.6) et en utilisant le fait qu’une
fonction de répartition caractérise la loi à laquelle elle est associée.
Loi gamma. Une variable aléatoire X suit une loi gamma de paramètre d’échelle θ et
d’indice α, que l’on note Γ(α, θ), si sa loi est à densité :
1
f (x) = θα xα−1 e−θx 1R+ (x), x ∈ R,
Γ(α)
Une intégration par parties montre que Γ(α+1) = αΓ(α), et on a de manière évidente
Γ(1) = 1. Il s’ensuit que Γ(n + 1) = n! pour tout entier n ≥ 0, avec la convention que
0! = 1. Enfin, le changement de variable x 7→ θx montre que la fonction f ci-dessus
est d’intégrale égale à 1, et est donc bien une densité.
Remarquons que Γ(1, θ) = E(θ). Pour une loi Γ(α, θ), on calcule aussi que :
α 2 α Γ(α + β) 1
E(X) = , σX = 2 et E(X β ) = .
θ θ Γ(α) θβ
En revanche si β ≤ −α, nous avons E(X β ) = +∞.
Pour α = n ∈ N, la loi gamma représente la loi du temps d’attente avant la n-ième
occurence d’événements indépendants de lois E(θ) (voir Exemple 7.9).
Définition 5.11 On dit que X est une variable aléatoire de loi normale N (m, σ 2 ), pour
m ∈ R et σ 2 > 0, si cette variable a la loi de densité
1 (x − m)2
f (x) = √ exp − . (5.10)
2πσ 2 2σ 2
5.2 – Exemples classiques de v.a. réelles à densité 99
Nous pouvons vérifier que f est une densité en nous ramenant par le changement de
variable x 7→ x−m
σ à la fonction (5.9). Le même changement de variable permet de
voir que m et σ 2 sont l’espérance et la variance d’une v.a. de loi N (m, σ 2 ).
La distribution normale fut introduite par De Moivre en 1733. Celui-ci l’utilisa pour
approximer une v.a. binomiale B(n, p) pour n grand. Ce résultat fut ensuite progres-
sivement généralisé par Laplace et d’autres confrères pour devenir le théorème connu
sous le nom de théorème de la limite centrale, qui sera démontré dans un chapitre
ultérieur. Ce théorème est l’un des plus importants de la théorie des probabilités et
prouve que de très nombreux phénomènes aléatoires suivent approximativement une
loi normale. Nous pouvons citer à titre d’exemple la taille d’un individu choisi au
hasard, les composantes de la vitesse d’une molécule de gaz ou l’erreur de mesure
d’une quantité physique.
Pour les calculs sur la loi normale. Il est difficile de faire des calculs avec la
loi normale car la densité de la loi normale centrée réduite n’admet pas de primitive
explicite. Aussi des tables numériques ont-elles été construites pour permettre aux
utilisateurs d’obtenir très rapidement des valeurs numériques.
La table 5.1 donne les valeurs de Φ(x) = P(X ≤ x), lorsque X suit la loi gaussienne
centrée réduite. Bien sûr, les logiciels classiques de statistique permettent d’obtenir
les valeurs données par la table. Par exemple, pour une variable X de loi N (0, 1),
et en utilisant la symétrie de la densité et la table numérique ci-dessous, nous avons
l’approximation
1
P(|X| < 2) = 2 P(0 < X < 2) = 2 P(X < 2) − ≈ 2 (0,9772 − 0,5) = 0,9544.
2
Variable aléatoire de Cauchy. Une variable aléatoire réelle X suit une loi de
Cauchy si elle admet la densité
1
f (x) = , x ∈ R,
π(1 + x2 )
100 Chapitre 5 – Variables aléatoires à densité
x 0,00 0,010 0,02 0,03 0,04 0,05 0,06 0,07 0,08 0,09
0,0 0,5000 0,5040 0,5080 0,5120 0,5160 0,5199 0,5239 0,5279 0,5319 0,5359
0,1 0,5398 0,5438 0,5478 0,5517 0,5557 0,5596 0,5636 0,5675 0,5714 0,5753
0,2 0,5793 0,5832 0,5871 0,5910 0,5948 0,5987 0,6026 0,6064 0,6103 0,6141
0,3 0,6179 0,6217 0,6255 0,6293 0,6331 0,6368 0,6406 0,6443 0,6480 0,6517
0,4 0,6554 0,6591 0,6628 0,6664 0,6700 0,6736 0,6772 0,6808 0,6844 0,6879
0,5 0,6915 0,6950 0,6985 0,7019 0,7054 0,7088 0,7123 0,7157 0,7190 0,7224
0,6 0,7257 0,7291 0,7324 0,7357 0,7389 0,7422 0,7454 0,7486 0,7517 0,7549
0,7 0,7580 0,7611 0,7642 0,7673 0,7704 0,7734 0,7764 0,7794 0,7823 0,7852
0,8 0,7881 0,7910 0,7939 0,7967 0,7995 0,8023 0,8051 0,8078 0,8106 0,8133
0,9 0,8159 0,8186 0,8212 0,8238 0,8264 0,8289 0,8315 0,8340 0,8365 0,8389
1,0 0,8413 0,8438 0,8461 0,8485 0,8508 0,8531 0,8554 0,8577 0,8599 0,8621
1,1 0,8643 0,8665 0,8686 0,8708 0,8729 0,8749 0,8770 0,8790 0,8810 0,8830
1,2 0,8849 0,8869 0,8888 0,8907 0,8925 0,8944 0,8962 0,8980 0,8997 0,9015
1,3 0,9032 0,9049 0,9066 0,9082 0,9099 0,9115 0,9131 0,9147 0,9162 0,9177
1,4 0,9192 0,9207 0,9222 0,9236 0,9251 0,9265 0,9279 0,9292 0,9306 0,9319
1,5 0,9332 0,9345 0,9357 0,9370 0,9382 0,9394 0,9406 0,9418 0,9429 0,9441
1,6 0,9452 0,9463 0,9474 0,9484 0,9495 0,9505 0,9515 0,9525 0,9535 0,9545
1,7 0,9554 0,9564 0,9573 0,9582 0,9591 0,9599 0,9608 0,9616 0,9625 0,9633
1,8 0,9641 0,9649 0,9656 0,9664 0,9671 0,9678 0,9686 0,9693 0,9699 0,9706
1,9 0,9713 0,9719 0,9726 0,9732 0,9738 0,9744 0,9750 0,9756 0,9761 0,9767
2,0 0,9772 0,9778 0,9783 0,9788 0,9793 0,9798 0,9803 0,9808 0,9812 0,9817
2,1 0,9821 0,9826 0,9830 0,9834 0,9838 0,9842 0,9846 0,9850 0,9854 0,9857
2,2 0,9861 0,9864 0,9868 0,9871 0,9875 0,9878 0,9881 0,9884 0,9887 0,9890
2,3 0,9893 0,9896 0,9898 0,9901 0,9904 0,9906 0,9909 0,9911 0,9913 0,9916
2,4 0,9918 0,9920 0,9922 0,9925 0,9927 0,9929 0,9931 0,9932 0,9934 0,9936
2,5 0,9938 0,9940 0,9941 0,9943 0,9945 0,9946 0,9948 0,9949 0,9951 0,9952
2,6 0,9953 0,9955 0,9956 0,9957 0,9959 0,9960 0,9961 0,9962 0,9963 0,9964
2,7 0,9965 0,9966 0,9967 0,9968 0,9969 0,9970 0,9971 0,9972 0,9973 0,9974
2,8 0,9974 0,9975 0,9976 0,9977 0,9977 0,9978 0,9979 0,9979 0,9980 0,9981
2,9 0,9981 0,9982 0,9982 0,9983 0,9984 0,9984 0,9985 0,9985 0,9986 0,9986
x 3,0 3,1 3,2 3,3 3,4 3,5 3,6 3,8 4,0 4,5
Φ(x) 0,99865 0,99903 0,99931 0,99952 0,99966 0,99977 0,999841 0,999928 0,999968 0,999997
Z x
Table 5.1 – Valeurs de la fonction de répartition Φ(x) = f (y)dy de la loi normale
−∞
N (0, 1). Si on cherche la valeur de Φ(x = k × 0,1 + j × 0,01), il faut regarder dans
le gros tableau supérieur, la valeur située à l’intersection de la ligne k + 1 et de la
colonne j + 1. Le tableau donne ainsi toutes les valeurs de Φ(x) pour x allant de 0
à 2,99 par pas de 0,01. Le petit tableau inférieur donne les valeurs de Φ(x) pour x
allant de 3 à 4,5 par pas variable. Enfin, si on souhaite trouver une valeur de Φ(x)
pour un x négatif, alors on utilise le fait que Φ(x) = 1 − Φ(−x).
5.2 – Exemples classiques de v.a. réelles à densité 101
R
(on vérifie immédiatement que R f (x)dx = 1). Il s’agit de l’exemple classique d’une
R +∞ |x|
v.a. qui n’a pas d’espérance. En effet, l’intégrale généralisée −∞ π(1+x2 ) dx diverge
1
car f (x) ∼x→∞ |x| . Une variable de Cauchy n’est donc pas intégrable.
Solution : L’angle θ est une v.a. de densité q(θ) = π1 1]− π2 , π2 [ (θ), variable de loi uni-
forme sur ] − π2 , π2 [. L’abscisse X est donnée par X = tan θ, c’est donc une v.a. de
fonction de répartition donnée pour x ∈ R par
Z arctan x
1 1
F (x) = P(X ≤ x) = P(θ ≤ arctan x) = q(θ)dθ = arctan x + .
−∞ π 2
Remarque 5.12 Dans les exemples que nous venons de voir, il est intéressant de
remarquer que les densités sont paramétrées par des nombres réels (un ou deux dans
nos exemples), paramètres liés très directement aux valeurs de l’espérance et de la
variance de la variable. C’est très important en Statistique. En effet, si nous savons a
priori que la loi de X appartient à une certaine classe de lois (lois exponentielles, lois
normales), nous pourrons trouver laquelle en estimant ses paramètres en fonction des
observations de X.
102 Chapitre 5 – Variables aléatoires à densité
16
14
12
10
8
Z
6
4
2
0
−4 −4
−3 −3
−2 −2
−1 −1
0 0
1 1
2 2
Y 3 3 X
4 4
Nous avons vu dans la proposition 5.4 que la loi d’un vecteur aléatoire à densité
fait intervenir des intégrales par rapport à la mesure de Lebesgue dans Rd , soit des
intégrales multiples. Nous commençons donc par rappeler le théorème de Fubini,
essentiel dans les calculs d’intégrales multiples. Pour simplifier la présentation, nous
considérons le cas d = 2, l’extension à une dimension quelconque est immédiate.
2
Théorème 5.14 R (Tonelli, Fubini) Soit f : (R 0, BR2 )1 −→ (R, BR ) mesurable. Si f
est positive, ou R2 |f (x, y)|dx dy < ∞, i.e. f ∈ L+ ∪ L (λ), alors les fonctions
Z Z
x 7−→ f (x, y)dy et y 7−→ f (x, y)dx
R R
5.3 – Vecteurs aléatoires à densité 103
Remarquons l’analogie avec le théorème de Fubini (S9) pour les séries. En fait, la
théorie de l’intégration de Lebesgue permet de voir ces résultats comme issus du
même théorème général, dont découle aussi le résultat “mixte” suivant.
d
Théorème
P R 5.15 Pour une suite de fonctions mesurables (fk )k de R dans R telle
que k Rd |fk (x)|dx < +∞,
XZ Z X
fk (x)dx = fk (x) dx.
k Rd Rd k
Nous allons nous limiter dans la suite de ce paragraphe au cas où d = 2, pour simplifier
les notations. Nous considérons un vecteur aléatoire Z à valeurs dans R2 de loi à
densité, et nous notons X et Y ses deux composantes : Z = (X, Y ). Comme dans le
cas discret, la loi des marginales X et Y peut s’obtenir à partir de la loi de Z. Ce
résultat se généralise sans peine à une dimension supérieure.
où fX est définie par (5.11). Ceci montre que fX est la densité de X et on procède
de même pour Y .
L’exemple suivant illustre que la réciproque de cette proposition est fausse, en général :
le fait que X et Y soient à densité ne garantit pas que le vecteur aléatoire Z = (X, Y )
soit à densité. En particulier, il faut faire attention au fait que dans le cas général, la
densité d’un couple de v.a. à densité n’est pas le produit des densités.
104 Chapitre 5 – Variables aléatoires à densité
Exemple 5.18 On lance une fléchette sur une cible circulaire de rayon unité et on
décide de n’observer que les lancés qui atteignent la cible. Le joueur est suffisamment
loin de la cible pour que le point d’impact M de la fléchette soit supposé uniformément
distribué sur la cible. Les coordonnées cartésiennes de M ∈ D = {(x, y) ∈ R2 , x2 +
y 2 ≤ 1} constituent un couple de v.a. de densité uniforme sur le disque :
1
f(X,Y ) (x, y) = 1{x2 +y2 ≤1} , (x, y) ∈ R2 .
π
L’abscisse X est distribuée selon la densité marginale
Z
2 1
fX (x) = f(X,Y ) (x, y) dy = (1 − x2 ) 2 1[−1,1] (x), x ∈ R.
π
La loi de Y a la même densité.
f (x, y)
fY |X=x (y) = , y ∈ R. (5.12)
fX (x)
R
Il est clair que fY |X=x ≥ 0 et R
fY |X=x (y)dy = 1. Il s’agit donc d’une densité.
Par suite
P(x ≤ X ≤ x + ∆x, y ≤ Y ≤ y + ∆y)
fY |X=x (y)∆y ≈
P(x ≤ X ≤ x + ∆x)
≈ P(y ≤ Y ≤ y + ∆y|x ≤ X ≤ x + ∆x).
Remarque 5.20 (i) La fonction ψ(x) est défini de manière arbitraire sur B =
{u, fX (u)
R = 0}, ici nous avons choisi la valeur nulle. Remarquons que P(X ∈
B) = B fX (u)du = 0. Donc la définition 5.19 définit l’espérance conditionnelle
ψ(X) = E(Y | X) PX −p.s. c’est-à-dire avec probabilité pleine sous la loi de X.
R R f (x,y)
(ii) Comme E (E(|Y | | X)) = R R |y| X,Y fX (x) dy fX (x)dx = E(|Y |) grâce au
théorème 5.14 de Fubini, l’espérance conditionnelle de Y sachant X est bien définie
dès que Y est intégrable.
(iii) Les rôles de X et de Y peuvent être inversés dans tous les résultats.
En remplaçant les sommes par des intégrales, nous pouvons adapter les preuves de
la Section 3.5.3 et obtenir dans le cadre des lois à densité les mêmes propriétés de
l’espérance conditionnelle résumées ci-dessous.
Exemple 5.22 Soient X et Y de densité jointe fX,Y (x, y) = x1 1T (x, y) où T est
R triangle T = {0 < y < x < 1}. La densité de X est donnée par fX (x) =
le
fX,Y (x, y)dy = 1]0,1[ (x) et pour x ∈]0, 1[,
1
fY |X=x (y) = 1]0,x[ (y) .
x
106 Chapitre 5 – Variables aléatoires à densité
Ainsi, X est uniformément distribuée sur ]0, 1[, et la loi de Y sachant X = x est
uniforme sur ]0, x[ (0 < x < 1). Pour un tel x, l’espérance conditionnelle E(Y | X = x)
est donnée par le milieu x/2 de l’intervalle portant cette loi uniforme, et nous obtenons
E(Y | X) = X/2 .
ce qui montre que PZ est à densité fZ donnée par (5.13). Réciproquement, le même
calcul montre que (5.13) implique que P(X ≤ x, Y ≤ y) = P(X ≤ x) P(Y ≤ y) pour
tous x, y ∈ R. En utilisant le même argument que dans la preuve de la proposition
4.42, ceci entraine que P(X ∈ A, Y ∈ B) = P(X ∈ A) P(Y ∈ B) pour tous boréliens
A et B, d’où le l’indépendence de X et Y .
On recherche alors une telle fonction de densité en écrivant pour toute fonction h
continue bornée :
Z
E(h(Y )) = E h ◦ g(X) = h ◦ g(x)fX (x) dx, (5.14)
Rd
√ √ 1
fY (y) = (fX (− y) + fX ( y)) √ 1]0,+∞[ (y). (5.16)
2 y
Exemple 5.27 Soit X une v.a. de loi N (0, 1). La variable aléatoire X 2 suit la loi
Γ(1/2, 1/2) (également appelée loi du Chi2 à un degré de liberté, et noté X 2 (1)), car
Y = X 2 est à densité (5.16) :
y 1
fY (y) = exp − √ 1]0,+∞[ (y).
2 y
Dans le cas des vecteurs aléatoires, l’idée est la même : il convient d’appliquer la for-
mule de changement de variable dans l’intégrale que nous allons maintenant rappeler.
d 1
Théorème
R 5.28 Soit
R A un ouvert de R , et ψ : A −→ B une bijection de classe C .
Alors, B φ(y)dy = A φ ◦ ψ(x) | det Jψ (x) | dx, pour φ positive ou intégrable.
— det Jψ (x) est appelé déterminant Jacobien, et intervient par sa valeur absolue
(car, contrairement à la dimension 1, “il n’y a plus d’orientation” dans le calcul
de l’intégrale).
Comme première conséquence de la formule de changement de variable dans
l’intégrale, on voit qu’il faut se restreindre au cas où X et Y sont de même di-
mension. En effet, si Y est de dimension plus grande que X, alors Y = g(X) n’a
pas de densité, et si Y est de dimension inférieure à celle de X, alors il convient
de “compléter” Y artificiellement avec autant de composantes que nécessaires afin
de se retrouver avec la même nombre de composantes que X (voir la remarque 5.32
ci-dessous).
Preuve. Sous ces hypothèses, nous pouvons continuer le calcul dans (5.14) en utilisant
la formule de changement de variable x = ψ(y) = g −1 (y) du théorème 5.28 :
Z Z
E(h(Y )) = h ◦ g(x)fX (x) dx = h(y)fX ◦ g −1 (y) dy,
A B
1
et on conclut grâce à la proposition 5.24 et au fait que | det Jg−1 (y)| = | det Jg (g −1 (y))| .
1 2
fY (r, θ) = r e−r /2 1]0,∞[ (r) 1]0,2π] (θ), (r, θ) ∈ R2 .
2π
En particulier les v.a. R et Θ sont indépendantes, la première suit la loi de densité
2
re−r /2 1]0,∞[ (r), et la seconde est uniforme sur [0, 2π].
Remarque 5.31 Supposons qu’il existe une partition finie (Ai )1≤i≤d de A = {fX >
0}, telle que g : Ai −→ Bi = g(Ai ) est une bijection dont l’inverse est de classe C 1 .
Dans ce cas, on découpe l’intégrale selon les Ai , on applique la proposition 5.29 à
chaque morceau, et on obtient en sommant :
d
X 1
fY (y) = 1Bi (y)fX ◦ g −1 (y) , y ∈ Rd ,
i=1
| det Jg (g −1 (y))|
−1
où g est définie sur chaque Bi comme image réciproque de la restriction de g à Ai .
en utilisant (5.8). On appelle loi bêta de paramètres α et β la loi admettant cette den-
sité. Nous obtenons aussi facilement la densité de Y 0 . En effet, on voit que fY (y, y 0 )
est le produit de fY (y) par la fonction
qui d’après (5.11) est la densité de la v.a. Y 0 . Ceci montre que Y 0 suit la loi Γ(α+β, θ).
On retrouvera ce résultat de manière plus simple (grâce à la fonction caractéristique)
dans l’Exemple 7.9.
Un générateur aléatoire nous permet d’obtenir une suite (Xn )n potentiellement infinie,
de v.a. indépendantes et de loi uniforme sur [0, 1]. Nous voulons construire une suite
(Yn )n de vecteur aléatoires indépendants, à valeurs dans Rd , de loi donnée notée PY .
Proposition 5.37 La suite (Yn )n définie par Yn = G(Xn ) est une suite de variables
aléatoires indépendantes et identiquement distribuées de loi PY .
Preuve. L’indépendance et le fait que les Yn suivent la même loi sont évidents. Le
calcul de la loi a été fait à la section 4.7.
Un cas particulier est le cas où f est une densité continue à support compact (donc
bornée).
Nous supposons aussi que nous disposons, d’une part de la suite (Xn )n ci-dessus
(constituée de v.a. indépendantes de loi uniforme sur [0, 1]), et d’autre part d’une
suite (Zn )n potentiellement infinie de v.a. indépendantes de loi ν et indépendantes
des (Xn )n . Nous posons alors
Proposition 5.38 La v.a. N suit une loi géométrique de paramètre a1 (et donc
d’espérance a). Le vecteur aléatoire Y suit la loi PY . Les variables aléatoires N et Y
sont indépendantes.
Preuve. Notons An = {f (Zn ) > aXn g(Zn )}. Les événements An sont indépendants
et ont même probabilité. Posons P(An ) = α (nous calculerons α plus tard), de sorte
5.5 – Simulation de suites de variables aléatoires indépendantes 113
que P(N > n) = (1 − α)n . Pour toute fonction h continue bornée, nous avons
∞
X
E(h(Y )) = E (h(Zn )1N =n ) + E (h(0)1N =+∞ )
n=1
X∞
= E h(Zn )1An 1{N >n−1} + h(0)P(N = +∞).
n=1
Les v.a. h(Zn )1An d’une part et 1{N >n−1} d’autre part sont indépendantes, car {N >
n − 1} = ∩n−1 c
k=1 Ak , donc
En
R remplaçant E (h(Zn )1An ) par sa valeur dans (5.22), nous obtenons que E(h(Y )) =
h(z)f (z)dz, ce qui montre que Y est de loi PY .
Nous avons ainsi obtenu une v.a. de loi PY . Pour obtenir une suite de telles variables
aléatoires indépendantes, il faut répéter la même procédure.
On pourra en particulier voir ce que devient cette formule dans le cas où g(x) = x.
EXERCICE 5.6 1) Un poste à incendie doit être installé le long d’une route fo-
restière de longueur A, A < ∞.
Si les incendies se déclarent en des points uniformément répartis sur (0, A), ou doit-
on placer ce poste de façon à minimiser l’espérance de la distance entre le poste et
l’incendie ?
2) Supposons que la route soit infiniment longue, s’étendant de 0 à l’infini. Si la dis-
tance entre un incendie et l’origine est exponentiellement distribuée avec un paramètre
λ, où doit-on alors installer le poste à incendie ?
5.6 – Exercices sur le chapitre 5 115
EXERCICE 5.7 La durée de fonctionnement d’une lampe suit une loi de densité
1 −t
f (t) = te 4 1t≥0
16
(l’unité de temps est l’année).
x 2 (1+y 2 )
1 −
EXERCICE 5.11 Soit (X, Y ) un couple aléatoire de densité f (x, y) = 2π |x|e .
2
EXERCICE 5.12 Soient X et Y deux v.a. réelles. On suppose que la densité condi-
tionnelle de X sachant Y = y est la densité 1R+ (x)y 2 xe−xy et que la loi de Y est de
densité y12 1[1,+∞[ (y).
On pose T = XY .
1) Trouver la loi du couple (T, Y ). Qu’en déduit-on ?
2) Trouver la loi conditionnelle de Y sachant X = x.
3) Calculer E(Y |X).
EXERCICE 5.13 Soit Y une v.a. de loi uniforme sur [0, 1] et X à valeurs dans N,
avec X et Y indépendantes. On considère Z = XY .
Trouver la loi de Z et donner une condition pour que la loi de Z admette une densité
par rapport à la mesure de Lebesgue.
U1 = X1 , U2 = X1 X2 , ..., Un = X1 · · · Xn .
EXERCICE 5.16 Cet exercice donne une méthode (usuelle) pour simuler deux va-
riables aléatoires indépendantes et de loi normale.
Soient X et Y deux variables aléatoires indépendantes de loi N (0, 1). On considère
le couple (R, Θ) de variables aléatoires à valeurs R+ × [0, 2π[, obtenu en exprimant
(X, Y ) en coordonnées polaires.
X = min Zk , Y = max Zk .
1≤k≤n 1≤k≤n
Stéphane Mallarmé.
Nous allons présenter dans ce chapitre l’un des résultats essentiels de la théorie des
probabilités, qui va justifier toute la théorie que nous avons construite à partir de
l’approche heuristique du Chapitre 2. Ce résultat montre rigoureusement que, quand
le nombre de répétitions de l’expérience tend vers l’infini, la fréquence de réalisation
d’un événement converge vers la probabilité de réalisation de cet événement. Ainsi,
notre modèle est bien cohérent avec l’intuition. Ce résultat, appelé Loi des grands
nombres, a d’autres portées fondamentales. Philosophique tout d’abord, puisqu’il
permet de voir le monde déterministe comme la limite macroscopique d’une accumu-
lation de phénomènes élémentaires microscopiques aléatoires. Portée numérique aussi,
car nous verrons que ce théorème est à l’origine de méthodes de calcul numérique ap-
pelées Méthodes de Monte-Carlo, qui sont extrêmement puissantes et robustes.
Elles sont par exemple très utilisées en Physique ou en Mathématiques Financières.
119
120 Chapitre 6 – Convergences et loi des grands nombres
Nous allons modéliser les résultats possibles de X au cours des n expériences par une
suite X1 , . . . , Xn de v.a. indépendantes et de même loi PX . Nous nous intéressons au
comportement aléatoire de cette suite de résultats et en particulier à leur moyenne
empirique, quand le nombre n tend vers l’infini (n est le nombre d’expériences ana-
logues réalisées, par exemple la taille de l’échantillon dans un sondage). La question
est donc : comment définir
X1 + · · · + Xn
lim ,
n→+∞ n
sachant que chaque Xi est une fonction de ω ?
Pour ce faire nous allons, de manière générale, définir les notions de convergence de
variables aléatoires et voir que plusieurs définitions différentes sont possibles, non
équivalentes, ce qui enrichit mais complique aussi la description des comportements
asymptotiques.
Nous considérons une suite (Xn )n≥1 de vecteurs aléatoires, définis sur un même
espace de probabilité (Ω, A, P), et à valeurs dans Rd . Nous considérons également sur
le même espace un vecteur “limite” X. On notera |.| la valeur absolue dans R ou la
norme dans Rd .
Définition 6.1 a) La suite (Xn )n converge presque sûrement vers X, ce qui s’écrit
Xn → X p.s., s’il existe un ensemble N ∈ A de probabilité nulle tel que
Xn (ω) → X(ω) quand n → ∞ pour tout ω ∈
/ N.
P
b) La suite (Xn )n converge en probabilité vers X, ce qui s’écrit Xn → X, si pour
tout ε > 0 on a
P(|Xn − X| ≥ ε) → 0 quand n → ∞. (6.1)
L1
c) La suite (Xn )n converge en moyenne vers X, ce qui s’écrit Xn → X, si Xn et X
sont dans L1 et si
E(|Xn − X|) → 0 quand n → ∞. (6.2)
Remarque 6.2 La convergence p.s. est la plus proche de la convergence simple des
fonctions. Mais ici, nous permettons à certains ω de ne pas vérifier Xn (ω) → X(ω),
si toutefois la probabilité de réalisation de l’ensemble de ces ω est nulle.
6.1 – Convergences de v.a. 121
Exemple 6.3 (i) Soit (Xn )n une suite de v.a. de Bernoulli B( n1 ), i.e. P(Xn = 1) =
1
n = 1 − P(Xn = 0). Alors
Xn −→ 0 en probabilité et en moyenne.
du fait que E(|Yn − 0|) = E(Yn ) = n −→ ∞ ! (en fait, (Yn )n ne converge vers aucune
autre limite finie).
Exemple 6.4 Soit U une v.a. uniforme sur [0, 1]. Alors, la suite de v.a. de loi B( n1 ) :
Zn = 1{U ≤ n1 } −→ 0, p.s.
Nous allons maintenant étudier les liens entre ces différentes convergences. Com-
mençons par le résultat le plus simple.
E(|Xn − X|)
P(|Xn − X| ≥ ε) ≤ .
ε
Nous avons vu dans l’exemple 6.3 que la réciproque n’est pas toujours vraie.
L’un des résultats les plus importants de la théorie de l’intégration relie la convergence
en moyenne et la convergence presque-sûre. C’est ce résultat qui, en grande partie, fait
la supériorité de l’intégrale de Lebesgue par rapport à celle de Riemann. Commençons
122 Chapitre 6 – Convergences et loi des grands nombres
par un autre résultat qui est également très utile et qui est une conséquence simple
du théorème 4.12 de convergence monotone. Pour une suite réelle (un )n , on rappelle
la notation
On rappelle que lim inf n un ≤ lim supn un avec égalité si et seulement si la limite
existe, et dans ce cas limn un = lim inf n un = lim supn un .
Lemme 6.6 (Fatou) Pour une suite de v.a. positives (Xn )n , on a E(lim inf n Xn ) ≤
lim inf n E(Xn ).
Preuve. D’après la monotonie de l’espérance,
inf k≥n E(Xk ) ≥ E inf k≥n Xk pour
tout n ≥ 1. Comme la suite inf k≥n Xk n≥1 est croissante P−p.s., on obtient le
résultat par application du théorème 4.12 de convergence monotone.
Attention : la réciproque est fausse. Dans l’exemple 6.3, supposons que les va-
riables aléatoires réelles (Xn )n soient indépendantes. Puisque P(|Xn | > ε) = n1 , la
série de terme général P(|Xn | > ε) = n1 est divergente. Par ailleurs les événements
An = {Xn > ε} sont indépendants. Par le théorème 2.35 de Borel-Cantelli, nous en
déduisons que pour presque tout ω, une infinité de Xn (ω) seront supérieurs à ε. Ainsi,
la suite ne peut pas converger vers 0. Ainsi, la suite (Xn )n est bornée par 1, elle tend
en moyenne vers 0 mais pas presque-sûrement.
6.1 – Convergences de v.a. 123
Nous pouvons donc voir à travers ces exemples que ces notions sont délicates.
n→∞
Preuve. Soit An,ε = {ω, |Xn (ω) − X(ω)| ≥ ε}. Supposons que Xn −→ X presque-
sûrement. Soit N l’ensemble de probabilité nulle en dehors duquel on a Xn (ω) →
X(ω). Si ω ∈/ N , alors ω ∈/ An,ε pour tout n ≥ n0 , où n0 dépend de ω et de
ε, ce qui implique que les v.a. Yn,ε = 1N c ∩An,ε tendent simplement vers 0 quand
n → ∞. Comme nous avons aussi 0 ≤ Yn,ε ≤ 1, le théorème de convergence dominée
n→∞
(Théorème 6.7) entraı̂ne que E(Yn,ε ) −→ 0. Mais
n→∞
P(An,ε ) ≤ P(N c ∩ An,ε ) + P(N ) = P(N c ∩ An,ε ) = E(Yn,ε ) −→ 0,
Proposition 6.10 S’il existe une constante a telle que |Xn | ≤ a presque-sûrement,
P L1
il y a équivalence entre Xn → X et Xn → X.
124 Chapitre 6 – Convergences et loi des grands nombres
Comme |Xn | ≤ a, nous avons {|X| > a + ε} ⊂ An,ε (avec la même notation que
précédemment), et donc P(|X| > a + ε) ≤ P(An,ε ). En faisant tendre n vers +∞,
nous en déduisons que P(|X| > a + ε) = 0. Ceci est vrai pour tout ε, et donc
P(|X| > a) = 0. (6.3)
Comme |Xn | ≤ a, nous avons aussi
|Xn − X| ≤ ε1Acn,ε + (|Xn | + |X|)1An,ε ≤ ε + 2a 1An,ε
sur l’ensemble {|X| ≤ a}, qui est de probabilité 1. Donc il vient
E(|Xn − X|) ≤ ε + 2aP(An,ε ).
Il s’en suit (par (6.1)) que lim supn E(|Xn − X|) ≤ ε, et comme ε est arbitrairement
proche de 0, nous en déduisons (6.2).
Preuve. Comme la suite (Xn )n converge en probabilité vers X, nous pouvons définir
une sous-suite de la manière suivante. Posons n1 = 1, et soit
1 1
nj = inf n > nj−1 ; P |Xr − Xs | > j < j , pour r, s ≥ n .
2 3
Il résulte alors de : j P(|Xnj+1 − Xnj | > 21j ) < j 31j < ∞ que la suite (Xnj )j≥1
P P
converge presque-sûrement. En effet, c’est une conséquence du lemme de Borel-
Cantelli (Théorème 2.35) appliqué aux ensembles Aj = {|Xnj+1 − Xnj | > 21j }.
Preuve. (a) est évident. Pour (b) remarquons d’abord que si K > 0 et ε > 0,
{|f (Xn ) − f (X)| ≥ ε} ⊂ {|X| > K} ∪ {|X| ≤ K, |f (Xn ) − f (X)| ≥ ε}. (6.4)
La fonction f est uniformément continue sur {x : |x| ≤ 2K}, donc il existe η > 0 tel
que |x − y| < η et |x| ≤ 2K, |y| ≤ 2K impliquent que |f (x) − f (y)| < ε. Ainsi, en
choisissant η suffisamment petit, |x| ≤ K entraı̂ne |y| ≤ 2K, et (6.4) implique :
{|f (Xn ) − f (X)| ≥ ε} ⊂ {|X| > K} ∪ {|Xn − X| ≥ η},
P(|f (Xn ) − f (X)| ≥ ε) ≤ P(|X| > K) + P(|Xn − X| ≥ η).
D’après l’hypothèse il vient
lim sup P(|f (Xn ) − f (X)| ≥ ε) ≤ P(|X| > K). (6.5)
n
Théorème 6.14 Soit (Xn )n une suite de v.a. iid, intégrables. Alors
n
1X n→∞
Mn = Xi −→ E[X1 ] p.s. et en moyenne (et donc en probabilité).
n i=1
126 Chapitre 6 – Convergences et loi des grands nombres
Remarque 6.15 (i) Le résultat sur la convergence en probabilité est appelé loi faible
des grands nombres. Si Xn est de carré intégrable, de moyenne m et de variance
σ 2 = Var(Xn ), sa preuve est immédiate : il suffit de remarque que E(Mn ) = m et
p p σ
E(|Mn − m|) ≤ E((Mn − m)2 ) = Var(Mn ) = √ −→ 0, quand n → ∞,
n
Remarquons aussi que l’indépendance des v.a. Xn ne peut être relachée simplement.
Prenons par exemple toutes les Xn égales à une même variable aléatoire X. Alors
Mn = X, qui ne convergera vers m que si X est constante, égale à m.
Preuve. Cette preuve est due à Randal Douc. Remarquons d’abord que l’on peut
toujours se ramener
Pn au cas E(X1 ) = 0, quitte à considérer les variables centrées.
Notons Sn = i=1 Yi , où Yi = Xi + c pour une constante c > 0. Alors les Yi sont iid,
intégrables, et E(Yi ) = c > 0. Nous allons montrer que
ce qui suffira pour obtenir la loi forte des grands nombres. En effet, puisque Sk ≥ L∗
pour tout k ≥ 1, on a pour tout n ≥ 1 : inf k≥n k1 Sk ≥ inf k≥n k1 L∗ = 0 P−p.s., car L∗
est fini P−p.s.. Donc on a :
Sn Sk
c + lim inf Mn = lim inf = sup inf ≥ 0, P − p.s.
n n n n≥1 k≥n k
et en envoyant c vers 0, on obtient que lim inf n Mn = lim supn Mn = 0, P−p.s., ce qui
est exactement le résultat voulu.
Montrons à présent (6.6) ou, de manière équivalente, P(A(Y )) = 0, où Y = (Yn )n≥1
et A(Y ) = {L∗ = −∞}. Notant aussi Ln (Y ) = inf k≤n Sk et θ(Y ) = (Yn )n≥2 , on a :
Ln (Y ) = Y1 + inf (Sk − Y1 ) = Y1 + min 0, Ln−1 (θ(Y ) ≥ Y1 + min 0, Ln (θ(Y ) .
k≤n
6.2 – La loi des grands nombres 127
puisque Y et θ(Y ) ont la même loidu fait que les Yi sont iid. Ceci implique que
E 1A(Y ) Y1 ≤ limn E 1A(Y ) Ln (Y )+ = 0, d’après le théorème de convergence do-
minée puisque 0 ≤ 1A(Y ) Ln (Y )+ ≤ Y1+ ∈ L1 pour tout n ≥ 1. Utilisant de nouveau
l’égalité A(Y ) = A(θ(Y )), on obtient alors
0 ≥ E 1A(Y ) Y1 = E 1A(θ(Y )) Y1 = E 1A(θ(Y )) E(Y1 ) = P A(Y ) E(Y1 ),
par indépendance des Yi . Comme E(Y1 ) = c > 0, ceci montre que P(A(Y )) = 0.
En outre, la loi des grands nombres nous indique aussi dans quel sens il convient de
prendre la convergence dans (2.1), à savoir au sens presque-sûr. Il faut remarquer que
dans les théorèmes précédents, et donc aussi dans l’approche par les fréquences, on
ne peut pas avoir convergence de Mn (ω) vers m pour tout ω. Nous allons voir dans
l’exemple suivant qu’il existe un ensemble négligeable sur lequel la convergence n’est
pas réalisée.
Exemple 6.16 Considérons un jeu de Pile ou Face infini, c’est-à-dire une suite Xn
de v.a. ne prenant que les valeurs 0 et 1. Nous définissons cette suite sur l’espace
∗
Ω = {0, 1}N , i.e. un point ω est une suite numérique x1 , . . . , xn , . . . de 0 et de 1.
Chaque suite est en principe possible. Soit alors Pp une probabilité sous laquelle les Xn
sont indépendantes et de même loi de Bernoulli de paramètre p ∈]0, 1[. (Il est possible
de construire une telle loi.) La loi des grands nombres nous dit que pour toute suite
128 Chapitre 6 – Convergences et loi des grands nombres
Cet exemple montre que lorsque l’on étudie la convergence des variables aléatoires, il est
indispensable d’introduire la convergence presque-sûre, puisqu’on n’a généralement pas
la convergence simple (i.e. pour tout ω).
A titre de complément...
Voici une autre démonstration de la loi forte des grands nombres sous l’hypothèse
(plus forte) que les variables iid Xi sont de carré intégrable. L’argument suivant est
basé sur le lemme de Borel-Cantelli. On note σ 2 = Var(X) et on se ramène au cas où
E(X) = 0, quitte à considérer les variables centrées. On procède en deux étapes :
σ2 q2 X
P An,q ≤ , et par suite P(An,q ) < ∞.
n2
n≥1
2) Montrons maintenant que la suite (Mn )n tend presque-sûrement vers 0. Pour tout
entier n, notons pn l’entier tel que p2n ≤ n < (pn + 1)2 . Comme les v.a. Xi sont iid,
n √
p(n)2 2 1 X 2 n − p2n 2 2 n+1 2
E Mn − Mp2n = E Xp = σ ≤ σ ,
n n n2 n2
p=p2n +1
√
puisque n − p2n ≤ (1 + pn )2 − p2n = 1 + 2pn ≤ 1 + 2 n. Une nouvelle application de
l’inégalité de Bienaymé-Chebyshev donne alors
√
2 n + 1 σ2 p2n
∗
P Bn,q ≤ , où B = − M pn ≥ q, q ∈ N .
n,q n 2
n2 q2 n
M
6.3 – Méthode de Monte-Carlo 129
√
P 2 n+1
Comme la série n n2 converge, le même raisonnement que la première étape
p2
montre que Mn − nn Mp2n −→ 0 quand n → ∞, P−p.s. Avec le résultat de la première
étape, et le fait que p2n /n → 1, ceci implique que Mn −→ 0 quand n → ∞, P−p.s.
Montrons comment nous pouvons appliquer la loi des grands nombres au calcul
d’intégrales. Pour cela, énonçons tout d’abord un corollaire immédiat de la loi des
grands nombres.
Corollaire 6.17 Soient (Xn )n une suite de v.a. iid de loi uniforme sur [0, 1], et f
une fonction mesurable bornée sur [0, 1]. Alors
Z 1
f (X1 ) + · · · + f (Xn )
−→ f (x)dx, quand n → ∞, p.s.
n 0
Preuve. Nous appliquons la loi des grands nombres aux v.a. f (Xi ) qui vérifient bien
toutes les hypothèses voulues puisque f est bornée. Nous avons alors
Z 1
f (X1 ) + · · · + f (Xn )
lim = E(f (X)) = f (x)dx.
n n 0
En choisissant des v.a. de loi uniforme sur [a, b], nous pouvons obtenir de même une
approximation d’une intégrale définie sur l’intervalle [a, b].
Un avantage de cette méthode est qu’elle reste valable si la fonction f est très
irrégulière (alors que les méthodes déterministes de type “méthode du trapèze” ne
se justifient que si la fonction f est continue). En outre, à précision donnée, elle est
peu sensible à la dimension d, le temps de calcul étant proportionnel à d, alors que
les méthodes déterministes ne sont possibles, du point de vue du temps de calcul, que
pour d petit, (disons d ≤ 3), puisque ce temps de calcul est environ proportionnel à
une constante à la puissance d. Dans notre cas, tirer une variable X de loi uniforme
sur A revient à tirer ses d composantes, chacune selon la loi uniforme sur [0, 1]. Nous
verrons également que la vitesse de convergence de In vers I ne dépend pas non plus
de la dimension.
Pour toutes ces raisons, les algorithmes obtenus par méthodes de Monte-Carlo sont
extrêmement utilisés dans toutes les situations nécessitant des temps de calcul très
courts ou en grande dimension.
EXERCICE 6.1 Soit (un )n une suite de nombres réels tels que pour tout n ≥ 1, on
ait 0 < un ≤ 1. Soit (Xn )n une suite de v.a. indépendantes telles que
1
P Xn = = un ; P(Xn = 0) = 1 − un pour tout n ≥ 1.
un
1) Calculer E(Xn ).
P P
2) On suppose que n≥1 un < +∞. En déduire que Xn → 0. Montrer en fait que
p.s.
Xn → 0 quand n tend vers l’infini.
p.s.
3) Montrer que la suite X1 +···+X
n
n
→ 0 quand n tend vers l’infini. Ce résultat est-il
en contradiction avec la loi des grands nombres ?
EXERCICE 6.2 Montrer que la loi forte des grands nombres reste vraie pour des
variables aléatoires indépendantes positives de même loi, d’espérance commune égale
p.s.
à +∞, c’est-à-dire que l’on a X1 +···+X
n
n
→ +∞.
6.4 – Exercices sur le chapitre 6 131
EXERCICE 6.4 Inégalité de Chernov. Soit (Xn )n une suite de v.a. réelles
indépendantes de loi N (m, σ 2 ).
1) On pose pour u ∈ R : M (u) = E(eu(X1 −m) ). Calculer M (u).
2) On pose Sn = X1 + · · · + Xn . Montrer pour tout a ∈ R que
n
P(Sn − nm ≥ a) ≤ e−ua (M (u)) , pour tout u ∈ R+ ,
n
P(Sn − nm ≤ a) ≤ e−ua (M (u)) pour tout u ∈ R− .
Sn
3) Soit Yn = n . Montrer que ∀ε > 0,
−nε2
P(|Yn − m| ≥ ε) ≤ 2 exp .
2σ 2
Cette inégalité est appelée inégalité de Chernov.
4) On suppose que m = 1 et que σ 2 = 10.
Avec α = 0,95 et ε = 0,05, quelle taille d’échantillon doit-on choisir pour obtenir
P(|Yn − m| ≤ ε) ≥ α,
(−1)n−1 n n (n−1) n
f (a) = lim F
n→∞ (n − 1)! a a
R∞
où F (t) = 0 f (x)e−tx dx. On pourra montrer que la somme de n variables aléatoires
indépendantes de loi exponentielle de paramètre α suit une loi Gamma de paramètres
αn
(n, α), c’est-à-dire de densité x 7→ (n−1)! xn−1 e−αx pour x > 0.
Chapitre 7
Fonctions caractéristiques,
convergence en loi et
théorème de la limite centrale
Rien ne m’est sûr que la chose incertaine ; Obscur, fors ce qui est tout évident ;
Doute ne fais, fors en chose certaine ; Science tiens à soudain accident.
133
134 Chapitre 7 – Fonctions caractéristiques et convergence en loi
valeurs complexes. Ses parties réelle Y = cos(hu, Xi) et imaginaire Z = sin(hu, Xi)
sont des v.a. réelles. Ces v.a. réelles sont de plus bornées par 1, donc elles admettent
une espérance. Il est alors naturel d’écrire que l’espérance de ei hu,Xi est
E(ei hu,Xi ) = E(Y ) + i E(Z) = E(cos(hu, Xi)) + i E(sin(hu, Xi)).
Nous verrons que cette fonction porte bien son nom, au sens où elle caractérise la loi
PX . C’est une notion qui, de ce point de vue, généralise la fonction génératrice que
nous avons vue au Chapitre 2. Elle vérifie
φX (u) = GX (eiu ),
pour une variables aléatoire X à valeurs dans N.
Comme E(Y )2 ≤ E(Y 2 ) pour toute variable aléatoire réelle Y , nous avons :
2 2
|φX (u)|2 = (E(cos hu, Xi)) + (E(sin hu, Xi)) ≤ E(cos2 hu, Xi + sin2 hu, Xi),
et donc |φX (u)| ≤ 1.
t
Preuve. Nous avons ei hu,a+AXi = ei hu,ai ei hA u,Xi . En effet, hu, AXi = hAt u, Xi.
Il suffit alors de prendre les espérances pour obtenir le résultat.
7.1.2 Exemples
Ainsi,
Ainsi,
iu
−1)
φX (u) = eθ(e . (7.5)
2
Appelons g la densité normale (ou gaussienne) définie par g(x) = √1
2π
e−x /2
. Nous
constatons tout d’abord que pour tout réel s,
Z +∞
2
esx g(x) dx = es /2 , (7.7)
−∞
2
puisque g(x) esx = g(x − s) es /2 . Nous voulons montrer que (7.7) reste vraie pour
s complexe. En développant en série entière de s les deux membres de cette égalité,
nous pouvons facilement justifier que
Z +∞ ∞ ∞
sn +∞ n s2n
Z
X 2 X
sx
e g(x)dx = x g(x)dx ; es /2 = .
−∞ n=0
n! −∞ n=0
2n n!
2
φX (u) = e−u /2
. (7.8)
7.1 – La fonction caractéristique 137
Remarque 7.4 Au cours de la preuve précedente, nous avons obtenu les moments
d’une variable aléatoire X de loi normale centrée réduite,
(2n)!
E(X 2n ) = ; E(X 2n+1 ) = 0.
2n n!
Par exemple, E(X 4 ) = 3.
Dans ce cas, la v.a. X s’écrit X = m + σY , où Y suit la loi N (0, 1). D’après (7.3) et
(7.8), sa fonction caractéristique vaut alors
2
σ 2 /2
φX (u) = eium−u . (7.9)
1 2 2 2 2
fσ (x) = e−|x| /2σ et fˆσ (u) = e−|u| σ /2 .
(2πσ 2 )n/2
pour toute fonction g de l’espace vectoriel des fonctions engendrées par u 7→ fσ (u−v).
Nous pouvons appliquer le théorème de Stone-Weierstrass pour montrer que cet en-
semble est dense dans l’ensemble des fonctions continues sur Rn qui tendent vers 0
à l’infini, muni de la convergence uniforme. L’égalité (7.10) reste vraie pour de telles
fonctions. Un argument de théorie de la mesure montre que cela suffit pour en déduire
que PX = PY .
Pn
Preuve. Nous avons hu, Xi = j=1 uj Xj . Si les Xi sont indépendantes et comme
ei hu,Xi = j ei uj Xj , nous obtenons immédiatement (7.11), en utilisant (4.18).
Q
Supposons inversement qu’on ait (7.11). Nous pouvons alors construire des variables
aléatoires Xj0 indépendantes, telles que Xj0 et Xj aient mêmes lois pour tout j et donc
telles que φXj0 = φXj . Si X 0 = (X10 , . . . , Xn0 ), alors, en utilisant la condition nécessaire
et (7.11), nous en déduisons que φX 0 = φX . Ainsi, X et X 0 ont même loi, ce qui
entraı̂ne que pour tous boréliens Aj ,
\ \ Y Y
P( {Xj ∈ Aj }) = P( {Xj0 ∈ Aj }) = P(Xj0 ∈ Aj ) = P(Xj ∈ Aj ),
j j j j
ψX (λ) = E e−λX ,
λ ∈ R+ . (7.12)
C’est une fonction définie sur R+ , indéfiniment dérivable sur ]0, ∞[, et qui satisfait
formellement ψX (λ) = φX (iλ). Ainsi, il n’est pas étonnant que la transformée de La-
place ait des propriétés analogues à celles de la fonction caractéristique. En particulier,
elle caractérise la loi PX .
Si de plus X est une v.a. à valeurs dans N, de fonction génératrice GX , alors ψX (λ) =
GX (e−λ ).
Exemple 7.7 Transformée de Laplace d’une loi gamma. Soit X une variable
aléatoire de loi Γ(α, θ). Alors,
+∞ +∞
θα
Z Z
1 α 1 α
ψX (λ) = θ e−λx xα−1 e−θx dx = θ e−(λ+θ)x xα−1 dx = .
Γ(α) 0 Γ(α) 0 (λ + θ)α
(7.13)
φX+Y = φX φY . (7.14)
1) si X suit loi normale N (m, σ 2 ) et Y suit une loi N (m0 , (σ 0 )2 ), alors Z suit une
loi N (m + m0 , σ 2 + (σ 0 )2 ) ;
3) si X suit une loi binomiale B(n, p) et Y suit une loi B(m, p), alors Z suit une loi
B(n + m, p) ;
4) si X suit une loi Γ(α, θ) et Y suit une loi Γ(α, θ0 ), alors Z suit une loi Γ(α+α0 , θ) ;
Proposition 7.10 Soit X un vecteur aléatoire de Rn . Si la v.a. |X|m (où |x| désigne
la norme euclidienne du vecteur x) est dans L1 pour un entier m, la fonction φX est
m fois continûment différentiable sur Rn , et pour tout choix des indices i1 , . . . , im ,
∂m
φX (u) = im E ei hu,Xi Xi1 Xi2 · · · Xim (7.15)
∂ui1 ∂ui2 · · · ∂uim
de Rn . Nous avons
i tXj
φX (u + tvj ) − φX (u) i hu,Xi e −1
= E e . (7.17)
t t
Soit tp une suite de réels tendant vers 0. Les v.a. (ei tp Xj − 1)/tp convergent sim-
plement vers iXj , en restant bornées en module par la v.a. |Xj | (car |eitx − 1| =
2| sin(tx/2)| ≤ |tx|), qui par hypothèse est intégrable. Donc par le théorème 6.7 (de
Lebesgue), nous en déduisons que (7.17) converge vers i E(ei hu,Xi Xj ) quand t tend
vers 0. Nous en déduisons que la première dérivée partielle de φX par rapport à uj
existe et est donnée par la formule (7.15). Enfin, nous pouvons montrer comme dans
la Proposition 7.2 que cette dérivée est continue.
Cela entraı̂ne bien entendu que chaque composante Xj suit elle-même une loi normale.
Exemple 7.12 Si les Xi sont des v.a. normales indépendantes, le vecteur X est
gaussien (cela découle de l’exemple 7.9 (1)).
Preuve.
P a) Condition suffisante : supposons (7.18). Pour toute combinaison linéaire
Y = j aj Xj = ha, Xi, et pour v ∈ R, nous avons
v2
φY (v) = φX (va) = ei v hm,ai− 2 ha,Cai
,
donc Y suit la loi N (ha, mi, ha, Cai).
Attention : ce résultat peut être faux si X n’est pas gaussien (prendre le contre-
exemple précédent).
Preuve. Comme C est une matrice symétrique positive (cf. Proposition 4.26), il existe
une matrice orthogonale A et une matrice diagonale L dont les éléments diagonaux
7.2 – Vecteurs gaussiens 143
La convergence en loi définie dans ce paragraphe va concerner les lois des variables
aléatoires. Elle signifiera que les lois sont asymptotiquement “proches”, sans que les
variables aléatoires elles-mêmes le soient nécessairement. Nous verrons également que
toutes les convergences introduites au Chapitre 6 entraı̂nent la convergence en loi.
Définition 7.18 Nous dirons que la suite (Xn )n converge en loi vers X, et nous
L
écrirons Xn → X, si pour toute fonction f continue bornée sur Rd ,
n→∞
E(f (Xn )) −→ E(f (X)).
Exemple 7.19 Un cas très simple est celui où toutes les v.a. Xn ont un nombre
fini de valeurs {xi , 1 ≤ i ≤ N }. Alors, la suite (Xn )n converge en loi vers X si et
seulement si
lim P(Xn = xi ) = P(X = xi ) ∀ 1 ≤ i ≤ N.
n
Il suffit d’écrire
N
X
E(f (Xn )) = f (xi ) P(Xn = xi ).
i=1
Dans l’exemple ci-dessus, N est fini et fixé. Mais nous avons une définition ana-
logue (en faisant tendre N vers l’infini), si les variables aléatoires ont un nombre
dénombrable de valeurs. Au paragraphe 3.4.4, nous avons montré la convergence en
loi d’une suite de variables aléatoires binomiales vers une v.a. de Poisson, pour un
bon choix des paramètres.
7.3 – Convergence en loi 145
P L
Proposition 7.21 Si Xn →n→∞ X, alors Xn →n→∞ X.
Preuve. Supposons que la suite (Xn )n converge en probabilité vers X. Soit f une
fonction continue bornée sur Rd . D’après la proposition 6.13, la suite (f (Xn ))n
converge en probabilité vers f (X), et comme f est bornée, la proposition 6.10 en-
traı̂ne que f (Xn ) converge aussi en moyenne vers f (X). En particulier, (E(f (Xn )))n
converge vers E(f (X)).
L
Preuve. a) Supposons d’abord que Xn → X. Soit a avec F (a−) = F (a). Pour tout
?
p ∈ N et tout b ∈ R, il existe une fonction fp,b continue bornée sur R telle que
Alors (E(fp,b (Xn )))n converge vers E(fp,b (X)) quand n tend vers l’infini. De (7.22),
nous déduisons d’abord que Fn (a) = P(Xn ≤ a) ≤ E(fp,a (Xn )) et E(fp,a (X)) ≤ F (a+
1 1
p ) ; donc lim supn Fn (a) ≤ F (a + p ) pour tout p, donc aussi lim supn Fn (a) ≤ F (a).
Nous avons également que Fn (a) ≥ E fp,a−1/p (Xn ) et E fp,a−1/p (X) ≥ F (a − p1 ) ;
donc lim inf n Fn (a) ≥ F (a − p1 ) pour tout p, donc aussi lim inf n Fn (a) ≥ F (a) puisque
n→∞
F (a−) = F (a). Ces deux résultats impliquent que Fn (a) −→ F (a).
n→∞
b) Inversement, supposons que Fn (x) −→ F (x) pour tout x ∈ T , où T est une partie
dense de R. Soit f une fonction continue bornée sur R et ε > 0. Soient a, b ∈ T avec
F (a) ≤ ε et F (b) ≥ 1 − ε. Il existe n0 tel que
n ≥ n0 ⇒ P(Xn ∈
/ ]a, b]) = 1 − Fn (b) + Fn (a) ≤ 3ε. (7.23)
La fonction f est uniformément continue sur [a, b], donc il existe un nombre fini de
points a0 = a < a1 < · · · < ak = b appartenant tous à T et tels que |f (x) − f (ai )| ≤ ε
si ai−1 ≤ x ≤ ai . Donc
Xk
g(x) = f (ai )1]ai−1 ,ai ] (x)
i=1
ε étant arbitraire, nous en déduisons que (E(f (Xn )))n converge vers E (f (X)), d’où
le résultat.
Preuve. : La fonction de répartition de X est alors continue en tout point. (Mais pas
nécessairement celles des variables aléatoires Xn .)
7.3 – Convergence en loi 147
L
Proposition 7.24 Soient (Xn )n et X des variables aléatoires. Pour que Xn → X
n→∞
il faut et il suffit que E(f (Xn )) −→ E(f (X)) pour toute fonction f lipschitzienne
bornée.
Preuve. Il suffit de montrer que dans la preuve de la proposition 7.22, nous pouvons
remplacer les fonctions continues bornées fp,b approchant 1]−∞,b] par des fonctions
lipschitziennes bornées, ce qui est immédiat.
Proposition 7.25 (Théorème de Slutsky) Soient (Xn )n et (Yn )n deux suites de va-
riables aléatoires définies sur le même espace de probabilité. Supposons que (Xn )n
converge en loi vers X et que (Xn − Yn )n converge vers 0 en probabilité. Alors (Yn )n
converge en loi vers X.
Preuve. Grâce à la proposition 7.24, il suffit de montrer que limn E(f (Yn )) =
E(f (X)), pour toute fonction bornée lipschitzienne f . Nous avons alors |f (x)| ≤ k et
|f (x) − f (y)| ≤ C|x − y|, pour des constantes k et C. Soit ε > 0 donné. Nous écrivons
|E(f (Yn )) − E(f (Xn ))| ≤ E(|f (Yn ) − f (Xn )|)
≤ C ε + 2k P(|Xn − Yn | > ε).
Le deuxième terme du membre de droite tend vers 0 quand n tend vers l’infini, car
(Xn − Yn )n converge en probabilité vers 0. Comme ε est arbitrairement petit, nous
en déduisons que limn→∞ |E(f (Yn )) − E(f (Xn ))| = 0, d’où le résultat.
Théorème 7.26 (Théorème de Lévy) Soit (Xn )n une suite de vecteurs aléatoires à
valeurs dans Rd .
Pour obtenir (a), il suffit de remarquer que φXn (u) = E(gu (Xn )) et φX (u) =
E(gu (X)), où gu est la fonction continue bornée gu (x) = ei hu,xi et d’appliquer la
définition 7.18 (en séparant parties réelle et imaginaire).
Ce théorème, plus les formules du premier paragraphe donnant les fonctions ca-
L
ractéristiques des lois usuelles, impliquent immédiatement que Xn → X dans les cas
suivants :
1) Xn suit B(m, pn ), X suit B(m, p), et pn → p.
2) Xn suit N (mn , σn2 ), X suit N (m, σ 2 ), et mn → m, σn2 → σ 2 .
3) Xn et X suivent des lois de Poisson de paramètres θn et θ, et θn → θ.
4) Xn et X suivent des lois exponentielles de paramètres λn et λ, et λn → λ.
Il permet aussi de prouver le lemme de Slutsky très rapidement, y compris pour des
vecteurs aléatoires.
Théorème 7.27 (Théorème de Slutsky) Soit (Xn )n et (Yn )n deux suites de vecteurs
aléatoires définies sur le même espace de probabilité à valeurs dans Rd . Supposons
que (Xn )n converge en loi vers X et que (Xn − Yn )n converge vers 0 en probabilité.
Alors (Yn )n converge en loi vers X.
Preuve. Soit u ∈ Rd . On a :
|φYn (u) − φX (u)| ≤ |φYn (u) − φXn (u)| + |φXn (u) − φX (u)|.
D’une part, le théorème de Lévy partie a) montre que |φXn (u) − φX (u)| tend vers 0
quand n → +∞. D’autre part
En conclusion de ce paragraphe, nous pouvons résumer dans la figure 6.1 les relations
entre les différents modes de convergence.
Ce théorème est aussi connu sous le nom de théorème central limite. Plus simplement,
il apparaı̂t souvent sous l’abréviation TCL.
7.4 – Le théorème de la limite centrale 149
Convergence
en Probabilité
Convergence
en Loi
La situation est la même que dans le chapitre précédent concernant la loi des grands
nombres (Théorème 6.14). Nous considérons une suite de variables aléatoires (Xn )n
indépendantes, de même loi, et de carré intégrable. Notons m et σ 2 la moyenne
et la variance communes aux variables Xn , et
Sn = X1 + · · · + Xn (7.26)
Pour évaluer cette vitesse, c’est-à-dire trouver un équivalent de Snn − m, nous sommes
amenés à étudier la limite éventuelle de la suite nα ( Snn − m) pour différentes valeurs
de α : si α est “petit” cette suite va encore tendre vers 0, et elle va “exploser” si α
est “grand”. On peut espérer que pour une (et alors nécessairement une seule) valeur
de α, cette suite converge vers une limite qui n’est ni infinie ni nulle.
Il se trouve que la réponse à cette question a un aspect “négatif” : la suite nα ( Snn −m)
ne converge au sens presque-sûr, ou même en probabilité, pour aucune valeur de α.
(Voir l’exercice 7.8). Elle a aussi un aspect “positif” : cette suite converge, au sens de
la convergence en loi, pour la même valeur α = 1/2 quelle que soit la loi des Xn , et
toujours vers une loi normale.
Ce résultat, qui peut sembler miraculeux, a été énoncé par Laplace (1749-1827) et
démontré beaucoup plus tard par Lyapounov (1901). Il montre le caractère univer-
150 Chapitre 7 – Fonctions caractéristiques et convergence en loi
sel de la loi normale (d’où son nom !). Il fait l’objet du théorème suivant, appelé
théorème central limite, ou de la limite centrale :
Théorème 7.28 Si les Xn sont des v.a. réelles indépendantes et de même loi, de
carré intégrable, de moyenne m et de variance σ 2 avec σ 2 > 0, alors les variables
Sn − nm
√
σ n
convergent en loi vers une v.a. de loi N (0, 1).
√
En d’autres termes, n( Snn − m) converge en loi vers une variable normale de loi
N (0, σ 2 ).
Preuve. Nous donnons ici une preuve fondée sur le théorème de Lévy. Une autre
preuve sera donnée dans l’exercice 7.7.
√
Soit φ la fonction caractéristique de Xn − m, et posons Yn = (Sn − nm)/(σ n).
u2 σ 2
φ(u) = 1 − + u2 o(|u|) quand u → 0.
2
Comme φ(0) = 1 et que φ est continue en 0, il est facile de voir que pour u fixé et n
assez grand,
u
φ √ − 1 ≤ 1/2.
σ n
Il est possible de généraliser la notion de logarithme aux complexes z tels que |z −
1| ≤ 1/2. (Voir un cours d’analyse complexe.) La fonction ln z définie sur le disque
{z ∈ C : |z − 1| ≤ 1/2} admet le même développement limité au voisinage de z = 1
que le logarithme réel. Ainsi,
u2
1
φn (u) = exp n ln 1 − + εn (u) ,
2n n
où εn (u) tend vers 0 quand n tend vers l’infini, et nous en déduisons immédiatement
que φn (u) converge vers exp(−u2 /2). Le résultat découle alors du théorème 7.26.
7.4 – Le théorème de la limite centrale 151
Remarque √ Si les Xi de l’énoncé du théorème 7.28 suivent des lois N (0, 1), alors
(Sn − nm)/ n suit une loi N (0, 1) pour tout n. Le théorème de la limite centrale
implique que la loi normale centrée réduite est la seule probabilité
√ Q sur R telle que
si les Xi sont de loi Q, il en est de même de (Sn − nm)/ n.
Exemple 7.29 Convergence des lois binomiales. Supposons que Sn suive une loi
binomiale B(n, p). Cela revient à dire que Sn a la même loi qu’une somme X1 +· · ·+Xn
de n variables aléatoires Xi indépendantes de loi B(1, p), i.e. P(Xi = 1) = p et
P(Xi = 0) = 1 − p. Nous savons alors que m = p et σ 2 = p(1 − p).
Si p est très petit, de sorte que θ = np ne soit pas trop grand (en pratique, θ ≤ 5
convient), nous pouvons utiliser l’approximation par une loi de Poisson, obtenue au
Chapitre 3. Si p est très proche de 1, de sorte que θ = n(1 − p) soit comme ci-dessus,
alors n − Sn suit à son tour une loi proche de la loi de Poisson de paramètre θ.
EXERCICE 7.1 Lançons 1000 fois une pièce (que l’on suppose non truquée). Cher-
chons la probabilité d’obtenir plus de 545 fois le côté Face.
Solution : Bien sûr, le calcul exact utilisant les lois binomiales serait rébarbatif et
extrêmement lourd. Nous utilisons le théorème de la limite centrale et écrivons
Z +∞
S1000 − 1000/2 45 1 −x2
P(S1000 > 545) = P √ >√ ' √ e 2 dx.
1000/2 1000/2 √ 90
1000
2π
152 Chapitre 7 – Fonctions caractéristiques et convergence en loi
−nm
Théorème 7.30 Les vecteurs aléatoires Sn√ n
convergent en loi vers un vecteur
aléatoire gaussien centré (i.e. de moyenne nulle) et de matrice de covariance C.
a −|x|a
1. La loi de X a pour densité 2e . Quelle est la fonction caractéristique de
X?
1
2. La loi de Y a pour densité y 2 1y≥1 .
X
Justifier que Y est définie presque-sûrement.
X
Calculer la fonction caractéristique de Y .
A(θ) = {ω, X1 (ω) cos θ + X2 (ω) sin θ ∈ F ; X1 (ω) sin θ − X2 (ω) cos θ ∈
/ F}
EXERCICE 7.7 Une autre preuve du théorème de la limite centrale (due à Linde-
berg).
154 Chapitre 7 – Fonctions caractéristiques et convergence en loi
Préliminaire : Montrer que Tn converge en loi vers T dès que E(f (Tn )) converge vers
E(f (T)), pour f bornée de classe C 2 avec dérivées première et seconde bornées et
uniformément continues.
Xi Yi Pi−1 Pn
1. Notons Xi,n = √
n
, Yi,n = √
n
, et Wi,n = j=1 Yj,n + j=i+1 Xj,n .
Montrer que
n
X
f (Tn ) − f (Tn0 ) = (f (Wi,n + Xi,n ) − f (Wi,n + Yi,n )) . (7.31)
i=1
2. Montrer que
1
f (Wi,n + Xi,n ) = f (Wi,n ) + f 0 (Wi,n )Xi,n + f 00 (Wi,n )(Xi,n )2 + RX,i,n ,
2
et que pour tout ε > 0, il existe δ > 0, tel que
|RX,i,n | ≤ (Xi,n )2 ε1|Xi,n |≤δ + ||f 00 ||∞ 1|Xi,n |>δ .
3. En déduire que
|E(f (Tn )) − E(f (Tn0 ))| ≤ 2ε + ||f 00 ||∞ E X12 1|X1 |>δ√n + Y12 1|Y1 |>δ√n .
4. Conclure.
Sn
1. Montrer que √
n
ne converge pas en probabilité.
α Sn
2. Montrer que (n n − m)n converge en probabilité vers 0, (respectivement
vers +∞), quand α < 1/2, (respectivement α > 1/2).
Chapitre 8
Statistique : Estimation
Démocrite
La statistique est la science des données. Un statisticien travaille sur des données
(résultats d’un sondage, données météorologiques,...) et essaie de traiter des problèmes
de différents types :
- effectuer une prévision, par exemple sur le résultat d’une élection qui aura lieu pro-
chainement à partir d’un sondage,
- quantifier la certitude liée à une prévision, par exemple par une fourchette dans le
cas d’un sondage,
- répondre à une question comme “le candidat C sera-t-il élu”, “le réchauffement
climatique est-il réel ?”, “ce médicament est-il efficace ?”, pour aider à la prise de
décision, comme l’adoption de protocoles réduisant la production de CO2 ou la mise
sur le marché d’un nouveau médicament.
La première question peut être abordée dans le cadre de l’estimation statistique, la
seconde dans le cadre de la théorie des intervalles (ou des régions) de confiance, et la
troisième dans le cadre de la théorie des tests de décision. On va dans les chapitres qui
viennent donner quelques éléments de réponse pour chacune de ces questions. Dans
ce chapitre, on aborde la question de l’estimation ponctuelle.
155
156 Chapitre 8 – Statistique : Estimation
Exemple 8.1 Le sexe, fille (F) ou garçon (G), d’un nouveau-né est modélisé par une
loi Pθ sur {F, G} de paramètre inconnu θ ∈ [0, 1], avec Pθ ({G}) = θ, resp. Pθ ({F }) =
1 − θ, la probabilité qu’une naissance donne un garçon, resp. une fille. On souhaite
connaı̂tre la proportion de garçons à la naissance. Ceci revient à chercher à estimer
θ. Pour estimer θ, on observe les sexes des n nouveaux-nés dans une maternité.
Exemple 8.2 La durée de vie d’une ampoule électrique produite par une usine est
modélisée par une loi exponentielle de paramètre λ ∈]0, +∞[. Pour estimer λ, on
laisse allumées n ampoules jusqu’à ce qu’elles grillent, on observe donc n durées de
vie, à partir desquelles on essaye d’estimer λ.
Définition 8.3 Un modèle statistique est un triplet (X , A, P) où X est l’espace fon-
damental (l’ensemble des valeurs possibles des observations), A est une tribu sur X , et
P est une famille de probabilités sur (X , A). Un modèle statistique est dit paramétrique
s’il existe un entier p et un ensemble Θ ⊂ Rp tels que la famille de probabilités P s’écrit
sous la forme :
P = {Pθ , θ ∈ Θ} ,
où, pour tout θ ∈ Θ, Pθ est une probabilité sur (X , A).
Exemple 8.4 Dans l’exemple 8.1, le modèle statistique associé est le triplet
({F, G}, P({F, G}), P) où :
P = {Pθ , θ ∈ [0, 1]} ,
8.1 – Introduction à l’estimation 157
Exemple 8.5 Dans l’exemple 8.2, le modèle statistique est le triplet (R, B(R), P) où
P est l’ensemble des lois exponentielles :
et Pλ est la probabilité sur (R, B(R)) de densité pλ (x) = λe−λx 1]0,+∞[ (x), avec la
notation 1A (x) = 1 si x ∈ A et 0 sinon.
Notation. Le vecteur aléatoire X = (Xi )i=1,...,n est défini sur un espace Ω qu’on
ne précisera pas (on peut cependant prendre pour Ω l’ensemble X n de tous les
échantillons de taille n possibles, et de ce fait, les observations peuvent être vues
comme une réalisation particulière d’un n-échantillon). On notera respectivement
Pθ (X ∈ A) et Eθ (f (X)) la probabilité de l’événement {X ∈ A} et l’espérance de
f (X) lorsque les variables Xi sont indépendantes et identiquement distribuées de loi
Pθ .
Cet estimateur
Pn est de la forme θ̂n = f (X1 , . . . , Xn ), avec f (x1 , . . . , xn ) =
(1/n) i=1 1G (xi ).
Exemple 8.8 Dans l’exemple 8.2, les temps de vie des n ampoules du lot sont des
variables aléatoires X1 , . . . , Xn indépendantes et identiquement distribuées, de loi ex-
ponentielle de paramètre λ inconnu. Notons X n la moyenne empirique :
n
1X
Xn = Xi ,
n i=1
dont on sait qu’elle est proche de l’espérance Eλ (X1 ) = 1/λ d’après la loi forte des
grands nombres. On peut donc proposer comme estimateur de λ : λ̂n = 1/X n , c’est-
Pn
à-dire λ̂n = f (X) avec f (x) = n/ i=1 xi . Cependant, on pourrait s’y prendre autre-
ment. Par exemple, en notant
1 Xn −1/2
λ̌n = Xi2 ,
2n i=1
−1/2
on sait aussi que λ̌n est proche de 12 Eλ (X12 ) = λ d’après la loi forte des grands
nombres. Ceci montre que λ̂n et λ̌n sont tous les deux susceptibles de nous donner
une estimation raisonnable de λ (lorsque n est grand). La question est de savoir lequel
est le meilleur (une fois qu’on aura clarifié ce qu’on entend par bon).
L’exemple 8.1 est particulièrement simple, mais l’exemple 8.2 sur la durée de vie
d’une ampoule montre qu’on peut avoir plusieurs estimateurs raisonnables possibles.
De plus, il s’agit de savoir si l’estimateur proposé est “bon”. Pour répondre à cette
question, il faudra d’abord éclaircir ce que nous entendons par “bon estimateur”.
Exemple 8.9 Dans l’exemple 8.1 on peut examiner la suite θ̂n = fn (X1 , . . . , Xn )
définie par la suite de fonctions :
{F, G}n → R ,
fn : Pn
(x1 , . . . , xn ) 7→ n1 i=1 1G (xi ) .
Définition 8.10 [Convergence] On dit que θ̂ n est convergent si, pour tout θ ∈ Θ :
n→+∞
Pθ θ̂ n −→ θ = 1 .
Exemple 8.11 Dans l’exemple 8.1, sous Pθ , les variables aléatoires 1G (Xi ) sont des
variables i.i.d. de loi de Bernoulli de paramètre θ. L’application de la loi forte des
grands nombres prouve la convergence de l’estimateur proposé :
n
1X
Pθ lim θ̂n = θ = Pθ lim 1G (Xj ) = θ = 1 .
n→+∞ n→+∞ n
j=1
Définition 8.12 [Biais] Un estimateur est dit non-biaisé si Eθ (θ̂ n ) = θ pour tout θ ∈ Θ
et pour tout n ∈ N∗ .
Un estimateur est dit asymptotiquement non-biaisé si limn→+∞ Eθ (θ̂ n ) = θ pour tout
θ ∈ Θ.
La propriété de non-biais est souvent recherchée, car elle stipule que l’estimateur est
bon en moyenne, mais elle est insuffisante. Pour qualifier un estimateur, on utilise le
risque quadratique moyen défini comme suit.
=Eθ (ĝn − Eθ (ĝn ))2 + 2Eθ ĝn − Eθ (ĝn ) (Eθ (ĝn ) − g(θ))
2
+ (Eθ (ĝn ) − g(θ)) .
Le second terme du membre de droite est nul car Eθ [ĝn −Eθ (ĝn )] = Eθ (ĝn )−Eθ (ĝn ) =
0. Le risque quadratique moyen se décompose donc en une partie “variance” et une
partie “biais” :
2
RQMθ (ĝn ) = Varθ (ĝn ) + (Eθ (ĝn ) − g(θ)) . (8.1)
Si un estimateur est sans biais, son risque quadratique moyen est égal à sa variance.
Entre deux estimateurs, on choisira celui au risque le plus faible. Ainsi, de deux
estimateurs non-biaisés, on choisira celui de variance plus faible.
Exemple 8.15 Dans l’exemple 8.1, on utilise le fait que la variance de la somme de
v.a. indépendantes est égale à la somme des variances pour obtenir :
1 θ(1 − θ)
RQMθ (θ̂n ) = Varθ θ̂n = Varθ 1G (X1 ) = ·
n n
On remarque que le risque décroı̂t avec n comme 1/n, résultat assez général qu’on va
retrouver dans la suite, mais pas toujours vrai.
√
Très souvent, mais pas toujours, mn (θ) = g(θ) et σn (θ) = σ(θ)/ n pour une
fonction σ(θ) qu’on appelle écart-type asymptotique (et σ 2 (θ) est appelée variance
asymptotique).
Exemple 8.17 Dans l’exemple 8.1, on utilise le théorème de la limite centrale pour
obtenir que, sous Pθ :
√ n→+∞
n(θ̂n − θ) −→ N 0, θ(1 − θ) ,
en loi.
Preuve. Il n’y a rien de nouveau dans cette proposition qui découle de la linéarité de
l’espérance, de la loi forte des grands nombres, et du théorème de la limite centrale.
162 Chapitre 8 – Statistique : Estimation
n−1 2
Eθ (V n ) = σθ .
n
(4)
µθ − σθ4 1
RQMθ (V n ) = +O 2 ,
n n
(4)
où µθ = Eθ (X14 )−4Eθ (X1 )Eθ (X13 )+6Eθ (X12 )Eθ (X1 )2 −3Eθ (X1 )4 , et V n est asymp-
totiquement normal :
√ n→+∞ (4)
n(V n − σθ2 ) −→ N (0, µθ − σθ4 ) ,
en loi.
8.3 – Estimateurs empiriques 163
µ(4) est le moment centré d’ordre 4, dont la définition générale est, pour p ∈ N∗ et
une v.a. réelle X de moment d’ordre p fini :
On peut noter que le second moment centré µ(2) est égal à la variance σ 2 de X. Donc
µ(4) − σ 4 est la variance de la v.a. réelle X (2) = (X − E(X))2 :
2
(4) 4 (2) (2) (2)
µ − σ = Var(X ) = E X − E(X ) .
Preuve. Pour montrer que (8.4) et (8.5) sont équivalents, on part de la seconde
expression, et on développe les carrés :
n n n n
1X 1X 2 2X 2 1X 2 2 2
(Xj − X n )2 = Xj − Xj X n + X n = X − 2X n + X n
n j=1 n j=1 n j=1 n j=1 j
n
1X 2 2
= Xj − X n .
n j=1
n n n
2 1 X 2 2 2 X 2 1 X
Eθ (V n ) = Eθ ( X̃ i X̃ j ) − Eθ (X̃ X̃ X̃
i j k ) + Eθ (X̃i X̃j X̃k X̃l )
n2 i,j=1 n3 n4
i,j,k=1 i,j,k,l=1
1 2
= Eθ (X̃14 ) + (n − 1)Eθ (X̃12 )2 − 2 Eθ (X̃14 ) + (n − 1)Eθ (X̃12 )2
n n
1 4 2 2
+ 3 Eθ (X̃1 ) + 3(n − 1)Eθ (X̃1 )
n
(n − 1)2 4 (n − 1)(n2 − 2n + 3)
= E θ ( X̃ 1 ) + Eθ (X̃12 )2
n3 n3
1 1
= Eθ (X̃12 )2 + Eθ (X̃14 ) − 3Eθ (X̃12 )2 + O 2 .
n n
On peut alors calculer le risque quadratique moyen :
2 Eθ (X̃14 ) − Eθ (X̃12 )2 1
RQMθ (V n ) = Eθ (V n ) − 2σθ2 Eθ (V n ) + σθ4 = +O 2 .
n n
En tenant compte du fait que X̃1 = X1 − µθ , on obtient le résultat annoncé.
On a :
n
√ √ 1 X
n V n − σθ2 = n X̃j2 − σθ2 − Yn ,
n j=1
avec
n
√ 1 X 2
Yn = n X̃j .
n j=1
Proposition 8.20 Soit (Xi )i=1,...,n un n-échantillon d’un modèle statistique dont les
lois sont de carré intégrable et dont le paramètre θ contient la variance, i.e., il existe
une fonction g : Θ → R telle que g(θ) est la variance σθ2 de la loi Pθ . La variance
empirique non-biaisée Vn est définie par :
n
1 X
Vn = (Xj − X n )2 . (8.7)
n − 1 j=1
Noter que les risques quadratiques moyens de Vn et de V n sont les mêmes à l’ordre
1/n. C’est normal, car la différence entre ces deux estimateurs se situe au niveau√du
biais. Or le risque quadratique moyen d’ordre 1/n mesure une erreur d’ordre 1/ n,
il est donc complètement insensible au biais qui est plus petit, d’ordre 1/n.
On applique la loi forte des grands nombres à chacun des crochets. Avec probabilité
1, le premier crochet converge vers Eθ (X12 ) et le second crochet converge vers Eθ (X1 ).
166 Chapitre 8 – Statistique : Estimation
Comme n/(n − 1) converge vers 1, on obtient que Vn converge vers Eθ (X12 ) − Eθ (X1 )2
avec probabilité 1, ce qui donne la convergence de l’estimateur.
Soit (Xi )i=1,...,n un n-échantillon d’un modèle statistique P = {Pθ , θ ∈ Θ}. L’ob-
jectif est de construire un estimateur convergent de θ. La méthode des moments
consiste à trouver une fonction g : Θ → Θ0 ⊂ Rd inversible et de fonction réciproque
continue et une fonction ψ : X → Rd telle que Eθ (|ψ(X1 )|) < ∞ et g(θ) peut s’écrire
comme l’espérance de ψ(X1 ) pour tout θ ∈ Θ :
g(θ) = Eθ ψ(X1 ) .
L’estimateur des moments de θ est alors
1 Xn
θ̂ n = g −1 ψ(Xi ) .
n i=1
Exemple 8.21 On considère le modèle statistique (R, B(R), P) avec P = {β(α, β), α, β ∈
]0, ∞[2 }. On rappelle que la loi β(α, β) sur (R, B(R)) est à densité (cf (5.17)) :
Γ(α + β) α−1
f (x) = x (1 − x)β−1 1]0,1[ (x).
Γ(α)Γ(β)
Ici le paramètre θ = (α, β) est de dimension 2. On désire estimer θ. Si X1 a pour loi
β(α, β), alors
α αβ
Eθ (X1 ) = = g et Eθ (X1 (1 − X1 )) = = h.
α+β (α + β)(α + β + 1)
D’une part, en inversant le système précédent, on trouve que
gh (1 − g)h
α= 2
et β = .
g−h−g g − h − g2
D’autre part, si (Xi )i=1,...,n est un n-échantillon de loi β(α, β), alors on peut
construire à l’aide de la loi forte des grands nombres des estimateurs convergents
de g et h :
n n
1X 1X
ĝn = Xi et ĥn = Xi (1 − Xi ).
n i=1 n i=1
On déduit de la méthode des moments que
ĝn ĥn (1 − ĝn )ĥn
α̂n = et β̂n =
ĝn − ĥn − ĝn2 ĝn − ĥn − ĝn2
sont des estimateurs convergents de α et β.
Exemple 8.22 On considère le modèle uniforme P = {Pθ , θ ∈]0, +∞[}, où Pθ est la
loi uniforme sur [0, θ]. Si X1 a pour loi Pθ , alors on a :
θ
Eθ (X1 ) = .
2
Par conséquent, si (Xi )i=1,...,n est un n-échantillon de loi Pθ , alors on peut construire
à l’aide de la loi forte des grands nombres un estimateur convergent de θ :
n
2X
θ̂n = Xi .
n i=1
Cet estimateur est non-biaisé, son RQM est
4 θ2
RQMθ (θ̂n ) = Varθ (θ̂n ) = Varθ (X1 ) = ,
n 3n
et il est asymptotiquement normal :
√ n→+∞
n θ̂n − θ −→ N (0, θ2 /3) .
On va voir ci-dessous qu’on peut en fait construire un bien meilleur estimateur de θ.
168 Chapitre 8 – Statistique : Estimation
qu’on appelle vraisemblance. À θ fixé, en tant que fonction de x, c’est la loi d’un
n-échantillon (Xi )ni=1 sous Pθ .
- soit que pour tout θ ∈ Θ, la loi Pθ est à densité par rapport à la mesure de Lebesgue
sur R. On note alors p(x, θ) la densité de la loi sous Pθ et pn (x, θ) la densité jointe
d’un n-échantillon, qu’on appelle vraisemblance.
L’EMV est le paramètre qui maximise la vraisemblance des données étant donné
le paramètre. On peut expliquer son principe par une interprétation bayésienne. Pour
simplifier la présentation, supposons provisoirement que X et Θ sont finis. Avant de
recueillir des données, on ne sait rien sur le paramètre θ, à part qu’il est dans Θ, donc
on peut considérer que le paramètre est une variable aléatoire discrète de loi uniforme
sur Θ. Dans ce cadre, on peut donc considérer que la loi jointe des données et du
paramètre est :
1
P (x, θ) = pn (x, θ) ,
card(Θ)
car pn (x, θ) est la loi d’un n-échantillon sachant le paramètre θ. Par le théorème de
Bayes, la loi du paramètre sachant les données est :
P (x, θ) X
P (θ|x) = , avec P (x) = P (x, θ 0 ),
P (x) 0 nθ ∈X
Le mode de cette loi, i.e. le paramètre θ le plus probable dans Θ sachant les données
x, est l’élément de Θ qui maximise P (θ|x), qui est aussi celui qui maximise pn (x, θ) :
c’est donc l’EMV.
la vraisemblance est :
n
Y
pn (x, θ) = θ11 (xi ) (1 − θ)10 (xi ) ,
i=1
P = N (µ, σ 2 ), µ ∈ R, σ 2 ∈]0, ∞[ ,
la vraisemblance est
n
1 X (xi − µ)2
pn (x, (µ, σ 2 )) = exp − . (8.9)
2
(2πσ ) n/2
i=1
2σ 2
n n (xn − µ)2 + v n
ln (x, (µ, σ 2 )) = −
ln(2π) − ln(σ 2 ) − n ,
2 2 2σ 2
Pn Pn
en notant xn = n1 i=1 xi et v n = n1 i=1 (xi − xn )2 . A σ 2 > 0 fixé, on voit que la
log-vraisemblance est maximale pour µ = xn et vaut alors − n2 (ln(2π) + f (σ 2 )) avec
vn
f (s) = ln(s) + .
s
On cherche donc maintenant à minimiser f (s) pour s ∈]0, +∞[. Comme la dérivée
f 0 (s) = 1/s − v n /s2 est négative sur ]0, v n ] et positive sur [v n , +∞[, la fonction f
atteint son minimum en v n . On conclut donc que la log-vraisemblance est maximale en
(xn , v n ). Ainsi l’EMV de (µ, σ 2 ) est le couple moyenne empirique, variance empirique
(X n , V n ). Notons qu’on obtient également l’EMV en résolvant le système
∂ x −µ
ln (x, (µ, σ 2 )) = 0 n n
=0
∂µ ⇐⇒ σ2
∂ 2
− n 1 − (xn − µ) + v n = 0
2
l n (x, (µ, σ )) = 0
∂(σ 2 ) 2 σ2 σ4
Le second terme du membre de droite converge presque sûrement vers (0, 0). Par
le théorème de Slutsky (théorème 7.25), on conclut que l’Estimateur du Maximum
de Vraisemblance (X n , V n ) est asymptotiquement normal de matrice de covariance
asymptotique C.
8.6 – Maximum de vraisemblance 171
Exemple 8.27 On termine par un exemple apparemment simple, mais dans lequel
on voit que la normalité asymptotique n’est pas automatique. On considère à nouveau
le modèle uniforme P = {Pθ , θ ∈]0, +∞[}, où Pθ est la loi uniforme sur [0, θ]. La
vraisemblance d’un n-échantillon est alors :
n
Y
−n
1[0,θ] (xi ) = θ−n 1[0,+∞[
pn (x, θ) = θ min (xi ) 1[0,θ] max (xi ) .
i=1,...,n i=1,...,n
i=1
La vraisemblance est maximale pour θn (x) = maxi=1,...,n (xi ). L’EMV est donc θ̂n =
maxi=1,...,n (Xi ). Il est facile de calculer sa loi. Sa fonction de répartition est :
1
x n si x ≥ θ,
n
Pθ (θ̂n ≤ x) = Pθ (X1 ≤ x) = si 0 ≤ x < θ,
θ
0 si x < 0.
xn−1
pθ̂n (x) = n 1[0,θ] (x).
θn
n 2 n2 n
Varθ (θ̂n ) = Eθ (θ̂n2 ) − Eθ (θ̂n )2 = θ − θ2 = θ2 ,
n+2 (n + 1)2 (n + 1)2 (n + 2)
qui est d’ordre 1/n2 . Le RQM est donc d’ordre 1/n2 lui aussi :
2 2
RQMθ (θ̂n ) = Varθ (θ̂n ) + Eθ (θ̂n ) − θ = θ2 ,
(n + 1)(n + 2)
ce qui est plus petit que les RQM des EMV observés dans les modèles précédents,
gaussiens par exemple, et aussi plus petit que le RQM de l’estimateur empirique pour
le modèle uniforme obtenu par la méthode des moments dans l’exemple 8.22. De plus,
il apparaı̂t clairement qu’on n’est pas dans le régime du théorème de la limite centrale,
où on s’attend à une variance en 1/n. Effectivement,
1 si x ≥ 0,
x n
Pθ n(θ̂n − θ) ≤ x = 1+ si − nθ ≤ x < 0,
nθ
0 si x < −nθ,
172 Chapitre 8 – Statistique : Estimation
en loi, où Z est une v.a. exponentielle de paramètre 1. Notez que E((Z − 1)2 ) = 1 <
2 = E(Z 2 ), ce qui montre que la variance asymptotique de θen est deux fois plus petite
que celle de θ̂n . Le “petit” débiaisage s’avère bien utile ici.
√
1. Montrer que ((Zn − n)/ 2n)n converge en loi vers une loi gaussienne centrée
réduite.
√ √
2. En déduire que ( 2Zn − 2n − 1)n converge en loi vers une loi gaussienne
centrée réduite.
La qualité de la seconde approximation est en fait légèrement meilleure que la
première.
Soit (ζn )n une suite de variables aléatoires réelles avec ζn de loi Tn .
3. Montrer que (ζn )n converge en loi vers une loi gaussienne centrée réduite.
g(X) + g(1 − X)
U = 1Y ≤g(X) , V = g(X) et W = .
2
Statistique : Intervalle de
confiance
Winston Churchill
L’estimation d’un paramètre, même dans le cas d’un estimateur convergent, don-
nera une valeur différente de la vraie valeur inconnue. Ce qu’on peut dire, c’est que
cette valeur inconnue est proche de la valeur estimée, mais tout l’art du statisticien
est de quantifier cette erreur par nature aléatoire. Pour répondre rigoureusement au
problème de l’estimation d’un paramètre, il est agréable de pouvoir donner un inter-
valle tel que le paramètre inconnu en fasse partie avec une grande probabilité donnée.
175
176 Chapitre 9 – Statistique : Intervalle de confiance
1 0.3
r=0.95
0.25
0.8
0.2
0.6
F(x)
f(x)
0.15
0.4
0.1
0.2
0.05
1-r=0.05
0 0
-4 -2 0 qr 2 4 -4 -2 0 qr 2 4
x x
L’intervalle de confiance IX est donc aléatoire dans le sens où ses bornes dépendent
de l’échantillon X. Lorsqu’on observe un échantillon, on peut affirmer que la vraie
valeur g(θ) appartient à l’intervalle IX construit à partir de l’échantillon observé avec
une certitude (ou niveau de confiance) prescrite à l’avance.
Pour construire des intervalles de confiance, il est très utile d’introduire la notion
de quantile.
Preuve. 1. Pour tout y < qr , on a F (y) < r et par croissance de F , pour tout y > qr ,
F (y) ≥ r. Comme F est continue, on en déduit que F (qr ) = r.
2. Le résultat se déduit des égalités P(X < qr ) = P(X ≤ qr ) = F (qr ) = r et
P(X > qr ) = 1 − F (qr ) = 1 − r.
3. Ce point s’obtient par passage au complémentaire.
4. Lorsque la densité de X est une fonction paire, la variable aléatoire −X a même
loi que X. En outre F (0) = 1/2, ce qui entraı̂ne que q1−α/2 > 0. Donc :
P |X| > q1−α/2 = P X < −q1−α/2 + P X > q1−α/2
= P(−X > q1−α/2 ) + P(X > q1−α/2 = 2P(X > q1−α/2 )
= α,
n→+∞ n→+∞
X n −→ µ et Vn −→ σ 2 ,
Proposition 9.4 Soit (Xi )i=1,...,n un n-échantillon de loi N (µ, σ 2 ), avec n ≥ 2. Les
v.a. réelles X n et Vn définies par (8.3) et (8.7) sont indépendantes pour tout n. De
plus, pour tout n, on a :
√ Xn − µ
n ∼ N (0, 1) , (9.1)
σ
√ Xn − µ
n √ ∼ Tn−1 , (9.2)
Vn
n
1 X
(Xi − µ)2 ∼ χ2n , (9.3)
σ 2 i=1
n
Vn 1 X
(n − 1) = (Xi − X n )2 ∼ χ2n−1 . (9.4)
σ2 σ 2 i=1
f (t) = √ 1 + , (9.5)
nπ Γ( n2 ) n
R∞
où Γ est la fonction Gamma d’Euler : Γ(s) = 0 e−x xs−1 dx (voir exercice 8.1). Son
espérance ne peut pas être définie pour n = 1 et est nulle pour n ≥ 2. Sa variance est
infinie pour n ≤ 2 et vaut n/(n − 2) pour n ≥ 3.
La proposition 9.4 donne donc les lois exactes des estimateurs empiriques de la
moyenne et de la variance pour tout n, ce qui va nous permettre de construire des
intervalles de confiance exacts pour ces deux paramètres.
Preuve. Introduisons les v.a. Zj = (Xj − µ)/σ. Ce sont des v.a. gaussiennes
indépendantes centrées réduites, et on peut exprimer le n-échantillon (Xi )i=1,...,n
9.2 – Intervalles exacts pour le modèle gaussien 179
a une loi gaussienne. Sa moyenne est 0 car les Zj sont centrés, et sa variance est 1 car
les Zj sont indépendants et de variance 1.
ce qui montre que cette v.a. réelle suit une loi χ2n .
Donnons-nous maintenant une base (e1 , . . . , en√) de Rn dont le premier vecteur est le
vecteur dont toutes les coordonnées valent 1/ n, les autres vecteurs orthonormaux
de la base étant choisis arbitrairement. Appelons U la matrice n × n orthogonale de
vecteurs lignes donnés par les ej , et Y le vecteur aléatoire donné par Y = UZ. On
peut noter que la première coordonnée Y1 est bien donnée par (9.6). Le vecteur Y est
un vecteur gaussien de moyenne nulle et de matrice de covariance C = UUt = I. Cela
veut dire que les Yj sont des v.a. gaussiennes indépendantes centrées réduites (voir
section
Pn7.2). En Putilisant une nouvelle fois le fait que la matrice U est orthogonale,
n
on a i=1 Zi2 = j=1 Yj2 , et donc :
n
Vn X
(n − 1) 2
= Yj2 ,
σ j=2
où la somme va bien de 2 à n. La loi de cette v.a. réelle est donc un χ2n−1 . Cela montre
aussi que les v.a. réelles X n et Vn sont indépendantes, car la première ne dépend que
de Y1 , alors que la seconde ne dépend√ que de (Yj )j=2,...,n . Enfin, comme les variables
aléatoires (n − 1)σ −2 Vn ∼ χ2n−1 et nσ −1 (X n − µ) ∼ N (0, 1) sont indépendantes, la
v.a. réelle : √ √ −1
n(X n − µ) √ nσ (X n − µ)
√ = n−1 √ √
Vn n − 1σ −1 Vn
suit une loi Tn−1 .
180 Chapitre 9 – Statistique : Intervalle de confiance
Corollaire 9.5 Soit (Xi )i=1,...,n un n-échantillon de loi N (µ, σ 2 ). Les risques qua-
dratiques moyens des estimateurs empiriques de la moyenne et de la variance sont :
σ2 2σ 4
RQM(X n ) = , RQM(Vn ) = ·
n n−1
Preuve. Le risque quadratique moyen de la moyenne empirique est déjà connu par la
proposition 8.18. Celui de la variance empirique se calcule à partir de la caractérisation
(9.4) et du fait qu’une v.a. suivant la loi χ2p a pour variance 2p.
Supposons dans un premier temps que l’écart-type σ de la loi soit connu. Soit
un niveau de confiance 1 − α donné (en général α = 0,1, 0,05, ou 0,01). D’après la
proposition 9.3, le quantile q1−α/2 d’ordre 1 − α/2 de la loi gaussienne centrée réduite
est tel que si Z ∼ N (0, 1), alors P(−q1−α/2 ≤ Z ≤ q1−α/2 ) = 1 − α. On cherche alors
q1−α/2 dans une table de la loi normale ou sur un logiciel. D’après la proposition 9.4 :
√ Xn − µ
P n ∈ [−q1−α/2 , q1−α/2 ] = 1 − α.
σ
√ Xn − µ
σq1−α/2 σq1−α/2
n ∈ [−q1−α/2 , q1−α/2 ] ⇐⇒ µ ∈ X n − √ , Xn + √ ,
σ n n
Bien sûr,
- plus on se fixe un niveau de confiance 1 − α élevé, plus l’intervalle est large. Si on
demande d’être absolument sûr, i.e. α = 0, alors q1 = +∞ et I1 = R.
- plus la v.a. sous-jacente a une dispersion élevée (i.e. plus σ est grand), plus l’intervalle
est grand.
- plus l’échantillon est grand, plus l’intervalle est petit. La largeur de l’intervalle de
9.2 – Intervalles exacts pour le modèle gaussien 181
√
confiance est proportionnelle à 1/ n. Donc, à niveau 1−α fixé, pour avoir un intervalle
de confiance 2 fois plus petit, il faut 4 fois plus d’observations.
Les calculs précédents sont intéressants, mais en pratique, il est rare qu’on
connaisse σ. Dans le cas général où on ne connaı̂t pas σ, on utilise une estimation de
celui-ci, donnée par la variance empirique sans biais Vn .
p
n\ 0,40 0,25 0,10 0,05 0,025 0,01 0,005 0,0005
Table 9.1 – Table de la loi Tn . On reporte dans ce tableau les valeurs x pour lesquelles
P(Tn ≥ x) = p. Pour n > 30, on adopte souvent l’approximation gaussienne Tn ∼
N (0, 1).
9.2 – Intervalles exacts pour le modèle gaussien 183
Vn∗ est sans biais, convergent, et nVn∗ /σ 2 suit la loi χ2n d’après la proposition 9.4. On
peut donc affirmer que :
nVn∗
P ∈ [t1−α,l , t1−α,r ] = 1 − α .
σ2
Exemple 9.7 Dans l’exemple 9.6, imaginons que le fabricant ait fait des mesures
extensives, et qu’il indique sur la boı̂te la durée de vie moyenne : µ = 1920. On
recherche la variance σ 2 inconnue de la loi de durée de vie. L’estimateur empirique
de la variance est :
10
∗ 1 X
V10 = (Xi − 1920)2 ' 4184 .
10 i=1
p
n\ 0,995 0,990 0,975 0,950 0,050 0,025 0,010 0,005
Table 9.2 – Table de la loi χ2n . On reporte dans ce tableau les valeurs x pour lesquelles
p
P(χ2n ≥ x) = p. Pour n > 30, on adopte souvent l’approximation gaussienne 2χ2n −
√
2n − 1 ∼ N (0, 1).
9.2 – Intervalles exacts pour le modèle gaussien 185
Il faut évaluer les deux nombres t0,95,l et t0,95,r . Pour cela, on consulte une table de
la fonction de répartition de la loi χ210 et on cherche les niveaux t0,95,l et t0,95,r tels
que, si Z ∼ χ210 , alors P(Z < t0,95,l ) = 0,025 et P(Z < t0,95,r ) = 0,975. On trouve
t0,95,l = 3,25 et t0,95,r = 20,48. On obtient alors que [2043, 12875] est un intervalle de
confiance pour σ 2 au niveau 0,95. Noter que l’intervalle de confiance pour la variance
est beaucoup plus large que pour l’espérance. Il est en effet plus difficile d’estimer la
variance que la moyenne.
Vn est sans biais, convergent, et (n − 1)Vn /σ 2 suit la loi χ2n−1 d’après la proposition
9.4. Un intervalle de confiance au niveau 1 − α de la variance est donc :
(n − 1)Vn (n − 1)Vn
I1−α = , .
t1−α,r t1−α,l
Exemple 9.8 On reprend l’exemple 9.7, mais sans supposer qu’on connaı̂t l’espérance
µ. L’estimateur empirique non-biaisé de la variance est alors :
10
1X
V10 = (Xi − X 10 )2 ' 4244 .
9 i=1
Dans le cas non-gaussien, la proposition 9.4 n’est plus vraie, mais en vertu du
théorème de la limite centrale, on peut obtenir des résultats similaires sous forme
asymptotique. On obtient les distributions de la moyenne et de la variance empirique
“pour n assez grand”. Dans la pratique, on admettra ces résultats lorsque n ≥ 30.
Des résultats fins (utilisant le théorème de Berry-Essen ou des inégalités de concentra-
tion) permettent de contrôler l’erreur commise, mais ils sortent du cadre de ce cours.
Nous nous contenterons de donner une application particulièrement importante de
cette méthode pour les intervalles de confiance pour une proportion, c’est-à-dire les
sondages.
On dit que In,2 est un intervalle de confiance bilatère, tandis que In,1 et In,3 sont des
intervalles de confiance unilatères.
9.3.2 Sondages
Lemme 9.10 Soit k ∈ {0, . . . , n}. Pour tout x = (x1 , . . . , xn ) ∈ {0, 1}n , on a :
( 1
si x ∈ En,k ,
P(X = x|Sn = k) = (nk)
0 sinon ,
où En,k représente l’ensemble des suites (x1 , . . . , xn ) comportant k uns et n − k zéros.
Preuve. Soit x = (x1 , . . . , xn ) ∈ {0, 1}n . Par définition d’une probabilité condition-
nelle :
P({X = x} ∩ {Sn = k})
P(X = x|Sn = k) = ·
P(Sn = k)
Comme Sn suit une loi binomiale de paramètres (n, θ) :
n k
P(Sn = k) = θ (1 − θ)n−k .
k
où Φ est la fonction de répartition de la loi gaussienne centrée réduite. D’après (9.7),
l’erreur commise |θ̂n − θ| ne dépassera pas, quasi certainement (= avec 95%, resp.
99% de probabilité environ), le seuil :
p p
1,96 θ(1 − θ) 2,58 θ(1 − θ)
√ , resp. √ ·
n n
Ce seuil dépend malencontreusement du paramètre θ inconnu, mais la fonction
p
θ(1 −p θ) est majorée par sa valeur maximale 1/2, de sorte qu’en remplaçant le
facteur θ(1 − θ) par 1/2 dans les seuils précédents, on ne fera qu’augmenter notre
quasi-certitude. En conclusion, réénonçons le résultat précédent sous la forme sous
laquelle il est généralement utilisé.
Dans notre exemple, l’intervalle de confiance à 95% pour θ est [0,50, 0,54]. Les instituts
de sondage annoncent d’ailleurs leurs résultats ainsi (sous forme de fourchette).
et I s’écrit comme :
L’estimateur Iˆn est en fait la moyenne empirique de la v.a. réelle ψ(X), qui a pour
espérance I. La proposition 8.18 donne les propriétés importantes de cet estimateur :
il est sans-biais (par linéarité de la moyenne), convergent (par application de la loi
des grands nombres), son risque quadratique moyen est RQM(Iˆn ) = σ 2 /n, où σ 2 =
Var(ψ(X)), qui est fini lorsque E(ψ(X)2 ) < +∞. Cette variance est donnée par :
Z
σ 2 = E(ψ(X)2 ) − E(ψ(X))2 = ψ(x)2 p(x)dx − I 2
Rd
2
f (x)2
Z Z
= dx − f (x)dx . (9.9)
Rd p(x) Rd
Le théorème de la limite centrale nous renseigne, lorsque E(ψ(X)2 ) < +∞, sur la
distribution de l’erreur Iˆn − I. En procédant comme dans le paragraphe précédent,
on obtient un intervalle de confiance pour I à la quasi-certitude 95% de la forme :
ˆ 1,96σ ˆ 1,96σ
In − √ , In + √ .
n n
Ici, la variance σ 2 définie par (9.9) est la plus souvent inconnue, de sorte qu’il faut
estimer sa valeur elle aussi. On définit alors :
n
!1/2
1X
σ̂n = ψ(Xi )2 − Iˆn2 ,
n i=1
qui vérifie σ̂n → σ quand n → +∞ d’après la loi des grands nombres, et on utilise
alors l’intervalle de confiance asymptotique :
ˆ 1,96σ̂n ˆ 1,96σ̂n
In − √ , In + √ . (9.10)
n n
µ > 0. On observe seulement la durée de vie du composant qui est tombé en panne,
ce qui veut dire qu’on observe seulement le n-échantillon ((Z1 , W1 ), . . . , (Zn , Wn )) où
Zi = min(Xi , Yi ) et Wi = 1 si Zi = Xi et 0 si Zi = Yi .
1. Donner les lois de Zi et Wi .
2. Montrer que les variables Zi et Wi sont indépendantes.
Les variables aléatoires Zi et Wi étant indépendantes, la vraisemblance du
n-échantillon ((Z1 , W1 ), . . . , (Zn , Wn )) est définie comme étant le produit de la
vraisemblance du n-échantillon (Z1 , . . . , Zn ) par la vraisemblance du n-échantillon
(W1 , . . . , Wn ). Dans les questions 3 à 7, on suppose que la loi de la durée de vie du
second composant est connue, i.e. que µ est connu.
3. Donner l’Estimateur du Maximum de Vraisemblance λ̂n de λ.
4. Montrer que λ̂n est convergent.
5. Calculer Eλ (λ̂n ) et en déduire que Eλ (λ̂n ) tend vers λ lorsque n tend vers
l’infini.
6. Vérifier que λ̂n est asymptotiquement normal et identifier sa variance asymp-
totique.
7. Donner un intervalle de confiance bilatéral symétrique asymptotique de niveau
1 − α pour λ.
8. Donner l’Estimateur du Maximum de Vraisemblance (λ̂n , µ̂n ) de (λ, µ).
Chapitre 10
Statistique : Test
The true logic for this world is the calculus of Probabilities, which takes account of
the magnitude of the probability which is, or ought to be, in a reasonable man’s mind.
J. Clerk Maxwell
L’objectif d’un test d’hypothèse est de répondre à une question qu’on peut poser
de la manière suivante : au vu de l’observation d’un n-échantillon, le paramètre θ du
modèle est-il ou non dans un sous-ensemble de Θ appelé hypothèse nulle et noté H0 ?
On retrouve cette situation fréquemment :
- Lors d’un sondage d’intensition de vote sur un échantillon de 1000 personnes, on
trouve que 520 personnes déclarent vouloir voter pour A et 480 pour B. Il est naturel
d’annoncer que A sera élu. Mais est-ce que la marge d’erreur est suffisante pour
pouvoir faire une telle annonce sans (trop de) risque de se tromper ? En fait, on est
en train d’estimer le paramètre d’une loi de Bernoulli (qui représente l’intention de
vote pour le candidat A) et de tester l’hypothèse : le paramètre est-il plus grand que
1/2 ?
- Si on s’intéresse au changement climatique, on peut par exemple travailler sur les
données de température moyenne au mois d’août à Paris. Sur l’ensemble du vingtième
siècle, ces températures moyennes en degrés Celsius sont distribuées suivant une loi
gaussienne d’espérance 20 et de variance 1,4. Sur les quinze dernières années, on a
193
194 Chapitre 10 – Statistique : Test
On appelle erreur de seconde espèce le rejet de H1 à tort. Cette erreur est mesurée
par le risque de seconde espèce : θ ∈ H1 7→ Pθ (X ∈ W c ) = 1 − Pθ (X ∈ W ). La
fonction θ ∈ H1 7→ Pθ (X ∈ W ) s’appelle puissance du test.
0.8
0.6
risque
0.4
0.2
type 1 α(a)
type 2 β(a)
0
-1 -0.5 0 0.5 1 1.5 2
a
Figure 10.1 – Risques de première et deuxième espèce pour l’exemple 10.1 en fonction
du seuil a avec µ0 = 1, µ1 = 0, σ = 0, et n = 10.
bien sûr accepter H0 (resp. H1 ) si la moyenne empirique X n est grande (resp. petite),
c’est-à-dire choisir la région critique de la forme W = {X n < a} pour un certain a.
En utilisant le fait que sous H0 , la moyenne empirique X n suit la loi N (µ0 , σ 2 /n),
le risque de première espèce est :
√ a − µ
0
α(a) = P(µ0 ,σ2 ) (W ) = P(µ0 ,σ2 ) (X n < a) = Φ n ,
σ
avec Φ la fonction de répartition de la loi gaussienne centrée réduite. Le risque de
seconde espèce est :
√ a − µ √ µ − a
1 1
β(a) = P(µ1 ,σ2 ) (W c ) = P(µ1 ,σ2 ) (X n ≥ a) = 1 − Φ n =Φ n .
σ σ
Il est clair que a → α(a) est croissante alors que a → β(a) est décroissante. On
dessine sur la figure 10.1 les deux erreurs en fonction du seuil a choisi.
Définition 10.2 Le niveau d’un test défini par sa région critique W est le nombre
α = sup Pθ (W ).
θ∈H0
Si un test est de niveau α, alors on sait que, lorsqu’on rejette H0 , on a au plus une
probabilité α de se tromper. Parmi tous les tests de niveau inférieur à un seuil α
fixé, on souhaite minimiser le risque de seconde espèce ou de manière équivalente
maximiser la puissance. En général, on choisit α = 10%, α = 5%, ou α = 1%.
196 Chapitre 10 – Statistique : Test
Définition 10.3 Soit (Wn )n une suite de régions critiques où n désigne la taille de
l’échantillon. La suite de tests basée sur (Wn )n est dite
- convergente si, pour tout θ ∈ H1 ,
lim Pθ (Wn ) = 1.
n→+∞
- de niveau asymptotique α si
lim sup Pθ (Wn ) = α.
n→+∞ θ∈H0
P(µ0 ,σ2 ) (Wn ) = P(µ0 ,σ2 ) (|ζn | > a) ≤ P(µ0 ,σ2 ) (|ζn | > t1−α/2 (n − 1)) = α ,
ce qui montre que le niveau du test est inférieur à α. Comme on souhaite ensuite
minimiser le risque de seconde espèce P(µ,σ2 ) (Wn ) pour µ 6= µ0 , on choisit au plus
juste a = t1−α/2 (n − 1). En conclusion, on choisit la région critique Wn = {|ζn | >
t1−α/2 (n − 1)} et on a alors P(µ0 ,σ2 ) (Wn ) = α pour tout σ 2 > 0. Notons que lorsque
n → +∞, t1−α/2 (n − 1) converge vers Φ−1 (1 − α/2), le quantile d’ordre 1 − α/2
de la loi gaussienne centrée réduite. Donc,par le théorème de convergence dominée,
P(µ,σ2 ) (Wn ) = E(µ,σ2 ) 1]t1−α/2 (n−1),∞[ (ζn ) tend vers 1 lorsque n tend vers l’infini.
Ainsi le test est convergent.
√
{ζn ≥ t1−α (n − 1)} avec ζn = n X√n V−µ0 , µ0 = 20 et n = 15. On observe ζ15obs
=
√ n
observe ζ15 = 15(20,73 − 20)/1,91 = 1,48. Comme t0,05 (14) = −1,76, on accepte
H0 au niveau α = 5%. On peut donc conclure qu’il y a réchauffement climatique.
telles que la moyenne empirique est x15 = 21,20 et la variance empirique non-
biaisée est v15 = 2,082 . On prend pour hypothèse nulle H0 = {µ ≤ 20} (absence
de réchauffement climatique) contre √H1 = {µ > 20} (existence d’un réchauffement
obs
climatique). On observe alors ζ15 = 15(21,20−20)/2,08 = 2,25. Comme t0,95 (14) =
1,76, on rejette H0 au niveau α = 5%. Ainsi on peut conclure à l’augmentation des
températures sur les quinze dernières années. Mais si on s’impose le niveau α = 1%,
alors on accepte H0 , car t0,99 (14) = 2,62.
Comme d’après la proposition 9.4, (n − 1)Vn /σ 2 suit la loi χ2n−1 sous P(µ,σ2 ) , ζn
prend des valeurs de plus en plus grandes lorsque σ 2 croı̂t. En particulier ζn va avoir
tendance à prendre des valeurs plus grandes sous H0 que sous H1 . C’est pourquoi on
acceptera H0 si ζn est grand et on rejettera H0 si ζn est petit. On choisit donc une
région critique de la forme Wn = {ζn ≤ a}. En outre, si Z ∼ χ2n−1 , alors
(n − 1)V
n σ02
sup P(µ,σ2 ) (ζn ≤ a) = sup P(µ,σ2 ) ≤a
(µ,σ 2 )∈H0 µ∈R,σ 2 ≥σ02 σ2 σ2
σ2
= sup P Z ≤ a 02 = P(Z ≤ a).
σ 2 ≥σ02 σ
Le test du χ2 permet de répondre à des questions telles que “Un dé à six faces
est-il pipé ?” Pour cela on observe les fréquences d’apparition des faces lors de n
lancers de ce dé et on les compare au vecteur (1/6, . . . , 1/6). Si on constate qu’on
s’éloigne significativement de ce vecteur, on peut rejeter l’hypothèse que le dé est
équilibré et annoncer que le dé est pipé. La question est de savoir ce qu’on entend par
“significativement”.
Exemple 10.6 Dans le cas du dé à six faces évoqué plus haut, X = {1, . . . , 6} et
θ (0) = (1/6, . . . , 1/6).
Proposition 10.7 L’EMV de θ est donné par le vecteur des fréquences empiriques
d’apparition des différentes valeurs possibles :
N (X) n
1 Nk (X) X
θ̂ n = ,..., , Ni (x) = 1ai (xj ), (10.1)
n n j=1
en loi, avec
θj − θj2 si j = j 0 ,
C(θ) jj 0 = (10.3)
−θj θj 0 6 j0.
si j =
La seconde inégalité est stricte dès que θ 6= ρ(x). Ceci montre que ρ(x) maximise la
vraisemblance et que l’estimateur du maximum de vraisemblance de θ est (10.1).
L’EMV θ̂ n est non-biaisé car :
On trouve aussi que l’EMV est convergent en appliquant la loi forte des grands
nombres.
En utilisant le fait que
Covθ (1aj (X1 ), 1aj0 (X1 )) = Eθ (1aj (X1 )1aj0 (X1 )) − Eθ (1aj (X1 ))Eθ (1aj0 (X1 ))
qui est égal à C(θ)jj 0 défini par (10.3), on montre par le théorème de la limite cen-
trale vectoriel que l’EMV est asymptotiquement normal avec C(θ) pour matrice de
covariance asymptotique.
(0) (0)
converge en loi vers un vecteur aléatoire Y de loi N (0, C(0) ) avec Cjj = 1 − θj
q
(0) (0) (0)
et Cjj 0 = − θj θj 0 si j 6= j 0 . Autrement dit, C(0) = I − e1 et1 où e1 est
q
(0)
le vecteur unitaire de coordonnées e1,j = θj . Par continuité de l’application
y ∈ Rk 7→ kyk2 ∈ R+ , ζn = kYn k2 converge en loi vers kY k2 . Tout le travail consiste
maintenant à identifier la loi de cette limite. Donnons-nous une base (e1 , . . . , ek ) de
Rk dont le premier vecteur est e1 décrit précédemment. Appelons U la matrice k × k
orthogonale de vecteurs lignes donnés par les ej , et Z le vecteur aléatoire donné par
Z = UY . D’une part, on a kY k = kZk. D’autre part, Z est un vecteur gaussien de
moyenne nulle et de matrice de covariance UC(0) Ut = I − (Ue1 )(Ue1 )t . Or Ue1 = e1
et donc UC(0) Ut est la matrice diagonale de coefficients diagonaux (0, 1, . . . , 1). Ceci
montre que Z1 = 0 p.s. et que les Zi , i = 2, . . . , k sont indépendantes et identiquement
distribuées selon la loi gaussienne centrée réduite. Par conséquent la loi limite de ζn
est la loi χ2k−1 .
Corollaire 10.9 Le test de région critique Wn = {ζn > x1−α (k − 1)} est convergent
de niveau asymptotique α.
Preuve. Sous H1 , on déduit de la proposition 10.8 que 1[x1−α (k−1),+∞[ (ζn ) converge
Pθ -presque sûrement vers 1. Le théorème de convergence dominée entraı̂ne alors que
n→+∞
Pθ ζn ≥ x1−α (k − 1) = Eθ 1[x1−α (k−1),+∞[ (ζn ) −→ Eθ (1) = 1,
ce qui assure que le test est convergent. Pour vérifier
que son niveau asymptotiqueest
α, il suffit de vérifier que Pθ(0) ζn ≥ x1−α (k −1) converge vers P Z ≥ x1−α (k −1) =
α lorsque n tend vers l’infini, où Z est de loi χ2k−1 . Or, c’est vrai d’après le corollaire
7.23 car Z est à densité.
En pratique, on considère que l’approximation en loi par χ2k−1 est valide sous H0
(0)
si n minj=1,...,k θj ≥ 5. Si cette condition n’est pas satisfaite, on peut regrouper les
(0)
valeurs de aj pour lesquelles θj est trop faible et augmenter ainsi le minimum (on
appliquera cette procédure dans l’exemple 10.14).
Nous discutons ici une généralisation du test précédent qui permet entre autres
de répondre à une question du type : les observations sont-elles géométriques, gaus-
siennes, etc ? Il ne s’agit plus de tester l’adéquation d’observations à une loi donnée,
mais à une famille de lois.
Exemple 10.11 On considère n = 200 rouleaux d’un jeu de grattage contenant 100
tickets chacun. Pour k = 1, . . . , n, on observe Xk le nombre de tickets gagnants dans
le kème rouleau. On veut tester l’hypothèse H0 =“la loi du nombre de tickets ga-
gnants par rouleau est une binomiale” (en d’autres mots, on veut vérifier si les tickets
204 Chapitre 10 – Statistique : Test
gagnants sont bien uniformément répartis dans les rouleaux, sans présumer de la pro-
portion
de tickets gagnants). Ici X = {0, . . . , 100} et H0 = {θ ∈ Θ, ∃p ∈ [0, 1] , θj =
100 j 100−j
j p (1 − p) ∀j = 0, . . . , 100}.
Pour être plus précis, on va paramétrer l’ensemble des lois qui forment l’hypothèse
nulle sous la forme H0 = {θ π , π ∈ Π}, où
- Π est une partie d’intérieur non vide de Rh avec h < k − 1,
- π 7→ θ π est une application de Π dans Θ.
Il est essentiel de noter que le nombre de degrés de liberté dans la limite en loi
sous H0 est k − h − 1 et non plus k − 1 comme dans le test d’adéquation à une loi
donnée. En effet, il faut estimer le paramètre π ce qui réduit le nombre de degrés de
liberté.
On désire tester l’hypothèse selon laquelle les élèves des deux lycées ont le même taux
de réussite à l’X.
Ici chaque observation est de la forme (Xi , Yi ) où Xi est à valeurs dans {H, L}
et Xi = H, resp. L, signifie que l’étudiant vient du lycée H, resp. lycée L, et Yi
est à valeurs dans {A, R} et Yi = A, resp. R, signifie que l’étudiant a été admis,
resp. a été recalé. L’ensemblePΘ de toutes les lois possibles est de la forme Θ =
{(θjl )j∈{H,L},l∈{A,R} ∈ [0, 1]4 , jl θjl = 1} et l’hypothèse nulle est de la forme H0 =
{(θjl )j∈{H,L},l∈{A,R} , θHA = qp, θLA = (1 − q)p, θHR = q(1 − p), θLR = (1 − q)(1 −
p), p ∈ [0, 1], q ∈ [0, 1]}, qui contient toutes les lois pour lesquelles le taux d’admission
p (inconnu) ne dépend pas du lycée. La pseudo-distance du χ2 est
obs
X (θ̂jl − q̂j p̂l )2
ζ251 = 251 ,
q̂j p̂l
j∈{H,L},l∈{A,R}
206 Chapitre 10 – Statistique : Test
avec
98 153 217 34
q̂H =, q̂L = , p̂A = , p̂R = ,
251 251 251 251
81 17 136 17
θ̂HA = , θ̂HR = , θ̂LA = , θ̂LR = .
251 251 251 251
obs
On trouve : ζ251 = 1,98. Or ici on a 4 − 2 − 1 = 1 degré de liberté, le seuil pour le test
obs
{ζ251 ≥ x0,95 (1)} au niveau 0,05 est x0,95 (1) = 3,84. Comme on a ζ251 < x0,95 (1), on
accepte l’hypothèse nulle que les deux lycées ont le même taux de réussite.
Ici on suppose que les observations sont des paires (Xi , Yi ), par exemple taux
de réussite au concours et lycée d’origine, ou encore température et hygrométrie
journalières, et on se demande si ces deux quantités sont indépendantes. On
peut construire un test d’indépendance qui est en fait un cas particulier du test
d’adéquation à une famille de lois qu’on vient de présenter.
(avec la convention que les termes de la somme pour lesquels le dénominateur est
nul sont nuls). ζn mesure la “distance” entre la matrice θ̂ des fréquences des couples
(bj , cl ) et la matrice π̂ des produits des fréquences marginales. On comprend que, si
les deux coordonnées Yi et Zi sont indépendantes, θ̂ et π̂ doivent être proches. Donc
on rejettera l’hypothèse H0 d’indépendance si ζn est grand. Plus quantitativement,
comme la dimension h de Π est d + m − 2, on a k − h − 1 = dm − d − m + 1 =
(d − 1)(m − 1). On rejette l’hypothèse H0 d’indépendance au niveau α si ζn dépasse
x1−α ((d − 1)(m − 1)) et on l’accepte sinon, où x1−α ((d − 1)(m − 1)) le quantile d’ordre
1 − α de la loi χ2 à (d − 1)(m − 1) degrés de liberté. L’exemple 10.15 est un cas
particulier d’application de cette méthode, avec d = m = 2.
x 0 1 2 3 4 5 6 7 8 9
N (x) 28 32 23 26 23 31 18 19 19 31
Le calcul donne :
Exercice 2.8 : Cette formule se montre par récurrence sur n. Elle est triviale pour
n = 1. Remarquons que pour n = 2,
209
210 Chapitre 11 – Corrections des exercices
La formule est donc vérifiée puisque dans ce cas, p1 = P(A1 ) + P(A2 ) et p2 = P(A1 ∩
A2 ). Supposons que la formule soit vraie pour toute réunion de n − 1 événements.
Montrons-la pour n. Posons B1 = A1 ∪ · · · ∪ An−1 et B2 = An . En appliquant (11.1)
à B1 et B2 et la formule de récurrence pour calculer P(B1 ) et P((A1 ∩ An ) ∪ · · · ∪
(An−1 ∩ An )), nous obtenons immédiatement le résultat.
Exercice 2.9 :
2) Numérotons de 1 à n les lettres et numérotons par les mêmes numéros les boı̂tes qui
sont censées leur correspondre. Appelons Ai l’événement “La lettre numéro i arrive
dans la boı̂te numéro i”. Ainsi, Ai sera réalisé si la remise de la lettre i est fixée à la
bonne valeur, indépendamment de la manière aléatoire dont les n − 1 autres lettres
sont distribuées. Nous en déduisons que P(Ai ) = (n−1)!
n! . De même, pour deux numéros
(n−2)!
quelconques i1 et i2 , on aura P(Ai1 ∩ Ai2 ) = n! .
Remarquons que quand n tend vers l’infini, cette quantité tend vers 1 − e−1 ' 0.632.
On se convaincra que pour des valeurs modérées de n (n=7) on est très proche de
cette limite.
qui tend donc vers e−1 = 0, 368 quand n tend vers l’infini.
4) dn = n! P(E c ).
Exercice
P 2.10 : Il est immédiat de montrer que pour tout n ∈ N∗ , 0 ≤ pn ≤ 1 et que
n∈N∗ pn = 1.
11.1 – Corrigés des exercices du chapitre 2 211
Exercice 2.12 : Les probabilités des différents génotypes valent alors, par indépendance
P(A) = P(A| individu de génotype AA) P(AA) + P(A| individu de génotype Aa) P(Aa)
2pq
= p2 + = p,
2
et de même la proportion d’allèle a sera q.
Exercice 2.13 : Notons H le fait d’être hémophile et NH le contraire. Nous savons que
3
1 1
P(Reine H) = ; P(3 fils NH|Reine H) = ,
2 2
par indépendance des naissances. Nous cherchons à calculer P(Reine H|3 fils NH).
Nous allons utiliser la formule de Bayes. Nous avons
De plus,
P(4ème fils H|3 fils NH) = P(4ème fils H|3 fils H, Reine H) P(Reine H|3 fils NH) =
1 1 1
2 × 9 = 18 .
Exercice 2.14 : Notons A (resp. B, C) l’événement “la Ferrari est derrière la porte
A” (resp. B, C). Soit E l’événement “le présentateur annonce au joueur qu’elle n’est
pas derrière la porte B”. On a
1
P(A) = P(B) = P(C) = .
3
212 Chapitre 11 – Corrections des exercices
Par ailleurs,
1
P(E|A) = , P(E|B) = 0, P(E|C) = 1.
2
En effet, si la voiture est derrière A, le présentateur a le choix entre B et C, alors que
si elle est derrière C, il n’a pas le choix puisqu’il ne peut pas parler de A. Ainsi,
1 1 1 1
P(E) = P(E|A)P(A) + P(E|B)P(B) + P(E|C)P(C) = × + = .
2 3 3 2
On en déduit que
P(A ∩ E) P(E|A)P(A) 1
P(A|E) = = = .
P(E) P(E) 3
De même
P(E|C)P(C) 2
P(C|E) = = .
P(E) 3
Il faut donc que le joueur révise son choix.
Exercice 2.15 : 1)
xn .
P
Calcul de la somme : dérivée seconde de la série entière n
8(1−2a)
On obtient P(F2 ) = 27 , et
p2 14 27
P(E2 |F2 ) = 8(1−2a)
= ' 0,42.
64
27
P(G2 ∩F2 )
2) On calcule P(G2 |F2 ) = P(F2 ) .
1 4 1 3(1 − 2a)
P(G2 ∩ F2 ) = P(E4 )P(G2 ∩ F2 |E4 ) = (1 − 2a) 3 4
= .
2 2 2 64
11.1 – Corrigés des exercices du chapitre 2 213
81
P(G2 |F2 ) = ' 0,158.
512
Or les Bk,i ne concernent pas les mêmes lancers et sont donc indépendants. Nous
avons alors
k
P(Ack ) ≤ P ∀i Bk,i
c
est réalisé = (1 − pk )[2 /k] ≤ exp(−pk [2k /k]).
Si p > 1/2, pk [2k /k] → ∞ et donc P(Ak ) > 1/2 pour k assez grand.
P
Si p = 1/2, P(Ak ) ≥ 1/(2k) pour k assez grand et donc k P(Ak ) = ∞.
P
Exercice 3.3 : Nous pouvons écrire : X = k∈N 1k<X . Ainsi,
∞ ∞
! !
X X X X
E(X) = E 1k<X = pP 1k<X = p = p P(X = p),
k∈N p=0 k∈N p=0
où nous avons appliqué le théorème de Fubini pour les séries doubles de termes positifs.
Exercice
PN 3.4 : Soit Xi le nombre de blessés dans le i-ème accident. Nous avons Y =
i=1 X i . Ainsi, pour s ∈ [0, 1[,
PN X PN
GY (s) = E(sY ) = E s i=1 Xi = E s i=1 Xi | N = k P(N = k)
k
X
X1 Xk
= E s ...E s P(N = k),
k
Ainsi, en dérivant cette formule en 1 et en utilisant que GX (1) = 1 et G0Y (1) = E(Y ),
G0X (1) = E(X), G0N (1) = E(N ), nous obtenons
Exercice 3.5 : a) Nous savons que S suit la loi de Poisson de paramètre λ + µ, comme
somme de variables aléatoires indépendantes, de loi de Poisson de paramètres λ et µ.
X|S=n
λ
pour k ∈ [0, n] entier, et pk = 0 sinon. Cette loi est la loi binomiale B n, .
λ+µ
On peut alors calculer E(X | S = n) en utilisant (3.16), mais il est plus rapide d’utiliser
λ
la valeur np de l’espérance d’une variable de loi B(n, p). Ainsi, E(X | S = n) = n ,
λ+µ
ou encore
λ
E(X | S) = S .
λ+µ
e−2 2k
Pk
Loi de Z : P(Z = k) = n=0 pk,n = k! . C’est une loi de Poisson de paramètre 2.
P∞ e−1,04 (1,04)n
Loi de X : P(X = n) = k=n pk,n = n! . C’est une loi de Poisson de
paramètre 1,04.
Loi de Y = Z − X :
X e−0,96 (0,96)m
P(Y = m) = P(Z = X + m) = pn+m,n = .
n
m!
La loi conditionnelle de X sachant Z = k est donc une loi binomiale B(k; 0,52). Son
espérance vaut donc E(X|Z = k) = 0,52 k, et E(X|Z) = 0,52 Z.
Exercice 3.7 :
216 Chapitre 11 – Corrections des exercices
1)
Par ailleurs,
Ainsi
1
P(An ∩ An−1 ) = P(An ) P(An−1 ) ⇐⇒ p(1 − p) = 4p2 (1 − p)2 ⇐⇒ p = .
2
Cette condition est suffisante pour avoir l’indépendance de la suite (An )n . En effet, dès
que les indices k et n sont distants de plus d’une unité, Ak et An sont indépendants,
par définition, car les variables aléatoires Xn le sont.
3)
X
P((XT , XT +1 ) = (0, 1)) = P((Xn , Xn+1 ) = (0, 1); T = n)
n≥2
X
= P(X1 = · · · = Xn−1 = 1, Xn = 0, Xn+1 = 1)
n≥2
X
= (1 − p)pn = p2 .
n≥2
Puisque nous avons également P((XT , XT +1 ) = (1, 0)) = (1 − p)2 , ces deux quantités
sont égales si et seulement si p = 12 .
Exercice 3.8 :
P∞ P∞ c 1
= 1. Ainsi Kp = y;y∧p=1 y12
P P
Mais Q(Up
n=0 = n) = 1, d’où n=0 p2n y;y∧p=1 y 2
1 1 1 1
vérifie cKp 1− 1 = 1, et cKp = 1 − p 2 . Finalement, Q(U p = n) = 1 − p 2 p2n .
p2
11.2 – Corrigés des exercices du chapitre 3 217
2) Q(Up ≥ n) = Q({x = pn y, y ∈ N∗ }) = c 1 1 1
P P
p2n y∈N∗ y 2 = p2n car c y∈N∗ y 2 = 1,
puisque Q est une probabilité.
3) Comme ci-dessus,
p2 −1 1
4) Le calcul donne G(x) = p2 −x , pour x ∈ [0, 1]. Il en résulte E(Up ) = p2 −1 et
2
p
Var(Up ) = (p2 −1)2 .
Exercice 3.9 :
1-a) C’est évident.
Pn
Donc H(p) = i=1 φ(pi ) ≤ n φ n1 = ln n. L’égalité a lieu si et seulement si p =
1 1
n, . . . , n car φ est strictement concave.
µ (ω) β→+∞
2-b) On a µββ(ω0 ) −→ 0 si U (ω) > U (ω 0 ). Nous en déduisons que quand β tend
vers l’infini, µβ devient une probabilité uniforme sur l’ensemble Ωmin := {ω; U (ω) =
minΩ U }.
De même que lorsque β → −∞, µβ devient une probabilité uniforme sur Ωmax := {ω :
U (ω) = maxΩ U }. Les limites (3.25) s’en suivent immédiatement.
218 Chapitre 11 – Corrections des exercices
2-c) β → Z(β) est non nulle et de classe C ∞ sur R, il en est donc de même pour
β → ln Z(β). On calcule
n
Z 0 (β) 1 X
ln Z)0 (β) = =− U (ωi )e−βU (ωi ) = −hU iµβ
Z(β) Z(β) i=1
2
Z 00 (β)
0
Z (β) 1 X 2 2
ln Z)00 (β) = − = U (ωi )e−βU (ωi ) − hU iµβ
Z(β) Z(β) Z(β) i
= Varµβ (U ) ≥ 0.
d’où le résultat.
En fait, cette propriété est vraie pour toute variable aléatoire X positive. Il faut pour
cela appliquer le théorème de Fubini à la mesure abstraite P(dω) ⊗ dt.
Exercice 5.6 : 1) La position de l’incendie X suit une loi uniforme sur [0, A]. Nous
RA
cherchons à placer a tel que E(|X −a|) = A1 0 |x−a|dx soit minimum. Il est immédiat
de montrer que ce minimum vaut a = A2 .
220 Chapitre 11 – Corrections des exercices
R∞
2) Nous devons alors minimiser la quantité 0
λ e−λx |x − a|dx. Tous calculs faits,
nous obtenons que a = lnλ2 .
R∞
Exercice 5.7 : Rappel sur la fonction Γ : Γ(α) = 0 xα−1 e−x dx est convergente si
et seulement si α > 0. De plus Γ(α + 1) = αΓ(α), d’où nous déduisons que pour n
entier, Γ(n + 1) = n!.
Ainsi, si X est variable aléatoire de densité Cxα−1 e−px sur R+ , pour α, p > 0, alors
pα
C = Γ(α) .
Nous pouvons utiliser ces préliminaires pour montrer que si X est la durée de fonc-
tionnement de la lampe, alors
Exercice 5.8 : Remarquons que Y ∈ [0, c]. De plus, P(Y = 0) = P(X < 0). Donc, si
P(X < 0) 6= 0, Y ne peut pas avoir de densité. Si P(X < 0) = 0, introduisons une
fonction g continue et bornée sur [0, c]. Alors
Z ∞ Z c
1 y 1
E(g(Y )) = g(ce−αx ) fX (x)dx = g(y) fX − ln dy,
0 0 α c αy
Exercice 5.9 : 1)
Z +∞ Z +∞
1 x2 1 (x−λ)2 λ2 λ2
E(eλX ) = √ eλx e− 2 dx = √ e− 2 e 2 dx = e 2 .
2π −∞ 2π −∞
E(eλX ) λ2
P(X ≥ a) ≤ ≤ e 2 −λa ,
eλa
11.4 – Corrigés des exercices du chapitre 5 221
3)
Z +∞ Z +∞
1 − x2
2 1 1 x2
P(X ≥ a) = √ e dx = √ x e− 2 dx.
2π a 2π a x
Une intégration par parties donne
Z +∞ Z +∞
1 x2 1 a2 1 − x2
x e− 2 dx = e− 2 − e 2 dx.
a x a a x2
Or
Z +∞ Z +∞ Z +∞
1 − x2 1 − x2 1 x2 1 − a2
e 2 dx = x e 2 dx ≤ 3 x e− 2 dx = e 2.
a x2 a x 3 a a a3
Cela veut dire que plus X prend de grandes valeurs, plus elle a de chances d’en prendre
de plus grandes. Cela n’est pas vrai pour la loi exponentielle qui n’a pas de mémoire.
Cette loi fut introduite par le marquis de Pareto comme modèle de richesse, celui-ci
ayant remarqué au début du 20ème siècle que 20% de la population possédait 80% des
richesses. D’autres phénomènes ont ce même type de propriété : pour un service, 20%
des clients sont responsables de 80% des réclamations ; pour une activité sportive,
20% d’entraı̂nement supplémentaire peut amener 80% de performance en plus.
4)
Z +∞
x
E(X) = αaα dx < +∞ ⇐⇒ α > 1.
a xα+1
αa
Dans ce cas, E(X) = α−1 .
222 Chapitre 11 – Corrections des exercices
5) De même,
E(X 2 ) < +∞ ⇐⇒ α > 2.
αa2 αa2
Dans ce cas, E(X 2 ) = α−2 et Var(X) = (α−2)(α−1)2 .
Exercice 5.12 : 1) Avec les notations du cours, la densité f du couple (X, Y ) vaut
1
f (x, y) = fX|Y =y fY (y) = 1R+ (x) 1[1,+∞[ (y)xe−xy .
y2
Soit g une fonction continue bornée sur R2+ . Le changement de variable (x, y) 7→
(t
R∞= R ∞ xy, y), −tde jacobien y, donne alors que E(g(T, Y )) = E(g(XY, Y )) =
t −t t
1 0
g(t, y)e y 2 dtdy. Comme la densité du couple (T, Y ), qui vaut e y 2 1R+ (t)
1[1,+∞[ (y) s’écrit comme produit d’une fonction de t et d’une fonction de y, nous en
déduisons que T et Y sont indépendantes et que T a la densité te−t 1R+ (t).
R∞
2) La loi de X a pour densité fX (x) = 1 e−xy xdy = e−x . Ainsi X suit une loi
exponentielle de paramètre 1 et la loi conditionnelle de Y sachant X = x admet la
densité fY |X=x (y) = ffX (x,y)
(x) = xe
−x(y−1)
1[1,+∞[ (y), pour x > 0.
R∞
y xe−x(y−1) dy = x+1
3) Nous en déduisons que E(Y |X = x) = 1 x 1R+ (x). Ainsi,
E(Y |X) = X+1
X .
11.4 – Corrigés des exercices du chapitre 5 223
Exercice 5.13 :
Exercice 5.14 :
Loi de X :
∞ n
n
αn Γ(n + 1)
Z
−(α+β)y (αy) β α
P(X = n) = β e dy = β = .
0 n! n! (α + β)n+1 α+β α+β
β
Ainsi, X suit une loi géométrique de paramètre α+β .
Loi de Y :
y y
X Z (αu)n
Z
P(Y ≤ y) = β e−(α+β)u du = β e−β u du.
0 n! 0
n≥0
Exercice 5.15 : 1) Soit h une fonction continue bornée sur [0, 1]n . Alors E(h(U1 , . . . , Un )) =
R1 R1
0
. . . 0 h(x1 , x1 x2 , . . . , x1 · · · xn )dx1 · · · dxn . On pose u1 = x1 , u2 = x1 x2 , . . . , un =
x1 · · · xn . Le jacobien de cette transformation vaut u1 · · R· un−1 . Nous en déduisons que
E(h(U1 , . . . , Un )) = h(u1 , . . . , un )10≤u1 ≤···≤un ≤1
1 1
u1 ···un−1 du 1 · · · dun . La loi de (U 1 , . . . , U n ) a donc la densité 10≤u1 ≤...≤un ≤1 u1 ···u n−1
.
Exercice 5.16 : 1) Soit f une fonction continue bornée sur R+ × [0, 2π[ . Alors
R +∞ R +∞ x2 +y 2 R ∞ R 2π r2
1
E(f (R, Θ) = 2π −∞ −∞
f (r, θ)e− 2 dxdy = 2π1
0 0
f (r, θ)e− 2 rdrdθ. D’où
r2
R admet la loi de densité re− 2 1r>0 et Θ la loi uniforme sur [0, 2π], et R et Θ sont
indépendants.
2) Nous avons vu que R2 peut se simuler en prenant −2 ln U , où U suit une loi
uniforme sur [0, 1]. Θ va être simulée par 2πV , où V suit une loi uniforme
√ sur [0, 1], et
2
U et V sont
√ indépendants (comme R et Θ). Alors X = R cos Θ = −2 ln U cos(2πV )
et Y = −2 ln U sin(2πV ).
Y
3) Soit g une fonction continue bornée sur R+ . E(g( X )) = E(g(tan Θ)) =
π
1 2π 1
g(tan θ)dθ. La fonction θ 7→ tan θ est inversible sur ]− π2 , π2 [.
R R
2π 0 g(tan θ)dθ = π − π
2
2
Y
)) = π1 R f (t) 1+t
dt Y
R
On obtient E(g( X 2 . Donc X suit une loi de Cauchy.
Exercice 5.18 : 1)
Z Z
µ −λb −(λ+µ)a
P(M > a, D > b, X > Y ) = λµ e−λx e−µy dxdy = e e .
y>a x>y+b λ+µ
µ λ
2) P(X > Y ) = P(M > 0, D > 0, X > Y ) = λ+µ , P(X < Y ) = λ+µ , P(M >
µ −(λ+µ)a λ −(λ+µ)a
a, X > Y ) = λ+µ e , P(M > a, X < Y ) = λ+µ e . Ainsi, M suit une loi
exponentielle de paramètre λ + µ. De plus,
La loi conditionnelle de D sachant X > Y est donc une loi exponentielle de paramètre
λ. De même, la loi conditionnelle de D sachant X < Y est une loi exponentielle de
paramètre µ.
3) Nous remarquons que P(M > a, X > Y ) = P(M > a)P(X > Y ).
4) Nous pouvons
P montrer par récurrence que min1≤i≤n Xi suit une loi exponentielle
de paramètre 1≤i≤n λi , que P(Xk = min1≤i≤n Xi ) = P λk λi , et que min1≤i≤n Xi
1≤i≤n
et { Xk = min1≤i≤n Xi } sont indépendants.
2) Puisque n≥1 un < +∞, la suite (un )n tend vers 0 et donc u1n tend vers +∞.
P
Ainsi, pour ε fixé et n assez grand, P(Xn > ε) = P(Xn = u1n ) = un qui tend vers 0.
P
Donc Xn → 0.
P
Les ensembles An = {|Xn | > ε} vérifient que n P(An ) < ∞, par hypothèse.
Alors, par la première partie du lemme de de Borel-Cantelli (Théorème 2.35),
P(lim supn An ) = 0. Ainsi presque-sûrement, au plus un nombre fini de An sont
p.s.
réalisés. Il en résulte que Xn → 0.
X1 +···+Xn p.s.
3) Nous en déduisons par un argument de limite de Césaro que n → 0 quand
n tend vers l’infini.
Cé résultat n’est pas en contradiction avec la loi des grands nombres, bien que
E(Xn ) = 1. En effet, les variables aléatoires Xn n’ont pas les mêmes lois, donc nous
ne sommes pas sous les hypothèses de la LGN.
226 Chapitre 11 – Corrections des exercices
Exercice 6.2 : Considérons un réel M > 0 donné. Alors les variables aléatoires bornées
Xi ∧ M satisfont les hypothèses de la loi des grands nombres. Nous en déduisons que
X1 ∧M +···+Xn ∧M p.s.
n → E(X1 ∧ M ).
Soit maintenant une suite Mk de réels qui tend vers l’infini. Pour chaque k, il existe
un ensemble négligeable Nk en dehors duquel pour tout ω, X1 (ω)∧Mk +···+X
n
n (ω)∧Mk
→
E(X1 ∧ Mk ). Alors N = ∪k Nk est encore négligeable (comme réunion dénombrable
/ N , ∀k, X1 (ω)∧Mk +···+X
d’ensembles négligeables), et pour ω ∈ n
n (ω)∧Mk
→ E(X1 ∧ Mk ).
Nous pouvons alors faire tendre k vers l’infini, et nous en déduisons que pour ω ∈ / N,
X1 (ω)+···+Xn (ω) X1 +···+Xn
n → E(X1 ) = +∞, d’où la convergence presque-sure de n vers
+∞.
X1 +···+Xn
Exercice 6.3 : 1) La loi des grands nombres entraı̂ne que Mn = n →p.s. x
et donc, puisque f est continue,
X1 + · · · + Xn
f →p.s. f (x).
n
f étant continue sur [0, 1], elle est bornée. Ainsi, les variables aléatoires f X1 +···+X
n
n
le sont également. Nous pouvons alors appliquer le théorème de convergence dominée,
et
X n
X1 + · · · + Xn k
E f = f xk (1 − x)n−k −→ f (x).
n n
k=1
Pn k
On appelle les polynômes Pn (x) = k=1 f n xk (1−x)n−k polynômes de Bernstein.
2) f est uniformément continue sur [0, 1] : ∀ε > 0, ∃α, tel que ∀x, y ∈ [0, 1] , |x − y| <
α ⇒ |f (x) − f (y)| < ε. Nous avons alors
|E (f (Mn )) − f (x)|
≤ E |f (Mn ) − f (x)| 1{|Mn −x|≥α} + E |f (Mn ) − f (x)| 1{|Mn −x|<α}
≤ 2kf k∞ P(|Mn − x| ≥ α) + ε
Var(X1 ) kf k∞
≤ 2kf k∞ 2
+ε≤ + ε,
nα 2 nα2
par l’inégalité de Bienaymé-Chebyshev, puisque Var(X1 ) = x (1 − x) ≤ 14 .
Nous avons donc prouvé : Toute fonction continue sur [0, 1] est approchée uni-
formément par une suite de polynômes. (Théorème de Weierstrass)
2
σ 2 /2
Exercice 6.4 : 1) M (u) = eu .
11.5 – Corrigés des exercices du chapitre 6 227
3)
P(|Yn − m| ≥ ε) = P(Sn − nm ≥ nε) + P(Sn − nm ≤ −nε)
n n n
≤ e−nuε (M (u)) + e−n(−u)(−ε) (M (−u)) = 2e−nuε (M (u))
2
σ 2 /2
≤ 2e−nuε enu , ∀u ≥ 0.
La meilleure majoration va être obtenue en minimisant l’exposant, c’est-à-dire pour
u = ε. Nous en déduisons l’inégalité de Chernov.
Exercice 6.5 :
n
!
1X
Sn = S0 (1 + R1 ) · · · (1 + Rn ) = S0 exp n ln(1 + Rk ) .
n
k=1
Or, R1 > −1, donc −1 < E(R1 ) < ∞, et ln(1+E(R1 )) < ∞. Par l’inégalité de Jensen,
nous en déduisons que E(ln(1 + R1 )) P ≤ ln(1 + E(R1 )) < ∞. Nous pouvons alors
n
appliquer la loi des grands nombres : n1 k=1 ln(1 + Rk ) → E(ln(1 + R1 )). Ainsi, pour
n assez grand, Sn va se comporter presque-sûrement comme S0 exp (nE(ln(1 + R1 ))).
Exercice 6.6 : Les deux premières questions se résolvent comme dans l’exercice 6.3.
3) Supposons que les Xi suivent des lois uniformes sur [0, 1]. Alors a = 12 , et limn In =
g( 12 ).
R∞
En posant F (t) = 0 f (x)e−tx dx, nous obtenons
R∞ nt
F (n−1) ( na ) = (−1)n−1 0 f (t)tn−1 e− a dt. D’où le résultat.
σ 2 t2
2
t t
φ √ n =1− n
+o n
.
2 2 2 2
2n 2 2 2 2
Nous en déduisons que limn→∞ φ √t2n = e−σ t /2 . Ainsi, φ(t) = e−σ t /2 , et
X et Y suivent des lois N (0, σ 2 ).
1
R +∞ eitx
Exercice 7.3 : 1) φX (t) = π ∞ 1+x2 dx.
Nous appliquons le théorème des résidus.
eitz eitz 1 1
Nous considérons la fonction de variable complexe f (z) = π(1+z 2 ) = 2iπ z−i − z+i
qui a les deux pôles i et −i. Pour t > 0, prenons comme contour Γ le demi-cercle
supérieur de centre 0 et de rayon R, qui encercle i. Alors la formule des résidus donne
−t
f (z)dz = 2iπRes(f, i). Nous avons Res(f, i) = e2iπ , d’où
R
Γ
R
eitx
Z Z
e−t = dx + f (z)dz.
−R 1 + x2 Γ\[−R,R]
R +∞ a2
Exercice 7.4 : 1) φX (t) = ∞
eitx a2 e−|x|a dx = a2 +t2 .
Z +∞ Z +∞ Z +∞ Z +∞
it x it x
φ X (t) = e f (x)g(y)dxdy =
y g(y)dy e y f (x)dx
Y
∞ ∞ ∞ ∞
Z +∞ Z +∞
y 2 a2 1 y 2 a2
= g(y) dy = dy
∞ y 2 a2 + t2 1 y 2 y 2 a 2 + t2
a π a
= − arctan .
|t| 2 |t|
3) Supposons que P(A(0)) = η > 0. Alors pour n angles θi distincts de [0, π2 [, comme
les A(θi ) sont disjoints, nous aurions P(∪ni=1 A(θi )) = nη. Pour n grand, nous obtien-
drions que cette probabilité est strictement supérieure à 1 ce qui est absurde. D’où
P(A(0)) = 0.
Exercice 7.6 : Il suffit de prouver que pour f1 et f2 des fonctions continues bornées,
et f2 lipschitzienne de constante de lipschitzianité C, E(f1 (Xn )f2 (Yn )) converge vers
E(f1 (X)f2 (y)) = f2 (y) E(f1 (X)), puisque y est constante.
230 Chapitre 11 – Corrections des exercices
En nous inspirant de la preuve du théorème de Slutsky 7.27, nous écrivons pour ε > 0,
|E(f1 (Xn )f2 (Yn )) − E(f1 (X)f2 (y))|
≤ |f2 (y)| |E(f1 (Xn )) − E(f1 (X))| + E (|f1 (Xn )| |f2 (Yn ) − f2 (y)|)
≤ kf2 k∞ |E(f1 (Xn )) − E(f1 (X))| + Cε kf1 k∞ + 2kf1 k∞ kf2 k∞ P(|Yn − y| > ε).
Les termes de gauche et de droite tendent vers 0 quand n tend vers l’infini, par
hypothèse. Comme l’inégalité est vraie pour tout ε > 0, nous en déduisons le résultat.
1) Nous avons Wi,n + Xi,n = Wi−1,n + Yi−1,n . Ainsi, par un argument de somme
télescopique, nous obtenons
n
X
(f (Wi,n + Xi,n ) − f (Wi,n + Yi,n )) = f (W1,n + X1,n ) − f (Wn,n + Yn,n ) = f (Tn ) − f (Tn0 ).
i=1
2) Puisque Xi,n et Yi,n sont petits pour n grand, nous allons utiliser un développement
de Taylor. Nous pouvons écrire
1
f (Wi,n + Xi,n ) = f (Wi,n ) + f 0 (Wi,n )Xi,n + f 00 (Wi,n )(Xi,n )2 + RX,i,n ,
2
où RX,i,n = 21 (Xi,n )2 (f 00 (Wi,n +θXi,n )−f 00 (Wi,n )) pour un 0 ≤ θ ≤ 1. D’une part nous
avons |RX,i,n | ≤ (Xi,n )2 ||f 00 ||∞ . D’autre part, puisque f 00 est uniformément continue,
pour ε > 0 donné, il existe δ > 0, tel que |RX,i,n | ≤ ε (Xi,n )2 , pour |Xi,n | ≤ δ. Nous
en déduisons que
|RX,i,n | ≤ (Xi,n )2 ε1|Xi,n |≤δ + ||f 00 ||∞ 1|Xi,n |>δ .
3) Une inégalité similaire à ci-dessus est vrai pour Yi,n . Nous substituons alors ces
approximations de Taylor dans (7.31). En prenant l’espérance, du fait que Xi,n et Yi,n
2
sont centrées, et que E(Xi,n ) = n1 = E(Yi,n
2
), et que Xi,n et Yi,n sont indépendantes
de Wi,n , nous en déduisons que
n
X
|E(f (Tn ) − E(f (Tn0 )| ≤ E(|RX,i,n | + |RY,i,n |)
i=1
Xn
2 2
) + ||f 00 ||∞ E(Xi,n
2 2
≤ ε E(Xi,n + Yi,n 1|Xi,n |>δ + Yi,n 1|Yi,n |>δ )
i=1
4) Comme E(X12 ) = 1, limn E X12 1|X1 |>δ√n = 0, et de même pour Y1 . Puisque le
choix de ε est arbitraire, nous en déduisons finalement que |E(f (Tn ) − E(f (Tn0 )| → 0,
quand n tend vers l’infini, d’où le théorème de la limite centrale.
Sn S2n Sn
Exercice 7.8 : 1) Si √ n
converge en probabilité, alors √ 2n
−√ n
converge en probabilité
1 1 1
vers 0. Cette différence vaut ( √2n − √n )(X1 + · · · + Xn ) + √2n (X2n+1 + · · · + X2n ).
C’est la somme de deux variables aléatoires indépendantes. C’est donc une variable
aléatoire centrée de variance n1 (nσ 2 ) + 2n
n 2
σ = 33 σ 2 . Cette quantité ne peut donc pas
tendre en probabilité vers 0.
2) Si α < 1/2, alors pour tout β > 0 fixé, on a βn1/2−α → +∞ quand n → ∞. Alors
pour tout A > 0, ∃n0 , tel que n ≥ n0 ⇐= βn1/2−α > A. Alors P(nα | Snn − m| > β) =
√ √ √
P( n| Snn −m| > βn1/2−α ) ≤ P( n| Snn −m| > A). Comme n( Snn −m) converge en loi
vers une variable aléatoire de loi N (0, 1) ayant une fonction de répartition continue, les
fonctions de répartition convergent, et en particulier, lim supn P(nα | Snn − m| > β) ≤
3 α Sn
2 P(|N (0, 1)| > A). Si A tend vers l’infini, nous obtenons que lim supn P(n | n − m| >
β) = 0.
Pour α > 1/2, un raisonnement analogue permet de montrer que lim supn P( nα | S1n −m|
n
> 1
β) = 0, d’où nα | Snn − m| tend vers +∞ en probabilité.
232 Chapitre 11 – Corrections des exercices
Exercice 8.1 : Soit h une fonction de R dans R continue bornée. Soit T une v.a. de loi
Tn . Avec Z v.a. de loi N (0, 1) et U de loi χ2n indépendante de Z, on a d’après (7.20) :
h √ Z i
E h(T ) = E h n √
U
Z +∞ Z +∞ √ z
1 n u z2
= √ du dzu 2 −1 e− 2 e− 2 h n √
2n/2 Γ(n/2) 2π 0 −∞ u
Z +∞ Z +∞
2 x2 +z 2
√ z √
= √ dx dzxn−1 e− 2 h n avec u 7→ x = u
n/2
2 Γ(n/2) 2π 0 −∞ x
Z +∞ Z +∞
2 x 2 +x2 t2 /n √ z
= √ dx dtxn e− 2 h(t) avec z 7→ t = n
2n/2 Γ(n/2) 2πn 0 −∞ x
Z +∞ Z +∞
2 2 2
x t
= √ dth(t) dxxn e− 2 1+ n par Fubini
n/2
2 Γ(n/2) 2πn −∞ 0
n+1 Z +∞
t 2 − 2 t2
Z
1 n−1 y
= √ dth(t) 1 + dyy 2 e− 2 avec x 7→ y = x2 1 +
2n/2 Γ(n/2) 2πn R n 0 n
Z 2 − n+1
Γ((n + 1)/2) t 2
= √ dth(t) 1 + .
πnΓ(n/2) R n
avec
√ √2 √ x
Rn = 2nf √ Yn , f (x) = 1+x−1− .
n 2
11.7 – Corrigés des exercices du chapitre 8 233
3) Soit X une v.a. gaussienne centrée réduite et soit (Yi )i une suite de variables
aléatoires
Pni.i.d.2 de loi gaussienne centrée réduite indépendante de X. Pour tout n,
2
Un = p Y
i=1 i est indépendante de X et suit la loi de χ à n degrés de p
liberté,
donc X/ Un /n suit la loi de Student à n degrés de liberté. Donc ζn et X/ Un /n
ont même loi pour tout n. Or pUn /n converge en probabilité vers 1 d’après la loi
des grands nombres, donc X/ Un /n converge vers N (0, 1) d’après le théorème de
Slutsky.
2) Soient Xi et Yi des variables aléatoires indépendantes de loi uniforme sur [0, 1]. On
peut appliquer la loi des
Pgrands nombres Pnaux variables correspondantes PnUi , Vi et Wi .
n
Ainsi, nous aurons : n1 i=1 g(Xi ), 2n 1
i=1 (g(X i ) + g(1 − Xi )) et 1
n i=1 1Yi ≤g(Xi )
convergent presque-sûrement vers m.
1
4) Var(An ) = 2n Var(V ) et Var(Bn ) = n1 Var(W ). La comparaison ci-dessus entraı̂ne
que Bn est le meilleur.
R1 √
5) m = 0 x2 dx = 13 . Var(g(X)) = 45 4
= σ 2 . Le TCL nous dit que 2n (Anσ−m)
converge vers une variable aléatoire de loi N (0, 1). Nous aurons
√ ! √
√ (An − m)
2nε 2nε
P(|An − m| > ε) = P 2n
> = 0,05 ⇐⇒ = 1,96.
σ σ σ
1
180 = β 2 . Le même raisonnement que précédemment nous dit que n dans ce cas doit
√
vérifier βnε = 1,96 avec ε = 0,01. Cela donne n = 214, ce qui est bien meilleur comme
nous l’avions prévu.
2) La vraisemblance est :
n
Y m xi
pn (x, θ) = θ (1 − θ)m−xi ,
i=1
x i
et donc Ea (X 2 ) = 2a et Ea (X 4 ) = 8a2 .
En tant que fonction de a, il y a un unique minimum sur ]0, +∞[ atteint au point où
la dérivée s’annule, ce qui donne l’EMV :
n
1 X 2
ân = X .
2n i=1 i
Il est équivalent de dire que θSn suit la loi Γ(n, 1), ou que 2θSn suit la loi χ22n .
236 Chapitre 11 – Corrections des exercices
p(1−p)
Exercice 9.2 : 1) E(X̄n ) = p, Var(X̄n ) = n .
2) La loi des grands nombres implique que X̄n converge presque-sûrement et dans L1
vers p.
Rc
3) L’intervalle de confiance aura la forme [X̄n − 2√c n ; X̄n + 2√c n ], où −c g(x)dx = 0,9,
avec g la densité de la loi normale N (0, 1). La table numérique donne c = 1,645. Nous
en déduisons alors la fourchette d’estimation 0,64 − 1,645 20 ≤ p ≤ 0,64 + 1,645 20 , soit
encore 0,56 ≤ p ≤ 0,72.
Si les xi sont tous égaux, alors la fonction est croissante en α et tend vers +∞ en
+∞. Donc l’EMV de (α, β) est
1
(α̂n , β̂n ) = min(Xi ), 1 Pn .
n i=1 ln(Xi ) − ln mini (Xi )
11.8 – Corrigés des exercices du chapitre 9 237
en loi, avec Varα (ln X) = Varα (Z) = Eα (Z 2 ) − Eα (Z)2 = 1/α2 . En utilisant cette
approximation normale et le théorème de Slutsky, on a
√
Pα nα̂n 1/α̂n − 1/α ≤ Φ−1 (1 − η/2) ' 1 − η,
en notant Φ−1 (1−η/2) le quantile d’ordre 1−α/2 de la loi gaussienne centrée réduite.
Ceci s’écrit aussi :
√
Pα α̂n /α − 1 ≤ Φ−1 (1 − η/2)/ n ' 1 − η.
Exercice 9.4 : 1) D’une part, pour tout z > 0, Pλ,µ (Zi ≤ z) = 1 − Pλ,µ (min(Xi , Y1 ) >
z) = 1 − exp(−(λ + µ)z), ce qui montre que Zi ∼ E(λ + µ). D’autre part, Wi ne
prend pour valeurs que 0 ou 1, c’est une variable de Bernoulli. On a Pλ,µ (Wi =
238 Chapitre 11 – Corrections des exercices
R∞R∞ λ
1) = Pλ,µ (Xi ≤ Yi ) = 0 x
µ exp(−µy)dyλ exp(−λx)dx = λ+µ , ce qui montre que
λ
Wi ∼ B λ+µ .
2) Soit f et g deux fonctions continues bornées. En décomposant sur les valeurs prises
par Wi , on a
Eλ,µ f (Zi )g(Wi ) = g(1)Eλ,µ f (Zi )1Wi =1 + g(0)Eλ,µ f (Zi )1Wi =0 .
Or
Eλ,µ f (Zi )1Wi =1 = Eλ,µ f (Zi )1Xi ≤Yi = Eλ,µ f (Xi )1Xi ≤Yi
Z ∞ Z ∞
= f (x) µ exp(−µy)dyλ exp(−λx)dx
0
Z ∞x
λ λ
= f (x)(λ + µ) exp(−(λ + µ)x)dx = Eλ,µ (f (Zi )),
λ+µ 0 λ+µ
µ
et de même Eλ,µ f (Zi )1Wi =0 = λ+µ Eλ,µ (f (Zi )). On conclut que
Eλ,µ f (Zi )g(Wi ) = Eλ,µ f (Zi ) Eλ,µ g(Wi ) ,
3) La vraisemblance est :
n
Y λ 1wi =1 µ 1wi =0
pn ((z, w), λ) = (λ + µ) exp − (λ + µ)zi
i=1
λ+µ λ+µ
n
X Pn Pn
= exp − (λ + µ) zi λ i=1 wi µn− i=1 wi
i=1
n
Pn zi Pn X Pn
= e−λ i=1
λ i=1 wi
exp − µ zi µn− i=1 wi .
i=1
La log-vraisemblance est :
n
X n
X n
X n
X
ln ((z, w), λ) = −λ zi + ln λ wi − µ zi + ln µ n − wi .
i=1 i=1 i=1 i=1
Pn Pn
En particulier ∂λ ln ((z, w), λ) = − i=1 zi + P i=1 wi /λ,P qui est une fonction
n n
décroissante en λ qui s’annuleP uniquement en i=1 w i / i=1 zi . Donc la log-
n Pn
vraisemblance est maximale en i=1 wi / i=1 zi . On en déduit que l’Estimateur du
Maximum de Vraisemblance de λ est
Pn
Wi
λ̂n = Pi=1
n .
i=1 Zi
11.8 – Corrigés des exercices du chapitre 9 239
1
Pn λ
4) D’après la loi forte des grands nombres, sous Pλ , on a n i=1 Wi → λ+µ p.s. et
1
Pn 1
n i=1 Zi → λ+µ p.s.. Donc λ̂n → λ p.s..
Pn Pn λ
5) Sous Pλ , i=1 Zi ∼ Γ(n, λ + µ) est indépendante de i=1 Wi ∼ B(n, λ+µ ). Donc
n Z ∞
X 1 nλ
1 1
Eλ (λ̂n ) = Eλ Wi Eλ Pn = (λ + µ)n z n−1 e−(λ+µ)z dz
i=1
Z
i=1 i 0λ+µ
z Γ(n)
Z ∞
nλΓ(n − 1) 1 nλ
= (λ + µ)n−1 z n−2 e−(λ+µ)z dz = .
Γ(n) 0 Γ(n − 1) n −1
6) On a
n
√ 1 1 X
n(λ̂n − λ) = √ (Wi − λZi ),
Z n n i=1
Pn
avec Z n = n1 i=1 Zi qui converge Pλ -p.s. vers Eλ (Z1 ) = λ+µ1
d’après la loi forte des
grands nombres. Sous Pλ , d’après le théorème de la limite centrale,
n
1 X n→+∞
√ (Wi − λZi ) −→ N 0, Varλ (W1 − λZ1 ) ,
n i=1
en loi. On a
λµ λ2 λ
Varλ (W1 − λZ1 ) = Varλ (W1 ) + λ2 Varλ (Z1 ) = 2
+ = .
(λ + µ) (λ + µ)2 λ+µ
D’après le théorème de Slutsky, sous Pλ ,
√ n→+∞
n(λ̂n − λ) −→ N 0, λ(λ + µ) ,
en loi.
7) Sous Pλ , λ̂n (λ̂n + µ) converge p.s. vers λ(λ + µ). Donc, toujours d’après le théorème
de Slutsky, sous Pλ ,
√
n n→+∞
q (λ̂n − λ) −→ N 0, 1 ,
λ̂n (λ̂n + µ)
en loi. Si Φ−1 (r) désigne le quantile d’ordre r de la loi gaussienne centrée réduite,
alors
s s
h λ̂ (
n nλ̂ + µ) λ̂n (λ̂n + µ) i
λ̂n − Φ−1 (1 − α/2) , λ̂n + Φ−1 (1 − α/2)
n n
240 Chapitre 11 – Corrections des exercices
2) On a Sn ∼ Γ(n, θ), donc θSn ∼ Γ(n, 1), soit 2θSn ∼ χ22n . On pose ζn = 2θ0 Sn .
Sous H0 , ζn ∼ χ22n . Sous H1 , ζn = (θ0 /θ)(2θSn ) va avoir tendance à prendre des
valeurs plus petites (si θ > θ0 ) ou plus grandes (si θ < θ0 ) que sous H0 . On choisit
donc Wn = {ζn 6∈ [xα/2 (2n), x1−α/2 (2n)]} où xr (2n) désigne le quantile d’ordre r de
la loi χ22n . Ce test a pour niveau α.
obs
A.N. : ζ15 = 44,1 et d’après la Table 9.2, x0,025 (30) = 16,79 et x0,975 (30) = 46,98.
P9
Exercice 10.2 : Ici Θ = {(θi )9i=0 , θi ≥ 0, i=0 θi = 1} et H0 = {θ (0) } avec θ (0) =
(1/10, . . . , 1/10). On note θ̂250,i = N (i)/250 et
9 (0)
X (θ̂250,i − θ )2
i
ζ250 = 250 (0)
.
i=0 θi
obs
On a ζ250 ' 10,4. Sous l’hypothèse H0 , ζ250 suit une loi du χ2 à 9 degrés de liberté.
2 obs
Si Z ∼ χ9 , on a P(Z ≥ 16,9) = 0,05. Comme ζ250 ≤ 16,9, on accepte l’hypothèse que
le générateur produit des entiers uniformément répartis sur {0, . . . , 9} au niveau 5%.
Chapitre 12
Sur une route à une seule voie et un seul sens de circulation, on considère une file
infinie de véhicules numérotés 0, 1, 2, 3, .... On suppose qu’ils circulent tous à la même
vitesse prise égale à 1. Ils sont séparés par des distances (Lj )j≥1 comptées de l’arrière
du véhicule j − 1 à l’avant du véhicule j qui suit.
On suppose que pour que le véhicule j s’arrête, il lui faut, à partir du moment où le
véhicule j − 1 qui est devant lui commence à freiner, une distance Rj + Dj où Rj est
la distance parcourue pendant le délai de réaction du conducteur du véhicule j et Dj
est la distance d’immobilisation de ce véhicule.
On suppose que les triplets (Lj , Rj , Dj )j≥1 sont i.i.d. avec L1 , D1 et R1 indépendantes
et positives.
241
242 Chapitre 12 – Textes et corrigés d’examens
aléatoire X est distribuée suivant la loi de Pareto de paramètre (a, b). Cette loi est
par exemple utilisée pour modéliser la distribution des revenus dans une population.
I) Analyse probabiliste
On observe une réalisation de X = (X1 , . . . , Xn ) où les Xi sont des variables aléatoires
indépendantes et identiquement distribuées de loi commune dans {P(a, b) : a ∈ R, b >
0}.
5. Soient a ∈ R, b > 0. Déterminer la vraisemblance pn (x, a, b) pour x =
(x1 , . . . , xn ) ∈ Rn . Exprimer à l’aide de min1≤i≤n xi la valeur an (x) ∈ R qui
maximise a 7→ pn (x, a, b) pour tout (x, b) ∈ Rn ×]0, +∞[.
6. Calculer la log-vraisemblance ln (x, a, b). Quelle valeur bn (x, a) ∈]0, +∞[
maximise-t-elle b 7→ ln (x, a, b) pour a ∈ R et x ∈]a + 1, +∞[n fixés ? En
déduire l’estimateur du maximum de vraisemblance (EMV) (ân , b̂n ) du couple
(a, b).
7. (a) Calculer P(a,b) (X1 > x) pour x ≥ a + 1. En déduire que sous P(a,b) , Mn =
min1≤i≤n Xi ∼ P(a, nb). Calculer E(a,b) (ân −a) pour n > 1/b. L’EMV est-il
sans biais ?
3 3 6
√ que limn→∞ n E(a,b) [|ân − a| ] =
(b) A l’aide de l’équation (12.1), vérifier b3
et en déduire que P(a,b) (limn→∞ n(ân − a) = 0) = 1.
Pn Pn
8. On pose Rn = n1 i=1 ln(Xi − a) − n1 i=1 ln(Xi − ân ).
(a) A l’aide de la question 1.,Pdonner les comportements
√ asymptotiques lorsque
n Pn
n → ∞ sous P(a,b) de n1 i=1 ln(Xi − a) et n 1b − n1 i=1 ln(Xi − a) .
Pn −a
(b) Avec l’inégalité ∀x > 0, ln(x) ≤ x − 1, vérifier que Rn ≤ n1 i=1 Xâin−â n
.
En déduire que 0 ≤ Rn ≤ ân − a.
(c) Montrer que (ân , b̂n ) converge P(a,b) p.s. vers (a, b) lorsque n → ∞.
√ √ Pn √
(d) En écrivant que n(b̂n −b) = bb̂n × n 1b − n1 i=1 ln(Xi − a) + nRn ,
√
vérifier que n(b̂n − b) converge en loi vers N (0, b2 ) lorsque n → ∞.
P(N = n + 1)
P(N − 1 = n|N ≥ 2) = = (1 − p)n−1 p.
P(N ≥ 2)
I) Analyse probabiliste
Z ∞ Z 0 Z 1
E[ϕ((X−a)−b )] = ϕ((x−a)−b )b(x−a)−b−1 dx = − ϕ(u)du = ϕ(u)du,
a+1 1 0
2.
Z ∞
E[(X − (1 + a))c ] = (x − (a + 1))c b(x − a)−b−1 dx
a+1
Z ∞
c
1 1 dx
=b 1− b−c−1 (x − a)2
a+1 x − a (x − a)
Z 0
u=1/(x−a)
= −b (1 − u)c ub−c−1 du
1
1
Γ(b − c)Γ(c + 1)
Z
Γ(b + 1)
= ub−c−1 (1 − u)c du
Γ(b) 0 Γ(b − c)Γ(c + 1)
Ainsi (R, Z) a pour densité bc1{z>1,rz>1} r−b−1 z −b−c−1 qui ne peut pas se
mettre sous forme produit à cause du terme 1{rz>1} si bien que R et Z ne sont
pas indépendantes. La densité marginale de R est donc
Z ∞ −b−c ∞
−b−1 −b−c−1 −b−1 z
1{r>0} bcr z dz = 1{r>0} bcr
max(1,1/r) b + c max(1,1/r)
bcr−b−1 b+c
= r 1{0<r≤1} + 1{r>1} .
b+c
On conclut que R et S ont même densité et donc même loi.
5. On a
bn
pn (x, a, b) = Qn 1
b+1 {a≤min1≤i≤n xi −1}
.
i=1 (xi − a)
n
La fonction a 7→ Qn (xbi −a)b+1 étant positive et strictement croissante sur
i=1
] − ∞, min1≤i≤n xi [, on en déduit que
an (x) = min xi − 1.
1≤i≤n
Chapitre 12 – Textes et corrigés d’examens 247
Pn
6. Pour x ∈]a + 1, +∞[n , ln (x, a,P
b) = n ln(b) − (b + 1) i=1 ln(xi − a). La dérivée
n
partielle ∂l n n
∂b (x, a, b) = b − i=1 ln(xi − a) s’annule en b =
Pn n
ln(xi −a) .
i=1
2
Comme ∂∂bl2n (x, a, b) = − bn2 < 0, bn (x, a) = Pn ln(xn
i −a)
. On en déduit que
i=1
l’EMV du couple (a, b) est
n
(ân , b̂n ) = min Xi − 1, Pn .
1≤i≤n i=1 ln(Xi − ân )
7. (a) Pour x ≥ a + 1,
Z ∞ ∞
b(y − a)−b−1 dy = −(y − a)−b x = (x − a)−b .
P(a,b) (X1 > x) =
x
Tn
Comme {Mn > x} = i=1 {Xi > x}, par indépendance, P(a,b) (Mn > x) =
(P(a,b) (X1 > x))n = (x − a)−nb . Ainsi sous P(a,b) , Mn a même fonction de
répartition que X1 au remplacement près de b par nb, si bien que Mn ∼
P(a, nb). Pour nb > 1, en utilisant (12.1), on a
Γ(nb − 1)Γ(2) 1
E(a,b) [ân − a] = E(a,b) [Mn − (a + 1)] = = ,
Γ(nb) nb − 1
si bien que l’EMV est biaisé.
(b) P(a,b) p.s. ∀i ≥ 1, Xi > a + 1, et ∀n ≥ 1, Mn > a + 1, |ân − a|3 =
(Mn − (a + 1))3 et (12.1) assure que pour n > 3/b,
Γ(nb − 3)Γ(4) 6
E(a,b) [|ân − a|3 ] = = .
Γ(nb) (nb − 1)(nb − 2)(nb − 3)
√ 6
Ainsi pour n → ∞, E(a,b) [| n(ân − a)|3 ] ∼ n3/2 b3
. Donc
√ X √
X
3 3
∞> E(a,b) | n(ân − a)| = E(a,b) | n(ân − a)| ,
n>3/b n>3/b
P √ 3
si bien que P(a,b) n>3/b | n(ân − a)| < ∞ = 1. Comme le terme
général d’une série convergente tend vers 0, on en déduit que
√
P(a,b) lim | n(ân − a)|3 = 0 = 1.
n→∞
8. (a) D’après la question 1., les variables ln(Xi − a) sont i.i.d. suivant la loi
exponentielle E(b) d’espérance 1/b et variance 1/b2 sous P(a,b) . La loi forte
Pn
des grands nombres assure que P(a,b) n1 i=1 ln(Xi − a) →n→∞ 1/b = 1.
Le théorème de la limite centrale entraı̂ne que sous P(a,b) , on a
n
√ 1
1X L
n − ln(Xi − a) −→ Z ∼ N (0, 1/b2 ).
b n i=1
248 Chapitre 12 – Textes et corrigés d’examens
où
— α est un réel fixé de ] − 1, 1[ ;
— (εn )n∈N est une suite de variables aléatoires indépendantes et identiquement
distribuées suivant une loi normale(=gaussienne) centrée N (0, σ 2 ) avec σ 2 > 0 ;
Chapitre 12 – Textes et corrigés d’examens 249
Pn−1
une loi gaussienne. Elle est clairement centrée et sa variance vaut σ 2 i=0 (α2 )i
du fait de l’indépendance des (εi ), donc sa variance vaut σ 2 (1 − α2n ) (1 −
α2 )−1 −→ σ 2 (1−α2 )−1 . Comme on sait qu’une suite de variables gaussiennes
n→∞
dont l’espérance et la variance convergent est une suite qui converge en loi
vers une variable gaussienne d’espérance et variance limites, on en déduit que
Pn−1 i L 2 2 −1
i=0 α εn−i −→ N (0 , σ (1 − α )
n→∞
).
p.s. P
En utilisant le Lemme de Slutsky, comme αn X0 −→ 0 donc αn X0 −→ 0
n→+∞ n→+∞
Pn−1 i L 2 2 −1
et comme on a i=0 α ε n−i −→ N (0 , σ (1 − α ) ), on en déduit que
n→∞
L
Xn −→ N (0 , σ 2 (1 − α2 )−1 ).
n→∞
3. Ceci se montre par récurrence, avec l’argument principal que Xn suit la loi
N (0 , σ 2 (1 − α2 )−1 ), donc αXn suit la loi N (0 , α2 σ 2 (1 − α2 )−1 ), avec εn+1
une variable gaussiene indépendante de Xn , alors αXn + εn+1 est une variable
gaussienne centrée de variance la somme des variances, soit αXn + εn+1 suit
une loi N 0 , α2 σ 2 (1 − α2 )−1 + σ 2 = N 0 , σ 2 (1 − α2 )−1 .
Problème 1 :
1. Il est facile de voir que X − m a pour loi une loi exponentielle de paramètre λ.
2. On déduit de la question précédente que E(X) = m + 1/λ et Var(X) = 1/λ2 .
Qn
3. Pour x ≥ m, on a Fmn (x) := P(mn ≤ x) = 1 − i=1 P(Xi > m) =
n
1 − P(X1 > m) du fait de l’indépendance et de l’équidistribution. Or
R ∞ −λ(t−m)
P(X1 > m) = m λe dt = e−λ(x−m) . On en déduit que Fmn (x) =
−λn(x−m)
(1 − e )1x≥m qui est une fonction différentiable presque partout, donc
mn est une variable aléatoire admettant une densité par rapport à la mesure
de Lebesgue qui est la dérivée de Fmn (x) (sauf en m), donc sa densité est :
Il est clair que pour tout x > m, Fmn (x) −→ 1, donc Fmn converge vers
n→∞
la fonction de répartition d’une masse de Dirac en m. On en déduit que mn
converge en loi vers m, et comme converger en loi vers une constante revient
à converger en probabilité vers cette constante, on en déduit que mn converge
en probabilité vers m.
4. Pour x ≥ m, an a FZn (x) := P(Zn ≤ x) = P mn ≤ m + x/n = 1 − e−λx : on
Problème 2 :
Qn
1. On a P(Sn = 0) = k=3 ln1k .
Pn Pn 1
2. On a E(Sn ) = k=3 E(Xk ) = k=3 ln k .
3. Soit Ek l’événement “Xk = 1”. Montrer que E est infini avec une proba-
bilité 1 c’est montrer que lim supk→∞ Ek = 1. D’après le Lemme de Borel-
Cantelli,Pcomme les Xk sont indépendantes, donc les Ek également, ceci est
∞ P∞
vrai si k=3 P(Ek ) = ∞. Or k=3 P(Ek ) = limn→∞ An = ∞ (d’après son
équivalent), donc P(E est infini) = 1.
Pn
4. On a Var(Sn ) = k=3 Var(Xk ) puisque les variables sont indépendantes, et
comme les Xk sont des variables de Bernoulli, on a Var(Xk ) = lnlnk−1 2 k . D’où
Pn
Var(Sn ) = k=3 lnlnk−1 2k .
D’après l’inégalité de Bienaymé-Tchevychev,
il est clair que pour tout ε >
0, P |Sn /An − 1| ≥ ε ≤ Var(Sn )/(εAn )2 . Comme on voit facilement que
Chapitre 12 – Textes et corrigés d’examens 253
Var(Sn ) ∼ An quand n → ∞, on a ainsi P |Sn /An − 1| ≥ ε −→ 0 : Sn /A/n
n→∞
converge bien en probabilité vers 1.
Qn
5. On a E[etSn ] = k=3 E[etXk ] car les variables sont indépendantes. Mais on
t
a facilement E[etXk ] = ln1k et + 1 − ln1k = 1 + eln−1
tSn
k . D’où ln E[e ] =
et −1
Pn tSn
k=3 ln 1+ ln k . Comme ln(1+u) ≤ u pour tout u > −1, on a ln E[e ] ≤
Pn et −1 t
k=3 ln k ≤ An (e − 1) d’où le résultat.
On a P Sn ≥ (1+ε)An = P etSn ≥ e(1+ε)tAn ≤ exp t
An (e −1)−(1+ε)tA n
grâce à l’inégalité de Markov, soit P Sn ≥ (1+ε)An ≤ exp An (et −1−t−εt) .
Soit la fonction hε (t) = et − 1 − t − εt pour t ∈ ]0, 1[. Alors h0ε (t) = et − 1 − ε,
donc h0ε (t) = 0 pour t = ln(1 + ε). De plus h0ε (t) < 0 pour t < ln(1 + ε) et
h0ε (t) > 0 pour t > ln(1 + ε). On en déduit que hε atteint son minimum en
t = ln(1 + ε) et comme hε (0) = 0 ce minimum est négatif. En choisissant cette
valeur pour t et en posant φ+ (ε) = −hε (ln(1 + ε)) = −ε + (1 + ε) ln(1 + ε) > 0,
on a bien P Sn ≥ (1 + ε)An ≤ exp − An φ+ (ε) .
6. De ce qui précède, on a pour tout ε ∈ ]0, 1[ :
S
n
− 1 ≥ ε = P Sn ≥ (1 + ε)An + P Sn ≥ (1 − ε)An
P
An
≤ exp − An φ+ (ε) + exp − An φ− (ε) .
P∞ S
Comme An ∼ n/ ln n et comme φ+ (ε) > 0 et φ− (ε) > 0, on a n=3 P A n
n
−
1 ≥ ε < ∞. Ce critère caractérisant la convergence presque sûre, on en déduit
Sn p.s.
que A n
−→ 1. De l’équivalence de An , on en déduit le résultat final.
n→+∞
Exercice 2 : Soit (Xn )n≥1 une suite de variables aléatoires indépendantes telles
que, pour tout n ≥ 1, on a E[Xn ] = 0 et |Xn | ≤ M pour un M > 0 déterministe. On
rappelle que 2 cosh(u) = eu + e−u .
1. Montrer, par exemple grâce à un argument de convexité, que
M − x −λM x + M λM
eλx ≤ e + e pour tout x ∈ [−M, M ] et λ > 0 .
2M 2M
1 2 2
2. En déduire que, pour tout i ≥ 1, E eλXi ≤ cosh(λM ) ≤ e 2 λ M . Pour la
dernière inégalité, on pourra comparer les séries entières des fonctions cosh(u)
u2
et e 2 .
3. Soit n ≥ 1. On note Sn = X1 + · · · + Xn . Pour tout λ > 0 et x > 0, montrer
que l’on a
Sn λ2 M 2
P ≥ x ≤ en( 2 −λx) .
n
nx2
4. En déduire que, pour tout x > 0, P( Snn ≥ x) ≤ e− 2M 2 , puis que
Sn nx2
P ≥ x ≤ 2e− 2M 2 .
n
Exercice 3 : Sur l’ensemble des densités de probabilité sur R (fonctions positives
d’intégrale 1), on définit le carré de la distance de Hellinger h entre f et g par
Z p 2
2 1 p
h (f, g) = f (x) − g(x) dx.
2 R
1. Montrer que Z p
h2 (f, g) = 1 − f (x)g(x) dx.
R
Vérifier que h est une distance sur l’ensemble des densités sur R (i.e. positivité
avec nullité si et seulement si égalité presque partout, symétrie et inégalité
triangulaire), avec de plus 0 ≤ h(f, g) ≤ 1.
2. Soient θ > 0 et fθ la densité de la loi uniforme sur [0, θ] : fθ (x) = θ1 1[0,θ] (x).
q
Montrer que h2 (fθ , fθ0 ) = 1 − θθ0 si θ ≤ θ0 .
3. Soient n ≥ 1 et X1 , . . . , Xn i.i.d. de loi uniforme sur [0, θ] pour un
θ > 0 inconnu. Donner l’estimateur du maximum de vraisemblance hp i θ̂n =
ϕn (X1 , . . . , Xn ) de θ et identifier la fonction ϕn . Calculer Eθ θ̂n , et en
h i
1
déduire que Eθ h2 (fθ , fθ̂n ) = 2n+1 (fθ̂n est la densité de la loi uniforme sur
[0, θ̂n ]).
Chapitre 12 – Textes et corrigés d’examens 255
4. Soit la densité
1 10
fn∗ (x) = 10 1 − 1{0≤x≤ 10
1
}+ 1 9 .
n n { 10 ≤x≤1}
(a) Pour tout n ≥ 1, soit Yn une variable aléatoire de loi à densité fn∗ . Montrer
que la suite (Yn )n≥1 converge en loi et identifier sa limite.
(b) Calculer h2 (fn∗ , f 10
1 ).
(c) En notant E∗n [·] l’espérance par rapport au modèle où les données
X1 , . . . , Xn sont i.i.d. de densité fn∗ , en déduire que E∗n [h2 (fn∗ , fθ̂n )] ≥ un ,
avec limn→∞ un = 32 (1 − 1e ).
(d) Conclure quant à la robustesse de l’estimateur du maximum de vraisem-
blance à une mauvaise spécification du modèle.
f (x, y)
∝ f (x, y) ∝ exp −(x − y/2)2 ,
fX|Y =y (x) =
fY (y)
ce qui montre que, sachant Y = y, X suit une loi N (y/2, 1/2). En particulier,
on en déduit que E[X|Y ] = Y /2.
3. Puisque E[X12 ] = 1 et Var(X12 ) = 2, le théorème central limite appliqué aux
variables Xi2 donne
n
!
√ 1X 2 L
n X − 1 −−−−→ N (0, 2).
n i=1 i n→∞
√
La méthode delta appliquée avec g(x) = x permet d’en déduire que
√
Dn L
n √ − 1 −−−−→ N (0, 1/2),
n n→∞
ou encore √ √ L
2 Dn − n −−−−→ N (0, 1).
n→∞
Exercice 2 :
1. On commence par écrire que
M −x x+M
λx = × (−λM ) + × (λM ).
2M 2M
Par convexité de la fonction exponentielle, on en déduit que, pour tout x ∈
[−M, M ] et λ > 0,
M −x x+M
exp(λx) ≤ exp(−λM ) + exp(λM ).
2M 2M
Chapitre 12 – Textes et corrigés d’examens 257
θ > 0 et fθ la densité de la loi uniforme sur [0, θ]. Le fait que h2 (fθ , fθ0 ) =
2. Soitq
1 − θθ0 si θ ≤ θ0 est une conséquence directe de la formule précédente.
3. Soit X1 , . . . , Xn i.i.d. de loi uniforme sur [0, θ] pour un θ > 0 inconnu. La
vraisemblance associée à cet échantillon s’écrit
1
Ln (θ) = 1θ≥X(n) ,
θn
où X = maxi=1,...,n (Xi ), qui est maximale pour θ = θ̂n = X(n) . La variable
p (n) √
θ̂n étant positive (et inférieure à θ), on peut écrire que
√
q Z ∞ q Z θ q
Eθ θ̂n = P θ̂n > x dx = P θ̂n > x dx,
0 0
d’où
√ √ n
θ θ
x2
q Z q Z
Eθ θ̂n = 1−P θ̂n ≤ x dx = 1− dx,
0 0 θ
ce qui donne finalement
√
q
1
Eθ θ̂n = θ 1 − .
2n + 1
4. Soit la densité
1 10
fn∗ (x) = 10 1 − 10≤x≤1/10 + 19/10≤x≤1 .
n n
(a) Pour toute fonction continue bornée ϕ, il est clair que
Z 1/10
10 1
Z Z 1/10
1
E[ϕ(Yn )] = 10 1 − ϕ(x)dx+ ϕ(x)dx −−−−→ 10 ϕ(x)dx,
n 0 n 9/10 n→∞ 0
ce qui montre que (Yn ) converge en loi vers une loi uniforme sur [0, 1/10].
(b) Un calcul immédiat donne
Z q r
2 ∗ ∗
1
h (fn , f1/10 ) = 1 − fn (x)f1/10 (x) dx = 1 − 1 − ,
R n
quantité qui tend bien vers 0 lorsque n tend vers l’infini.
Chapitre 12 – Textes et corrigés d’examens 259
5. Soit n > 1.
(a) On rappelle que θ̂n = maxi=1,...,n (Xi ). Comme les Xi sont i.i.d. et que
R1
P∗n (X1 ≥ 9/10) = 9/10 fn∗ (x)dx = 1/n :
P∗n (θ̂n ≥ 9/10) = 1−P∗n max (Xi ) ≤ 9/10 = 1−P∗n (X1 ≤ 9/10)n = 1−(1−1/n)n
i=1,...,n
(c) En notant E∗n [·] l’espérance par rapport au modèle où les données
X1 , . . . , Xn sont i.i.d. de densité fn∗ , on trouve :
E∗n [h2 (fn∗ , fθ̂n )] ≥ E∗n [h2 (fn∗ , fθ̂n )1{9/10≤θ̂n ≤1} ]
= E∗n [h2 (fn∗ , fθ̂n )|9/10 ≤ θ̂n ≤ 1]P∗n 9/10 ≤ θ̂n ≤ 1
r
1 1 1
≥ 1− 1− − √ 1 − (1 − 1/n)n =: un
3 n 3 n
Ouvrages généraux :
D. Foata, A. Fuchs : Calcul des probabilités : cours et exercices corrigés, Dunod 2003.
261
262 Bibliographie
Pour ceux qui veulent tout savoir sur les probabilités du quotidien :
G. Pagès, C. Bouzitat : En passant par hasard... Les probabilités de tous les jours,
Vuibert 1999.
P.S. Laplace : Essai philosophique sur les probabilités, Christian Bourgeois 1986.
D. Kehlmann : Les arpenteurs du monde, Actes Sud 2006. (Les tribulations de Hum-
boldt et Gauss)
263
264 INDEX