Fondements des Probabilités LGN et TCL
Fondements des Probabilités LGN et TCL
Probabilite
Fondements des
de (, F, P) aux consequences de la LGN et du TCL
L3/M1 Mathematiques
Jean-Christophe Breton
Universite de Rennes 1
Janvier-Avril 2014
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
1
2
2
3
4
8
11
12
14
2 Variables al
eatoires
2.1 Definitions et proprietes . . . . . . . . . . .
2.2 Loi dune variable aleatoire . . . . . . . . . .
2.3 Fonction de repartition . . . . . . . . . . . .
2.4 Fonction quantile et simulation par inversion
2.5 Exemples de variable aleatoire . . . . . . . .
2.5.1 Variables aleatoires discr`etes . . . . .
2.5.2 Variables aleatoires a` densite . . . . .
2.5.3 Lois de probabilite usuelles . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
18
18
21
22
27
29
29
35
43
3 Esp
erance dune variable al
eatoire
3.1 Rappels dintegration . . . . . . . . . . .
3.1.1 Theor`emes de Fubini . . . . . . .
3.1.2 Changement de variable . . . . .
3.2 Esperance dune variable aleatoire reelle
3.3 Convergences monotone et dominee . . .
3.4 Moments des variables aleatoires . . . . .
3.5 Variance, covariance . . . . . . . . . . .
3.6 Tableau comparatif . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
49
49
50
51
54
61
63
67
72
4 Fonction caract
eristique
4.1 Definition et premi`eres proprietes . . . . . . . . . . . . . . . . . . . . . . .
4.2 Proprietes et exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
73
73
76
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
ii
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
82
83
83
84
5 Ind
ependance
5.1 Concept dindependance . . . . . . . . . . . .
5.2 Crit`eres et exemples . . . . . . . . . . . . . .
5.3 Non-correlation et independance . . . . . . . .
enements asymptotiques . . . . . . . . . . .
5.4 Ev`
5.4.1 Tribus du futur et tribu asymptotique
5.4.2 Lemmes de Borel-Cantelli . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
86
86
89
94
95
95
97
.
.
.
.
100
100
102
103
105
.
.
.
.
.
.
.
.
106
106
108
113
113
114
118
127
129
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
130
130
130
136
141
143
143
. . . . . . .
. . . . . . .
. . . . . . .
. . . . . . .
empiriques
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
147
147
148
155
155
157
.
.
.
.
.
.
.
.
.
.
.
.
iii
Introduction
Ces notes sont un support (enrichi) dun cours de probabilites de base. Elles sont redevables de plusieurs sources dinspiration, parmi elles : [Suq] et [Gra]. Ce cours ne necessite
que des notions de theorie de la mesure et dintegrale de Lebesgue. Des references classiques pour completer un cours de probabilites de ce niveau sont [Ouv], [FF] (en francais) et
[Chung], [Fel], [Dur], [Kal] (en anglais). (La reference [Kal] est compl`ete mais plus difficile
dacc`es.) Dautres references en ligne sont [JCB-IM], [Suq].
Le contenu de ces notes est le suivant :
Dans le Chapitre 1, on donne quelques rappels de theorie de la mesure. On definit un espace
de probabilite, une mesure de probabilite et on en rappelle les principales proprietes.
La notion de variable aleatoire est definie dans le Chapitre 2. On y decrit la loi dune
variable aleatoire, sa fonction de repartition et on donne les exemples de lois classiques
(discr`etes et a` densite).
Dans le Chapitre 3, on presente les notions desperance, de variance et plus generalement
de moments de variables aleatoires.
La fonction caracteristique est un outil tr`es utile qui caracterise la loi dune variable aleatoire. Cet outil est introduit au Chapitre 4 o`
u on en etudie les principales proprietes.
Le concept dindependance est fondamental en probabilites. Il est introduit au Chapitre 5
o`
u on en donne aussi plusieurs caracterisations.
Dans le Chapitre 6, on etudie la somme de variables aleatoires independantes et on en
determine la loi a` laide de convolution.
Il existe plusieurs modes de convergence en probabilites. Il sont presentes dans le Chapitre 7
o`
u leurs proprietes et relations sont etudiees.
Dans le Chapitre 8, on sinteresse aux sommes de variables aleatoires independantes identiquement distribuees et a` leur comportement limite. On y presente les deux premiers
resultats fondamentaux des probabilites : la loi des grands nombres (LGN) et le theor`eme
central limite (TCL).
On termine dans le Chapitre 9 avec la description de vecteurs aleatoires gaussiens pour
lesquels beaucoup de calculs se ram`enent a` des calculs matriciels, on parle alors de calcul
gaussien.
iv
Chapitre 1
Espace de probabilit
e
Introduction
Quelques jalons historiques formalisent le concept de probabilites. Dapr`es larticle dedie
de wikipedia :
La notion de probabilite remonte a` Aristote (4`eme si`ecle avant J.-C.), il ne sagit pas
alors de quantifier lalea, le terme probabilite designe plutot ladhesion `a une idee :
ce qui est probable est ce qui est generalement admis comme vrai.
Au 16`eme et 17`eme si`ecles, la notion de probabilite est une notion morale. Dabord
theologie morale catholique, le terme designera par glissement semantique le caract`ere
vraisemblable dune idee.
Le traitement mathematique des probabilites remonte a` Blaise Pascal (17`eme si`ecle)
notamment avec sa correspondance avec Pierre de Fermat (1654). Avec ce traitement
mathematique, la notion de probabilite ne concerne plus seulement les idees ou les
opinions mais aussi les faits. Le concept de probabilite se rapproche alors de la notion
de hasard.
Le calcul des probabilites se developpe autour de questions liees `a la theorie des jeux.
Des contributions marquantes sont celles de Christian Huygens (esperance, 1657),
Jacques Bernoulli (variable aleatoire, LGN, 1713 posthume), Abraham de Moivre
(combinatoire, 1718), Pierre-Simon de Laplace (TCL, 1812).
La theorie classique des probabilites se developpe avec le debut du 20`eme si`ecle et
c
Chapitre 1.
JCB
L3/M1 Math Universite de Rennes 1
Quelques references classiques pour completer ce cours de Probabilites sont [Bil1], [Chung],
[Fel], [FF], [Kal], [Ouv].
1.1
Rappel de th
eorie de la mesure
1.1.1
Tribus
c
Chapitre 1.
JCB
L3/M1 Math Universite de Rennes 1
Les applications mesurables sont stables par la plupart des operations : addition,
multiplication, multiplication par un scalaire, inverse, quotient, composition, max,
min, sup, inf, parties positive et negative, passage `a la limite simple, cf. Proposition
2.1.2.
D
efinition 1.1.4 (Tribu engendr
ee)
Soit M une famille de parties de X. La tribu
engendr
ee par M, notee (M), est la plus petite tribu de X contenant M : (M) =
T
A.
AM
Soit f une application de X dans (Y, B), espace mesurable. La tribu engendree par
f sur X est la plus petite tribu Af sur X rendant f : (X, Af ) (Y, B) mesurable.
Cest la tribu formee des {f 1 (B) : B B}. On la note Af ou (f ).
D
efinition 1.1.5 (Tribu produit) Soient (X, A) et (Y, B) des espaces mesurables. La
tribu produit A B sur lespace produit X Y = {(x, y) : x X, y Y } est la tribu
engendree par les produits de mesurables A B, A A, B B.
Cf. Section 3.1 pour plus de rappels sur les espaces produits en liaison avec les Theor`emes
de Fubini-Tonelli et Fubini (Theor`emes 3.1.1 et 3.1.2).
Remarque 1.1.1 Sur R2 = R R, on peut considerer la tribu borelienne associee a` la
topologie produit sur R2 et le produit des tribus boreliennes sur chaque espace R. En
utilisant que tout ouvert de R2 peut secrire comme une reunion denombrable de paves
dintervalles ouverts, on montre que les deux concident : B(R2 ) = B(R) B(R) = B(R)2 .
Plus generalement, on montre pour Rn quon a B(Rn ) = B(R)n .
1.1.2
Mesures
An =
(An ) -additivite.
n=1
n=1
c
Chapitre 1.
JCB
L3/M1 Math Universite de Rennes 1
Mesure de Lebesgue sur (R, B(R)) : cest la mesure qui generalise la notion de longueur des intervalles. Elle est invariante par translation :
([a, b]) = b a,
(A + x) = (A).
A A, B B
et setend sur toute la tribu produit A B par un argument classique (par exemple
de classe monotone, cf. Section 1.3 ou par le theor`eme de Caratheodory).
1.2
Espace de probabilit
e
On definit une probabilite P sur un espace mesurable quon note traditionnellement (, F).
Dans ce contexte, les ensembles mesurables A F sappellent les ev`enements.
D
efinition 1.2.1 (Probabilit
e) Soient (, F) un espace mesurable. On appelle probabilite sur (, F) toute mesure P sur (, F) de poids total 1, cest `a dire P est une application
de F dans [0, 1] qui verifie :
(i) P() = 1 ;
(ii) (Propriete de -additivite) Pour toute suite (An )nN dev`enements, deux `a deux disjoints, on a
! +
[
X
P
An =
P(An ).
nN
n=1
c
Chapitre 1.
JCB
L3/M1 Math Universite de Rennes 1
Remarque 1.2.1
Lorsque lespace est discret (cest `a dire fini ou denombrable,
par exemple N ou une partie de N), on utilise F = P() et tous les ensembles sont
ev`enements. Cest la raison pour laquelle cette restriction aux ev`enements napparat
pas lors de cours de Probabilites en espaces finis ou discrets.
Lorsque lespace est R, pour les ev`enements typiques sont les intervalles (fermes ou
ouverts ou mixtes).
Exemples.
X
P=
n1
n .
2 n2
f (x)dx
a
i=1
A, B F, A B P(A) P(B).
En effet B = (B \ A) A o`
u la reunion est disjointe. On a donc
P(B) = P(A) + P(B \ A) P(A).
c
Chapitre 1.
JCB
L3/M1 Math Universite de Rennes 1
n=1
En effet, pour une reunion de deux ensembles AB, cela vient du point precedent ; puis,
pour le cas dune reunion finie, dune recurrence ; et, pour le cas dune reunion denombrable,
dun passage a` la limite avec la propriete suivante.
Proprietes de continuit
e monotone s
equentielle
(i) Si (An )nN est une suite croissante dev`enements (ie. pour tout n An An+1 ) alors
[
lim P(An ) = P(A) o`
uA=
An .
(1.2)
n+
nN
(ii) Si (Bn )nN est une suite decroissante dev`enements (ie. pour tout n Bn+1 Bn )
alors
\
lim P(Bn ) = P(B) o`
uB=
Bn .
(1.3)
n+
nN
Sn
En effet dans le cas croissant (i), on note que k=1 Ak = An . Soit Cn = An \ An1 n 1
(avec A0 = ). On montre facilement que nk=1 Ck = nk=1 An : une inclusion vient de ce que
Ck Ak pour tout k, lautre de ce que si nk=1 An alors en notant k le plus petit entier
tel que Ak alors on a Ck et donc nk=1 Ck . De plus les Ck , k 1, sont deux `a
deux disjoints : si Ck alors 6 Ak1 et donc 6 Cl pour l < k.
!
!
n
n
n
[
[
X
lim P(An ) = lim P
Ak = lim P
Ck = lim
P(Ck ) (additivite)
n+
n+
k=1
n+
k=1
n+
k=1
c
Chapitre 1.
JCB
L3/M1 Math Universite de Rennes 1
+
X
P(Ck ) = P
k=1
+
[
!
Ck
(-additivite)
=P
k=1
+
[
!
Ak
k=1
Dans le cas decroissant (ii), comme on est en mesure finie, il suffit de passer aux complementaires.
Remarque 1.2.2 En general, on ne peut pas calculer P(A B) `a partir de P(A) et de
P(B) comme le montre la formule P(A B) = P(A) + P(B) P(A B) : il faut connatre
A B, on verra que ceci est lie `a lindependance ou non des ev`enements A et B.
Attention, cette formule ne se generalise pas immediatement pour plus de deux ev`enements,
par exemple pour A, B, C, on a :
P(A B C) = P(A) + P(B) + P(C) P(A B) P(A C) P(B C) + P(A B C).
Plus generalement, on a le resultat suivant (exercice : il se montre par recurrence sur n) :
Proposition 1.2.1 (Formule de Poincar
e) Pour tout entier n 2, et tous ev`enements
A1 , A2 , . . . , An , on a :
!
n
n
n
X
X
X
[
(1)k+1
P
P(Ai ) +
P(Ai1 Ai2 Aik ).
Ai =
i=1
i=1
k=2
D
emonstration : On prouve la formule par recurrence. Si n = 2, cela est d
u `a ladditivite
usuelle. On admet la formule pour n et on la montre pour n + 1 : soient Ai , 1 i n + 1.
On a
P
n+1
[
Ai
= P
i=1
n
[
Ai An+1
i=1
= P
n
[
n+1
[
Ai + P(An+1 ) P
Ai An+1
i=1
= P
n
[
i=1
Ai
n+1
[
+ P(An+1 ) P
(Ai An+1 ) .
i=1
i=1
n
[
i=1
Ai =
n
X
n
X
P(Ai ) +
(1)k+1
i=1
k=2
et
P
n
[
n
n
X
X
P(Ai An+1 )+ (1)k+1
(Ai An+1 ) =
i=1
i=1
k=2
X
1i1 <i2 <<ik n
c
Chapitre 1.
JCB
L3/M1 Math Universite de Rennes 1
On reforme alors
Pn
i=1
P(Ai ) + P(An+1 ) =
n
X
(1)k+1
n
X
(1)k+1
k=2
n+1
X
k=2
i=1
P(Ai ) et
k=2
Pn+1
(1)k+1
n
X
P(Ai An+1 )
i=1
1.3
Classe monotone
Dans cette section on rappelle un procede dextension des definitions de certains objets sur
les tribus apr`es les avoir definis sur des classes restreintes densemble.
D
efinition 1.3.1 (Classe monotone ou -syst`
eme) Une famille M de parties de
est appelee classe monotone si
1. M ;
2. lorsque A, B M et B A, alors A \ B M ;
3. M est stable par reunion croissante (Aj M, j N, Aj Aj+1
jN
Aj M).
Pour E P(), on appelle classe monotone engendree par E, la plus petite classe monotone
contenant E, cest `a dire lintersection de toutes les classes monotones contenant E. On la
note M(E).
Remarque 1.3.1
Une classe monotone est stable par complementaire : il suffit
c
decrire A = \ A pour , A M.
Une classe monotone est stable par intersection decroissante : si (Bi )i1 est une
suite de M telle que Bi Bi+1 , i 1, alors Ai = Bic S M car Ai = \ Bi
et (Ai )i1 forme une suite croissante de M pour laquelle i1 Ai M mais alors
S
c
T
B
=
A
M.
i1 i
i1 i
Une classe monotone est donc stable par limite monotone densembles (croissante ou
decroissante), cela justifie la terminologie.
Exemple :
1. Une intersection dun nombre quelconque de classes monotones est encore une classe
monotone.
2. Une tribu est une classe monotone. Il suffit pour cela de voir que A \ B = A B c .
c
Chapitre 1.
JCB
L3/M1 Math Universite de Rennes 1
3. Une classe monotone stable par intersection finie est une tribu.
En effet cette classe sera aussi stable par reunion finie en vertu de laxiome 2) de la
Definition 1.3.1 on utilise
alorsSla re
ecriture
dune
reunion denombrable comme une
S
S
A
reunion croissante ( jN Aj = jN
kj k pour toute famille Aj , j N).
Th
eor`
eme 1.3.1 (des classes monotones) Soit E une famille de parties de stable
par intersection finie. Alors M(E) = (E).
Remarque 1.3.2 Ce resultat senonce (et sutilise) encore sous la forme suivante : si M
est une classe monotone contenant la famille de parties E, stable par intersection finie (ie.
E est un -syst`eme), alors (E) M.
D
emonstration : En vertu de lexemple 2) ci-dessus, (E) est une classe monotone qui
contient E et donc M(E) (E). Pour prouver linclusion reciproque, on montre que M(E)
est stable par intersection finie car alors, dapr`es lexemple 3) ci-dessus, M(E) sera une
tribu contenant E, et on aura (E) M(E). Il suffit donc de prouver que si A, B M(E),
alors A B M(E). Pour cela, soit
M1 := A M(E) : B E, A B M(E) .
Comme E, -syst`eme, est stable par intersection finie, on constate que M1 contient E. Puis
on verifie facilement que M1 est une classe monotone car
M1 car M(E) et pour B E, B = B E M(E).
si A1 , A2 M1 avec A2 A1 alors A1 \ A2 M(E) car M(E) est une classe
monotone puis pour B E, on a (A1 \ A2 ) B = (A1 B) \ (A2 B) ; mais
A1 B, A2 B M(E) car A1 , A2 M1 ; puis comme M(E) est stable par difference
monotone, on a (A1 \ A2 ) B M(E) ; finalement
S A1 \ A2 M1 .
si Aj , j 0, est dans M1 avec Aj Aj+1 alors j Aj M(E) car M(E) est stable
S
S
A
B = j (Aj B) M(E) car
par reunion croissante ; puis, pour B E,
j
j
Aj B M(E) et stabilite par reunion monotone.
Finalement, M1 est une classe monotone contenant E donc contient aussi M(E) et, par
definition est contenu dans M(E), ce qui donne M1 = M(E).
Soit maintenant
M2 := A M(E) : B M(E), A B M(E) .
Lensemble M2 est aussi une classe monotone (faire comme precedemment avec M1 a` la
place de E). De plus il contient E : on doit pour cela montrer que si A E, alors pour
tout B M(E) on a A B M(E). Mais comme B M(E) = M1 , et A E, on a
A B = B A M(E) (defintion de M1 ). On a donc M2 classe monotone contenant E
et donc M(E) M2 . Comme par definition on a aussi M2 M(E), il vient M2 = M(E)
ce qui montre que M(E) est stable par intersection finie.
Dapr`es largument qui commence la preuve, le theor`eme des classes monotones (Th. 1.3.1)
est prouve.
c
Chapitre 1.
JCB
L3/M1 Math Universite de Rennes 1
10
j+
j+
j1
Comme A est un -syst`eme, le Theor`eme 1.3.1 garantit que (A) M ce qui conclut.
En anticipant sur le Chapitre 5, on dit que deux ev`enements A, B sont independants (et on
ecrit A
B) si P(AB) = P(A)P(B). Plus generalement deux parties A et B dev`enements
sont independantes si pour tout A A et B B alors A
B.
Proposition 1.3.1 Si une famille A densemble est stable par intersections finies et est
independante dune tribu G alors (A) est independante de G.
D
emonstration : Soit M = {A F : A
G}. Alors on constate facilement que M est
une classe monotone qui contient A.
On a M car
G : P(G ) = P(G) = P(G)P() pour tout G G.
Soit A, B M avec B A, alors pour tout G G, on a
P((A \ B) G) = P (A G) \ (B G)
= P(A G) P(B G) = P(A)P(G) P(B)P(G)
= (P(A) P(B))P(G) = P(A \ B)P(G)
cest a` dire (A \ B)
G et donc (A \ B)
G.
Soit Aj G avec Aj Aj+1 alors par convergence monotone
P (j1 Aj G) = P (j1 (Aj G)) = lim P(Aj G) = lim P(Aj )P(G)
j+
j+
= P (j1 Aj ) P(G)
cest a` dire j1 Aj
G et donc j1 Aj
G.
Comme A est un -syst`eme, le Theor`eme 1.3.1 garantit que (A) = M(A) M ce qui
conclut la preuve de la proposition.
c
Chapitre 1.
JCB
L3/M1 Math Universite de Rennes 1
11
Proposition 1.3.2 Soient A1 et A2 deux familles densemble stables par intersection finie
(deux alg`ebres) independantes dans (, F, P). Alors les tribus engendrees (A1 ) et (A2 )
sont independantes.
D
emonstration : Soit A1 A1 . Considerons la famille
M1 = A2 (A2 ) : P(A1 A2 ) = P(A1 )P(A2 )
des ev`enements independants de A1 . Comme pour la preuve precedente, il sagit dune
classe monotone qui contient, par hypoth`ese, A2 . Elle contient donc la classe monotone
engendree par A2 , qui concide par le theor`eme de classe monotone avec (A2 ) puisque A2
est un -syst`eme. Soit maintenant A2 (A2 ). Considerons la famille
M2 = A1 (A1 ) : P(A1 A2 ) = P(A1 )P(A2 )
des ev`enements independants de A2 . Il sagit encore dune classe monotone qui contient A1
et dapr`es ce qui prec`ede (A1 ) puisque A1 et un -syst`eme.
1.4
Extension de mesure
c
Chapitre 1.
JCB
L3/M1 Math Universite de Rennes 1
12
Th
eor`
eme 1.4.2 (Extension de Carath
eodory 2) Soit S une semi-alg`ebre sur 6= .
On consid`ere P une fonction -additive definie sur S et `a valeurs dans [0, 1] telle que
e definie sur (S) qui prolonge
P() = 1. Alors il existe une unique mesure de probabilite P
e
P (ie. P(A) = P(A)
pour A S).
D
efinition 1.4.3 (Mesure dalg`
ebre) Soit B une alg`ebre sur un ensemble E. Une mesure dalg`ebre sur (E, B) est une application m : B [0, +] telle que
m() = 0 ;
m est additive : pour A, B B tels que A B = alors m(A B) = m(A) + m(B) ;
Il existe une suite croissante (En )n1 de B qui crot vers E telle que m(En ) < +
et, pour tout A B, limn+ m(A En ) = m(A) ;
(propriete de Caratheodory) Pour toute suite decroissante (An )n de B convergeant
vers et telle que m(A0 ) < + on a limn+ m(An ) = 0.
On montre facilement quune mesure dalg`ebre m sur (E, B) verifie pour tout A, B B :
additivite finie : m(A) = m(A \ B) + m(A B) ;
additivite forte : m(A B) + m(A B) = m(A) + m(B) ;
sous-additivite : m(A B) m(A) + m(B) ;
croissance : si A B alors m(A) m(B).
Th
eor`
eme 1.4.3 (Extension de Carath
eodory 3) Soit B une alg`ebre sur un ensemble
E. Si m est une mesure dalg`ebre sur (E, B) alors il existe une mesure sur la tribu (B)
qui concide avec m sur B.
1.5
Vocabulaire probabiliste
Dun point de vue modelisation, dans la suite, lensemble de base va nous permettre
de decrire une experience aleatoire. Cet ensemble va representer lensemble des resultats
possibles de lexperience (aleatoire) que lon etudie. Nous lappellerons lunivers des possibles ou espace probabilise. Lorsque est denombrable, ses parties seront appelees des
ev`enements (ou ev`enements composes), les elements seront les ev`enements elementaires, cest `a dire les ev`enements les plus simples qui ne peuvent pas etre exprimes par des
ev`enements encore plus simples.
Exemple : On lance un de `a six face. Le resultat a priori est aleatoire et les resultats possibles sont 1, 2, 3, 4, 5, 6. Lespace = {1, 2, 3, 4, 5, 6} decrit bien lensemble des resultats.
La partie A = {1, 4} est un ev`enement compose : il sagit de le resultat est un 1 ou un
4 . Par contre {3} est un ev`enement elementaire, observer un 3 ne peut pas etre decrit
par des ev`enements plus simples.
Avec ce mode de representation, les operations logiques sur les ev`enements que sont ou ,
et , negation se traduisent par des operations ensemblistes : reunion , intersection
, complementaire { }c . Voici le tableau des correspondances entre ces deux langages :
c
Chapitre 1.
JCB
L3/M1 Math Universite de Rennes 1
Notations
A
A
AB
AB
AB
Ac
AB =
13
Vocabulaire ensembliste
ensemble vide
ensemble plein
element de
sous-ensemble de
appartient `a A
Vocabulaire probabiliste
ev`enement impossible
ev`enement certain
ev`enement elementaire
ev`enement
le resultat est une des
realisations possibles de A
A inclus dans B
A implique B
reunion de A et B
A ou B
intersection de A et B
A et B
complementaire de A dans ev`enement contraire de A
A et B sont disjoints
A et B sont incompatibles
Pour un general, les ev`enements sont seulement les elements de F, la tribu associee.
Remarque 1.5.1 Il faut retenir que
une reunion sinterpr`ete comme un ou ,
une intersection sinterpr`ete comme un et ,
un complementaire { }c sinterpr`ete comme le contraire de .
Noter enfin quen mathematiques le ou est un ou inclusif alors que dans le langage
usuel il sagit dun ou exclusif (dessert ou fromage ? cest lun ou lautre mais pas les deux
alors quavec le ou mathematiques, ca pourrait etre les deux).
Les operations sur les ensembles (ou sur les ev`enements) peuvent faire intervenir plus de
deux ev`enements. Ainsi si A1 , . . . , An sont des ev`enements,
n
[
Ai = A1 A2 An
i=1
Ai = A1 A2 An
i=1
est lensemble des qui sont dans tous les Ai . On etend encore ces definitions aux reunions
et intersections denombrables (ie. en nombre infini mais quon peut enumerer) :
[
iN
Ai =
+
[
i=1
c
Chapitre 1.
JCB
L3/M1 Math Universite de Rennes 1
\
iN
Ai =
+
\
14
i=1
Rappel (d
enombrabilit
e) : une partie infinie est denombrable si elle peut etre mise en
bijection avec N, cest a` dire si on peut enumerer tous ses elements. Lensemble N, bien
s
ur, est denombrable mais Z, Q le sont aussi. Par contre [0, 1] ou R ne le sont pas.
Comme on peut enumerer aussi les elements dune partie finie, il est usage dinclure le cas
fini dans le cas denombrable, meme si dordinaire, le terme denombrable est utilise pour
les parties infinies denombrables.
Ces operations logiques sur des suites dev`enements sont tr`es utiles pour analyser les ev`enements complexes : il sagit de les reexprimer comme reunion, intersection, complementaire
dev`enements plus simples. Il importe donc de bien traduire en langage ensembliste un
enonce et ses enchanements logiques.
Etant
donnee une suite dev`enements (Ai )i1 , deux ev`enements assez complexes mais fort
utiles sont
\[
la limite superieure : lim sup Ai =
Aj
i+
i0 j>i
[\
Aj .
i0 j>i
Leur interet vient de linterpretation suivante qui permet de traduire en langage ensembliste une assertion en francais.
1.6
Etant donnee une suite dev`enements (Ai )i1 , deux ev`enements assez complexes mais
fort utiles sont la limite inferieure et la limite superieure. Leur interet vient de linterpretation qui permet de traduire en langage ensembliste une assertion en francais, cf.
Proposition 1.6.1.
D
efinition 1.6.1 (lim inf et lim sup) Soit (An )n0 une suite dev`enements observables dun
espace de probabilite (, F, P). On pose
\ [
[ \
lim sup An =
Ak ,
et
lim inf An =
Ak .
n+
n1 k>n
n+
n1 k>n
n+
(1.4)
c
Chapitre 1.
JCB
L3/M1 Math Universite de Rennes 1
15
T
T
S
En effet k>n Ak Aq pour tout q > n. On a donc k>n Ak q>p Aq pour tout p.
On a alors pour tout n :
\
\[
Ak
Aq = lim sup An .
k>n
n+
p1 q>p
Finalement
[ \
Ak lim sup An .
n1 k>n
n+
n+
De plus, les limites superieure et inferieure densembles ont les interpretations suivantes :
Proposition 1.6.1 Soit Ai , i 0, une collection infinie densembles. Alors
` partir dun certain rang, est dans tous les Ai secrit
A
[\
Aj
= lim inf An .
n+
i0 j>i
Aj
= lim sup An .
n+
i0 j>i
Aj
|{z}
j>i
i0
est
|{z}
|{z}
il existe pour tout dans Aj .
i0
j>i
Pour le second point, dire que est dans une infinite de Ai est equivalent a` dire que
pour tout p, il existe q > p avec dans Aq .
En effet, si tel est le cas, est bien dans une infinite de Ai car, dapr`es cette propriete,
avec p = 0, il existe p1 > p tel que est dans Ap1
c
Chapitre 1.
JCB
L3/M1 Math Universite de Rennes 1
16
Aq
|{z}
q>p
p0
est
|{z}
|{z}
pour tout il existe dans Aq .
q>p
p0
n0 kn
n+
Ce sont les plus petite et plus grande valeurs dadherence de la suite u. On a toujours
lim inf un lim sup un
n+
n+
n+
n+
n+
n+
n+
Pour une suite de fonctions (fn )n0 , on definit des fonctions limites inferieure et superieure
de la facon suivante :
lim inf fn (x) = lim inf fn (x),
lim sup fn (x) = lim sup fn (x).
n+
n+
n+
n+
c
Chapitre 1.
JCB
L3/M1 Math Universite de Rennes 1
17
n+
n+
D
emonstration : Il suffit de le faire pour lim supn+ 1An . Or lim supn+ An
si k, n k tel que An . On a donc k, n k avec 1An () = 1 ou encore
inf k0 supnk 1An () = 1, cest `a dire lim supn+ 1An () = 1. Manifestement, il sagit
dune equivalence.
De plus, on a :
Proposition 1.6.3
lim inf {fn t} = {lim sup fn t},
n+
n+
n+
n+
n+
n+
n+
D
emonstration : exercice.
D
efinition 1.6.2 (Convergence densembles) On dit quune suite densemble (An )n0
converge vers A et on note An A, n +, si
lim sup An = lim inf An = A.
n+
n+
n+
n+
n+
On en deduit
P lim inf An lim inf P(An )
n+
n+
et
lim sup P(An ) P lim sup An .
n+
n+
Le second point est clair car les limites superieure et inferieure concident lorsque An A,
n +.
Chapitre 2
Variables al
eatoires
Les variables aleatoires sont lobjet de base de ce cours. Il sagit de fonction du hasard
dont nous presentons dans ce chapitre les outils clef pour leur etude : loi, fonction de
repartition (les moments sont etudies au Chapitre 3). Nous donnons la plupart des lois
usuelles (discr`etes et continues) et insistons sur leur interpretation en terme de mod`ele.
Dans tout le chapitre, on consid`ere un espace de probabilite (, F, P).
2.1
D
efinitions et propri
et
es
D
efinition 2.1.1 (Variable al
eatoire) On appelle variable aleatoire (va) toute application mesurable X dun espace de probabilite (, F, P) dans un espace mesurable (B, B).
En general, une variable aleatoire est `a valeurs reelles, ie. (B, B) = (R, B(R)).
Si (B, B) = (Rn , B(Rn )), on parle de vecteur al
eatoire de dimension n. Dans ce
cas, on peut ecrire X = (X1 , . . . , Xn ) o`
u Xi : (, F, P) (R, B(R)) est une variable
aleatoire appelee i-`eme marginale.
Si (B, B) = (R2 , B(R2 )), on parle en particulier de couple al
eatoire.
N
N
Si (B, B) = (R , B(R )), on parle de suite aleatoire.
Une variable aleatoire est donc tout simplement une application mesurable sur un espace
de probabilite.
En pratique, lorsque la tribu de lespace darrivee B est engendree par un syst`eme de
generateurs, pour verifier quune fonction est mesurable (en particulier, variable aleatoire),
il suffit de verifier la propriete caracteristique sur les generateurs. Cela justifie limportance
de connatre les familles de generateurs les plus petites dune tribu.
Proposition 2.1.1
1. Soient X : (, F) (B, B) et C P(B), famille qui engendre
la tribu B de B. Alors
X 1 (B) = X 1 ((C)) = (X 1 (C))
(= (X 1 (C) : C C})).
18
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
19
3. Une fonction X : R est une variable aleatoire reelle ssi pour tout t R,
{X t} F.
D
emonstration : 1) Il est clair que X 1 ((C)) est une tribu qui contient X 1 (C). Par
consequent X 1 ((C)) (X 1 (C)).
Pour linclusion inverse, on consid`ere
T = A B : X 1 (A) (X 1 (C))}.
On verifie facilement que T est une tribu. Par sa definition X 1 (T ) (X 1 (C)). De plus
C T car X 1 (C) (X 1 (C)) et donc (C) T . On deduit que
X 1 ((C)) X 1 (T ) (X 1 (C)).
On peut traiter de la meme facon le cas dun nombre quelconque de fonctions.
2) Si X 1 (C) F alors (X 1 (C)) F car F est une tribu. Comme par 1) X 1 (B) =
(X 1 (C)), la conclusion en decoule.
3) Cela vient de 2) et du fait que la tribu borelienne B(R) est engendree par les demi-droites
] , t], t R.
Proposition 2.1.2 Soit (Xn )nN une suite de variables aleatoires de dans un espace
metrique (E, d). Si cette suite de variable aleatoire converge ponctuellement vers X (cest
`a dire pour tout , limn+ Xn () = X()) alors X est une variable aleatoire `
a
valeurs dans E.
D
emonstration : Dapr`es la Proposition 2.1.1, il suffit de montrer que si O est un ouvert
de E alors X 1 (O) F. Pour cela, on pose
Or = {x O : d(x, E \ O) > 1/r},
r N .
On a
X 1 (O) = { : X() O} = { : lim Xn () O}
n+
(
)
[
=
: lim Xn ()
Or
n+
=
=
r1
: r 1, m 1, n m : Xn () Or
[ \
Xn1 (Or )
r,mN nm
est un ev`enement de F.
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
20
D
efinition 2.1.2 (Variable al
eatoire simple ou
etag
ee) On appelle variable aleatoire
d
etageePou simple (`a valeurs dans R ) une variable aleatoire definie sur de la forme
X = rj=1 aj 1Aj o`
u les Aj F sont disjoints et o`
u aj Rd .
Proposition 2.1.3 (Approximation) Toute variable aleatoire X est limite simple de
variables aleatoires etagees. Si de plus X est reelle positive, la limite peut etre choisie
croissante.
D
emonstration : Soit dabord X reelle positive. On definit pour tout n et k N
k1
k
An,k =
:
X() < n , k n2n
2n
2
Bn = { : X() > n}.
Les ensembles An,k et Bn sont des images reciproques par la variable aleatoire X dintervalles. Ils sont donc dans F. La suite
n
Xn () =
n2
X
k1
k=1
2n
1An,k () + n1Bn ()
2n 2n
2n+1
2
2n+1 2n+1
on a soit Xn+1 () = 2k2
= Xn ()
on a An,k = An+1,2k1 An+1,2k . Ainsi pour Xn () = k1
2n
2n+1
2k1
soit Xn+1 () = 2n+1 Xn () donc en tout cas Xn+1 () Xn ().
Puis si X() > n alors soit X() > n + 1 et alors Xn+1 () = n + 1 Xn (), soit X()
est dans
2n+1 (n+1)
[
k1 k
[n, n + 1[=
,
.
n+1 2n+1
2
n+1
k=2
n+1
k1
2n+1
2n+1 n
2n+1
= n = Xn () et donc
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
2.2
21
D
efinition 2.2.1 (Loi) Soit X : (B, B), on appelle loi de X la mesure PX , mesure
image sur (B, B) de P par X :
PX (A) = P(X A) = P( : X() A), A B.
En effet, on verifie facilement que PX est -additive : pour des ensembles Ai , i 1,
mesurables disjoints, on a :
!
!
!
+
+
+
[
[
[
PX
Ai
= P X
Ai = P
{X Ai }
i=1
i=1
+
X
P(X Ai ) =
i=1
i=1
+
X
PX (Ai )
i=1
P(Y A) = (R A),
A B(R).
A B(R).
D
emonstration : Cest evident si on remarque par exemple que {X A} = {(X, Y )
A R}. De meme pour un vecteur.
D
efinition 2.2.2 (Atome) Soit X une variable aleatoire. On appelle atome de X (ou de
sa loi) tout x B tel que P(X = x) 6= 0.
Si x est un atome de X, on lui associe la probabilite P(X = x), dite probabilite ponctuelle
associee `a latome x.
D
efinition 2.2.3 (Support) On appelle support (topologique) dune variable aleatoire
X : B le plus petit ensemble F ferme de B tel que P(X F ) = 1. Avec un abus de
notation, on notera dans la suite S(X) ce support.
Pour une variable aleatoire reelle, la connaissance de la loi est importante : dans la
suite, la plupart des calculs de probabilite pour X seront transferes en des calculs sur R
o`
u il faut utiliser la mesure PX (cf. Theor`eme de transfert). Dans la suite, on consid`ere en
general des variables aleatoires a` valeurs reelles (ie. B = R).
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
2.3
22
Fonction de r
epartition
D
efinition 2.3.1 (R
epartition) On appelle fonction de repartition dune variable aleatoire reelle X : R la fonction FX definie sur R par
FX (x) = P(X x) = PX (] , x]).
Proposition 2.3.1 (Propri
et
es de la fonction de r
epartition)
1. FX est croissante.
2. limx FX (x) = 0 et limx+ FX (x) = 1.
3. FX est continue `a droite et admet une limite `a gauche :
lim
xx0 ,xx0
On dit que la fonction FX est c`adl`ag (continue `a droite avec une limite `a gauche).
4. En fait si x nest pas un atome de X, alors FX est continue `a gauche (donc continue)
en x. Lensemble des points de discontinuite de FX est lensemble des atomes de X.
D
emonstration : 1) est d
u a` la croissance de la mesure de probabilite P : pour x y,
on a :
FX (x) = P(X x) P(X y) = FX (y)
car {X x} {X y}.
2) et 3) sobtiennent en appliquant les proprietes de monotonie sequentielle des mesures.
Dans ces arguments, on utilise systematiquement la monotonie de FX pour justifier que les
limites de F concident avec les limites le long de sous-suites speciales.
T
Pour 2), prendre dabord An =] , n], on a n1 An = , ensemble de mesure PX
nulle, si bien que
\
lim FX (x) = lim FX (n) = lim P(X n) = lim PX (An ) = PX
An = 0.
x
n+
n+
n+
n1
n1
x+
n+
n+
n+
yx+
[
Bn = PX (R) = 1.
n1
n1
An =] , x],
n+
n+
n+
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
= PX
\
23
An = FX (x).
n1
S
Ensuite, prendre Bn =] , x 1/n] de reunion n1 Bn =] , x[, ensemble de mesure
S
PX
n1 Bn = P(X < x).
Attention : P(X < x) peut etre distinct de P(X x) car
P(X x) P(X < x) = P({X x} \ {X < x}) = P(X = x)
qui peut etre non nul si la loi de X a un atome en x. On a alors
lim FX (y) =
yx
n+
n+
Pour le 4), on constate que si P(X = x) = 0 alors P(X < x) = P(X x) et la continuite
a` gauche manquante vient. Reciproquement si x est un atome alors P(X < x) 6= P(X x)
et limy%x FX (y) < Fx (x) et il y a une discontinuite de FX en x.
Th
eor`
eme 2.3.1 Une fonction F : R [0, 1] croissante c`adl`ag avec limt F (t) = 0
et limt+ F (t) = 1 est la fonction de repartition dune variable aleatoire X. De plus
lensemble des points o`
u la fonction F a un saut est lensemble des atomes de X.
D
emonstration : Soit F une fonction croissante et continue a` droite de limites 0 et
1Prespectivement en et en +. On definit la S
fonction densemble m par m(A) =
n
n
i=1 F (bi ) F (ai ) pour une union
Pn que la fonction m
Spdisjointe A = i=1 ]ai , bi ]. Notons
est bien definie car si on a aussi A = j=1 ]cj , dj ], alors on verifie que j=1 F (dj )F (cj ) =
Pn
F
(b
)
F
(a
)
.
i
i
i=1
On note C la classe des ensembles qui sont unions disjointes finies dintervalles du type
]a, b]. Comme C est stable par union (finie) disjointe et comme si ]a, b]]c, d] 6= , on a
]a, b]]c, d] =]a c, b d] C, on deduit que C est stable par union finie. Puis
!
!
p
n
[
[
[
[
]ai , bi ]
]cj , dj ]
=
]ai , bi ]]cj , dj ] =
]ai cj , bi dj ] C,
i=1
j=1
1in
1jp
1in
1jp
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
24
On montre maintenant que m est une mesure dalg`ebre sur Cn , cf. Definition 1.4.3. On
pourra alors prolonger m en une mesure sur ] n, n].
Pour cela, on voit dabord aisement que m est additif : si A, B C sont disjoints on a
m(A B) = m(A) + m(B).
Soit A =]a, b] et > 0 fixe. Comme F est continue a` droite, il existe 0 < < b a tel que
m(]a, a + ]) = F (a + ) F (a) . Alors [a + , b] ]a, b] et
m(]a, b]) = m(]a, a + ]) + m(]a + , b]) m(]a + , b]) + .
S
On proc`ede de la meme facon si A = ni=1 ]ai , bi ] C est une reunion finie et on montre
A et m(A) m(B) + .
quil existe B C tel que B
T
Soit (An )n1 une suite decroissante de C telle que n1 An = . Comme precedemment
T
n T
on associe Bn a` An pour /2n . Alors n1 B
n1 An = . Les ensembles Bn sont des
reunions
finies
dintervalles
ferm
e
s
born
e
s
donc
compacts.
Par compacite, il existe n0 tel
T
que nn0 Bn = . On a
An0 = An0 \
n0
\
n =
B
n=1
Ainsi
m(An0 )
n0
[
An0
n0
[
\ Bn
(An \ Bn ).
n=1
n0
X
n=1
m(An \ Bn )
n=1
n0
X
2n = .
n=1
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
25
S
An C sont deux `a deux disjointsS
avec A = n1 An CP
alors necessairement A secrit
n
sous la forme dune reunion finie i=1 ]ai , bi ] et m(A ) = ni=1 F (bi ) F (ai ) est finie.
Comme m est -finie (R = n1 ] n, n] et m(] n, n]) = F (n) F (n) < +, la version
Theor`eme 1.4.1 du Theor`eme de Caratheodory sapplique : il existe une unique extension
a` (C). On montre ensuite comme precedemment que est une probabilite et que F et
sa fontion de repartition.
Lemme 2.3.1 Soient E un ensemble muni dune famille E P(E) et m : E [0, +]
une application additive (cest-`a-dire m(AB) = m(A)+m(B) pour A, B E et AB = )
et telle que m(E) < +. Alors les assertions suivantes sont equivalentes :
1. m est -additive ;
2. m est continue sur les suites croissantes :
(An )nN E, An An+1 m
[
An = lim m(An );
n+
nN
\
An = lim m(An );
nN
n+
nN
D
emonstration : Il est clair que (1) (2) (3) (4). (Lequivalence (2) (3)
est due au fait que m(E) < + permet de passer au complementaire). On a (4) (3)
car si on a An An+1 , en notant A = nN An , la suite An Ac est decroissante vers
n1 An Ac = A Ac = . Dapr`es le (4), on a m(An Ac ) 0 et on a alors
m(A ) = m(An A ) = lim m(An A ) + lim m(An Ac )
n+
n+
c
= lim m An (A A ) = lim m(An ).
n+
n+
Sn
Puis (2) (1) car pour une suite de Ai disjoints,
en
notant
C
=
n
i=1 Ai on a une suite
S
S
(Cn )n1 croissante `a laquelle (2) sapplique et n1 Cn = i1 Ai . Ainsi :
[
[
m
Ai = m
Cn = lim m(Cn ).
i1
n1
Sn
i=1
n+
P
P
Ai = ni=1 m(Ai ) de limite +
i=1 m(Ai ).
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
26
Remarque 2.3.1 Dans le equivalences precedentes, lhypoth`ese m(E) < + ne sert que
pour voir (2) (3). Si ce nest pas
le cas, on a quand meme : Soit (An )nN est une suite
S+
croissante de E de reunion A = n=1 An alors on deduit (2) pour ces suites de (4) sans
supposer
Bn = A \ An ; (Bn )n1 est alors une suite decroissante de
T m(E) finie : onSpose
+
limite n1 Bn = A \ n=1 An = . Dapr`es (4), limn+ m(Bn ) = 0 et donc de
m(A ) = m(A \ An ) + m(An ) = m(An ) + m(Bn )
on deduit limn+ m(An ) = m(A ). On deduitSencore comme dans la preuve precedente
que pour P
des An disjoints de reunion A = +
n=1 An telle que m(A ) < +, on a
m(A ) = +
m(A
).
n
n=1
Th
eor`
eme 2.3.2 La fonction de repartition caracterise la loi, cest `a dire FX = FY ssi
PX = PY .
D
emonstration : Si FX = FY alors PX (] , t]) = PY (] , t]) pour tout t R.
La famille C de ces intervalles ] , t], t R, est stable par intersection finie (cest un
-syst`eme) et engendre B(R). Par le Theor`eme de Dynkin (Theor`eme 1.3.2, consequence
du Theor`eme 1.3.1 de classes monotones), legalite PX (A) = PY (A) setend a` A (C), ie.
PX = PY .
Proposition 2.3.2 La fonction de repartition admet au plus un nombre denombrable de
points de discontinuite. Une variable aleatoire reelle a donc un nombre au plus denombrable
datome.
D
emonstration : Designons par Dn lensemble des points de discontinuite avec un saut
damplitude plus grande que 1/n :
1
.
Dn = t R : F (t) F (t )
n
Comme 0 F (t)
S 1, on a necessairement card(Dn ) n. Lensemble des points de discontinuite D = nN Dn est donc lui aussi denombrable.
D
efinition 2.3.2 Soit X = (X1 , . . . , Xd ) un vecteur aleatoire a` valeurs dans Rd . On appelle fonction de repartition de X ou de sa loi PX , la fonction definie sur Rd par
FX (t1 , . . . , td ) = PX (] , t1 ] ] , td ]) = P(X1 t1 , . . . , Xd td ).
La loi de la j-`eme marginale Xj est donnee par
FXj (tj ) =
lim
FX (t).
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
27
La loi dun vecteur aleatoire determine chacune de ses marginales mais la reciproque est
fausse en general comme le montre le contre-exemple suivant : Soit (X, Y ) de loi
1
(0,0) +
6
1
PU,V =
(0,0) +
4
Les lois marginales sont alors
PX,Y
1
(0,1) +
3
1
(0,1) +
4
1
5
(1,0) + (1,1)
12
12
1
(1,1) .
2
PX = PU = 12 0 + 21 1
PY = PV = 14 0 + 34 1 .
` partir des
Les lois jointes sont distinctes mais elles partagent donc les memes marginales. A
marginales, on ne connat donc pas la loi jointe. Il manque la connaissance de la facon dont
les lois marginales simbriquent pour connatre la loi jointe. Un cas particulier dimbrication
est lindependance. Ce cas tr`es frequent est etudie dans la suite.
2.4
D
efinition 2.4.1 (Fonction quantile) Soit F une fonction de repartition. On appelle
fonction quantile la fonction definie sur ]0, 1[ par
G(u) = inf t R : F (t) > u , u ]0, 1[.
On consid`ere dans le resultat suivant la loi uniforme sur ]0, 1[ : une variable aleatoire U
suit cette loi si P(U A) = (A) pour tout A B(]0, 1[). En particulier, on peut noter
que cette loi na pas datome : pour tout x R, on a P(U = x) = ({x}) = 0.
Proposition 2.4.1 Soit U une variable aleatoire uniforme sur ]0, 1[. Alors G(U ) a pour
fonction de repartition F .
D
emonstration : Notons que pour tout t R, si F (t) > U alors G(U ) t, ie.
{U < F (t)} {G(U ) t}.
(2.1)
Puis si G(U ) = inf s R : F (s) > U t alors par croissance de la fonction F , F (s) > U
pour tout s > t, ie.
{G(U ) t} {U < F (s)} s > t.
(2.2)
Comme U suit la loi uniforme, on obtient pour tout s > t :
F (t) = P(U F (t)) = P(U < F (t)) P(G(U ) t) P(U < F (s)) = P(U F (s)) = F (s).
en utilisant respectivement la definition de la loi uniforme, le fait quelle na pas datome
et les inclusions (2.1) et (2.2). Comme F est continue a` droite lims&t F (s) = F (t) et les
inegalites precedentes sont toutes des egalites. En particulier, P(G(U ) t) = F (t) pour
tout t R, ce qui est le resultat annonce.
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
28
(2.3)
Ensuite, comme avec U U([0, 1]), on a dapr`es la Proposition 2.4.1 G(U ) X, il vient
P(X < G(t)) = P(G(U ) < G(t)). Et par croissance de G :
{G(U ) < G(t)} {U < t} {U t} {G(U ) G(t)}.
(2.4)
Comme G(U ) X est sans atome, on a P(G(U ) < G(t)) = P(G(U ) G(t)) et donc
dapr`es (2.4) P(G(U ) < G(t)) = P(U t) = t et (2.3) donne
P(F (X) t) = P(X < G(t)) = P(G(U ) < G(t)) = P(U t) = t
pp.
Pour conclure, on note que les fonctions P(F (X) t) et t sont c`adl`ag et concident presque
partout, elles concident donc partout.
Proposition 2.4.3 Soit X une variable aleatoire reelle de fonction de repartition F . On
P
2
a E[F (X)] = 12 + F2() o`
u F () = F () F ( ) avec F ( ) = limx% F (x).
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
29
La somme precedente est denombrable car F na quun nombre denombrable de discontinuite dapr`es la Proposition 2.3.2.
D
emonstration : Notons que (2.4) montre que
si G(t) nest pas un saut de X G(U ) :
P(X < G(t) = P(G(U ) < G(t)) = P(U t) = t.
Si G(t) est un saut de X, on a G(t) = et
P(X < G(t)) = P(X < ) = F ( ).
De plus, G(t) est un saut de X si t [F ( ), F ()[, ie. t est saute par X.
En general, en notant les dates de sauts de F et en utilisant pour une variable aleatoire
Z positive :
Z +
E[Z] =
P(Z > t) dt
0
on a avec (2.3) :
1
Z 1
E[F (X)] =
1 P(F (X) t) dt =
1 P(X < G(t)) dt
0
0
Z
X Z F ()
1 P(X < ) dt + S
=
(1 P(U t)) dt
Z
F ( )
[F (
F ()(1 F ( ))
F ()(1 F ( ))
X Z
saut
X
saut
),F ()[c
F ()
F ( )
(1 t) dt
(1 t) dt +
0
2 F () !
1
t
+
F ()
2 F ( )
2
X F ()2
1
=
+
.
2
2
saut
2.5
2.5.1
Exemples de variable al
eatoire
Variables al
eatoires discr`
etes
D
efinition 2.5.1 (Variable al
eatoire discr`
ete) Une variable aleatoire X : (, F, P)
B, B) est discr`ete si son support (tel que defini dans la Definition 2.2.3) est au plus denombrable. Autrement dit, X est `a valeurs dans un ensemble au plus denombrable.
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
30
Notons que S(X) est ladherence de lensemble des atomes de X (les atomes et leurs points
daccumulation).
En effet si on note A lensemble de ses atomes, on a A S(X) car si x A nest pas
dans S(X) alors S(X) B \ {x} serait de probabilite PX (B \ {x}) = 1 P(X = x) < 1,
ce qui est absurde. Comme S(X) est ferme, on a aussi A S(X) et il y a donc legalite
A = S(X) car A est ferme et de mesure PX egale a` 1.
Rappel (Mesure de Dirac). La mesure de Dirac a en a est definie par
1 si a A
a (A) =
0 sinon.
Si X est une variable aleatoire discr`ete alors sa loi est une somme de mesures de Dirac en
ses atomes :
X
PX =
P(X = x) x .
xS(X)
xS(X) {x}
[
PX (A) = P(X A) = P X A S(X) = P X
(A {x})
xS(X)
= P
[
X A {x}
xS(X)
X
P X A {x} =
P(X = x, x A)
xS(X)
xS(X)
xS(X)
PX (xi ) = P(X = xi ) = pi
et
PX =
pi xi .
iI
La loi est donc donnee par lensemble des atomes (le support, aux points daccumulation
des atomes pres) et leur probabilite ponctuelle. Pour une variable aleatoire reelle on precise
la forme de la fonction de repartition :
Proposition 2.5.1 Soit X une variable aleatoire reelle discr`ete de support S(X) = {xi :
i I} suppose ordonne (xi < xi+1 ). La fonction de repartition FX de X est croissante de
0 en `a 1 en +, constante sur chaque intervalle [xk , xk+1 [ avec un saut pk en chaque
atome xk .
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
31
Il est clair que la fonction FX determine compl`etement la loi de X : les points du support
sont les points de sauts de FX et la probabilite associee est donnee par
pi = FX (xi ) FX (xi1 ).
Autrement dit PX ([a, b]) = FX (b) limxa FX (x) = FX (b) FX (a ). On retrouve donc
la loi a` partir de FX .
D
emonstration : Dabord FX est a` valeurs positives car une probabilite est toujours
positive. Si s < t,
F (t) F (s) = P(X t) P(X s)
= P(X s) + P(s < X t) P(X s)
X
= P(s < X t) =
pi 0
i : s<xi t
donc FX est croissante. Puis si s < t sont dans [xk , xk+1 [ alors
X
F (t) F (s) =
pi = 0
i : s<xi t
car la somme est vide : il ny a pas datome xi entre s et t. Sil y en avait un, il serait a
fortiori entre xk et xk+1 , ce qui est exclu, car par lindexation, les atomes xk et xk+1 sont
consecutifs.
Puis avec s = xk et t = xk+1 , on a
X
X
F (xk+1 ) F (xk ) =
pi =
pi = pk+1
i:xk <xi xk+1
car xk+1 est le seul atome dans ]xk , xk+1 ]. Il y a donc un saut pk+1 en xk+1 . Enfin,
X
lim FX (t) = lim
pi = 0
t
i:xi t
car pour t inf k (xk ), la somme est vide donc par convention nulle. Et
X
X
lim FX (t) = lim
pi =
pi = 1
t+
t+
i:xi t
{i:xi R}
pi = 1.
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
32
Soit X une variable aleatoire qui prend les valeurs x1 , . . . , xn avec les probabilites respectives p1 , . . . , pn et p1 + + pn = 1. Alors son support est S(X) = {x1 , . . . , xn } et sa
loi est donnee par :
P X = p 1 x 1 + + p n x n .
Ici pi = P(X = xi ). Cest le cas general dune loi discr`ete a` support fini.
Lorsque tous les atomes ont meme probabilite on obtient une loi equirepartie : X est
equirepartie sur un ensemble fini {x1 , . . . , xn } si S(X) = {x1 , . . . , xn } et
n
X
1
x i .
PX =
n
i=1
Exemple : la variable aleatoire X qui indique la face 1, . . . , 6 obtenue par le lancer dun de
suit la loi equirepartie (ou uniforme) sur {1, . . . , 6}.
Si A F est un ev`enement, alors X = 1A est une variable aleatoire. Elle vaut 1 si
lev`enement A est realise 0 sinon, son support est donc S(X) = {0, 1} et sa loi :
PX = p1 + (1 p)0 .
Il sagit de la loi de Bernoulli b(p) o`
u p = P(A).
De facon generale, une variable aleatoire X suit la loi de Bernoulli de param`etre p [0, 1]
si elle ne prend que deux valeurs, la plupart du temps 0 et 1 avec :
P(X = 1) = p,
P(X = 0) = 1 p := q.
Exemple : pile ou face avec p = 1/2 si la pi`ece est equilibree, p 6= 1/2 si elle est truquee.
Une variable aleatoire X binomiale B(n, p) si S(X) = {0, . . . , n} et
n
X
n k
PX =
p (1 p)nk k .
k
k=0
Exemple : la loi qui indique le nombre de succ`es dans une suite de n epreuves chacune
ayant une probabilit
e p de succ`es est la loi B(n, p).
n
n!
On rappelle que
=
est le coefficient binomial. Il sagit bien dune loi de
k!(n k)!
k
probabilite car la formule du binome de Newton (do`
u le nom de la loi) donne :
n
X
n
n k
p (1 p)nk = p + (1 p) = 1n = 1.
k
k=0
Une variable aleatoire X suit la loi geometrique de param`etre p ]0, 1[ notee G(p) si
S(X) = N et
+
X
PX =
(1 p)n1 p n .
n=1
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
33
+ n
X
e
n=0
n!
n .
Il sagit donc dune variable aleatoire discr`ete puisque S(X) = N. Cette loi sert a` modeliser
le temps dattente dans les files dattente. Elle sert aussi souvent a` modeliser des effectifs
de petite taille.
Proposition 2.5.2 Soit X une variable aleatoire reelle discr`ete dont la loi est donnee par
P(X = xj ) = pj , j J et soit g : R R une application mesurable (dont le domaine
contient au moins S(X)). Alors Y = g(X) est une variable aleatoire reelle discr`ete dont la
loi est donnee par le support {yi : i I} = g(X{xj : j J}) et de probabilites ponctuelles
X
pj .
qi = P(Y = yi ) =
jJ:g(xj )=yi
D
emonstration : Les valeurs prises par Y sont les g(xj ) pour xj S(X). Puis si yi est
lune de ces valeurs alors g 1 (yi ) est lensemble des valeurs que X doit prendre pour avoir
Y = yi par g et
X
P(X = xi ).
P(Y = yi ) = P(Y 1 (yi )) = P X 1 (g 1 ({yi })) = PX (g 1 ({yi })) =
xi g 1 ({yi })
` partir de la loi dun vecteur aleatoire discret, on recup`ere facilement la loi des marA
ginales. Le resultat suivant lexplique pour un couple aleatoire, le cas dun vecteur general
est analogue.
Proposition 2.5.3 Si (X, Y ) est un couple aleatoire de variables aleatoires discr`etes de
support S(X, Y ) = {(xi , yj ), i I, j J}, les domaines des marginales X, Y sobtiennent
par projection :
S(X) = p1 S(X, Y ) = {xi , i I}, S(Y ) = p2 S(X, Y ) = {yi , i I}
o`
u p1 , p2 sont les premi`ere et seconde projections
R2 R
R2 R
.
p1 :
,
p2 :
(x, y) 7 x
(x, y) 7 y
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
34
Les lois marginales PX , PY (ie. les lois de X et de Y, ses marginales) sont donnees par :
X
xi S(X), PX (xi ) = P(X = xi ) =
P(X = xi , Y = yj ),
jJ
yi S(Y ),
PY (yj ) = P(Y = yj ) =
P(X = xi , Y = yj ).
iI
D
emonstration : Il suffit de faire la preuve pour le support et les probabilites ponctuelles
de X. Or pour i fixe {X = xi } est la reunion de la famille denombrable dev`enements deux
a` deux disjoints {X = xi , Y = yj } pour tous les j tels que yj S(Y ) car { : S(Y ) =
yj }j est une partition de . On conclut alors par -additivite de P :
[
P(X = xi ) = P {X = xi } {Y = yj }
j
= P
[
X
{X = xi , Y = yj } =
P(X = xi , Y = yj ).
jJ
Puis {xi : i I} et {yj : j J} sont bien dune part les projections de S(X, Y ) sur les
premier et second facteurs de R2 = R R et dautre part les domaines de X et de Y .
Exemples : Pour des variables aleatoires discr`etes.
On donne le tableau de P(X = xi , Y = yj ) :
X \ Y y1 = 1 y2 = 2 y3 = 3 y4 = 5
x1 = 0
0, 1
0, 05 0, 15
0
0, 3
x2 = 2 0, 05
0, 2
0, 05
0, 1 0, 4
x3 = 3
0, 1
0
0, 1
0, 1 0, 3
0, 25
0, 25
0, 3
0, 2
1
On en deduit la loi de X : S(X) = {0, 2, 3} et
P(X = 0) = 0, 3,
P(X = 2) = 0, 4,
P(X = 3) = 0, 3
P(Y = 2) = 0, 25,
P(Y = 3) = 0, 3,
P(Y = 5) = 0, 2.
Notons quil ny a pas unicite des couples (X, Y ) donnant les memes marginales. Ainsi, le
couple suivant different du precedent partage les memes marginales.
X \ Y y1 = 1 y2 = 2 y3 = 3 y4 = 5
x1 = 0
0, 1
0, 1
0
0, 1 0, 3
x2 = 2
0, 1
0, 1
0, 1
0, 1 0, 4
x3 = 3 0, 05
0, 05
0, 2
0
0, 3
0, 25
0, 25
0, 3
0, 2
1
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
2.5.2
35
Variables al
eatoires `
a densit
e
Rappels de th
eorie de la mesure
D
efinition 2.5.2 (Absolue continuit
e) Soit (X, A) un espace mesurable muni de deux
mesures et . On dit que est absolument continue par rapport `a si pour tout A A,
on a
(A) = 0 = (A) = 0.
On le note .
Th
eor`
eme 2.5.1 (Radon-Nikodym) Soit et des mesures -finies. Si , alors
il existe f : (X, A) R mesurable telle que pour tout A A
Z
(A) =
f d.
A
La fonction f sappelle la densite de par rapport `a . Elle est positive si les mesures sont
. De plus
positives. On la note f = d
d
Si est une mesure finie alors f L1 () ;
On a le lien suivant entre les integrales par rapport `a et celles par rapport `a :
Z
Z
g d = gf d.
Les lois des variables aleatoires reelles sont des mesures sur lespace (R, B(R)). Cet espace
a pour mesure de reference la mesure de Lebesgue . On peut donc se demander sil y a
une relation dabsolue continuite entre la loi PX dune variable aleatoire X et la mesure de
Lebesgue sur R.
Ce nest evidemment pas toujours vrai : aucune loi discr`ete nest absolument continue par
rapport `a puisque quune telle loi PX a, par definition, des atomes :
PX (x) = P(X = x) > 0,
alors que
({x}) = 0.
Il suffit davoir un atome pour quune loi ne soit pas abolument continue par rapport a` la
mesure de Lebesgue. Par definition, les lois qui sont absolument continues par rapport `a la
mesure de Lebesgue sont les lois `a densite :
D
efinition 2.5.3 (Variable al
eatoire `
a densit
e) Une variable aleatoire X est une variable aleatoire de densite f si PX et
Z
A B(R), P(X A) =
f d.
A
Rb
a
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
36
Dans les calculs dintegration, on a alors lecriture symbolique dPX (x) = f (x)dx. Noter
quune variable aleatoire `a densite na pas datome
Z
P(X = x) =
f (y)dy = 0.
{x}
R
Remarque 2.5.1 On observe que la densite f doit verifier f (x) 0 et R f (x)dx = 1.
R +
Reciproquement, toute fonction f mesurable positive dintegrale f (x)dx = 1 est une
densite de probabilite. Par exemple,
2
ex /2
,
2
1
1[a,b] ,
ba
ex 1R+ (x),
1
(1 + x2 )
sont les densites respectivement des lois normale standard N (0, 1), uniforme U([a, b]), exponentielle E() et de Cauchy C(1). Plus generalement, la loi normale (ou de Gauss) N (m, 2 )
est de densite
2
2
e(xm) /(2 )
.
fm,2 (x) =
2 2
Proposition 2.5.4 (Support dune variable al
eatoire `
a densit
e) Soit X une variable
R
aleatoire reelle de densite f . Notons Sf = x R : V (x) voisinage de x V (x) f (x)dx > 0
le support de f . Alors S(X) = Sf .
R
D
emonstration : Lensemble Sfc = x R : V (x) voisinage de x V (x) f (x)dx = 0 est
S
un ouvert de R donc reunion iI ]ai , bi [ de ses composantes connexes. Si ]ai , bi [ est bornee,
Rb
S
P R
par compacite, on a [ai , bi ] pj=1 V (xj ) et 0 aii f (y)dy pi=1 V (xj ) f (y)dy = 0. Si
]a , b [ nest pas bornee on proc`ede de la meme facon sur tout borne de ]ai , bi [ pour avoir
R bii i
R
f (y)dy = 0. Finalement, on montre que S c f (y)dy = 0. On a alors P(X Sfc ) =
ai
f
R
f
(y)dy
=
0
et
donc
S(X)
S
car
S
est
un
ferme de probabilite 1.
c
f
f
S
f
Reciproquement,
soit F ferme avec P(X F ) = 1. Alors U = F c est ouvert et 0 = P(X
R
U ) = U f (y)dy. Ainsi si x U alors
Z
o
n
x x R : V (x) voisinage de x
f (y)dy = 0 .
V (x)
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
37
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
38
f (t) dt.
(2.5)
n > x,
n+
2) On fixe x0 R quelconque. Dabord FX est continue a` droite en tout point car cest une
fonction de repartition.
Il reste a` voir la continuite `a gauche. Par monotonie, il suffit de verifier, pour une xn < x0
une suite croissante qui converge vers x0 :
lim FX (xn ) = FX (x0 ).
n+
On a
x0
FX (x0 ) FX (xn ) =
Z
f (t)dt =
xn
Or |f (t)1[xn ,x0 ] (t)| f (t), integrable, puisque f est une densite, puis pour presque chaque
t R, f (t)1[xn ,x0 ] (t) 0 puisque limn+ 1[xn ,x0 ] (t) = 1[t0 ,t0 ] (t).
Le theor`eme de convergence dominee de Lebesgue sapplique et donne
Z
lim FX (x0 ) FX (xn ) =
0 dt = 0,
n+
x0 +h
Pour tout h tel que 0 < |h| < , on a alors FX (x0 + h) FX (x0 ) =
Z
|FX (x0 + h) FX (x0 ) hf (x0 )| =
x0 +h
x0
f (t) f (x0 ) dt
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
Z
x0 +h
x0
39
f (t) f (x0 ) dt |h|.
f (t) dt
F (x) =
(2.6)
o`
u f est mesurable positive alors X admet necessairement f pour densite.
Une fonction satisfaisant (2.6) est dite absolument continue. En fait, la loi de X est absolument continue (en tant que mesure) ssi sa fonction de repartition est absolument continue
(en tant que fonction).
D
emonstration : Dabord comme F est une fonction de repartition, on montre facilement
que f est une densite puisque f 0 et
Z +
f (x)dx = lim F (x) = 1.
x+
(A) =
A B(R)
alors est une mesure de probabilite de densite f et dapr`es la forme de F en (2.6), les
mesures PX et concident sur la famille C = {] , x] : x R}. Comme cette famille
engendre B(R) et est un -syst`eme (stable par intersection), par un argument de classe
monotone, PX = sur B(R). Finalement, PX admet bien f pour densite.
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
40
D
efinition 2.5.5 (Vecteur al
eatoire) Le vecteur aleatoire (X1 , . . . , Xd ) suit la loi de
densite f si pour tous les intervalles [ai , bi ], i = 1, . . . , d
b1
b2
bd
...
ad
a2
a1
` nouveau, le sens des bornes dans les intervalles (ouvertes ou fermees) nest pas important.
A
` nouveau encore, la densite caracterise la loi : si (Y1 , . . . , Yd ) a meme loi que (X1 , . . . , Xd )
A
alors ce vecteur a la meme densite et reciproquement.
Proposition 2.5.7 Soit X une variable aleatoire `a valeurs dans Rd de densite fX et soit
g : Rd Rd un diffeomorphisme de Rd (bijection contin
ument differentiable ainsi que son
inverse). Alors Y = g(X) est une variable aleatoire `a valeurs dans Rd qui admet pour
densite la fonction
fY (y) = fX (g 1 (y)) |Jac g 1 (y)|, y Rd
gi
o`
u Jac g(x) = det x
:
1
i,
j
d
est le jacobien de g.
j
D
emonstration : On calcule pour B B(Rd )
Z
Z
1
1{xg1 (B)} fX (x)dx =
P(g(X) B) = P(X g (B)) =
1B (g(x))fX (x)dx.
Rd
Rd
Proposition 2.5.8 (Densit
e marginale) Si (X, Y ) est un couple aleatoire de loi de densite f , ses lois marginales PX , PY sont donnees par :
Z b Z +
A B(R), PX (A) = P(X A) =
f (x, y) dxdy,
a
Z bZ
B B(R), PY (B) = P(Y B) =
f (x, y) dydx.
a
R +
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
41
D
emonstration : La preuve est une application directe du theor`eme de Fubini-Tonelli
sur les integrales doubles une fois quon a remarque que
PX (A) = P(X A) = P(X A, Y R) = P(X,Y ) (A R)
Z
Z Z
Z
=
f (x, y) dxdy =
f (x, y)dy dx =
fX (x)dx
AR
R +
avec la densite annoncee fX (x) = f (x, y)dy. Il sapplique sans probl`eme car par definition dune densite, f est positive (et meme integrable sur R2 ). Idem pour Y .
Exemples : Considerons f (x, y) = 31 1[0,1][1,2] (x, y). Il sagit bien dune densite car f
est positive et
Z Z
Z Z
1
f (x, y) dxdy =
1[0,1][1,2] (x, y) dxdy
3
2
R2
R
Z Z
1
=
1[0,1] (x) 1[1,2] (y) dxdy
3
R2
Z
Z +
1 +
=
1[0,1] (x) dx
1[1,2] (y) dy = 1.
3
|
{z
} |
{z
}
=1
=2(1)=3
Considerons un couple (X, Y ) de loi de densite f . La loi de X est alors de densite donnee
par :
Z
Z
Z +
1 +
1 +
1[0,1][1,2] (x, y)dy =
1[0,1] (x) 1[1,2] (y)dy
fX (x) =
f (x, y)dy =
3
3
Z
1 +
1[1,2] (y)dy = 1[0,1] (x).
= 1[0,1] (x)
3
|
{z
}
=1
f (x, y) =
2
x2
y0 2
2 2
2( )
2 0
est la densite dun couple (X, Y ) de R2 . Montrer que X est de loi N (0, 2 ) et Y de loi
N (0, ( 0 )2 ).
Montrer que
f (x, y) = yexy 1R+ (x)1[0,1] (y)
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
42
est la densite dun couple (X, Y ) de R2 . Montrer que X est de loi donnee par la densite
fX (x) =
1 ex xex
1R+ (x)
x2
1
6
e
. Il sagit dune densite car
Soit f (x, y) = 3
Z Z
Z Z
x2 +2xy+5y 2 dxdy
6
f (x, y)dxdy =
e
3
R2
R2
Z Z
Z Z
(x+y)2
(x+y)2 +4y 2 dxdy
4y 2 dxdy
6
e
e 23 e 23
=
=
3
3
2
R2
Z Z
Z RZ
(x+y)2
4y 2 dy
4y 2 dy
z2
e 23 dx e 23
=
e 23 dz e 23
=
3
3
R
R
R
ZR
Z
y2
4y 2 dy
dy
=
2 3e 23
=
e 2(3/4) p
=1
3
2 3/4
R
R
Z
t2
2
en utilisant la normalisation de la loi normale N (0, ) :
e 22 dt = 2 2 .
R
Z
( 1 x+ 5y)2 +4x2 /5
5
dy
dy
6
6
e
f (x, y)dy =
fX (x) =
e
=
3
3
R
R
R
Z
Z
( 1 x+ 5y)2
z2
4x2
4x2 dy
4x2
5
dz
2 3
6
e
=
e 30
= e 30
e 23 = e 30
3
3 5
3 5
R
R
4x2
1
= p
e 30 .
15/2
2 +2xy+5y 2
6
6
=
e
=
e 23 e 6
e
fY (y) =
f (x, y)dx =
3
3
3
R
R
R
R
Z
2
2
2
2
(x+y) dx
4y
4y
4y
2 3
1
e 23
= e 6
=p
e 6 .
= e 6
3
3
3/2
R
Les marginales X et Y sont donc de lois N (0, 15/4) et N (0, 3/4).
G
en
eralisation au cas gaussien
Soit : Rn R une forme quadratique positive. Notons
Z
C=
e(x1 ,...,xn ) dx1 . . . dxn .
Rn
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
43
1 (x1 ,...,xn )
e
C
est dit gaussien. Ses marginales sont des variables aleatoires gaussiennes en dimension 1.
On traitera ce type de vecteur en detail dans le Chapitre 9.
2.5.3
Lois de probabilit
e usuelles
Dans cette section, nous presentons les principales lois de probabilites usuelles. Nous
donnons les atomes xi et leur probabilite pocntuelle pi dans le cas discret ou la densite avec
son support dans le cas a` densite. En anticipant sur les Chapitres 3 et 4, nous donnons
egalement pour chaque loi son esperance, sa variance et sa fontion caracteristique. Pour
chaque loi, on decrit son interpretation pour un mod`ele simple.
1. Loi de Bernoulli b(p), p [0, 1] : P = (1 p)0 + p1 .
Une variable aleatoire X suit la loi de Bernoulli b(p) si
P(X = 0) = 1 p,
P(X = 1) = p.
X (t) = 1 p + peit .
n
X
n
k=0
pk (1 p)nk k .
X (t) = (1 p + peit )n .
r
j = 1, . . . , r.
1X
x .
r j=0 j
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
44
Cette loi modelise une experience a` r issues possibles, chacune ayant la meme probabilite
1/r. Le resultat X de cette experience suit la loi uniforme (ou equirepartie).
E[X] =
x1 + + xr
r
Lorsque la loi est U(1, . . . , r), on peut preciser esperance, variance et fonction caracteristique
E[X] =
r+1
,
2
Var(X) =
r2 1
,
12
4. Loi g
eom
etrique G(p), p ]0, 1[ : P =
+
X
1 1 eirt
X (t) = eit
.
r 1 eit
p(1 p)k1 k .
k=1
k 1.
Cette loi mod`elise le rang du premier succ`es dans une suite dexperiences independantes,
chacune ayant la probabilite p de succ`es. Ce rang X suit la loi geometrique. Par exemple
X = 4 signifie que les trois premi`eres experiences ont echoue et la 4`eme reussi.
1
E[X] = ,
p
Var(X) =
1p
,
p2
+
X
X (t) =
peit
.
1 (1 p)eit
k
k .
k!
k=0
Une variable aleatoire X suit la loi de Poisson P() si
k
, k N.
k!
Cette loi intervient pour modeliser les occurences dev`enements peu probables.
P(X = k) = e
E[X] = ,
Var(X) = ,
6. Loi hyperg
eom
etrique* H(N, n, m), N N , 1 n, m N , p ]0, 1[.
Une variable aleatoire X suit la loi hypergeometrique H(N, n, m) si
m N m
P(X = k) =
nk
N
n
et = 0 sinon. Cette loi modelise le tirage en une seule fois et sans remise de n boules dans
une urne contenant N boules dont m sont blanches et N m sont rouges. Le nombre X
de boules blanches tirees suit la loi hypergeometrique.
E[X] = n
m
,
N
Var(X) =
N n mN m
n
.
N 1 N N
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
45
n!
pn1 . . . pnd d
n1 ! . . . nd ! 1
pour n1 + + nd = n
et = 0 sinon. Si on dispose de n boules que lon jette une par une aleatoirement dans d
botes differentes, chaque boule ayant la probabilite pi detre jetee dans la i-`eme bote, les
nombres (X1 , . . . , Xd ) de boules dans les botes suivent la loi multinomiale.
Var(Xj ) = npj (1 pj ), Cov(Xj , Xk ) = npj pk ,
P
n
d
itj pj
X (t1 , . . . , td ) =
p
e
.
j
j=1
a+b
,
2
Var(X) =
(b a)2
,
12
X (t) =
eitb eita
.
it(b a)
1
,
Var(X) =
1
,
2
X (t) =
.
it
On motre que la loi exponentielle est caracterirsee par la propriete dabsence de memoire :
Proposition 2.5.9 Une variable aleatoire X positive est exponentielle i elle verifie la propriete dabsence de memoire :
P(X t + s|X s) = P(X > t), pour tout t, 0
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
46
D
emonstration : Dabord si X E() alors
P(X > t + s, X > s)
P(X > t + s)
e(t+s)
=
=
= et
P(X > s)
P(X > s)
es
= P(X > t).
Ensuite, si on note f (t) = P(X > t) alors la propriete dabsence de memoire secrit
f (t + s) = f (t)f (s).
(2.7)
De plus, f (0) = P(X 0) = 1. Comme f (t) [0, 1], la seule solution de ce type dequation
fonctionnelle (2.7) est f (t) = et . En effet on a f (n) = f (n 1)f (1) = f (1)n ; puis
p
f (1) = f ( nn ) = f ( n1 )n , soit f ( n1 ) = f (1)1/n . On en deduit que f ( pq ) = f (1)p/q = e q en
ecrivant f (1) = e . On a donc f (x) = ex pour tout x Q. En effet, sil existe x R+
tel que f (x) 6= ex alors par exemple f (x) > ex et on peut choisir r Q tel que
f (x) > er > ex , ce qui exige r < x ; mais alors par deroissance de f , on a
f (x) f (r) = er < f (x),
ce qui est aburde. Finalement, f (x) = ex pour tout x R, ie P(X t) = et et
X E().
10. Loi gamma* (p, ), p > 0 et > 0.
Une variable aleatoire reelle X suit une loi gamma (p, ) si sa densite par rapport `a la
mesure de Lebesgue est
p p1 x
x e 1]0,+[ (x)
f (x) =
(p)
R +
o`
u (p) := 0 xp1 ex dx est la fonction dEuler de seconde esp`ece.
p
p
p
it
11. Loi du chi-deux* 2 (n), n N .
Une variable aleatoire reelle X suit une loi de chi-deux 2 (n) si sa densite par rapport a` la
mesure de Lebesgue est
( 21 )n/2 n 1 x
x 2 e 2 1]0,+[ (x).
f (x) =
( n2 )
E[X] = n,
Var(X) = 2n,
X (t) =
1
.
(1 2it)n/2
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
47
B(p + 1, q)
,
B(p, q)
Var(X) =
(p +
pq
.
+ q + 1)
q)2 (p
Var(X) = 1,
X (t) =
1
.
1 + t2
X (t) = ea|t| .
Var(X) = 2 ,
X (t) = eimt
2 t2
2
c
Chapitre 2.
JCB
L3/M1 Math Universite de Rennes 1
48
1
X (t1 , . . . , td ) = exp ihm, ti t t .
2
E[(X1 , . . . , Xd )] = m,
(Cov(Xi , Xj ))1i,jd = ,
Chapitre 3
Esp
erance dune variable al
eatoire
3.1
Rappels dint
egration
On commence dans cette section par des rappels dintegration en theorie de la mesure.
On renvoie a` [JCB-IM] pour des details ou des preuves.
D
efinition 3.1.1 (Espace produit) Soient (X, A, ) et (Y, B, ) deux espaces mesures.
Sur lespace produit X Y = {(x, y) : x X, y Y }, on appelle tribu produit A B
la tribu de X Y engendree par les produits A B pour A A, B B. Il sagit de la
tribu la plus naturelle sur X Y .
Sur lespace produit X Y muni de la tribu produit A B, on definit la mesure
produit de la facon suivante
(A B) = (A)(B).
En definissant sur la classe des paves A B, A A, B B, comme elle engendre la
tribu produit A B, par un argument de classe monotone, est bien definie sur tout
A B.
Exemple. Sur Rn , la tribu borelienne de Rn concide avec la tribu produit des tribus
boreliennes des espaces facteurs R (cf. Remarque 1.1.1) :
B(Rn ) = B(R) B(R) .
{z
}
|
n fois
Un borelien typique de Rn est le pave [a1 , b1 ] [an , bn ].
En general en dimension n, on utilise la mesure de Lebesgue de dimension n, il sagit de la
mesure produit des mesures de Lebesgue sur R : n =
}. Par exemple,
| {z
n
fois
n [a1 , b1 ] [an , bn ] = (b1 a1 ) (bn an ).
49
c
Chapitre 3.
JCB
L3/M1 Math Universite de Rennes 1
3.1.1
50
Th
eor`
emes de Fubini
B-mesurable.
2. Puis, on a
Z Z
Z
Z Z
f (x, y)d(x) d(y).
f (x, y)d(y) d(x) =
f d( ) =
XY
D
emonstration : Cf. notes de cours d Integration et mesures [JCB-IM].
Alors
1. Pour -presque chaque x, la fonction f (x, ) est -integrable et pour -presque chaque
y, la fonction f (, y) est -integrable.
R
R
Posons I(x) = Y f (x, )d et J(y) = X f (, y)d, alors
2. Les fonctions I et J sont respectivement - et -integrables.
3. On a
Z
Z
Z
f d( ) =
Id =
Jd.
XY
D
emonstration : Cf. notes de cours d Integration et mesures [JCB-IM].
c
Chapitre 3.
JCB
L3/M1 Math Universite de Rennes 1
51
3.1.2
Changement de variable
Forume de transfert
Soient (X, A) et (Y, B) deux espaces mesurables et : (X, A) (Y, B) une fonction
mesurable.
Si on consid`ere une mesure sur (X, A) alors la mesure image = est une mesure
sur (Y, B). On a un lien entre les integrales par rapport `a sur X et celle par rapport a`
= 1 = sur Y :
C mesurable alors h est Th
eor`
eme 3.1.3 (Transfert) Soit h : (Y, B) K = R, R,
integrable ssi h est -integrable et
Z
Z
h d =
h d.
(3.1)
X
Il sagit dune formule de changement de variable abstraite, tr`es generale puisque la seule
condition pour le changement de variable y = (x) est que soit mesurable !
Malheureusement, la nouvelle mesure = nest pas explicite du tout. Ce resultat est
donc essentiellement abstrait et difficile a` utiliser pour des calculs explicites. Cependant
dans le cas probabiliste, cest ce resultat qui va permettre dexprimer une esperance comme
un calcul explicite dintegrale contre la loi de la variable aleatoire.
On propose ci-dessous des resultats plus explicites, avec des conditions plus restrictives sur
le changement de variables.
c
Chapitre 3.
JCB
L3/M1 Math Universite de Rennes 1
52
Cas de lint
egrale de Riemann
Soit I un intervalle de R et : I R strictement monotone et C 1 tel que 0 ne sannule
pas sur I. Alors on a
Z
Z
f (x)dx =
f (1 (y))|(1 )0 (y)| dy.
I
(I)
dx = (1 )0 (y)dy.
cest `a dire
Cas de lint
egrale de Lebesgue
D
efinition 3.1.2 (Diff
eomorphisme) Soit F : D Rn D0 Rn o`
u D et D0 sont des
ouverts. Lapplication F est appelee un diffeomorphisme si cest une bijection de classe C 1
dont la bijection reciproque est aussi de classe C 1 .
D
efinition 3.1.3 (Jacobien) La matrice jacobienne dun changement de variable
y = F (x) (y1 , . . . , yn ) = (F1 (x1 , . . . , xn ), . . . , (Fn (x1 , . . . , xn ))
est
JF (x) = JF (x1 , . . . , xn ) =
F1
x1
..
.
Fn
x1
F1
xn
..
.
Fn
xn
(V )
pour toutes fonctions f et h mesurables telles que f est -integrable et h est -integrable.
c
Chapitre 3.
JCB
L3/M1 Math Universite de Rennes 1
53
D
emonstration : Cf. cours d Integration et mesures [JCB-IM].
:
, r [0, +[, [0, 2[.
y = r sin
Conformement au Theor`eme 3.1.4, on remplace alors dxdy par rdrd car le jacobien du
changement de variable est
cos r sin
= r cos2 + r sin2 = r.
J1 (r, ) =
sin r cos
Ainsi :
Z Z
f (x, y) dxdy =
R2
f (x, y) dxdy
Z Z
f (r cos , r sin ) rdrd.
=
[0,+[[0,2[
x = r cos cos
1
y = r cos sin
(r, , ) = (x, y, z)
z = r sin
o`
u ] /2, /2[ est la latitude, [0, 2[ est la longitude et r [0, +[ la distance `a
lorigine. Le jacobien du changement de variable est
cos cos r sin cos r cos sin
J1 (r, , ) = cos sin r sin sin r sin cos = r2 cos .
sin
r cos
0
Ainsi le Theor`eme 3.1.4 secrit pour le changement de variable en spheriques :
Z Z Z
f (x, y, z)dxdydz
3
R
Z Z Z
f (r cos cos , r cos sin , r sin )r2 cos drdd.
=
[0,+[[0,2[] 2 , 2 [
c
Chapitre 3.
JCB
L3/M1 Math Universite de Rennes 1
54
G
en
eralisation pour un changement de variables dans Rn
Ce type de changement de variable (polaires en dimension 2, spheriques en dimension 3)
se generalise en dimension n pour passer de (x1 , . . . , xn ) a` (r, 1 , . . . , n1 ) :
x1
x2
= r cos 1 cos 2 . . . cos n2 sin n1 ,
...
= ...
x
=
r cos 1 sin 2 ,
n1
xn
= r sin n .
3.2
Esp
erance dune variable al
eatoire r
eelle
c
Chapitre 3.
JCB
L3/M1 Math Universite de Rennes 1
55
D
efinition 3.2.2 (Variable centr
ee) Une variable aleatoire X integrable est dite centree si E[X] = 0.
Cons
equence : Comme lesperance E[X] est rien dautre que lintegrale (au sens de Lebesgue) de la fonction mesurable X par rapport `a la mesure de probabilite P, des proprietes
de lintegration, on deduit pour des variables aleatoires integrables X, Y et des reels a, b :
Proposition 3.2.1
Z
X dP =
x PX (dx).
R
D
emonstration : On applique le theor`eme de transfert avec la fonction mesurable =
X : (, F, P) R, la mesure image PX et la fonction h(x) = x :
Z
Z
h X dP =
h dPX .
c
Chapitre 3.
JCB
L3/M1 Math Universite de Rennes 1
56
n0
D
emonstration : Dapr`es le theor`eme de Fubini, on peut ecrire
Z
Z +
Z +
Z +
1{X>t} dt = E
P(X > t) dt =
E[1{X>t} ] dt = E
0
dt = E[X].
Pour la deuxi`eme partie, on voit que pour t [n, n + 1], on a P(X > n + 1) P(X > t)
P(X > n) et donc
Z n+1
P(X > t)dt P(X > n)
P(X > n + 1)
n
puis en sommant
X
Z
P(X > n + 1)
P(X > t) dt
0
n0
P(X > n)
n0
en decomposant [0, +[ en intervalles [n, n+1[. De la meme facon avec [0, +[=
Z +
X
X
n
n+1
2 P(X > 2 )
P(X > t) dt
2n P(X > 2n )
n0
n0
S+
n n+1
[
n=0 [2 , 2
c
Chapitre 3.
JCB
L3/M1 Math Universite de Rennes 1
et comme 0
57
R1
P(X > t) dt 1 on a
Z +
X
X
n
n+1
2 P(X > 2 )
P(X > t) dt 1 +
2n P(X > 2n )
0
n0
n0
Esp
erance dune variable al
eatoire discr`
ete
Pour utiliser correctement les lois des Rvariables aleatoires discr`etes, il est essentiel de noter
que, pour une fonction f mesurable f dc = f (c) : cela est clair pour f = 1A puis par
linearite pour f etagee et par convergence monotone pour f positive et enfin par linearite
pour f quelconque.
Soit X : (, F, P) R avec S(X) = {xi : i I} denombrable. La loi de X est donnee
par la mesure de probabilite discr`ete
X
PX =
pi xi
iI
o`
u pi = P(X = xi ), i I. La loi est une somme (denombrable) de mesures de Dirac : en
chaque atome x S(X), il y a la masse P(X = x). Alors X est integrable ssi
X
E[|X|] =
|xi |pi < +
(3.2)
iI
h(xi )pi .
iI
Exemples : (Esp
erance des variables al
eatoires discr`
etes classiques)
Si X = c est une variable aleatoire constante, sa loi est PX = c . Son esperance est
Z
Z
Z
XdP =
cdP = c dP = cP() = c.
E[X] =
c
Chapitre 3.
JCB
L3/M1 Math Universite de Rennes 1
58
Z
On le retrouve aussi avec lexpression E[X] =
xdc (x) = c.
R
n
X
xi
k=1
x1 + + xn
1
=
.
n
n
Soit X de loi binomiale de param`etres n, p notee B(n, p). Son esperance est E[X] = np.
En effet
n
n
X
X
n k
n 1 k1
nk
k
E[X] =
p (1 p)
= np
p (1 p)nk
k
k
1
k=0
k=1
n
X n1
= np
pl (1 p)n1l = np(1 p + p)n1 = np.
l
l=0
Soit X de loi geometrique de param`etre p ]0, 1[, notee G(p). Son esperance est E[X] =
1/p. En effet
!0
+
+
+
X
X
X
(xk )0x=1p = p
xk
k(1 p)k1 p = p
E[X] =
k=1
k=1
= p
1
1x
0
=p
x=1p
k=0
1
(1 x)2
=
x=1p
x=1p
p
1
=
.
(1 (1 p))2
p
+
X
k=0
ke
k!
+
X
k=1
X
k1
l
=
e = .
(k 1)!
l!
l=1
Esp
erance dune variable al
eatoire `
a densit
e
Soit X : (, F, P) R une variable de densite f . La loi de X est donnee par la mesure de
forme integrale
Z
Z b
PX (A) =
f d =
f (x) dx, A B(R), ou [a, b] intervalle
A
c
Chapitre 3.
JCB
L3/M1 Math Universite de Rennes 1
59
o`
u la densite f est une fonction mesurable positive dintegrale 1. Alors X est integrable ssi
Z
E[|X|] =
|x|f (x) dx < +
(3.3)
R
Z
et dans ce cas E[X] =
xf (x) dx.
R
Si
R h : R R est mesurable, alors h(X) est une variable aleatoire, elle est integrable ssi
|h(x)|f (x) dx < +. Son esperance est alors
R
Z
h(x)f (x) dx.
E[h(X)] =
R
Lorsquon consid`ere une variable aleatoire positive, lesperance est forcement definie (mais
possiblement infinie) sans avoir a` verifier (3.3). Si la densite de X admet un support borne
et na pas de singularite, la condition (3.3) est alors directement verifiee et lesperance bien
definie.
Exemples : (Lois `
a densit
e classiques)
Loi uniforme
La variable aleatoire X suit une loi uniforme sur lintervalle [a, b] ( < a < b < +) si
elle a une densite f constante sur cet intervalle et nulle en dehors. Sa densite est alors
1
1/(b a) si t [a, b],
1[a,b] (t) =
f (t) =
0
si t 6 [a, b].
ba
Son esperance est
Z
E[X] =
1
xf (x)dx =
ba
xdx =
a
1 b 2 a2 a + b
=
.
ba 2
2
2
En fait on peut definir une loi uniforme sur un ensemble borelien A R quelconque de
1
meure de Lebesgue finie (pas forcement un intervalle), cest la loi de densite (A)
1A . Dans
ce cas general, il ny a pas de forme explicite de lesperance.
Loi exponentielle
La variable aleatoire X suit une loi exponentielle de param`etre > 0, notee E() si elle
admet pour densite :
f (t) = et 1[0,+[ (t).
Elle est utilisee pour modeliser un temps dattente dun phenom`ene aleatoire. Le temps
dattente moyen est alors
Z
Z +
Z +
t
t +
E[X] =
tf (t)dt =
te dt = te
+
et dt
0
0
+
1
1
= 0+
et 0 = .
c
Chapitre 3.
JCB
L3/M1 Math Universite de Rennes 1
60
Loi de Cauchy
Une variable aleatoire reelle suit une loi de Cauchy de param`etre a R+ si elle admet pour
densite :
a 1
f (t) =
.
a2 + t 2
Z
a|x|
dx = +, la fonction x/(1 +
Son esperance nest pas definie car E[|X|] =
2
2
R (a + x )
x2 ) 1/x nest pas integrable en .
Loi normale (standard)
Une variable aleatoire X0 suit la loi normale standard N (0, 1) si elle admet pour densite
1
2
t 7 et /2 .
2
2
2 /2
Lesperance est bien definie car |t|et /2 est integrable en . Par (im)parite de tet
vient immediatement que son esperance est E[X0 ] = 0.
, il
Dans le cas general X N (m, 2 ), le plus simple est de remarquer que X peut se definir
comme une translatee et dilatee de X0 par
X = m + X0 .
Son esperance est alors E[X] = m + E[X0 ] = m.
e = Xm
Proposition 3.2.4 (Centrer-r
eduire) Si X N (m, 2 ), 2 > 0, alors X
N (0, 1) (cette operation sappelle centrer-reduire). De ce fait, la loi N (0, 1) sappelle la loi
normale centree, reduite.
e N (0, 1) :
Reciproquement, si X N (m, 2 ) alors on peut ecrire, avec X
L
e
X = m + X.
D
emonstration : Il suffit de faire un changement de variable dans
2
exp (xm)
2
2
1m+A
= P(X m + A) =
P
2
2
R
Z
y2
exp 2
xm
=
1A
dy (y =
)
2
R
= P(X A).
2
exp x2
Xm
e N (0, 1).
X m
A
dx
c
Chapitre 3.
JCB
L3/M1 Math Universite de Rennes 1
3.3
61
D
emonstration : Comme (Xn )n1 , la suite E[Xn ], n 1, crot et a donc une limite .
Comme XP
ecessairement E[X].
n X alors E[Xn ] E[X] et n
p
Y X. Pour c ]0, 1[, on note
Soit Y = i=1 ai 1Bi une variable aleatoire etagee telle que S
An = {Xn cY }. Comme Xn Xn+1 , on a An An+1 et n1 An = {X cY } = . On
a
p
p
X
X
E[Xn ] E[Xn 1An ] cE[Y 1An ] = c
ai E[1Bi An ] =
ai P(Bi An ).
(3.5)
i=1
i=1
S
A
= Bi ,
Mais par comme (Bi An )n1 forme une suite croissante de reunion Bi
n
n1
la convergence monotone des probabiliteP
s assure P(Bi An ) P(Bi ) quand n +. En
passant a` la limite dans (3.5), on a pi=1 ai P(Bi ) = E[Y ]. On a donc
sup
Y etageeX
E[Y ] = E[X]
Lemme 3.3.1 (Fatou) Soit (Xn )n0 une suite de variables aleatoires positives. Alors
h
i
E lim inf Xn lim inf E[Xn ].
n+
n+
D
emonstration : On a lim inf n+ Xn = supk0 inf nk Xn = limk+ inf nk Xn o`
u
Yk := inf nk Xn est une suite croissante de variables aleatoires positives. En appliquant
le theor`eme de convergence monotone a` (Yk )k0 , on a
h
i
h
i
E lim inf Xn = E lim Yk = lim E[Yk ].
n+
k+
k+
c
Chapitre 3.
JCB
L3/M1 Math Universite de Rennes 1
62
n+ nk
n0 nk
n+
Proposition 3.3.1 Soit Y une variable aleatoire integrable et soit (Xn )n0 une suite de
variables aleatoires integrables.
h
i
1. Si Y Xn alors E lim inf n+ Xn lim inf n+ E[Xn ].
h
i
2. Si Xn Y alors lim supn+ E[Xn ] E lim supn+ Xn .
D
emonstration : Par le lemme de Fatou, on a
h
i
E lim inf (Xn Y ) lim inf E[Xn Y ]
n+
n+
ce qui prouve 1) en rajoutant E[Y ] qui est finie par hypoth`ese. Pour le 2), on a de la meme
facon
h
i
E lim inf (Y Xn ) lim inf E[Y Xn ]
n+
n+
on retranche E[Y ] < + et on change le signe pour recuperer linegalite sur la lim sup.
Th
eor`
eme 3.3.2 (Convergence domin
ee) Soit (Xn )n0 une suite de variables aleatoires telle que Xn X ps quand n +. Sil existe une variable aleatoire Y integrable
(E[|Y |] < +) telle que pour tout n, |Xn | Y ps alors
lim E[Xn ] = E[X].
(3.6)
n+
Cons
equence. Si la convergence est dominee, on peut intervertir limite et esperance.
D
emonstration : Comme limn+ Xn = X et Y Xn Y , la Proposition 3.3.1 assure
que
h
i
h
i
lim sup E[Xn ] E lim sup Xn = E[X] = E lim inf Xn lim inf E[Xn ]
n+
n+
n+
n+
Le resultat suivant nest valable que pour des integrales par rapport `a une mesure de
probabilite 1, cest a` dire pour des esperances.
c
Chapitre 3.
JCB
L3/M1 Math Universite de Rennes 1
63
Th
eor`
eme 3.3.3 (In
egalit
e de Jensen) Soit : R R une fonction convexe et X :
R une variable aleatoire telle que X et (X) soient integrables. Alors
h
i
E[X] E (X) .
D
emonstration : La convexite de assure quen tout point de son graphe, la courbe de
est au dessus de sa tangente, ie. pour tout y R, il existe dy [0g (y), 0d (y)] tel que
y R,
Remarque 3.3.1
Sil y a egalite dans linegalite de Jensen, alors il y a egalite dans
(X) (E[X])+dE[X] (X E[X]). Si est strictement convexe, cela exige X = E[X]
ps, ie. X est presque s
urement constante.
De plus si legalite (E[X]) E[(X)] a lieu pour toute variable aleatoire reelle X
alors est convexe : en lecrivant pour X de loi px + (1 p)y , on a
(px + (1 p)y) p(x) + (1 p)(y).
Dans la pratique, linegalite de Jensen est le plus souvent utilisee pour les fonctions
de la forme (x) = x, |x|, x2 et 1/x lorsque x 0. En particulier, pour une variable
aleatoire positive dont linverse est integrable, on a
E 1/X 1/E[X].
3.4
D
efinition 3.4.1 (Moment) Une variable aleatoire X : (, F, P) R ou C a un moment dordre p > 0 ssi
Z
p
E[|X| ] =
|X|p dP < +.
D
efinition 3.4.2
(Espace Lp ) Si p (0, +) alors Lp (, F, P) = X : (, F, P) R :
E[|X|p ] < + .
Si p = +, alors L (, F, P) = X : (, F, P) R : il existe c tel que P(|X| > c) = 0 .
Cest lensemble des variables aleatoires presque s
urement bornees.
c
Chapitre 3.
JCB
L3/M1 Math Universite de Rennes 1
64
(3.7)
et donc X + Y Lp (, F, P).
ap
p
bq
.
q
+
.
kXkp kY kq
p E[|X|p ] q E[|Y |]q
c
Chapitre 3.
JCB
L3/M1 Math Universite de Rennes 1
65
c
Chapitre 3.
JCB
L3/M1 Math Universite de Rennes 1
66
p+
En fait, il sagit dune inclusion topologique (linclusion est continue pour la norme Lp ). En
particulier, noter quune variable aleatoire bornee admet des moments de tous les ordres
(cest immediat puisque si |X| M alors E[|X|p ] E[M p ] = M p < +).
D
emonstration : Si X Lq (, F, P), on applique linegalite de Holder avec =
q
p
>1:
c
Chapitre 3.
JCB
L3/M1 Math Universite de Rennes 1
67
Cette structure hilbertienne est intensivement utilisee pour les calculs gaussiens, cf. Chapitre 9.
Exemple de calcul de moments. Pour X N (0, 1), on a (avec des integrations par
parties) :
(2k)!
E[X 2k+1 ] = 0, E[X 2k ] = k .
2 k!
Noter que tous les moments de la loi N (0, 1) sont definis car
Z +
Z +
2
2
k exp(x /2)
k
|x|
E[|X| ] =
xk exp(x2 /2) dx < +.
dx =
2
2 0
3.5
Variance, covariance
En plus du moment dordre 1, lie a` lesperance, le plus important est le moment dordre 2,
lie `a la variance.
D
efinition 3.5.1 (Variance) Si X L2 (, F, P), on definit la variance de X par
Var(X) = E (X E[X])2 .
(3.9)
p
On definit aussi l
ecart-type de X par X = Var(X).
Remarque 3.5.1 Lesperance dune variable aleatoire donne la valeur moyenne (au sens
probabiliste) de la variable aleatoire. Sa variance (ou son ecart-type) mesure la dispersion
des valeurs de la variable aleatoire autour de sa moyenne.
Il est equivalent de dire que la variance de X est finie et que X admet un moment dordre
2 fini ou encore que son ecart-type est fini.
Dans les cas discrets et a` densite, la variance sexprime comme une somme ou comme une
integrale :
Si XPest discr`ete de domaine S(X) = {xi : i I}, avec I denombrable, la loi de X est
PX = iI pi xi et la variance en (3.9) devient
X
X
Var(X) =
(xi E[X])2 PX ({xi }) =
(xi E[X])2 pi .
iI
iI
Si X est une variable aleatoire de densite f alors la loi de X est la mesure de densite f ,
PX (dx) = f (x)dx et la variance en (3.9) devient
Z
Var(X) = (x E[X])2 f (x)dx.
R
c
Chapitre 3.
JCB
L3/M1 Math Universite de Rennes 1
1.
2.
3.
4.
5.
68
Var(X) 0.
Var(X) = E X 2 E[X]2 (Formule de Knig).
Var(aX) = a2 Var(X).
Var(X + b) = Var(X) pour toute constante b R.
Var(X) = 0 ssi X est constante ps (et vaut alors E[X]).
E[X])(a
E[a])
=
E
(X E[X])(a
a) = 0.
On a une identite de Knig pour la covariance : Cov(X, Y ) = E[XY ] E[X]E[Y ].
En effet,
Cov(X, Y ) = E (X E[X])(Y E[Y ]) = E XY Y E[X] XE[Y ] E[X]E[Y ]
= E[XY ] E Y E[X] E XE[Y ] + E[X]E[Y ]
= E[XY ] E[Y ]E[X] E[X]E[Y ] + E[X]E[Y ]
= E[XY ] E[X]E[Y ] = 0.
c
Chapitre 3.
JCB
L3/M1 Math Universite de Rennes 1
69
La variance Var est une forme quadratique sur L2 (), dapplication bilineaire associee la
covariance Cov.
Proposition 3.5.2 Si X et Y sont deux variables aleatoires avec des moments dordre 2
alors
Var(X + Y ) = Var(X) + Var(Y ) + 2 Cov(X, Y ).
D
emonstration : Il suffit de developper les carres dans le calcul de la variance par lidentite
de Knig :
2
Var(X + Y ) = E (X + Y )2 E[X + Y ]
2
= E X 2 + 2XY + Y 2 E[X] + E[Y ]
= E X 2 + 2E[XY ] + E Y 2 (E[X])2 2E[X]E[Y ] (E[Y ])2
= E X 2 (E[X])2 + E Y 2 (E[Y ])2 + 2E[XY ] 2E[X]E[Y ]
= Var(X) + Var(Y ) + 2 Cov(X, Y ).
Attention, en general, on na pas Var(X +Y ) = Var(X)+Var(Y ). Prendre par exemple X =
Y . Par contre on verra que cest vrai si X et Y sont des variables aleatoires independantes,
cf. Proposition 9.2.5.
Proposition 3.5.3 Soient X, Y des variables aleatoires de variances finies. On a
p
| Cov(X, Y )| Var(X) Var(Y ).
D
emonstration : On applique linegalite de Cauchy-Schwarz (Corollaire 3.4.1) :
| Cov(X, Y )| = E (X E[X])(Y E[Y ])
q
p
E[(X E[X])2 ]E (Y E[Y ])2 = Var(X) Var(Y ).
D
efinition 3.5.3 (Coefficient de corr
elation) Soient X, Y deux variables aleatoires non
constantes et de variances finies, leur coefficient de correlation est
Cov(X, Y )
(X, Y ) = p
.
Var(X) Var(Y )
Comme X, Y sont non constantes, on a Var(X), Var(Y ) 6= 0. On constate facilement avec
la Proposition 3.5.3 que (X, Y ) [1, 1].
c
Chapitre 3.
JCB
L3/M1 Math Universite de Rennes 1
70
Cov(X, Y )
,
Var(X)
b = E[Y ] aE[X].
D
emonstration : En effet, (X, Y ) = 1 sil y a egalite dans linegalite de CauchySchwarz de la preuve de la Prop 3.5.3. Dapr`es la Remarque 3.4.2, dans ce cas il y a une
relation lineaire entre X et Y : (X E[X]) = c0 (Y E[Y ]), ie. X = E[X] + c0 E[Y ] c0 Y .
Puis,
Cov(X, Y ) = Cov(X, aX + b)
= a Cov(X, X) + Cov(X, b)
= a Var(X) + 0
car Cov(X, b) = E[Xb] E[X]E[b] = 0. On en deduit a. Puis comme Y = aX + b, on a
E[Y ] = aE[X] + b, do`
u vient b aussi.
Heuristiquement, si (X, Y ) est proche de 1 ou 1, alors cest que X et Y prennent des
valeurs peu dispersees par rapport a` une relation lineaire affine et on pourra supposer
que cest le cas. On a donc a` peu pr`es Y aX + b. La droite y = ax + b est appelee droite
de regression lineaire.
De plus, si est proche de 1 alors a > 0 et si est proche de 1 alors a < 0.
Th
eor`
eme 3.5.1 (In
egalit
e de Tchebychev) Si Var(X) < +, on a pour tout t > 0 :
Var(X)
P |X E[X]| t
.
t2
D
emonstration : Par linegalite de Markov (point 5 dans la Proposition 3.2.1), on a
E[|X E[X]|2 ]
Var(X)
.
P |X E[X]| t = P |X E[X]|2 t2
2
t
t2
Application : On jette 3600 fois un de. Minorer la probabilite que le nombre dapparitions
du 1 soit compris strictement entre 480 et 720.
Notons S le nombre dapparitions du 1. On peut voir S comme la somme de 3600 variables
aleatoires de Bernoulli independantes de param`etre p = 1/6 (probabilite dapparition du 1
au cours dun lancer). Par un raisonnement classique, S suit une loi B(3600, p). On cherche
ici
719
X
3600 k
P(480 < S < 720) =
p (1 p)3600k .
k
k=481
c
Chapitre 3.
JCB
L3/M1 Math Universite de Rennes 1
71
Ce resultat exact ne peut etre calcule en pratique, meme un ordinateur tr`es puissant ne
pouvant calculer tous ces coefficients binomiaux pour des chiffres aussi grands.
On peut penser a` approximer la loi B(3600, 1/6) par P(600) mais il resterait a` calculer
719
X
k=481
e600
600k
,
k!
550
S < 650}
| < {z
intervalle centre autour de
et
P(550 < S < 700) P(550 < S < 650) = P(50 < S 600 < 50) = P(|S 600| < 50)
500
= 1 P(|S 600| 50) 1 2 = 0, 8.
50
c
Chapitre 3.
JCB
L3/M1 Math Universite de Rennes 1
72
D
efinition 3.5.4 (Matrice de covariance) La matrice de covariance dun vecteur X =
(X1 , . . . , Xd ) avec un moment dordre 2 est la matrice d d, symetrique :
KX = Cov(Xi , Xj ) 1i,jd .
Comme kXk2 = |X1 |2 + +|Xd |2 , on a E kXk2 = E |X1 |2 + +E |Xd |2 et le moment
dordre deux de X est fini ssi tous le moments dordre deux de ses marginales Xi le sont.
On peut constater que KX = E[XX t ]E[X]E[X]t o`
u xt designe la transposee dun vecteur
x Rd . En fait, KX est aussi une matrice positive puisque si a = (a1 , . . . , ad ) Rd , on a
!2
d
d
X
X
at K X a =
(KX )i,j ai aj = E
ai (Xi E[Xi ]) 0.
i,j=1
i=1
La matrice de covariance est definie positive si aucune combinaison lineaire des marginales
Xi nest presque s
urement constante, ie. si le vecteur nest pas concentre sur un sous-espace
propre de Rd . Dans ce cas, cela signifierait que la dimension d nest pas la bonne dimension
pour etudier X : le vecteur vivrait dans un espace de dimension inferieure.
3.6
Lorsque les integrales et les series concernees sont absolument convergentes, on a le tableau comparatif suivant entre le cas general et les declinaisons discr`etes et a` densite (cas
continu) :
X
S(X)
Cas general
quelconque
R
P(a X b)
Variable discr`ete
{xi : i I}
X
P(X = xi )
1[a,b] (X())dP()
Variable a` densite f
R ou un borelien
Z b
f (t) dt
a
Z x
f (t) dt
i : axi b
F (x) = P(X x)
1
(X())dP()
],x]
P(X = xi )
i : xi x
E[g(X)]
g(X())dP()
Z
g(xi )P(X = xi )
g(t)f (t) dt
Z +
iI
E[X]
X()dP()
xi P(X = xi )
tf (t) dt
Z +
iI
E[X 2 ]
X()2 dP()
x2i P(X = xi )
Var(X)
X
iI
xi E[X]
t2 f (t) dt
iI
2
P(X = xi )
2
t E[X] f (t) dt
Chapitre 4
Fonction caract
eristique
Introduction
On a dej`a vu que la fonction de repartition dune variable aleatoire X caracterise sa loi
(Theor`eme 2.3.2). Autrement dit, dans le cas dune variable aleatoire X reelle, la donnee
de
FX (t) = E 1],t] (X) , t R
determine la loi de X. Mais comme les indicatrices sont des fonctions boreliennes bornees,
la donnee de E[(X)] pour toute fonction borelienne bornee caracterise la loi PX . En
fait, comme par exemple 1],t] peut etre approchee par
si x t
1
1 + n(t x) si t x t + 1/n
n (x) =
0
si x > t + 1/n
il sensuit (par convergence dominee) que la donnee de E[(X)] pour toute fonction continue
bornee sur R caracterise PX . Comme on peut aussi approcher les fonctions indicatrices par
des fonctions C bornees, la donnee de E[(X)] pour toute fonction infiniment derivable
bornee caracterise encore PX . Dans ce chapitre, on va plus loin encore et on montre quil
suffit de ne considerer que deux types de fonction : les sinus et les cosinus. Bien s
ur, tout
cela est lie a` lanalyse de Fourier.
4.1
D
efinition et premi`
eres propri
et
es
D
efinition 4.1.1 (Fonction caract
eristique) Soit X : Rd un vecteur aleatoire
sur lespace de probabilite (, F, P). Sa fonction caracteristique X est definie comme la
fonction de d variables, donc de Rd dans C :
"
!#
Z
d
X
iht,Xi
X (t) = E e
=
eiht,Xi dP = E exp i
tj Xj
(4.1)
j=1
73
c
Chapitre 4.
JCB
L3/M1 Math Universite de Rennes 1
74
P
o`
u ht, si = dj=1 tj sj designe le produit scalaire euclidien de Rd .
Lorsque X est une variable aleatoire reelle, sa fonction caracteristique X (t) = E eitX
devient une fonction de R dans C.
Remarque 4.1.1 (Transform
ee de Fourier)
X est toujours bien definie car |eitX | = 1 est P-integrable.
Si X est de densite f , la fonction caracteristique secrit
Z
t
eitx f (x)dx = F(f )( ).
X (t) =
2
R
` quelques notations pr`es, il sagit de la transformee de Fourier F(f ) de la densite
A
f de la variable aleatoire X.
Si X est une variable aleatoire discr`ete, la fonction caracteristique peut se voir encore
comme une transformee de Fourier mais il faut alors introduire une transformee de
Fourier par rapport `a une mesure discr`ete.
De facon generale
Z
itX
X (t) = E e
=
eitx PX (dx).
c
Chapitre 4.
JCB
L3/M1 Math Universite de Rennes 1
Z
= lim
&0
1+
Z
= lim
&0
Comme de plus |
E[f (X)] =
=
=
=
=
f (s)
f (s)
R
ys 2
ds
(en posant s = y u)
2
ds.
2 + (y s)2
75
(4.4)
(4.5)
2
ee, on a alors encore
f (s) 2 +(ys)
2 ds| 2kf k , par convergence domin
Z
Z
Z
1
2
f (y)PX (dy) =
lim
f (s) 2
ds PX (dy)
+ (y s)2
R
R &0 2 R
(avec y s a` la place de y dans (4.5))
(4.6)
Z Z
1
2
lim
f (s) 2
ds PX (dy) (convergence dominee)
&0 2 R R
+ (y s)2
Z Z
Z
1
lim
f (s) ei(ys)x e|x| dx ds PX (dy) (avec (4.2))
&0 2 R R
Z Z Z R
1
iyx
|x| isx
e PX (dy) e
e
dx f (s)ds (par Fubini)
lim
&0 2 R
R
R
Z Z
1
lim
X (x)e|x| eisx dxf (s)ds
(4.7)
&0 2 R R
o`
u dans lavant derni`ere egalite on a utilise le theor`eme de Fubini en notant que
Z Z Z
Z Z Z
iyx |x| isx
|e e
e
f (s)|PX (dy)ds =
|f (s)|e|x| PX (dy)dxds
R R R
ZR ZR R
|f (s)|e|x| dxds < +.
=
R
=
=
n+
lim E[fn (Y )]
h
i
= E lim fn (Y ) (convergence dominee)
n+
n+
(4.8)
Par convergence monotone des probabilites, on etend encore (4.8) aux intervalles
a b +. Finalement, par un argument de classe monotone, comme {[a, b], a
b +} engendre B(R), legalite setend a` tout B(R), ie. PX = PY (Theor`eme 1.3.2 de
Dynkin). Donc X caracterise bien la loi PX .
c
Chapitre 4.
JCB
L3/M1 Math Universite de Rennes 1
4.2
76
Propri
et
es et exemples
Proposition 4.2.1 Soit X un vecteur aleatoire `a valeurs dans Rd . Alors sa fonction caracteristique verifie :
i) |X (t)| 1.
ii) X (t) = X (t).
iii) X (0) = 1.
iv) X est uniformement continue.
v) X est de type positif, ie.
n N ,
t1 , . . . , tn R ,
z1 , . . . , zn C,
n
X
X (tk tj )zk zj 0.
j,k=1
D
emonstration : i), ii), iii) sont faciles. Pour prouver iv), on calcule pour t, h Rd ,
X (t + h) X (t) = E eiht+h,Xi eiht,Xi
i
i
h
i
i
= E eiht,Xi e 2 hh,Xi e 2 hh,Xi e 2 hh,Xi
hh, Xi
iht,Xi 2i hh,Xi
2i sin
= E e
e
.
2
Do`
u
hh, Xi
E (|h| |X|) 2 .
|X (t + h) X (t)| E 2 sin
2
car | sin(x)| |x| 1. Par convergence dominee, le majorant ci-dessus tend vers 0 quand
h 0, et ce independamment de t, ce qui garantit luniforme continuite.
Pour v), on a
n
X
j,k=1
X (tk tj )zk zj
n
X
=
E eihtk tj ,Xi zk zj = E
"
j,k=1
= E
n
X
!
eihtk ,Xi zk
n
X
k=1
eihtk ,Xi zk
!#
eihtj ,Xi zj
j=1
k=1
n
X
2
!
n
n
X
X
ihtk ,Xi
iht
,Xi
j
e
zj
=E
e
zk 0.
j=1
k=1
n
X
(tj tk )zj zk 0.
j,k=1
c
Chapitre 4.
JCB
L3/M1 Math Universite de Rennes 1
77
Ce resultat peut etre admis en premi`ere lecture. Sa preuve utilise le Theor`eme de Levy sur
la convergence des fonctions caracteristiques (Theor`eme 7.4.4, Chap. 7) et le Lemme de
Herglotz qui utilise lui meme la notion de convergence en loi (Chap. 7) et les Theor`emes
4.2.2 de Helly et 4.2.3 de Helly-Bray.
Th
eor`
eme 4.2.2 (Helly) Soit (fn )n1 une suite de fonctions croissantes de R [1, 1]
alors (fn )n1 admet une sous-suite convergeant simplement vers sur R.
Th
eor`
eme 4.2.3 (Helly-Bray) Soit (Fn )n1 une suite de fonction de repartition. Il existe
alors une fonction croissante F continue `a droite et `a valeurs dans [0, 1] et une sous-suite
(Fnk )k1 de (Fn )n1 telle quen tout point de continuite de x de F
lim Fnk (x) = F (x).
k+
zj zk (j k) 0.
j=0 k=0
Alors il existe une loi G concentree sur [, ] telle quon ait la representation integrale
suivante de :
Z
eisx dG(x), s = 0, 1, 2, . . . .
(s) =
D
emonstration : En appliquant lhypoth`ese du lemme a` zj = eijx , j = 0, 1, 2, . . . , N 1,
pour tout N 1 et x R on a :
gN (x) =
N 1 N 1
1 X X i(jk)x
e
(j k)
N j=0 k=0
N
X
r=N
|r| irx
e
(r) 0
N
(4.9)
en
eindexant
PNr1
PN 1 par r = j k [N + 1, N 1] car il y a N |r|isxtermes dindice r dans
et en integrant contre
j=0
k=0 . Soit s entier dans [N, N ], en multipliant (4.9) par e
la mesure de Lebesgue sur [, ], on obtient
Z
|s|
eisx gN (x) = 2 1
(s).
N
c
Chapitre 4.
JCB
L3/M1 Math Universite de Rennes 1
On definit la fonction suivante :
0 R
x
1
g (y)dy
GN (x) =
2 N
1
Alors
|s|
1
(s) =
N
78
pour x <
pour x <
pour x .
N s N.
R
En particulier dGN (x) = (0) = 1 et la fonction GN est donc une fonction de distribution concentree sur [, ]. La suite (Gn )n1 est une suite de fonctions uniformement
bornees, croissantes, continues a` droite. Dapr`es le Theor`eme de Helly (Th. 4.2.2), on peut
extraire (Nk )k1 de facon que (GNk )k1 converge en loi vers une fonction de distribution G
bornee croissante continue a` droite sur R.
Comme pour tout > 0, on a GN ( ) = 0 et GN ( + ) =, on en deduit par la
convergence precedente que G( ) = 0 et G( + ) = 1. Ainsi, G est une fonction de
distribution concentree sur [, ]. De plus comme
Z
|s|
1
(s) =
eisx dGNk (x)
Nk
=
eisx dGn (x), s = 0, 1, 2, . . .
n
cest a` dire
s
s
= n
,
n
n
s = 0, 1, 2, . . . .
c
Chapitre 4.
JCB
L3/M1 Math Universite de Rennes 1
79
Soit t R et n 1 alors il existe un entier k = k(n, t) tel que 0 t (k/n) < 1/n. Avec
= t (k/n), on a
k
k
k
= n +
n (t) n
n
n
n
n
Z n
Z n
k
k
eix(+ n ) dFn (x)
eix n dFn (x)
=
n
Z n
n
|eix 1|dFn (x)
n
n
Z
ix
|e
=
2
n
Z n
1/2
1| dFn (x)
(par linegalite de Cauchy-Schwarz)
2
1/2
1 cos(x) dFn (x)
.
Mais on a
1 cos(x) 1 cos
x
pour 0 <
n
1
n
et n x n.
Ainsi
Z n
1/2
k
x
n (t) n
1 cos
2
dFn (x)
n
n
n
1/2
1
=
2 1 Re n
n
1/2
1
=
2 1 Re
.
n
Comme est continue sur R et (0) = 1, on deduit de la majoration precedente
k
= 0.
lim n (t) n
n+
n
Finalement,
k
k
n (t) =
n (t) n
+ n
n
n
k
k
+
=
n (t) n
n
n
0 + (t) = (t), n +.
On a exprime comme la limite simple de fonctions caracteristiques. Dapr`es le Theor`eme
7.4.4 (Th. de Levy), est une fonction caracteristique, ce qui ach`eve la preuve du Theor`eme 4.2.1.
c
Chapitre 4.
JCB
L3/M1 Math Universite de Rennes 1
80
Exemples
Pour des variables aleatoires discr`etes X de domaine S(X) = {xk : k I} avec I
denombrable et de probabilites ponctuelles pk = P(X = xk ) en xk , k I, on a
X itx
X (t) = E eitX =
e k pk .
kI
Variables
Loi
Loi
Loi
Loi
Loi
Domaine
S(X)
Dirac a
{a}
de Bernoulli b(p)
{0, 1}
binomiale B(n, p) {0, . . . , n}
geometrique G(p)
N \ {0}
de Poisson P()
N
Probabilites
Fonction
ponctuelles pk
caracteristique X
1
eiat
1 p, p
1 p + peit
n k
nk
(1 p + peit )n
k p (1 p)
(1 p)k1 p
(peit /(1 (1 p)eit )
k
it
e k!
e(e 1)
Variables
Loi normale standard
Loi normale N (m, 2 )
Loi
Loi
Loi
Loi
Densite f
2
1 ex /2
2
2
2
1 e(xm) /(2 )
2 2
1
ex
a
(a2 +x2 )
R
R
eitx f (x)dx.
Intervalle
Fonction
caracteristique X
2
< x < +
et /2
2 2
< x < +
eimt t /2
0 x 1
0 x < +
0 x < +
< x < +
eit 1
it
it
p
it
a|t|
c
Chapitre 4.
JCB
L3/M1 Math Universite de Rennes 1
=
=
=
=
2
x 2itx
dx
exp
2
2
Z +
2
(x it) (it)2
dx
exp
2
2
Z +
2
(x it)
dx
2
exp
et /2
2
2
Z +
2
(x it)
dx
2
et /2
exp
2
2
2
et /2
Z
81
Une autre preuve consiste a` voir que X0 est solution de lequation differentielle
0
y (t) + ty(t) = 0
y(0)
= 1
ce qui exige X0 (t) = exp(t2 /2).
c
Chapitre 4.
JCB
L3/M1 Math Universite de Rennes 1
82
4.3
R
egularit
e de la fonction caract
eristique
(2r+2)
X
(0)
(2r)
(2r)
c
Chapitre 4.
JCB
L3/M1 Math Universite de Rennes 1
83
#
2
eihX eihX
2r
= lim (1) E
X
h0
2h
"
2 #
sin(hX)
r+1
2r+2
.
= lim (1) E X
h0
hX
r
"
Cons
equence : La regularite de la fonction caracteristique X est liee a` lintegrabilite de
la variable aleatoire X. En particulier,
X (t) est definie pour tout t R.
Si X a un moment dordre 1, alors X est derivable (et meme C 1 ) avec
0X (t) = iE[XeitX ].
En particulier : iE[X] = 0X (0).
Si X a un moment dordre 2, alors X est derivable (et meme C 2 ) avec
00X (t) = E[X 2 eitX ].
En particulier : E[X 2 ] = 0X (0) et Var(X) = 00X (0) + 0X (0)2 .
4.4
Autres transform
ees caract
eristiques
4.4.1
Fonction g
en
eratrice
c
Chapitre 4.
JCB
L3/M1 Math Universite de Rennes 1
84
P
Comme k0 pk = 1, la fonction MX est bien definie et elle est continue sur [0, 1]. On
lappelle aussi la fonction generatrice des probabilites pour la distinguer de la fonction
generatrice des moments (cf. transformee de Laplace).
Proposition 4.4.1 La fonction generatrice est C sur [0, 1[ et derivable `a lordre p en 1
ssi E[X p ] < +. De plus, les derivees successives en 0 permettent de retrouver la loi de
X :
(k)
MX (0) = k!pk .
Cela explique la terminologie fonction generatrice des probabilites.
D
emonstration : La preuve vient de ce que MX est une serie enti`ere de rayon de convergence R = 1 : les derivees de MX se calculent termes `a termes.
Exemples. Des calculs simples donnent :
si X b(p) : MX (t) = (1 p) + pt ;
si X B(n, p) : MX (t) = (1 p + pt)n ;
pt
;
si X G(p) : MX = 1(1p)t
si X P() : MX (t) = exp((t 1)).
Pour les vecteurs aleatoires a` valeurs dans Nd , on definit aussi une notion de fonction
generatrice :
1
Xd
M(X1 ,...,Xd )(t1 , . . . , td ) = E tX
t
.
1
d
La fonction generatrice se comporte bien vis a` vis de lindependance :
Proposition 4.4.2 (Fonction g
en
eratrice et ind
ependance) Soient X, Y deux variables
aleatoires enti`eres.
1. Si X
Y alors MX+Y (t) = MX (t)MY (t).
2. X
Y ssi M(X,Y ) (s, t) = MX (s)MY (t).
4.4.2
Transform
ee de Laplace
D
efinition 4.4.2 (Transform
ee de Laplace) Soit X un vecteur aleatoire sur (, F, P)
d
`a valeurs dans R . On appelle transformee de Laplace de X (ou fonction generatrice des
moments de X), et on note
X (t) = E exp(ht, Xi)
la fonction definie pour les valeurs de t Rd pour lesquelles exp(ht, Xi) est integrable.
En particulier, noter que si E[eht,Xi ] < + alors tous les moments de X sont finis. On peut
alors les determiner par convergence dominee :
p
(t) = E Xi1 . . . Xip exp(ht, Xi)
ti1 . . . tip
c
Chapitre 4.
JCB
L3/M1 Math Universite de Rennes 1
85
p
Do`
u E Xi1 . . . Xip = ti ...t
(0), ce qui explique la terminologie fonction generatrice des
ip
1
moments pour la transformee de Laplace.
Remarque 4.4.1 La transformee de Laplace, si elle est finie sur un voisinage de 0, caracterise la loi, tout comme la transformee de Fourier.
Pour une variable aleatoire reelle, on specialise les resultats :
Proposition 4.4.3 Soit X une variable aleatoire reelle telle que exp(tX) est integrable
pour t dans un intervalle contenant 0. Alors la transformee de Laplace X est definie sur un
intervalle contenant 0. De plus elle est analytique sur un voisinage de 0 et sur ce voisinage
on a
X tn
E[X n ],
X (t) =
n!
n0
pour tout t dans ce voisinage. En particulier,
(n)
Chapitre 5
Ind
ependance
Il sagit dune notion fondamentale en probabilite. Dans ce chapitre, on la definit et on
donne differents crit`eres dindependance puis on explore quelques consequences de lindependance. On note (, F, P) un espace de probabilite.
5.1
Concept dind
ependance
D
efinition 5.1.1 (Ind
ependance d
ev`
enements)
Deux ev`enements A, B F dun espace de probabilite (, F, P) sont independants si
P(A B) = P(A)P(B).
On note A
B.
Une famille quelconque dev`enements observables Ai , i I est dite (mutuellement)
independante si pour toute sous-famille Ai1 , . . . , Aip avec ik I, on a
P(Ai1 Aip ) = P(Ai1 ) P(Aip ).
Remarque 5.1.1
En particulier, A et B incompatibles ne peuvent pas etre independants `a moins que
lun des deux ne soit de probabilite nulle. Sinon P(A B) = P() = 0, tandis que
P(A)P(B) > 0. Il ne faut donc pas confondre les deux notions.
Il ne faut pas confondre lindependance mutuelle de A1 , . . . , An avec lindependance
deux a` deux.
La notion dindependance se generalise aux tribus de la facon suivante :
D
efinition 5.1.2 (Ind
ependance de familles, de tribus)
86
c
Chapitre 5.
JCB
L3/M1 Math Universite de Rennes 1
87
c
Chapitre 5.
JCB
L3/M1 Math Universite de Rennes 1
88
Il sagit dune classe monotone qui contient, par hypoth`ese, Ci1 . Elle contient donc la classe
monotone engendree par Ci1 , qui concide par le theor`eme de classe monotone (Th. 1.3.1)
avec (Ci1 ). On a donc pour tout Ai1 (Ci1 ) et Ai2 Ci2 , . . . , Aip Cip :
P(Ai1 Ai2 Aip ) = P(Ai1 )P(Ai2 ) . . . P(Aip ).
(5.1)
c
Chapitre 5.
JCB
L3/M1 Math Universite de Rennes 1
5.2
89
Crit`
eres et exemples
Par definition des tribus engendrees par les variables aleatoires, il est immediat de voir que
des crit`eres plus concrets dindependance sont :
Proposition 5.2.1 (Ind
ependance de variables al
eatoires)
Ind
ependance de deux variables al
eatoires. Deux variables aleatoires X, Y sont
dites independantes si pour A, B B(R), mesurables de R, les ev`enements {X A},
{Y B} sont independants :
P(X A, Y B) = P(X A) P(Y B).
Ind
ependance dune famille finie de variables al
eatoires. Les m variables aleatoires X1 , . . . , Xm sont dites (mutuellement) independantes si pour tout boreliens A1 , . . . , Am ,
les ev`enements {X1 A1 }, . . . , {Xm Am } sont mutuellement independants :
P(X1 A1 , . . . , Xm Am ) = P(X1 A1 ) . . . P(Xm Am ).
Ind
ependance dune suite de variables al
eatoires. Une suite (Xi )iN de variables
aleatoires est dite independante si toute sous-suite finie de (Xi )iN , la propriete precedente
est vraie.
On a dautres crit`eres pour lindependance des variables aleatoires. Ils portent sur la structure de la loi du vecteur associe, consideree comme mesure dans lespace produit Rn (cf.
la Definition 3.1.1).
Proposition 5.2.2 Un vecteur aleatoire X = (X1 , . . . , Xd ) est `a composantes independantes ssi sa loi PX est la loi produit (de ses lois marginales) :
PX = PX1 PXd .
(5.2)
D
emonstration : Sens direct : soit B = B1 Bd pave de B(Rd ), alors
P(X1 ,...,Xd ) (B) =
=
=
=
P((X1 , . . . , Xd ) B1 Bd )
P(X1 B1 , . . . , Xd Bd ) = P(X1 B1 ) . . . P(Xd Bd )
PX1 (B1 ) PXd (Bd ) = (PX1 PXd )(B1 Bd )
(PX1 PXd )(B).
c
Chapitre 5.
JCB
L3/M1 Math Universite de Rennes 1
90
Corollaire 5.2.1 Les variables aleatoires X1 , . . . , Xd sont independantes ssi pour tout
x1 , . . . , xd , on a
P(X1 x1 , . . . , Xd xd ) = P(X1 x1 ) P(Xn xd ).
D
emonstration : Appliquer le resultat precedent avec la famille D densembles B =
] , x1 ] ] , xd ]. Comme cette famille D est stable par intersections finies (ie.
il sagit dun -syst`eme) et engendre la tribu B(Rd ), le Theor`eme 1.3.2 (Th. de Dynkin)
sapplique encore et conclut.
Remarque 5.2.1 Dans les cas discret et `a densite, on peut preciser les crit`eres dindependances :
Les variables aleatoires discr`etes X et Y sont independantes si et seulement si
xi S(X), yj S(Y ),
(5.3)
En effet, si X
Y alors le choix A = {xi } et B = {yj } donne (5.3). Reciproquement
si (5.3) est vraie alors pour tout A, B B(R), on a
X
X
P(X A, Y B) =
P(X = xi , Y = yj ) =
P(X = xi )P(Y = yj )
xi A
yj B
xi A
yj B
!
=
P(X = xi )
xi A
yj B
(5.4)
c
Chapitre 5.
JCB
L3/M1 Math Universite de Rennes 1
91
R
o`
u est la mesure sur B(R2 ) donnee par (C) = C f (x)g(y)dxdy, ie. est la mesure
de densite f (x)g(y). On a alors P(X,Y ) et qui concident sur la famille P des produits
de mesurables A B, A, B B(R). Comme P est stable par intersections finies et
(P) = B(R2 ), on a P(X,Y ) = , cest a` dire (X, Y ) admet pour densite f (x)g(y)
(Theor`eme 1.3.2 de Dynkin).
P(X = 2) P(Y = 2) = 0, 4 0, 25 = 0, 1.
tandis que
et pour le second :
P(X = 3, Y = 5) = 0,
tandis que
Exemples : On donne le tableau de la loi dun couple (X, Y ) en donnant les probabilites
ponctuelles P(X = xi , Y = yj ) :
X \ Y y1
y2
y3
x1
0, 12 0, 08 0, 20 0, 4
x2
0, 18 0, 12 0, 30 0, 6
0, 3 0, 2 0, 5 = 1
On verifie ici que X et Y sont independantes car pour tout i = 1, 2 et j = 1, 2, 3, on a
P(X = xi , Y = yj ) = P(X = xi ) P(Y = yj ).
Considerons le couple (X, Y ) de loi donnee par la densite f(X,Y ) (x, y) = 31 1[0,1][1,2] (x, y).
On a vu que X et Y avaient pour densite fX (x) = 1[0,1] (x) et fY (y) = 13 1[1,2] (y). On a
alors
1
1
f(X,Y ) (x, y) = 1[0,1][1,2] (x, y) = 1[0,1] (x) 1[1,2] (y) = fX (x)fY (y).
3
3
Les variables X et Y sont donc independantes.
2
2
1 x +2xy+5y
6
Soit (X, Y ) le couple aleatoire de loi donnee par la densite f(X,Y ) (x, y) = 3
e
.
On a vu que les densites marginales sont
4x2
1
fX (x) = p
e 30 ,
15/2
4y 2
1
fY (y) = p
e 6 .
3/2
c
Chapitre 5.
JCB
L3/M1 Math Universite de Rennes 1
92
On a alors
fX (x)fY (y) = p
4y 2
4x2
1
1 x2 +2xy+5y2
6
e 30 p
e 6 6=
e
= f(X,Y ) (x, y).
3
15/2
3/2
jJ
D
emonstration : Dans le sens direct, on utilise le theor`eme de transfert, lindependance
et Fubini. Supposons que J est fini et (pour simplifier les notations) egale `a {1, . . . , n} :
" n
#
Z Y
n
Y
E
hj (Xj ) =
hj (xj ) dP(X1 ,...,Xn ) (x1 , . . . , xn ) (theor`eme de transfert)
j=1
j=1
Z Y
n
Z
j=1
n
Y
j=1
hj (xj )
n
Y
j=1
n
Y
hj (xj )dPXj (dxj ) =
Z
h(xj )dPXj (dxj ) (theor`eme de Fubini)
j=1
Y
E hj (Xj ) (theor`eme de transfert).
jJ
Corollaire 5.2.2 Soient X1 , . . . , Xn des variables aleatoires reelles (ou vecteurs aleatoires) independantes avec des moments dordre 1 fini, alors on a :
E[X1 . . . Xn ] = E[X1 ] . . . E[Xn ].
D
emonstration : Appliquer le resultat precedent avec les fonctions hj (x) = x.
La r
eciproque estR fausse : soient X1 de loi uniforme sur [1, 1] et X2 = X12 , on a
1
E[X1 X2 ] = E[X13 ] = 1 x31 dx1 = 0 et E[X1 ] = 0 si bien quon a E[X1 X2 ] = 0 = E[X1 ]E[X2 ]
mais X1 et X2 ne sont pas independantes car par exemple
P X1 [0, 1/2], X2 [0, 1/4] = 1/4, P X1 [0, 1/2] P X2 [0, 1/4] = 1/8.
On a aussi :
c
Chapitre 5.
JCB
L3/M1 Math Universite de Rennes 1
93
o`
u on utilise que P(X,Y ) et PX PY concident ssi ces mesures ont meme fonction caracteristique. On observe alors que P(X,Y ) (t, s) = (X,Y ) (t, s) et
Z
PX PY (t, s) =
R2
= X (t)Y (s)
en utilisant les theor`emes de Fubini et de transfert. On a donc
X
Y (X,Y ) (t, s) = X (t)Y (s).
c
Chapitre 5.
JCB
L3/M1 Math Universite de Rennes 1
94
Remarque 5.2.1
1. Le crit`ere dindependance se generalise immediatement au cas de
n variables : les variables aleatoires X1 , . . . , Xn sont (mutuellement) independantes
ssi pour tout t1 , . . . , tn R
(X1 ,...,Xn ) (t1 , . . . , tn ) = X1 (t1 ) . . . Xn (tn ).
2. Les memes resultats que la Proposition 5.2.4 et le Theor`eme 5.2.1 sont vrais pour la
fonction generatrice ou la transformee de Laplace.
5.3
Non-corr
elation et ind
ependance
D
efinition 5.3.1 (Non-corr
elation) Deux variables aleatoires X, Y de variances finies
sont dites non correlees si Cov(X, Y ) = 0.
Proposition 5.3.1 Soient X et Y deux vecteurs aleatoires independants de variances finies. Alors Cov(X, Y ) = 0. Autrement dit lindependance implique la non-correlation.
D
emonstration : Comme par independance E[XY ] = E[X]E[Y ], le resultat vient de
lidentite de Knig pour la covariance Cov(X, Y ) = E[XY ] E[X]E[Y ] = 0.
La reciproque est fausse : si X et Y sont de covariance nulle alors ils ne sont pas necessairement independants. Le meme contre-exemple que pour le Corollaire 5.2.2 sapplique.
Cependant dans le cas de variables aleatoires X, Y gaussiennes, on verra que la reciproque
est vraie, cf. Proposition 9.2.5 au Chapitre 9.
Pour la somme dune variance, on deduit sous independance une propriete remarquable :
Corollaire 5.3.1 Si X et Y sont deux variables aleatoires independantes avec des moments dordre deux finis alors
Var(X + Y ) = Var(X) + Var(Y ).
Bien entendu, il sufit de supposer X, Y non correlees.
D
emonstration : Cest immediat puisque dapr`es la Proposition 3.5.2, on a
Var(X + Y ) = Var(X) + Var(Y ) + 2 Cov(X, Y )
et Cov(X, Y ) = 0 quand X
Y.
De facon generale, il vient :
j=1
c
Chapitre 5.
JCB
L3/M1 Math Universite de Rennes 1
95
D
emonstration : La non-correlation de Xj , Xk signifie que les variables aleatoires Xj
E[Xj ] et Xk E[Xk ] sont orthogonales (pour le produit scalaire associe a` la covariance).
On en deduit que
!
d
d
X
X
Var
Xj
=
Cov(Xj , Xk )
j=1
j,k=1
d
X
Cov(Xj , Xj ) +
j=1
d
X
Cov(Xj , Xk )
1j,kd
Var(Xj ).
j=1
En combinant lidentite de Bienayme avec linegalite de Tchebychev, on a de suite :
Proposition 5.3.3 (In
egalit
e de Bienaym
e-Tchebychev) Si X1 , . . . , Xd sont des variables aleatoires L2 deux `a deux non correlees alors
!
d
d
X
1X
Var(Xj ), t > 0.
P (Xj E[Xj ]) t 2
t
j=1
j=1
D
emonstration : En notant Sn =
Pd
j=1
Xj , pour t > 0, on a :
d
!
X
P
Xj E[Xj ] t
= P |Sn E[Sn ]| t
j=1
Var(Sn )
(inegalite de Tchebychev : Th 3.5.1)
2
Pnt
j=1 Var(Xj )
5.4
5.4.1
enements asymptotiques
Ev`
Tribus du futur et tribu asymptotique
D
efinition 5.4.1 Soit (Fn )nN une suite de tribus de F.
Si la suite est croissante, ie. Fn Fn+1
de filtration.
S , on parle
On appelle tribus du futur : F n = T
F
,
n
N.
kn k
n
On appelle tribu asymptotique : F = nN F .
c
Chapitre 5.
JCB
L3/M1 Math Universite de Rennes 1
96
Dhabitude on a Fn Fn+1 et la famille de tribus croissantes (Fn )nN sappelle une filtration. Dans ce cas, heuristiquement, si N designe le temps et n N la date n, la tribu Fn
represente la tribu des ev`enements du passe par rapport au temps n (elle comporte toutes
les informations sur ce quil sest passe jusquau temps n), la tribu F n represente la tribu
des ev`enements du futur par rapport au temps n (elle comporte toutes les informations sur
ce quil se passera apr`es le temps n). La tribu F represente alors celle des ev`enements
asymptotiques.
Typiquement, quand on a une suite de variables aleatoires (Xn )n1 , on lui associe sa filtration naturelle (Fn )n1 en considerant Fn = (X1 , . . . , Xn ).
Exemples. Soit (Xn )nN une suite de variables aleatoires independantes. On consid`ere la
suite de tribus Fn = (Xn ).
Notons A lev`enement Xn repasse par 0 une infinite de fois . Alors A est dans la
tribu asymptotique des Fn . En effet,
\[
A = lim sup{Xn = 0} =
{Xk = 0}
n+
et
kn {Xk
n kn
= 0} F n .
B = {les Xn sont bornees par M } nest pas dans F car par exemple lev`enement
{X1 bornee par M } nest pas dans F 2 ni dans aucun F n (n 2).
C = {la suite (Xn )n0 converge} F . Heuristiquement, la convergence de la suite
Xn est un resultat asymptotique (il ne concerne que les Xn pour n arbitrairement
grand mais il ne concerne aucun Xn pour n fini) donc il est dans la tribu asymptotique.
Plus precisement, comme dans R la convergence dune suite est equivalente `a dire
que la suite est de Cauchy, C secrit :
r N, N N, p, q N, |Xp () Xq ()| < 1/r.
On a donc lecriture suivante de C :
\ [ \
C=
|Xp Xq | < 1/r
rN N N p,qN
avec |Xp Xq | < 1/r F p (si p < q).
Le resultat sur les tribus asymptotiques est le suivant :
Th
eor`
eme 5.4.1 (Loi du 0/1 de Kolmogorov) Soit (Fn )n1 une suite de tribus independantes alors la tribu asymptotique est triviale : cest `a dire
A F ,
P(A) = 0 ou 1.
c
Chapitre 5.
JCB
L3/M1 Math Universite de Rennes 1
97
D
emonstration : On montre que F est independante de F . Ainsi si A F , on a
A = A A et par independance de A avec A : P(A) = P(A A) = P(A)2 , do`
u P(A) = 0
ou 1.
Comme la suite de tribu (Fn )n1 est independante, on peut appliquer le theor`eme des
coalitions,
!
[
[
F n = Fk
Fk .
k n
k<n
n
Comme FS F S
, on a donc F
k<n Fk .
Soit C = n0 ( k<n Fk ). Il sagit dun -syst`
eme car C est stable
par intersection finie :
S
S
En effet, soient A, B C,Son a A ( k<n Fk ) et B ( k<n0 Fk ). En notant N =
max(n, n0 ), S
on a A, B ( k<N Fk ). Par stabilite dune tribu par intersection, on a aussi
A B ( k<N Fk ) et donc A B C.
Comme C est un -syst`eme et C
S
F , on deduit (C)
F par la Proposition
S 5.1.2.
Pour tout k, on a Fk C donc aussi k1 Fk C. Ainsi la tribu (C) contient k1 Fk =
F 1 donc aussi F .
De (C)
F , on deduit alors que F
F , ce qui permet de conclure que pour tout
A F , on a A
A et donc P(A) = 0 ou 1.
5.4.2
Lemmes de Borel-Cantelli
Les lemmes de Borel-Cantelli compl`etent dune certaine facon la loi du 0/1 de Kolmogorov en donnant des cas o`
u la probabilite vaut 1 et dautres o`
u elle vaut 0. Ces resultats
concernent les liminf et limsup dev`enements pour lesquelles on renvoie a` la Section 1.6.
Th
eor`
eme 5.4.2 (Lemme
de Borel-Cantelli no 1) Soit (An )n0 une suite (infinie) dev`eP+
nements. On suppose que n=1 P(An ) < +. Alors
P lim sup An = 0.
n+
mn
mn
P
Or mn P(Am ) est le reste dordre n de la serie convergente m1 P(Am ). Comme le reste
dune serie convergente tend vers 0, un passage `a la limite n + dans (5.6) conclut.
c
Chapitre 5.
JCB
L3/M1 Math Universite de Rennes 1
98
Remarque 5.4.1 Le resultat reste vrai si lindependance des ev`enements An nest vraie
que deux a` deux .
D
emonstration : Dabord, on a
c
P lim sup An = 1 P lim inf An .
n+
n+
Puis par monotonie sequentielle croissante en (5.7), decroissante en (5.8) et comme les
ev`enements Acn sont aussi independants (en (5.9)), on a :
!
!
[ \
\
c
c
c
P lim inf An = P
Ak = lim P
Am
(5.7)
n+
n+
n0 kn
q
=
=
=
lim
n+ q+
lim
lim
n+ q+
lim
lim P
lim
n+ q+
mn
!
Acm
(5.8)
P(Acm )
(5.9)
m=n
q
Y
m=n
q
1 P(Am ) .
m=n
q
Y
m=n
1 P(Am ) exp
q
X
!
P(Am ) .
m=n
P
Q
Comme m0 P(Am ) = +, le passage `a la limite q + donne limq+ qm=n (1
P(Am )) = 0. On a donc P lim inf n+ Acn = 0, ce qui conclut.
c
Chapitre 5.
JCB
L3/M1 Math Universite de Rennes 1
99
Applications
Dans la suite, on note i.s. pour infiniment souvent, ainsi {An i.s.} = lim supn+ An .
Singe dactylographique de Borel : presque s
urement, un singe qui ecrit frenetiquement
sur une machine `a ecrire finira par ecrire la Bible. Notons N le nombre de caract`eres
de la Bible, en supposant que le singe frappe sur chaque touche de la machine `a ecrire
avec une probabilite uniforme, chaque touche est frappee avec probabilite 1/26 (ou
en considerant les touches de ponctuation 1/M , M etant le nombre total de touche).
Taper la Bible est alors un ev`enement de probabilit
e (1/MP
)N . Les ev`enements Ai = {
P
taper la Bible} sont des ev`enements avec n1 P(An ) = n0 M N = +, ils sont
independants sils consid`erent des frappes differentes. Dapr`es le lemme de BorelCantelli, lim supn An est presque s
ur, ie. ps An est realise infiniment souvent : le singe
tape donc meme presque s
urement une infinite de fois la Bible.
SoitP(Xn )nN une suite de variables aleatoires reelles telles que, pour un M R, on
ait nN P(Xn M ) < +. Alors
P(Xn M i.s.) = 0 P lim inf {Xn < M } = 1.
n
Chapitre 6
Somme de deux variables al
eatoires
ind
ependantes
Les sommes de variables aleatoires jouent un role important en probabilite. Ainsi typiquement, X + Y modelise les effets cumules de X et de Y . Souvent X, Y representent
des phenom`enes independants et on consid`ere alors que les variables aleatoires sont independantes. Quand X, Y sont identiquement distribuees et independantes (iid), la somme
X + Y represente les effets cumules dun phenom`ene qui se rep`ete independamment. Les
sommes X1 + + Xn pour des variables iid representent alors les effets cumules de n
repetitions independantes du phenom`ene.
Remarquons que pour des variables aleatoires independantes de meme loi et de carre integrable, on a, par linegalite de Bienayme-Tchebychev :
n
!
X
Var(X1 )
.
P
Xj E[Xj ] t n
t2
j=1
Pn
E[X
]
est au plus en n.
j
j
j=1
Pn
On peut ainsi dire que la somme j=1 Xj ressemble a` un terme deterministe nE[X1 ] de
6.1
Convolution de mesures
On consid`ere un espace vectoriel mesurable (E, A). Il y a donc sur E une structure despace
vectoriel et une tribu A. Lexemple typique que lon considerera dans la suite est R ou Rn .
D
efinition 6.1.1 (Convolution) Soient et deux mesures sur un espace vectoriel mesurable (E, A). La convolee de ces deux mesures est
Z
(A x)d(x)
(6.1)
(A) =
E
100
c
Chapitre 6.
JCB
L3/M1 math Universite de Rennes 1
101
o`
u A x = {a x : a A}.
On verifie facilement que est une mesure (la -additivite vient de celle de et
du theor`eme de convergence monotone appliquee `a lintegrale en ). Dans la suite, pour
pouvoir appliquer le theor`eme de Fubini, on consid`ere des mesures -finies (ce sera bien le
cas des lois de probabilite consid`erees dans la suite).
Proposition 6.1.1 La convolution est commutative : = .
D
emonstration : En effet par le theor`eme de Fubini, on a
Z Z
(A) =
1A (x + y) d(x)d(y).
On a obtenu une expression symetrique en et , ce qui justifie la proposition.
car 0 (Ax) = 1 ssi 0 Ax cest a` dire ssi x A, cela vaut 0 sinon, ie. 0 (Ax) = 1A (x).
Proposition 6.1.3 Si et sont des mesures de probabilite alors lest aussi.
D
emonstration : est une mesure de poids
Z
Z
(E) =
(E x)d(x) =
d(x) = (E) = 1
E
c
Chapitre 6.
JCB
L3/M1 math Universite de Rennes 1
6.2
102
Desormais, nous considerons un espace de probabilite (, F, P) sur lequel sont definies des
variables aleatoires X, Y, . . . Leur lois PX , PY , . . . sont des mesures sur lespace vectoriel R
quon va convoler.
Proposition 6.2.1 Soient X et Y deux variables aleatoires ind
ependantes de loi PX et
PY . Alors la loi de X + Y est PX+Y = PX PY .
D
emonstration : Soit A B(R), on a
Z Z
PX+Y (A) = P(X + Y A) = E[1A (X + Y )] =
1A (x + y) dP(X,Y ) (x, y)
Z Z
Z Z
=
1A (x + y) PX (dx)PY (dy) =
1Ay (x) PX (dx) PY (y)
Z
=
PX (A y) PY (dy) = PX PY (A).
Par une recurrence immediate, on connat donc la loi dune somme de variables aleatoires
independantes X1 + + Xn lorsquon a celles des termes Xi de la somme. Lorsquil ny
a pas independance, ce nest pas suffisant : il faut connaitre limbrication des lois cest `a
dire la loi du vecteur associe (X1 , . . . , Xn ).
Ainsi de facon generale, la loi dune somme X1 + + Xn de variables aleatoires non
independantes est donnee par lexpression
Z Z
PX1 ++Xn (A) = P(X1 + + Xn A) =
1A (x1 + + xn )dP(X1 ,...,Xn ) (x1 , . . . , xn ).
A B A A.
Dans le contexte probabiliste, si et sont les lois de probabilite de variables aleatoires X, Y alors est la loi du vecteur aleatoire (X, Y ) lorsque X, Y sont independantes.
La mesure produit de convolution est la mesure sur lespace E definie par
(6.1). Dans le contexte probabiliste, si et sont les lois de probabilites de variables
aleatoires X, Y independantes alors est la loi de la variable aleatoire X + Y .
c
Chapitre 6.
JCB
L3/M1 math Universite de Rennes 1
103
6.3
Variables al
eatoire `
a densit
e ind
ependantes
Dans le cas de variables aleatoires a` densite, la convolee des lois est la loi de densite la
convolee des densites :
Proposition 6.3.1 Soient X, Y des variables aleatoires reelles de densites respectives f
et g. Alors la variable aleatoire X + Y admet pour densite f g, (ie. PX (dx) = f (x)dx et
PY (dy) = g(y)dy alors PX PY (dx) = (f g)(x)dx ou
Z
A B(R),
PX+Y (A) = P(X + Y A) = (f g)(x) dx.
A
D
emonstration : On a
Z Z
Z Z
PX PY (A) =
1A (x + y) PX (dx)PY (dy) =
f (x)g(y) dxdy
x+yA
Z Z
Z Z
Z
=
f (u)g(v u) dudv =
f (u)g(v u) du dv = (f g)(u)dv
A
RA
avec le changement de variable (x, y) 7 (u, v) = (x, x + y). Noter que comme (x, y) varie
dans R2 de facon que x + y A, u decrit tout R et v decrit A et que le jacobien du
changement de variable est
u v
x x 1 1
=
Jac =
0 1 = 1.
u
v
y
c
Chapitre 6.
JCB
L3/M1 math Universite de Rennes 1
104
x2
exp 2 dx = 2 2 .
2
Z +
dt
p
=
exp t2 /(212 ) exp (x t)2 /(222 ) p
212 222
Z +
(12 + 22 )t2 212 xt + 12 x2
dt
=
exp
212 22
21 2
2
2
14
Z +
2
2 1/2
2
2 2
1
(
x
)
t
x
+
x
2
2
2
2
1/2
1
2
1
1
(1 +2 )
(1 +2 )
dt
=
exp
2 2
21 2
21 2
2
12
12 22
Z +
2
2
2 1/2
(
+
)
t
x
+
x
1
2
1
(12 +22 )
(12 +22 )1/2
dt
=
exp
2 2
21 2
21 2
2
2
2
exp 2(2x+2 ) Z +
(12 + 22 )1/2 t (2 +12 )1/2 x
1
2
1
2
dt
=
exp
2 2
21 2
21 2
c
Chapitre 6.
JCB
L3/M1 math Universite de Rennes 1
2
exp 2(2x+2 ) Z
1
21 2
u2
exp 2 2
21 2
(12
105
du
+ 22 )1/2
avec le changement de variable u = (12 +22 )1/2 t (2 +12 )1/2 x. Puis dapr`es la normalisation
1
2 p
212 22
, on a finalement :
de la loi normale N (0, 12 22 ), la derni`ere integrale vaut 2
(1 + 22 )1/2
2
p
x2
exp 2(2x+2 )
exp
212 22
2(12 +22 )
2
1
p
f1 f2 (x) =
.
=
21 2
(12 + 22 )1/2
2(12 + 22 )
On a obtenu la densite de la loi N (0, 12 + 22 ). On a donc
N (m1 , 12 ) N (m2 , 22 ) = N (m1 + m2 , 12 + 22 ).
On peut aussi prouver les Propositions 6.3.2 en utilisant les fonctions caracteristiques,
par exemple pour les lois normales, lorsque X1 N (m1 , 12 ) et X2 N (m2 , 22 ) on a :
X1 +X2 (t) = X1 (t)X2 (t) = exp(im1 t + 12 t) exp(im2 t + 22 t)
= exp i(m1 + m2 )t + (12 + 22 )t
qui est la fonction caracteristique de N (m1 + m2 , 12 + 22 ).
6.4
Cas de variables al
eatoires discr`
etes ind
ependantes
Si X et Y sont des variables aleatoires discr`etes independantes, alors X + Y est encore une
variable aleatoire discr`ete de domaine
S(X)(X + Y ) = S(X) + S(Y ) = xi + yj : xi S(X), yj S(Y )
et on peut calculer ses probabilites ponctuelles par une convolution discr`ete .
Supposons pour simplifier que S(X) = S(Y ) = N, et notons (pk )kN , (qk )kN les probabilites
ponctuelles de X et de Y alors
S S(X +Y ) = N et comme on a pour chaque k N la partition
suivante {X + Y = n} = nk=0 {X = k, Y = n k}, il vient
!
n
n
[
X
P(X + Y = n) = P
{X = k, Y = n k} =
P (X = k, Y = n k)
k=0
n
X
k=0
P(X = k)P(Y = n k) =
k=0
n
X
pk qnk .
k=0
n
X
k=0
!
pk qnk
.
nN
Chapitre 7
Convergences de variables al
eatoires
La convergence de variables aleatoires est une notion essentielle en probabilites et m`ene
` titre dexemple introductif, notons que
a` certains resultats fondamentaux (LGN, TCL). A
lors dun jeu de pile ou face o`
u on lance une pi`ece dont la frequence dapparition de pile
est p, la frequence observee du nombre de pile obtenu apr`es n lancers est proche de p,
pourvu que n soit assez grand . Donc, si p est inconnue, cette observation offre un moyen
dapproximer p en comptant les frequences de pile pour un grand nombre de lancers.
En probabilite, plusieurs modes de convergence sont possibles, ils sont introduits dans ce
chapitre, dans lequel les suites de variables aleatoires sont supposees construites sur un
espace de probabilite (, F, P). Pour simplifier on ne consid`ere que des variables aleatoires
reelles, mais les enonces et les resultats restent vrais pour des vecteurs aleatoires a` valeurs
dans Rd . (On peut meme les adapter pour des variables aleatoires a` valeurs dans un espace
metrique (S, d).)
7.1
Convergence presque s
ure
ps
106
c
Chapitre 7.
JCB
L3/M1 math Universite de Rennes 1
107
Remarque 7.1.1
Notons que lensemble A = limn+ Xn = X est bien un
ps
ev`enement car la convergence Xn X secrit pour presque chaque :
> 0, m N, n n : |Xn () X()| < .
(7.1)
k1 mN nm
Dun point de vue analytique, cest une convergence plus faible que la convergence
simple (dej`a tr`es faible). Mais dun point de vue probabiliste, ce sera une des convergences les plus fortes que nous considererons.
Dans la suite, on etudiera notamment les liens entre cette convergence et les autres.
T
Par ailleurs comme pour une suite dev`enements (An )n1 , P( n1 An ) = 1 est equivalent
a` P(An ) = 1 pour tout n 1, on a que Xn converge ps vers X ssi
!
[ \
k 1, P
{|Xn X| 1/k} = 1
m1 nm
cest a` dire
!
[ \
> 0, P
{|Xn X| }
=1
m1 nm
!
\ [
> 0, P
{|Xn X| > }
=0
m1 nm
> 0, P |Xn X| > i.s. = 0.
(7.2)
nm
> 0,
lim P sup |Xn X| > = 0.
m+
(7.3)
nm
c
Chapitre 7.
JCB
L3/M1 math Universite de Rennes 1
108
Proposition 7.1.2 (Borel-Cantelli pour la convergence ps) Soit (Xn )n0 une suite
de variables aleatoires reelles.
P
ps
1. Si pour tout > 0, +
n=0 P(|Xn X| ) < + alors Xn X.
ps
n N.
En appliquant le lemme de Borel-Cantelli aux (An )n0 , on deduit que P(An i.s.) = 0, ce
qui donne le crit`ere (7.2) pour la convergence ps. Pour 2), on utilise la deuxi`eme partie
du lemme de Borel-Cantelli pour les ev`enements independants. Noter quil est necessaire
de supposer X = 0 pour conserver dans ce cas des ev`enements An independants, sinon,
chaque An dependrait de X et les An , n 0, seraient dependants.
ps
ps
7.2
Convergence en probabilit
e
(7.4)
c
Chapitre 7.
JCB
L3/M1 math Universite de Rennes 1
109
P
!
P(X 6= X 0 ) = P
= 0.
k1
Noter que la convergence presque s
ure exige un sup supplementaire dans la definition de
la convergence en probabilite, cf. (7.3). La convergence en probabilite sexprime
> 0, > 0, n1 (, ) tel que pour n n1 ,
P(|Xn X| ) .
(7.5)
P(|Xn X| ) .
(7.6)
c
Chapitre 7.
JCB
L3/M1 math Universite de Rennes 1
110
cest `a dire Yn () = 0 pour tout n n0 . On a donc ecrit que la suite Yn converge presque
s
urement vers 0. Dapr`es le theor`eme de convergence dominee
h
i
P(|Xn X| ) = E[Yn ] E lim Yn = E[0] = 0.
n+
La reciproque est fausse (cf. exemple ci-dessous). Cependant, ce resultat admet une reciproque partielle pour les sous-suites quon obtiendra par le lemme de Borel-Cantelli, cf.
Proposition 7.2.4.
Exemple. La convergence en probabilite nimplique pas la convergence presque s
ure. Soit
lespace de probabilite ([0, 1], B([0, 1]), ) et on consid`ere le tableau triangulaire de variables
aleatoires
(), 0 j 2n 1, n 1
Y2n ,j () = 1] jn , j+1
n ]
2
c
Chapitre 7.
JCB
L3/M1 math Universite de Rennes 1
111
Si > 1, on utilise
P |Xn X| P |Xn X| 1 .
Pour la reciproque, on a
dP (Xn , X) = E min(|Xn X|, 1)
= E min(|Xn X|, 1)1{|Xn X|} + E min(|Xn X|, 1)1{|Xn X|>}
= + P(|Xn X| > ) 2
(7.7)
P
D
emonstration : Supposons que Xn X.
P Pour tout k N , soit nk le plus petit entier
k
tel que P(|Xnk X| 1/k) < 1/2 . Alors kN P(|Xnk X| 1/k) < +. Par le lemme
de Borel-Cantelli, pour presque chaque , il existe k0 () tel que pour k k0 ()
ps
|Xnk () X()| < 1/k. Cela assure Xnk X.
On en deduit le crit`ere de sous-suite en appliquant pour toute sous-suite (n0 ) = (np )p1
(n) le resultat precedent a` Xn0 .
Reciproquement, si (Xn )n0 ne converge pas en probabilite, alors il existe une suite croissante (n0 ), > 0 et > 0 tels que P(|Xn0 X| ) . Mais par hypoth`ese, on peut
extraire une sous-suite (n00 ) (n0 ) telle que Xn00 converge ps vers X et donc en probabilite
(dapr`es la Proposition 7.2.2). Mais, cest absurde car P(|Xn0 X| ) et (n00 ) (n0 ).
De la premi`ere partie de la preuve precedente, on deduit en particulier :
P
ps
c
Chapitre 7.
JCB
L3/M1 math Universite de Rennes 1
112
precedente, comme Xn X, on peut extraire (nkp )p1 de (nk )k1 telle que Xnkp X ps
ou encore dps (Xnkp , X) 0, ce qui nie dps (Xnkp , X) . On doit donc avoir Xn X ps.
Autrement formule : on aurait lequivalence entre les convergences presque s
ure et en
probabilite, ce qui est faux (cf. contre-exemple ci-dessus).
Conclusion : La convergence presque s
ure nest pas metrisable.
Proposition 7.2.5 Soient f : R R continue et (Xn )n0 une suite de variables aleatoires
P
reelles qui converge en probabilite vers une variable aleatoire X. Alors f (Xn ) f (X).
P
P
En particulier si en plus Yn Y , pour tout , R, Xn + Yn X + Y et
P
Xn Yn XY .
D
emonstration : La preuve se fait facilement avec la Proposition 7.2.4 en utilisant la
P
convergence ps de sous-suite extraite. Par exemple, si Xn X, soit (n0 ) (n) une
sous-suite, on peut extaire (n00 ) (n0 ), telle que Xn00 converge ps vers X. Comme f est
continue, on a aussi f (Xn00 ) f (X) ps quand n00 +. Dapr`es le crit`ere de sous-suites
P
precedent, f (Xn ) f (X). On fait de meme pour les autres assertions.
On dit que (Xn )n0 est une suite de variables aleatoires reelles verifie le crit`
ere de Cauchy
en probabilit
e si
> 0, n0 , n m n0 : P(|Xn Xm | ) < .
(7.8)
c
Chapitre 7.
JCB
L3/M1 math Universite de Rennes 1
113
Ainsi nk nk1 et
P(|Xnk+1 Xnk | 2k ) < 2k .
Par le lemme de Borel-Cantelli, pour presque tout , il existe un entier k0 () < +
tel que si m k0 (), on a |Xnm+1 ()Xnm ()| 2m . Alors la suite de reels (Xnm ())m1
est de Cauchy. En effet, soit > 0 et p l max(k0 , l0 ) avec l0 = ln(2/)/ ln(2), on a
|Xnp () Xnl ()|
p1
X
m=l
p1
X
m=l
+
X
2m 2l+1 .
m=l
La limite de (Xnm ())m1 , suite de Cauchy dans R, existe. On la note X() = limk+ Xnk ().
On construit ainsi X() pour presque chaque et on prend X() = 0 pour les , negligeables, tels que (Xnm ())m1 nest pas de Cauchy. On definit ainsi la variable aleatoire
X. De cette facon, Xnk converge presque s
urement vers X et en particulier cette sous-suite
converge en probabilite vers X. Pour conclure, on ecrit :
P |Xn X| > P |Xn Xnk | > /2 + P |Xnk X| > /2 .
La condition de Cauchy garantit que le premier terme tend vers 0 pour n et k assez grands.
La convergence en probabilite de la sous-suite Xnk vers X garantit la convergence vers 0
du second terme quand k +. Finalement
lim P |Xn X| > = 0,
n+
ie. Xn X.
7.3
7.3.1
Convergence en norme p
D
efinition et propri
et
es
Lp
c
Chapitre 7.
JCB
L3/M1 math Universite de Rennes 1
114
Proposition 7.3.1 (Comparaison des convergences Lp et Lq ) Si p q, la convergence en norme p entrane la convergence en norme q.
Il sagit de la meme preuve que pour linclusion topologique Lp (, F, P) Lp (, F, P)
fondee sur une inegalite entre norme Lp et Lq , cf. Proposition 3.4.1.
D
emonstration : Soit p > q. Avec = pq > 1 et lindice conjugue de ( 1 + 1 = 1),
dapr`es linegalite de Holder, pour toute variable aleatoire X, on a :
E[|X|q ] E[|X|q ]1/ E[1 ]1/ E[|X|p ]q/p .
On en deduit kXkq kXkp . Appliquee a` la variable aleatoire Xn X, on a kXn Xkq
kXn Xkq , ce qui conclut.
En particulier, la convergence en norme p entrane toujours la convergence en norme k k1 .
La convergence en norme k k entrane toute convergence en norme p.
Proposition 7.3.2 (Convergences Lp et proba) Si Xn et X sont dans Lp (, F, P) alors
P
Lp
la convergence en norme k kp Xn X entrane la convergence en probabilite Xn X.
D
emonstration : Il suffit dappliquer linegalite de Markov : soit > 0,
E[|Xn X|p ]
kXn Xkpp
P |Xn X| = P |Xn X|p p
=
0, n +.
p
p
La reciproque est fausse : la convergence en probabilite seule nimplique pas la convergence
(par exemple) dans L1 :
Exemple : Soit Xn de loi donnee par P(Xn = 0) = 1 1/n et P(Xn = an ) = 1/n. On a
P
Xn X = 0 puisque
P(|Xn | ) = P(Xn = an ) = 1/n 0.
Puis E[|Xn X|] = E[|Xn |] = |an |/n qui ne tend pas vers 0 en general : par exemple si
an = 2n alors E[Xn ] = 2 2, si an = n2 alors E[Xn ] +.
Dans la section suivante, on introduit la notion qui permet de donner une reciproque a` la
Proposition 7.3.2, cf. le Theor`eme de Vitali (Theor`eme 7.3.1).
7.3.2
Uniforme int
egrabilit
e
D
efinition 7.3.2 (Uniforme int
egrabilit
e) Une suite de variables aleatoires integrables
(Xn )n0 est dite uniformement integrable (u.i.) si
lim sup E |Xn |1{|Xn |>c} = 0.
c+ n0
c
Chapitre 7.
JCB
L3/M1 math Universite de Rennes 1
115
Remarque 7.3.1
Une famille de variables aleatoires avec un seul element (integrable) est uniformement integrable (par convergence dominee !).
Une suite de variables aleatoires dominees par une variable aleatoire Z integrable est
uniformement integrable. En effet, par croissance |Xn |1{|Xn |>c} Z1{Z>c} , do`
u:
lim sup E[|Xn |1{|Xn |>c} ] lim E[Z1{Z>c} ] = 0.
c+ n0
c+
c
Chapitre 7.
JCB
L3/M1 math Universite de Rennes 1
116
D
emonstration : On suppose dabord que (Xn )n0 est uniformement integrable : pour
tout > 0, c > 0 tel que supn0 E[|Xn |1{|Xn |>c} ] < /2. Alors pour A F et n N, on a
E[|Xn |1A ] = E[|Xn |1A{|Xn |>c} ] + E[|Xn |1A{|Xn |c} ]
+ cP(A).
2
M
E[|Xn |]
.
c
c
En appliquant le 1) pour chaque n avec A = {|Xn | > c}, on a E[|Xn |1{|Xn |>c} ] .
Proposition 7.3.5 Soit X une variable aleatoire integrable. Alors la famille de variables
aleatoires {E[X|G] : G sous-tribu de F} est uniformement integrable.
D
emonstration : Notons XG = E[X|G]. Comme {XG > c} est G-mesurable, par definition
de lesperance conditionnelle XG = E[X|G], on a :
E[|XG |1{|XG |>c} ] = E[|X|1{|XG |>c} ].
(7.9)
E[|E[X|G]|]
E[E[|X| |G]]
E[|X|]
E[|XG |]
=
=
.
c
c
c
c
Puis comme X est integrable, pour tout > 0, il existe > 0 tel que si P(A) < alors
E[|X|1A ] < . Avec c > E[|X|]/, on a P(|XG | > c) et donc E[|X|1{|XG |>c} ] < .
Finalement, avec legalite (7.9), on a E[|XG |1{|XG |>c} ] < , cest a` dire
lim
c+
sup
G
sous-tribu de F
Th
eor`
eme 7.3.1 (Vitali) Soit (Xn )n0 une suite de variables aleatoires integrables. Il y
a equivalence entre
1. (Xn )n0 converge dans L1 ;
2. (Xn )n0 est une suite de Cauchy dans L1 , ie. > 0, n0 N, n, m n0 , E[|Xn
Xm |] < ;
3. (Xn )n0 est uniformement integrable et (Xn )n0 converge en probabilite.
c
Chapitre 7.
JCB
L3/M1 math Universite de Rennes 1
117
Remarque 7.3.2
Limplication 2) 1) montre que L1 est un espace complet pour
k k1 . Il sagit du th
eor`
eme de Riesz-Fisher (Th. 3.4.3) pour L1 .
Le meme resultat est vrai avec Lp , p 1, a` la place de L1 si Xnp est uniformement
integrable, cf. le Corollaire 7.3.1 pour un enonce precis. En particulier, (Lp , k kp ) est
complet (Th. 3.4.3).
D
emonstration : 1) 2) : la convergence L1 implique la condition de Cauchy dans L1
(inegalite triangulaire).
2) 3) : Par la condition de Cauchy, pour tout > 0, il existe n0 = n0 () tel que si
n, m n0 alors E[|Xn Xm |] < /2. Ainsi pour tout A F et n n0 ,
E[|Xn |1A ] E[|Xn Xn0 |1A ] + E[|Xn0 |1A ] E[|Xn Xn0 |] + E[|Xn0 |1A ]
/2 + E[|Xn0 |1A ].
Il suit supnn0 E[|Xn |1A ] /2 + E[|Xn0 |1A ] et
sup E[|Xn |1A ] /2 + sup E[|Xk |1A ].
n0
kn0
Avec A = , on deduit supn0 E[|Xn |] < +. Puis, comme la suite finie (Xk )kn0 est
uniformement integrable, il existe > 0 tel que P(A) < implique supkn0 E[|Xk |1A ]
/2. Finalement, supn0 E[|Xn |1A ] /2 + /2 = pour P(A) < . La Proposition 7.3.4
sapplique et donne luniforme integrabilite de (Xn )n0 .
Ensuite, par linegalite de Markov,
P(|Xn Xm | )
E[|Xn Xm |]
0,
n, m +.
La suite (Xn )n0 est donc de Cauchy en probabilite, ce qui donne la convergence en probabilite de toute la suite dapr`es la Proposition 7.2.6.
3) 1) : Comme Xn converge en probabilite vers X, de toute sous-suite (n0 ) (n), on
peut extraire une sous-suite (n00 ) (n0 ) telle que Xn00 converge ps vers X. Le lemme de
Fatou, avec luniforme integrabilite, garantit X L1 :
h
i
00
E[|X|] = E lim
inf
|X
|
lim
inf E[|Xn00 |] sup E[|Xn |] < +
n
00
00
n +
n +
n0
E[|X|1A ] < .
c
Chapitre 7.
JCB
L3/M1 math Universite de Rennes 1
118
Corollaire 7.3.1 (Vitali version Lp ) Soient p 1 et (Xn )n0 une suite de variables
aleatoires de Lp (, F, P). Il y a equivalence entre
1. (Xn )n0 converge dans Lp .
2. (Xn )n0 est une suite de Cauchy dans Lp , ie. E[|Xn Xm |p ] 0, m, n +.
3. (Xnp )n0 est uniformement integrable et (Xn )n0 converge en probabilite.
D
emonstration : La preuve est similaire a` celle du Th. 7.3.1 en utilisant les proprietes
de la norme k kp .
7.4
Convergence en loi
D
efinition 7.4.1 (Convergence en loi) Soit (Xn )n0 une suite de variables aleatoires
reelles. On dit que (Xn )n0 converge en loi vers la variable aleatoire X si la fonction de
repartition Fn (t) de Xn converge vers F(t), celle de X en tout point t o`
u F est continue
(cest `a dire en les points t tels que P(X = t) = 0). On note la convergence en loi :
Xn = X.
On peut noter que, pour cette convergence, les variables aleatoires ne sont pas necessairement definies sur le meme espace de probabilite (, F, P). Cela est par contre necessaire
pour les convergences presque s
ure, en probabilite, en norme k kp .
Remarque 7.4.1 Si X est une variable aleatoire a` densite, sa fonction de repartition est
continue et il ny a plus dhypoth`ese restrictive a` faire sur les points de continuite t dans
la definition de la convergence en loi puisque pour tout t on a P(X = t) = 0.
Exemple : Soit Xn de loi de Bernoulli donnee par P(Xn = 1 + 1/n) = P(Xn = 0) = 21 .
Alors la suite (Xn )n0 converge en loi vers X de loi P(X = 0) = P(X = 1) = 12 .
Th
eor`
eme 7.4.1 La convergence en loi Xn X est equivalente `a avoir pour toute fonction g : R R continue bornee :
lim E[g(Xn )] = E[g(X)].
n+
(7.10)
c
Chapitre 7.
JCB
L3/M1 math Universite de Rennes 1
119
Remarque 7.4.2 En fait, la definition de la convergence en loi par les fonctions de repartition ne permet de considerer la convergence en loi que pour les variables ou vecteurs
aleatoires `a valeurs dans un espace fini-dimensionel (ie. ce quon a appele variables aleatoires reelles ou vecteurs aleatoires). Par contre, la condition (7.10) permet de definir la
convergence en loi pour les variables aleatoires `a valeurs dans un espace metrique S quelconque avec g : S R continue bornee. En general, dans les espaces metriques, on prend
donc (7.10) pour definition de la convergence en loi.
D
emonstration : Sens direct. On suppose dabord g de classe C 1 a` support compact.
En particulier g 0 est bornee et a` support compact et la mesure |g 0 (y)|dy a sa masse totale
finie :
Z
|g 0 (y)|dy
sup (|g 0 (y)|) (Supp(g 0 )) < +.
(7.11)
ySupp(g 0 )
Z
Z
Z +
0
=
g (y)
PXn (dx)dy = (1 Fn (y))g 0 (y)dy.
y
(Noter que le theor`eme de Fubini sapplique puisque, dapr`es (7.11), g 0 (y) est integrable par
rapport a` dyPXn (dx).) La fonction F a au plus un nombre denombrable de discontinuite et,
en ses points de continuite, 1 Fn converge vers 1 F (par convergence en loi) en restant
bornee par 1 (car une fonction repartition est a` valeurs dans [0, 1]). Par convergence dominee
(dans le membre de droite), on a :
Z
Z
0
(1 Fn (y))g (y)dy = (1 F (y))g 0 (y)dy = E[g(X)]
lim E[g(Xn )] = lim
n+
n+
+ + =
4 2 4
ce qui prouve (7.10) lorsque g Cc0 .
c
Chapitre 7.
JCB
L3/M1 math Universite de Rennes 1
120
On suppose enfin que g est continue et bornee (et, pour simplifier, disons par 1). Etant
donne > 0, il existe h continue a` support compact telle que 0 h 1 et avec E[h(X)] >
1 /5 : limn+ P(X [n, n]) = 1 donc il existe n0 tel que P(X [n0 , n0 ]) 1 /5,
on prend alors
h(x) = 1 si x [n0 , n0 ], h(x) = 0 si x 6 [n0 1, n0 +1] et h lineaire sur [n0 1, n0 ]
et [n0 , n0 + 1] ; on a alors E[h(X)] E[1[n0 ,n0 ] (X)] = P(X [n0 , n0 ]) 1 /5.
On deduit, par la convergence en loi avec h continue a` support compact, quil existe
n1 tel que pour n n1 , on a E[h(Xn )] > 1 /4. La fonction gh est continue `a support
compact. Il existe donc un entier n2 tel que pour n n2 on a
E[(gh)(Xn )] E[(gh)(X)] .
2
On a alors pour tout n max(n1 , n2 ) (en ecrivant g = gh + g(1 h)) :
E[g(Xn )] E[g(X)]
E[(gh)(Xn )] E[(gh)(X)] + E[g(1 h)(Xn )] + E[g(1 h)(X)]
2
ce qui termine la preuve du sens direct.
Sens r
eciproque. Soit x R un point de continuite de F , la fonction de repartition
de X. Choisissons y > x (`a preciser dans un instant) et soit f la fonction egale a` 1 pour
u x et egale `a 0 pour u y, et affine entre x et y. Cette fonction est continue et bornee
par 1. Puis comme 1],x] f 1],y] , on a
P(Xn x) = E[1],x] (Xn )] E[f (Xn )] E[1],y] (Xn )] = P(Xn y)
(7.12)
cest `a dire Fn (x) E[f (Xn )] Fn (y). De la meme mani`ere avec X a` la place de Xn , on
a F (x) E[f (X)] F (y).
Fixons > 0, par continuite (`a droite) de F en x, il existe y0 x tel que F (x) F (y0 )
F (x) + /2. On choisit la fonction f0 associee comme precedemment `a ce y0 . Par hypoth`ese
pour cette fonction f0 continue bornee, il existe n0 tel que
n n0 ,
(7.13)
(7.14)
c
Chapitre 7.
JCB
L3/M1 math Universite de Rennes 1
121
Par continuite (`a gauche) de F en x, on peut alors choisir y1 x tel que F (x) /2
F (y1 ) F (x) ; puis pour la fonction f1 associee a` ce y1 comme ci-dessus, lhypoth`ese donne
lexistence de n1 tel que
E[f1 (Xn )] E[f1 (X)] /2
n n1 ,
puis pour tout n n1 ,
(7.15)
Finalement avec (7.13), (7.15), on a obtenu la convergence de Fn (x) vers F (x) : pour tout
n max(n1 , n2 ), on a
F (x) Fn (x) F (x) + .
Un des interets de la convergence en loi est de permettre dapprocher les lois inconnues (ou
connues mais, parfois, difficilement calculables) des Xn par celle (souvent plus simple) de la
limite X, comme par exemple dans le theor`eme central limite (cf. Section 8.2). Do`
u limportance de crit`eres simples garantissant cette convergence sans repasser par la definition.
On en donne ci-dessous quelques uns : le Theor`eme 7.4.2 (plutot utile dans les contextes
theoriques) et le Theor`eme 7.4.3 (plus pratique `a laide des fonctions caracteristiques).
Th
eor`
eme 7.4.2 (Portmanteau) Les assertions suivantes sont equivalentes quand n
+ pour des variables aleatoires Xn `a valeurs dans un espace metrique S.
1. Xn X, ie. pour toute fonction f : S R continue et bornee
lim E[f (Xn )] = E[f (X)].
n+
n+
n+
t R.
c
Chapitre 7.
JCB
L3/M1 math Universite de Rennes 1
122
D
emonstration : Le sens direct est immediat avec le Theor`eme 7.4.1 puisquon a X (t) =
E[gt (X)] avec gt (x) = eitx continue bornee.
Pour la reciproque, on supposeR dabord que g : R R est C 2 a` support compact. Sa
transformee de Fourier g(t) = R eitx g(x)dx est alors dans L1 (R, B(R), ). En effet, g est
bornee ainsi que celle de g 00 qui est egale a` t2 g(t). On a donc g(t) = O(1/t2 ) en + et g
est bornee si bien que g L1 (R, B(R), ).
Comme g L1 (R, B(R), ), on peut appliquer le theor`eme dinversion de Fourier pour
ecrire
Z
1
eitx g(t)dt.
g(x) =
2 R
Comme g est integrable, le theor`eme de Fubini sapplique et donne :
Z
Z
1
1
itXn
E[g(Xn )] =
E
e
g(t)dt =
E[eitXn ]
g (t)dt
2
2
R
R
Z
1
X (t)
g (t)dt.
=
2 R n
Mais comme Xn (t) converge vers X (t) pour chaque t et que |Xn (t)| 1 pour tout
t R avec en plus g integrable, par le theor`eme de convergence dominee, on a
Z
1
X (t)
g (t)dt = E[g(X)].
lim E[g(Xn )] =
n+
2 R
Lorsque lon suppose seulement g continue a` support compact puis ensuire continue bornee,
on proc`ede comme precedemment dans la preuve du sens direct du Theor`eme 7.4.1.
Une version plus generale du Theor`eme 7.4.3 donne la convergence en loi quand il y a
convergence simple des fonctions caracteristiques avec une hypoth`ese simple sur la limite
pour quelle soit une fonction caracteristique.
Th
eor`
eme 7.4.4 (Paul L
evy) On consid`ere une suite de fonctions caracteristiques (n )n0
de variables aleatoires Xn reelles. On suppose que, pour chaque t R, limn+ n (t) =
(t) et que est une fonction continue en t = 0. Alors est la fonction caracteristique
dune variable aleatoire X et on a la convergence en loi Xn X, n +.
D
emonstration : On note Fn (x) = P(Xn x) la fonction de repartition de chaque
variable aleatoire Xn .
Etape
1. Soit {r1 , r2 , . . . , rn , . . .} une enumeration de Q. Pour chaque j 1, on consid`ere
la suite (Fn (rj ))n . Comme cest une suite de [0, 1], elle contient une sous-suite convergente
(Theor`eme de Bolzano-Weierstrass). Par une procedure dextraction diagonale, on peut
trouver une sous-suite Gk = Fnk de Fn telle que limk+ Gk (r) = br existe pour tout
r Q. Comme Fnk est croissante, on a facilement br br0 si r < r0 .
c
Chapitre 7.
JCB
L3/M1 math Universite de Rennes 1
123
Etape
2. On reconstruit une fonction `a partir du squelette br , r Q. Pour cela, on note
G(t) = inf r>t br . Il est clair que G est croissante car si t < t0 alors G(t) G(t0 ). Puis si
tn & t et si r > t alors, pour n assez grand, r > tn , on en deduit que G(t) = inf n1 G(tn )
pour toute suite tn & t. Cela justifie la continuite a` droite de G.
Etape
3. On montre quen tout point de continuite t de G alors limn+ Gn (t) =
G(t). Soit r Q, r > t. Alors Gn (t) Gn (r) et limn+ Gn (r) = br . On en deduit que lim supn+ Gn (t) br . Comme cest vrai pour tout r Q, r > t, on a
lim supn+ Gn (t) G(t) = inf r>t br . Soit maintenant s < t et r Q tel que s < r < t.
Alors lim inf n+ Gn (t) lim inf n+ Gn (r) = br G(s). Comme cela est vrai pour
chaque s < t, on en deduit lim inf n+ Gn (t) sups<t Gn (s) = G(t ) = G(t) puisque t
est un point de continuite de G. Finalement, pour un tel t, on a Gn (t) G(t).
Attention, cependant, a` ce stade G nest pas necessairement une fonction de repartition,
par exemple Fn (t) = n ((, t]) dont la limite G(t) existe et est nulle pour tout t mais
G 0 nest pas une fonction de repartition.
Etape
4. On utilise le resultat suivant :
Lemme 7.4.1 Soit X une variable aleatoire de fonction caracteristique et de fonction
de repartition G. Alors pour tout T > 0,
Z T
1
(t)dt .
1 G(2/T ) + G(2/T ) 2 1
2T T
Dapr`es ce lemme, pour tout k 1, on a
Z T
1
1 Gk (2/T ) + Gk (2/T ) = 1 Fnk (2/T ) + Fnk (2/T ) 2 1
n (t)dt .
2T T k
Il est possible de choisir T tel que T2 soient des points de continuite de G. Par continuite
de G (`a gauche) et convergence dominee (`a droite), avec k +, on a
Z T
1
(t)dt .
1 G(2/T ) + G(2/T ) 2 1
2T T
Comme (0) = 1, et est continue en 0, on a
Z T
1
lim
(t)dt = 1.
T 0 2T T
On laisse alors T 0 de facon que T2 restent des points de continuite de G. On en deduit
que 1 G(+) + G() = 0, ce qui exige G() = 0 et G(+) = 1.
Finalement, G est croissante, continue a` droite avec des limites a` gauche de limite 0 et 1
en et +. Dapr`es le Theor`eme 2.3.1, G est une fonction de repartition.
On note Q la loi de fonction de repartition G. Cette loi est unique par caracterisation des
lois par leur fonction de repartition.
c
Chapitre 7.
JCB
L3/M1 math Universite de Rennes 1
124
Etape
5. Dans letape 1, on a montre quen tout point de continuite de G, fonction de
repartition, on a
lim Gk = lim Fnk = G.
k+
k+
1
(t)dt 1 P(|X| < )
P(|X| )
T
1
1
=
1
P(|X| ) 1
(1 G() + G())
T
T
Th
eor`
eme 7.4.5 (Continuous mapping theorem) Soit f : S S 0 une application
entre espaces metriques et (Xn )n0 une suite de variables aleatoires `a valeurs dans S.
Alors si Xn X et f est continue PX -presque partout, on a aussi f (Xn ) = f (X),
n +.
c
Chapitre 7.
JCB
L3/M1 math Universite de Rennes 1
125
D
emonstration : Notons Yn = f (Xn ). Si f est continue alors le resultat vient facilement
du Theor`eme 7.4.1 : on consid`ere g continue bornee, g f lest encore et le Theor`eme 7.4.1
(sens direct) donne pour la convergence Xn X
E[g(Yn )] = E[(g f )(Xn )] E[(g f )(X)] = E[g(Yn )].
Le sens indirect du Theor`eme 7.4.1 assure alors Xn X.
Dans le cas general o`
u f est seulement PX -ps continue, il faut utiliser le Theor`eme 7.4.2
(Portmanteau).
La convergence en loi ne verifie pas de bonnes proprietes arithmetiques : si par exemple Xn
tend en loi vers X, il nest pas vrai que Xn X tend vers 0. En effet, prendre par exemple,
Xn et X des variables aleatoires de loi normale centree reduite N (0, 1) alors la loi des Xn
concide avec celle de X mais aussi celle de X (car X et X ont meme loi, par parite
de la densite de N (0, 1) !). Donc les Xn convergent en loi vers X, pourtant si Xn
X,
Xn X suit une loi normale N (0, 2) qui nest pas la loi de 0 = X X. Cependant, dans
certains cas, le lemme de Slutsky donne des resultats positifs.
Th
eor`
eme 7.4.6 (Slutsky) Soit Xn X et Yn c o`
u c est une constante. Alors
(Xn , Yn ) (X, c)
(7.17)
o`
u la convergence est en loi ou en probabilite selon le meme mode que Xn . De plus
P
1. Xn + Yn X + c
P
2. Xn Yn cX
P
3. si c 6= 0, Xn /Yn X/c.
On commence par une version plus faible de Slutsky qui contient lessentiel de la difficulte
et a` laquelle on va se ramener :
Proposition 7.4.1 (Slutsky) Si la suite (Xn )n0 converge en loi vers X et si (Yn )n0
converge en loi vers 0 alors Xn + Yn converge en loi vers X.
Remarque 7.4.3 On peut expliquer intuitivement ce resultat : dire que (Xn )n0 tend
en loi vers X, cest dire que les repartitions statistiques de Xn et X ont tendance `a etre
voisines. Dire que Yn tend vers 0, cest dire que statistiquement, Yn est souvent voisin de 0.
Il en resulte quajouter Yn a` Xn modifie souvent peu Xn et donc egalement la repartition
statistique des valeurs prises par Xn .
D
emonstration : Soit t R tel que la fonction de repartition FX de X soit continue en
t. Soit > 0, pour avoir Xn + Yn t, on a soit Xn t + , soit Yn , cest `a dire
{Xn + Yn t} {Xn t + } {Yn } do`
u
P(Xn + Yn t) P(Xn t + ) + P(Yn ).
c
Chapitre 7.
JCB
L3/M1 math Universite de Rennes 1
126
n+
P(Xn t + 0 ) P(X t + 0 ) + .
3
Dautre part, la convergence en loi de Yn vers 0 entrane que P(Yn 0 ) tend vers
P(0 0 ) = 0 (la fonction de repartition de la variable aleatoire 0 est continue en 0 ).
Il existe donc n1 tel que pour n n1 ,
P(Yn 0 ) .
3
Finalement, pour tout n N0 = max(n0 , n1 ), on a
P(Xn + Yn t) P(Xn t + 0 ) + P(Yn 0 )
P(X t + 0 ) + /3 + /3
P(X t) + .
On montre de meme (en raisonnant de lautre cote) lexistence de N1 tel que pour tout
n N1 ,
P(Xn + Yn t) P(X t) .
La convergence en loi en resulte : pour tout n max(N0 , N1 ), on a en tout point t de
continuite de FX :
P(X t) P(Xn + Yn t) P(X t) +
c
Chapitre 7.
JCB
L3/M1 math Universite de Rennes 1
127
soit
FX (t) FXn +Yn (t) FX (t) + .
D
emonstration :[Theor`eme de Slutsky] Les affirmations 1), 2), 3) sont des consequences
faciles de (7.17) combine avec le continuous mapping theorem (Theor`eme 7.4.5) applique
avec les fonctions continues g1 (x, y) = x + y, g2 (x, y) = xy et g3 (x, y) = x/y. Il reste a` voir
(7.17).
Montrons le dabord dans le cas de lhypoth`ese Xn X. Pour cela, on consid`ere f (x, y)
continue bornee et on montre que E[f (Xn , Yn )] E[f
= f(x, c), on a
(X, c)]. Pour g(x)
g continue bornee et donc E[g(Xn )] E[g(X)], ie. E f (Xn , c) E f (X, c) , ou encore
P
(Xn , c) (X, c). Puis |(Xn , Yn ) (Xn , c)|1 = |Yn c| 0 (Yn converge en loi vers une
constante donc aussi en probabilite, cf. Proposition 7.4.4) ce qui garantit que
(Xn , Yn ) = (Xn , c) + (Xn , Yn ) (Xn , c) (X, c) + 0 = (X, c)
P
7.4.1
c
Chapitre 7.
JCB
L3/M1 math Universite de Rennes 1
128
2 2
( etant fixe, on choisit assez petit tel que FX (x ) > FX (x) /2 par continuite de
FX en x ; puis pour cet > 0, la convergence en probabilite rend P(|X Xn | ) /2
pour n assez grand) permet de montrer la seconde inegalite, ie. FXn (x) FX (x) pour
n assez grand.
Finalement, on a etablit la convergence de FXn (x) vers FX (x), en x point de continuite de
FX .
11=0
avec probabilite 1/4
10=1
avec probabilite 1/4
Xn X =
0 1 = 1 avec probabilite 1/4
00=0
avec probabilite 1/4.
c
Chapitre 7.
JCB
L3/M1 math Universite de Rennes 1
129
7.4.2
Les liens entre les differentes convergences sont donnes par le diagramme suivant :
CV L1
CV ps
&
.
CV en probabilite
CV en loi
CV Lp
CV L
Chapitre 8
Th
eor`
emes limite
Dans ce chapitre, on consid`ere P
des variables aleatoires reelles et on sinteresse au comportement asymptotique de Sn = ni=1 Xi o`
u (Xi )i1 est une suite de variables aleatoires
iid. Les principaux resultats sont la loi des grands nombres (LGN) qui donne le comportement de Sn /n et le theor`eme central limite (TCL) qui
precise ce resultat en montrant que
la vitesse de convergence de Sn /n vers E[X1 ] est en n.
8.1
La loi des grands nombres est la formulation rigoureuse des faits intuitifs suivants : si on
lance un grand nombre de fois une pi`ece en lair, il y aura en moyenne 50% de piles. De
meme, si on lance un grand nombre de fois un de a` 6 faces en lair, il y aura en moyenne
1/6-`eme des faces qui seront, par exemple, des 4 (si la pi`ece et le de sont equilibres).
8.1.1
Il existe une premi`ere version de la LGN (dite faible) pour la convergence en probabilite.
Sous des hypoth`eses L2 , cest une consequence simple de linegalite de Tchebychev (Theor`eme 8.1.1) ; sous des hypoth`eses L1 , cest une consequence du Theor`eme de Paul Levy et
de la Proposition 7.4.4 en calculant les fonctions caracteristiques (Theor`eme 8.1.2) combine
avec la Proposition 7.4.4.
LGN faible L2
Th
eor`
eme 8.1.1 (LGN faible L2 ) Soit (Xn )n1 une suite de variables aleatoires independantes et de meme loi avec un moment dordre 2. Alors
n
1X
P
Xi E[X1 ],
n i=1
130
n +.
c
Chapitre 8.
JCB
L3/M1 Math Universite de Rennes 1
131
(8.1)
.
Xi E[X1 ] = P |Mn E[Mn ]|
P
2
2
n
n
i=1
On conclut en faisant tendre n vers +.
Remarque 8.1.1 Plus que la convergence, nous avons obtenu la vitesse de convergence :
dapr`es (8.1) elle est en O(1/n). Si on connat Var(X1 ), on peut donc pour une proportion
donnee, trouver un rang n0 tel que que pour n n0 et pour cette proportion de ,
on a la moyenne arithmetique -proche de lesperance. Ceci est utile pour determiner des
intervalles de confiance.
Souvent, on se trouve dans le cas particulier o`
u les variables aleatoires considerees sont de
loi de Bernoulli, la LGN faible se reecrit alors :
Corollaire 8.1.1 Soit (Xn )n1 une suite de variables aleatoires independantes de Bernoulli de meme param`etre p. Alors
n
1X
P
Xi p,
n i=1
n +.
D
emonstration : On a E[Xi ] = p car Xi b(p) et comme Var(Xi ) = p(1 p) < +, la
LGN faible version L2 sapplique.
Cest ce resultat qui formalise le resultat intuitif sur le lancer des des ou P
des pi`eces : avec
Xi = 1{obtenir un 4 au i-`eme lancer} , on a Xi b(1/6) et p = 1/6 et n1 ni=1 Xi designe
la frequence dapparition du 4 sur les n premiers lancers.
c
Chapitre 8.
JCB
L3/M1 Math Universite de Rennes 1
132
1X
P
Xi p.
Mn =
n i=1
Il est donc legitime destimer p par Mn pour n assez grand. En pratique, on observe une
valeur particuli`ere Mn () calculee a` partir des n tirages reellement effectues correspondant
a` la realisation du hasard. La question pratique qui se pose est de donner une fourchette
pour lapproximation de p par la valeur observee Mn () et controler le risque que cette
approximation ne soit pas valable. Linegalite de Tchebychev pour Mn secrit ici :
Var(X1 )
p(1 p)
1
P |Mn p| t
=
2
2
nt
nt
4nt2
car on majore facilement p(1p) par 1/4 (la fonction x 7 x(1x) sur [0, 1] a son maximum
en 1/2 et il vaut 1/4). Do`
u
1
P Mn t < p < Mn + t = 1 P |Mn p| t 1
.
4nt2
(8.2)
c
Chapitre 8.
JCB
L3/M1 Math Universite de Rennes 1
133
Le sondage peut etre assimile `a un tirage avec remise (la reponse dun electeur de lechantillon correspondant au tirage dune boule dune certaine couleur selon son choix de vote),
on est alors ramene a` la situation de lexemple precedent. Ici, la frequence observee du
choix du OUI sur les 1000 electeurs est M1000 () = 0, 54 et lintervalle de confiance est
I =]0, 54 t; 0, 54 + t[
1
1
1
0, 95
0, 05 t ' 0, 0707.
2
2
4000 t
4000 t
10 2
Avec t = 0, 071, on trouve I =]0, 469; 0, 611[. On constate en particulier quune zone de
lintervalle de confiance correspond a` p < 1/2, pour lequel le OUI ne serait pas gagnant
alors que la proportion observee semblait lui garantir la victoire. On ne peut pas garantir
la victoire du OUI avec une probabilite derreur inferieure a` 5%.
Combien de personne faut-il alors interroger pour donner une fourchette a` 1% avec un
seuil de 95% ?
Repartons de (8.2), avec une fourchette t = 0, 01. On veut 0, 95 soit 1 0, 05 :
1
0, 05.
4n 0, 012
On trouve n = 50 000, ce qui donne au sondage un co
ut prohibitif. En gros, pour ameliorer
la precision dun facteur 10, on observe quil faut interroger 100 fois plus de personnes et
donc multiplier les co
uts par 100.
LGN faible L1
On obtient toujours une LGN faible pour des variables aleatoires iid L1 en utilisant le
theor`eme de Paul Levy (Theor`eme 7.4.3) et la Proposition 7.4.4 en calculant les fonctions caracteristiques (Theor`eme 8.1.1). Lhypoth`ese L1 est optimale puisquil faut que X1
soit integrable pour que son esperance ait bien un sens. Pour cela, on utilise les resultats
preliminaires suivants :
Lemme 8.1.1 On a
p
k
X
(ix)
|x|p+1 2|x|p
ix
,
.
min
e
k!
(p + 1)! p!
k=0
Par consequent,
p+1 p+1
p
X
ik tk
t |X|
2tp |X|p
k
E[X ] E min
,
.
X (t)
k!
(p + 1)!
p!
k=0
c
Chapitre 8.
JCB
L3/M1 Math Universite de Rennes 1
134
En effet, on a
p
p
k k
k k
X
X
i
t
i
t
E[X k ] = E[exp(itX)]
E[X k ]
X (t)
k!
k!
k=0
k=0
"
#
p
X
(itX)k
E exp(itX)
k!
k=0
p+1 p+1
2tp |X|p
t |X|
,
.
E min
(p + 1)!
p!
D
emonstration :[lemme] On utilise la formule de Taylor avec reste integral :
ix
e =
p
X
(ix)k
k=0
dont on deduit
ip+1
+
k!
p!
(x s)p eis ds
Z
p
1 x
|x|p+1
ix X (ix)k
p
.
(x s) ds
e
p! 0
k!
(p
+
1)!
k=0
p
X
(ix)k
k=0
do`
u
k!
ip
=
(p 1)!
(x s)
0
(ix)p
e ds
p!
p1 is
p
|x|p
ix X (ix)k ) |x|p |x|p
+
=2
e
k!
p!
p!
p!
k=0
i=1
i=1
D
emonstration : On proc`ede par recurrence sur n. Le cas n = 1 est evident. On suppose
le resultat vrai pour n. On ecrit alors
n+1
n
n
n+1
n+1
n+1
Y
Y
Y
Y
Y
Y
ai
bi
ai an+1
bi + an+1
bi
bi
i=1
i=1
i=1
i=1
i=1
i=1
n
n
n
Y
Y
Y
|an+1 | ai
bi + bi |an+1 bn+1 |
i=1
i=1
i=1
c
Chapitre 8.
JCB
L3/M1 Math Universite de Rennes 1
|an+1 |
n
X
i=1
n+1
X
135
n
Y
|ai bi | + bi |an+1 bn+1 |
i=1
|ai bi |,
i=1
Th
eor`
eme 8.1.2 (LGN faible L1 ) Soit (Xn )n1 une suite de variables aleatoires iid
avec un moment dordre 1 (E[|X1 |] < +) et soit Sn = X1 + + Xn . Alors
Sn P
E[X1 ],
n
n +.
D
emonstration : Quitte a` ecrire Xi = m+Xi0 , puis Sn /n = m+Sn0 /n avec Sn0 =
Pn
k=1
Xi0 ,
t
n
= X
t n
n
n
t
= 1 + i E[X] + o(t/n) .
n
Il faut controler correctement le reste o(t/n). Pour cela, on va appliquer le Lemme 8.1.2
avec ai = X (t) et bi = 1, 1 i n (on a bien |ai | 1). On a alors
n
t
t
n
X
1 n X
1 .
n
n
t
Pour montrer que ce majorant tend vers 0, on estime X ( n ) 1 avec le Lemme 8.1.1 avec
p = 1 (et E[X1 ] = 0) :
it/n
it/n
t
t
n X
1 = n E[e
1] = n E[e
1 i X]
n
n
2 2
it/n
t
t X 2t|X|
nE e
1 i X E n min
,
.
n
2n2
n
c
Chapitre 8.
JCB
L3/M1 Math Universite de Rennes 1
On observe alors que
2 2
t X 2t|X|
2t|X| L1
n min
,
2
2n
n
et
n min
t2 X 2 2t|X|
,
2n2
n
136
t2 X 2
0, n +.
n
(8.3)
cest a` dire
lim nSn /n (t) 1 = E[X] (t).
n+
8.1.2
1X
ps
Xi c R,
n i=1
n +.
(8.4)
Remarque 8.1.2 la LGN ps reste vraie sous lhypoth`ese dindependance par paires, cf.
la deuxi`eme preuve ci-dessous.
La LGN senonce encore de la facon suivante : si E[|X1 |] < + alors Snn = E[X1 ] +
o(1) ps lorsque n +. Le TCL donne en un certain sens un terme de plus dans le
developpement asymptotique en precisant le comportement en loi du terme o(1) sous une
hypoth`ese supplementaire sur la loi des Xi . On a ainsi une estimation tr`es precise de lerreur
c
Chapitre 8.
JCB
L3/M1 Math Universite de Rennes 1
137
cc1=0
n
n
n
n1
n
donc Xn /n converge presque s
urement vers 0. Comme les variables aleatoires (Xn )n1 sont
iid, par le lemme de Borel-Cantelli, pour tout (ou pour un) > 0 on a necessairement :
X Xn
P > < +
n
n1
sinon on aurait ps |Xn /n| > infiniment souvent. Mais
X
X
X Xn
P(|Xn | n) =
P(|X1 | n).
P > =
n
n1
n1
n1
La Proposition 3.2.3 garantit alors que E[|X1 |] < + puisque
X
X
P |X| > n E |X|
P |X| > n .
n0
n1
Pour le sens direct 1) 2) du Theor`eme 8.1.3, on commence par donner une preuve de
la LGNF sous lhypoth`ese E[X14 ] < + (existence dun moment dordre 4). Dans ce cas,
il suffit dappliquer le lemme de Borel-Cantelli en verifiant lhypoth`ese de la convergence
dune serie de probabilite en les majorant par linegalite de Tchebychev. Lexistence de
moment dordre 4 permet davoir de bonnes majorations de ces probabilites, cf. (8.5).
D
emonstration de 1) 2) dans le cas L4 . Il suffit de prouver le theor`eme quand
E[X1 ] = 0, le cas general sobtenant par soustraction de lesperance E[X1 ]. Posons
n
1X
Mn =
Xi ,
n i=1
Sn =
n
X
Xi .
i=1
P(Sn4
E[Sn4 ]
n ) 4 4 .
n
4 4
c
Chapitre 8.
JCB
L3/M1 Math Universite de Rennes 1
138
M (4)
n
X
i=1
+ M (2, 2)
Xi4
X
Xi2 Xj2
1i<jn
+
M
(1,
1,
1,
1)
Xi3 Xj
1i<jn
X
+ M (2, 1, 1)
Xi2 Xj Xk
+ M (1, 3)
1i<j<kn
X i Xj Xk Xl
1i<j<k<ln
4
4
4 2
o`
u M (4) = 44 =
1,
M
(1,
3)
=
=
4
M
(2,
2)
=
=
6,
M
(2,
1,
1)
=
= 12,
3
2
2 1
M (1, 1, 1, 1) = 41 31 21 = 24. La linearite et lindependance des Xi donnent alors E[Sn4 ] =
n
X
X
E[Xi4 ]
+ M (1, 3)
E[Xi3 ]E[Xj ]
M (4)
i=1
1i<jn
X
X
2
2
+ M (2, 2)
E[Xi ]E[Xj ]
+ M (2, 1, 1)
E[Xi2 ]E[Xj ]E[Xk ]
1i<jn
1i<j<kn
+ M (1, 1, 1, 1)
1i<j<k<ln
Comme E[Xi ] = 0, les deuxi`eme, quatri`eme et cinqui`eme termes sont nuls. Comme on
montre que M (4) = 1, M (2, 2) = 6, on obtient
E[Sn4 ]
n
X
E[Xi4 ] + 6
i=1
=
=
E[Xi2 ]E[Xj2 ]
1i<jn
n
4
nE[X1 ] + 6
(E[X12 ])2
2
4
nE[X1 ] + 3n(n 1)(E[X12 ])2
nE[X 4 ] + 3n(n 1)E[X 4 ]
3n2 E[X 4 ] < +
.
(8.5)
n 4 4
n 2 4
Comme 3E[X 4 ]/n2 4 est le terme general dune serie convergente, P(|Mn | ) aussi. Le
lemme de Borel-Cantelli sapplique et donne P(D ) = 0. Posons alors
P(|Mn | )
D=
+
[
p=1
D1/p .
c
Chapitre 8.
JCB
L3/M1 Math Universite de Rennes 1
139
p1
On a P(0 ) = 1 et pour tout 0 , par traduction dans le langage logique des symboles
ensemblistes, pour tout p N , il existe un entier k tel que pour tout n k : |Mn | 1/p.
On a donc Mn qui converge presque s
urement vers 0 ; ce qui ach`eve la preuve de la LGN
forte.
On donne maintenant une preuve de la LGN forte avec pour seule hypoth`ese lexistence du
moment dordre 1 (cadre optimal). Cette preuve est due `a Etemadi. Elle est plus subtile
et fondee sur une troncature des variables aleatoires Xn . Noter que dans cette preuve, on
ne suppose que lindependance deux `a deux des variables aleatoires Xn .
D
emonstration de 1) 2) dans le cas L1 et avec ind
ependance par paires. Comme
+
P
kn
2 n=1
kn2
n=1
=
+ kn
1 XX
Var(Yi )
2 n=1 i=1 kn2
+ +
1 XX
E[Yi2 ]
1
{ikn }
2 n=1 i=1
kn2
+
+
X
1 X
1
2
E[Y
]
1
{ik
}
n
i
2 i=1
kn2
n=1
(8.6)
1{ikn }
n=1
n ln
et
X
2n
nn0
donc
XZ
nn0
+
X
n=1
X 1
X
1
1
=
2
2
2(n1)
kn
kn
ln i
ln i
n
n1
1{ikn }
2x
n ln
dx =
n0 1
2x dx =
2(n0 1)
.
2 ln
2(ln i/ ln )
1
4
4
=
kn2
2 ln
2i2 ln
c
Chapitre 8.
JCB
L3/M1 Math Universite de Rennes 1
140
i
P
x2 PX (dx)
=
2
2
2
2
k
2(ln
)
i
2(ln
)
i
n
0
n=1
i=1
i=1
Z
+
i1
X
1 X k+1 2
4
x PX (dx)
=
2(ln )2 i=1 i2 k=0 k
!
Z k+1
+
2 Z 1
X
4
1
x2 PX (dx) +
x2 PX (dx)
2(ln )2 k=1 k + 1 k
6 0
X1
X 1
2
1
2
pour
k
1
et
)
(car
=
i2
k
k+1
i2
6
i1
ik+1
!
Z
+ Z k+1
X
2 1 2
4
xPX (dx) +
x PX (dx)
2(ln )2 k=1 k
6 0
Z
4
2 1 2
x PX (dx) < +.
=
E[X1 ] +
2(ln )2
6 0
Dapr`es le lemme de Borel-Cantelli, ps, pour n assez grand
Skn E[Skn ]
kn
et donc ps
Skn E[Skn ]
.
lim sup
kn
n+
(8.7)
` partir de ce resultat, il reste a` obtenir la bonne limite (E[X1 ]), pour la bonne suite Skn
A
plutot que Skn et pour toute la suite Sn et pas seulement pour une sous-suite.
Dabord,
Z
E[X1 ] = lim
n+
E[Skn ]
xPX (dx) = lim E[Yn ] = lim
n+
n+
kn
Skn
= E[X1 ].
n+ kn
lim
(8.8)
Puis
+
X
n=1
P(Yn 6= Xn ) =
+
X
n=1
P(Xn > n) =
+ Z
X
n=1
PX (dx) =
+ Z
+ X
X
n=1 i=n
i+1
PX (dx)
c
Chapitre 8.
JCB
L3/M1 Math Universite de Rennes 1
+ Z
X
=
i
i=1
i+1
PX (dx)
+ Z
X
i=1
141
i+1
n +.
(8.9)
Pour conclure soit n 1 et m(n) 0 tel que km(n) n km(n)+1 . Comme n 7 Sn est
croissante et n km(n) , on a
lim sup
n+
Skm(n)+1 km(n)+1
Skm(n)+1
Sn
lim sup
lim
= E[X1 ]
n+ km(n)+1
n
n+ km(n)+1 km(n)
car
Skm(n)+1
[m(n)+1 ]
m(n)+1
=
.
km(n)+1
[m(n) ]
m(n) 1
De la meme facon,
lim inf
n+
Skm(n) km(n)
Skm(n)
Sn
1
1
lim inf
lim
= E[X1 ].
n+ km(n) km(n)+1
n
n+ km(n)
Sn
Sn
E[X1 ] lim inf
n+
n
n
ce qui assure ps
lim
n+
Sn
= E[X1 ].
n
8.1.3
Applications de la LGN
M
ethode de Monte Carlo
Soient B un domaine mesurable borne, f : B R une application mesurable et (Xn )n1
une suite de variables aleatoires iid uniformes sur B. On suppose que f (X1 ) L1 (par
exemple, il suffit davoir f bornee sur B). On a alors
Z
n
1
1X
ps
f (Xk )
f d, n +.
n k=1
(B) B
c
Chapitre 8.
JCB
L3/M1 Math Universite de Rennes 1
Z
142
1B (x)dx
. Le resultat sobtient donc en
(B)
appliquant la LGN forte aux variables f (Xi ) iid L1 .
En effet, E[f (X1 )] =
f (x)PX1 (dx) =
f (x)
D
efinition 8.1.1 (Moyenne et variance empiriques) Etant
donnee une suite de variables aleatoires (Xn )n1 iid, on definit
:
n = 1 Pn X k .
la moyenne empirique X
nP k=1
n2 .
n )2 = 1 Pn X 2 X
la variance empirique Sn2 = n1 nk=1 (Xk X
k
k=1
n
Proposition 8.1.1 (Moyenne et variance empiriques) Soit (Xn )n0 une suite de variables aleatoires iid de meme loi Q. On suppose que Q admet un moment dordre 2 fini.
n , Sn2 de lechantillon (X1 , . . . , Xn ) estiment
Alors les moyenne et variance empirique X
lesperance et la variance de Q, ie. quand n +, on a
Z
ps
n E[X1 ] =
X
x Q(dx),
R
2
Z
Z
ps
2
2
x Q(dx) .
x Q(dx)
Sn Var(X1 ) =
R
n ] = E[X1 ] et E[S 2 ] =
De plus, E[X
n
n1
n
Var(X1 ).
n
2
On pref`ere parfois considerer la variance empirique corrigee Sn,c
= n1
Sn2 qui verifie
2
E[Sn,c
] = Var(X1 ). Dans ce cas, on obtient un estimateur sans biais. La moyenne empirique, elle, est toujours sans biais. Dans le cas gaussien, on peut preciser le comportement
de Mn et de Sn2 , cf. Theor`eme 9.3.2.
D
emonstration : Il sagit dune application immediate de la LGN. Pour la moyenne
n : cest immediat. Pour la variance empirique, on a
empirique X
!
!
n
n
n
X
X
X
1
1
n Xk + nX
2 =
2 + nX
2
Sn2 =
X2 2
X
Xk2 2nX
n
n
n
n k=1 k
n
k=1
k=1
!
!
n
n
X
1 X 2
1
2 =
2
=
X X
X2 X
n
n
n k=1 k
n k=1 k
E[X 2 ] E[X]2 = Var(X) (par la LGN).
c
Chapitre 8.
JCB
L3/M1 Math Universite de Rennes 1
Puis E[Sn2 ] =
143
2 ] = E[X 2 ] E[X
2 ]. Or
nE[X 2 ] nE[X
n
n
!2
n
X
1
2] = E
= 1 nE[X 2 ] + n(n 1)E[X]2
E[X
X
k
n
n2
n2
k=1
1
n
n1
1
nE[X 2 ] (E[X 2 ] (n 1)E[X]2 ) =
Var(X)
n
n
2
] = Var(X1 ).
et E[Sn,c
8.2
Th
eor`
eme central limite (TCL)
Le TCL est un resultat fondamental qui explique que les fluctuations autour de leur
moyenne des effets cumules de phenom`enes repetes independamment, apr`es normalisation, se comporte comme la loi N (0, 1). Autrement dit (et grossi`erement dit), la somme
dun grand nombre de variables aleatoires independantes (et de variance finie) suit, a` peu
pr`es, une loi normale. On propose le TCL classique (pour des variables aleatoires iid) dans
la Section 8.2.1 avant de le generaliser a` des variables independantes non identiquement
distribuees dans la Section ??.
8.2.1
= N (0, 1).
n 2
Remarque 8.2.1
Dun certain point de vue ce resultat compl`ete la loi des grands
nombres : la LGN dit que la moyenne arithmetique
Sn
X1 + + Xn
=
n
n
1. Uber
den zentralen Grenzwertsatz der Wahrscheinlichkeitsrechnung und das Momentenproblem [Sur
le theor`eme central du calcul probabiliste, parmi ceux ayant rapport `a la notion de limite, et le probl`eme
des moments]
c
Chapitre 8.
JCB
L3/M1 Math Universite de Rennes 1
144
t2
t2 00
X (0) + o(t2 ) = 1 + o(t2 ) lorsque t 0.
2
2
Qn
Puis comme les Xk sont iid, on a Sn (t) = k=1 Xk (t) = X (t)n , et donc
X (t) = 1 + t0X (0) +
Sn /n (t)
t2 2
t2
+o
1
2n
n
lorsque n +.
t2
On applique le Lemme 8.1.2 avec ai = X (t/ n), bi = (1 2n
), 1 i n :
n
t2 n
t
t2
X t
n X
.
1
1
2n
2n
n
n
Puis le Lemme 8.1.1 assure
3 3 2 2
3 3
2
t
t
|X|
t
|X|
t
t
|X|
2
2
nE min
1
n X
,
= E min
, t |X|
2n
6n3/2
n
6n1/2
n
avec de plus
3 3
t |X| 2 2
min
, t |X| t2 |X|2 L1 ,
1/2
6n
et
min
t3 |X|3 2 2
, t |X|
6n1/2
t3 |X|3
0.
6 n
n+
Sn /n (t)
= lim
n+
t2 n
1
= exp(t2 /2),
2n
c
Chapitre 8.
JCB
L3/M1 Math Universite de Rennes 1
145
= N (0, 1).
n
X1 + + Xn nE[X1 ]
par celle de
n
Y = N (0, 1). Si bien que la loi de la somme Sn = X1 + + Xn est approximee par celle
de
R`
egle statistique : La somme Sn dune suite de variables aleatoires iid L2 de moyenne
m et de variance 2 sapproxime par
Sn N (nm, 2 n).
Th
eor`
eme de Moivre-Laplace. En particulier comme une loi binomiale B(n, p) peut
se voir comme la loi dune somme Sn de n variables aleatoires Xi , 1 i n, de loi de
Bernoulli b(p) independantes, on a lapproximation dune loi binomiale par une loi normale
B(n, p) N (np, np(1 p)).
Exemple. Un joueur lance une pi`ece equilibree : lorsquil obtient pile, il gagne 100 Euros,
lorsquil obtient face, il perd 100 Euros. Estimer le nombre maximal de lancers a` effectuer
pour que ce joueur ait plus de 95 chances sur 100 de perdre au plus 2000 Euros.
Notons n le nombre de lancers effectues, la variable aleatoire Sn egale au nombre de piles
obtenus sur les n premiers lancers suit une loi B(n, 1/2) et le gain (algebrique) vaut :
Gn = 100 Sn 100 (n Sn ) = 200Sn 100n.
On cherche alors n tel que P(Gn 2000) 0, 95. Or {Gn 2000} = {Sn n/2 10}.
Comme Sn de loi binomiale, peut etre vue comme une somme Sn = 1 + +n de variables
aleatoires de loi b(1/2), dapr`es le TCL
Sn =
Sn n/2
p
= N (0, 1).
n/4
Si bien quon approxime la loi de Sn par N (0, 1) et donc celle de Sn par la loi normale
n n
N , .
2 4
Chercher n tel que P(Gn 2000) = P(Sn n/2 10) 0, 95 revient a` estimer n tel
que
c
Chapitre 8.
JCB
L3/M1 Math Universite de Rennes 1
146
o`
u N N (0, 1) et par symetrie de la loi N (0, 1). La table de la loi N (0, 1) donne alors
20
= 1, 65
n
cest `a dire
n=
20
1, 65
2
= 146.
Remarque 8.2.3 (Autres applications statistiques) Le TCL est fondamental en statistique pour etablir des intervalles de confiance (asymptotiques) ou pour faire des tests
dhypoth`eses a` partir dechantilllons aleatoires (test du 2 (chi-deux), test de Student ou
autres).
Chapitre 9
Vecteurs gaussiens
Le TCL justifie limportance de la loi normale. En effet, on approxime (en loi) de nombreuses variables aleatoires par des variables aleatoires normales ou des vecteurs gaussiens
en dimension d 2. Il importe donc de savoir manipuler correctement ce type de vecteurs.
Ces vecteurs sont caracterises par leur (vecteur) moyenne et leur (matrice de) covariance
et la plupart des calculs lies utilisent abondamment la structure hilbertienne de L2 .
9.1
Variables al
eatoires gaussiennes
D
efinition 9.1.1 (Variable al
eatoire gaussienne (normale)) Une variable aleatoire
reelle X suit la loi normale standard N (0, 1) si elle admet pour densite
1
2
t 7 et /2 .
2
De facon generale, si m R et 2 > 0, une variable aleatoire reelle X suit la loi normale
N (m, 2 ) si elle admet pour densite
1
(t m)2
t 7
.
exp
2 2
2 2
Si 2 = 0, la loi est degeneree et la variable aleatoire X est constante egale `a m. Sa loi est
un Dirac en m : PX = m .
R +
2
On rappelle que ex /2 dx = 2 justifie la normalisation de la loi N (0, 1).
ailleurs, rappelons que :
Par
Proposition 9.1.1 Une variable aleatoire X N (m, 2 ) peut se voir comme la translatee
et dilatee dune variable aleatoire X0 de loi normale standard N (0, 1) par
X = m + X0 .
147
c
Chapitre 9.
JCB
L3/M1 math Universite de Rennes 1
=
Autrement dit si X N (m, 2 ), 2 > 0, on definit la variable centree reduite X
Elle suit la loi N (0, 1). Rappelons encore que :
148
X m
.
9.2
Vecteurs gaussiens
c
Chapitre 9.
JCB
L3/M1 math Universite de Rennes 1
149
D
efinition 9.2.2 La matrice de covariance dun vecteur aleatoire X = (X1 , . . . , Xd )t
L2 est la matrice carree symetrique, positive
K = Cov(Xi , Xj ) 1i,jd .
Lesp
erance dun vecteur aleatoire X = (X1 , . . . , Xd )t L1 est le vecteur des esperances de
ses marginales
t
E[X] = E[X1 ], . . . , E[Xd ] .
Si E[X] = 0, le vecteur X est dit centre.
Fonction caract
eristique gaussienne en dimension d
Si X = (X1 , . . . , Xd )t est un vecteur gaussien alors ha, Xi =
de param`etres
Pd
i=1
c
Chapitre 9.
JCB
L3/M1 math Universite de Rennes 1
150
Remarque 9.2.1
On identifie les param`etres m et K dune loi Nd (m, K) `a laide
de lexpression de la fonction caracteristique par exemple si
1 2
2
X (s, t) = exp 2is + 3it s + st t
2
alors X N2 (m, K) avec
m = (2, 3)
et K =
1 1
1
2
.
c
Chapitre 9.
JCB
L3/M1 math Universite de Rennes 1
151
Corollaire 9.2.1 Un vecteur gaussien standard X N (0, Id ) est de loi invariante par
rotation.
D
emonstration : La matrice dune rotation est U Od (R) (matrice orthogonale :
U U t = U t U = Id ). Dapr`es la Prop. 9.2.1, si X N (0, Id ) alors U X N (0, U Id U t ) =
N (0, U U t ) = N (0, Id ).
D
efinition 9.2.4 (Vecteur gaussien d
eg
en
er
e) Un vecteur gaussien X Nd (m, K)
est dit degenere si sa matrice de covariance est non inversible, ie. det K = 0.
En fait si X Nd (m, K) est degenere en dimension d ssi il existe a Rd \ {0} tel que
Ka = 0. On a alors Var(ha, Xi) = at Ka = 0 et donc ha, Xi = E[ha, Xi]. Par consequent,
le vecteur X prend ses valeurs dans lhyperplan dequation ha, xi = b o`
u on a note b =
E[ha, Xi]. Le vecteur X vit donc dans un sous-espace (affine) de dimension strictement plus
petite que d (il vit peut etre meme dans un espace affine encore plus petit que lhyperplan
affine exhibe, en fait il vit dans un espace de dimension le rang de K). Des exemples simples
de vecteurs gaussiens degeneres sont fournis par
X = (N1 , N2 , . . . , Nn1 , N1 Nn1 ) o`
u N1 , . . . , Nn1 sont des variable aleatoires
normales independantes : il est clair que X est gaussien car
hA, Xi =
n1
X
i=1
c
Chapitre 9.
JCB
L3/M1 math Universite de Rennes 1
152
h
i
1
= E exp(ih( K )t x, X mi)
h
i
1
1
= E exp(ih( K )t x, Xi) exp ih( K )t x, mi
1
1 t
t
= X ( K ) x exp ih( K ) x, mi
1 t
1 t
1
1 1 t
= exp ihm, ( K ) xi h( K ) x, K( K ) xi exp ih( K )t x, mi
2
1 t
1 t
1
= exp h( K ) x, K( K ) xi
2
1 1 1 t
1 1 t 1 t
K( K) ( K ) xi
= exp hx, K K( K ) xi = exp hx, K
2
2
1
1
2
= exp hx, xi = exp kxk .
2
2
e Nd (0, Id ).
On a donc bien X
e est
On peut aussi utiliser la Proposition 9.2.3 : dabord X m est de loi N (0, K) puis X
1
1 1 t
e a pour loi N 0, K K( K ) = N (0, Id ).
limage de X m par f (x) = K x donc X
Remarque 9.2.2 (Centrer-r
eduire un vecteur gaussien) Comme en dimension 1, on
peut centrer-reduire une loi gaussienne : une variable aleatoire X Nd (m, K) avec K
inversible peut se voir comme une translatee et dilatee du vecteur gaussien standard N
Nd (0, Id ) :
X KN + m.
Ind
ependance de variables al
eatoires gaussiennes
Proposition 9.2.5 Soit (X, Y ) un couple gaussien. Alors X et Y sont independantes ssi
Cov(X, Y ) = 0.
D
emonstration : Le sens direct est vrai quelque soit les lois de X et de Y , carres integrables. Pour la reciproque, on sait que X et Y sont independantes ssi (X,Y ) (t1 , t2 ) =
X (t1 )Y (t2 ). Or (X, Y ) est un vecteur gaussien de matrice de covariance diagonale
2
X 0
0 Y2
car Cov(X, Y ) = Cov(Y, X) = 0. On deduit de (9.2) que
1 2 2
2
(X,Y ) (t1 , t2 ) = exp im1 t1 + im2 t2 (t1 X + t2 Y )
2
1 2 2
1 2 2
= exp im1 t1 t1 X exp im2 t2 t2 Y
2
2
c
Chapitre 9.
JCB
L3/M1 math Universite de Rennes 1
153
= X (t1 )Y (t2 ),
ce qui justifie lindependance.
Z
P(X A) =
PX (dx) =
ZA
=
ZA
=
ZA
=
A
1
2
2
2
=
exp
(x
+
+
x
)/2
exp
kxk
/2
.
1
d
d
d
2
2
c
Chapitre 9.
JCB
L3/M1 math Universite de Rennes 1
154
Pour passer au cas general dun vecteur gaussien X Nd (m, K), on suppose X non
degenere sinon, cest que X vit dans un sous-espace affine strict de Rd , de mesure nulle
pour d et il ny a pas de densite dans Rd . Il faut alors etudier un tel vecteur en dimension
inferieure.
On consid`ere donc X Nd (m, K) non degenere, cest a` direavec K = Cov(X) inversible.
On utilise le vecteur centre-reduit donne en (9.3) : on a X KN +m avec N Nd (0, Id ).
P(X A) = P( KN + m A)
Z
=
1{Ky+mA} f (y) dy
d
ZR
1
dx
=
1{xA} f ( K (x m))
det K
Rd
1
Z
exp(k K (x m)k2 /2)
=
dx
((2)d det K)1/2
A
Z
exp(h(x m), K 1 (x m)i/2
dx
=
((2)d det K)1/2
A
o`
u on a fait a` la 4`eme ligne le changement de variable y = Kx + m. On a prouve :
Proposition 9.2.8 (Densit
e gaussienne g
en
eral) La densite dun vecteur gaussien X
Nd (m, K) non degenere est
exp h(x m), K 1 (x m)i/2
.
fX (x) =
((2)d det K)1/2
Vecteurs non gaussiens avec des variables marginales gaussiennes
On a dej`a vu que si un vecteur X = (X1 , . . . , Xd )t est gaussien alors ses marginales Xi le
sont aussi, de meme les combinaisons lineaires de ses marginales le sont. La r
eciproque
est fausse : si des variables aleatoires sont gaussiennes alors le vecteur forme par ces
variables nest pas necessairement gaussien. En effet, prenons X une variable aleatoire de
loi N (0, 1) et Y de loi donnee, pour a > 0 fixe, par
X si |X| a,
Y =
X si |X| > a.
Alors Y est de loi N (0, 1) en effet
Y (t) = E[eitY ] = E[eitX 1|X|a ] + E[eitX 1{|X|>a} ]
= E[eitX 1{|X|a} ] + E[eitX 1{|X|>a} ] = E[eitX 1{|X|a} ] + E[eitX 1{|X|>a} ]
= E[eitX (1{|X|a} + 1{|X|>a} )]
2 /2
= E[eitX ] = et
c
Chapitre 9.
JCB
L3/M1 math Universite de Rennes 1
155
car la loi de X est symetrique : L(X) = L(X). Puis, la variable X + Y est donnee par
X + X = 2X si |X| a
X +Y =
X X =0
si |X| > a
= 2X1{|X|a} .
La combinaison lineaire X + Y a un atome en 0 car P(X + Y = 0) P(|X| > a) > 0.
Elle ne suit donc pas une loi gaussienne. Le couple aleatoire (X, Y ) nest donc pas gaussien
(sinon on devrait avoir X + Y de loi gaussienne).
De plus, cet exemple montre aussi que dans la Proposition 9.2.5, lhypoth`ese (X, Y ) gaussien est necessaire et il ne suffit pas de supposer que X et Y sont des variables aleatoires
gaussiennes. En effet,
Cov(X, Y ) = E[XY ] = E[X 2 1|X|a ] E[X 2 1{|X|>a} ]
= E[X 2 ] E[X 2 1{|X|>a} ] E[X 2 1{|X|>a} ]
= 1 2E[X 2 1{|X|>a} ].
La fonction u(a) = E[X 2 1{|X|>a} ] tend vers 0 en + par convergence dominee, est continue
et vaut E[X 2 ] = 1 en 0. Par le theor`eme des valeurs intermediaires, il existe donc a tel que
u(a) = 1/2 et Cov(X, Y ) = 0. Pourtant, X et Y sont non independantes sinon la loi du
couple (X, Y ) serait
0
1 0
P(X,Y ) = PX PY = N (0, 1) N (0, 1) = N
,
0
0 1
qui est gaussienne, ce qui est faux. Pour cette valeur de a, on a donc des variables aleatoires
gaussiennes X et Y non correlees mais non independantes.
Un autre exemple simple est donne par X = (N, N ) o`
u N N (0, 1) et est independante
1
de N et de loi P( = 1) = P( = 1) = 2 . On a N N (0, 1) car
N (t) = E eitN = E E[eitN |] = E N (t) = E exp((t)2 /2) = exp(t2 /2).
Mais X nest pas gaussien car par exemple la combinaison lineaire de ses marginales N +N
ne suit pas une loi normale (il y a un atome en 0). Pourtant,
Cov(N, N ) = E N 2 = E N 2 E[] = 0.
9.3
9.3.1
Applications
TCL multidimensionnel
Le theor`eme central limite se generalise pour des vecteurs aleatoires iid L2 non degeneres.
c
Chapitre 9.
JCB
L3/M1 math Universite de Rennes 1
156
Th
eor`
eme 9.3.1 Soit (X n )n1 une suite de vecteurs aleatoires iid L2 de vecteur esperance
1
d
1
m = E[X
Pn ] iR et de matrice de covariance K = Cov(X ) non degeneree. Alors en notant
Sn = i=1 X la somme partielle des vecteurs, on a
1
n1/2 K (Sn nm) = Nd (0, Id )
n1/2 (Sn nm) = Nd (0, K).
ou
(9.4)
(9.5)
1
D
emonstration : On note Zn = n1/2 K (Sn nm). Dapr`es le theor`eme de Paul Levy
(Theor`eme 7.4.4), il sagit de montrer que pour tout x Rd , on a
lim Zn (x) = Nd (0,Id ) (x) = exp(kxk2 /2).
n+
!
n
E
X
(Sn nm), x = n1/2 h(Sn nm), yi = n1/2
Yi nhm, yi
i=1
1
o`
u on a note y = ( K )t x et Yi = hX i , yi. On a
E[Yi ] = E[hX i , yi] = hm, yi
1 1
Var(Yi ) = Var(hX i , yi) = y t Ky = xt K K( K )t x = xt x = kxk2 .
Le TCL usuel en dimension 1 (Theor`eme 8.2.1) applique aux variables aleatoires iid Yi =
hX i , yi donne alors
!
n
X
kxk1 hZn , xi = n1/2 kxk1
Yi nE[Y1 ] = N (0, 1).
i=1
Do`
u
lim Zn (x) =
n+
lim E exp(ihZn , xi) = lim E exp(ikxk(hZn , xi/kxk)
n+
n+
n+
c
Chapitre 9.
JCB
L3/M1 math Universite de Rennes 1
9.3.2
157
n(Sn2 2 ) N (0, 4 4 )
D
emonstration : 1) Cest une application directe du TCL pour les variables aleatoires
(Xi )i1 iid :
n m = Sn nm = N (0, 1) = N (0, 2 ).
n X
n 2
2) Pour simplifier on prend m = 0. Comme
!
Pn
n
n
n
X
X
X
X
1
n
1
1
n )2 =
n i=1 i + X
2.
n2 =
(Xi X
Xi2 2X
Xi2 X
Sn2 =
n
n i=1
n i=1
n
n
n i=1
on a
Pn
2
2
2
Sn2 2
nXn
i=1 Xi n
np
= p
p
.
n(4 4 )
4 4
4 4
(9.6)
c
Chapitre 9.
JCB
L3/M1 math Universite de Rennes 1
n
1. X
Sn2
n N (m, 2 /n) et
2. X
n 2
S
2 n
158
2 (n 1).
D
emonstration :
La premi`ere etape consiste `a verifier quon peut se ramener au cas m = 0 et 2 = 1.
Pour cela, on pose
Xi0 =
Xi m
Xi = Xi0 + m,
1 i n,
et on observe que les variables aleatoires X10 , . . . , Xn0 sont independantes, de loi N (0, 1).
n = X
n0 +m
n0 leur moyenne empirique et Sn0 2 leur variance empirique. On a alors X
Notons X
0
n0 ), on a aussi Sn2 = 2 Sn2 . Si le resultat est etabli pour
n ) = (Xi0 X
et comme (Xi X
m = 0, = 1, il reste donc vrai dans le cas general.
On suppose chaque variable aleatoire Xi N (0, 1). Soit u1 = ( 1n , . . . , 1n ) Rn de norme
1. On compl`ete ce vecteur u1 en base orthonormee (bon) (u1 , . . . , un ) de Rn et on consid`ere
A la matrice carree changement de base, ie. la matrice dont les colonnes sont u1 , . . . , un .
Comme A est une matrice changement de base dune bon (la base canonique) a` une autre
(u1 , . . . , un ), A est orthogonale, ie. AAt = At A = In . Notons Y = At X et Y t = (Y1 , . . . , Yn ).
Le vecteur Y est gaussien de covariance KY = At KX (At )t = At In A = At A = In puisque, les
variables Xi etant independantes centrees-reduites, KX = In . En particulier, les variables
aleatoires Y1 , . . . , Yn sont independantes et de loi N (0, 1). La premi`ere ligne de At etant
ut1 = ( 1n , . . . , 1n ), on a
1
n.
Y1 = (X1 + + Xn ) = nX
n
On exprime de la meme facon Sn2 en terme de Y :
nSn2 =
=
n
n
X
X
n )2 =
n + X
2)
(Xk X
(Xk2 2Xk X
n
k=1
n
X
k=1
!
Xk2
n
2X
k=1
n
X
!
Xk
2.
+ nX
n
k=1
Par consequent,
nSn2 =
n
X
k=1
!
Xk2
n (nX
n ) + nX
n =
2X
n
X
!
Xk2
n2 .
nX
k=1
c
Chapitre 9.
JCB
L3/M1 math Universite de Rennes 1
159
n = Y1 /n et de S 2 = 1 Pn Y 2 ;
lindependance de X
n
k=2 k
n
n N (0, 1 ) et S 2 2 (n 1) car somme de n 1 carres de variables aleatoires
X
n
n
N (0, 1) independantes.
9.3.3
D
ecomposition de vecteurs gaussiens et test du 2
Le theor`eme de Cochran donne les lois des projections dun vecteur aleatoire gaussien.
Th
eor`
eme 9.3.3 (Cochran) Soit X un vecteur gaussien de loi Nd (0, 2 Id ), 2 > 0. Soit
une decomposition orthogonale Rd = V1 Vk avec dim(Vi ) = di , i = 1, . . . , k et Vi Vj ,
i 6= j. Alors les vecteurs V1 (X), . . . , Vk (X), o`
u Vi est la projection orthogonale sur Vi ,
sont gaussiens independants et
kVi (X)k2
2 (di ),
2
i = 1, . . . , k.
Pour avoir un resultat analogue pour un vecteur gaussiens general X Nd (m, ) non
degenere, il faut considerer des sous-espaces Vi orthogonaux pour un produit scalaire lie `a
: hx, yi = hx, yi = xt y, x, y Rd .
D
emonstration : Soit (ei,j )i,j une base orthonormee de Rd adaptee a` la decomposition Rd =PV1 Vk , ie. {ei,j : j = 1, . . . , di } est une base orthonormee de Vi .
Soit X = i,j hX, ei,j iei,j la decomposition de X dans cette base orthonormee. On pose
i,j = hX, ei,j i/ et on obtient un vecteur gaussien = (i,j )i,j = X/ Nd (0, Id ). Mais
Vi (X) =
di
X
j=1
di
X
i,j ei,j
j=1
ne depend que des i,j pour j {1, . . . , di }. On en deduit que les vecteurs Vi (X) sont
independants et que pour i = 1, . . . , k
d
i
kVi (X)k2 X
2
=
i,j
2 (di ).
2
j=1
Test dad
equation du 2
On observe une variable aleatoire discr`ete X, de support connu S(X) = {a1 , . . . , ar } Rr
avec les probabilites ponctuelles pj = P(X = aj ) = Q({aj }) ]0, 1[, j = 1, . . . , r inconnues.
On note p = (p1 , . . . , pr ) le vecteur de ses
Pprobabilites.
Soit, par ailleurs, une probabilite Q0 = rj=1 j aj de meme support mais avec les probabilites = (1 , . . . , r ) connues (i > 0, 1 i r). On souhaite etudier la possibilite que
Q soit egal a` Q0 , cest a` dire tester legalite de vecteurs de Rr : p = . Lhypoth`ese `a tester
est alors
c
Chapitre 9.
JCB
L3/M1 math Universite de Rennes 1
160
On peut voir que N = (N1 , . . . , Nr )t suit la loi multinomiale M(n, p1 , . . . , pr ) donnee par
P (N1 , . . . , Nr ) = (n1 , . . . , nr ) =
n!
pn1 . . . pnr r ,
n1 ! . . . nr ! 1
avec n1 + + nr = n.
Soient pj = Nj /n, j = 1, . . . , r, les frequences empiriques. Par la loi forte des grands
nombres, lorsque n +, on a pj pj = E[1{X=aj } ] = P(X = aj ) ps. Pour determiner
si p = , on consid`ere la distance entre p, qui approche p lorsque n est grand, et . En
pratique, pour des frequences dapparition fi de chaque atome ai , on note f = (f1 , . . . , fr ) =
( nn1 , . . . , nnr ) le vecteur des frequences empiriques et on definit la distance de Karl Pearson
entre f et = (1 , . . . , r ) par
r
X
(fj j )2
(f, ) =
j
j=1
(ce nest pas vraiment une distance puisque (f, ) nest pas symetrique). Avec les frequences empiriques p, on consid`ere alors la quantite :
r
r
X
(
j j )2 X (Nj nj )2
=
Tn = n(
p, ) = n
j
nj
j=1
j=1
dont le comportement permet de decider laquelle des deux hypoth`eses (H) ou (A) est la
plus vraisemblable :
Sous lhypoth`ese (H) : Tn est proche de 0 ;
par contre sous lhypoth`ese (A) (
6= ), on a (
p, ) (p, ) > 0 ps et donc
Tn + ps.
Avec ces observations, on peut alors formaliser le test du 2 (chi-deux) :
Th
eor`
eme 9.3.4 (Test dad
equation du 2 ) Soient 1 , . . . , r > 0. Alors :
sous lhypoth`ese (H) : Tn = 2 (r 1), n + ;
sous lhypoth`ese (A) : Tn + ps, n +.
D
emonstration : Dabord, sous (A), il existe j tel que j 6= pj et donc par la LGN forte
(
)2
(Th. 8.1.3) lim inf n+ (
j j )2 > 0 ps. On a alors lim inf n+ Tn lim inf n+ n j j j =
+ ps, ce qui prouve le resultat sous lhypoth`ese (A).
c
Chapitre 9.
JCB
L3/M1 math Universite de Rennes 1
On suppose maintenant lhypoth`ese (H) en vigueur. On voit que N secrit N =
Zi,1
1{Xi =a1 }
..
Zi = ... =
.
Zi,r
161
Pn
i=1
Zi o`
u
1{Xi =ar }
sont des vecteurs iid. Sous (H), lesperance commune des Zi est le vecteur et la matrice
de covariance de leur loi est donnee par
j k
si j 6= k
j,k = Cov(Z1 )j,k = Cov(Z1,j , Z1,k ) = j,k j j k =
j (1 j ) si j = k.
Le TCL multidimensionel (Theor`eme 9.3.1) donne
1
(N n) = X Nr (0, ), n +
n
D (N n) =
n
N
1 n1
n1
..
.
N
r nr
nr
..
= DD = (j,k j k )j,k = Ir ( )( )
o`
u ( ) = . .
et t = . La matrice
est la matrice de la projection orthogonale sur V = (Vect ) .
En effet, on a Im car pour x Rr :
hx, i = hx ( )( )t x, i = hx, i h( )( )t x, i
avec
soit hx,
t i = 0 et Ker = Vect( ) puisque x = 0 ssi x = ( )( ) x Vect ( )
car ( ) x R.
De plus si Y Nr (0, Ir ) alors Y Nr (0, t ) = Nr (0, ) DX (Prop. 9.2.3).
c
Chapitre 9.
JCB
L3/M1 math Universite de Rennes 1
Ainsi, sous (H), lorsque n +,
N
1 n1
n1
N
r nr
nr
162
= Y.
Mais
Tn = n(
p, ) =
N
1 n1
n1
N
r nr
nr
(9.7)
Le test du 2 se decline sous dautres formes : test dhomogeneite (pour tester que deux
echantillons sont gouvernes par la meme loi), test dindependance (pour tester que deux
quantites issues dun meme echantillon sont independantes). Pour des details et des exemples
simples, on renvoie `a [Dress] ou a` tout cours de statistique de base.
Bibliographie
[BL] Philippe Barbe, Michel Ledoux. Probabilite. EDP science, 2007.
[Bil1] Patrick Billingsley. Probability and measures. 3rd Edition, Wiley series in probabilities and mathematical statistics, 1995.
[Bil2] Patrick Billingsley. Convergence of Probability measures. 2nd Edition, Wiley series
in probabilities and mathematical statistics, 1999.
[JCB-IM] Jean-Christophe Breton. Integration et mesures. Notes de cours de L3 Mathematiques, Universite de La Rochelle, 2009.
[Chung] Kai Lai Chung. A course in probability theory. 3rd Edition, Academic Press, 2001.
[Dhar] S. W. Dharmadhikari. A simple proof of mean convergence in the law of large numbers. The American Mathematical Monthly, Vol. 83, no. 6. pp. 474475, 1976.
[Dur] Rick Durrett. Probability : theory and examples. 4th Edition, Cambridge series in
statistical and probabilitic Mathematics, 2010.
[Dress] Francois Dress. Probabilite et statistiques. 2`eme edition, Dunod, 1997.
[Fel] William Feller. An introduction to probability theory and its applications. Vol. 1. 3rd
Edition, Wiley series in probabilities and mathematical statistics, 1968.
[FF] Dominique Foata, Aime Fuchs. Calcul des probabilites. 2`eme edition, Dunod, 2003.
[Gra] Mihai Gradinaru. Probabilites de base. Notes de cours de magist`ere, Universite de
Rennes 1, 2011.
[Kal] Olav Kallenberg. Foundations of modern probability. 2nd Edition, Springer series in
statistics. Probability and its applications, 2002.
[Neveu] Jacques Neveu. Manuel de probabilites de lecole Polytechnique. Departement de
163