Chapitre 3

Estimation non paramétrique

Introduction
Dans tout ce chapitre, on considère le modèle d’échantillonnage en dimension 1, autrement dit
on dispose d’un échantillon (X1 , . . . , Xn ) de variables aléatoires réelles i.i.d. de loi inconnue PX .
Contrairement au Pile ou Face du Chapitre 1 et au modèle linéaire gaussien du Chapitre 2, la loi
PX n’est plus supposée indexée par un paramètre θ fini-dimensionnel, si bien que l’on se situe dans
un cadre non paramétrique. La loi PX étant caractérisée par la fonction de répartition associée,
c’est cette fonction F que l’on va estimer à partir de sa version empirique Fn . Dans ce contexte,
des équivalents de la loi des grands nombres et du théorème central limite sont donnés par les
Théorèmes de Glivenko-Cantelli et de Kolmogorov-Smirnov.

3.1 Loi et moments empiriques

3.1.1 Moyenne et variance empiriques
Partant d’un échantillon (Xn )n≥1 i.i.d., l’exemple le plus simple d’estimateur de la moyenne µ =
E[X1 ] est celui de la moyenne empirique :
n
1X
X̄n = Xi .
n
i=1

Ses propriétés découlent directement de la loi des grands nombres et du théorème central limite.

Proposition 14 (Convergence et normalité asymptotique de la moyenne empirique)

Si les variables (Xn )n≥1 sont i.i.d. et ont un moment d’ordre 2, avec E[X1 ] = µ et Var(X1 ) = σ 2 ,
alors la moyenne empirique X̄n est un estimateur non biaisé, convergent et asymptotiquement
normal : √
P L
X̄n −−−→ µ et n(X̄n − µ) −−−→ N (0, σ 2 ).
n→∞ n→∞

Puisque la variance σ 2 des Xi apparaît dans le résultat de normalité asympotique, il est naturel
de chercher à l’estimer à son tour. Ici, les choses se compliquent un peu en raison du biais de la
variance empirique.

Lemme 1 (Estimateurs de la variance)

Sous les mêmes hypothèses qu’en Proposition 14, on appelle variance empirique l’estimateur
n n
1X 1X 2
σ̂n2 = (Xi − X̄n )2 = Xi − X̄n2 ,
n n
i=1 i=1

59
60 Chapitre 3. Estimation non paramétrique

et estimateur sans biais de la variance

n
1 X n
ŝ2n = (Xi − X̄n )2 = σ̂ 2
n−1 n−1 n
i=1

lequel vérifie bien E[ŝ2n ] = σ 2 = Var(X1 ).

Attention ! La notation ŝ2n dans cette définition correspond au σ̂n2 du Chapitre 2.

Preuve. Partons de la seconde expression de la variance empirique, à savoir
n
1X 2
σ̂n2 = Xi − X̄n2 . (3.1)
n
i=1

Puisque E[Y 2 ] = Var(Y ) + E[Y ]2 pour toute variable aléatoire de carré intégrable, la moyenne du
premier terme est triviale :
" n #
1X 2
E Xi = E[X12 ] = Var(X1 ) + E[X1 ]2 = σ 2 + µ2 .
n
i=1

Le second est à peine plus difficile si l’on tient compte du fait que la variance de la somme de
variables indépendantes est égale à la somme des variances :
n
!
1 X 1 σ2
2 2
E[X̄n ] = Var(X̄n ) + E[X̄n ] = 2 Var Xi + E[X1 ]2 = Var(X1 ) + E[X1 ]2 = + µ2 ,
n n n
i=1

ce qui mène au résultat annoncé.



Les deux estimateurs sont asymptotiquement équivalents puisque

σ̂n2 n−1 1 P
= = 1 − −−−→ 1,
ŝ2n n n n→∞

et ont les mêmes propriétés de convergence et de normalité asymptotique.

Proposition 15 (Convergence et normalité asymptotique de la variance empirique)

Si les variables (Xn )n≥1 sont i.i.d. et admettent un moment d’ordre 2, avec Var(X1 ) = σ 2 , alors
les estimateurs σ̂n2 et ŝ2n sont convergents :

P P
σ̂n2 −−−→ σ 2 et ŝ2n −−−→ σ 2 .
n→∞ n→∞

Si l’on suppose de plus l’existence d’un moment d’ordre 4 pour les Xi , alors il y a aussi normalité
asymptotique :
√ L √ L
n(σ̂n2 − σ 2 ) −−−→ N (0, v 2 ) et n(ŝ2n − σ 2 ) −−−→ N (0, v 2 ),
n→∞ n→∞

où, en notant µ = E[X1 ],

v 2 = Var((X1 − µ)2 ) = E[(X1 − µ)4 ] − σ 4 .

Arnaud Guyader Statistique mathématique

3.1. Loi et moments empiriques 61

Preuve. Pour la convergence, on part de la formule (3.1) à laquelle on applique deux fois la loi
des grands nombres :
n
1X 2 P
σ̂n2 = Xi − X̄n2 −−−→ E[X12 ] − E[X1 ]2 = Var(X1 ) = σ 2 .
n n→∞
i=1

Par la remarque ci-dessus et le Théorème de Slutsky, le même résultat s’applique à ŝ2n . Pour la
normalité asymptotique, on bidouille un peu en considérant les variables i.i.d. centrées Yi = (Xi −µ)
et en notant que
n n n
1X 1X 1X 2
σ̂n2 = (Xi − X̄n )2 = (Yi − Ȳn )2 = Yi − Ȳn2 = Yn2 − Ȳn2 .
n n n
i=1 i=1 i=1

On peut donc écrire

√ √   √ √   √

n(σ̂n2 − σ 2 ) = n Yn2 − σ 2 − n Ȳn2 = n Yn2 − σ 2 − Ȳn × n Ȳn ,

Par la loi des grands nombres, Ȳn tend en probabilité vers 0. De plus, le TCL appliqué aux variables
Yi de moyenne nulle et de variance σ 2 donne
√ L
n Ȳn −−−→ N (0, σ 2 ),
n→∞

d’où par Slutsky

√
L
Ȳn × n Ȳn −−−→ 0.
n→∞

De même, le TCL appliqué aux variables Yi2

de moyenne σ 2 et de variance v 2 nous dit que
√  2 
L
n Yn − σ 2 −−−→ N (0, v 2 ).
n→∞

Il reste à appliquer Slutsky pour recoller les morceaux :

√ √   √
L
n(σ̂n2 − σ 2 ) = n Yn2 − σ 2 − Ȳn × n Ȳn −−−→ N (0, v 2 ).
n→∞

Quant à l’estimateur sans biais, tout le travail a déjà été fait ou presque, vu que
√ √ 2 √ 1 √
n(ŝ2n − σ 2 ) = n(ŝn − σ̂n2 ) + n(σ̂n2 − σ 2 ) = √ ŝ2n + n(σ̂n2 − σ 2 ).
n
Il suffit donc d’invoquer la convergence de ŝ2n et Slutsky pour le premier terme, et la normalité
asymptotique de σ̂n2 pour le second.


3.1.2 Loi empirique

On parle de moyenne empirique pour X̄n , or moyenne est synonyme d’espérance en probabilités.
On peut en fait voir X̄n comme une espérance, mais par rapport à une mesure de probabilité
aléatoire.
Définition 20 (Loi empirique) P
Si x1 , . . . , xn sont des réels, on appelle loi empirique des xi la mesure de probabilité νn = n1 ni=1 δxi .
Autrement dit, si les xi sont distincts, νn est la loi uniforme sur les xi . De façon générale, pour
tout borélien A de R, on a
n n
1X 1X |{i ∈ {1, . . . , n}, xi ∈ A}|
νn (A) = δxi (A) = 1A (xi ) = .
n n n
i=1 i=1

Statistique mathématique Arnaud Guyader

62 Chapitre 3. Estimation non paramétrique

Si X1 , . . . , Xn sont des variables aléatoires i.i.d., on appelle loi empirique de l’échantillon (X1 , . . . , Xn )
la fonction de ω ∈ Ω définie par
n n n
1X 1X 1X
νn = δXi =⇒ νn (ω) = δXi (ω) = δxi .
n n n
i=1 i=1 i=1

Ainsi, la loi empirique νn de l’échantillon (X1 , . . . , Xn ) est une probabilité aléatoire : à chaque
ω ∈ Ω sont associées de nouvelles réalisations (x1 , . . . , xn ), donc une nouvelle mesure de probabilité.
On peut voir νn comme une application de l’espace mesurable (Ω, F) dans l’ensemble des mesures
de probabilité à support fini 1 sur la droite réelle. Les quantités associées à la mesure νn sont donc
des variables aléatoires, dites empiriques. Par exemple, pour tout borélien A, la quantité
n n
1X 1X |{i ∈ {1, . . . , n}, Xi ∈ A}|
νn (A) = δXi (A) = 1A (Xi ) =
n n n
i=1 i=1

est appelée fréquence empirique de l’ensemble A. En l’occurrence, puisque les Xi sont i.i.d. de loi
PX , c’est une variable aléatoire de loi connue :

n × νn (A) ∼ B(n, PX (A)),

loi binomiale de paramètres n et PX (A) = P(X1 ∈ A). On peut aussi noter que, si la loi PX des
Xi n’a pas d’atome, alors presque sûrement les Xi sont distincts et νn n’est rien d’autre que la
mesure uniforme sur ces n points aléatoires.
Notation. Dans ce qui suit, Eν [ϕ(Z)] correspond à l’espérance de la variable aléatoire ϕ(Z) lorsque
Z a pour loi ν. Comme dans les intégrales dans le cours d’analyse, ceci permet de voir Z comme
une variable (aléatoire) muette, puisque dans ce cas Eν [ϕ(Z)] = Eν [ϕ(T )]. Ceci étant, si on écrit
E[ϕ(Z)] au lieu de Eν [ϕ(Z)], c’est qu’il n’y a aucune ambiguïté sur la loi de Z.
Considérons des réalisations (x1 , . . . , xn ), la loi empirique νn des xi et une variable aléatoire Y de
loi νn . Ainsi Y prend les valeurs xi avec les probabilités 1/n, donc par définition de l’espérance et
par le Théorème de Transfert, on a pour toute fonction ϕ
n
X n
1 1X
Eνn [ϕ(Y )] = ϕ(xi ) × = ϕ(xi ).
n n
i=1 i=1

Pour un échantillon (X1 , . . . , Xn ), en notant νn la loi empirique de l’échantillon (X1 , . . . , Xn ), la

quantité
n
1X
Eνn [ϕ(Y )] = ϕ(Xi )
n
i=1

est donc la variable aléatoire qui, pour tout ω ∈ Ω, vaut

n n
1X 1X
Eνn (ω) [ϕ(Y )] = ϕ(Xi (ω)) = ϕ(xi ).
n n
i=1 i=1

En particulier, la moyenne empirique peut se voir comme une espérance empirique, puisqu’il suffit
de prendre ϕ(y) = y :
n
1X
Eνn [Y ] = Xi = X̄n ,
n
i=1

1. de cardinal entre 1 et n, selon le nombre d’égalités parmi les xi .

Arnaud Guyader Statistique mathématique

3.2. Fonction de répartition et quantiles empiriques 63

tandis que la variance empirique fait aussi intervenir ϕ(y) = y 2 :

n
2 1X 2
2
Eνn [Y ] − Eνn [Y ] = Xi − X̄n2 = σ̂n2 .
n
i=1
La loi des grands nombres et le théorème central limite impliquent alors que, sous réserve d’inté-
grabilité,
n
1X P
Eνn [ϕ(Y )] = ϕ(Xi ) −−−→ E[ϕ(X1 )] = EPX [ϕ(Y )],
n n→∞
i=1
et √ L
n (Eνn [ϕ(Y )] − EPX [ϕ(Y )])) −−−→ N (0, VarPX (Y )).
n→∞
Ces deux résultats montrent que la suite de lois empiriques (νn )n≥1 tend en un certain sens vers
la loi PX . Puisque les lois de probabilité sur R sont complètement caractérisées par leurs fonctions
de répartition, on va s’intéresser à celles-ci d’un point de vue empirique.

3.2 Fonction de répartition et quantiles empiriques

3.2.1 Statistiques d’ordre et fonction de répartition empirique
Avant de définir la fonction de répartition empirique, il convient de mettre de l’ordre dans l’échan-
tillon.
Définition 21 (Statistiques d’ordre)
Partant d’un échantillon X1 , . . . , Xn , les n statistiques d’ordre X(1) , . . . , X(n) s’obtiennent en ran-
geant l’échantillon par ordre croissant, c’est-à-dire qu’elles vérifient
X(1) ≤ · · · ≤ X(n) .
Notation. On rencontre aussi l’écriture suivante pour les statistiques d’ordre :
X(1,n) ≤ · · · ≤ X(n,n) .
Pour tout k entre 1 et n, la variable X(k) est appelée la k-ème statistique d’ordre. Par exemple, la
première statistique d’ordre est le minimum de l’échantillon tandis que la n-ème correspond à son
maximum.
Achtung ! Même si les Xi sont i.i.d., les X(i) ne le sont clairement plus : à titre d’exemple, la
connaissance de X(1) donne de l’information sur X(2) , qui ne peut être plus petit.
D’un point de vue algorithmique, ce rangement croissant peut se faire par un algorithme de tri
rapide (ou quicksort) dont le coût moyen est en O(n log n), ce qui n’est pas cher payé. Notons enfin
que la définition précédente ne suppose pas les Xi distincts. C’est néanmoins presque sûrement le
cas si la fonction de répartition des Xi est continue (cas d’une loi sans atome).
Définition 22 (Fonction de répartition empirique)
La fonction de répartition empirique Fn d’un échantillon X1 , . . . , Xn est la fonction de répartition
de la loi empirique νn , donc définie pour tout réel x par
n n
1X 1X
Fn (x) = νn (] − ∞, x]) = 1]−∞,x](Xi ) = 1]−∞,x](X(i) ),
n n
i=1 i=1

ou, de façon équivalente,

|{i ∈ {1, . . . , n}, Xi ≤ x}| |{i ∈ {1, . . . , n}, X(i) ≤ x}|
Fn (x) = = ,
n n
c’est-à-dire la proportion de l’échantillon tombant au-dessous de x.

Statistique mathématique Arnaud Guyader

64 Chapitre 3. Estimation non paramétrique

1.00 1.00

0.75 0.75

0.50 0.50

0.25 0.25

0.00 0.00
−5 0 −5 0 5

Figure 3.1 – En bleu : deux réalisations de F20 avec X1 , . . . , X20 i.i.d. selon une loi de Cauchy.
En rouge : fonction de répartition de la loi de Cauchy.

En notant X(n+1) = +∞, cette fonction s’écrit encore

n
X i
Fn (x) = 1 (x).
n [X(i) ,X(i+1) [
i=1

C’est une fonction (aléatoire !) en escalier qui ne présente des sauts qu’aux X(i) , ces sauts étant
tous égaux à 1/n si les Xi sont distincts (cf. Figure 3.1). Dans le cas général, l’amplitude des sauts
est toujours un multiple de 1/n, le multiple en question correspondant au nombre de points de
l’échantillon empilés au même endroit.

Proposition 16 (Loi, convergence et normalité asymptotique)

Soit (Xn )n≥1 des variables i.i.d. de fonction de répartition F , alors pour tout réel x, on a :
— Loi : la variable aléatoire nFn (x) suit une loi binomiale B(n, F (x)).
— Convergence :
p.s.
Fn (x) −−−→ F (x).
n→∞
— Normalité asymptotique :
√ L
n (Fn (x) − F (x)) −−−→ N (0, F (x)(1 − F (x))).
n→∞

Preuve. Dans tous ces résultats, il importe de garder en tête que x est un réel fixé. Ainsi nFn (x)
représente tout bonnement le nombre de points de l’échantillon qui tombent à gauche de x :
n
X n
X
nFn (x) = 1]−∞,x](Xi ) = Yi ,
i=1 i=1

où les Yi sont i.i.d. selon une loi de Bernoulli de paramètre

p = P(Y1 = 1) = P(Xi ≤ x) = F (x),

d’où la loi binomiale pour leur somme. De la même façon, la loi des grands nombres appliquée aux
variables Yi assure que
n
1X p.s.
Fn (x) = Yi −−−→ E[Y1 ] = F (x),
n n→∞
i=1
tandis que le TCL donne
√ L
n (Fn (x) − F (x)) −−−→ N (0, Var(Y1 )) = N (0, F (x)(1 − F (x))).
n→∞

Arnaud Guyader Statistique mathématique

3.2. Fonction de répartition et quantiles empiriques 65


Ainsi, pour tout réel x, il existe un ensemble Ω0 (x) de probabilité 1 tel que, pour tout ω ∈ Ω0 (x),
pour toute suite de réalisations x1 = X1 (ω), x2 = X2 (ω), . . . , on a
n n
1X X i
1]−∞,x](xi ) = 1 (x) −−−→ F (x).
n n [x(i) ,x(i+1) [ n→∞
i=1 i=1

A priori, ceci n’assure même pas la convergence simple de Fn vers F de façon presque sûre, car
Ω0 (x) dépend de x, or une intersection non dénombrable d’ensembles de probabilité 1 n’est pas
nécessairement de probabilité 1. En fait, de façon presque sûre, il y a bien convergence simple et
même mieux : convergence uniforme, comme nous le verrons plus loin avec Glivenko-Cantelli.

3.2.2 Quantiles et quantiles empiriques

Un quantile est défini à partir de la fonction de répartition. Il n’y aucun problème lorsque celle-ci
est inversible. Si tel n’est pas le cas, il faut faire un peu attention. Ceci arrive en particulier pour
les fonctions de répartition empiriques.

Définition 23 (Inverse généralisée)

Soit F une fonction de répartition. On appelle inverse généralisée de F la fonction définie pour
tout u ∈ [0, 1] par
F −1 (u) = inf{x ∈ R : F (x) ≥ u},
avec les conventions inf R = −∞ et inf ∅ = +∞.

Si F est inversible, il est clair que cette fonction quantile coïncide avec l’inverse classique de F
(avec les conventions évidentes aux limites). A contrario, considérons une variable aléatoire X
discrète à valeurs dans l’ensemble fini {x1 < · · · < xm } avec probabilités (p1 , . . . , pm ). Il est facile
de vérifier que pour tout u ∈]0, 1[,


 x1 si 0 < u ≤ p1

 x2 si p1 < u ≤ p1 + p2
F −1 (u) = ..

 .


xm si p1 + · · · + pm−1 < u ≤ 1

c’est-à-dire
m
X
F −1 (u) = xk 1p1 +···+pk−1 <u≤p1 +···+pk . (3.2)
k=1

Si l’ensemble des valeurs prises par la variable discrète X n’est pas fini, il suffit de remplacer
cette somme par une série. Quoi qu’il en soit, outre que, tout comme F , cette fonction quantile
est croissante et en escalier, on notera que, contrairement à F , elle est continue à gauche. Ces
propriétés sont en fait toujours vraies.
Convention : dans toute la suite, nous conviendrons que F (−∞) = 0 et F (+∞) = 1 afin de
définir sans ambiguïté la fonction composée F ◦ F −1 sur [0, 1].

Propriétés 1
Soit F une fonction de répartition et F −1 son inverse généralisée. Alors :
1. Valeur en 0 : F −1 (0) = −∞.
2. Monotonie : F −1 est croissante.

Statistique mathématique Arnaud Guyader

66 Chapitre 3. Estimation non paramétrique

3. Continuité : F −1 est continue à gauche.

4. Equivalence : ∀u ∈ [0, 1],

F (x) ≥ u ⇐⇒ x ≥ F −1 (u). (3.3)

5. Inversibilité : ∀u ∈ [0, 1], on a (F ◦ F −1 )(u) ≥ u. De plus :

— si F est continue alors F ◦ F −1 = Id, mais si elle n’est pas injective il existe x0 tel que
(F −1 ◦ F )(x0 ) < x0 ;
— si F est injective alors F −1 ◦ F = Id, mais si elle n’est pas continue il existe u0 tel que
(F ◦ F −1 )(u0 ) > u0 ;
— il y a équivalence entre F ◦ F −1 = F −1 ◦ F = Id et l’inversibilité de F au sens usuel.

Preuve. Les deux premiers points découlent de la définition de F −1 . Etablissons l’équivalence

(3.3) : avec la convention F −1 (0) = −∞, il n’y a rien à montrer pour u = 0, donc on peut
considérer u ∈]0, 1]. Par définition de F −1 (u), si F (x) ≥ u, alors x ≥ F −1 (u). Inversement, si
F −1 (u) ≤ x, alors pour tout ε > 0 on a F −1 (u) < x + ε, donc par définition de F −1 (u), il vient
u ≤ F (x + ε). Puisque F est continue à droite, on en déduit que u ≤ F (x) et l’équivalence (3.3)
est établie.
La continuité à gauche en découle : puisqu’il n’y a rien à prouver pour u = 0, il suffit en effet
de montrer que pour tout u ∈]0, 1] et tout ε > 0, on peut trouver δ > 0 tel que F −1 (u − δ) >
F −1 (u) − ε = x′ . Puisque x′ < F −1 (u), (3.3) assure que F (x′ ) < u donc F (x′ ) < u − δ pour δ assez
petit. Ceci implique x′ < F −1 (u − δ), c’est-à-dire précisément ce qu’il fallait établir.
Pour le dernier point, il n’y a rien à prouver si u = 0. Si u ∈]0, 1], d’après (3.3), on a

F −1 (u) ≤ F −1 (u) =⇒ u ≤ (F ◦ F −1 )(u).

Supposons maintenant F continue. Alors, pour tout u ∈]0, 1] et pour tout ε > 0, on a, toujours
par (3.3),
F −1 (u) − ε < F −1 (u) =⇒ F (F −1 (u) − ε) < u.
Etant donné que u ∈]0, 1] et que F est supposée continue, le passage à la limite lorsque ε → 0
donne (F ◦ F −1 )(u) ≤ u. Au total, on a donc prouvé que, pour tout u ∈]0, 1], (F ◦ F −1 )(u) = u.
Avec les conventions prises pour F et F −1 , ceci est encore vrai pour u = 0. Supposons F non
injective, ce qui signifie qu’il existe x′0 < x0 tels que F (x′0 ) = F (x0 ) = u0 , donc

(F −1 ◦ F )(x0 ) = F −1 (u0 ) ≤ x′0 < x0 .

Dans le même ordre d’idée, si F est injective, alors quel que soit le réel x, il n’existe pas de réel
x′ < x tel que F (x′ ) = F (x), donc

F −1 (F (x)) = inf{x′ ∈ R, F (x′ ) ≥ F (x)} = x.

Si F n’est pas continue en un point x0 , il existe u0 tel que F (x−

0 ) < u0 < F (x0 ), auquel cas

(F ◦ F −1 )(u0 ) = F (F −1 (u0 )) = F (x0 ) > u0 .

Quant au dernier point, il correspond exactement à la définition de la réciproque d’une fonction

bijective, de sorte qu’il n’y a rien à démontrer.


Remarque : la preuve ci-dessus montre que si F est continue en u0 alors (F ◦ F −1 )(u0 ) = u0 .

Exemples : illustrons le dernier point des Propriétés 1.

Arnaud Guyader Statistique mathématique

3.2. Fonction de répartition et quantiles empiriques 67

1. Si X suit une loi uniforme sur [0, 1], alors sa fonction de répartition F est continue mais
pas injective. De fait, on a

(F −1 ◦ F )(2) = F −1 (1) = 1 < 2.

2. Soit Y ∼ N (0, 1), B ∼ B(1/2), avec Y et B indépendantes, et X = 2BY , alors la fonction

de répartition de X présente un saut en 0 puisque F (0− ) = 1/4 tandis que F (0) = 3/4 (voir
Figure 3.2). Elle est injective mais pas continue, et on voit que
3 1
(F ◦ F −1 )(1/2) = F (0) = > .
4 2

F(x) F−1(u)
1.00 4

0.75 2

0.50 0

0.25 −2

0.00 −4
−4 −2 0 2 4 0.00 0.25 0.50 0.75 1.00

Figure 3.2 – Fonction de répartition et fonction de répartition empirique de X = 2BY .

Maintenant qu’on a défini l’inverse d’une fonction de répartition en toute généralité, on peut passer
aux quantiles.

Définition 24 (Quantiles)
Soit F une fonction de répartition et p un réel de [0, 1]. On appelle quantile d’ordre p, ou p-quantile,
de F
xp = xp (F ) = F −1 (p) = inf{x ∈ R : F (x) ≥ p} ∈ R.
On le note aussi qp (penser aux intervalles de confiance). x1/2 est appelé médiane de F , x1/4 et
x3/4 étant ses premier et troisième quartiles.

Remarque. On a toujours x0 = −∞, tandis que x1 est la borne supérieure du support (éventuel-
lement +∞).
On peut ainsi définir les quantiles empiriques, lesquels se déduisent des statistiques d’ordre.

Lemme 2 (Quantiles empiriques)

Soit (X1 , . . . , Xn ) un échantillon et Fn la fonction de répartition empirique associée. Pour tout
p ∈ [0, 1], on note xp (n) = xp (Fn ) le quantile empirique (donc aléatoire) associé, c’est-à-dire

xp (n) = Fn−1 (p) = inf{x ∈ R : Fn (x) ≥ p}.

Avec la convention X(0) = −∞, le quantile xp (n) coïncide nécessairement avec l’une des statistiques
d’ordre :
i−1 i
xp (n) = X(i) ⇐⇒ <p≤ ⇐⇒ np ≤ i < np + 1 ⇐⇒ xp (n) = X(⌈np⌉)
n n
où ⌈x⌉ est la partie entière par excès de x, i.e. le plus petit entier supérieur ou égal à x.

Statistique mathématique Arnaud Guyader

68 Chapitre 3. Estimation non paramétrique

Exemple. La médiane empirique dépend de la parité de n : x1/2 (n) = X(n/2) si n est pair et
x1/2 (n) = X((n+1)/2) sinon.
Si p ∈]0, 1[ est fixé, il en va de même pour le p-quantile xp = F −1 (p), que l’on peut chercher à
estimer. Disposant d’un échantillon (X1 , . . . , Xn ) i.i.d. selon F , que dire du p-quantile empirique
xp (n) ? Sans prendre de précautions, ça peut mal se passer...

Théorème 11 (Convergence et normalité asymptotique du quantile empirique)

Soit (X1 , . . . , Xn ) i.i.d. selon F , p ∈]0, 1[ fixé, xp le p-quantile de F et xp (n) le p-quantile empirique.
1. Convergence : si F est strictement croissante en xp , alors
p.s.
xp (n) −−−→ xp .
n→∞

2. Normalité asymptotique : si F est dérivable en xp de dérivée f (xp ) > 0, alors

 
√ L p(1 − p)
n(xp (n) − xp ) −−−→ N 0, .
n→∞ f (xp )2

Preuve. Pour le premier point, fixons p ∈]0, 1[ et ε > 0. Comme très souvent pour montrer une
convergence presque sûre, on va établir une inégalité de concentration du type

P(|xp (n) − xp | ≥ ε) ≤ α exp(−βp,ε n),

et Borel-Cantelli permettra de conclure. Vu la dissymétrie induite par l’inverse généralisée, on

commence par scinder le terme à majorer :

P(|xp (n) − xp | ≥ ε) = P(xp (n) ≤ xp − ε) + P(xp (n) ≥ xp + ε). (3.4)

Pour le premier, les égalités suivantes sont évidentes :

n
!
X
P(xp (n) ≤ xp − ε) = P(X(⌈np⌉) ≤ xp − ε) = P(nFn (xp − ε) ≥ ⌈np⌉) = P 1Xi ≤xp −ε ≥ ⌈np⌉
i=1

où l’on reconnaît une somme de variables de Bernoulli i.i.d. :

n
X n
X
Sn = Bi = 1]−∞,xp−ε] (Xi ) ∼ B(n, F (xp − ε)) =⇒ E[Sn ] = nF (xp − ε).
i=1 i=1

Ainsi

P(xp (n) ≤ xp − ε) = P(Sn − E[Sn ] ≥ ⌈np⌉ − nF (xp − ε)) ≤ P(Sn − E[Sn ] ≥ n(p − F (xp − ε))).

Or, par définition de xp = inf{x, F (x) ≥ p}, on a pour tout ε > 0

F (xp − ε) < p =⇒ n(p − F (xp − ε)) =: nδ > 0.

A ce stade, Hoeffding s’impose (cf. Chapitre 1 Proposition 4) :

P(xp (n) ≤ xp − ε) ≤ P(Sn − E[Sn ] ≥ nδ) ≤ exp(−2δ2 n),

terme général d’une série convergente. Le second terme de l’équation (3.4) se traite de façon
comparable :
n
!
X
P(xp (n) ≥ xp + ε) = P(X(⌈np⌉) ≥ xp + ε) = P(nFn (xp + ε) ≤ ⌈np⌉) = P 1Xi ≤xp +ε ≤ ⌈np⌉
i=1

Arnaud Guyader Statistique mathématique

3.2. Fonction de répartition et quantiles empiriques 69

où l’on a cette fois

n
X
Sn = 1]−∞,xp+ε] (Xi ) ∼ B(n, F (xp + ε)) =⇒ E[Sn ] = nF (xp + ε),
i=1

et

P(xp (n) ≥ xp + ε) = P(Sn − E[Sn ] ≤ ⌈np⌉ − nF (xp + ε)) ≤ P(Sn − E[Sn ] ≤ n(p − F (xp + ε)) + 1).

Or, par hypothèse, on a pour tout ε > 0

F (xp + ε) > p =⇒ n(p − F (xp + ε)) + 1 < 0,

la dernière inégalité étant vraie pour tout n ≥ n0 = n0 (p, ε). On peut donc à nouveau appliquer
Hoeffding pour n ≥ n0 :
 
2(n(F (xp + ε) − p) − 1)2
P(xp (n) ≥ xp + ε) ≤ P(Sn − E[Sn ] ≤ n(p − F (xp + ε)) + 1) ≤ exp −
n

ce qui donne encore une série convergente. Le premier point est donc établi.
Le second revient à montrer que pour tout réel x
!
√ f (xp )
P( n(xp (n) − xp ) ≤ x) −−−→ Φ p x ,
n→∞ p(1 − p)

où Φ représente comme d’habitude la fonction de répartition de la gaussienne centrée réduite.

Soit donc p ∈]0, 1[ et xp le quantile associé. Puisque F est continue en xp , on a F (xp ) = p. Soit
maintenant x un réel fixé, alors
   
√ x x
P( n(xp (n) − xp ) ≤ x) = P xp (n) ≤ xp + √ = P X(⌈np⌉) ≤ xp + √ ,
n n

et en tenant compte du fait que les sauts de la fonction de répartition empirique sont d’amplitude
au moins 1/n, ceci s’écrit encore
 
√ √
√ ⌈np⌉ − 1
P( n(xp (n) − xp ) ≤ x) = P nFn (xp + x/ n) ≥ ⌈np⌉ = P Fn (xp + x/ n) > ,
n

c’est-à-dire
 
√ √ ⌈np⌉ − 1
P( n(xp (n) − xp ) ≤ x) = 1 − P Fn (xp + x/ n) ≤ = 1 − Gn (yn ),
n

où Gn est la fonction de répartition de la variable aléatoire

√ √ √

Yn = n Fn (xp + x/ n) − F (xp + x/ n)

et  
√ ⌈np⌉ − 1 √
yn = n − F (xp + x/ n) .
n
Par définition de la partie entière par excès et d’après l’hypothèse sur F , il est clair que
  
√ √ x √
yn = n p + o(1/ n) − F (xp ) + f (xp ) √ + o(1/ n) −−−→ −f (xp )x.
n n→∞

Statistique mathématique Arnaud Guyader

70 Chapitre 3. Estimation non paramétrique

Concernant la variable Yn , on a la décomposition Yn = Zn + (Yn − Zn ) avec

√ √
Zn = n(Fn (xp ) − F (xp )) = n(Fn (xp ) − p)

et la Proposition 16 implique que

L
Zn =−−−→ N (0, p(1 − p)).
n→∞

Par ailleurs,
√ √ √ √
Yn − Zn = n(Fn (xp + x/ n) − Fn (xp )) − n(F (xp + x/ n) − F (xp )),

or, comme on l’a vu à plusieurs reprises,

n
X
√ √
n(Fn (xp + x/ n) − Fn (xp )) = 1xp <Xi ≤xp +x/√n ∼ B(n, F (xp + x/ n) − F (xp )) =: B(n, δn ).
i=1

Par l’inégalité de Tchebychev, il vient pour tout ε > 0,

δn (1 − δn )
P (|Yn − Zn | ≥ c) ≤ −−−→ 0,
ε2 n→∞

c’est-à-dire que (Yn − Zn ) tend en probabilité vers 0. Au total, par le Lemme de Slutsky,
L
Yn = Zn + (Yn − Zn ) −−−→ N (0, p(1 − p)).
n→∞

Autrement dit, la suite de fonctions de répartition (Gn ) converge simplement vers la fonction de
répartition de la loi N (0, p(1 − p). D’après la Proposition 2, cette convergence est uniforme. En
particulier,
! !
√ f (xp ) f (xp )
P( n(xp (n) − xp ) ≤ x) = 1 − Gn (yn ) −−−→ 1 − Φ − p x =Φ p x ,
n→∞ p(1 − p) p(1 − p)

ce qui est le résultat voulu.



0.3
0.0
0.75

0.2 −0.5
0.50

0.1 −1.0
0.25

−1.5
0.0
−5.0 −2.5 0.0 2.5 5.0 −5.0 −2.5 0.0 2.5 5.0 0 250 500 750 1000

Figure 3.3 – Densité de Cauchy, fonction de répartition et convergence de la médiane empirique.

Exemples :

Arnaud Guyader Statistique mathématique

3.2. Fonction de répartition et quantiles empiriques 71

1. On considère (X1 , . . . , Xn ) i.i.d. selon la loi de Cauchy de densité

1
f (x) = .
π (1 + (x − θ)2 )
Sa médiane est clairement le paramètre de translation θ, que l’on estime donc par la médiane
empirique x1/2 (n). Le résultat précédent nous assure que
p.s.
x1/2 (n) −−−→ x1/2 = θ,
n→∞

avec plus précisément

√ L

n(x1/2 (n) − θ) −−−→ N 0, π 2 /4 .
n→∞

Via l’approximation usuelle Φ−1 (0.975)

≈ 2, on en déduit par exemple qu’un intervalle de
confiance de niveau asymptotique 95% pour θ est donné par
 
π π
x1/2 (n) − √ ; x1/2 (n) + √ .
n n
Lorsque θ = 0, la densité de la loi de Cauchy symétrique, sa fonction de répartition et la
convergence de la médiane empirique sont illustrées Figure 3.3.

1.00

0.75

0.50

0.25

0.00
0 2500 5000 7500 10000

Figure 3.4 – Oscillation de la médiane empirique pour des variables de Bernoulli B(1/2).

2. Si xp est le quantile d’ordre p de F , on a nécessairement F (x) < F (xp ) si x < xp . La

condition de stricte croissance de F en xp se ramène donc à la condition F (x) > F (xp ) si
x > xp . Bref, il ne faut pas que la fonction de répartition soit plate à droite de xp . Un exemple
élémentaire permet de comprendre ce qui se passe : soit X distribué suivant une loi de
Bernoulli de paramètre 1/2. Sa médiane vaut donc 0. Il est néanmoins facile de se convaincre
que la médiane empirique x1/2 (n) va osciller éternellement (mais pas régulièrement) entre
la valeur 0 et la valeur 1 (voir figure 3.4).
3. Le comportement pathologique de la médiane empirique en exemple précédent n’est pas
dû au fait que la loi de X est discrète. En effet, on peut très bien avoir le même type de
phénomène lorsque X a une densité. Par exemple, soit Y ∼ N (0, 1) et la variable X définie
comme suit :
X = Y 1Y <0 + (1 + Y )1Y ≥0 .

Statistique mathématique Arnaud Guyader

72 Chapitre 3. Estimation non paramétrique

0.4 1.00 1.0

0.3 0.75
0.5
0.2 0.50
0.0
0.1 0.25

−0.5
0.0 0.00
−2 0 2 4 −2 0 2 4 0 250 500 750 1000

Figure 3.5 – Densité de X = Y 1Y <0 + (1 + Y )1Y ≥0 , fonction de répartition et oscillation de la

médiane empirique.

La densité de X présente donc un trou entre 0 et 1, sa fonction de répartition un plateau

sur cet intervalle, et sa médiane vaut x1/2 = 0 (voir Figure 3.5 à gauche). Ici encore,
la médiane empirique x1/2 (n) va osciller éternellement entre des valeurs négatives et des
valeurs supérieures à 1 (voir Figure 3.5 à droite).
4. Pour comprendre la présence du f (xp ) au dénominateur dans la variance asymptotique,
voyons deux exemples. Dans le premier, on considère un mélange équiprobable de deux
gaussiennes réduites de moyennes opposées, par exemple -3 et +3. Formellement, en notant
X1 et X2 les variables gaussiennes en question et B une variable de Bernoulli de paramètre
1/2, ceci s’écrit 2 :
1 1 (x−3)2 1 1 (x+3)2
X = B × X1 + (1 − B) × X2 =⇒ f (x) = × √ e− 2 + × √ e− 2 .
2 2π 2 2π
Par symétrie, la médiane de X est en 0, et par le premier point du théorème on est assuré de
la convergence de x1/2 (n) vers 0. Néanmoins, cette convergence est très lente : la plupart des
points tombant près de l’un ou l’autre des modes, la médiane empirique sera elle-même très
longtemps plus proche de l’un ou l’autre des modes que de 0 (voir Figure 3.6). A contrario, si
on considère une brave gaussienne centrée réduite, l’échantillon sera bien concentré autour
de 0, donc si on coupe au milieu de celui-ci, la médiane empirique sera proche de 0.

0.20 1.00
1
0.15 0.75
0

0.10 0.50 −1

0.05 0.25 −2

−3
0.00 0.00
−5.0 −2.5 0.0 2.5 5.0 −5.0 −2.5 0.0 2.5 5.0 0 250 500 750 1000

Figure 3.6 – Densité d’un mélange équiprobable de gaussiennes, fonction de répartition et médiane
empirique.

2. Pour trouver la densité, on peut commencer par calculer la fonction de répartition.

Arnaud Guyader Statistique mathématique

3.3. Théorèmes limites 73

Remarque. Le résultat de normalité asymptotique du Théorème 11 ne sert généralement à rien si

on veut construire des intervalles de confiance puisqu’il fait intervenir la densité f , le plus souvent
inconnue. Dit autrement, la loi limite n’est pas pivotale. Alors que faire ?
Astuce : si l’on sait encadrer Fn (xp ), alors il suffira “d’inverser” cet encadrement pour en déduire
un intervalle de confiance pour xp . Or, d’après la Proposition 16, si F (xp ) = p, c’est-à-dire si F
est continue en xp , on a
√ √ L
n (Fn (xp ) − F (xp )) = n (Fn (xp ) − p) −−−→ N (0, p(1 − p)),
n→∞

donc
p p !
p(1 − p) p(1 − p)
P p − Φ−1 (1 − α/2) √ ≤ Fn (xp ) < p + Φ−1 (1 − α/2) √ −−−→ 1 − α.
n n n→∞

On peut alors appliquer le point 3.3 des Propriétés 1 :

Fn (x) ≥ u ⇐⇒ x ≥ Fn−1 (u) et Fn (x) < v =⇒ x ≤ v

pour en déduire un intervalle de confiance de niveau asymptotique (1 − α) pour xp , à savoir :

" p ! p !#
p(1 − p) p(1 − p)
Fn−1 p − Φ−1 (1 − α/2) √ , Fn−1 p + Φ−1 (1 − α/2) √ .
n n

Noter que cet intervalle s’obtient très facilement en pratique : si on définit p+ et p− par
p
± −1 p(1 − p)
p = p ± Φ (1 − α/2) √ ,
n
l’intervalle de confiance s’écrit tout simplement [X(⌈np− ⌉) , X(⌈np+ ⌉) ], et l’affaire est entendue.
Exemple. Lorsque F est continue en la médiane, un intervalle de confiance à 95% pour celle-ci
√ √
est, à peu de choses près, complètement défini par les statistiques d’ordres n/2 − n et n/2 + n.
Autrement dit, si n = 104 , il y a environ 95% de chances que la médiane se situe dans l’intervalle
[X(4900) , X(5100) ].

3.3 Théorèmes limites

Nous avons vu en Proposition 16 que
p.s.
Fn (x) −−−→ F (x).
n→∞

Dans cette section, nous précisons ce point, d’abord en montrant que la convergence de Fn vers F a
même lieu au sens de la norme infinie, ensuite en précisant la vitesse à laquelle cette convergence a
lieu. Une idée clé pour prouver ces résultats est de se ramener à la loi uniforme grâce à la propriété
suivante.

Lemme 3 (Universalité de la loi uniforme)

Soit U une variable uniforme sur [0, 1], F une fonction de répartition et F −1 son inverse généra-
lisée. Alors :
1. la variable aléatoire X = F −1 (U ) a pour fonction de répartition F .
2. si X a pour fonction de répartition F et si F est continue, alors la variable aléatoire F (X)
est de loi uniforme sur [0, 1].

Statistique mathématique Arnaud Guyader

74 Chapitre 3. Estimation non paramétrique

Preuve. Soit X = F −1 (U ) et x réel fixé, alors d’après le résultat d’équivalence des Propriétés 1,
la fonction de répartition de X se calcule facilement :

P(X ≤ x) = P(F −1 (U ) ≤ x) = P(U ≤ F (x)) = F (x),

la dernière égalité venant de ce que, pour tout u ∈ [0, 1], P (U ≤ u) = u. Le premier point est donc
établi. On l’applique pour le second : la variable Y = F −1 (U ) a même loi que X, donc la variable
F (X) a même loi que F (Y ) = (F ◦ F −1 )(U ). Or F est continue, donc par le dernier point des
Propriétés 1, F ◦ F −1 = Id, donc F (Y ) = U et F (X) est de loi uniforme sur [0, 1].


A propos du second point, il est clair que si X présente un atome en x0 , la variable F (X) va hériter
d’un atome en F (x0 ), donc ne sera certainement pas distribuée selon une loi uniforme...
Application : méthode d’inversion en Monte-Carlo. Supposons que l’on dispose d’un gé-
nérateur aléatoire de variables uniformes 3 . Par exemple, en R, une réalisation est donnée via la
commande u=runif(1). Alors, si la fonction de répartition F est facilement inversible, on déduit
du résultat précédent une méthode basique pour générer une variable de fonction de répartition
F.
Exemple : simulation d’une variable exponentielle. On veut générer une variable X selon
la loi exponentielle de paramètre 1. Pour tout x > 0, F (x) = 1 − e−x , il s’ensuit que pour tout
u ∈]0, 1[, F −1 (u) = − log(1 − u). Ainsi la commande x=-log(1-runif(1)) donne une réalisation
d’une variable exponentielle. Puisque U a la même loi que 1 − U , on peut même aller plus vite par
x=-log(runif(1)). La fonction rexp de R est implémentée de cette façon.

3.3.1 Loi des grands nombres uniforme : Glivenko-Cantelli

Une application typique du Lemme 3 est donnée dès le début de la preuve du théorème suivant et
aboutit à l’équation (3.5), qui montre que tout se ramène à l’étude d’un échantillon uniforme.

Théorème 12 (Glivenko-Cantelli)
Soit (Xn )n≥1 des variables i.i.d. de fonction de répartition F , alors
p.s.
kFn − F k∞ = sup |Fn (x) − F (x)| −−−→ 0.
x∈R n→∞

Preuve. D’après le Lemme 3, si U est uniforme sur [0, 1], F −1 (U ) a même loi que X. Dès lors,
considérant une suite (Un ) i.i.d. de variables uniformes sur [0, 1] et
n
1X
Hn (x) = 1F −1(Ui )≤x ,
n
i=1

les suites de variables aléatoires (kFn − F k∞ ) et (kHn − F k∞ ) ont même loi. Il en découle
l’équivalence suivante :
p.s. p.s.
kFn − F k∞ −−−→ 0 ⇐⇒ kHn − F k∞ −−−→ 0.
n→∞ n→∞

D’après le résultat d’équivalence des Propriétés 1, Hn s’écrit encore

n
1X
Hn (x) = 1Ui ≤F (x)
n
i=1

3. c’est en fait un générateur pseudo-aléatoire.

Arnaud Guyader Statistique mathématique

3.3. Théorèmes limites 75

et, puisque 0 ≤ F (x) ≤ 1,

n n
1X 1X
kHn − F k∞ = sup 1Ui ≤F (x) − F (x) ≤ sup 1Ui ≤u − u =: kGn − Gk∞ . (3.5)
x∈R n u∈[0,1] n
i=1 i=1

Il reste à montrer que ce majorant tend presque sûrement vers 0. Soit N un entier naturel fixé
(non nul). On partitionne comme suit :

kGn − Gk∞ = sup sup |Gn (u) − G(u)| = sup sup |Gn (u) − u|.
j
0≤j≤N −1
N
≤u≤ j+1
N
0≤j≤N −1 j
N
≤u≤ j+1
N

Puisque Gn est croissante, on a

j j +1
≤u≤ =⇒ Gn (j/N ) − (j + 1)/N ≤ Gn (u) − u ≤ Gn ((j + 1)/N ) − j/N
N N
donc, pour tout u ∈ [0, 1],
1 1
|Gn (u) − u| ≤ + max |Gn (j/N ) − j/N | = + max |Gn (j/N ) − j/N |,
N 0≤j≤N N 1≤j≤N −1

la dernière égalité tenant compte de Gn (0) = 0 et Gn (1) = 1. Bref, on s’est ramené à la majoration
1
kGn − Gk∞ ≤ + max |Gn (j/N ) − j/N |.
N 1≤j≤N −1

D’après la Proposition 16 dans le cas uniforme, pour tout j ∈ {1, . . . , N − 1},

p.s.
Gn (j/N ) − j/N −−−→ 0,
n→∞

donc, par intersection finie d’ensembles de probabilité 1, on a presque sûrement

1
lim sup kGn − Gk∞ ≤ .
n→∞ N
Si ΩN est l’ensemble de probabilité 1 sur lequel cette inégalité est vérifiée, il reste à prendre
l’intersection des ΩN , laquelle est encore de probabilité 1, pour aboutir au résultat souhaité.


Remarque. Les fonctions Fn étant croissantes, la preuve utilise bien sûr des arguments compa-
rables à celle du deuxième théorème de Dini, mais il faut noter qu’ici on n’a même pas supposé la
fonction limite F continue ! Il n’y a en fait aucune hypothèse sur celle-ci.

3.3.2 Vitesse uniforme : Kolmogorov-Smirnov et DKWM

Le théorème de Glivenko-Cantelli assure la convergence uniforme de Fn vers F presque sûrement
(ne pas oublier que les fonctions Fn sont aléatoires !) :
p.s.
kFn − F k∞ −−−→ 0.
n→∞

En gros ceci signifie que, lorsque sa taille croît, l’échantillon (X1 , . . . , Xn ) permet de reconstruire la
fonction F , donc la loi PX , ce qui était bien l’objectif annoncé en introduction. On veut maintenant
donner un équivalent du Théorème Central Limite, c’est-à-dire préciser la vitesse à laquelle cette
convergence a lieu. Nous nous contenterons de donner deux résultats en ce sens, résultats que nous
admettrons.

Statistique mathématique Arnaud Guyader

76 Chapitre 3. Estimation non paramétrique

Mentionnons simplement qu’en équation (3.5), si on avait supposé F continue, cette inégalité
devenait une égalité puisqu’alors ]0, 1[⊆ F (R), d’où
n n
1X 1X
kHn − F k∞ = sup 1Ui ≤F (x) − F (x) = sup 1Ui ≤u − u = kGn − Gk∞ .
x∈R n u∈[0,1] n
i=1 i=1
√
Puisque kHn − F k∞ a même loi que kFn − F k∞ , étudier la convergence en loi de nkFn − F k∞
√
revient à étudier celle de nkGn −Gk∞ . Cette idée est à l’œuvre dans la preuve du résultat suivant
(admis).

Théorème 13 (Kolmogorov-Smirnov)
Soit (Xn )n≥1 des variables i.i.d. de fonction de répartition continue F , alors
√ L
nkFn − F k∞ −−−→ K,
n→∞

où la variable K a la loi dite de Kolmogorov-Smirnov, de fonction de répartition

+∞
!
X
k+1 −2k 2 x2
FK (x) = P(K ≤ x) = 1 − 2 (−1) e 1x>0 .
k=1

Une autre façon d’énoncer ce résultat est de dire que, pour tout c > 0,
+∞
X
√
2 2
P nkFn − F k∞ ≥ c −−−→ 2 (−1)k+1 e−2k c .
n→∞
k=1

Les quantiles de cette loi sont connus, par exemple P(K ≥ 1.22) ≈ 0.1 et P(K ≥ 1.36) ≈ 0.05. Par
ailleurs, la fonction Fn étant constante sur les intervalles ]X(j−1) , X(j) [ et la fonction F croissante
et continue, la distance maximale entre Fn et F ne peut être atteinte qu’en l’un des Xj , c’est-à-dire
  
j−1 j
kFn − F k∞ = max max F (X(j) ) − , F (X(j) ) − . (3.6)
1≤j≤n n n

En pratique, ceci signifie que, étant donné l’échantillon (X1 , . . . , Xn ) et la fonction F , le calcul
effectif de kFn − F k∞ par logiciel est très rapide : il suffit d’ordonner l’échantillon et de prendre le
maximum des 2n valeurs de la formule (3.6).
Application : test de Kolmogorov-Smirnov. Considérons un échantillon (X1 , . . . , Xn ), les Xi
étant i.i.d. de fonction de répartition inconnue F , et une fonction de répartition continue donnée
F0 . On veut tester
H0 : F = F0 contre H1 : F 6= F0 .
Par l’inégalité triangulaire,

kF − F0 k∞ ≤ kF − Fn k∞ + kFn − F0 k∞ .

Si H0 n’est pas vraie, il en découle que, presque sûrement,

√ p.s.
lim inf kFn − F0 k∞ > 0 =⇒ nkFn − F0 k∞ −−−→ +∞.
n→∞ n→∞

Ainsi, supposons n “assez” grand et une réalisation (x1 = X1 (ω), . . . , xn = Xn (ω)) de l’échantillon.
√
si H0 n’est pas vraie, la statistique de test nkFn (ω) − F0 k∞ prendra des valeurs anormalement
grandes par rapport à la loi de Kolmogorov-Smirnov. La procédure de test est donc naturelle : il

Arnaud Guyader Statistique mathématique

3.3. Théorèmes limites 77

suffit de fixer par exemple le niveau α = 5%, de calculer la statistique de test grâce à la formule
(3.6) et de comparer au quantile de la loi de Kolmogorov-Smirnov :
√ −1
K(ω) := nkFn (ω) − F0 k∞ ≶ FK (1 − α) = 1.36

pour décider si l’on accepte ou rejette H0 . D’après le Théorème de Kolmogorov-Smirnov, ceci donne
un test de niveau asymptotique α.
Si on regarde les preuves dans le détail, il ressort que nous avons fait deux hypothèses superflues
dans la présentation de ce test. Tout d’abord, il reste de niveau asymptotique α même si on
ne suppose pas F0 continue (par contre, on n’a plus la convergence en loi vers une variable de
Kolmogorov-Smirnov). Ensuite, on n’a pas besoin de recourir à l’asymptotique. En effet, on a vu
que
√ L √
nkFn − F k∞ = nkGn − Gk∞ =: Kn ,
où la variable aléatoire Kn s’écrit donc
n
√ √ 1X
Kn = nkGn − Gk∞ = n sup 1Ui ≤u − u .
u∈[0,1] n
i=1

Par conséquent, même dans un cadre non asympotique (e.g. n < 50), on peut appliquer exactement
la même procédure de test : il suffit d’utiliser les quantiles de Kn et non ceux de K. Même si
on n’a plus de forme explicite pour la fonction de répartition de Kn , rien n’empêche d’évaluer
numériquement ses quantiles, typiquement par méthode Monte-Carlo. Par exemple, pour n = 20,
on a P(K20 ≥ 1.18) ≈ 0.1 et P(K20 ≥ 1.31) ≈ 0.05.
Il existe une autre façon, encore plus simple, de construire un test non asymptotique de niveau α
sans hypothèse de régularité sur F . Elle est basée sur l’inégalité suivante, aussi facile à énoncer
que difficile à prouver.

Théorème 14 (Inégalité de Dvoretzky-Kiefer-Wolfowitz-Massart)

Soit (X1 , . . . , Xn ) un échantillon de variables i.i.d. de fonction de répartition F , alors pour tout
c>0

√ 2
P nkFn − F k∞ ≥ c ≤ 2e−2c .

En 1956, Dvoretzky, Kiefer et Wolfowitz ont montré ce résultat, mais sans préciser la constante
devant l’exponentielle. Dès 1958, Birnbaum et McCarty ont conjecturé que la constante optimale
valait 2. Finalement, Massart l’a démontré en 1990.
Remarque : lien avec Hoeffding. Supposons x fixé et revenons à l’écriture de Fn (x) comme
somme de variables de Bernoulli :
n n
1X 1X
Fn (x) = 1]−∞,x](Xi ) = Yi .
n n
i=1 i=1

Puisque les variables Yi sont indépendantes et comprises entre 0 et 1, avec E[Fn (x)] = F (x),
l’inégalité de Hoeffding donne
√
2
P n|Fn (x) − F (x)| ≥ c ≤ 2e−2c ,

et ceci étant vrai pour tout réel x, il s’ensuit que

√
2
sup P n|Fn (x) − F (x)| ≥ c ≤ 2e−2c .
x∈R

Statistique mathématique Arnaud Guyader

78 Chapitre 3. Estimation non paramétrique

Le point remarquable de l’inégalité DKWM est que l’on peut en fait passer le supremum à l’intérieur
de la probabilité sans changer le majorant !
Revenons au test précédent. Pour un niveau α préconisé, il suffit donc de considérer
r
− log(α/2)
cα =
2
et de procéder exactement comme avant, c’est-à-dire de comparer
√
nkFn (ω) − F0 k∞ ≶ cα

pour décider si l’on accepte ou rejette H0 .

Remarque : équivalence des tests. On commence par noter que si α = 10% (respectivement
α = 5%), alors cα ≈ 1.22 (respectivement cα ≈ 1.36), ce qui correspond justement aux valeurs
approchées des quantiles d’ordre 0.9 et 0.95 donnés ci-dessus pour la loi de Kolmogorov-Smirnov.
Rien d’étonnant à ça : pour 0 < α < 1, cα est défini par 2 exp(−2c2α ) = α. La probabilité qu’une
variable de Kolmogorov-Smirnov dépasse cα est alors par définition
+∞
X 2 2 2 2 2
1 − FK (cα ) = 2 (−1)k+1 e−2k cα = 2e−2cα − 2e−8cα + · · · = α − 2e−8cα + . . .
k=1

Par le résultat classique sur les séries alternées, on a donc

2 α4
0 < α − (1 − FK (cα )) ≤ 2e−8cα = .
8
Morale de l’histoire : pour les valeurs de α considérées en pratique, disons α ≤ 10%, appliquer
le test de Kolmogorov-Smirnov asymptotique ou celui basé sur l’inégalité DKWM ne fait aucune
différence.

Arnaud Guyader Statistique mathématique