i

Statistique Mathématique en L3

Marc Hoffmann

Janvier 2014
ii
Table des matières

1 Modélisation statistique 1
1.1 Introduction à la problématique statistique . . . . . . . . . . . . . . . . . 1
1.1.1 Le  data deluge  . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.2 Les données hier... . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2 Modélisation statistique . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2 Echantillonnage 9
2.1 Loi d’une variable aléatoire . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2 Fonction de répartition empirique . . . . . . . . . . . . . . . . . . . . . . . 11
2.2.1 Précision d’estimation . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.2.2 Approche asymptotique . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2.3 Estimation uniforme . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.3 Estimation de fonctionnelles . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.4 Limites et conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

3 Expérience statistique dominée 27

3.1 Expérience statistique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.2 Expériences dominées . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.3 Modèle de densité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.3.1 modèle de densité paramétrique . . . . . . . . . . . . . . . . . . . . 30
3.4 Vraisemblance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

4 Méthodes d’estimation pour le modèle de densité 33

iv TABLE DES MATIÈRES

4.1 Méthode des moments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

4.1.1 Z-estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4.2 Z-estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4.3 M -estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.4 Principe de maximum de vraisemblance . . . . . . . . . . . . . . . . . . . 38

5 Comparaison d’estimateurs 45
5.1 Intervalle et région de confiance . . . . . . . . . . . . . . . . . . . . . . . . 45
5.2 Approche asymptotique . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
5.3 Modèles réguliers et information de Fisher . . . . . . . . . . . . . . . . . . 47
5.3.1 Construction de l’information de Fisher . . . . . . . . . . . . . . . 47
5.3.2 Modèle régulier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
5.4 Cadre général et interprétation géométrique . . . . . . . . . . . . . . . . . 52

6 Tests statistiques 53
6.1 Notion de test et d’erreur de test . . . . . . . . . . . . . . . . . . . . . . . 53
6.2 Hypothèse simple contre alternative simple . . . . . . . . . . . . . . . . . 55
6.3 Tests gaussiens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
6.3.1 Tests sur la moyenne . . . . . . . . . . . . . . . . . . . . . . . . . . 60
6.3.2 Tests sur la variance . . . . . . . . . . . . . . . . . . . . . . . . . . 62
6.4 Construction d’un test : hypothèses générales . . . . . . . . . . . . . . . . 62
6.4.1 Retour sur un exemple . . . . . . . . . . . . . . . . . . . . . . . . . 62
6.4.2 Principe de construction . . . . . . . . . . . . . . . . . . . . . . . . 64
6.5 Tests asymptotiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
6.6 Compléments : p-valeur et liens entre tests et régions de confiance . . . . 66
6.7 Tests d’adéquation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
6.7.1 Tests de Kolmogorov-Smirnov . . . . . . . . . . . . . . . . . . . . . 68
6.7.2 Tests du χ2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
Chapitre 1

Modélisation statistique

1.1 Introduction à la problématique statistique

Plan de la séance
– Les données aujourd’hui : le  data deluge 
– Les données hier... statistikum !
– La statistique comme discipline scientifique : notion de problématique statistique
et d’expérience statistique
– Le modèle d’échantillonnage

1.1.1 Le  data deluge 

Données aujourd’hui : Exemple 1

Les chiffres du travail
Taux d’activité par tranche d’âge hommes vs. femmes

[Link]
2 Modélisation statistique

Données aujourd’hui : Exemple 2

Finance

[Link]

Données aujourd’hui : Exemple 2 (cont.)

FGBL, Apr. 99 à Dec. 05, 1 donnée par jour. (Source : BNP Paribas)
125
120
115
Bund

110
105

0 500 1000 1500

Time

Données aujourd’hui : Exemple 2 (cont.)

FGBL, 1 heure  typique 1 donnée par seconde. (Source : BNP Paribas)

1.1 Introduction à la problématique statistique 3

115.65
115.60
115.55
value

115.50
115.45
115.40

0 5000 10000 15000 20000 25000 30000

time

Données aujourd’hui : Exemple 3

Biopuces et analyse d’ADN

Données aujourd’hui : Exemple 4

E-marketing - Livres
4 Modélisation statistique

Problématique statistique (avec des mots)

– A chaque jeu de données est associée une problématique (une question).
– Pour réponder à cette question, le statisticien doit disposer
1. d’une Méthodologie.
2. d’un Modèle quantitatif (mathématique) qui rende compte des propriétés des
données.
3. de Méthodes adaptées au modèle mathématique qui permettent de répondre
à la question selon la méthodologie convenue.

Exemple abstrait (anticipatif ) le plus simple

1.1 Introduction à la problématique statistique 5

– On lance une pièce de monnaie 18 fois et on observe (P = 0, F = 1)

0, 0, 0, 1, 1, 0, 1, 0, 0, 1, 1, 0, 1, 0, 0, 1, 1, 0.

– Modèle statistique : on observe n = 18 variables aléatoires Xi indépendantes, de

Bernoulli de paramètre inconnu ϑ ∈ Θ = [0, 1].
1 P18 ici
– Problème 1. Estimateur X̄18 = 18 i=1 Xi = 8/18 = 0.44. Quelle précision ?
– Problème 2. Décision à prendre :  la pièce est-elle équilibrée  ?. Par exemple :
on compare X̄18 à 0.5. Si |X̄18 − 0.5|  petit , on accepte l’hypothèse  la pièce
est équilibrée . Sinon, on rejette. Quel seuil choisir, et avec quelles conséquences
(ex. probabilité de se tromper).

1.1.2 Les données hier...

Retour en arrière : les données hier...

– Statistik  (dérivé du latin Statisticum). Allemagne, 1740 (Achenwall). Ensemble


de mesures et recueil de données nécessaires au fonctionnement et à l’organisation

de l’état : recensements et estimations de la population, des richesses, de l’impôt,
des armées.
– Les progrès de la statistique : représentation graphique et organisation des données
en tableaux (statistique descriptive, dominée par l’école allemande au 18e siècle).
Activité importante aussi en Grande Bretagne 1 et dans une France centralisée. 2

Statistique et probabilités
– 17e siècle : Invention des probabilités. Incorporation d’un raisonnement probabiliste
– et donc un modèle du hasard – dans le traitement d’observations.
– Basculement de la statistique vers une discipline scientifique à part entière. Préfigure
l’actuariat moderne 3 .
– L’exemple historique incontournable : John Arbuthnott (1667–1735) et le déficit des
naissances et morts selon le sexe. – la première reflexion  moderne  de statistique
et qui préfugurent l’actuariat.

John Arbuthnott et  la divine providence 

– 1712, Arbuthnott (médecin de la Reine Anne) examine le nombre de baptêmes de

filles et de garçons à Londres, entre 1629 et 1710.
1. William Playfair (1759–1823), 1786, ”The Commercial and Political Atlas” contenant le premier
diagramme en barres connu.
2. Vauban, 1686, ”Méthode générale et facile pour faire le dénombrement des peuples”.
3. les frêres Hyugens, premier calcul de l’espérance de vie humaine en 1669, Graunt (1620–1674),
William Petty (1623–1687), Laplace.
6 Modélisation statistique

– Sur 82 années retenues, le nombre de naissances masculines est toujours supérieur

au nombre de naissance féminines.
– Arbuthnott calcule la probabilité que les naissances masculines (avec équi-probabilité
filles/garçons) soient plus nombreuses que les naissances féminines, 82 fois de suite
(= (1/2)82 ),  which will be found easily by the Table of Logarithms to be 1/4 8360
0000 0000 0000 0000 0000 .

An Argument for Divine Providence

– An Argument for Divine Providence, taken frome the constant Regularity observed
in the Births of both Sexes
–  [...] This Event is wisely prevented by the Oeconomy of Nature ; and to the judge of the
wisdom of the Contrivance, we must observe that the external Accidents to which Males
are subject (who must seek their food with danger) do make a great havock of them, and
that this loss exceeds far that of the other Sex, occasioned by Disease incident to it, as
Experience convinces us. To repair that Loss, provident Nature, by the Disposal of its wife
Creator, brings more Males than Females ; and this in almost a constant proportion  .

1.2 Modélisation statistique

Démarche statistique (formulation moderne)

– Point de départ : des  observations (des nombres réels)
x1 , . . . , xn .
– Modélisation statistique :
– les observations sont des réalisations
X1 (ω), . . . , Xn (ω) de variables aléatoires X1 , . . . , Xn .
– La loi du vecteur aléatoire (X1 , . . . , Xn ) est inconnue, mais appartient à une
famille donnée n o
Pnϑ , ϑ ∈ Θ .

Problématique statistique (suite)

– Problématique : à partir de  l’observation  X1 , . . . , Xn , peut-on retrouver Pnϑ ?
et donc ϑ ?
– ϑ est le paramètre et Θ l’ensemble des paramètres.
– Estimation : à partir de X1 , . . . , Xn , construire ϕn (X1 , . . . , Xn ) qui  approche au
mieux  ϑ.
– Test : à partir de X1 , . . . , Xn , établir une décision ϕn (X1 , . . . , Xn ) ∈ {ensemble de décisions
concernant ϑ pouvant être vraie ou fausse.
1.2 Modélisation statistique 7

Retour à l’exemple le plus simple

– On lance une pièce de monnaie 18 fois et on observe (P = 0, F = 1)

0, 0, 0, 1, 1, 0, 1, 0, 0, 1, 1, 0, 1, 0, 0, 1, 1, 0.

– Modèle statistique : on observe n = 18 variables aléatoires Xi indépendantes, de

Bernoulli de paramètre inconnu ϑ ∈ Θ = [0, 1].
1 P18 ici
– Estimation. Estimateur X̄18 = 18 i=1 Xi = 8/18 = 0.44. Quelle précision ?
– Test. Décision à prendre :  la pièce est-elle équilibrée  ?. Par exemple : on
compare X̄18 à 0.5. Si |X̄18 − 0.5|  petit , on accepte l’hypothèse  la pièce est
équilibrée . Sinon, on rejette. Quel seuil choisir, et avec quelles conséquences
(ex. probabilité de se tromper).

Analyse statistique abstraite

– Sans surprise, la théorie moderne d’un modèle statistique s’établit dans les années
1930 4 et dans une forme actuelle vers 1950 (Wald).
– Notion d’expérience statistique
 n
Pϑ , ϑ ∈ Θ

n : quantité (implicite) d’information et Pϑ famille de modèles, de scénarios aléatoires 5 .

Analyse statistique abstraite

– Hypothèse opérationnelle d’identifiabilité : Pnϑ et Pnϑ0 sont  d’autant plus différentes  que

(n est grand) ou (ϑ éloigné de ϑ0 ).

– Problématique statistique : on interprète une  observation  x comme la réalisation

d’une variable aléatoire X(ω).

(x1 , . . . , xn ) ; X1 (ω), . . . , Xn (ω) −→ Pnϑ → ϑ

4. notamment autour des travaux de Fisher

5. mesures de probabilités, définies sur un espace d’état (Ω, F).
8 Modélisation statistique
Chapitre 2

Echantillonnage

Echantillonnage
– L’expérience statistique la plus centrale : on observe la réalisation de X1 , . . . , Xn ,
v.a.r. où les Xi sont indépendantes, identiquement distribuées, de même loi com-
mune PX .
– Que dire de la loi PX commune des Xi ?
– Structure stochastique très simple (variable aléatoires indépendantes, de même loi).
Mais : espace des paramètres immense (toutes les lois de probabilités).

2.1 Loi d’une variable aléatoire

Rappel : loi d’une variable aléatoire réelle

Definition 1.



X : Ω, A, P −→ R, B

Loi de X : mesure de probabilité sur (R, B), notée PX , définie par

PX A = P X −1 (A) = P X ∈ A , A ∈ B.

Formule d’intégration

Z Z
ϕ(x) PX (dx)
 

E ϕ(X) = ϕ X(ω) P(dω) =
Ω R

ϕ fonction test.
10 Echantillonnage

Loi d’une variable aléatoire (suite)

Exemple 1 : X suit la loi de Bernoulli de paramètre 1/3.

– La loi de X est décrite par
P X = 1 = 13 = 1 − P X = 0 .

– Ecriture de PX (dx) :
PX (dx) = 31 δ1 (dx) + 23 δ0 (dx).
– Formule de calcul
Z
ϕ(x) PX (dx)
 
E ϕ(X) =
R
Z Z
= 31 ϕ(x)δ1 (dx) + 2
3 ϕ(x)δ0 (dx)
R R
1 2
= 3 ϕ(1) + 3 ϕ(0).

Loi d’une variable aléatoire (suite)

Exemple 2 : X ∼ loi de Poisson de paramètre 2.

– La loi de X est décrite par
2k
P X = k = e−2 , k = 0, 1, . . .


k!
– Ecriture de PX (dx) :
2k
X
PX (dx) = e−2 k! δk (dx).
k∈N

– Formule de calcul
Z
k
X
ϕ(x) PX (dx) = e−2 ϕ(k) 2k! .
 
E ϕ(X) =
R k∈N

Loi d’une variable aléatoire (suite)

Exemple 3 : X ∼ N (0, 1) (loi normale standard).

– La loi de X est décrite par
Z
2
e−x /2 √dx


P X ∈ [a, b] = 2π
[a,b]

– Ecriture de PX (dx) :
2
PX (dx) = √1 e−x /2 dx
2π

dx : mesure de Lebesgue.
2.2 Fonction de répartition empirique 11

– Formule de calcul
Z Z
2
ϕ(x) PX (dx) = ϕ(x)e−x /2 √dx
 
E ϕ(X) = 2π
.
R R

2.2 Fonction de répartition empirique

Identification de la loi : fonction de répartition

– La loi d’une variable aléatoire X est un  objet compliqué  :
– elle peut être discrète (somme de masses de Dirac)
– elle peut être (absolument) continue (densité par rapport à la mesure de Le-
besgue)
– elle peut-être une combinaison des deux, ou encore autre chose....
– On peut caractériser la loi de X par un objet plus simple à manipuler : une fonction
croissante bornée : la fonction de répartition.
– Plus facile à étudier dans un contexte de statistique.
– (Il y aura bien sûr des limites à cette approche...)

Fonction de répartition
Definition 2. X variable aléatoire réelle. Fonction de répartition de X :
 
F (x) := P X ≤ x , x ∈ R .
– F est croissante, cont. à droite, F (−∞) = 0, F (+∞) = 1
– F caractérise la loi PX :
PX (a, b] = P a < X ≤ b = F (b) − F (a)

– Désormais, la loi (distribution) de X désignera indifféremment F ou PX .

Problématique statistique
– On  observe 
X1 , . . . , Xn ∼i.i.d. F,
F fonction de répartition quelconque, inconnue.
– Terminologie : (X1 , . . . , Xn ) est un n-échantillon de la loi F .
– Comment retrouver F à partir des observations X1 , . . . , Xn ?
– Démarche : on construit une fonction (aléatoire) x ; Fbn (x) = Fn (x; X1 , . . . , Xn )
ne dépendant pas de F (inconnu) telle que
Fbn (x) − F (x)
petit lorsque n grand... Comment ? Petit dans quel sens ?
12 Echantillonnage

Fonction de répartition empirique

Definition 3. Fonction de répartition empirique associée au n-échantillon (X1 , . . . , Xn ) :
n
1X
Fbn (x) = 1{Xi ≤x} , x ∈ R .
n
i=1
– C’est une fréquence empirique
– Terminologie : Fbn est un estimateur : fonction des observations qui ne dépend pas
de la quantité inconnue.
– Pour tout x0 ∈ R
P
Fbn (x0 ) −→ F (x0 ), n → ∞
(loi faible des grands nombres appliquée aux 1{Xi ≤x0 } ).
1.0
0.8
(1:length(x))/length(x)

0.6
0.4
0.2
0.0

−1 0 1 2

sort(x)

Figure 2.1 – Fbn (noir), F (rouge), n = 20. F ∼ N (0, 1).

2.2.1 Précision d’estimation

Convergence en probabilité
– Mode de convergence  naturel  en statistique
P
– Convergence en probabilité : Xn −→ X si


∀ε > 0, P |Xn − X| ≥ ε → 0, → ∞.
– Interprétation : pour tout niveau de risque α > 0 (petit) et tout niveau de précision
ε > 0, il existe un rang N = N (α, ε) tel que
n > N implique |Xn − X| ≤ ε avec proba. ≥ 1 − α.
– En pratique, on souhaite simultanément N , α et ε petits. Quantités antagonistes
(à suivre...).
2.2 Fonction de répartition empirique 13

1.0
0.8
(1:length(x))/length(x)

0.6
0.4
0.2
0.0

−2 −1 0 1 2

sort(x)

Figure 2.2 – Fbn (noir), F (rouge), n = 100. F ∼ N (0, 1).

1.0
0.8
(1:length(x))/length(x)

0.6
0.4
0.2
0.0

−4 −2 0 2

sort(x)

Figure 2.3 – Fbn (noir), F (rouge), n = 1000. F ∼ N (0, 1).

14 Echantillonnage

Vers la précision d’estimation

P
– On a ∀x0 ∈ R, Fbn (x0 ) → F (x0 ). Avec quelle précision ? Problèmes de même types :
– n information et α risque donnés → quelle précision ε ?
– risque α et précision ε donnés → quel nombre minimal de données n nécessaires ?
– quel risque prend-on si l’on suppose une précision ε avec n données ?
– Plusieurs approches :
– non-asymptotique naı̈ve
– non-asymptotique
– approche asymptotique (via des théorèmes limites)

Approche naı̈ve : contrôle de la variance

Soit α > 0 donné (petit). On veut trouver ε, le plus petit possible, de sorte que
 
P |Fbn (x0 ) − F (x0 )| ≥ ε ≤ α.

On a (Tchebychev)
  1  
P |Fbn (x0 ) − F (x0 )| ≥ ε ≤ 2 Var Fbn (x0 )
ε

F (x0 ) 1 − F (x0 )
=
nε2
1
≤
4nε2
≤α

Conduit à
1
ε= √
2 nα

Intervalle de confiance

Conclusion : pour tout α > 0,

h 1 i
P |Fbn (x0 ) − F (x0 )| ≥ √ ≤ α.
2 nα
Terminologie 1. L’intervalle
 
1
In,α = Fbn (x0 ) ± √
2 nα

est un intervalle de confiance pour F (x0 ) au niveau de confiance 1 − α.

2.2 Fonction de répartition empirique 15

Précision catastrophique !
– Si α = 5% et n = 100, précision ε = 0.22, soit une barre d’erreur de taille 0.44,
alors que 0 ≤ F (x0 ) ≤ 1.
– Autres exemples : εα=1/1000,n=100 = 1.58, εα=1/100,n=100 = 0.5. aucune précision
d’estimation !

– D’où vient le défaut de cette précision ?

– Mauvais choix de l’estimateur ? (→ on verra que non).
– Mauvaise estimation de l’erreur ?

Inégalité de Hoeffding
Proposition 2.1. Y1 , . . . , Yn i.i.d. de loi de Bernoulli de paramètre p. Alors
n
X
1
Yi − p ≥ t ≤ 2 exp(−2nt2 ).
 
P n
i=1

Application : on fait Yi = 1{Xi ≤x0 } et p = F (x0 ). On en déduit

P Fbn (x0 ) − F (x0 ) ≥ ε ≤ 2 exp(−2nε2 ).

 

On résout en ε :
2 exp(−2nε2 ) = α,
soit r
1 2
ε= log .
2n α

Comparaison Tchebychev vs. Hoeffding

Nouvel intervalle de confiance

" r #
hoeffding 1 2
In,α = Fbn (x0 ) ± log ,
2n α

à comparer avec  
tchebychev 1
In,α = Fbn (x0 ) ± √ .
2 nα
– Même ordre de grandeur en n.
– Gain significatif dans la limite α → 0. La  prise de risque  devient marginale par
rapport au nombre d’observations.
– Optimalité d’une telle approche ?
16 Echantillonnage

2.2.2 Approche asymptotique

L’approche asymptotique
– Vers une notion d’optimalité : on se place dans la limite n → ∞ (l’information
 explose ). On évalue
 
P Fbn (x0 ) − F (x0 ) ≥ ε , n → ∞
pour une normalisation ε = εn appropriée.
– Outil : Théorème central-limite.

Rappel : théorème central-limite

– TCL : vitesse  dans la loi des grands nombres.
– Le mode de convergence est la convergence en loi. (Ne peut pas avoir lieu en pro-
babilité.)
d
– Xn → X signifie que    
P Xn ≤ x → P X ≤ x
en tout point x où la fonction de répartition de X est continue (les lois de Xn se
 rapprochent  de la loi de X).

Théorème central limite

Proposition 2.2 (TCL). Si Y1 , . . . , Yn i.i.d., µ = E Yi , 0 < σ 2 = Var[Yi ] < ∞, alors
 
√  X n
n 1 
d
Yi − µ −→ ξ ∼ N (0, 1).
σ n
i=1

ξ ∼ N (0, 1) signifie que ξ suit la loi normale centrée réduite :

Z
2 dt
P(ξ ∈ [a, b]) = e−t /2 √ , pour tous a ≤ b.
[a,b] 2π

Interprétation et application
– Interprétation du TCL :
n
1X σ d
Yi = µ + √ ξ (n) , ξ (n) ≈ N (0, 1).
n n
i=1
– Application : dans notre contexte
Yi = 1{Xi ≤x0 }
avec
1/2
µ = F (x0 ) et σ = σ(F (x0 )) = F (x0 )1/2 (1 − F (x0 ) .
2.2 Fonction de répartition empirique 17

Application (suite)
– On a
n
1X σ(F (x0 )) (n)
Fbn (x0 ) − F (x0 ) = Yi − µ = √ ξ .
n n
i=1

– Il vient
√
  h
(n) n εn i
P Fn (x0 ) − F (x0 ) ≥ εn = P ξ
b ≥
σ(F (x0 ))
h
(n) ε0 i
=P ξ ≥
σ(F (x0 ))
√
pour la calibration εn = ε0 / n (ε0 reste à choisir).

TCL et intervalle de confiance (suite)

Il vient
Z
h ε0 i dx
2 /2
P ξ (n)
≥ → e−x √
σ(F (x0 )) |x|≥ε0 /σ(F (x0 )) 2π


= 2 1 − Φ ε0 /σ(F (x0 ))
≤ α,
Rx −t2 /2 √dt ,
avec Φ(x) = −∞ e 2π
ce qui donne

ε0 = σ(F (x0 ))Φ−1 1 − α/2 .

TCL et intervalle de confiance : (suite)

– On a montré

 σ(F (x0 )) −1

P Fbn (x0 ) − F (x0 ) ≥ √ Φ 1 − α/2 → α.
n

– De manière équivalente,
h σ(F (x0 )) −1
i
P F (x0 ) ∈ [Fbn (x0 ) ± √ Φ 1 − α/2 ] → 1 − α.
n
18 Echantillonnage

Passage à un intervalle de confiance

– Attention ! L’intervalle

σ(F (x0 )) −1

[Fbn (x0 ) ± √ Φ 1 − α/2 ]
n

ne fournit pas un intervalle de confiance : la quantité

1/2
σ(F (x0 )) = F (x0 )1/2 1 − F (x0 )

est inconnue !
– Solution : remplacer σ(F (x0 )) par un estimateur (c’est-à-dire une quantité obser-
vable). Candidat :

1/2
Fbn (x0 )1/2 1 − Fbn (x0 ) .

Outil qui va rendre ce passage licite :

Lemme de Slutsky
d P
Proposition 2.3 (Slutsky). Si An −→ A et Bn −→ b avec b ∈ R (variable aléatoire
dégénérée), alors, pour toute fonction (a, b) → ϕ(a, b) ∈ R continue, on a

d
ϕ(An , Bn ) −→ ϕ(A, b).

Preuve : exercice du cours de probabilité.

Application de Slutsky
– Avec les notations précédentes
√
n
d
An = Fbn (x0 ) − F (x0 ) −→ A ∼ N (0, 1)
σ(F (x0 ))

1/2 P
bn = Fbn (x0 )1/2 1 − Fbn (x0 )
Bn = σ −→ b = σ(F (x0 ))

et la limite est dégénérée.

– Avec ϕ(a, b) = σ(F (x0 )) ab , on a
√
n b
d
Fn (x0 ) − F (x0 ) −→ A ∼ N (0, 1).
σ
bn

On peut reprendre le raisonnement précédent avec σ

bn à la place de σ(F (x0 )).
2.2 Fonction de répartition empirique 19

TCL et intervalle de confiance : conclusion

Proposition 2.4. Pour tout α ∈ (0, 1),

bn (x0 )1/2 1 − Fbn (x0 ) 1/2

"
#
F
asymp
In,α = Fbn (x0 ) ± √ Φ−1 (1 − α/2)
n

est un intervalle de confiance asymptotique pour F (x0 ) au niveau de confiance 1 − α :

asymp
 
P F (x0 ) ∈ In,α → 1 − α.

Observation finale

Comparaison des longueurs des 3 intervalles de confiance :

– Tchebychev (non-asymptotique) √2n 12 √1α
q
– Hoeffding (non-asymptotique) n 12 log α2
√2

1/2 −1
– TCL (asymptotique) √2n Fbn (x0 )1/2 1 − Fbn (x0 ) Φ (1 − α/2).
– La longueur la plus petite est (sans surprise !) celle fournie par le TCL. Mais la
longueur de l’intervalle de confiance fournie par l’inégalité de Hoeffding comparable
au TCL en n et α (dans la limite α → 0).

2.2.3 Estimation uniforme

Estimation uniforme
– On  sait  estimer F (x0 ), pour un x0 donné. Qu’en est-il de l’estimation globale
de F :

F (x), x ∈ R ?
– 3 résultats pour passer de l’estimation en un point à l’estimation globale :
– Glivenko-Cantelli (convergence uniforme)
– Kolmogorov-Smirnov (vitesse de convergence, asymptotique)
– Inégalité de DKW (vitesse de convergence, non-asymptotique)

Glivenko-Cantelli, Kolmogorov-Smirnov

X1 , . . . , Xn i.i.d. de loi F , Fbn leur fonction de répartition empirique.

Proposition 2.5. – (Glivenko-Cantelli)

p.s.
sup Fbn (x) − F (x) → 0, quand n → ∞.
x∈R
20 Echantillonnage

– (Kolmogorov-Smirnov) Si F est continue,

√ d
n sup Fbn (x) − F (x) → B, quand n → ∞.
x∈R

B v.a. dont la loi est connue et ne dépend pas de F .

Inégalité de DKW

X1 , . . . , Xn i.i.d. de loi F continue, Fbn leur fonction de répartition empirique.

Proposition 2.6 (Inégalité de Dvoretzky-Kiefer-Wolfowitz). Pour tout ε > 0.

P sup Fbn (x) − F (x) ≥ ε ≤ 2 exp − 2nε2 .

 

x∈R

– Résultat difficile (théorie des processus empiriques).

– Permet de construire des régions de confiance avec des résultats similaires au cadre
ponctuel : h q
1
i
log 2 ≥ 1 − α.

P ∀x ∈ R, F (x) ∈ Fbn (x) ± 2n α

2.3 Estimation de fonctionnelles

Estimation de fonctionnelles
– Objectif : estimation d’une caractéristique scalaire de la loi inconnue F ≡ estimation
d’une fonctionnelle T (F ) à valeurs dans R.
– Exemples
– Déjà vu : valeur en un point T (F ) = F (x0 )
– Fonctionnelle régulière :
Z 
T (F ) = h g(x)dF (x) ,
R

où g, h : R → R sont régulières

– Principe (méthode de substitution) : si F ; T (F ) est  régulière , un estima-
teur  naturel  est T (Fbn ) (estimateur par plug-in).

Estimation de fonctionnelles régulières

R

– Cas où T (F ) = h R g(x)dF (x)
– Formule de calcul :
Z n
1X
g(x)dFbn (x) = g(Xi ).
R n
i=1
2.3 Estimation de fonctionnelles 21

Traduction : une variable aléatoire de loi Fbn prend les valeurs Xi avec probabilité
1/n.
– Estimateur par substitution ou plug-in de T (F ) :

 X n 
T (Fbn ) = h n1 g(Xi )
i=1

Exemples
R
– Moyenne : T (F ) = m(F ) = R xdF (x).

Z n
X
1
T (Fbn ) = m(Fbn ) = xdFbn (x) = n Xi = X̄n .
R i=1

– Variance :
Z
2

2
T (F ) = σ (F ) = x − m(F ) dF (x)
ZR Z
2

2
= x dF (x) − xdF (x) .
R R

Z

2
T (Fbn ) = σ 2 (Fbn ) = x − m(Fbn ) dFbn (x)
R
n
X n
X
= 1
n (Xi − X̄n )2 = 1
n Xi2 − (X̄n )2 .
i=1 i=1

Exemples
– Asymétrie (skewness) :
R
3
x − m(F ) dF (x)
T (F ) = α(F ) = R
= ··· .
σ 2 (F )3/2

– Aplatissement (kurtosis) :
R
4
x − m(F ) dF (x)
T (F ) = κ(F ) = R
= ··· .
σ 2 (F )2

Exemples de fonctionnelles : quantiles

– Quantiles :
22 Echantillonnage

F est continue et strictement croissante =⇒ le quantile d’ordre p, 0 < p < 1, de la loi

F est défini comme solution de

F (qp ) = p ( qp = F −1 (p) ).

Cas général (F n’est pas strictement ↑ ou n’est pas continue) :

1


qp (F ) = 2 inf{x, F (x) > p} + sup{x, F (x) < p} .

La médiane :
med(F ) = q1/2 (F ).
Les quartiles = {med(F ), q1/4 (F ), q3/4 (F )}.

Quantiles empiriques

Quantile (”théorique”) d’ordre p :

1


T (F ) = qp (F ) = 2 inf{x, F (x) > p} + sup{x, F (x) < p} .

– Avantage : les quantiles sont bien définis pour toute loi F .

Quantile empirique d’ordre p :

1


T (Fbn ) = qbn,p = 2 inf{x, Fbn (x) > p} + sup{x, Fbn (x) < p} .

Quantiles empiriques

Expression explicite du quantile empirique d’ordre p :



X(k) si p ∈ (k − 1)/n, k/n
qbn,p = 1


2 X(k) + X(k+1) si p = k/n

pour k = 1, . . . , n, où les X(i) sont les statistiques d’ordre associées à l’échantillon
(X1 , . . . , Xn ) :
X(1) ≤ · · · ≤ X(i) ≤ · · · ≤ X(n) .
En particulier, la médiane empirique :


X((n+1)/2)
pour n impair
Mn = med(Fbn ) = 1
2 X (n/2) + X(n/2+1) pour n pair
2.3 Estimation de fonctionnelles 23

Le boxplot

q q q

X∗ q̂n,1/4 Mn q̂n,3/4 X∗

X∗ = min{Xi : |Xi − q̂n,1/4 | ≤ 1, 5In },

X ∗ = max{Xi : |Xi − q̂n,3/4 | ≤ 1, 5In }.
Intervalle interquartile :
In = q̂n,3/4 − q̂n,1/4 .

Exemple d’application du boxplot

Performance de l’estimateur par  plug-in 

Que signifie l’affirmation  T (Fbn ) est un bon estimateur de T (F )  ?

24 Echantillonnage

– Comme T (F ) ∈ R, on peut regarder le comportement
de la variable aléatoire

|Tn (F )−T (F )|, ou plus généralement de d T (Fn ), T (F ) , où d(x, y) est une fonction
b b
de perte :
d(x, y) ∈ [0, ∞), d(x, x) = 0.
Est-elle petite ?

– Un critère minimal : garantir que d T (Fbn ), T (F ) tend vers 0 (en probabilité)
lorsque n → ∞.

Convergence de l’estimateur par substitution pour une fonctionnelle régulière

Définition 2.1. L’estimateur T (Fbn ) de T (F ) est convergent, consistant (en probabilité)

pour la perte d si

P
d T (Fbn ), T (F ) −→ 0 lorsque n → ∞.
R

Proposition 2.7 (Convergence pour des fonctionnelles régulières). Si T (F ) = h R g(x)dF (x)
avec g, h : R → R, h continue et E[|g(X)|] < ∞ avec X ∼ F et si (x, y) ; d(x, y) =
d(x − y) avec x ; d(x) continue, alors T (Fbn ) est consistant.

Preuve de la consistance
P
– C’est la loi (faible) des grands nombres et la propriété que si Xn −→ X et ϕ : R → R
P
continue, alors ϕ(Xn ) −→ ϕ(X).
– On veut immédiatement aller plus loin : Vitesse de convergence : plus délicat,
attendre. Dépend évidemment de la 
forme de l’estimateur...
– Et que dire de la loi de d T (Fbn ), T (F ) à n fixé ?
– Comment savoir s’il n’existe pas des procédures  plus performantes  que le plug-
in ? Et dans quel sens ?

2.4 Limites et conclusions

Limites de l’approche empirique

L’estimation de T (F ) par T (Fbn ) n’est pas toujours possible :

– La fonctionnelle F ; T (F ) n’est pas  régulière ,
– La paramétrisation F ; T (F ) ne donne pas lieu à une forme analytique simple.
Exemple. Hypothèse : F admet une densité f par rapport à le mesure de Lebesgue,
continue (= pp à une fonction continue f ).
T (F ) = f (x0 ), x0 ∈ R (donné).
On ne peut pas prendre comme estimateur Fbn0 (x0 ) car Fbn n’est pas différentiable (constante
par morceaux...)
2.4 Limites et conclusions 25

Limites de l’approche empirique

L’estimation de T (F ) par T (Fbn ) n’est pas toujours souhaitable :

– Souvent on dispose d’information a priori supplémentaire : F appartient à une sous-
classe particulière de distributions, et il y a des choix plus judicieux que l’estimateur
par plug-in.

Conclusion
– L’approche empirique, basée sur Fbn permet d’estimer une distribution inconnue F
ou une fonctionnelle T (F ) ∈ R à partir d’un n-échantillon, mais
– reste très générale, pas toujours adaptée.
– restreinte à la situation d’un n-échantillon.
– Formalisation de la notion d’expérience statistique
– incorporation d’information de modélisation supplémentaire.
– construction de méthodes d’estimation – de décision – systématiques.
– comparaison et optimalité des méthodes.
26 Echantillonnage
Chapitre 3

Expérience statistique dominée

3.1 Expérience statistique

Expérience statistique

Consiste à identifier :
– Des observations
x1 , x2 , . . . , xn
considérées comme des réalisations de variables aléatoires Z = (X1 , . . . , Xn ) de loi
PZ .
– Une famille de lois
{Pϑ , ϑ ∈ Θ} .
– Une problématique : retrouver le paramètre ϑ tel que PZ = Pϑ (estimation) ou bien
prendre une décision sur une propriété relative à ϑ (test).

Expérience statistique
– Approche générale empirique :
– ϑ = F , Θ est l’ensemble de toutes les lois (s’il s’agit de l’estimation de F ) ;
– ϑ = F , Θ est l’ensemble de toutes les lois vérifiant une hypothèse très générale,
par exemple, la bornitude d’un moment (s’il s’agit de l’estimation de T (F )).
– Approche paramétrique : on suppose que F appartient à une famille de lois connue
indexée par un paramètre ϑ de dimension finie : ϑ ∈ Θ ⊂ Rd .
– Exemple : Θ = R,
Xi = ϑ + ξi , i = 1, . . . , n,
ξi v.a. i.i.d. de densité connue f sur R et E(Xi ) = ϑ.
Question : en utilisant cette information supplémentaire, peut-on construire un
estimateur plus performant que l’estimateur X̄n basé sur l’approche empirique ?
28 Expérience statistique dominée

Expérience statistique
– En écrivant
Xi = ϑ + ξi , i = 1, . . . , n,
ξi v.a. i.i.d. de densité connue f , nous précisons la forme de la loi Pϑ de (X1 , . . . , Xn ) :
n
Z !
  Y
Pϑ A = f (xi − ϑ) dx1 . . . dxn ,
A i=1
n
pour tout A ∈ B(R ).

Expérience statistique
Définition 3.1. Une expérience (un modèle) statistique E est le triplet


E = Z, Z, Pϑ , ϑ ∈ Θ ,
avec
– Z, Z espace mesurable (souvent (Rn , B(Rn ))),

– {Pϑ , ϑ

∈ Θ} famille de probabilités définies simultanément sur le même espace
Z, Z ,
– ϑ est le paramètre inconnu, et Θ est l’ensemble des paramètres connu.

Experience engendrée par (X1 , . . . , Xn )

– Traitement sur un exemple : on observe
Z = (X1 , . . . , Xn ), Xi = ϑ + ξi ,
ξi v.a. i.i.d. de densité connue f .
– La famille de lois Pnϑ , ϑ ∈ Θ = R est définie sur Z = Rn par


n
Z !
Y
Pnϑ
 
A = f (xi − ϑ) dx1 . . . dxn ,
A i=1

pour A ∈ Z = B(Rn ) (et PZ est l’une des Pnϑ ).

– Expérience engendrée par l’observation Z :
E n = Rn , B(Rn ), Pnϑ , ϑ ∈ Θ .


Expérience (modèle) paramétrique, non-paramétrique

– Si Θ peut être  pris  comme un sous-ensemble de Rd : expérience (=modèle)
paramétrique.
– Sinon (par exemple si le paramètre ϑ est un élément d’un espace fonctionnel) :
expérience (=modèle) non-paramétrique.
3.2 Expériences dominées 29

3.2 Expériences dominées

Expériences dominées
– On fait une hypothèse minimale de  complexité  sur le modèle statistique. But :
ramener l’étude de la famille
{Pϑ , ϑ ∈ Θ}
à l’étude d’une famille de fonctions

{z ∈ Z ; f (ϑ, z) ∈ R+ , ϑ ∈ Θ} .

– Via la notion de domination. Si µ, ν sont deux mesures σ-finies sur Z, alors µ domine
ν (notation ν  µ) si    
µ A = 0 ⇒ ν A = 0.

Théorème de Radon-Nikodym
Théorème 3.1. Si ν  µ, il existe une fonction positive
notation dν
z ; p(z) = (z),
dµ
définie µ−p.p., µ− intégrable, telle que
Z Z
dν
 
ν A = p(z)µ(dz) = dµ (z)µ(dz), A ∈ Z.
A A

Expérience dominée


Définition 3.2. Une expérience statistique E = Z, Z, Pϑ , ϑ ∈ Θ est dominée par la
mesure σ-finie µ définie sur Z si

∀ϑ ∈ Θ : Pϑ  µ.

On appelle densités de la famille {Pϑ , ϑ ∈ Θ} la famille de fonctions (définies µ− p.p.)

d Pϑ
z; (z), z ∈ Z, ϑ ∈ Θ.
dµ

Densité, régression

Deux classes d’expériences statistiques dominées fondamentales :

– Le modèle de densité
– Le modèle de régression (plus tard)
30 Expérience statistique dominée

3.3 Modèle de densité

3.3.1 modèle de densité paramétrique

Modèle de densité (paramétrique)

– On observe un n-échantillon de v.a.r. X1 , . . . , Xn .
– La loi des Xi appartient à {Pϑ , ϑ ∈ Θ}, famille de probabilités sur R, dominée par
une mesure (σ-finie) µ(dx) sur R.
– La loi de (X1 , . . . , Xn ) s’écrit
Pnϑ (dx1 · · · dxn ) = Pϑ (dx1 ) ⊗ · · · ⊗ Pϑ (dxn )
 µ(dx1 ) ⊗ · · · ⊗ µ(dxn )
notation
= µn (dx1 · · · dxn )

Modèle de densité (paramétrique)

– Densité du modèle : on part de
d Pϑ
f (ϑ, x) = (x), x ∈ R
dµ
et
n
d Pnϑ Y
n
(x1 , . . . , xn ) = f (ϑ, xi ), x1 , . . . , Xn ∈ R .
dµ
i=1
– L’expérience statistique engendrée par (X1 , . . . , Xn ) s’écrit :
 
E n = Rn , B(Rn ), Pnϑ , ϑ ∈ Θ , Θ ⊂ Rd .


Exemple 1 : modèle de densité gaussienne univariée

– Xi ∼ N (m, σ 2 ), avec
ϑ = (m, σ 2 ) ∈ Θ = R × R+ \{0}.

1  (x − m)2 
Pϑ (dx) = f (ϑ, x)dx = √ exp − dx
2πσ 2 2σ 2
 µ(dx) = dx.
– Puis
n
d Pnϑ Y
(x 1 , . . . , x n ) = f (ϑ, xi )
dµn
i=1
n
2 −n/2 1 X
(xi − m)2 ,


= (2πσ ) exp − 2
2σ
i=1
3.4 Vraisemblance 31

avec x1 , . . . , xn ∈ R.

Exemple 2 : modèle de Bernoulli

– Xi ∼ Bernoulli(ϑ), avec ϑ ∈ Θ = [0, 1].

Pϑ (dx) = (1 − ϑ) δ0 (dx) + ϑ δ1 (dx)

 µ(dx) = δ0 (dx) + δ1 (dx) (mesure de comptage).

– Puis
d Pϑ
(x) = (1 − ϑ) 1{x=0} + ϑ 1{x=1} = ϑx (1 − ϑ)1−x
dµ

avec x ∈ {0, 1} (et 0 sinon), et

n
d Pnϑ Y
(x 1 · · · x n ) = ϑxi (1 − ϑ)1−xi ,
dµn
i=1

avec xi ∈ {0, 1} (et 0 sinon).

3.4 Vraisemblance

Fonction de vraisemblance

Définition 3.3 (Fonction de vraisemblance (likelihood ratio)). On suppose la famille

{Pϑ , ϑ ∈ Θ} est dominée par une mesure σ-finie µ. On se donne, pour ϑ ∈ Θ

d Pϑ
f (ϑ, x) = (x), x ∈ R .
dµ

Fonction de vraisemblance du n-échantillon associée à la famille {f (ϑ, •), ϑ ∈ Θ} :

n
Y
ϑ ; Ln (ϑ, X1 , . . . , Xn ) = f (ϑ, Xi )
i=1

– Notion fondamentale qui va nous servir dans toute la suite du cours.

– C’est une fonction aléatoire (définie µ-presque partout).
– Elle permet de rechercher des estimateurs et des procédures de décision de façon
systématique.
– Son interprétation est liée à une quantité d’information intrinsèque à l’expérience
statistique qui sera développée au Cours 4.
32 Expérience statistique dominée

Exemples
– Exemple 1 : Modèle de Poisson. On observe

X1 , . . . , Xn ∼i.i.d. Poisson(ϑ),
P
ϑ ∈ Θ = R+ \{0} et prenons µ(dx) = k∈N δk (dx).
– La densité de Pϑ par rapport à µ est
ϑx
f (ϑ, x) = e−ϑ , x = 0, 1, 2, . . . .
x!
– La fonction de vraisemblance associée s’écrit
n
Y ϑXi
ϑ ; Ln (ϑ, X1 , . . . , Xn ) = e−ϑ
Xi !
i=1
1 Pn
= Qn e−nϑ ϑ i=1 Xi
.
i=1 Xi !

Exemples
– Exemple 2 Modèle de Cauchy. On observe

X1 , . . . , Xn ∼i.i.d. Cauchy,

ϑ ∈ Θ = R et µ(dx) = dx (par exemple).

– On a alors
1
Pϑ (dx) = f (ϑ, x)dx =
dx.
π 1 + (x − ϑ)2
– La fonction de vraisemblance associée s’écrit
n
1 Y
−1
ϑ ; Ln (ϑ, X1 , . . . , Xn ) = n
1 + (Xi − ϑ)2 .
π
i=1
Chapitre 4

Méthodes d’estimation pour le

modèle de densité

Méthodes d’estimation
– Méthode de substitution (ou des moments)
– Z-estimation
– M -estimation
– Le principe du maximum de vraisemblance

4.1 Méthode des moments

Méthode des moments : dimension 1

– X1 , . . . , Xn ∼i.i.d. Pϑ , avec ϑ ∈ Θ ⊂ R.
– Principe : trouver g : R → R (en général g(x) = xk ) et h : R → R régulières de
sorte que
 
Z 
ϑ = h Eϑ g(X) = h g(x)dFϑ (x) = T (Fϑ )
R
et T fonctionnelle régulière de la distribution inconnnue Fϑ .
– Estimateur :  plug-in 
Xn
1


ϑn = h n
b g(Xi ) .
i=1

Méthode des moments

– Précision d’estimation via les techniques empiriques :
√
d
n ϑbn − ϑ → N 0, h0 (Eϑ [g(X)])2 Varϑ [g(X)]


34 Méthodes d’estimation pour le modèle de densité

en loi sous Pϑ et la variance asymptotique dépend en général de ϑ → élimination

par estimation préliminaire licite via le lemme de Slutsky.
– Exemple : X1 , . . . , Xn ∼i.i.d. exponentielle de paramètre ϑ. On a

  1
Eϑ X = ,
ϑ
l’estimateur par moment associé s’écrit

1
ϑbn = .
Xn

Exemple en dimension d > 1

– X1 , . . . , Xn ∼i.i.d. Béta(α, β), de densité

Γ(α + β) α−1
x; x (1 − x)β−1 1{0<x<1} ,
Γ(α)Γ(β)

– Le paramètre est ϑ = (α, β) ∈ Θ = R+ \{0} × R+ \{0}.

– On a
α α(α + 1)
, Eϑ X 2 =
   
Eϑ X =
α+β (α + β + 1)(α + β)

Exemple en dimension d > 1

(1) (2)
– L’estimateur par moment ϑbn = (ϑbn , ϑbn ) associé est défini par
 (1)
ϑbn
Xn =



 (1) (2)
ϑbn + ϑbn
(1) (1)
 1 Pn 2 ϑbn (ϑbn + 1)
i=1 Xi = .


 n (1) (2) (1) (2)
(ϑbn + ϑbn + 1)(ϑbn + ϑbn )

– Etude asymptotique via le TCL multidimensionnel et la méthode  delta  multi-

dimensionnelle.

Limites de la méthode des moments

– Méthode non systématique
– Représentation pas toujours explicite
– Choix de la fonction g, notion d’optimalité parmi une classe d’estimateurs...
– Généralisation : Z-estimation (ou estimation par méthode des moments généralisés,
GMM= generalized method of moments).
4.2 Z-estimation 35

4.1.1 Z-estimation

Z-estimation
– La méthode des moments (en dimension 1) est basée sur l’inversibilité de la fonction
Z
mg (ϑ) = g(x) Pϑ (dx)
R

i.e. pour tout ϑ ∈ Θ Z

mg (ϑ) − g(x) Pϑ (dx) = 0.
R

– Principe de construction d’un Z-estimateur : remplacer mg (ϑ) − g(x) par une fonc-
tion φ(ϑ, x) : Θ × R → R arbitraire telle que
Z
∀ϑ ∈ Θ, φ(ϑ, x) Pϑ (dx) = 0.
R

4.2 Z-estimation

Z-estimation
– Résoudre l’équation empirique associée :

n
1X
φ(ϑ, Xi ) = 0.
n
i=1

Définition 4.1. On appelle Z-estimateur associé à φ tout estimateur ϑbn satisfaisant

n
X
φ(ϑbn , Xi ) = 0
i=1

– Il n’y a pas unicité de ϑbn (à ce niveau).

– Difficulté Il faut établir des conditions sur φ et sur la famille {Pϑ , ϑ ∈ Θ} pour
obtenir la convergence et les performances asymptotiques de ϑbn .

Z-estimation : à quoi ça sert ?

– Exemple. Θ = R, Pϑ (dx) = f (x − ϑ)dx, et f symétrique : f (−x) = f (x), ∀x ∈ R.
– Il n’y a pas de bornitude des moments !
– On pose
φ(a, x) = Arctg(x − a).
36 Méthodes d’estimation pour le modèle de densité

– La fonction Z
a ; Eϑ
 
φ(a, X) = Arctg(X − a)f (x − ϑ)dx
R
est strictement décroissante et s’annule seulement en a = ϑ.
– Z-estimateur associé : solution ϑbn de
n
X
Arctg(Xi − ϑbn ) = 0
i=1

(unicité).

Le cas multidimensionnel

Si Θ ⊂ Rd avec d > 1, la fonction φ est remplacée par

Φ = (φ1 , . . . , φd ) : Θ × R → Rd .
Definition 4. On appelle Z-estimateur associé à Φ tout estimateur ϑbn satisfaisant
n
X
φ` (ϑbn , Xi ) = 0, ` = 1, . . . , d.
i=1

Z-estimation → M -estimation
– En dimension 1 : si
φ(ϑ, x) = ∂ϑ ψ(ϑ, x)
pour une certaine fonction ψ, résoudre ni=1 φ(ϑ, Xi ) = 0 revient à chercher un
P
point critique de
Xn
ϑ; ψ(ϑ, Xi ).
i=1
– En dimension d ≥ 1, il faut φ(ϑ, x) = ∇ϑ ψ(ϑ, x) (moins facile à obtenir).
– Invite à généraliser la recherche d’estimateurs via la maximisation d’un critère
→ M -estimation.

4.3 M -estimation

M -estimation
– Principe : Se donner une application ψ : Θ × R → R+ telle que, pour tout ϑ ∈ Θ ⊂
Rd , Z
a ; Eϑ ψ(a, X) = ψ(a, x) Pϑ (dx)
 

admet un maximum en a = ϑ.
4.3 M -estimation 37

Définition 4.2. On appelle M -estimateur associé à ψ tout estimateur ϑbn satisfaisant

n
X n
X
ψ(ϑbn , Xi ) = max ψ(a, Xi ).
a∈Θ
i=1 i=1

– Il n’y a pas unicité de ϑbn (à ce niveau).

Un exemple classique : paramètre de localisation

– Θ = R, Pϑ (dx) = f (x − ϑ)dx, et R xf (x)dx = 0, R x2 Pϑ (dx) < +∞ pour tout
R R

ϑ ∈ R. On pose
ψ(a, x) = −(a − x)2
– La fonction Z
a ; Eϑ ψ(a, X) = − (a − X)2 f (x − ϑ)dx
 
R
  R
admet un maximum en a = Eϑ X = R xf (x − ϑ)dx = ϑ.
– M -estimateur associé :
n
X n
X
(Xi − ϑbn )2 = min (Xi − a)2 .
a∈R
i=1 i=1

Paramètre de localisation
– C’est aussi un Z-estimateur associé à φ(a, x) = 2(x − a) : on résout
n
X
(a − Xi ) = 0 d’où ϑbn = X n .
i=1

– Dans cet exemple très simple,

R tous les points de vue coı̈ncident.
– Si, dans le même contexte, R x2 Pϑ (dx) = +∞ et f (x) = f (−x), on peut utiliser
Z-estimateur avec φ(a, x) = Arctg(x − a).
– Peut-on faire mieux si f est connue ? A suivre...

Lien entre Z- et M - estimateurs

– Pas d’inclusion entre ces deux classes d’estimateurs en général :
– Si ψ non-régulière, M -estimateur ; Z-estimateur
– Si une équation d’estimation admet plusieurs solutions distinctes, Z-estimateur
; M -estimateur (cas d’un extremum local).
– Toutefois, si ψ est régulière, les M -estimateurs sont des Z-estimateurs : si Θ ⊂ R
(d = 1), en posant
φ(a, x) = ∂a ψ(a, x),
38 Méthodes d’estimation pour le modèle de densité

on a
n
X n
X
∂a ψ(ϑ, Xi ) a=ϑ
bn = φ(ϑbn , Xi ) = 0 .
i=1 i=1

4.4 Principe de maximum de vraisemblance

Maximum de vraisemblance
– Principe fondamental et incontournable en statistique. Cas particuliers connus de-
puis le XVIIIème siècle. Définition générale : Fisher (1922).
– Fournit une première méthode systématique de construction d’un M -estimateur
(souvent un Z-estimateur, souvent aussi a posteriori un estimateur par substitution
simple).
– Procédure optimale (dans quel sens ?) sous des hypothèses de régularité de la famille
{Pϑ , ϑ ∈ Θ} (Cours 6).
– Parfois difficile à mettre en oeuvre en pratique → méthodes numériques, statistique
computationnelle.

Fonction de vraisemblance
– La famille {Pϑ , ϑ ∈ Θ} est dominée par une mesure σ-finie µ. On se donne, pour
ϑ∈Θ
d Pϑ
f (ϑ, x) = (x), x ∈ R .
dµ
Définition 4.3. Fonction de vraisemblance du n-échantillon associée à la famille {f (ϑ, •), ϑ ∈
Θ} :
n
Y
ϑ ; Ln (ϑ, X1 , . . . , Xn ) = f (ϑ, Xi )
i=1

– C’est une fonction aléatoire (définie µ-presque partout).

Exemples
– Exemple 1 : Modèle de Poisson. On observe

X1 , . . . , Xn ∼i.i.d. Poisson(ϑ),
P
ϑ ∈ Θ = R+ \{0} et prenons µ(dx) = k∈N δk (dx).
– La densité de Pϑ par rapport à µ est
ϑx
f (ϑ, x) = e−ϑ , x = 0, 1, 2, . . . .
x!
4.4 Principe de maximum de vraisemblance 39

– La fonction de vraisemblance associée s’écrit

n
Y ϑXi
ϑ ; Ln (ϑ, X1 , . . . , Xn ) = e−ϑ
Xi !
i=1
1 Pn
= Qn e−nϑ ϑ i=1 Xi
.
i=1 Xi !

Exemples
– Exemple 2 Modèle de Cauchy. On observe

X1 , . . . , Xn ∼i.i.d. Cauchy,

ϑ ∈ Θ = R et µ(dx) = dx (par exemple).

– On a alors
1
Pϑ (dx) = f (ϑ, x)dx =
dx.
π 1 + (x − ϑ)2
– La fonction de vraisemblance associée s’écrit
n
1 Y
−1
ϑ ; Ln (ϑ, X1 , . . . , Xn ) = n 1 + (Xi − ϑ)2 .
π
i=1

Principe de maximum de vraisemblance

– Cas d’une famille de lois restreinte à deux points

Θ = {ϑ1 , ϑ2 } ⊂ R,

avec Pϑi discrète et µ(dx) la mesure de comptage.

– A priori, pour tout (x1 , . . . , xn ), et pour ϑ ∈ {ϑ1 , ϑ2 },
n
  Y  
Pϑ X1 = x1 , . . . , Xn = xn = Pϑ Xi = xi
i=1
n
Y
= f (ϑ, xi ).
i=1

La probabilité d’avoir la réalisation fixée (x1 , . . . , xn ).

Principe de maximum de vraisemblance

– A posteriori, on observe (X1 , . . . , Xn ). L’événement
n
nY n
Y o
f (ϑ1 , Xi ) > f (ϑ2 , Xi ) (Cas 1)
i=1 i=1
40 Méthodes d’estimation pour le modèle de densité

ou bien l’événement
n
nY n
Y o
f (ϑ2 , Xi ) > f (ϑ1 , Xi ) (Cas 2)
i=1 i=1

est réalisé. (On ignore le cas d’égalité.)

– Principe de maximum de vraisemblance :

ϑbnmv = ϑ1 1{Cas 1} + ϑ2 1{Cas 2} .

Estimateur du maximum de vraisemblance

– On généralise le principe précédent pour une famille de lois et un ensemble de
paramètres quelconques.
– Situation : X1 , . . . , Xn ∼i.i.d. Pϑ , {Pϑ , ϑ ∈ Θ} dominée, Θ ⊂ Rd , ϑ ; Ln (ϑ, X1 , . . . , Xn )
vraisemblance associée.

Définition 4.4. On appelle estimateur du maximum de vraisemblance tout estimateur

ϑbnmv satisfaisant
Ln (ϑb mv , X1 , . . . , Xn ) = max Ln (ϑ, X1 , . . . , Xn ).
n
ϑ∈Θ

– Existence, unicité...

Remarques
– Log-vraisemblance :

ϑ ; `n (ϑ, X1 , . . . , Xn ) = log Ln (ϑ, X1 , . . . , Xn )

Xn
= log f (ϑ, Xi ).
i=1

Bien défini si f (ϑ, •) > 0 µ-pp.

Max. vraisemblance = max. log-vraisemblance.

– L’estimateur du maximum de vraisemblance ne dépend pas du choix de la mesure

dominante µ.
– Notion de racine de l’équation de vraisemblance : tout estimateur ϑbnrv vérifiant

∇ϑ `n (ϑbnrv , X1 , . . . , Xn ) = 0.
4.4 Principe de maximum de vraisemblance 41

Exemple : modèle normal

L’expérience statistique est engendrée par un n-échantillon de loi N (µ, σ 2 ), le pa-

ramètre est ϑ = (µ, σ 2 ) ∈ Θ = R × R+ \{0}.
– Vraisemblance
n
1 X
Ln ((µ, σ 2 ), X1 , . . . , Xn ) = 1
(Xi − µ)2 .


exp − 2σ 2
(2πσ 2 )n/2 i=1

– Log-vraisemblance
n
n 1 X
`n (µ, σ 2 ), X1 , . . . , Xn = − log(2πσ 2 ) − 2 (Xi − µ)2 .


2 2σ
i=1

Exemple : modèle normal

Equation(s) de vraisemblance
n

 2 ), X , . . . , X

1 X

 ∂ µ ` n (µ, σ 1 n = (Xi − µ)
σ2



 i=1

 n
 n 1 X
2 ), X , . . . , X (Xi − µ)2 .


 ∂ 2
 σ n
 ` (µ, σ 1 n = − +
2σ 2 2σ 4

i=1

Solution de ces équations (pour n ≥ 2) :

n
1X
ϑbnrv = X n , (Xi − X n )2


n
i=1

et on vérifie que ϑbnrv = ϑbnmv .

Exemple : modèle de Poisson

– Vraisemblance
1 Pn
Ln (ϑ, X1 , . . . , Xn ) = Qn e−nϑ ϑ i=1 Xi
.
i=1 Xi !

– Log-vraisemblance
n
X
`n (ϑ, X1 , . . . , Xn ) = c(X1 , . . . , Xn ) − nϑ + Xi log ϑ.
i=1
42 Méthodes d’estimation pour le modèle de densité

– Equation de vraisemblance

n n
X 1 1X
−n + Xi = 0, soit ϑbnrv = Xi = X n
ϑ n
i=1 i=1

et on vérifie que ϑbnrv = ϑbnmv .

Exemple : modèle de Cauchy

– Vraisemblance
n
−n
Y 1
Ln (ϑ, X1 , . . . , Xn ) = π .
1 + (Xi − ϑ)2
i=1

– Log-vraisemblance

n
X
log 1 + (Xi − ϑ)2


`n (ϑ, X1 , . . . , Xn ) = −n log π −
i=1

– Equation de vraisemblance

n
X Xi − ϑ
=0
1 + (Xi − ϑ)2
i=1

pas de solution explicite et admet en général plusieurs solutions.

Maximum de vraisemblance = M -estimateur

– Une inégalité de convexité : µ mesure σ-finie sur R ; f, g deux densités de probabi-
lités par rapport à µ. Alors
Z Z
f (x) log f (x)µ(dx) ≥ f (x) log g(x)µ(dx)
R R

(si les intégrales sont finies) avec égalité ssi f = g µ-pp.

– Preuve : à montrer
Z
g(x)
f (x) log µ(dx) ≤ 0.
R f (x)

(avec une convention de notation appropriée)

4.4 Principe de maximum de vraisemblance 43

Une inégalité de convexité

– On a log(1 + x) ≤ x pour x ≥ −1 avec égalité ssi x = 0.
– Donc
g(x)  g(x)
 g(x)
log = log 1 + −1 ≤ −1
f (x) f (x) f (x)
(avec égalité ssi f (x) = g(x)).
– Finalement
Z Z
g(x)  g(x) 
f (x) log µ(dx) ≤ f (x) − 1 µ(dx)
R f (x) f (x)
ZR Z
= g(x)µ(dx) − f (x)µ(dx)
R R
= 0.

Conséquence pour l’EMV

– On pose
ψ(a, x) := log f (a, x), a ∈ Θ, x ∈ R
(avec une convention pour le cas où on n’a pas f (a, •) > 0.)
– La fonction Z
a ; Eϑ ψ(a, X) =
 
log f (a, x)f (ϑ, x)µ(dx)
R
a un maximum en a = ϑ d’après l’inégalité de convexité.
– Le M -estimateur associé à ψ maximise la fonction
n
X
a; log f (a, Xi ) = `n (a, X1 , . . . , Xn )
i=1

c’est-à-dire la log-vraisemblance. C’est l’estimateur du maximum de vraisemblance.

– C’est aussi un Z-estimateur si la fonction ϑ ; log f (ϑ, •) est régulière, associé à la
fonction
∂ϑ f (ϑ, x)
φ(ϑ, x) = ∂ϑ log f (ϑ, x) = , ϑ ∈ Θ, x ∈ R
f (ϑ, x)
lorsque Θ ⊂ R, à condition que le maximum de log-vraisemblance n’est pas atteint
sur la frontière de Θ. (Se généralise en dimension d.)

Choix de modèle statistique

– Le statisticien a le choix de la famille {Pϑ , ϑ ∈ Θ}. L’EMV dépend de ce choix.
– Exemple : on a l’échantillon (n = 10) :
0.92, −0.20, −1.80, 0.02, 0.49, 1.41, −1.59, −1.29, 0.34, 100.
| {z }
tirage de N (0,1)
44 Méthodes d’estimation pour le modèle de densité

– On prend Pϑ (dx) = f (x − ϑ)dx pour deux f différents :

– f densité de la loi normale ⇒ ϑbnmv = X n = 9.83.
– f densité de loi de Laplace ⇒ tout point de l’intervalle [0.02, 0.34] est un ϑbnmv , en
particulier, la médiane :

ϑbnmv = Mn = (0.02 + 0.34)/2 = 0.18.

– Autre choix de modèle...

Un M -estimateur qui n’est pas un Z-estimateur

– On observe X1 , . . . , Xn ∼i.i.d. uniformes sur [0, ϑ], ϑ ∈ Θ = R+ \{0}.
– On a
Pϑ (dx) = ϑ−1 1[0,ϑ] (x)dx
et
n
Y
Ln (ϑ, X1 , . . . , Xn ) = ϑ−n 1[0,ϑ] (Xi )
i=1
= ϑ−n 1{max1≤i≤n Xi ≤ϑ}

– La fonction de vraisemblance n’est pas régulière.

– L’estimateur du maximum de vraisemblance est ϑbnmv = max1≤i≤n Xi .
Chapitre 5

Comparaison d’estimateurs

ϑbn estimateur de ϑ : précision, qualité de ϑbn ? En pratique, on a  souvent 

– une information non-asymptotique de type
E k ϑbn −ϑk2 ≤ cn (ϑ)2 ,
 

– ou bien asymptotique de type

d
vn (ϑbn −ϑ) −→ Zϑ , vn → ∞.
Permet  souvent  de construire un(e) région-intervalle de confiance...

5.1 Intervalle et région de confiance

Region-intervalle de confiance : définition formelle

{Pnϑ , ϑ ∈ Θ}, Θ ⊂ Rd , engendrée par l’observation Z (n) .

– Densité : Z (n) = (X1 , . . . , Xn ), Pnϑ = Pϑ ⊗ . . . ⊗ Pϑ
Définition 5.1. Région de confiance de niveau 1−α, α ∈ (0, 1), (resp. asymptotiquement
de niveau α) : sous-ensemble observable Cn,α (Z (n) ) de Rd t.q.

∀ϑ ∈ Θ : Pnϑ ϑ ∈ Cn,α (Z (n) ) ≥ 1 − α

 

resp.
∀ϑ ∈ Θ : lim inf Pnϑ ϑ ∈ Cn,α (Z (n) ) ≥ 1 − α.
 
n→∞

5.2 Approche asymptotique

Approche asymptotique
46 Comparaison d’estimateurs

– Hypothèse simplificatrice : ϑ ∈ Θ ⊂ R. On se restreint aux estimateurs asymptoti-

quement normaux c’est-à-dire vérifiant

√
d

n ϑbn −ϑ −→ N 0, v(ϑ)

– Si ϑbn,1 et ϑbn,2 as. normaux de variance asymptotique v1 (ϑ) ≤ v2 (ϑ), alors la

précision de ϑbn,1 est asymptotiquement meilleure que celle de ϑbn,2 au point ϑ :
r
v1 (ϑ) (n)
ϑbn,1 = ϑ + ξ
r n
v2 (ϑ) (n)
ϑbn,2 =ϑ+ ζ
n

d
où ξ (n) et ζ (n) → N (0, 1).

Comparaison d’estimateurs : cas asymptotique

– Si v1 (ϑ) < v2 (ϑ), et si ϑ ; vi (ϑ) est continue, on pose
 s 
vi (ϑbn,i ) −1
Cn,α (ϑbn,i ) = ϑbn,i ± Φ (1 − α/2) , i = 1, 2
n

où α ∈ (0, 1) et Φ(•) est la fonction de répartition de la loi normale standard.

– Cn,α (ϑbn,i ), i = 1, 2 sont deux intervalles de confiance asymptotiquement de niveau
1 − α et on a
s
|Cn,α (ϑbn,1 )| Pnϑ v1 (ϑ)
−→ < 1.
|Cn,α (ϑn,2 )|
b v2 (ϑ)

Conclusion provisoire
– Il est difficile en général de comparer des estimateurs.
– Cadre asymptotique + normalité asymptotique → comparaison de la variance
asymptotique ϑ ; v(ϑ).
– Sous des hypothèses de régularité du modèle {Pnϑ , ϑ ∈ Θ} alors
– Il existe une variance asymptotique v ? (ϑ) minimale parmi les variances de la
classe des M -estimateurs as. normaux.
– Cette fonction est associée à une quantité d’information intrinsèque au modèle.
– La variance asymptotique de l’EMV est v ? (ϑ).
– Ceci règle partiellement le problème de l’optimalité.
5.3 Modèles réguliers et information de Fisher 47

5.3 Modèles réguliers et information de Fisher

Régularité d’un modèle statistique et information

– Cadre simplificateur : modèle de densité
X1 , . . . , Xn i.i.d. de loi Pϑ

dans la famille Pϑ , ϑ ∈ Θ avec Θ ⊂ R pour simplifier.
– Notation :
d Pϑ
f (ϑ, x) = (x), x ∈ R, ϑ ∈ Θ.
dµ
– Hypothèse : la quantité

2 
I(ϑ) = Eϑ ∂ϑ log f (ϑ, X)

est bien définie.

5.3.1 Construction de l’information de Fisher

Information de Fisher

2 
Définition 5.2. – I(ϑ) = Eϑ ∂ϑ log f (ϑ, X) s’appelle l’information de Fisher de
la famille {Pϑ , ϑ ∈ Θ} au point ϑ. Elle ne dépend pas de la mesure dominante µ.
– Le cadre d’intérêt est celui où
0 < I(ϑ) < +∞.
– I(ϑ) quantifie  l’information  qu’apporte chaque observation Xi sur le paramètre
ϑ.
 
Remarque : on a Pϑ f (ϑ, X) > 0 = 1, donc la quantité log f (ϑ, X) est bien définie.

Information dans quel sens ? Origine de la notion

– Supposons l’EMV ϑbnmv bien défini et convergent.
– Supposons l’application (ϑ, x) ; f (ϑ, x) possédant toutes les propriétés de régularité
et d’intégrabilité voulues.
– Alors
√
d  1 
n ϑbnmv −ϑ −→ N 0,
I(ϑ)
en loi sous Pϑ , où encore
d 1
ϑbnmv ≈ ϑ + p N (0, 1)
nI(ϑ)
en loi sous Pϑ .
48 Comparaison d’estimateurs

Construction de l’information + jeu d’hypothèses attenant

– Heuristique : on établira un jeu d’hypothèses justifiant a posteriori le raisonnement.
– Etape 1 : l’EMV ϑbnmv converge :

Pϑ
ϑbnmv −→ ϑ

Il faut un résultat général (par exemple, de convergence des M -estimateurs).

– Etape 2 : l’EMV ϑbnmv est un Z-estimateur :
n
X 
0 = ∂ϑ log f (ϑ, Xi ) .
b mv
ϑ=ϑn
i=1

Construction de I(ϑ) cont.

– Etape 3 : développement asymptotique autour de ϑ :
n
X n
X
0≈ ∂ϑ log f (ϑ, Xi ) + (ϑbnmv −ϑ) ∂ϑ2 log f (ϑ, Xi ),
i=1 i=1

soit Pn
∂ϑ log f (ϑ, Xi )
ϑn −ϑ ≈ − Pi=1
b mv
n 2
i=1 ∂ϑ log f (ϑ, Xi )
Pn
– Etape 4 : le numérateur. Normalisation et convergence de i=1 ∂ϑ log f (ϑ, Xi ) ?

Numérateur

Lemme 5.3.1. On a
 
Eϑ ∂ϑ log f (ϑ, X) = 0.

Preuve.
Z
 
Eϑ ∂ϑ log f (ϑ, X) = ∂ϑ log f (ϑ, x)f (ϑ, x)µ(dx)
ZR
∂ϑ f (ϑ, x)
= f (ϑ, x)µ(dx)
f (ϑ, x)
ZR
= ∂ϑ f (ϑ, x)µ(dx)
RZ

= ∂ϑ f (ϑ, x)µ(dx) = ∂ϑ 1 = 0.
R
5.3 Modèles réguliers et information de Fisher 49

Dénominateur

De même R ∂ϑ2 f (ϑ, x)µ(dx) = 0. Conséquence :

R

2 
= − Eϑ ∂ϑ2 log f (ϑ, X)
  
I(ϑ) = Eϑ ∂ϑ log f (ϑ, X)

En effet

Eϑ ∂ϑ2 log f (ϑ, X)

 
=
Z 2
2
∂ϑ f (ϑ, x)f (ϑ, x) − ∂ϑ f (ϑ, x)
= f (ϑ, x)µ(dx)
R f (ϑ, x)2

2
∂ϑ f (ϑ, x)
Z Z
2
= ∂ϑ f (ϑ, x)µ(dx) − µ(dx)
R R f (ϑ, x)
Z 
∂ϑ f (ϑ, x) 2 
2 
=0− f (ϑ, x)µ(dx) = − E ∂ϑ log f (ϑ, X) .
R f (ϑ, x)

Conséquences
 
– Les ∂ϑ log f (ϑ, Xi ) sont i.i.d. et Eϑ ∂ϑ log f (ϑ, X) = 0. TCL :
n
1 X d 
2 

√ ∂ϑ log f (ϑ, Xi ) −→ N 0, Eϑ ∂ϑ log f (ϑ, X)
n
i=1


= N 0, I(ϑ) .

– Les ∂ϑ2 log f (ϑ, Xi ) sont i.i.d. LGN :

n
1X 2 Pϑ
Eϑ ∂ϑ2 log f (ϑ, X)
 
∂ϑ log f (ϑ, Xi ) −→
n
i=1
conséquence
= −I(ϑ).

Conclusion
– En combinant les deux estimations + lemme de Slutsky :
Pn
√1
√ n i=1 ∂ϑ log f (ϑ, Xi )
n(ϑbnmv −ϑ) ≈ − 1 Pn 2
n i=1 ∂ϑ log f (ϑ, Xi )


d N 0, I(ϑ)
−→
I(ϑ)
loi
 1 
= N 0, .
I(ϑ)
50 Comparaison d’estimateurs

– Le raisonnement est rigoureux dès lors que : i) on a la convergence de ϑbnmv , ii) on

peut justifier le lemme et sa conséquence, iii) I(ϑ) est bien définie et non dégénérée
et iv) on sait contrôler le terme de reste dans le développement asymptotique, partie
la plus difficile.

5.3.2 Modèle régulier

Modèle régulier

Définition 5.3. La famille de densités {f (ϑ, •), ϑ ∈ Θ}, par rapport à la mesure domi-
nante µ, Θ ⊂ R, est régulière si
– Θ ouvert et {f (ϑ, •) > 0} = {f (ϑ0 , •) > 0}, ∀ϑ, ϑ0 ∈ Θ.
– µ-p.p. ϑ ; f (ϑ, •), ϑ ; log f (ϑ, •) sont C 2 .
– ∀ϑ ∈ Θ, ∃Vϑ ⊂ Θ t.q. pour a ∈ Vϑ

2
|∂a2 log f (a, x)| + |∂a log f (a, x)| + ∂a log f (a, x) ≤ g(x)

où Z
g(x) sup f (a, x)µ(dx) < +∞.
R a∈V(ϑ)

– L’information de Fisher est non-dégénérée :

∀ϑ ∈ Θ, I(ϑ) > 0.

Résultat principal

Proposition 5.1. – Si l’expérience engendrée par l’observation X1 , . . . , Xn ∼i.i.d. Pϑ

est associée à une famille de probabilités {Pϑ , ϑ ∈ Θ} sur R régulière au sens de la
définition précédente, alors
√
d  1 
n ϑbnmv −ϑ −→ N 0, .
I(ϑ)

– Si ϑbn est un Z-estimateur régulier asymptotiquement normal de variance v(ϑ),

alors
1
∀ϑ ∈ Θ, v(ϑ) ≥ .
I(ϑ)

Preuve de la proposition
– Le premier point consiste à rendre rigoureux le raisonnement précédent. Point
délicat : le contrôle du terme de reste.
5.3 Modèles réguliers et information de Fisher 51

– Optimalité de la variance de l’EMV parmi celle des Z-estimateurs : en remplaçant

∂ϑ log f (ϑ, x) par φ(ϑ, X), le même raisonnement que précédemment permet de
montrer que si ϑbn est un Z-estimateur régulier associé à la fonction φ, alors il est
asymptotiquement normal, de variance asymptotique

Eϑ φ(ϑ, X)2
 
vφ (ϑ) =  
2 .
Eϑ ∂ϑ φ(ϑ, X)

Preuve de la proposition (cont.)

– En admettant ce résultat, l’optimalité de l’EMV parmi les Z-estimateurs asymp-
totiquement normaux revient à montrer : pour toute fonction φ :

Eϑ φ(ϑ, X)2
 
1
 
2 ≥ .
Eϑ ∂ϑ φ(ϑ, X) I(ϑ)

Preuve de l’inégalité
– Par construction  
∂a Eϑ φ(a, X) = 0.
a=ϑ

– (avec φ̇(ϑ, x) = ∂ϑ φ(ϑ, x))

Z
 
0= φ̇(ϑ, x)f (ϑ, x) + φ(ϑ, x)∂ϑ f (ϑ, x) µ(dx)
ZR
 
= φ̇(ϑ, x)f (ϑ, x) + φ(ϑ, x)∂ϑ log f (ϑ, x)f (ϑ, x) µ(dx).
R

– Conclusion
   
Eϑ φ̇(ϑ, X) = − Eϑ φ(ϑ, X)∂ϑ log f (ϑ, X)

Preuve de l’inégalité (fin)

– On a    
Eϑ φ̇(ϑ, X) = − Eϑ φ(ϑ, X)∂ϑ log f (ϑ, X)
– Cauchy-Schwarz :

2
2 
≤ Eϑ φ(ϑ, X)2 Eϑ ∂ϑ log f (ϑ, X) ,
   
Eϑ φ̇(ϑ, X)

c’est-à-dire
 
2
−1 Eϑ φ̇(ϑ, X)
vφ (ϑ) =   ≤ I(ϑ).
Eϑ φ(ϑ, X)2
52 Comparaison d’estimateurs

5.4 Cadre général et interprétation géométrique

Information de Fisher dans un modèle général

Définition 5.4. – Situation : suite d’expériences statistiques
E n = Zn , Z n , {Pnϑ , ϑ ∈ Θ}

dominées par µn , associées à l’observation Z (n) ,

d Pnϑ
fn (ϑ, z) = (z), z ∈ Zn , ϑ ∈ Θ ⊂ R.
dµn
– Information de Fisher (si elle existe) de l’expérience au point ϑ :

2 
I(ϑ | En ) = Enϑ ∂ϑ log fn (ϑ, Z (n) )


Le cas multidimensionnel
– Même contexte que précédemment, avec Θ ⊂ Rd , et d ≥ 1.
– Matrice d’information de Fisher
I(ϑ) = Eϑ ∇ϑ log f (ϑ, Z n )∇ϑ log f (ϑ, Z n )T
 

matrice symétrique positive.

– Si I(ϑ) définie et si E n modèle de densité, en généralisant à la dimension d les
conditions de régularité, on a
√
d  
n ϑbnmv −ϑ −→ N 0, I(ϑ)−1 .

Efficacité à un pas
– Dans un modèle régulier, le calcul numérique de l’EMV peut être difficile à réaliser.
– Si l’on dispose d’un estimateur ϑbn asymptotiquement normal et si les évaluations
n
X n
X
`0n (ϑ) = 1
n ∂ϑ log f (ϑ, Xi ), `00n (ϑ) = 1
n ∂ϑ2 log f (ϑ, Xi )
i=1 i=1

sont faciles, alors on peut corriger ϑbn de sorte d’avoir le même comportement
asymptotique que l’EMV :

`0 (ϑbn )
ϑen = ϑbn − n (algorithme de Newton)
`00n (ϑbn )
satisfait
√
d  1 
n ϑen − ϑ −→ N 0,
I(ϑ)
Chapitre 6

Tests statistiques

6.1 Notion de test et d’erreur de test

Exemple introductif
– On observe 10 lancers d’une pièce de monnaie et on obtient le résultat suivant :

(P, P, F, F, P, F, P, P, F, P ).

La pièce est-elle équilibrée ?

– Répondre à cette question revient à construire une procédure de décision :

ϕ = ϕ(P, P, F, F, P, F, P, P, F, P )

0 on accepte l’hypothèse  la pièce est équilibrée 
=
1 on rejette l’hypothèse  la pièce est équilibrée 

Résolution
– On associe l’expérience statistique (par exemple)

E 10 = {0, 1}10 , parties de({0, 1}10 ), {P10

ϑ , ϑ ∈ [0, 1]} ,

avec (P = 0, F = 1)

⊗10
P10
ϑ = ϑδ0 (dx) + (1 − ϑ)δ1 (dx) .

– Hypothèse nulle :  la pièce est équilibrée 

1
H0 : ϑ =
2
54 Tests statistiques

– Hypothèse alternative :  la pièce est truquée 

1
H1 : ϑ 6=
2

Résolution (cont.)
– On note Z l’observation.
– On construit une règle de décision simple :

0 on accepte l’hypothèse
ϕ=1  =
Z∈R} 1 on rejette l’hypothèse.

– R ⊂ Z (espace des observables) : zone de rejet ou région critique.

– Exemple 1
exemple
− 12 > t0 , ϑ(Z) = ϑbnmv


R = ϑ(Z)b b = 0, 6
où t0 est un seuil à choisir... Comment ?

Erreur de décision
– Lorsque l’on prend la décision ϕ, on peut se tromper de deux manières :
1
Rejeter H0 (ϕ = 1) alors que ϑ =
2
ou encore
1
Accepter H0 (ϕ = 0) alors que ϑ 6= .
2
– Erreur de première espèce (=rejeter à tort)

P10
 
1 ϕ=1
2

– Erreur de seconde espèce (=accepter à tort)

1

P10
 
ϑ ϕ = 0 , ϑ 6= .
2

Conclusion provisoire
– Un  bon test  ϕ doit garantir simultanément des erreurs de première et seconde
espèce petites.
– Un test optimal existe-t-il ?
– Si non, comment aborder la notion d’optimalité et comment construire un test
optimal ?
1. léger abus de notation...
6.2 Hypothèse simple contre alternative simple 55

Définition formelle


– Situation : E = Z, Z, {Pϑ , ϑ ∈ Θ} engendrée par l’observation Z.
– Hypothèse nulle et alternative : Θ0 ⊂ Θ et Θ1 ⊂ Θ t.q.

Θ0 ∩ Θ1 = ∅.
Définition 6.1 (Test simple). Un test (simple) de l’hypothèse nulle H0 : ϑ ∈ Θ0
contre l’alternative H1 : ϑ ∈ Θ1 est une statistique ϕ = ϕ(Z) ∈ {0, 1}. (Fonction
d’) erreur de première espèce :

ϑ ∈ Θ0 ; Pϑ ϕ = 1
 

(Fonction d’) erreur de seconde espèce

ϑ ∈ Θ1 ; Pϑ ϕ = 0 = 1 − puissanceϕ (ϑ).
 

6.2 Hypothèse simple contre alternative simple

Hypothèse simple contre alternative simple

– Cas où Θ = {ϑ0 , ϑ1 } avec ϑ0 6= ϑ1 .
– Existe-t-il un test ϕ? optimal, au sens où : ∀ϕ test simple, on a simultanément

Pϑ0 ϕ? = 1 ≤ Pϑ0 ϕ = 1
   

et
Pϑ1 ϕ? = 0 ≤ Pϑ1 ϕ = 0 ?
   

– Si Pϑ0 et Pϑ1 ne sont pas étrangères un tel test ϕ? ne peut pas exister.

Mesures de probabilité étrangères

Définition 6.2. Deux mesures de probabilités P et Q définies sur (Ω, F) sont étrangères
s’il existe A ∈ F tel que
P[A] = 1 et Q[A] = 0.

Une condition suffisante pour que P et Q ne soient pas étrangères est que P  Q et
Q  P.

Absence d’optimalité stricte

– On associe à un test ϕ de H0 : ϑ = ϑ0 contre H1 : ϑ = ϑ1 son risque
  
Pϑ0 ϕ = 1 si ϑ = ϑ0
R(ϕ, ϑ) :=
Pϑ1 ϕ = 0 si ϑ = ϑ1
56 Tests statistiques

– Le problème se traduit par : existe-t-il un test ϕ? optimal au sens où

∀ϑ ∈ Θ, R(ϕ? , ϑ) ≤ inf R(ϕ, ϑ) ?

ϕ

(l’infimum pris sur l’ensemble de tous les tests simples...)

Absence d’optimalité (cont.)

– Preuve : Pour tout test ϕ, on a

max R(ϕ, ϑ0 ), R(ϕ, ϑ1 ) > 0 (?).

– Supposons ϕ? test optimal et R(ϕ? , ϑ0 ) > 0. Alors ϕtrivial := 0 vérifie

0 = R ϕtrivial , ϑ0 < R ϕ? , ϑ0 contradiction !

et contredit l’optimalité de ϕ? . (Si R(ϕ? , ϑ1 ) > 0, prendre ϕtrivial = 1.)

Absence d’optimalité (fin.)

– Preuve de (?) : si R ϕ? , ϑ0 = R ϕ? , ϑ1 = 0, alors

ϕ? = 0 Pϑ0 −p.s. et ϕ? = 1 Pϑ1 −p.s..

Soient A = {ω, ϕ? (ω) = 0} et B = {ω, ϕ? (ω) = 1}. Alors Pϑ0 [A] = 1 et donc
Pϑ1 [A] > 0 car Pϑ0 et Pϑ1 ne sont pas étrangères. Aussi, Pϑ1 [B] = 1. Donc A∩B 6= ∅.
Il existe ω0 tel que 0 = ϕ? (ω0 ) = 1 contradiction !
– Attention ! La propriété Pϑ0 et Pϑ1 non étrangères est minimale. Mais elle disparaı̂t
dans la plupart des situations dans un cadre asymptotique lorsque n → ∞.

Riposte : principe de Neyman

– On  disymétrise  les hypothèses H0 et H1 : H0 est  plus importante  que H1
dans le sens suivant : on impose une erreur de première espèce prescrite.

Définition 6.3. Pour α ∈ [0, 1], un test ϕ = ϕα de l’hypothèse nulle H0 : ϑ ∈ Θ0 contre

une alternative H1 est de niveau α si
 
sup Pϑ ϕα = 1 ≤ α.
ϑ∈Θ0

– Un test de niveau α ne dit rien sur l’erreur de seconde espèce (comportement sur
l’alternative).
6.2 Hypothèse simple contre alternative simple 57

Principe de Neyman (cont.)

– Choix de la  disymétrisation  = choix de modélisation.
– Principe de Neyman : α ∈ (0, 1), parmi les test de niveau α, chercher celui (ou
ceux) ayant une erreur de seconde espèce minimale.

Définition 6.4. Un test de niveau α est dit Uniformément Plus Puissant (UPP) si son
erreur de seconde espèce est minimale parmi celles des tests de niveau α.

– Pour le cas d’une hypothèse simple contre une alternative simple, un test UPP
existe.

Test de Neyman-Pearson : principe de construction

d Pϑ
– f (ϑ, z) = dµ (z), z ∈ Z, ϑ = ϑ0 , ϑ1 , µ mesure dominante. L’EMV –si bien défini–
s’écrit
ϑbnmv = ϑ0 1{f (ϑ1 ,Z)<f (ϑ0 ,Z)} + ϑ1 1{f (ϑ0 ,Z)<f (ϑ1 ,Z)} .

– On choisit une région critique de la forme


R(c) = f (ϑ1 , Z) > cf (ϑ0 , Z) , c > 0

et on calibre c = cα de sorte que

 
Pϑ0 Z ∈ R(cα ) = α.

– Le test ainsi construit (si cette équation admet une solution) est de niveau α. On
montre qu’il est UPP.

Lemme de Neyman-Pearson

Proposition 6.1. Soit α ∈ [0, 1]. S’il existe cα solution de

 
Pϑ0 f (ϑ1 , Z) > cα f (ϑ0 , Z) = α


alors le test de région critique Rα = f (ϑ1 , Z) > cα f (ϑ0 , Z) est de niveau α et UPP
pour tester H0 : ϑ = ϑ0 contre H1 : ϑ = ϑ1 .

– Si U = f (ϑ1 , Z)/f (ϑ0 , Z) bien définie et L(U )  dx (sous Pϑ0 ), alors Pϑ0 U >
cα = α admet une solution.
58 Tests statistiques

Preuve du lemme de N.P.

– Soit R? la zone de rejet du test de N.P. et R la zone de rejet d’un test quelconque
(de niveau α).
– On a
Pϑ1 Z ∈ R? − Pϑ1 Z ∈ R
   
Z Z
= f (ϑ1 , z)µ(dz) − f (ϑ1 , z)µ(dz)
R ? R
Z Z
= f (ϑ1 , z)µ(dz) − f (ϑ1 , z)µ(dz)
R? \R R\R?

– On a R? \R⊂ R? d’où
f (ϑ1 , z) > c(α)f (ϑ0 , z) sur R? \ R.

Preuve de N.P. (cont.)

– De même, sur R \ R? , on a
f (ϑ1 , z) ≤ c(α)f (ϑ0 , z).
– Il vient
Pϑ1 Z ∈ R? − Pϑ1 Z ∈ R
   
Z Z 
≥ c(α) f (ϑ0 , z)µ(dz) − f (ϑ0 , z)µ(dz)
R? \R R\R?
Z Z 
= c(α) f (ϑ0 , z)µ(dz) − f (ϑ0 , z)µ(dz)
?
 R  R

?
 
= c(α) Pϑ0 Z ∈ R − Pϑ0 Z ∈ R ≥ 0.

car Pϑ0 [Z ∈ R? ] = α et Pϑ0 [Z ∈ R] ≤ α.

Exemple de mise en oeuvre

– On observe
Z = (X1 , . . . , Xn ) ∼i.i.d. N (ϑ, 1).
– Construction du test de N-P. de H0 : ϑ = ϑ0 contre H1 : ϑ = ϑ1 , avec ϑ0 < ϑ1 .
– Mesure dominante µn = mesure de Lebesgue sur Rn et
n
1 1X 2 nϑ2

f (ϑ, Z) = (2π)n/2
exp − Xi + nϑX n − .
2 2
i=1
– Rapport de vraisemblance
f (ϑ1 , Z) n
= exp n(ϑ1 − ϑ0 )X n − (ϑ21 − ϑ20 ) .


f (ϑ0 , Z) 2
6.2 Hypothèse simple contre alternative simple 59

Exemple (cont.)
– Zone de rejet du test de N-P. :

f (ϑ1 , Z) ≥ cf (ϑ0 , Z)
n
= n(ϑ1 − ϑ0 )X n − (ϑ21 − ϑ20 ) ≥ log c

2
 ϑ0 + ϑ1 log c
= Xn ≥ + .
2 n(ϑ0 − ϑ1 )

Exemple (cont.)
– Choix de c. On résout
log c 
Pϑ0 X n ≥ 21 (ϑ0 + ϑ1 ) +

= α.
n(ϑ0 − ϑ1 )
– Approche standard : on raisonne sous Pϑ0 . On a
1
X n = ϑ0 + √ ξ n,ϑ0 ,
n
où ξ n,ϑ0 est une gaussienne standard N (0, 1) sous Pϑ0 mais pas sous une autre
probabilité Pϑ si ϑ 6= ϑ0 !

Exemple (fin)
– Résolution de
1 1 log c 
Pϑ0 ϑ0 + √ ξ n,ϑ0 ≥ (ϑ0 + ϑ1 ) +

= α.
n 2 n(ϑ0 − ϑ1 )
√
– Equivalent à Pϑ0 ξ nϑ0 ≥ 2n (ϑ1 − ϑ0 ) + √1n ϑlog c 

0 −ϑ1
= α, soit
√
n 1 log c
(ϑ1 − ϑ0 ) + √ = Φ−1 (1 − α),
2 n ϑ0 − ϑ1
Rx 2
où Φ(x) = −∞ e−u /2 √du 2π
.
– Conclusion
ϑ1 − ϑ0 √
+ n(ϑ0 − ϑ1 )Φ−1 (1 − α)


cα = exp −
2

Bilan provisoire
– Si l’on accepte le principe de Neyman, on sait résoudre le problème à deux points.
– Que faire si l’hypothèse nulle H0 ou l’alternative H1 sont composites ?
– Critique méthodologique de l’approche de Neyman ; notion de p-valeur (Cours 8)
– On ne sait toujours pas répondre à la question de l’exemple introductif...
60 Tests statistiques

6.3 Tests gaussiens

6.3.1 Tests sur la moyenne

Tests gaussiens incontournables

– On observe
Y = (Y1 , . . . , Yn ) ∼ N (µ, σ 2 Idn ).
– Test sur la moyenne, variance connue

H0 : µ ≤ µ0 contre H1 : µ > µ0

– Principe on estime µ et on rejette H0 si l’estimateur est  plus grand  que µ0 .


R(cα ) = Y n − µ0 ≥ cα , cα à déterminer.

– On choisit cα de sorte que

 
sup Pµ R(cα ) ≤ α.
µ≤µ0

– Il y a plusieurs choix possibles. On fait le choix rendant R(cα ) maximale.

Calcul de cα
– Majoration de l’erreur de première espèce. Si µ ≤ µ0 , on a

Pµ Y n − µ0 ≥ cα = Pµ (µ + √σn ξ n,µ ) − µ0 ≥ cα
   

= Pµ √σn ξ n,µ ≥ cα + (µ0 − µ)

 

≤ Pµ √σn ξ n,µ ≥ cα .
 

où ξ n,µ est, en loi sous Pµ , une gaussienne standard.

– Petit miracle : la loi de ξ n,µ sous Pµ ne dépend pas de µ Donc
√

√σ ξ n,µ
 n

Pµ n
≥ cα = 1 − Φ σ cα
on veut
≤ α.

– Le choix cα,n = √σ Φ−1 (1 − α) conduit à la zone de rejet R(cα ) maximale.

n

Contrôle de l’erreur de seconde espèce

– On a construit un test de niveau α parmi une classe donnée a priori de tests basés
sur un estimateur  raisonnable , de sorte que l’on ait une zone de rejet maximale.
Désormais, cα,n est fixé.
6.3 Tests gaussiens 61

– On évalue à la main l’erreur de seconde espèce ou la fonction de puissance

µ ∈ (µ0 , +∞) ; Pµ Y n − µ0 < cα,n

 

= 1 − puissance du test au point µ

 
– Montrer que pour tout µ > µ0 , on a Pµ Y n − µ0 < cα,n → 0 lorsque n → ∞.
– Pour l’optimalité dans un sens plus fort, il faut d’autres outils.

Autres tests classiques gaussiens

– Ingrédient principal :

n
1 X n
mv
s2n := (Yi − Y n )2 = bn2
σ
n−1 n−1
i=1

alors
s2n
(n − 1) ∼ χ2 (n − 1)
σ2
et
√
n(Y n − µ)
∼ Student(n − 1)
sn

et ces variables sont pivotales : leur loi ne dépend pas de µ, σ 2 sous Pµ,σ2 .
– Les lois du χ2 et de Student (à k degrés de liberté) sont classiques et s’étudient
indépendamment.

Tests sur la moyenne

– On teste H0 : µ ≤ µ0 contre H1 : µ > µ0 . Un test de niveau α : donné par

T

Rα = T (Y ) > q1−α,n−1

où
√
n(Y n − µ0 )
T (Y ) =
sn
où
T
 
P Studentn−1 > q1−α,n−1 =α

– On teste
 H0 : µ = µ0 contre H1 : µ 6= µ0 . Un test de niveau α : donné par
T
Rα = T (Y ) > q1−α/2,n−1 .
62 Tests statistiques

6.3.2 Tests sur la variance

Test sur la variance

– On teste H0 : σ 2 ≤ σ02 contre H1 : σ 2 > σ02 . Un test de niveau α : donné par
 χ2
Rα = V (Y ) > q1−α,n−1 ,

où
n
1 X
V (Y ) = (Yi − Y )2
σ02 i=1
et
 χ2 
P Chi-deuxn−1 > q1−α,n−1 = α.
– Mêmes remarques méthodologiques sur l’optimalité de ces tests que précédemment.

6.4 Construction d’un test : hypothèses générales

Situation


– Situation : on part d’une expérience statistique Z, Z, {Pϑ , ϑ ∈ Θ} engendrée par
l’observation Z.
– On souhaite tester :

H0 : ϑ ∈ Θ0 ⊂ Θ contre H1 : ϑ ∈ Θ1

avec Θ0 ∩ Θ1 = ∅.
– Si Θ0 = {ϑ0 } et Θ1 = {ϑ1 }, on a Neyman-Pearson. Et sinon ?

Principe de construction
– Trouver  une statistique libre sous l’hypothèse : toute quantité φ(Z) observable
dont on connait la loi sous l’hypothèse, c’est-à-dire la loi de φ(Z) sous Pϑ avec
ϑ ∈ Θ0 .
– On  regarde  si le comportement de φ(Z) est typique d’un comportement sous
l’hypothèse.
– Si oui, on accepte H0 , si non on rejette H0 .
– On quantifie  oui/non  par le niveau α du test.

6.4.1 Retour sur un exemple

Exemple : test sur la variance

6.4 Construction d’un test : hypothèses générales 63

– On observe Z = (Y1 , . . . , Yn ),

Y1 , . . . , Yn ∼i.i.d. N (µ, σ 2 )

avec ϑ = (µ, σ 2 ) ∈ Θ = R ×(0, +∞).

– Premier cas : on teste

H0 : σ 2 = σ02 contre H1 : σ 2 > σ02 .

– Sous l’hypothèse (c’est-à-dire sous Pϑ avec ϑ = (µ, σ0 ) et µ ∈ R quelconque), on a

s2n
(n − 1) ∼ χ2 (n − 1)
σ02

1 Pn
avec s2n := n−1 i=1 (Yi − Y n )2 .

Test sur la variance (cont.)

– Donc, sous l’hypothèse, le comportement  typique  de

s2n
φ(Z) = (n − 1)
σ02

est celui d’une variable aléatoire de loi du χ2 à n − 1 degrés de liberté.

χ2
– Soit q1−α,n−1 > 0 tel que si U ∼ χ2 (n − 1), alors

 χ2 
P U > q1−α,n−1 = α.

d χ 2
– Sous l’hypothèse φ(Z) = U et donc la probabilité pour que φ(Z) dépasse q1−α,n−1
est inférieure (égale) à α (comportement atypique si α petit).

Test sur la variance (cont.)

– Règle de décision : On accepte l’hypothèse si

χ 2
φ(Z) ≤ q1−α,n−1 .

On la rejette sinon.
– Par construction, on a un test de niveau α.
– On ne sait rien dire sur l’erreur de seconde espèce, mis à part qu’elle est minimale
parmi les tests de zone de rejet de la forme de {φ(Z) > c}, c > 0...
64 Tests statistiques

Test sur la variance (fin)

– Deuxième cas : On teste
H0 : σ 2 ≤ σ02 contre H1 : σ 2 > σ02 .
– Pas de statistique libre évidente... Mais, pour σ 2 ≤ σ02 , on a
2 χ2 2 σ 2 χ2
Pσ (n − 1) σsn2 > q1−α,n−1 = Pσ (n − 1) σsn2 > σ02 q1−α,n−1
   
0
2 χ2
≤ Pσ (n − 1) σsn2 > q1−α,n−1
 

=α.
– La même statistique de test convient pour contrôler l’erreur de première espèce que
pour l’hypohèse nulle simple. On choisit ici la même règle de décision.

6.4.2 Principe de construction

Conclusion provisoire
– Pour contruire un test de l’hypothèse H0 : ϑ ∈ Θ0 contre H1 : ϑ ∈ Θ1 , on cherche
une statistique libre sous l’hypothèse et on rejette pour un seuil qui dépend de la
loi de la statistique sous H0 , de sorte de fournir une zone de rejet maximale.
– Le plus souvent, la statistique est obtenue via un estimateur. Sauf exception (comme
la cas gaussien) une telle statistique est difficile à trouver en général.
– Simplification cadre asymptotique (où la gaussianité réapparaı̂t le plus souvent...).

6.5 Tests asymptotiques

Le test de Wald : hypothèse nulle simple

– Situation la suite d’expériences Zn , Z n , {Pnϑ , ϑ ∈ Θ} est engendrée par l’observa-

tion Z n , ϑ ∈ Θ ⊂ R
– Objectif : Tester
H0 : ϑ = ϑ0 contre ϑ 6= ϑ0 .
– Hyopthèse : on dispose d’un estimateur ϑbn asymptotiquement normal
√ d

n(ϑbn −ϑ) → N 0, v(ϑ)

en loi sous Pnϑ , ∀ϑ ∈ Θ, où ϑ ; v(ϑ) > 0 est continue.

– Sous l’hypothèse (ici sous Pnϑ0 ) on a la convergence

√ ϑbn −ϑ0 d
nq −→ N (0, 1)
v(ϑbn )
6.5 Tests asymptotiques 65

en loi sous Pnϑ0 .

Test de Wald (cont.)

q p
– Remarque v(ϑbn ) ↔ v(ϑ0 ) ou d’autres choix encore...
– On a aussi
(ϑbn −ϑ0 )2 d
Tn = n −→ χ2 (1)
v(ϑbn )
sous Pnϑ0 .
χ2 χ2
> 0 tel que si U ∼ χ2 (1), on a P U > q1−α,1
 
– Soit q1−α,1 = α. On choisit la zone
de rejet
 χ2
Rn,α = Tn ≥ q1−α,1 .
– Le test de zone de rejet Rn,α s’appelle Test de Wald de l’hypothèse simple ϑ = ϑ0
contre l’alternative ϑ 6= ϑ0 basé sur ϑbn .

Propriétés du test de Wald

Proposition 6.2. Le test Wald de l’hypothèse simple ϑ = ϑ0 contre l’alternative ϑ 6= ϑ0
basé sur ϑbn est
– asymptotiquement de niveau α :
Pnϑ0 Tn ∈ Rn,α → α.
 

– convergent ou (consistant). Pour tout point ϑ 6= ϑ0

Pnϑ Tn ∈
 
/ Rn,α → 0.

Preuve
– Test asymptotiquement de niveau α par construction.
– Contrôle de l’erreur de seconde espèce : Soit ϑ 6= ϑ0 . On a
√ ϑbn −ϑ √ ϑ − ϑ 0 2
Tn = nq + nq
v(ϑbn ) v(ϑbn )
=: Tn,1 + Tn,2 .
d
On a Tn,1 −→ N (0, 1) sous Pnϑ et
Pn
ϑ
Tn,2 −→ ±∞ car ϑ 6= ϑ0
ϑ Pn
Donc Tn −→ +∞, d’où le résultat.
√
– Remarque : si ϑ 6= ϑ0 mais |ϑ − ϑ0 | . 1/ n, le raisonnement ne s’applique pas.
Résultat non uniforme en le paramètre.
66 Tests statistiques

6.6 Compléments : p-valeur et liens entre tests et régions

de confiance

p-valeurs
– Exemple : on observe

X1 , . . . , Xn ∼i.i.d. N (µ, σ 2 ), σ 2 connu.

– Objectif : tester H0 : µ = 0 contre H1 : µ 6= 0.

– Au niveau α = 5%, on rejette si

φ−1 (1 − α/2)
Xn > √
n

φ−1 (1−0.05/2)
– Application numérique : n = 100, X 100 = 0.307. On a √
100
≈ 0.196. on
rejette l’hypothèse....

p-valeur (cont.)
φ−1 (1−0.05/2)
– Et pour un autre choix de α ?. Pour α = 0.01, on a √
100
≈ 0.256. On rejette
φ−1 (1−0.05/2)
toujours... Pour α = 0.001, on a √ ≈ 0.329. On accepte H0 !
100
– Que penser de cette petite expérience ?
– En pratique, on a une observation une bonne fois pour toute (ici 0.307) et on
 choisit  α... comment ?

– On ne veut pas α trop grand (trop de risque), mais en prenant α de plus en plus
petit... on va fatalement finir par accepter H0 !
– Défaut de méthodologie inhérent au principe de Neyman (contrôle de l’erreur de
première espèce).

p-valeur
– Quantité significative : non par le niveau α, mais le seuil de basculement de décision :
c’est la p-valeur (p-value) du test.

Définition 6.5. Soit Rα une famille de zones de rejet d’un test de niveau α pour une
hypothèse H0 contre une alternative H1 . Soit Z l’observation associée à l’expérience. On
a Z ∈ Z et R0 = Z. On appelle p-valeur du test la quantité

p − valeur(Z) = inf{α, Z ∈ Rα }.

Interprétation de la p-valeur
6.7 Tests d’adéquation 67

– Une grande valeur de la p-valeur s’interprète en faveur de ne pas vouloir rejeter

l’hypothèse.
–  Ne pas vouloir rejeter l’hypothèse  peut signifier deux choses :
– L’hypothèse est vraie
– L’hypothèse est fausse mais le test n’est pas puissant (erreur de seconde espèce
grande).
– Souvent : la p-valeur est la probabilité (sous H0 ) que la statistique de test d’une
expérience  copie  soit ≥ à la statistique de test observée.
– Exemple du test du χ2 et de l’expérience de Mendel (à suivre)

6.7 Tests d’adéquation

Tests d’adéquation
– Situation On observe (pour simplifier) un n-échantillon de loi F inconnu

X1 , . . . , Xn ∼i.i.d. F

– Objectif Tester
H0 : F = F0 contre F 6= F0
où F0 distribution donnée. Par exemple : F0 gaussienne centrée réduite.
– Il est très facile de construire un test asymptotiquement de niveau α. Il suffit de
trouver une statistique φ(X1 , . . . , Xn ) de loi connue sous l’hypothèse.

Test d’adéquation : situation

– Exemples : sous l’hypothèse
√
φ1 (X1 . . . , Xn ) = nX n ∼ N (0, 1)

√ Xn
φ2 (X1 , . . . , Xn ) = n ∼ Student(n − 1)
sn
φ3 (X1 , . . . , Xn ) = (n − 1)s2n ∼ χ2 (n − 1).
– Le problème est que ces tests ont une Rfaible puissanceR: ils ne sont pas consistants.
– Pas exemple, si F 6= gaussienne mais R xdF (x) = 0, R x2 dF (x) = 1, alors
Z x
2 /2 du
e−u
 
PF φ1 (X1 , . . . , Xn ) ≤ x → √ , x ∈ R.
−∞ 2π

(résultats analogues pour φ2 et φ3 ).

– La statistique de test φi ne caractérise pas la loi F0 .
68 Tests statistiques

6.7.1 Tests de Kolmogorov-Smirnov

Test de Kolmogorov-Smirnov
– Rappel Si la fonction de répartition F est continue,
√ d
n sup Fbn (x) − F (x) −→ B
x∈R

où la loi de B ne dépend pas de F .

B
 B

Proposition 6.3 (Test de Kolmogorov-Smirnov). Soit q1−α tel que P B > q1−α = α.
Le test défini par la zone de rejet
√ B
Rn,α = n sup Fbn (x) − F0 (x) ≥ q1−α
x∈R
 
est asymptotiquement de niveau α : PF0 Fbn ∈ Rn,α → 0 et consistant :
 
∀F 6= F0 : PF Fbn ∈
/ Rn,α → 0.

6.7.2 Tests du χ2

Test du Chi-deux
– X variables qualitative : X ∈ {1, . . . , d}.
 
P X = ` = p` , ` = 1, . . . d.

– La loi de X est caratérisée par p = (p1 , . . . , pd )T .

– Notation
d
X
T

Md = p = (p1 , . . . , pd ) , 0 ≤ p` , p` = 1 .
`=1

– Objectif q ∈ Md donnée. A partir d’un n-échantillon

X1 , . . . , Xn ∼i.i.d. p,

tester H0 : p = q contre H1 : p 6= q.

Construction  naturelle  d’un test

– Comparaison des fréquences empiriques
n
1X
pbn,` = 1Xi =` proche de q` , ` = 1, . . . , d ?
n
i=1
6.7 Tests d’adéquation 69

– Loi des grands nombres :

Pp
pbn,1 , . . . , pbn,d −→ (p1 , . . . , pd ) = p.
– Théorème central-limite ?
√  pbn,1 − p1 pbn,d − pd  d
U n (p) = n √ , . . . , √ −→?
p1 pd
– Composante par composante oui. Convergence globale plus délicate.

Statistique du Chi-deux
Proposition 6.4. Si les composantes de p sont toute non-nulles
– On a la convergence en loi sous Pp
d

U n (p) −→ N 0, V (p)
√ √
T √ √ √
avec V (p) = Idd − p p et p = ( p1 , . . . , pd )T .
– De plus
d
2
X pn,` − p` )2 d
(b
kU n (p)k = n −→ χ2 (d − 1).
p`
`=1

Preuve de la normalité asymptotique

– Pour i = 1, . . . , n et 1 ≤ ` ≤ d, on pose
1
Y`i = √ 1{Xi =`} − p` .


p`
– Les vecteurs Y i = (Y1i , . . . , Ydi ) sont indépendants et identiquement distribués et
n
1 X
U n (p) = √ Y i,
n
i=1

E Y`i = 0, E (Y`i )2 = 1 − p` , E Y`i Y`i0 = −(p` p`0 )1/2 .

     

– On applique le TCL vectoriel.

Convergence de la norme au carré

d

– On a donc U n (p) −→ N 0, V (p) .
– On a aussi
d
kU n (p)k2 −→ kN 0, V (p) k2

∼ χ2 Rang V (p)

√ √
T √
par Cochran : V (p) = Idd − p p est la projection orthogonale sur vect{ p}⊥
qui est de dimension d − 1.
70 Tests statistiques

Test d’adéquation du χ2
–  distance  du χ2 :
d
2
X (p` − q` )2
χ (p, q) = .
q`
`=1

– Avec ces notations kU n (p)k2 = nχ2 (b

pn , p).

Proposition 6.5. Pour q ∈ Md le test simple défini par la zone de rejet

χ2
Rn,α = nχ2 (b

pn , q) ≥ q1−α,d−1

χ2
= α si U ∼ χ2 (d−1) est asymptotiquement de niveau α et consistant
 
où P U > q1−α,d−1
pour tester
H0 : p = q contre H1 : p 6= q.

Exemple de mise en oeuvre : expérience de Mendel

– Soit d = 4 et 9 3 3 1
q= , , , .
16 16 16 16
– Répartition observée : n = 556
1
p
b556 = (315, 101, 108, 32).
556
– Calcul de la statistique du χ2

556 × χ2 (b
p556 , q) = 0, 47.

– On a q95%,3 = 0, 7815.
– Conclusion : Puisque 0, 47 < 0, 7815, on accepte l’hypothèse p = q au niveau
α = 5%.

Expérience de Mendel et p-valeur

– Sous l’hypothèse H0
556•χ2 (b
p556 , q) ∼ χ2 (3).
χ 2
– Les données fournissent 556•χ2 (bp556 , q) = 0.47 et q1−0.05,3 = 0.7815. On accepte
l’hypothèse.
– Calcul de la p-valeur : pour Z ∼ χ2 (3)
 
p − valeur = Pq Z > 0.47 = 0.93.

La  pratique  invite à ne pas rejeter H0 .