Chapitre 4

Estimation par vraisemblance

Le procédé de construction des estimateurs par insertion a été introduit dans

le chapitre 2. L’objectif de ce chapitre est d’étudier une autre méthode de
construction, basée sur le principe intuitif suivant : le paramètre inconnu est
proche d’un paramètre pour lequel l’observation est la plus probable ou, en
d’autres termes, la plus vraisemblable.

Dans tout le chapitre, (H n , {Pθ }θ ∈Θ ) est un modèle statistique dominé

par une mesure σ -finie µ, avec H ⊂ Rk et Θ ⊂ Rd .

4.1 Vraisemblance
Lorsque H n est discret, la probabilité que l’échantillon (X1 , · · · , Xn ) ∼ Pθ
soit égal à (x1 , · · · , xn ) ∈ H n représente le degré de vraisemblance de cette
observation pour la loi Pθ . En étendant ce point de vue à tous les modèles, on
obtient le concept de vraisemblance défini ci-dessous.

Définition. La vraisemblance du modèle (H n , {Pθ }θ ∈Θ ) est l’application

Ln : H n × Θ → R+ telle que, pour chaque θ ∈ Θ , Ln (.; θ ) : H n → R+
est un élément de la classe d’équivalence de la densité de Pθ par rapport à µ.

Remarque. L’existence de la vraisemblance est assurée par le théorème de

Radon-Nikodỳm. Par abus, nous parlons de "la" vraisemblance bien qu’elle
ne soit pas unique, car il ne s’agit que d’une version de la densité de Pθ par

37
38 CHAPITRE 4. ESTIMATION PAR VRAISEMBLANCE

rapport à l’une des mesures dominantes du modèle statistique.

Dans tout le chapitre, la vraisemblance du modèle (H n , {Pθ }θ ∈Θ ) pour la

mesure dominante µ est notée Ln .

Exemples.
• Dans le modèle statistique ({0, 1}n , {B(θ )⊗n }θ ∈]0,1[ ) du jeu de pile ou
face, qui est dominé par la mesure (δ0 + δ1 )⊗n , la vraisemblance Ln vaut

Ln (x1 , · · · , xn ; θ ) = θ nx̄n (1 − θ )n(1−x̄n ) ,

pour (x1 , · · · , xn ) ∈ {0, 1}n et θ ∈]0, 1[.
• Dans le modèle statistique (Rn , {N (m, σ 2 )⊗n }m∈R,σ >0 ), qui est dominé
par la mesure de Lebesgue sur Rn , la vraisemblance Ln vaut
� �
2 1 − ∑ni=1 (xi − m)2
Ln (x1 , · · · , xn ; m, σ ) = √ exp ,
( 2πσ 2 )n 2σ 2
pour (x1 , · · · , xn ) ∈ Rn , m ∈ R et σ > 0.

Proposition 4.1.1. Pour tous θ ∈ Θ , Ln (.; θ ) > 0 Pθ -p.s.

Preuve. Puisque dPθ = Ln (.; θ )dµ,
� � �
0 ≤ Pθ Ln (.; θ ) ≤ 0 = Ln (.; θ )dµ ≤ 0.
{Ln (.;θ )≤0}

L’expression de la vraisemblance est simple dans le cas d’un modèle à

échantillonnage indépendant, comme en témoigne le résultat qui suit.
Proposition 4.1.2. Soit L la vraisemblance du modèle (H , {Qθ }θ ∈Θ ) do-
miné par la mesure ν. Si, pour chaque θ ∈ Θ , Pθ = Q⊗n
θ , alors la fonction

Ln : H n ×Θ → R
n
(x1 , · · · , xn , θ ) �→ ∏ L(xi ; θ ),
i=1

est la vraisemblance du modèle (H n , {Pθ }θ ∈Θ ) pour la mesure dominante

µ = ν ⊗n .
4.2. MAXIMUM DE VRAISEMBLANCE 39

Preuve. Il suffit de remarquer que, pour chaque θ ∈ Θ , l’application

n
(x1 , · · · , xn ) �→ ∏ L(xi ; θ ),
i=1

définie sur H n est une version de la densité de Q⊗n

θ par rapport à µ = ν . �
⊗n

4.2 Maximum de vraisemblance

Dans l’exemple du jeu de pile ou face de la section 1.1 décrit par le modèle
statistique ({0, 1}n , {B(θ )⊗n }θ ∈]0,1[ ), les n lancers de pièce ont fourni une
observation (x1 , · · · , xn ) ∈ {0, 1}n , réalisation de la loi B(θ0 )⊗n . Intuitivement,
il est naturel de considérer que la probabilité sous B(θ )⊗n de l’observation
est élevée lorsque θ est proche de θ0 . Cette idée est formalisée de la manière
suivante : si Ln est la vraisemblance du modèle, une valeur du paramètre qui
s’ajuste à l’observation est dans l’ensemble des maxima de la fonction

[0, 1] → R
θ �→ Ln (x1 , · · · , xn ; θ ),

car Ln (x1 , · · · , xn ; θ ) représente la probabilité qu’un échantillon de loi B(θ )⊗n

soit égal à (x1 , · · · , xn ).

Ce principe de construction des estimateurs s’exporte au cas des modèles

continus, par exemple (Rn , {N (θ , 1)⊗n }θ ∈R ). Pour l’observation (x1 , · · · , xn )
générée selon la loi N (0, 1)⊗n , la courbe de la fonction

1 � 1 n �
θ→
� exp − ∑ (xi − θ ) ,
2
(2π)n/2 2 i=1

est alors maximale en un point proche de 0, comme le montre le graphique

ci-dessus.

Ce principe intuitif nous amène à choisir comme estimateur du paramètre

du modèle un paramètre qui maximise la vraisemblance. C’est le concept
d’estimateur du maximum de vraisemblance.
40 CHAPITRE 4. ESTIMATION PAR VRAISEMBLANCE

Définition. Un estimateur du maximum de vraisemblance (EMV) est un esti-

mateur θ̂ qui vérifie :
� �
Ln .; θ̂ (.) = sup Ln (.; θ ) µ-p.p.
θ ∈Θ

Noter que ni l’existence, ni l’unicité des EMV ne sont en général acquises.

Remarques.
• L’EMV noté θ̂ est donc un estimateur du paramètre θ du modèle. Si
le paramètre d’intérêt est g(θ ), avec g une fonction borélienne connue
définie sur Θ , on dira par abus que g(θ̂ ) est l’EMV de g(θ ).
• Dans le cas d’un modèle statistique à échantillonnage indépendant, i.e.
Pθ = Q⊗n θ ∀θ ∈ Θ , chaque Qθ étant une probabilité sur (H , B(H )),
on préfère calculer l’EMV en maximisant la log-vraisemblance, c’est-à-
dire le logarithme de la vraisemblance, plutôt que la vraisemblance. En
effet, d’après la proposition 4.1.2, si L désigne la vraisemblance du mo-
dèle (H , {Qθ }θ ∈Θ ), la log-vraisemblance du modèle (H n , {Q⊗nθ }θ ∈Θ )
s’écrit :
n
ln Ln (x1 , · · · , xn ; θ ) = ∑ ln L(xi ; θ ),
i=1
n
pour (x1 , · · · , xn ) ∈ H et θ ∈ Θ . L’intérêt pratique est clair, l’étape de
maximisation étant en principe plus facile à mener.

Exemple. Dans l’étude statistique du jeu de pile ou face de la section 1.1, la

vraisemblance du modèle ({0, 1}n , {B(θ )⊗n }θ ∈]0,1[ ) est notée Ln , et sa log-
vraisemblance s’écrit
ln Ln (x1 , · · · , xn ; θ ) = nx̄n ln θ + n(1 − x̄n ) ln(1 − θ ),
pour (x1 , · · · , xn ) ∈ {0, 1}n et θ ∈]0, 1[. Lorsque x̄n est différent de 0 et de 1,
une étude de fonction montre que x̄n réalise le maximum de la fonction
θ �→ ln Ln (x1 , · · · , xn ; θ ),
définie sur ]0, 1[. Enfin, pour x̄n ∈ {0, 1} :
Ln (x1 , · · · , xn ; x̄n ) = sup Ln (x1 , · · · , xn ; θ ).
θ ∈]0,1[

Si (X1 , · · · , Xn ) ∼ B(θ )⊗n , l’EMV est donc la moyenne empirique X̄n .

4.3. INFORMATION DE KULLBACK-LEIBLER 41

4.3 Information de Kullback-Leibler

Un outil fondamental dans l’étude des EMV est l’information de Kullback-
Leibler :

Définition. Supposons que ln Ln (.; α) ∈ L1 (Pθ ) pour chaque α, θ ∈ Θ . L’in-

formation de Kullback-Leibler entre les lois Pα et Pθ est définie par :

Ln (.; α)
κn (α, θ ) = −Eθ ln .
Ln (.; θ )

Dans la suite, l’information de Kullback-Leibler n’est évoquée que lorsque

les conditions de cette définition sont implicitement satisfaites.

L’information de Kullback-Leibler est une mesure de la dissimilarité entre

deux probabilités -Pα et Pθ dans la définition-, qui trouve son origine notam-
ment dans la théorie de l’information.

Exemple. Calculons l’information de Kullback-Leibler κn dans le modèle sta-

tistique ({0, 1}n , {B(θ )⊗n }θ ∈]0,1[ ) du jeu de pile ou face de la section 1.1. La
vraisemblance de ce modèle a été calculée dans la section 4.1. Pour α, θ ∈
]0, 1[ et (X1 , · · · , Xn ) ∼ Pθ = B(θ )⊗n :
� �
α 1−α
κn (α, θ ) = −Eθ nX̄n ln + n(1 − X̄n ) ln
θ 1−θ
θ 1−θ
= nθ ln + n(1 − θ ) ln ,
α 1−α

car Eθ X̄n = θ .

Proposition 4.3.1. Supposons que le modèle statistique (H n , {Pθ }θ ∈Θ ) est

identifiable, d’information de Kullback-Leibler κn . Alors, pour chaque α, θ ∈
Θ , κn (α, θ ) ≥ 0 et de plus

κn (α, θ ) = 0 ⇔ α = θ .

La valeur informative de l’information de Kullback-Leibler apparaît dans

cette proposition, en permettant d’identifier le paramètre inconnu θ en tant
42 CHAPITRE 4. ESTIMATION PAR VRAISEMBLANCE

que seule solution de l’équation κn (., θ ) = 0.

Preuve. Il est clair que κn (θ , θ ) = 0. Soient donc α �= θ . La fonction t �→

− lnt définie sur R�+ étant convexe, l’inégalité de Jensen donne
�
Ln (.; α)
κn (α, θ ) = − ln dPθ
Hn Ln (.; θ )
�
Ln (.; α)
≥ − ln dPθ
H n Ln (.; θ )
�
= − ln Ln (.; α)dµ,
Hn
�
car dPθ = Ln (.; θ )dµ. Or, H n Ln (.; α)dµ = Pα (H n ) = 1 d’où κn (α, θ ) ≥ 0.
Supposons maintenant que κn (α, θ ) = 0. L’inégalité
� �
Ln (.; α) Ln (.; α)
− ln dPθ ≥ − ln dPθ ,
Hn Ln (.; θ ) H n Ln (.; θ )

obtenue plus haut est alors un cas d’égalité dans l’inégalité de Jensen. Comme
t �→ − lnt définie sur R�+ est strictement convexe, il existe C ∈ R+ tel que
Ln (.; α) = CLn (.; θ ) Pθ -p.s. Par suite, pour tout borélien A ⊂ H n :
� �
Ln (.; α)
Pα (A) = Ln (.; α)dµ = dPθ = CPθ (A).
A A Ln (.; θ )

On en déduit que C = 1 (prendre A = H n ) et donc que Pθ = Pα , ce qui

contredit l’identifiabilité du modèle. En conclusion, κn (α, θ ) = 0 seulement
si α = θ . �

4.4 Consistance
Seul le cas d’un échantillonnage indépendant est abordé dans cette section,
θ ∀θ ∈ Θ , chaque Qθ étant une probabilité sur (H , B(H )).
i.e. Pθ = Q⊗n

Dans la suite, L désigne la vraisemblance du modèle (H , {Qθ }θ ∈Θ ) do-

miné par la mesure ν. La vraisemblance Ln du modèle (H n , {Pθ }θ ∈Θ ) do-
miné par µ = ν ⊗n s’écrit donc, d’après la proposition 4.1.2 :
n
Ln (x1 , · · · , xn ; θ ) = ∏ L(xi ; θ ),
i=1
4.4. CONSISTANCE 43

pour (x1 , · · · , xn ) ∈ H n et θ ∈ Θ .
Théorème 4.4.1. Supposons que le modèle statistique (H , {Qθ }θ ∈Θ ) est
identifiable avec Θ borné, et que pour chaque x ∈ H , la fonction ln L(x; .)
est prolongeable à l’adhérence Θ̄ de Θ . Si l’EMV du modèle (H n , {Pθ }θ ∈Θ )
existe, il est consistant sous les conditions supplémentaires suivantes :
(i) ∀x ∈ H , ln L(x; .) est continue sur Θ̄ ;
(ii) ∀θ ∈ Θ , il existe un voisinage V de θ et H ∈ L1 (Qθ ) tels que

sup | ln L(.; α)| ≤ H.

α∈V

Remarque. Lorsque le paramètre d’intérêt du modèle (H n , {Pθ }θ ∈Θ ) est

g(θ ) avec g : Θ → R p une fonction continue connue, l’EMV g(θ̂ ) de g(θ )
est consistant sous les conditions du théorème 4.4.1.

Dans la construction de la démarche statistique, l’intérêt de ce théorème

est de montrer que l’idée de maximisation de la vraisemblance est pertinente.
Cependant, ses hypothèses sont très techniques et non optimales. En pratique,
pour montrer que l’EMV est consistant, il ne faut donc pas exclure une preuve
adaptée au modèle statistique et n’utilisant pas ce théorème ; c’est le cas dans
l’exemple ci-dessous.

Exemple. Considérons le modèle statistique (Rn+ , {E(θ )⊗n }θ >0 ). Pour θ > 0
et (X1 , · · · , Xn ) ∼ E(θ )⊗n , la vraisemblance Ln du modèle pour la mesure de
Lebesgue vaut �
Ln (X1 , · · · , Xn ; θ ) = θ n exp − nθ X̄n ).
Un calcul standard d’optimisation montre que l’EMV est θ̂ = 1/X̄n . Comme
la moyenne d’une loi E(θ ) est 1/θ , cet estimateur est consistant d’après la loi
des grands nombres.

Preuve du théorème 4.4.1. Supposons pour simplifier que Θ est compact et

notons θ̂ l’EMV du modèle (H n , {Pθ }θ ∈Θ ). Si (X1 , · · · , Xn ) ∼ Pθ avec θ ∈ Θ
fixé, on définit pour chaque α ∈ Θ :
1 1 n
Un (α) = − ln Ln (X1 , · · · , Xn ; α) = − ∑ ln L(Xi ; α)
n n i=1
U(α) = −Eθ ln L(.; α).
44 CHAPITRE 4. ESTIMATION PAR VRAISEMBLANCE

Alors, Un (θ̂ ) = infΘ Un et Un converge ponctuellement vers U en probabilité

d’après la loi des grands nombres. Admettons dans un premier temps que cette
convergence est en fait uniforme, i.e.
θ P
sup |Un −U| −→ 0.
Θ

Puisque | infΘ Un − infΘ U| ≤ supΘ |Un −U| :

θ P
Un (θ̂ ) = inf Un −→ inf U.
Θ Θ

Sous les hypothèses (i) et (ii), le théorème de convergence dominé montre que
U est continue. Comme Θ est compact, il existe t ∈ Θ tel que U(t) = infΘ U.
Or, t = θ . En effet,
θP
Un (θ̂ ) −Un (θ ) −→ U(t) −U(θ ) = κ(t, θ ),

κ désignant l’information de Kullback-Leibler du modèle (H , {Qθ }θ ∈Θ ). De

plus,
Un (θ̂ ) −Un (θ ) = inf Un −Un (θ ) ≤ 0.
Θ
Par suite, κ(t, θ ) ≤ 0 d’où t = θ d’après la proposition 4.3.1. On déduit alors
de la convergence uniforme de Un vers U en probabilité que
θ P
κ(θ̂ , θ ) = U(θ̂ ) −U(θ ) −→ 0.

Fixons ε > 0. La fonction continue α �→ κ(α, θ ) ne s’annulle qu’en θ , donc

il existe γ > 0 tel que si α ∈ Θ vérifie �α − θ � ≥ ε, alors κ(α, θ ) ≥ γ. Il
s’ensuit que
� � � �
lim sup Pθ �θ̂ − θ � ≥ ε ≤ lim sup Pθ κ(θ̂ , θ ) ≥ γ = 0,
n→∞ n→∞

i.e. θ̂ tend vers θ en probabilité.

Il reste à montrer que Un converge uniformément vers U en probabilité.

Pour tout η > 0 suffisamment petit, soit h(., η) la fonction définie pour chaque
x ∈ H par
h(x, η) = sup | ln L(x; α) − ln L(x; β )|.
�α−β �≤η
4.4. CONSISTANCE 45

Fixons ε > 0. Comme h(., η) ≤ 2H avec H ∈ L1 (Qθ ) par (ii) et h(x, η) → 0

si η → 0 pour tout x ∈ H par (i), on a Eθ h(., η) < ε/3 d’après le théorème
de convergence dominée, pour une valeur de η que nous fixons dorénavant.
Recouvrons le compact Θ par N boules fermées de Θ de rayon η, notées
�
B(θ j , η) pour j = 1, · · · , N, i.e. Θ = Nj=1 B(θ j , η). On remarque que

sup |Un −U| = max sup |Un −U|

Θ j=1,··· ,N B(θ ,η)
j

≤ max sup |Un −Un (θ j )| + max |Un (θ j ) −U(θ j )|

j=1,··· ,N B(θ ,η) j=1,··· ,N
j

+ max sup |U(θ j ) −U|

j=1,··· ,N B(θ ,η)
j
n
1
≤ ∑ h(Xi, η) + j=1,···
n i=1
max |Un (θ j ) −U(θ j )| + Eθ h(., η).
,N

D’où, puisque Eθ h(., η) < ε/3 :

� �
Pθ sup |Un −U| ≥ ε
Θ
�1 n
2ε �
≤ Pθ ∑ h(Xi, η) + max |Un(θ j ) −U(θ j )| ≥
n i=1 j=1,··· ,N 3
�1 n
ε� � ε�
≤ Pθ ∑ h(Xi, η) ≥
n i=1 3
+ Pθ max |Un (θ j ) −U(θ j )| ≥
j=1,··· ,N 3
.

Or, d’après la loi des grands nombres, on a à la fois :

P 1 n Pθ
θ
max |Un (θ j ) −U(θ j )| −→
j=1,··· ,N
0 et ∑
n i=1
h(Xi , η) −→ Eθ h(., η).

Comme Eθ h(., η) < ε/3, ceci entraîne que

� �
lim Pθ sup |Un −U| ≥ ε = 0,
n→∞ Θ

i.e. Un converge uniformément vers U en probabilité. �

46 CHAPITRE 4. ESTIMATION PAR VRAISEMBLANCE

4.5 Information de Fisher

Dans la suite, ∇F(θ ) désigne le gradient de F : Θ → R évalué en θ ∈ Θ . Par
convention, le gradient d’une fonction n’est calculé en θ que si la fonction est
de classe C 1 sur un voisinage de θ . Par ailleurs, Vθ (resp. covθ ) désigne la
matrice de variance (resp. la covariance) sous la loi Pθ .

Pour motiver le concept d’information de Fisher, supposons pour simpli-

fier que Θ est un ouvert de R et considérons la fonction K : α �→ κn (α, θ )
définie sur Θ , avec θ ∈ Θ fixé. Nous allons comparer la dérivée seconde de
K en θ à
� � � ∇L (.; θ ) �2 � ∇L (.; θ ) �2
n n
Vθ ∇ ln Ln (.; θ ) = Eθ − Eθ .
Ln (.; θ ) Ln (.; θ )
Sous les conditions idoines, on trouve :
� �
∇Ln (.; θ )
Eθ = ∇Ln (.; θ )dµ = ∇ Ln (.; θ )dµ,
Ln (.; θ ) Hn Hn
�
car dPθ = Ln (.; θ )dµ. Comme H n Ln (.; θ )dµ = Pθ (H n ) = 1, on obtient
∇Ln (.; θ )
Eθ = 0,
Ln (.; θ )
d’où, au passage, K � (θ ) = 0, et aussi
� � � ∇L (.; θ ) �2
n
Vθ ∇ ln Ln (.; θ ) = Eθ .
Ln (.; θ )
Le même type de calcul mène à la relation :
� ∇L (.; θ ) �2
�� n
K (θ ) = Eθ .
Ln (.; θ )
La courbure en θ de la fonction α �→ K(α) = κn (α, θ ) est donc, sous les
conditions idoines : � �
K �� (θ ) = Vθ ∇ ln Ln (.; θ ) .
Puisque K � (θ ) = 0 et κn (θ , θ ) = 0, la formule de Taylor-Young montre fina-
lement que
1 � �� � �
κn (α, θ ) = Vθ ∇ ln Ln (.; θ ) α − θ )2 + o (α − θ )2 .
2
4.5. INFORMATION DE FISHER 47

L’intérêt de la fonction θ �→ Vθ (∇ ln Ln (.; θ )) définie sur Θ apparaît ici : elle

complète l’information de Kullback-Leibler en précisant sa courbure au voisi-
nage du paramètre du modèle. Cette observation est à l’origine de la définition
ci-dessous.

Définition. Supposons que Θ est ouvert et que ∇ ln Ln (.; θ ) ∈ L2 (Pθ ) pour

chaque θ ∈ Θ . L’information de Fisher est la fonction In définie sur Θ , telle
que pour chaque θ ∈ Θ :
� �
In (θ ) = Vθ ∇ ln Ln (.; θ )
� � ��
∂ ∂
= covθ ln Ln (.; θ ), ln Ln (.; θ ) .
∂ θi ∂θj i, j=1,··· ,d

Dans la suite, l’information de Fisher n’est évoquée que lorsque les condi-
tions ci-dessus sont implicitement satisfaites.

L’information de Fisher est une fonction à valeurs dans l’ensemble des

matrices positives. En tant que mesure de la courbure de l’information de
Kullback-Leibler, elle précise le pouvoir de discrimination du modèle entre
deux valeurs proches du paramètre du modèle : si d = 1, une grande valeur
pour In (θ ) traduit une variation importante de la nature des probabilités du
modèle au voisinage de Pθ , d’où une discrimination de la vraie valeur du pa-
ramètre inconnu facilitée. A l’inverse, si In (θ ) est petit, la loi est très piquée et
on est amené à rechercher le maximum de la vraisemblance dans une région
très vaste.

Exemple. Afin d’illustrer ces commentaires, reprenons le modèle statistique

({0, 1}n , {B(θ )⊗n }θ ∈]0,1[ ) du jeu de pile ou face de la section 1.1, pour lequel
la vraisemblance Ln vaut, si θ ∈]0, 1[ et (x1 , · · · , xn ) ∈ {0, 1}n :

Ln (x1 , · · · , xn ; θ ) = θ nx̄n (1 − θ )n(1−x̄n ) .

On a calculé dans la section 2.3 la variance de ∇ ln Ln (.; θ ), donc l’information

In du modèle :
� � n
In (θ ) = Vθ ∇ ln Ln (.; θ ) = .
θ (1 − θ )
48 CHAPITRE 4. ESTIMATION PAR VRAISEMBLANCE

Dans ce modèle, l’incertitude est faible pour θ proche de 0 et 1 alors qu’elle

est d’autant plus grande que θ est proche de 1/2, ce qui se traduit par une in-
formation In (θ ) maximale pour θ proche de 0 et 1, et minimale pour θ = 1/2.

Dans une situation d’échantillonnage indépendant, l’information de Fisher

est proportionnelle à la taille de l’échantillon.

Proposition 4.5.1. Soit I l’information de Fisher du modèle (H , {Qθ }θ ∈Θ )

dominé par la mesure ν. Si, pour chaque θ ∈ Θ , Pθ = Q⊗n
θ , l’information de
n
Fisher In du modèle (H , {Pθ }θ ∈Θ ) pour la mesure dominante µ = ν ⊗n vaut

In (θ ) = nI(θ ) ∀θ ∈ Θ .

Preuve. Soient θ ∈ Θ et (X1 , · · · , Xn ) ∼ Pθ . Si L désigne la vraisemblance du

modèle (H , {Qθ }θ ∈Θ ), la vraisemblance Ln du modèle (H n , {Pθ }θ ∈Θ ) est,
d’après la proposition 4.1.2 :
n
Ln (X1 , · · · , Xn ; θ ) = ∏ L(Xi ; θ ).
i=1

Par suite,
n
∇ ln Ln (X1 , · · · , Xn ; θ ) = ∑ ∇ ln L(Xi ; θ ).
i=1

On en déduit la relation
� � n � �
In (θ ) = Vθ ∇ ln Ln (.; θ ) = ∑ Vθ ∇ ln L(Xi ; θ )
� � i=1
= nVθ ∇ ln L(X1 ; θ ) ,

car les variables aléatoires X1 , · · · , Xn sont indépendantes et de même loi.

Comme I(θ ) = Vθ (∇ ln L(X1 ; θ )), la proposition est démontrée. �

Du point de vue des calculs, on se réfèrera souvent à la proposition qui suit,

dont l’objectif principal est de donner une forme simplifiée pour l’information
de Fisher. Dans la suite, ∇2 F(θ ) désigne la matrice Hessienne de F : Θ → R
évaluée en θ ∈ Θ . Par convention, l’utilisation de la notation ∇2 F(θ ) signifie
implicitement que F est de classe C 2 sur un voisinage de θ .
4.5. INFORMATION DE FISHER 49

Proposition 4.5.2. Soit In l’information de Fisher du modèle (H n , {Pθ }θ ∈Θ ).

Supposons que pour chaque θ ∈ Θ , il existe un voisinage V ⊂ Θ de θ tel que
supα∈V �∇Ln (.; α)� ∈ L1 (µ). Alors :
(i) Eθ ∇ ln Ln (.; θ ) = 0.
(ii) si, en outre, supα∈V �∇2 Ln (.; α)� ∈ L1 (µ),

In (θ ) = −Eθ ∇2 ln Ln (.; θ ).

Les conditions de cette proposition ne sont pas aussi restrictives qu’elle

peuvent le sembler, car elle sont satisfaites par bon nombre de modèles statis-
tiques.

Preuve. Sous la condition supα∈V �∇Ln (.; α)� ∈ L1 (µ), on a d’après le théo-
rème de dérivation sous l’intégrale :
� �
∇Ln (.; θ )dµ = ∇ Ln (.; θ )dµ,
Hn Hn

d’où, puisque dPθ = Ln (.; θ )dµ et Pθ (H n ) = 1 :

� � �
∇Ln (.; θ )dµ = ∇Pθ H n = 0.
Hn

Or, comme dPθ = Ln (.; θ )dµ et ∇ ln Ln (.; θ ) = ∇Ln (.; θ )/Ln (.; θ ),
�
Eθ ∇ ln Ln (.; θ ) = ∇ ln Ln (.; θ ) Ln (.; θ )dµ
n
�H
= ∇Ln (.; θ )dµ,
Hn

d’où (i). Montrons maintenant (ii). Si F : Θ → R est de classe C 2 , notons

pour tout i, j = 1, · · · , d et θ ∈ Θ :

∂F ∂ 2F
∇i F(θ ) = (θ ) et ∇2i j F(θ ) = (θ ).
∂ θi ∂ θi ∂ θ j

Le théorème de dérivation sous l’intégrale montre que

� �
∇2i j Ln (.; θ )dµ = ∇2i j Ln (.; θ )dµ
Hn Hn
50 CHAPITRE 4. ESTIMATION PAR VRAISEMBLANCE

sous l’hypothèse supα∈V �∇2 Ln (.; α)� ∈ L1 (µ), et donc

�
∇2i j Ln (.; θ )dµ = ∇i j Pθ (H n ) = 0.
Hn

Par ailleurs, on vérifie que pour tout x ∈ H n :

∇2i j Ln (x; θ ) ∇i Ln (x; θ ) ∇ j Ln (x; θ )
∇2i j ln Ln (x; θ ) = − .
Ln (x; θ ) Ln2 (x; θ )
De ce fait,
�
Eθ ∇2i j ln Ln (.; θ ) = ∇2i j ln Ln (.; θ ) Ln (.; θ )dµ
H n
�
∇i Ln (.; θ )∇ j Ln (.; θ )
= − dµ
Hn Ln (.; θ )
= −Eθ ∇i ln Ln (.; θ ) ∇ j ln Ln (.; θ ),
car ∇ ln Ln (.; θ ) = ∇Ln (.; θ )/Ln (.; θ ). Or, par définition de l’information de
Fisher :
� �
In (θ )i j = covθ ∇i ln Ln (.; θ ), ∇ j ln Ln (.; θ )
= Eθ ∇i ln Ln (.; θ )∇ j ln Ln (.; θ ),
puisque Eθ ∇ ln Ln (.; θ ) = 0, d’où (ii). �

Cette proposition légitime la définition qui suit, en donnant des conditions

suffisantes au concept de régularité d’un modèle statistique.

Définition. Le modèle statistique (H n , {Pθ }θ ∈Θ ) est dit régulier si les pro-

priétés suivantes sont vérifiées en chaque θ ∈ Θ :
(i) son information de Fisher In en θ existe et est inversible ;
(ii) Eθ ∇ ln Ln (.; θ ) = 0 et In (θ ) = −Eθ ∇2 ln Ln (.; θ ).

Exemple. Le modèle statistique ({0, 1}n , {B(θ )⊗n }θ ∈]0,1[ ) du jeu de pile ou
face de la section 1.1 constitue un exemple de modèle régulier : d’une part, on
a déja constaté dans la section 4.5 que son information de Fisher est inversible
pour chaque θ ∈]0, 1[ ; d’autre part, sa vraisemblance (calculée dans la section
4.1), qui vérifie les hypothèses de la proposition 4.5.2, répond donc au second
jeu de conditions imposé dans la définition ci-dessus.
4.6. NORMALITÉ ASYMPTOTIQUE 51

4.6 Normalité asymptotique

Seul le cas d’un échantillonnage indépendant est abordé dans cette section,
θ ∀θ ∈ Θ , chaque Qθ étant une probabilité sur (H , B(H )).
i.e. Pθ = Q⊗n

Dans la suite, L et I désignent la vraisemblance et l’information de Fisher

du modèle statistique (H , {Qθ }θ ∈Θ ) pour la mesure dominante ν. La vrai-
semblance Ln et l’information de Fisher In du modèle (H n , {Pθ }θ ∈Θ ) dominé
par µ = ν ⊗n s’écrivent donc, d’après les propositions 4.1.2 et 4.5.1 :
n
Ln (x1 , · · · , xn ; θ ) = ∏ L(xi ; θ ) et In (θ ) = nI(θ ),
i=1

pour tous θ ∈ Θ et (x1 , · · · , xn ) ∈ H n .

Théorème 4.6.1. Supposons que (H , {Qθ }θ ∈Θ ) est un modèle régulier et

que, pour chaque θ ∈ Θ , il existe un voisinage V ⊂ Θ de θ pour lequel
supα∈V �∇2 ln L(.; α)� ∈ L1 (Pθ ). Si l’EMV θ̂ du modèle (H n , {Pθ }θ ∈Θ ) est
consistant, alors :
√ � � L/Pθ � �
n θ̂ − θ −→ Nd 0, I(θ )−1 ∀θ ∈ Θ .

Remarque. Lorsque le paramètre d’intérêt est g(θ ) avec g : Θ → Rk une

fonction connue de classe C 1 , l’EMV g(θ̂ ) de g(θ ) est, sous
√ les conditions
de ce théorème, asymptotiquement normal et de vitesse n, d’après la δ -
méthode (Théorème 2.5.1).

L’intérêt de ce théorème est qu’il dégage un comportement d’invariance

de l’EMV en montrant que, sous des conditions idoines, sa loi limite est nor-
male. Cependant, les hypothèses de ce théorème ne sont pas optimales ; de
ce fait, pour obtenir la loi limite de l’EMV dans un modèle donné, il ne faut
pas exclure une preuve directe n’utilisant pas ce résultat. Cette observation
est renforcée par le fait que la normalité asymptotique de l’EMV concerne
spécialement les modèles statistiques suffisamment réguliers, comme l’atteste
l’exemple qui suit.

Exemple. Considérons le modèle statistique (Rn+ , {U ([0, θ ])⊗n }θ >0 ). Pour

θ > 0 et (X1 , · · · , Xn ) ∼ Pθ = U ([0, θ ])⊗n , sa vraisemblance Ln relativement à
52 CHAPITRE 4. ESTIMATION PAR VRAISEMBLANCE

la mesure de Lebesgue s’écrit pour tout θ > 0 :

� −n
θ si 0 ≤ X1 , · · · , Xn ≤ θ ;
Ln (X1 , · · · , Xn ; θ ) =
0 sinon.

L’EMV est donc θ̂ = max1≤i≤n Xi . Pour chaque t ∈]0, nθ [ :

� � � t�
Pθ n(θ − θ̂ ) ≤ t = 1 − Pθ max Xi < θ −
i=1,··· ,n n
� t � n
= 1− 1− .
nθ
La limite de cette expression est 1 − exp(−t/θ ) dès que t > 0, donc
� � L/Pθ
n θ − θ̂ −→ E(1/θ ).

Ainsi, dans cet exemple de modèle non régulier, ni la vitesse de l’EMV, ni la

loi limite, ne correspondent à celles du théorème précédent.

Preuve du théorème 4.6.1. Soient θ ∈ Θ , (X1 , · · · , Xn ) ∼ Pθ et

n
Un (α) = ln Ln (X1 , · · · , Xn ; α) = ∑ ln L(Xi ; α) ∀α ∈ Θ .
i=1

D’après le théorème de dérivation sous l’intégrale, Un est de classe C 2 Pθ -p.s.

Comme ∇Un (θ̂ ) = 0 car θ̂ maximise Un , un développement de Taylor avec
reste intégral nous donne
�� 1 � � �
0 = ∇Un (θ ) + ∇2Un θ + t(θ̂ − θ ) dt (θ̂ − θ ).
0

En conséquence,
�
√ 1 1 1 2 � �
n Ūn (θ̂ − θ ) = − √ ∇Un (θ ), si Ūn = ∇ Un θ + t(θ̂ − θ ) dt.
n n 0
� �
Or, d’une part Vθ ∇ ln L(.; θ ) = I(θ ), et d’autre part Eθ ∇ ln L(.; θ ) = 0 par
régularité du modèle. Donc, d’après le théorème central limite :
1 1 n U/P � �
√ ∇Un (θ ) = √ ∑ ∇ ln L(Xi ; θ ) −→θ Nd 0, I(θ ) .
n n i=1
4.6. NORMALITÉ ASYMPTOTIQUE 53

θ P
Admettant dans un premier temps que Ūn −→ −I(θ ), le lemme de Slutsky
donne le résultat annoncé, i.e.
√ U/Pθ � � � �
n(θ̂ − θ ) −→ I(θ )−1 Nd 0, I(θ ) = Nd 0, I(θ )−1 .

Il reste à montrer que Ūn converge en probabilité vers −I(θ ). Soit, pour
chaque x ∈ H n et r > 0 :

σ (x, r) = sup �∇2 ln L(x; α) − ∇2 ln L(x; θ )�.

�α−θ �≤r

Par hypothèse, ln L(x; .) ∈ C 2 pour chaque x ∈ H n et σ (., r) ∈ L1 (Pθ ) pour

r > 0 suffisamment petit. D’après le théorème de convergence dominée, étant
donné ε > 0, il existe donc r > 0 tel que Eθ σ (., r) < ε/2. En remarquant que
� 1
1 n � �
Ūn = ∑ ∇2 ln L Xi ; θ + t(θ̂ − θ ) dt,
n i=1 0

il vient :
� �
Pθ |Ūn + I(θ )| ≥ ε
�� 1 n � 1 � � � � �� ε �
�
≤ Pθ � ∑ 2 2
∇ ln L Xi ; θ + t(θ̂ − θ ) − ∇ ln L(Xi ; θ ) dt � ≥
n i=1 0 2
�� 1 n � ε�
� �
+Pθ � ∑ ∇2 ln L(Xi ; θ ) + I(θ )� ≥
n i=1 2
�1 n ε � � �
≤ Pθ ∑
n i=1
σ (Xi , r) ≥
2
+ Pθ |θ̂ − θ | ≥ r
�� 1 n � ε�
� �
+Pθ � ∑ ∇ ln L(Xi ; θ ) + I(θ )� ≥
2
.
n i=1 2

La dernière inégalité a été obtenue en introduisant l’événement {|θ̂ − θ | < r}.

Comme Eθ σ (., r) < ε/2, Eθ ∇2 ln L(.; θ ) = −I(θ ) par régularité du modèle
et θ̂ est consistant, on déduit de la loi des grands nombres que
P
θ
Ūn −→ −I(θ ),

ce qui achève la preuve du théorème. �

54 CHAPITRE 4. ESTIMATION PAR VRAISEMBLANCE