Statistique Mathématique

Salim Lardjane

Université Bretagne Sud

 Partie II
Estimation Statistique - Généralités

1
Estimateur

On appelle estimateur d’une quantité θ toute

variable aléatoire dont les valeurs sont utili-
sées comme approximation de θ.

Ces dernières sont alors appelées estimations

de θ.

Un estimateur T d’une quantité θ est dit sans

biais si
E(T ) = θ.

2
Moyenne arithmétique

Soient X1, . . . , Xn des v.a.r. indépendantes et

identiquement distribuées (ont note i.i.d.).

La moyenne arithmétique ou, plus simple-

ment, la moyenne, des Xi est définie par :
n
1 X
X̄ = Xi .
n i=1

On dit également que c’est la moyenne arith-

métique de l’échantillon i.i.d. X1, . . . , Xn.

3
Variance empirique

La variance empirique ou, plus simplement,

la variance, de l’échantillon est définie par :
n
2 1 X
S = (Xi − X̄)2.
n i=1

4
La moyenne arithmétique comme esti-
mateur de l’espérance

Si les Xi sont d’espérance µ et de variance

théorique σ 2, alors :
n
1 X 1
E(X̄) = E(Xi) = · nµ = µ
n i=1 n

La moyenne arithmétique est donc un esti-

mateur sans biais de l’espérance µ.

5
La moyenne arithmétique comme esti-
mateur de l’espérance

D’autre part, on a :
n
1 X σ2
V (X̄) = 2 V (Xi) =
n i=1 n
Donc, V (X̄) → 0 lorsque n → ∞.

Ainsi, la moyenne arithmétique est un bon

estimateur de µ : pour n grand, la variance
de X̄ est petite et X̄ est concentrée autour
de son espérance, qui vaut µ.

6
La variance empirique comme estimateur
de la variance

La variance empirique, quant à elle, est un

estimateur biaisé de la variance σ 2.

En effet, on peut écrire :

E[(Xi − X̄)2] = E[(Xi − µ) − (X̄ − µ)]2

= V (Xi) + V (X̄)
−2E[(Xi − µ)(X̄ − µ)]
2 σ2
= σ +
n 
n
1 X
−2E (Xi − µ)
 (Xj − µ)
n j=1

2 σ2 2
= σ + − E[(Xi − µ)2]
nn
2 1 2
= σ (1 + − )
n n
n−1 2
= σ
n

7
La variance empirique comme estimateur
de la variance

Par conséquent :
n
1
E(S 2) = E[(Xi − X̄)2]
X
n i=1
n−1 1
= σ 6= σ 2
n

C’est pourquoi on définit parfois la variance

de l’échantillon comme :
n
n 2 1 X
S = (Xi − X̄)2
n−1 n − 1 i=1

Cet estimateur de la variance σ 2 est sans

biais :
n
 
E S 2 = σ 2.
n−1

8
La variance empirique comme estimateur
de la variance

Toutefois, biaisé ne signifie pas nécessaire-

ment mauvais.

Si on mesure la performance d’un estimateur

T d’une quantité θ à l’aide de l’erreur qua-
dratique moyenne :

EQM(T, θ) = E[(T − θ)2],

l’estimateur biaisé de la variance est meilleur
dans le cas gaussien (normal), comme on va
le voir dans la suite.

9
La variance empirique comme estimateur
de la variance : cas gaussien

A présent, supposons que les Xi, en plus

d’être i.i.d., sont normalement distribuées.

On dit dans ce cas qu’on a un échantillon

gaussien.

On peut obtenir dans ce cas la loi de S 2.

En effet, on a, pour un échantillon gaussien :

nS 2 2 (n − 1)
∼ χ
σ2

10
La variance empirique comme estimateur
de la variance : cas gaussien

Ceci peut être démontré via le résultat inter-

médiaire suivant.

Théorème : Pour un échantillon i.i.d. gaus-

sien, X̄ et S 2 sont indépendants.

Preuve. Celle-ci fait appel au résultat géné-

ral sur la loi de la transformée d’une variable
aléatoire (utilisation du Jacobien).

11
La variance empirique comme estimateur
de la variance : cas gaussien

Remarque. La variable aléatoire

X̄ − µ
T = √
S/ n − 1
est utile dans les situations où µ doit être
estimée mais où la variance théorique σ 2 est
inconnue.

D’après les résultats vus dans la première par-

tie du cours, on voit que T suit une loi de
Student à n − 1 degrés de liberté.

12
La variance empirique comme estimateur
de la variance : cas gaussien

Considérons à présent, dans le cas gaussien,

l’ensemble des estimateurs de la forme cS 2
où c ∈ R.

On peut écrire :

EQM(cS 2, σ 2) = E[(cS 2 − σ 2)2]

= E[(cS 2 − cE(S 2)
+cE(S 2) − σ 2)2]
= c2V (S 2) + (cE(S 2) − σ 2)2

13
La variance empirique comme estimateur
de la variance : cas gaussien

Comme
nS 2 2 (n − 1),
∼ χ
σ2
qui est de variance 2(n − 1), on a :
n2V (S 2)
= 2(n − 1)
σ4
d’où
2σ 4 (n − 1)
V (S 2) =
n2
et d’autre part :
nS 2 nE(S 2)
!
E = =n−1
σ2 σ2

14
La variance empirique comme estimateur
de la variance : cas gaussien

On en déduit :
2c2σ 4(n − 1)
EQM(cS 2, σ 2) =
n2
!2
c(n − 1)
+ − 2σ 2
n
σ4
= · K(c)
n2
où

K(c) = cc2(n−1)+c2(n−1)2 −2c(n−1)n+n2

Nous allons à présent chercher le minimum de

K(c), ce qui permettra de déterminer l’esti-
mateur de σ 2 de la forme cS 2 d’erreur qua-
dratique moyenne minimale.

15
La variance empirique comme estimateur
de la variance : cas gaussien

Ecrivons la condition au premier ordre :

dK(c)
= 4c(n − 1) + 2c(n − 1)2 − 2(n − 1)n
dc
= 0

En divisant par 2(n − 1), on obtient

2c + c(n − 1) − n = 0
d’où
n
c= .
n+1

De plus,
d2K(c) 2>0
= 4(n − 1) + 2(n − 1)
dc2

Il s’agit donc bien d’un minimum.

16
La variance empirique comme estimateur
de la variance : cas gaussien

Ainsi, le meilleur estimateur de σ 2 de la forme

cS 2 pour un échantillon i.i.d. gaussien est :
n
1 X
(Xi − X̄)2
n + 1 i=1

Si on utilise S 2, alors c = 1 et si on uti-

n S 2 , alors c =
lise l’estimateur sans biais n−1
n/(n − 1).

Comme on a :
n n
<1<
n+1 n−1
et qu’une fonction quadratique décroît tou-
jours quand on se déplace vers le mini-
mum, on voit que l’estimateur biaisé S 2 est
n S 2,
meilleur que l’estimateur non biaisé n−1
mais qu’aucun des deux n’est optimal pour
le critère de l’erreur quadratique moyenne.

17
La variance empirique comme estimateur
de la variance : cas gaussien

De façon explicite :
nS 2 2σ 4
!
EQM , σ2 =
n−1 n−1
et
2 2 (2n − 1)σ 4
EQM(S , σ ) =
n2
et on a toujours
nS 2
!
EQM(S 2, σ 2) < EQM , σ2
n−1
dès lors que n > 1 (le vérifier à titre d’exer-
cice).

18
La variance empirique comme estimateur
de la variance : cas gaussien

Lorsque n est grand, les trois estimateurs pré-

cédents sont tous bons et la différence entre
leurs performances sont négligeables.

19
Consistance d’un estimateur

Une suite d’estimateurs Tn d’une quantité θ

est dite consistante ou convergente en pro-
babilité si :

Tn →P θ (n → ∞)

Cela signifie que Tn est très probablement

proche de θ lorsque la taille d’échantillon n
est grande.

20
Moyenne arithmétique : consistance

A présent, soit X1, X2, . . . , Xn une suite de

variables aléatoires indépendantes identique-
ment distribuées, de mêmes espérance et va-
riance µ et σ 2.

Notons X̄n la moyenne arithmétique de

X1, . . . , Xn.

Alors, d’après la Loi Faible des Grands

Nombre, on a :

X̄n →P µ (n → ∞)

Ainsi, la moyenne arithmétique est un esti-

mateur consistant de l’espérance.

21
Variance empirique : consistance

Soit X1, X2, . . . , Xn, . . . une suite de v.a.r.

gaussiennes indépendantes et identique-
ment distribuées et soit Sn2 la variance em-
pirique de l’échantillon X1, . . . , Xn.

On va montrer que Sn2 est un estimateur

consistant de la variance théorique σ 2, c’est-
à-dire que :

Sn2 →P σ 2 (n → ∞)

22
Variance empirique : consistance

A cet effet, notons que, comme l’échantillon

est gaussien, on a :
nSn2 2 (n − 1)
∼ χ
σ2
d’où
nSn2
!
E =n−1
σ2
et
nSn2
!
V = 2(n − 1).
σ2

23
Variance empirique : consistance

On en déduit que :

2 (n − 1)σ 2
E(Sn ) = → σ2 (n → ∞)
n
et

2 2(n − 1)σ 4
V (Sn ) = 2
→0 (n → ∞),
n
d’où la convergence en probabilité de Sn2 vers
σ 2 d’après un résultat vu dans la première
partie du cours (p. 29).

24
Moyenne arithmétique : loi asymptotique

Soit X1, X2, . . . , Xn une suite de variables

aléatoires indépendantes identiquement dis-
tribuées, de mêmes espérance et variance µ
et σ 2.

Notons X̄n la moyenne arithmétique de

X1, . . . , Xn.

Alors, d’après le Théorème Central Limite (p.

30), on a :

√
n(X̄n − µ) →L N (0, σ 2) (n → ∞)

25
Estimation : cas général

On peut considérer dans le cas général qu’on

joue une partie contre la Nature.

Celle-ci choisit un état θ (usuellement un réel

ou un vecteur réel) et effectue une expérience
aléatoire.

On ne connaît pas θ mais on observe la valeur

d’une variable (ou d’un vecteur) aléatoire X,
appelée l’observation, dont la loi dépend de
θ.

Cette loi est généralement caractérisée par

sa densité fθ (x).

26
Estimation : cas général

Après avoir observé une réalisation x de X,

on estime θ par δ(x), où δ est une fonction
bien choisie.

La quantité obtenue δ(x) est appelée esti-

mation ponctuelle de θ car elle consiste en
un nombre (ou vecteur) unique qu’on espère
proche de θ.

La principale alternative à cette approche est

l’estimation par intervalle de confiance, qu’on
verra dans la suite.

27
Estimation : cas général

Notons que, pour qu’une estimation ponc-

tuelle δ(x) ait un sens, elle ne doit dépendre
que de x et pas du paramètre inconnu θ.

La variable aléatoire δ(X) est un estimateur

de θ.

Il existe plusieurs estimateurs possibles d’un

paramètre inconnu θ et il n’existe pas de règle
systématique pour en chosir un.

28
Estimation : cas général

On se base souvent sur des considérations

pratiques du type :

(a) Quel est le coût de la collecte des don-

nées ?
(b) La performance de l’estimateur est-elle
facile à quantifier ? Par exemple peut-on
calculer P(|δ(X) − θ| ≤ ε) à ε fixé ?
(c) Les avantages de l’estimateur sont-ils
adaptés au problème traité ?

29
Estimation : cas général

On va considérer dans la suite plusieurs mé-

thodes d’estimation :

1. Les estimateurs du maximum de vrai-

semblance : ces estimateurs ont de
très bonnes propriétés théoriques (consis-
tance, normalité asymptotique) et sont
usuellement faciles à calculer.
(ii) Les intervalles de confiance : ces esti-
mateurs ont une caractéristique pratique
très utile – on construit un intervalle à
partir des données et on connaît la pro-
babilité que notre intervalle (aléatoire)
contienne la valeur (inconnue) du para-
mètre θ.

30
Estimation : cas général

(iii) Les estimateurs Uniformément Sans Biais

de Variance Minimale (ang. UMVUE es-
timators) : des résultats théoriques per-
mettent d’en obtenir un grand nombre
mais, comme on l’a vu, un estimateur
biaisé peut parfois être meilleur.
(iv) Les estimateurs bayésiens : ces estima-
teurs sont appropriés lorsqu’il est raison-
nable de supposer que l’état de la na-
ture θ est une variable aléatoire de den-
sité connue.

31
Estimation : cas général

De façon générale, la Théorie Statistique

fournit des candidats et l’expérience pratique
permet d’en retenir un.

32