1 Correction TP2

1.1 Tache 1 : Est-il possible d’estimer les grandeurs statistiques à partir de

données?

Solution :
La moyenne est un estimateur
PN intuitif de l’espérance réelle µ, d’un processus aléatoire X.
1
Autrement dit : µ̂ = N × i=1 (Xi ) (on dit que µ̂ est un estimateur de µ).

De même la valeur intuitive de l’estimateur de variance est:

1 PN
σ̂ = N i=1 [Xi − µ̂]2
2

Etant donné qu’il ne s’agit que d’estimateurs, ils ne donneront jamais la valeur exacte des grandeurs
estimées. En revanche, ils ’en approcheront lorsque µ que lorsque N → ∞.

1.2 Tache 2: Comment se distribuent les estimateurs?

• Que fait ce code?

• Faites varier N et notez tout ce que vous pouvez remarquer. Et notamment faites attention à
la forme de la répartition obtenue lorsque N devient grand.

• Pour N=5. Calculez la moyenne de EspEst. Comparez-la avec la valeur théorique de

l’espérance.

• Pour N=5. Calculez la moyenne de VarEst. Comparez-la avec la valeur théorique de la variance.

• Que remarquez-vous?

1
Solution :
Résultats Matlab
Pour N=5 Pour N=50 Pour N=500
Espérance de la binomiale: Espérance de la binomiale: Espérance de la binomiale:
µ = np = 50 × 0.5 = 25 µ = np = 50 × 0.5 = 25 µ = np = 50 × 0.5 = 25
σ 2 = np(1 − p) = 12.5 σ 2 = np(1 − p) = 12.5 σ 2 = np(1 − p) = 12.5
Répartition de la moyenne pour Répartition de la moyenne pour Répartition de la moyenne pour
10000 réalisations : 10000 réalisations : 10000 réalisations :
N=5 N=50 N=500
0.1 0.1 0.1
0.09 0.09 0.09
0.08 0.08 0.08
0.07 0.07 0.07
0.06 0.06 0.06
0.05 0.05 0.05
0.04 0.04 0.04
0.03 0.03 0.03
0.02 0.02 0.02
0.01 0.01 0.01
0 0 0
20 22 24 26 28 30 20 22 24 26 28 30 20 22 24 26 28 30

Espérance théorique de µ̂ : Espérance théorique de µ̂ : Espérance théorique de µ̂ :

E(µ̂) = µ = 25 E(µ̂) = µ = 25 E(µ̂) = µ = 25
Variance théorique de µ̂: Variance théorique de µ̂: Variance théorique de µ̂:
V(µ̂) = σ 2 /N = 12.5/N = 2.5 V(µ̂) = σ 2 /N = 12.5/N = 0.25 V(µ̂) = σ 2 /N=12.5/N=0.025
Moyenne mesurée de µ̂ : 25.004 moyenne mesurée de µ̂ : 25.008 Moyenne mesurée de µ̂ : 25.008
Variance mesurée de µ̂ : 2.477 variance mesurée de µ̂ : 0.257 Variance mesurée de µ̂ : 0.0249

Pour N = 5 et pour la variance mean(V ) = 10 6= 12.5

Autrement dit, l’estimateur intuitif de la variance, ne converge pas vers la variance
réelle mais vers une valeur biaisée de la variance réelle.

Conclusion
Les estimateurs suivent également une loi de probabilité, qui ressemble à la distribution de la
planche de Galton lorsque N augmente. Ainsi, L’estimateur de la moyenne et de la variance, suivent
des lois de probabilité et donc disposent eux même d’une espérance et d’une variance.

On remarque qu’en moyenne l’estimateur intuitif de l’espérance tend vers la valeur réelle de
l’espérance. On dit que la moyenne est un estimateur non biaisé de l’espérance. Et que
sa variance se réduit lorsque N augmente. La forme également tend vers une forme très familière en
cloche lorsque N → ∞. Cependant, pour N = 5, on remarque que l’estimateur de la variance ne
tend pas vers la valeur réelle de la variance. On dit que l’estimateur intuitif de la variance
est un estimateur biaisé de la variance.
On peut retrouver ces par le calcul.

Calcul démonstratif
Caractéristiques statistiques de l’estimateur moyenne
Calculons son espérance théorique :
N N N N
1 X 1 X 1 X 1 X
E(µ̂) = E( (Xi )) = E( (Xi )) = ( E(Xi )) = ( µ) = µ
N N N N
i=1 i=1 i=1 i=1
L’espérance de l’estimateur moyenne est bien égal à la valeur réelle de l’espérance.

2
On peut également calculer la variance de l’estimateur moyenne:
N N N N
1 X 1 X 1 X 1 X 2 σ2
V(µ̂) = V( (Xi )) = V( (X i )) = ( V(X i )) = ( σ ) = La variance de
N N2 N2 N N
i=1 i=1 i=1 i=1
l’estimateur moyenne est toujours égal à σ 2 de X que divise N . Plus N augmente, plus la moyenne
est proche de l’espérance réelle, car sa variance tend vers 0.

Caractéristiques statistiques de l’estimateur intuitif de la variance

En ce qui concerne l’estimateur de la variance, il en va autrement(et la démonstration est plus
complexe, laP preuve en vidéo ici P:N[Link]
E[σ̂ 2 ] = E[ N1 Ni=1 (Xi − µ̂)2] = 1
N
2 1 PN
i=1 E[(Xi − µ̂) ] = N
2 2
i=1 (E[Xi ] + E[µ ] − 2E[Xi µ̂]).
Nous avons donc 3 termes à développer :

• E[Xi2 ] = V[Xi ] + E[Xi ]2 = σ 2 + µ2 (par la formule de la variance σ 2 = V[Xi ] = E[Xi2 ] − E[Xi ]2 )

σ2
• E[µ2 ] = V[µ] + E[µ]2 = N + µ2
1 PN 1 2 1 PN 1 2
• Enfin E[Xi µ̂] = E[Xi N j=1 (Xj )] = N E[Xi ] + N j=1,j6=i Xi Xj ] = N E[Xi ] +
2
N −1
N E[Xi ]E[Xj ] = N1 (σ 2 + µ2 ) + NN−1 µ2 = σN + µ2 (E[Xi Xj ] = E[Xi ]E[Xj ] car leur tirage
est indépendant)
σ2 2
E[σ̂ 2 ] = N1 N 2 2 2 1 2 2 N N +1−2 2
σ ) = NN−1 σ 2 6= σ 2 En résumé,
P
i=1 (σ + µ + N σ + µ − 2( N σ + µ )) = N ( N
nous avons :
Un estimateur non biaisé de la variance est donc : σ̂ 2 = N 1−1 N 2
P
i=1 [Xi − µ̂]
Il est important ici de retenir qu’estimateurs et valeurs théorique sont différentes : µ̂ 6= µ, σ̂ 2 6=
σ 2 . Un estimateur dit efficace, est un estimateur non-biaisé et dont la variance est
minimale.

1.3 C’est quoi cette courbe qui revient tout le temps?

Ces codes superposent une Gaussienne à l’histogramme de la binomiale et nous constatons que la
binomiale correspond bien à une gaussienne : N (np, np(1 − p)).

Enfin le code montre que l’estimateur moyenne µ̂, suit bien lui-même une distribution Normale
N (np, np(1 − p)/N ). De plus l’approximation des densités de probabilité continue semble bien
fonctionner.

Ce que vous devriez avoir retenu du TP2

Les probas
Tout processus aléatoire peut se résumer en une loi de probabilité calculée à partir d’une approche
théorique; Par exemple
 pour une planche de Galton:
n
P (X = k) = (p)k (1 − p)(n−k)
k
Lorsque n tend vers l’infini, nous avons constaté que cette loi de probabilité appelée binomiale,
tend vers une densité de probabilité (loi de probabilité continue) s’appellant densité de probabilité
Gaussienne, ou normale.
Toute loi de probabilité dispose de grandeurs statistiques dont les plus utilisées sont
l’espéranceX et la variance. Elles sont définies de la manière suivante pour des processus discrets:
µ = E[X] = p(X = xi )xi
i∈Ω

3
 X
σ 2 = V[X] = p(X = xi )(xi − E[X])2
i∈Ω

On peut d’ailleurs
Z +∞ également les définir pour des densités de probabilité continues :
µ = E[x] = p(x)xdx
Z−∞
+∞
σ 2 = V[x] = p(x)(x − µ)2 dx
−∞

La loi normale est même définie explicitement à partir de ces grandeurs :

−(x−µ)2
1
p(x) : N (µ, σ) → p(x) = √ e 2σ 2
(2π)σ

Nous avons calculé pour une loi binomiale à n étages et de probabilité p leur valeur théorique :
E[X] = np
V[X] = np((1 − p))

Les stats
Lorsque nous ne disposons que de réalisations de processus (par exemple nous avons le résultat
de N lancers de dés), il est possible d’approcher l’espérance et la variance par des estimateurs
N
1 X
: Un estimateur intuitif de l’espérance est la moyenne : µ̂ = xi . La moyenne, estimée de
N
i=1
l’espérance, suit elle même une densité de probabilité Normale µ̂ : N (µ, √σN ) On dit alors que la
moyenne est une estimée non-biaisée de l’espérance car µ̂ −−−−→ µ.
N →∞
N
1 X
Un estimateur non-biaisé de la variance est : σ̂ 2 = (xi − µ̂)2 .
N −1
i=1

En résumé concernant les stats

1 PN 1 PN 1 PN
X(N tirages, σp2 , µp ) → µ̂ = N i=1 xi σ̂ 2 = N i=1 (xi − µ̂)2 σ̂ 2 = N −1 i=1 (xi − µ̂)2
1 25 34 . . . 35 1 µ̂1 σ̂12 σ̂12
46 21 4 . . . 22 2 µ̂2 σ̂22 σ̂22
.. .. .. .. ..
. . . . .
12 25 44 ... 11 M µ̂M 2
σ̂M 2
σ̂M
↓ ↓ ↓
N −1 2
moyennes estimateurs µµ̂ −−−−→ µp µσ̂12 −−−−→ N σp µσ̂2 −−−−→ σp2
M →∞ M →∞ M →∞
non biaise biaise non biaise
σp2
variance estimateurs σµ̂2 −−−−→ N
M →∞
”f orme” estimateurs µ̂ −−−−→ N (µp , σp2 /N )
M →∞

Approximation des lois de densité continues

Enfin, on peut faire le lien entre densité de probabilité continue et probabilité discrète en divisant
l’espace continu de x en parties discrétisées : On peut diviser un intervalle x ∈ [ab] en M intervalles
Ii = [xi xi+1 ] de largeur (b − a)/M chacun. Lorsuqe M → ∞ (ils deviennent de plus en plus petit)
alors on peut approximer la probabilité P (xi ≤ X ≤ xi+1) ) en utilisant la densité de probabilité

4
continue p(x):

xi + xi+1 b − a
P (xi ≤ X ≤ xi+1) ) ≈ p( )
2 M