Soit un jeu d’observations de N échantillons indépendants {xn }n=1...

N d’une variable
aléatoire X suivant une loi G(k, θ). On souhaite estimer le paramètre de forme k et le pa-
TP 3 - Estimation de paramètres ramètre d’échelle θ à partir de ces observations
Pour simplifier la compréhension des méthodes d’estimation, nous travaillerons à partir de
données simulées. Les variables aléatoires indépendantes seront générées à l’aide de la fonction
gamm rnd (voir annexe) pour des paramètres théoriques θth = 1, kth = 2.
Il est indispensable d’avoir préparé le TP avant la séance.
II.2 Méthode des moments
Les listings de tous les programmes doivent être joints au rapport.
On peut montrer que la moyenne et la variance d’une variable aléatoire suivant une loi
Tous les résultats et courbes doivent être commentés. Gamma s’expriment en fonction des paramètres θ et k : E{X} = kθ et E{(X − E{X})2 } =
kθ2 . En estimant la moyenne et la variance des échantillons à partir de la réalisation dont on
I Présentation du TP dispose, il est aisé de définir un estimateur empirique pour θ et k.
1. Proposez un estimateur empirique (θ̂MM , k̂MM ) à partir des estimateurs empiriques de
L’objectif de ce TP est la mise en pratique des outils d’estimation présentés en cours et
la moyenne et de la variance des échantillons.
TD. En cours et en TD, nous avons étudié des notions théoriques telles que les probabilités,
les lois de probabilité, l’estimation . . . En pratique, on dispose le plus souvent uniquement 2. Pour un jeu d’observation de N = 100 échantillons de la variable aléatoire X, estimer
d’un jeu d’observation correspondant à un nombre fini d’échantillons et de réalisations des par cette méthode les paramètres θ et k. Obtenez vous une valeur proche des valeurs
variables aléatoires étudiées. On doit alors manipuler des quantités estimées à partir de ces théoriques ? Vous pourrez essayer sur plusieurs réalisations des observations.
échantillons.
Dans ce TP, on étudie l’estimation des paramètres θ et k de la loi Gamma. Ce type de II.3 Maximum de vraisemblance
loi apparaı̂t naturellement lorsque l’on s’intéresse au temps d’attente entre deux événements 1. Écrire la vraisemblance L(θ, k) = f({xn }n=1...N ; θ, k) et la log-vraisemblance LL(θ, k) =
suivant une loi de Poisson ; par exemple, le temps d’attente entre l’arrivée de deux photons ln(L(θ, k)).
sur un détecteur.
L’estimateur du maximum de vraisemblance de θ et k noté (θ̂MV , k̂MV ) maximise cette
vraisemblance, ou de façon équivalente le logarithme de cette vraisemblance. On ne peut
II Estimation des paramètres d’une loi Gamma malheureusement pas calculer cet estimateur de façon analytique, aussi allons nous l’approcher
de façon numérique.
II.1 Présentation du problème
2. Calculer θ̂MV , fonction de k qui annule la dérivée de LL(θ).
Si une variable aléatoire X suit une loi Gamma de paramètre de forme k > 0 et de 3. En remplaçant θ par l’expression de θ̂MV dans la vraisemblance ou dans la log-vraisem-
paramètre d’échelle θ > 0, ce que l’on note x ∼ G(k, θ), alors sa densité de probabilité est blance, on obtient un critère à maximiser en fonction de k uniquement. Donner l’ex-
donnée par : pression de ce critère.
e−x/θ
∀x > 0, f(x; k, θ) = xk−1 k 4. On ne peut pas calculer de façon explicite le maximum de ce critère. Comme il ne
θ Γ(k)
dépend que d’un seul paramètre (positif), on va calculer sa valeur sur un grand nombre
où Γ est la fonction Gamma (voir annexe). La figure ci-jointe représente la densité de proba- de points et conserver ainsi le maximum calculé. Pour un jeu d’observation de N = 100
bilité de la loi Gamma pour différentes valeurs des paramètres k et θ. échantillons de la variable aléatoire X, calculer à l’aide de Matlab le critère sur une
0.5

0.45
k = 1, θ = 2 plage de 0 à 20 avec un pas suffisament faible pour obtenir une bonne précision sur
k = 2, θ = 2
0.4 k = 3, θ = 2 l’optimisation. Tracer ce critère et calculer la valeur de k̂MV maximisant ce critère
k = 5, θ = 1 (fonction max).
0.35

0.3
5. Calculer la valeur de θ̂MV en utilisant la valeur de k̂MV calculée précédement. Obte-
0.25
nez vous une valeur proche des valeurs théoriques ? Vous pourrez essayer sur plusieurs
0.2

0.15
réalisations des observations.
0.1

0.05 II.4 Caractérisation des estimateurs

0
0 5 10 15 20
Une façon théorique de caractériser des estimateurs est de calculer leur biais, leur variance
ou leur erreur quadratique moyenne. Malheureusement, ces calculs ne sont pas toujours pos-

UPS : Master EEA-SIA Introduction à l’exploit. stat. des données - 1 UPS : Master EEA-SIA Introduction à l’exploit. stat. des données - 2
sibles. Cependant, on peut en pratique estimer ces quantitées à partir d’un grand nombre de III Annexe
réalisations de jeux d’observations.
III.1 Fonction gamm rnd
1. Pour M = 200 réalisations d’un jeu d’observations de N = 100 échantillons, calculer les
paramètres (θ̂MM , k̂MM ) obtenus par la méthode des moments. function gb = gamm_rnd(nrow,ncol,m,k)
2. Calculer de façon empirique la moyenne, la variance et l’erreur quadratique moyenne
de ces paramètres estimés. PURPOSE: a matrix of random draws from the gamma distribution
---------------------------------------------------
3. Pour ces même M = 200 réalisations d’un jeu d’observations de N = 100 échantillons, USAGE: r = gamm_rnd(nrow,ncol,m,k)
calculer les paramètres (θ̂MV , k̂MV ) obtenus par le maximum de vraisemblance. where: nrow,ncol = the size of the matrix drawn
4. Calculer de façon empirique la moyenne, la variance et l’erreur quadratique moyenne m = a parameter such that the mean of the gamma = mk
de ces paramètres estimés. k = a parameter such that the variance of the gamma = m(k^2)
5. Quel estimateur vous paraı̂t donner les meilleurs résultats ? Cela vous semble-t-il cohérent ---------------------------------------------------
avec la théorie ? RETURNS:
r = an (nrow,ncol) matrix of random numbers from the
gamma distribution

III.2 Fonction gamma

GAMMA Gamma function.
Y = GAMMA(X) evaluates the gamma function for each element of X.
X must be real. The gamma function is defined as:

gamma(x) = integral from 0 to inf of t^(x-1) exp(-t) dt.

The gamma function interpolates the factorial function. For

integer n, gamma(n+1) = n! (n factorial) = prod(1:n).

UPS : Master EEA-SIA Introduction à l’exploit. stat. des données - 3 UPS : Master EEA-SIA Introduction à l’exploit. stat. des données - 4