École Nationale
Supérieure
de l’Électronique
et de ses Applications
Statistiques inférentielles et
computationnelles
Responsable du cours : Bastien Faucard
[Link]@[Link]
E.N.S.E.A. 2026 – 2027, Semestre 8
Travaux Dirigés
Table des matières
1 Rappels de probabilités (à faire en autonomie) 2
2 Vecteurs aléatoires (TD 1 et 2) 3
3 Estimation ponctuelle et par intervalles (TD 3) 5
4 Densités, TCL et transformation (TD 4-Python) 7
4.1 Les quatre densités principales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
4.2 Le TCL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
4.3 Transformation affine de vecteur gaussien . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
4.4 Retour sur l’exercice 2.4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
5 Maximum de vraissemblance (TD 5) 9
6 Tests d’hypothèse (TD 6) 11
7 Tests de χ2 et Student (TD 7) 13
8 Optimisation et méthodes numériques (TD 8) 15
1
Rappels de probabilités (à faire en autonomie)
1
Exercice 1.1 – Centrer et réduire
Une compagnie aérienne vend n billets pour un vol Cergy-New York assuré par un avion pouvant
accueillir 150 personnes. On suppose n > 150. La probabilité qu’une personne confirme son billet est
p = 3/4. On appelle X la variable donnant le nombre de personnes (parmi les n) ayant confirmé leur
réservation pour ce vol.
Question 1. — Quelle est la loi exacte suivi par X ? Montrer que l’on peut approcher la loi de X par
une loi normale dont on précisera les paramètres.
Question 2. — On cherche le nombre n de billets que la compagnie peut vendre pour être sûres à
95% que tout le monde puisse entrer dans l’avion, c’est-à-dire P (X > 150) = 0.05. L’approximation de
la loi de X trouvée à la question précédente étant excellente, on supposera, dans les calculs, que X est
distribuée selon cette loi.
1. Montrer que
150 − np
p = 1.645
np(1 − p)
2. En déduire la valeur de n.
Exercice 1.2 – Loi uniforme
Soit θ > 0. On considère n variables aléatoires mutuellement indépendantes X1 , . . . , Xn suivant la
même loi uniforme U([0, θ]). On pose
θbn = max(X1 , . . . , Xn )
Question 1. — Rappeler l’expression de la densité de probabilité de la loi U([0, θ]).
Question 2. — Donner une expression de la fonction de répartition Fb
θn
de θbn .
Question 3. — En déduire la densité de probabilité fb
θn
de θbn .
Question 4. — Calculer E(θbn ) et V (θbn ).
2
Vecteurs aléatoires (TD 1 et 2)
2
Exercice 2.1 – Lois uniformes
Soit un vecteur aléatoire (X, Y, Z) sur le disque unité D2 = {(x, y, z) ∈ R3 , x2 +y 2 +z 2 ≤ 1}. L’objectif
de l’exercice est d’étudier la corrélation entre les coordonnées de ce vecteur.
Question 1. — On suppose que le vecteur (X, Y, Z) suit une loi uniforme sur le disque unité D2 . Quelle
est sa densité ?
Question 2. — Le sous-vecteur (X, Y ) suit-il une loi uniforme sur le disque unité ?
Question 3. — Calculer l’espérance et la matrice de covariance de (X, Y, Z).
On admettra que
1 p y
y 7→ y 1 − x2 − y 2 − (x2 − 1)arctan p
2 1 − x2 − y 2
p
est une primitive de y 7→ 1 − x2 − y 2 .
Question 4. — En déduire le coefficient de corrélation linéaire ρ(X,Y ) . Que peut-on dire de X et Y ?
Exercice 2.2 – Vecteurs gaussiens
Soit X = (X1 , . . . , Xn ) un vecteur gaussien d’espérance µ ∈ Rn et de covariance Γ ∈ Sym+
n (symé-
trique définie positive).
Question 1. — Rappeler l’expression de la densité fX de X.
Question 2. — Si A ∈ GLn (R) est une matrice inversible de taille n, montrer, en appliquant la formule
de transformation affine des vecteurs aléatoires, que Y = AX est un vecteur gaussien de moyenne Aµ et
de matrice de covariance AΓAT .
Exercice 2.3 – Exemple de vecteurs gaussiens
Soit Z = (Z1 , Z2 , Z3 ) un vecteur gaussien standard et soit Y = (Y1 , Y2 , Y3 ) défini par les relations
Y1 = Z1 + 2Z2 − Z3 + 1
Y2 = Z2 − 2Z3
Y3 = Z3 − 1
Question 1. — Écrire ces relations sous forme matricielle Y T = CZ T + b, où C ∈ M3 (R) et b ∈ R3 .
En déduire la matrice de covariance ΓY du vecteur Y .
1 −2 −3
Question 2. — On admet que C −1 = 0 1 2 . En déduire l’espression de Γ−1
Y puis la densité
0 0 1
fY .
3
Question 3. — Donner les densités fY1 et f(Y1 ,Y2 ) .
Exercice 2.4 – Génération de loi gaussiennes par la méthode de Box-Müller
Soit U ∼ U(]0, 1]) et V ∼ U([0, 1[) deux variables aléatoire indépendantes.
Question 1. — Montrer que R = −2 ln U ∼ E(1/2) et que θ = 2πV ∼ U([0, 2π[). Utiliser le théorème
de transformation de densité.
Question 2. — Montrer que le couple (X, Y ) défini par
√
X = −2 ln U cos(2πV )
√
Y = −2 ln U sin(2πV )
est un vecteur gaussien standard.
Question 3. — Application informatique : comment utiliser ce résultat pour construire un générateur
aléatoire gaussien à partir d’un générateur aléatoire de la loi uniforme sur [0, 1].
4
Estimation ponctuelle et par intervalles (TD 3)
3
Exercice 3.1 – Comparer deux estimateurs
On dispose d’un échantillon de deux variables aléatoires indépendantes X1 , X2 suivant la loi U([0, θ]).
On introduit les estimateurs suivants du paramètre inconnu θ :
θb1 = X1 + X2 et θb2 = max(X1 , X2 )
Question 1. — Déterminer l’espérance et la variance de θb1 .
Question 2. — Déterminer la densité de probabilité de θb2 . En déduire son espérance et sa variance.
Question 3. — Comparer les risques quadratiques moyens de θb1 et θb2 .
Question 4. — Dans cette question, on cherche à améliorer les deux estimateurs précédents.
1. Chercher λ ∈ R tel que le risque quadratique moyen de λθb1 soit minimal.
2. Chercher µ ∈ R tel que le risque quadratique moyen de µθb2 soit minimal.
Exercice 3.2 – π
On se donne un échantillon de vecteurs aléatoires Z1 , . . . , Zn à valeurs dans R2 et on note Zi = (Xi , Yi )
les coordonnées de Zi .
On suppose que les variables aléatoires X1 , . . . , Xn , Y1 , . . . , Yn sont indépendantes et suivent la loi uni-
forme sur [0, 1]. Enfin, on note
(
1 Xi2 + Yi2 ≤ 1
Ti =
0 Xi2 + Yi2 > 1
Question 1. — Donner la loi des variables aléatoires Ti .
Question 2. — On dispose d’une réalisation (z1 , . . . , zn ) du vecteur aléatoire (Z1 , . . . , Zn ) pour n =
10000. Parmi ces 10000 points, 7884 se trouvent dans le disque unité. En déduire un intervalle de confiance
de π à 5%.
Question 3. — Soit f : [0, 1] → [0, 1] une fonction continue. En vous inspirant des deux premières
R1
questions, proposer une méthode pour approcher l’intégrale 0 f (t)dt.
Exercice 3.3 – Intervalle de confiance dans une fabrication
On mesure la résistance de dipôles électriques fabriquées en série. On suppose que la distribution des
résistances suit une loi normale N (µ, σ 2 ). Sur un échantillon de 20 résistances, la moyenne et la variance
2
empirique (sans biais) donnent les estimations µ′ = 83 et (σ ′ ) = 4.
Question 1. — Déterminer des intervalles de confiance au risque de 5% et 2% pour µ et σ.
5
Question 2. — Déterminer le nombre n de mesures à effectuer pour obtenir un intervalle de confiance
de longueur 0.2 pour µ au seuil de risque de 2%. On suppose que pour ces n mesures, l’estimation de σ 2
est toujours de 4.
6
Densités, TCL et transformation (TD 4-Python)
4
4.1 Les quatre densités principales
Dans cette section le but est de représenter les densités des lois continues les plus utilisées :
1. la loi normale N (µ, σ 2 ) ;
2. la loi de χ2 χ2 (d) ;
3. la loi de Student T (d) ;
4. la loi de Fisher F(d1 , d2 ),
et de faire jouer les différents paramètres qui les définissent.
Question 1. — Utiliser les fonction [Link], [Link], [Link], [Link] de [Link] pour représenter
graphiquement les quatre densités respectives des lois sus-citées.
Question 2. — Faites varier les paramètres définissant chacune de ces quatre lois pour en comprendre
l’impact graphique.
4.2 Le TCL
L’énoncé du TCL est le suivant : si (Xn )n est une suite de variables aléatoires réelle identiques et
mutuellement indépendantes, d’espérance µ et de variance σ 2 , alors la moyenne empirique X converge
en loi vers une loi normale N (µ, σ 2 /n).
Question 1. — Appliquer ce théorème au cas où les Xi sont des lois de Bernoulli de paramètre p.
Question 2. — Générer un échantillon de 10000 valeurs de X, avec Xi ∼ B(1/2) où cette moyenne
empirique est calculée avec n = 5. Noter cette liste de 10000 valeurs Xbar5.
Question 3. — Reprendre la question précédente avec n ∈ {10, 30, 50, 100, 1000}. Les listes obtenues
seront Xbar10, Xbar30, Xbar50, Xbar100 et Xbar1000.
Question 4. — Superposer graphiquement les histogrammes des listes précédentes et de la loi normale
limite correspondante.
4.3 Transformation affine de vecteur gaussien
P 1 0
Soit (X, Y ) un vecteur gaussien de moyenne µ = (0, 0) et de matrice de covariance = .
0 1
10 5 2
Soit A = et b = . Notons
−10 10 −2
U X
=A· + b.
V Y
7
Question 1. — Appliquer le théorème de transformation de densité pour déterminer la densité du
vecteur (U, V ).
Question 2. — Générer un échantillon X,Y de N = 100000 valeurs de (X, Y ). Utiliser
[Link].multivariate_normal. Puis définir la matrice A et le vecteur b.
Question 3. — Définir une fonction affine_transformation(x,y,A,b) qui prend en entrée un vecteur
x
(x, y) de R2 , une matrice A et un vecteur b et retourne le vecteur A · + b.
y
Question 4. — En bouclant sur X,Y la fonction précédente, générer un échantillon de (U, V ).
Question 5. — Tracer l’histogramme (utiliser plt.hist2d) de l’échantillon U,V. Est-ce conforme à la
question 1.
Question 6. — Reprendre la question précédente en trois dimensions (utiliser mpl_toolkits.mplot3d
et en particulier Axes3D).
4.4 Retour sur l’exercice 2.4
Soit U ∼ U(]0, 1]) et V ∼ U([0, 1[) indépendantes. Alors la densité du couple (U, V ) est uniforme sur
le carré ]0, 1] × [0, 1[. Soit
√
X = −2 ln U cos(2πV )
√
Y = −2 ln U sin(2πV ).
Question 1. — Dans l’exercice 2.4 du polycopié de TD, nous avons montré que la densité de (X, Y ) est
un vecteur gaussien standard. Reprendre la démarche de la section précédente pour vérifier ce résultat
graphiquement.
8
Maximum de vraissemblance (TD 5)
5
Exercice 5.1 – Méthode du maximum de vraissemblance
On dispose d’un échantillon (X1 , . . . , Xn ) de variables aléatoires indépendantes. Appliquer la méthode
du maximum de vraissemblance dans les cas suivants :
1. Les Xi suivent la loi N (µ, σ 2 ). Trouver un estimateur de µ.
2. Les Xi suivent la loi N (µ, σ 2 ). Trouver un estimateur de σ 2 . On supposera que le paramètre µ est
inconnu.
3. Les Xi suivent la loi P(λ). Trouver un estimateur de λ.
4. Les Xi suivent la loi U([0, θ]). Trouver un estimateur de θ.
Dans quels cas les estimateurs obtenus sont-ils biaisés ?
Exercice 5.2 – Codes correcteurs d’erreurs
On transmets un mot x = x1 x2 . . . xn constitué de n bits (un élément de {0, 1}n ) à travers un canal
binaire symétrique de probabilité d’erreur 0 < p < 1/2. Le mot transmis appartient à un sous-ensemble
C de {0, 1}n appelé ensemble des mots de code. Le mot reçu est Y = Y1 Y2 . . . Yn , où Y1 , . . . , Yn sont des
variables aléatoires mutuellement indépendantes à valeurs dans {0, 1}.
xi émis Yi reçu
1−p
0 0
p
p
1 1−p 1
Figure 5.1 – Canal binaire symétrique (les traits pleins représentent les transmissions sans erreur, les
traits pointillés représentent les transmissions avec erreur).
Le but de cet exercice est de retrouver le mot initialement transmis x mais inconnu, à partir de la
réalisation y = y1 y2 . . . yn de Y .
Question 1. — Donner la loi de la variable aléatoire Yi en foncton du paramètre xi .
Question 2. — Écrire la fonction de vraissemblance du vecteur Y . Le résultat devra dépendre de y et
x.
Rappelons que la distance de Hamming entre deux mots x et y est le nombre de bits où ils diffèrent.
Question 3. — Montrer que les mot x′ = x′1 x′2 . . . x′n qui maximisent la vraissemblance sont les mots
de code dont la distance de Hamming avec y est minimale.
9
Exercice 5.3 – Estimation de l’amplitude d’une sinusoïde bruitée
On considère une sinusoïde bruitée, autrement dit une suite de variables aléatoires X0 , . . . , Xn−1 telle
que, pour tout k ∈ {0, . . . , n − 1}, il existe une variable aléatoire Bk (le bruit) avec la relation
Xk = a sin(2πkν) + Bk
Supposons que les Bk sont mutuellement indépendantes et identiquement distribuées selon la loi N (0, σ 2 ).
La fréquence ν étant connue, on cherche à estimer l’amplitude a.
Question 1. — En utilisant la méthode du maximum de vraissemblance, montrer que
Pn−1
k=0 Xk sin(2πkν)
an = P
b n−1 2
k=0 sin (2πkν)
est un estimateur de a. Cet estimateur est-il biaisé ?
an . En déduire un intervalle de confiance à 5% de a.
Question 2. — Calculer la variance de b
10
Tests d’hypothèse (TD 6)
6
Exercice 6.1 –
Lors de la fabrication de pièces, on suppose la proportion de pièces défectueuses parfaitement connue,
égale à p0 = 8%. On apporte une légère modification dans le processus de fabrication, et un échantillon
de 400 pièces a donné k ′ = 18 pièces défectueuses. Peut-on dire que cette modification a été bénéfique ?
Exercice 6.2 –
On rappelle les propriétés d’un canal binaire asymétrique avec probabilités d’erreurs conditionnelles
ϵ1 et ϵ2 (figure 6.1) : On suppose que lorsque notre émetteur envoie un bit 0 ou 1, il émet en réalité
xi émis Yi reçu
1 − ϵ1
0 0
ϵ2
ϵ1
1 1 − ϵ2 1
Figure 6.1 – Canal binaire asymétrique
une tension constante −U0 ou U0 . Un récepteur reçoit ce signal déterministe, sur lequel un bruit blanc
additif gaussien de variance σ 2 s’est greffé. Il prélève un échantillon de N valeurs X1 , . . . , XN de ce signal
bruité, et tente de deviner le bit émis, à l’aide d’un test d’hypothèse :
H0 : le bit émis est 0 contre H1 : le bit émis est 1
Question 1. — Exprimer les risques de première et de deuxième espèces, ainsi que la puissance d’un
tel test, en fonction de ϵ1 et ϵ2 .
Question 2. — On suppose que X1 , . . . , XN sont des variables aléatoires indépendantes. En utilisant
la méthode de Neyman-Pearson, décrire le test à effectuer en faisant intervenir la moyenne empirique X
de l’échantillon X1 , . . . , XN .
Question 3. — Application numérique : pour N = 10, U0 = 4 et σ 2 = 1, déterminer pour quelle valeur
seuil on a ϵ1 = 2.5%.
Question 4. — Pour quelle valeur seuil le canal binaire est-il symétrique (ϵ1 = ϵ2 ) ? Quelle relation
doivent vérifier U0 , σ et N pour que le risque soit ϵ1 = ϵ2 = 2.5%
11
Exercice 6.3 – Savoir distinguer deux signaux
Un appareil reçoit un signal aléatoire X0 , X1 , . . . , Xn−1 (autrement dit les Xi sont des variables
aléatoires). Ce signal se décompose en deux parties :
— un signal déterministe, parmi les possibilités suivantes : ou bien le signal s = s0 , s1 , . . . , sn−1 ou
bien t = t0 , t1 , . . . , tn−1 ,
— un bruit blanc gaussien de variance σ 2 .
Par exemple, on cherche à savoir si un individu a prononcé oui ou non.
Question 1. — Effectuer le test de Neyman-Pearson pour les hypothèses :
H0 : Xk = sk + Bk contre H1 : Xk = tk + Bk
où les Bk sont des variables mutuellement indépendantes et identiquement distribuées selon N (0, σ 2 ).
On posera
n−1
X
T = (tk − sk )Xk
k=0
Question 2. — Donner la loi de T sous l’hypothèse H0 . En déduire la valeur critique qui correspond
à un risque de première espèce de 2.5%.
12
Tests de χ2 et Student (TD 7)
7
Exercice 7.1 – Générateur de nombres aléatoires
On souhaite vérifier la qualité de nombres aléatoires d’une calculatrice scientifique. Pour cela, on
procède à 250 simulations d’entiers compris entre 0 et 9, dont les résultats sont présentés ci-dessous
k 0 1 2 3 4 5 6 7 8 9
Nombre d’occurences de k 28 32 23 26 23 31 18 19 19 31
On souhaite, à l’aide d’un test de χ2 d’adéquation, vérifier si le générateur donne des réalisations unifor-
mément réparties sur {0, . . . , 9}.
Question 1. — Énoncer les hypothèses nulle et alternative.
Question 2. — Calculer la distance du χ2 entre les effectifs observés et les effectifs théoriques.
Question 3. — Donner le degré de liberté dans ce problème.
Question 4. — Conclure quant à la qualité du générateur pseudo-aléatoire.
Exercice 7.2 –
Deux échantillons de personnes sont prélevés au hasard, l’un en milieu rural et l’autre en milieu urbain.
Le rythme cardiaque au repos de chaque personne est mesuré. Supposons que le rythme cardiaque au
repos, que l’individu soit de milieu rural ou urbain, est distribué normalement.
Les résultats observés sont les suivants :
Milieu Urbain Milieu Rural
Effectif n1 = 14 n2 = 15
Moyenne x̄1 = X̄1 (w) = 79 x̄2 = X̄2 (w) = 77
Variance estimée S 2 (X1 )(w) = 150 S 2 (X2 )(w) = 120
Le fait d’habiter en milieu urbain ou en milieu rural a-t-il une influence sur le rythme cardiaque ?
Exercice 7.3 – Indépendance vision/habileté ?
On veut examiner si la plus grande habileté manuelle de la main droite ou de la main gauche d’un
individu est indépendante de l’acuité visuelle de l’oeil droit ou de l’oeil gauche.
Pour cela, on définit deux variables aléatoires. L’une, X vaut 1, 2 ou 3 suivant que l’individu est respec-
tivement plus habile de la main gauche, ambidextre, ou plus habile de la main droite. L’autre Y vaut
1, 2 ou 3 suivant que l’individu a respectivement une meilleur vision de l’oeil gauche, une vision égale
des deux yeux, ou une meilleure vision de l’oeil droit.
Une enquête sur 413 individus donne
13
X|Y 1 2 3
1 34 62 28
2 27 28 20
3 57 105 52
Question 1. — Construire le tableau correspondant à l’indépendance des deux caractères.
Question 2. — Faire un test de χ2 d’indépendance au seuil de risque de 5%. On précisera le nomrbe
de degrés de liberté, la valeur de la distance du χ2 et la conclusion du test.
14
Optimisation et méthodes numériques (TD 8)
8
Exercice 8.1 – Mise en train
Soit la fonction f : (x, y) 7→ x4 +y 4 −2(x−y)2 . Les lignes de niveaux de la fonction f sont représentées
dans la figure 8.1.
Question 1. — Dans cette question, nous étudions f de manière générale :
1. Calculer le gradient de f .
2. Calculer la matrice hessienne de f en un point quelconque (x, y).
Question 2. — Dans cette question, nous allons minimiser f sans contrainte.
1. Trouver le ou les points critiques de f et les représenter (approximativement) sur la figure 8.1.
−4 4
2. Déterminer les valeurs propres de H1 = .
4 −4
20 4
3. Déterminer les valeurs propres de H2 = .
4 20
4. Déterminer la nature des points critiques trouvés précédemment.
5. Ce que vous pouvez observer sur la figure 8.1 correspond-il à vos résultats numériques ?
Question 3. — L’objectif de cette question est de mettre en oeuvre des algorithmes de gradient.
1. On applique la méthode du gradient à pas constant à partir du point p0 = (1, 1).
Déterminer le point p1 obtenu après une itération lorsque le pas vaut 0.5.
2. Déterminer le point p1 obtenu après une itération de la méthode à pas optimal à partir du point
p0 = (1, 1).
Question 4. — Déterminer les points critiques de f sous la contrainte x2 +y 2 = 1. Vérifier vos résultats
en traçant la contrainte et les points trouvés sur la figure 8.1.
Exercice 8.2 – Méthode de gradient à pas constant
Soit f : Rn → R une fonction de classe C 1 . On suppose qu’il existe α > 0 et M > 0 tels que pour
tout x, y ∈ Rn , on ait
(H1) ⟨∇f (x) − ∇f (y), x − y⟩ ≥ α||x − y||2 ,
(H2) ||∇f (x) − ∇f (y)|| ≤ M ||x − y||.
Considérons le problème de minimisation suivant
Trouver a ∈ Rn tel que f (a) = minx∈Rn f (x)
Nous utiliserons la méthode du gradient à pas constant.
Question 1. — Rappeler l’algorithme de la méthode du gradient à pas constant. On notera pour cela
xk ∈ Rn les différents itérés convergents vers a et ρ le pas de descente.
15
Figure 8.1 – Lignes de niveaux f = m dont les valeurs numériques m sont affichées.
Question 2. — Montrer que le ce problème de minimisation admet au plus une solution.
Question 3. — Dans cette question, on s’intéresse au cas particulier où f : Rn → R est donnée par
f (x) = 21 ⟨x, Ax⟩ − ⟨x, b⟩, où la matrice A est supposée symétrique et définie positive.
1. Que peut-on dire des valeurs propres de A ?
2. Montrer que (H1) est vérifiée, avec α égal à la plus petite valeur propre de A.
3. Montrer que (H2) est vérifiée, avec M égal à la plus grande valeur propre de A.
4. Résoudre ce problème de minimisation.
Exercice 8.3 – Méthode des moindres carrés
Soient A ∈ Mn,m (R) telle que AT A soit inversible et b ∈ Rn un vecteur fixé. Considérons la fonction
f : Rm → R définie par f (x) = ||Ax − b||2 .
Question 1. — Déterminer le gradient et la hessienne de f .
Question 2. — Montrer que f possède un unique point critique, noté x0 , dont on donnera l’expression
en fonction de A et b.
Question 3. — Montrer que x0 est un minimum global de f .
16
Exercice 8.4 – Algorithme EM
On considère un échantillon (X1 , . . . , Xn ) de variables mutuellement indépendantes et identiques. Ces
variables sont soit dans la classe 1 soit dans la classe 2. Notons Zk la classe de Xk et pi = P (Zk = i) (pi
est inconnu). On suppose que pour tout i ∈ {1, 2} et tout k ∈ {1, . . . , n}
Xk |Zk = i ∼ P(λi ),
où λi > 0 est un paramètre également inconnu.
Question 1. — Supposons que l’on dispose d’une réalisation (x1 , . . . , xn ) de (X1 , . . . , Xn ). Montrer que
pour tout k,
2
X λxi k −λi
P (Xk = xk ) = pi e .
i=1
xk !
Question 2. — Montrer que pour tout i ∈ {1, 2} et tout k ∈ {1, . . . , n}
pi λxk e−λi
Pi,k = P (Zk = i|Xk = xk ) = P2 i xk .
−λj
j=1 pj λj e
Question 3. — Soit θ = (p1 , p2 , λ1 , λ2 ). On souhaite estimer θ via la méthode du maximum de vrais-
semblance. Notons L(θ) la fonction de vraissemblance de (X1 , . . . , Xn ). On a
n X
2
Y λxi k −λi
L(θ) = pi e .
xk !
k=1 i=1
Cette fonction, qu’elle soit considérer en pi ou λi , est difficile à maximiser en pratique. Posons
(0) (0) (0) (0)
θ(0) = (p1 , p2 , λ1 , λ2 )
(0)
l’initialisation arbitraire de l’algorithme EM. On note également Pi,k la probabilité Pi,k calculée en
remplaçant θ par θ(0) (c’est l’étape E). Montrer que
E(1Zk =i |Xk = xk ) = Pi,k .
Question 4. — Montrer que
2
Y λxj k −λj 1Zk =j
P (Xk = xk , Zk = i) = pj e .
j=1
xk !
(0)
Question 5. — Connaissant xk , il est naturel, d’après la question 3, d’estimer 1Zk =j par Pj,k . Montrer
que la fonction de vraissemblance du vecteur ((X1 , Z1 ), . . . , (Xn , Zn )) s’écrit alors
n Y
Y 2
λxj k −λj 2Pj,k
(0)
L(θ|θ(0) ) = pj e .
xk !
k=1 j=1
Question 6. — Calculer la log-vraissemblance et en la maximisant, en déduire les nouveaux estimateurs
θ(1) (il s’agit de l’étape M).
Question 7. — Application numérique. Posons n = 5 et
(x1 , x2 , x3 , x4 , x5 ) = (2, 10, 1, 8, 3).
Choisissons l’initialisation p1 = 3/5, p2 = 2/5 et λ1 = 2, λ2 = 8. Calculer θ(1) .
17