SUP’COM
2022/2023
Inférence statistique
DS Inférence Statistique (1.5 h, sans documents)
1 Régression
1. On dispose de 5 représentants (on dit aussi spécimens) de fossiles d’un animal disparu pour lesquels on a pu
mesurer le longueur en cm de leur humérus (os du bras) x et de leur fémur y. La table 1 fournit ces mesures.
Table 1 – Table des mesures prélevées sur les 5 spécimens.
Spécimen x y x2 y2 xy
1 44 40 1936 1600 1760
2 65 60 4225 3600 3900
3 71 59 5041 3481 4189
4 75 65 5625 4225 4875
5 87 77 7569 5929 6699
moyenne 68.4 60.2 4879.2 3767 4284.6
arithmétique
(a) Montrer sans utiliser de calculatrice que
Var(x) = 200.64, Var(y) = 142.96, Cov(x, y) = 166.92, (1)
2 2
en exploitant les indications suivantes :(68, 4) =4678.56, (60.2) =3 624.04 et 68.4 × 60.2=4 117,68.
(b) On s’intéresse à la régression linéaire pour expliquer y par x. Ecrire l’équation de la régression.
(c) En déduire la matrice H intervenant dans cette régression.
(d) En utilisant la formule du cours, montrer que par la méthode des moindres carrés ordinaires, la pente de la
droite de régression vaut 0.83 en exploitant le fait que 166.92
200.64 = 0.83.
(e) En admettant que la droite de régression ait pour équation :
ŷ = 3.29 + 0.83x, (2)
calculer la prédiction de la longueur du fémur si l’humérus mesure 55 cm.
2. On considère les modèles de régression suivants où y est la variable à expliquer et x1 , x2 les variables explicatives :
Modèle 1 ŷ = θ0 + θ1 x21 (3)
Modèle 2 ŷ = θ0 + θ1 x21 + θ 2 x2 (4)
Modèle 3 ŷ = θ0 + θ1 x1 + sin(2θ2 + x2 ) (5)
Modèle 4 ŷ = θ0 + θ1 x1 + θ2 x2 (6)
Pour chaque modèle, expliquer s’il s’agit d’une régression simple ou multiple (abréger par S ou M), linéaire ou
non linéaire par rapport aux paramètres (abréger par LP ou NLP) et linéaire ou non linéaire par rapport aux
variables explicatives (abréger par Lv ou NL(répondre par LP ou NLV).
2 Moindres carrés
On veut expliquer une variable Y par deux variables X et X ′ selon le modèle de régression suivant :
Ŷ = aX sin(2b + X ′ ). (7)
où a et b sont deux paramètres réels inconnus. On veut estimer a et b au sens des moindres carrés en s’appuyant sur
N -uplets de mesures (yn , xn , x′n ) pour n = 1, . . . , N . En exploitant la séparabilité du modèle, exprimer le critère final
qu’il suffit d’optimiser (on ne cherchera pas à résoudre ce problème d’optimisation).
1
3 Estimation au sens du maximum de vraisemblance
On considère les observations x1 , x2 , . . . , xN supposées indépendantes et identiquement distribuées selon la densité
de probabilité paramétrée par θ > 0 et donnée par :
˜ 1 |x|
∀x ∈ R, fX;θ (x) = exp − . (8)
2θ θ
1. Écrire l’équation de la log-vraisemblance de θ.
2. Calculer l’estimateur du maximum de vraisemblance de θ.
3. Calculer E (|X|).
4. Montrer par le calcul que la condition de régularité est vérifiée.
5. Calculer la borne de Cramer-Rao.
6. Étudier l’existence de l’estimateur efficace et conclure.
4 Estimation bayésienne
Soit (X, Y ) un couple de variables aléatoires scalaires dont la densité de probabilié est :
8xy si x ∈ [0, 1] et 0 ≤ y ≤ x
fX,Y (x, y) =
0 sinon.
1. Calculer la probabilité a priori fX en veillant à préciser son domaine de définition.
2. En déduire la probabilité a posteriori fX/Y =y en veillant à préciser son domaine de définition.
3. Calculer l’estimateur bayésien X̂bay de X en fonction d’un seule réalisation y de Y qui minimise le risque
bayésien pour un coût quadratique.
4. Déterminer X̂MAP l’estimateur du maximum a posteriori (MAP) de X en fonction d’un seule réalisation y de
Y . Conclure.
5 Estimateur linéaire en moyenne quadratique
A chaque instant n ∈ N, on reçoit un signal discret et centré X(n) qui est une version bruitée d’un signal de
référence S(n) de fonction de covariance RSS (n) = e−n . On considère le modèle suivant :
X(n) = S(n) + W (n)
où W (n) est un bruit blanc additif de variance l’unité. On suppose que le signal S(n) est inconnu et décorrélé de W (n).
On désire estimer S(n) à chaque instant n, à partir de l’observation à partir de l’observation du processus (X(n))n
sur une fenêtre temporelle. Dans notre cas, on utilise une fenêtre de de taille 1 en s’appuyant uniquement sur X(n).
1. Montrer qu’on a affaire à un problème de projection orthogonale.
2. Utiliser le principe de la projection orthogonale pour estimer S(n). On note par Ŝ(n) l’estimée du signal S(n) .
3. Calculer EQM = E[(S(n) − Ŝ(n))2 ]. Comment pensez-vous intuitivement qu’évoluerait EQM si on augmentait
la taille de la fenêtre temporelle d’observation ?
4. En déduire la variance de Ŝ(n).