Pratique de la Modélisation Graphique

Dhafer Malouche

Ecole Supérieure de la Statistique

et de l’Analyse de l’Information de Tunis

Option BioSys, Master TICV, ENIT, 2010-2011

Plan

Préliminaires

Modèles discrets

Modèles continues

Modèles mixtes
Préliminaires 3

Préliminaires

Modèles discrets

Modèles continues

Modèles mixtes
Préliminaires 4

Indépendance conditionnelle

◮ Deux événements A et B sont indépendants si

P(A ∩ B) = P(A)P(B)

ou, d’une façon équivalente

P(A | B) = P(A)
◮ Deux types de v.a.
◮ continues : à valeurs dans P, sa loi est représentée par une
densité fX (x).
On utilisera les lettres X , Y ,...
◮ discrètes : à valeurs dans un espace fini en bijection avec
{1, 2, . . . , |X |} où |X | est le nombre de niveaux de X , sa loi est
représentée par P(X = xj ) pour j ∈ {1, 2, . . . , |X |}.
On utilisera les lettres I , J,...
Préliminaires 5

Indépendance conditionnelle
◮ X et Y sont deux v.a. (continues) indépendantes, X ⊥⊥ Y ssi

fX ,Y (x, y ) = fX (x)fY (y ).

ou, d’une façon équivalente la densité de Y sachant X = x

n’est pas une fonction de x.
◮ X est indépendant de Y sachant Z , X ⊥⊥ Y | Z si

fX |Y ,Z (x | y , z) = fX |Z (x | z)

ou, d’une façon équivalente

fXYZ (x, y , z) = h(x, z)g (y , z)

Proposition
X , Y et Z sont des v.a. continues.
Si X ⊥⊥ Y | Z et X ⊥⊥ Z | Y , alors X ⊥⊥ (Y , Z )
 Préliminaires 6

Propriétés de Markov
◮ V , un ensemble fini et E ⊂ V × V , G = (V , E ) est graphe
non-orienté
(u, v ) ∈ E ⇐⇒ (v , u) ∈ E
On note par u ∼G v si (u, v ) ∈ E .
◮ X = (Xu , ∈ u ∈ V )′ un vecteur aléatoire de loi P
◮ On dit que P est
◮ 2 à 2 Markov à G , si

u 6∼G v ⇒ Xu ⊥⊥ Xv

◮ Markov global à G , si pour tout (A, B, S) un triplet de

sous-ensembles disjoints de V

S sépare A et B ⇒ XA ⊥⊥ XB | XS .

Si P est Markov global à G , alors P est 2 à 2 Markov à G .

La réciproque n’est pas toujours vraie...
Modèles discrets 7

Préliminaires

Modèles discrets

Modèles continues

Modèles mixtes
 Modèles discrets 8

Modèles à trois variables : A, B et C

◮ A, B et C trois variables discrètes de niveaux respectivement
|A|, |B| et |C | :

pjkl = P(A = j, B = k, C = l)
◮ Modèle log-linéaire
◮ sans interaction A ⊥⊥ B ⊥⊥ C :

log(pjkl ) = u + ujA + ukB + ulC

d’une façon équivalente

pjkl = pj++ p+k+ p++l

formule du modèle A, B, C .
◮ avec interactions B ⊥⊥ C | A :

log(pjkl ) = u + ujA + ukB + ulC + ujk

AB
+ ujlAC

formule du modèle AB, AC .

 Modèles discrets 9

Modèles à trois variables : A, B et C

◮ L’expression du modèle complet (ou saturé).
AB
log(pjkl ) = u + ujA + ukB + ulC + ujk BC
+ ujlAC + ukl ABC
+ ujkl

formule du modèle ABC

◮ La vraisemblance :
N! Y njkl
L({pjkl } | {njkl }) = Q pjkl
jkl njkl
jkl

M l’EMV de p
On note par b
pjkl jkl sous un modèle M et
blM = log L({b M
p } | {njkl })
jkl
◮ La déviance d’un modèle M0 vs le modèle complet Mf est

G 2 = 2(blMf − blM0 )
Modèles discrets 10

La déviance

G 2 = 2(blMf − blM0 )

1. Si M0 = Mf , alors G 2 = 0

2. Si M0 est vrai, G 2 ∼ (asymptotiquement) une χ2 (k) où k est

la différence entre le nombre de paramètres libres entre M0 et
Mf .
Sous M0 , E (G 2 ) = k.
Mf
3. On a b
pjkl = njkl /N, alors
!
X njkl
2
G =2 njkl log M0
jkl
Nb
pjkl
Modèles discrets 11

Exemple 1 :

◮ Etude sur 401 lézards réparties en 2 espèces.

Fichier : [Link]
◮ Le tableau de contingences
Espèce Diamètre Hauteur
> 4.75 ≤ 4.75
Anoli ≤4 32 86
>4 11 35
Distichus 2 ≤4 61 73
>4 41 70

◮ Il s’agit de montrer utilisant MIM 1 que

Diamètre (C ) ⊥⊥ Hauteur (B) sachant Espèce (A).

1. A télécharger sur [Link]

Modèles discrets 12

Exemple 1 :

Le fichier MIM :

factor A2B2C2;
statread ABC
32 86 11 35 61 73 41 70 !
Modèles discrets 13

Exemple 2 :

◮ Relation entre Genre, Admission et Département ?

◮ Le fichier MIM (Fichier : [Link])
fact S2A2D6
label A "Admission" S "Sex" D "Department"
sread DSA
512 313 89 19 353 207 17 8
120 205 202 391 138 279 131 244
53 138 94 299 22 351 24 317 !

◮ Questions :
1. Écrire le tableau de contingence.
2. Quelles sont les indépendances conditionnelles existantes entre
les variables A, D et S.
Modèles discrets 14

Tableau multi-niveaux
◮ ∆ un ensemble de p variables discrètes : I1 , . . . , Ip à valeurs
respectivement dans {1, . . . , |I1 |}, . . . , {1, . . . , |Id |}
◮ Données : observations sur N individus des p variables
regroupées dans un tableau de contingences.
◮ Une cellule typique de ce tableau est un p−uplet de la forme

i = (i1 , . . . , ip ) ∈ ×pj=1 {1, . . . , |Ij |}

On note par I l’ensemble de ces cellules. Le tableau de

contingences est alors {ni }i∈I
◮ La fonction vraisemblance (échantillonnage multinomiale) :

N! Y ni
Q pi
i∈I i∈I
Modèles discrets 15

Tableau multi-niveaux
◮ Soit a ⊆ ∆ et on note par ia le |a|−sous-uplet de i
correspondant et par Ia l’ensemble des ia .
◮ Le modèle log-linéaire (saturé) s’écrit
X
log(pi ) = uia
a⊆∆

où a peut être vide, et uia est le terme d’interaction qui

dépend de i à travers ia
◮ l’EMV de pi sous le modèle saturé est b
pi = ni /N
◮ Formule d’un modèle hiérarchique : d1 , d2 , . . . , dr où
X
log(pi ) = uia
a⊆∆, ∃j a⊆dj
Modèles discrets 16

Tableau multi-niveaux
◮ Un modèle log-linéaire (dont la formule est d1 , . . . , dr ) est dit
graphique si d1 , . . . , dr sont des cliques dans un graphe G de
sommets les variables de ∆.
◮ Si un modèle log-linéaire est graphique, alors la distribution de
∆ satisfait la propriété de Markov de factorisation
Y
pi = qia
a complet

◮ PM de factorisation ⇒ PM globale ⇒ PM 2 à 2.
Exercice
Toutes les variables de cet exercice sont discrètes. Écrivez
l’équation du modèle et déterminer sa nature
(hiérarchique/graphique) :
1. AB, BC , AC
2. ABC , ABD
Modèles discrets 17

Equations de vraisemblance

◮ {nia }ia ∈Ia est le tableau de contingence correspondant aux

variables dans a.
◮ Considérons un modèle d1 , . . . , dr , Si {m
b ia }ia ∈Ia le tableau de
contingence ajusté et {m
b i }i∈I l’EMV.
◮ IPF (iterative proportional scaling) pour le calcul des {m
b i }i∈I ,
b i0 = 1 ∀ i ∈ I.
1. m
2. kième itération


b ik = m
m b ik−1
b ik−1 nia /m a
Modèles discrets 18

Exemple 2 : facteurs de risque de maladie coronarienne

◮ Sur un échantillon de 1841 travailleurs nous avons retenus les

variables suivantes
Fichier : [Link])
Fumeur (A), Travail intellectuel intense (B),
Travail physique intense (C),
pression artérielle < 140 mm (D),
ratio beta à alpha lipoproteine < 3 (E),
ATCD familiale (F).

◮ Toutes les variables sont binaires.

◮ Objectif : estimer le modèle graphique avec une méthode pas
à pas descendante partant du modèle saturé.
Modèles discrets 19

Transfert des données de R vers MIM

◮ Installer le package mimR dans R.

◮ Installer statconnDCOM
(http ://[Link]/download/current/[Link].e
◮ Lancer MIM et R.2.12.1 en tant que administrateurs
◮ Changer le répertoire R (nom de chemin ne contenant ni
espace, ni accent)
Premier essai :

> HairEyeColor
> [Link] <- mim("..", data = HairEyeColor)
> [Link]=[Link](HairEyeColor)
> toMIM([Link])
Modèles discrets 20

Exemple :

◮ Transférer la base Titanic dans MIM

> [Link]=[Link](Titanic)
> toMIM([Link])
◮ Tester l’indépendance entre les variables Survived et Sex
sachant Class (sous MIM)
MIM-> mod baC
MIM-> testdel ba

◮ Comparer la probabilité de survivre conditionnellement à

toutes les autres variables.
Modèles continues 21

Préliminaires

Modèles discrets

Modèles continues

Modèles mixtes
Modèles continues 22

Modèles Graphiques Gaussiens

◮ Soit Y = (Y1 , . . . , Yq )′ un vecteur Gaussien de loi Nq (µ, Σ)

où  
µ1
 
µ =  ... 
µq
et  
σ 11 . . . σ 1q
 .. 
Σ =  ... ..
. . 
σ q1 . . . σ qq
◮ Rappelons que la densité de Y s’écrit
 
−1/2 1 ′ −1
f (y ) = |2πΣ| exp − (y − µ) Σ (y − µ)
2
Modèles continues 23

Modèles Graphiques Gaussiens

◮ Une autre paramétrisation Ω = Σ−1
◮ On montre que (Y1 , Y2 ) sachant (Y3 , . . . , Yq )′ suit une loi
Normale bivariée de matrice covariance
 −1  
ω 11 ω 12 1 ω 22 −ω 21
=
ω 21 ω 22 ω 11 ω 22 − ω 12 ω 12 ω 11

◮ Alors le cœfficient de corrélation entre (Y1 , Y2 ) sachant

(Y3 , . . . , Yq )′
−ω 12
ρ12|3...q = 11 22 1/2
(ω ω )
Donc

Y1 ⊥⊥ Y2 | (Y3 , . . . , Yq )′ ⇐⇒ ρ12|3...q = 0 ⇐⇒ ω 12 = 0
Modèles continues 24

Modèles Graphiques Gaussiens

◮ La nouvelle paramétrisation de f (paramètres canoniques)

f (y ) = exp α + β ′ y − 12 y ′ Ωy
 
q X
X q
Pk
= exp α + j=1 β
jy
j − 1
2 ω jk yj yk 
j=1 k=1

◮ où
q
α = − 12 log |Σ| − 12 µ′ Σ−1 µ − 2 log(2π)
et
Ω = Σ−1 , β = Σ−1 µ.
Modèles continues 25

La fonction vraisemblance
On considère un n−échantillon (1) , . . . , y (N) . On calcule
Pn y (k)
◮
la moyenne empirique y = k=1 y /N
X n
la variance empirique S = (y (k) − y )(y (k) − y )′ /N
k=1
◮ Spdg, on pose µ = 0
L(y (1) , . . . , y (N) , Ω) =
n
X
−Nq log(2π)/2 − N log |Σ|/2 − (y (k) )′ Ωy (k)
k=1
or
Xn n
X
(y (k) )′ Ωy (k) = (y (k) − y )′ Ω(y (k) − y ) +Ny ′ Ωy
k=1
|k=1 {z }
N tr(ΩS)
Ainsi
L(y (1) , . . . , y (N) , Ω) = −Nq log(2π)/2 − N log |Σ|/2
−Ntr(ΩS) − Ny ′ Ωy
Modèles continues 26

Estimateur du maximum de vraisemblance

◮ On considère un graphe G de sommets {1, . . . , q}.

◮ Supposons que la loi de Y est une loi Normale Nq (µ, Σ) où
Ω = Σ−1 vérifiant

i et j ne sont pas adjacents dans G ⇐⇒ ω ij = 0

◮ la formule du modèle s’écrit //q1 , . . . , qt où qj sont les cliques

dans le graphe G .
◮ Pour tout a sous ensemble de variables du vecteur Y , Σaa et
S aa sont les bloques respectivement de Σ et S.
◮ b aa = S aa .
l’EMV de Σ satisfait les equations suivantes Σ
◮ l’estimation se fait à l’aide d’un algorithme itératif.
Modèles continues 27

La déviance
◮ On considère d’abord le modèle saturé, Mf (associé au
graphe complet), Σb = S.
La vraisemblance s’écrit
b
Lbf = −Nq log(2π)/2 − N log |S|/2 − Nq/2.
◮ Pour un modèle M associé à un graphe G , la déviance s’écrit

d 2 (Mf , M) = 2(Lbf − b
 Lm ) 
b S|
= N log |Σ|/| b ,

b = q.
Notons que tr(ΩS)
◮ Si M0 ⊆ M1 ,
 
b 0 |/|Σ
d 2 = N log |Σ b 1|
 Modèles continues 28

Test de suppression d’arête

◮ Sous M0 , d 2 a asymptotiquement une distribution χ2 (k) où

k est la différence entre le nombre de paramètres (= nombre
d’arêtes) entre M0 et M1 .

◮ Pour les échantillons de taille faible (F −tests) : il faut que M0

et M1 soient décomposables et diffèrent par une seule arête,

F = (N − k)(e d/N − 1)
où k est le nombre de sommets dans la clique contenant
l’arête dans M1 .
Sous H0 (sous M0 ) F suit une distribution de Fisher de
paramètres 1 et N − k.
 Modèles continues 29

Exemple : Anxiété et colère

◮ Enquête sur 684 étudiantes

◮ 4 variables : état d’anxiété (W ), état de colère (X ), traits
d’anxiété (Y ) et traits de colère (Z )
◮ En psychologie, on suggère que W ⊥⊥ Z | (X , Y ).
◮ Fichier : [Link]
Modèles continues 30

Exemple : Passage du médicament dans le sang

◮ 35 patients sous traitement

◮ Cl dig : quantité de dégagement de la digoxine, Cl re :
quantité de dégagement de créatinine, Urine flow :
écoulement de l’urine.
◮ Comme la creatinine et la digoxine sont éliminés par les reins :
corrélation possible entre Cl cre et Cl dig.
◮ Fichier : [Link]
 Modèles continues 31

Modèles de régression
◮ On considère q variables dont q1 variables réponses et
q2 = q − q1 variables explicatives
◮ Y = (Y1 , Y2 ), Y1 le vecteur des variables réponses, Y2 le
vecteur des variables explicatives
◮ On considère le modèle

Y1 = A + By2 + V

où A est le q1 −vecteur des constantes, B est la matrice

q1 × q2 des cœfficients de régression et V ∼ Nq1 (0, Ψ).
◮ Si Y ∼ Nq (µ, Σ), la loi de Y1 | Y2 = y2 est normale de
moyenne
µ1|2 = µ1 + Σ12 (Σ22 )−1 (y2 − µ2 )
et de covariance
Σ11|2 = Σ11 − Σ12 (Σ22 )−1 Σ21 .
 Modèles continues 32

Modèles de régression
◮ Donc B = Σ12 (Σ22 )−1 , A = µ1 − Bµ2 et
Ψ = Σ11|2 = Σ11 − BΣ21 .
◮ les paramètres canoniques
β 1|2 = (Σ11|2 )−1 µ1|2 = β 1 − Ω12 y2 ,
et
Ω11|2 = (Σ11|2 )−1 = Ω11 .
◮ Exemple : Y1 = (X , Y , Z ) et Y2 = (V , W ). On considère le
modèle //XYVW , YZVW (donc Z ⊥⊥ X | (V , W , Y )). Les
paramètres canoniques
 
ω XX ω XY 0 ω XV ω XW  
 ω YX ω YY ω YZ ω YV ω YW  ω XV ω XW  
  v
Ω=
 0 ω ZY ω ZZ ω ZV ω ZW 
 β 1|2 1
=β −  ω YV ω YW 
  w
ω VX ω VY ω VZ ω VV ω VW ω ZV ω ZW
ω WX ω WY ω WZ ω WV ω WW
Modèles continues 33

Exemple : étude de la BMC

◮ Etude de l’effet d’une thérapie œstrogène (il est connu qu’une

insuffisance œstrogénique conduit à l’ostéoporose et à la
dégénérescence cartilagineuse) sur le contenu minéral osseux
(BMC).
◮ Données sur 150 femmes ménopausées.
◮ Les variables
◮ explicatives : age ménopause en semaines U, bmi, poids/taille2 ,
V , Une enzyme associé au métabolisme osseux W
◮ réponses : BMC, de os de la partie supérieur du bras X , BMD
vertèbres Y , BMC Z .

◮ fichiers données : [Link]

Modèles mixtes 34

Préliminaires

Modèles discrets

Modèles continues

Modèles mixtes
 Modèles mixtes 35

Modèle hiérarchique d’interactions

◮ Supposons qu’on a p variables discrètes, q variables

continues : (I , Y ), I est le vecteur des v. discrètes et Y le
vecteur des v. continues.
◮ Une observation typique (i, y ) et I est l’ensemble des valeurs
possibles i.
◮ On suppose pi = P(I = i) et que Y | I = i ∼ N (µi , Σi ). La
densité de (I , Y ) est
 
−1/2 1 ′ −1
f (i, y ) = pi |2πΣi | exp − (y − µi ) Σi (y − µi )
2

{pi , µi , Σi }i∈I les paramètres moments.

 Modèles mixtes 36

Modèle hiérarchique d’interactions

◮ Le modèle est homogène si pour tout i, Σi = Σ.

◮ La densité peut être écrite sous la forme
 
′ 1 ′
f (i, y ) = exp αi + βi y − y Ωi y
2

Ωi = Σ−1 i ,
−1
βi = Σi µi ,
q
où αi = log(pi ) − 12 log |Σi | − 21 µ′i Σ−1
i µi − 2 log(2π)
et
pi = (2π)q/2 |Ωi |−1/2 exp{αi + 12 βi′ Ω−1 i βi }
◮ Modèle hiérarchique d’interactions : les paramètres canoniques
sont développés en sommes de termes d’interactions.
Modèles mixtes 37

Une variable continue et une discrète

◮ (A, Y ), la densité s’écrit


f (i, y ) = pi (2πσi )−1/2 exp − 21 (y − µi )2 /σi2
= exp{αi + βi − 12 ωi y 2 }
= exp{(u + uiA ) = (v + viA )y − 12 (w + wiA )y 2 }

◮ Trois modèles sont possibles

◮ viA = wiA = 0 
f (i, y ) = pi (2πσi )−1/2 exp − 12 (y − µ)2 /σ 2
formule du modèle : A/Y /Y .
◮ wiA = 0, 
f (i, y ) = pi (2πσi )−1/2 exp − 12 (y − µi )2 /σ 2
formule du modèle : A/AY /Y .
◮ the modèle saturé, formule du modèle A/AY /AY
Modèles mixtes 38

Exemple

◮ Etude l’effet d’un régime alimentaire sur le temps de

coagulation du sang.
◮ Deux variables : une discrète A (type du régime), X (temps de
coagulation)
◮ Les données
Diet Temps de coagulation
1 62 60 63 59
2 63 67 71 64 65 66
3 68 66 71 67 68 68
4 56 62 60 61 63 64 63 59
Modèles mixtes 39

Exemple

◮ Statistiques exhaustives
nj = ♯{k : i (k) = j}
X j nj xj sj
xj = x (k) /nj 1 4 61.0 2.50
k : i (k) =j 2 6 66.0 6.67
X 3 6 68.0 2.33
sj = (x (k) − x j )2 /nj 4 8 61.0 6.00
k : i (k) =j

◮ Trois modèles sont possibles

M0 : A/X /X A ⊥⊥ X
M1 : A/AX /X homogène
M2 : A/AX /AX
Modèles mixtes 40

Exemple

◮ EMV : M2
◮ pj = nj /N
◮ µ
bj = x j
◮ σ
bj = sj

◮ Les vraisemblances

X X
l2 = nj log(nj /N) − N log(2π)/2 − nj log(sj )/2 − N/2
j j

◮ M 0 ⊆ M1 ⊆ M2 .
Modèles mixtes 40

Exemple

◮ EMV : M1
◮ pj = nj /N
◮ µ
bj = x j
X X
◮ σ
b= (x (k) − x j )2 /N = s
j k : i (k) =j

◮ Les vraisemblances

X
l1 = nj log(nj /N) − N log(2π)/2 − N log(s)/2 − N/2
j

◮ M0 ⊆ M1 ⊆ M2 .
Modèles mixtes 40

Exemple
◮ EMV : M0
◮ pj = nj /N
N
X
◮ µ
b=x = x (k) /N
k=1
N
X
◮ σ
b= (x (k) − x)2 /N = s0
k=1

◮ Les vraisemblances

X
l0 = nj log(nj /N) − N log(2π)/2 − N log(s0 )/2 − N/2
j

◮ M 0 ⊆ M1 ⊆ M2 .
Modèles mixtes 41

Exemple : Essai d’un médicament

◮ Test d’un médicament utilisant des souris : il est suspecté que
l’utilisation du médicament pourrait affecté le niveau d’une
composante biochimique dans le cerveau.
◮ Le médicament a été attribué à 12 souris choisis d’une façon
aléatoire, les 10 autres représentent l’échantillon témoin.
◮ Question : Comment le traitement, A, affecte les niveaux des
trois composantes : X , Y et Z ?
◮ fichier de données : [Link]
fact a 2; cont xyz
label a "Treatment"
read axyz
1 1.21 0.61 0.70
1 0.92 0.43 0.71
1 0.80 0.43 0.71
...
Modèles mixtes 42

Exemple : Essai d’un médicament

◮ Considérer le modèle saturé. Donner une estimation des

matrices covariances, corrélations et des paramètres
canoniques (on utilisera les commandes print s, print u et
print v).
◮ Tester l’homogénéité du modèle (on utilisera la commande
boxtest)
◮ Tester succésivement la suppression des arêtes YZ , XZ , et XY
◮ En déduire le modèle graphique estimé.
Modèles mixtes 43

Exemple : poids des rats

◮ Essai d’un médicament sur des rats concernant la perte de
poids “chez des rats”
◮ Trois traitements sont étudiés, selon le sexe des rats et les
pertes de poids sont observés après 1 et 2 semaines.
◮ Les variables : sexe (A), médicament (B), perte de poids après
1 et 2 semaines respectivements (X ) et (Y ).
◮ fichiers : [Link]
fact A2B3; cont XY
labels A "sex" B "Treatment" X "Wt loss wk 1" Y "Wt los
read ABXY
1 1 5 6
1 1 5 4
...
Modèles mixtes 44

Exemple : poids des rats

◮ Considérer le modèle saturé et tester son homogénéité.

◮ Tester successivement les arêtes XY , AX , AY , BX et BY .
◮ En déduire le graphe estimé.
◮ Ecrire le modèle en termes d’équations de régression et donner
une estimation des paramètres.
Modèles mixtes 45

Composantes de mixtures de lois Normales

◮ Utilisation de l’EM-algorithme : recherche d’une variable
discrète cachée.
◮ On considère les observations suivantes
1.2, 1.3, 1.2, 1.5, 1.2, 2.3, 2.7,
1.2, 1.8, 3.2, 3.5, 3.7

◮ On suppose que ces observations sont la réalisation d’une v.a.

de densité

f (y ) = p1 (2πσ)−1/2 exp{− 21 (y − µ1 )2 /σ 2 }
+(1 − p1 )(2πσ)−1/2 exp{− 12 (y − µ2 )2 /σ 2 }
◮ Le code MIM :
MIM-> cont X; read X;
DATA-> 1.2 1.3 1.2 1.5 1.2 2.3 2.7
DATA-> 1.2 1.8 3.2 3.5 3.7 !