Econométrie des variables qualitatives

Souleymane Diakité

ENSAE
souleymanediakite2@[Link]

June 30, 2016

Souleymane Diakité (ENSAE) Var Qual June 30, 2016 1 / 23

Programme

1 Chap1 : Les modèles binaires Logit et Probit

2 Chap2 : Les modèles multinomiaux
3 Chap3 : Les modèles de comptage (Poisson, Binomial négatif)
4 Chap4 : Les modèles Tobit

Souleymane Diakité (ENSAE) Var Qual June 30, 2016 2 / 23

Chap 2 : Modèle multinomiaux
L´objectif de cet chapitre est d´estimer la probabilité d´un évènement qui
a plus de 2 alternatives. Un modèle multinomial est un modèle dans lequel
la variable dépendante est polytomique. Il existe 3 grande catégorie des
modèles multinomiaux qui se distingue par la faon de modèliser le
processus alèatoire ayant gènèrè les rèalisations de la variable dèpendante.
Nous avons les modèles non ordonnès, les modèles ordonnès et les modèles
sèquentiels. Dans la pratique, les modèles non ordonnés sont les plus
fréquents. Dans cette catégorie on trouve notamment le modèle logit
multinomial et le modèle logit conditionnel de Mc Fadden qui sont les plus
utilisés et qui constituent une extension du logit binaire. Si ces modèles
sont simples, ils présentent tout fois un problème de cohérence en raison
d´une propriété peu réaliste des indépendances des alternatives non
pertinentes (IANP) Independance of Irrelavant alternatives (IIA) . C´est
pourquoi les modèles alternatives ont été développé comme le modèle
Logit hiérarechique ou encore le probit multinomiale. Ces derniers
requièrent toute fois des techniques d´estimation complexe.
Souleymane Diakité (ENSAE) Var Qual June 30, 2016 3 / 23
Chap 2 : Modèle multinomiaux

[Link]̀le multinomiaux non ordonnées. Ce modèle généralise le modèle

binaire. On modélise plusieurs choix non ordonnés, par exemple le choix du
mode de transport Y = (Bus, Carrapide, Taxi, Diaga − Ndiaye, Autres).
l`ordre dans lequel sont rangés les différentes modalités de Y est sans
importance et ne doit pas affecter le calcul des probabilités de ces
occurrences. [Link] modèle Passage du modèle simple au modèle
généralisé Le modèle logit simple vu dans le chapitre 1 est tel que :
e Xi β
1 On a: P(Yi = 1/Xi ) = 1+e Xi β
= Λ(Xi β).
2 et P(Yi = 1/Xi ) + P(Yi = 0/Xi ) = 1∀i, i = 1, ..., n.
Estimation d´un seul ensemble de paramètres :β. Faisons l´hypothèse que
l´on estime 2 ensembles de paramètres, un pour chacune des modalités :

Souleymane Diakité (ENSAE) Var Qual June 30, 2016 4 / 23

Chap 2 : Modèle multinomiaux

Supposons qu’il existe la rèlation suivante entre les probabilitè P0 et P1 :

P0
P1 +P0 = H(xβ1 ) où H(.) est une fonction continue et croissante. On peut
réécrire cette rélation de la faon suivante:
P0 1 1−H(xβ1 ) 1−H(xβ1 )
P1 = H(xβ1 ) − 1 = H(xβ1 ) = H(xβ1 ) = G (xβ1 ) où est un fonction
croissante:
P1
Par ailleurs nous avons P0 + P1 = 1 ⇐⇒ P1 = 1 − P0 ⇐⇒ = P10 − 1
P0
1 1
= 1 + G (xβ1 ) ⇐⇒ P0 = et comme P1 = P0 G (xβ1 ) On
P0 1 + G (xβ1 )
G (xβ1 )
aura donc P1 = avec l’hypothèse que G (X βk ) = exp(X βk ),
1 + G (xβ1 )
k = 0, 1 et si β0 = 0 et β1 = β on retrouve modèle logit simple avec
1 exp(xβ)
P0 = et P1 =
1 + exp(xβ) 1 + exp(xβ)

Souleymane Diakité (ENSAE) Var Qual June 30, 2016 5 / 23

Chap 2 : Modèle multinomiaux

Supposons que la rélation précédemment définie se vérifie à savoir

P0 Pk H(xβk )
Pk +P0 = H(xβk ) et P0 = 1−H(xβk ) = G (xβk )∀k = 1, ..., k P
avec G (.)etH(.)
deux fonctions positives et croissante d´après la rélation Pk = 1on
1 G (xβj )
obtient : p0 = PJ on a donc pj = PJ ou encore
1+ k=1 G (xβk ) 1+ k=1 G (xβk )
G (xβj )
pj = PJ avec k = 1, ..., J et β0 = 0 Comme dans le cas simple, la
k=0 G (xβk )
fonction exponentielle vérifie les deux prorpiétés (c´est une fonction
positive et croissante,
 exp(0) = 1 on peut donc écrire le modèle logit
 Pij = P(Yi = j|Xi ) = PJexp(xβj ) pourj = 1, ..., J
multtinomial ainsi: k=0 exp(xβk )
 Pij = P(Yi = j|Xi ) = PJ 1 pourj = 0
k=0 exp(xβk )
On normalise βk = 0 car sinon en remplaant βj −→ βj + σ On retrouve la
même probabilit. Une infinité de valeurs de βj sont possible (on aura les
mêmes valeurs de probabilité)

Souleymane Diakité (ENSAE) Var Qual June 30, 2016 6 / 23

Chap 2 : Modèle multinomiaux

Pour résoudre le problème on doit imposer aux coefficients une condition

d´identification celle qui est le plus souvent retenu est d´imposer la nullité
de tous les paramètres à une catégorie données appelée modalité de
référence. Le choix de cette catégorie (modalité de référence ) est
largement arbitraire. Si β0 = (0, ..., 0)
exp(X β )
Pij = P(Yi = j|Xi ) = PJ i j
1+ k=1 exp(Xi βk )
La probabilité Y=0 ne sera pas modélisée car elle être déduite à partir des
autres (somme probabilité donne l´unit) en conséquence les coefficients ne
peuvent être estimés que pour les m modalités sans la modalité de
référence. La conséquence importante de cette contrainte d´identification
est que le modèle mesure l´effet d´une variable explicative non pas sur la
probabilité déappartenance une catégorie donnée, mais sur la probabilité
d´appartenir à la catégorie plutôt qu´a la catégorie de référence. Ou plus
précisément sur le rapport entre la probabilité d´appartenir la catégorie et
la probabilité d´appartenir à la catégorie de référence.

Souleymane Diakité (ENSAE) Var Qual June 30, 2016 7 / 23

Chap 2 : Modèle multinomiaux

P(Yi = j|Xi ) Pij

ln( ) = ln( ) = Xi (βj − β0 ) L´interprtation des coefficients
P(Yi = 0|Xi ) Pi0
d´un modèle multinomial se fait en termes d´écart au référentiel. Par
exemple si βjk tout accroissement de Xk contribue à rendre plus probable
le choix de la modalité j par rapport à la modalité de référence. Les
coefficients βjk sont obtenus par maximisation de la log vraisemblance.
logL = ni=1 Jk=1 1ij [Xi βj − log (1 + Jk=1 exp(Xi βk ))] avec
P P P
1ij = 1siYi = j

Souleymane Diakité (ENSAE) Var Qual June 30, 2016 8 / 23

Chap 2 : Modèle multinomiaux

I.2 Test d´hypothèses Hypothèse IANP Le rapport des probabilités de

choix des modalités j et h est indépendant des autres modalités ou
alternatives. Cela signifie qu´ajoutée ou supprimée une tiers modalité ou
modifiés caractéristiques d´une modalité déjà incluse ne change pas le
rapport des probabilités. C´est ce qu´on qualifie de propriété
d´indépendance des alternatives non pertinentes.
P(Yi = j|Xi )
) = exp(X i (βj − βh ))
P(Yi = h|Xi )

Souleymane Diakité (ENSAE) Var Qual June 30, 2016 9 / 23

I.2 Test d´hypothèses
Exemple de Mac Fadden(Prix Nobel de léconomie 2000) pour
l´hypothèses IANP Soit un individu souhaitant prendre un moyen de
transport pour se rendre à un point donné. (3) trois solution s´offre à lui :
la voiture, le bus rouge et le bus bleu, les deux bus se distinguant
seulement par leur couleur et peut être par le trajet mais pas par le temps
du trajet. Notons qu´avec la voiture, les deux trajets
 pris le bus sont
 Yi = 1sivoiture
possibles. Les choix possible sont les suivants: Y = 2sisibusrouge
 i
Yi = 3sisibusbleu
Notons Pj|123 la probabilité de choisir la modalité j avec j = 1, 2, 3 parmi
les trois modalités possibless Les hypothèses sont les suivantes:
1 l´individus est indifférent entre prendre le bus rouge et le bus bleu, en
terme de probabilit celà se traduit par P2|123 = P3|123
2 l´individus est indifférent entre prendre le bus et la voiture, en terme
de probabilit celà se traduit par P1|123 = P2|123 + P3|123
Sachant que P1|123 + P2|123 + P3|123 = 1 On aura donc
Souleymane Diakité (ENSAE) Var Qual June 30, 2016 10 / 23
I.2 Test d´hypothèses
Exemple de Mac Fadden(Prix Nobel de léconomie 2000) pour
1 1
l´hypothèses IANP P1|123 = et P2|123 = P3|123 = Supposons
2 4
maintenat qu´un des deux bus ne circule pas (peut importe lequel). On
enlève donc une alternative et le choix se résume au bus et à la voiture.
L´individus est indifférent entre prendre le bus et la voiture On a donc
1 seulement le bus rouge circule P 1
1|12 = P2|12 = 2
2 seulement le bus bleu circule P1|13 = P3|13 = 21
L´hypothèses IIA est elle vérifiée Cette hypothèses est vérifiée si le rapport
entre les deux alternatives (1 et 2) par exemple est le même que l´on est
ou pas l´alternative 3 comme choix possible. Cela revient à comparer les
P P P 1/2 P 1/2
deux rapport P1|123 =? P2|12 On a P1|123 = = 2 et P2|12 = Les deux
2|123 2|12 2|123 1/4 2|12 1/2
rapports ne sont pas égaux. Pour ce modèle simple, l´hypothèse IIA n´est
pas vérifiée. On peut donc en conclure que pour ce exemple, l´alternative
3 n´est pas indépendante. On aurait puis faire la même chose pour
l´alternative 2
Souleymane Diakité (ENSAE) Var Qual June 30, 2016 11 / 23
I.2 Test d´hypothèses

Test d´Ausman Hausman propose une procédure du test d´indpendance

des alternatives non pertinentes ( H0:IIA) Les étapes de ce test sont les
suivantes :
 b 
β0
On estime le modèle complet : βb =  .. 
β
cJ
On estime le modèle en excluant les modalités choisies ainsi que les
 
βb0
cc =  .. 
individus qui vérifient ces modalités. β
βbl

On compare βb et β cc si l´hypothse IIA H0 est vérifiée alors β

cc est proche
de β. La statistique du test est :
b
cc )0 [Var (β)
Hc = (βb − β b − Var (β
cc )](βb − β
cc ) → χ
nombredelignede β
cc

Souleymane Diakité (ENSAE) Var Qual June 30, 2016 12 / 23

I.2 Test d´hypothèses
Test de Small-Hsiao Le Hc peut être négatif, ce qui est étonnant pour
un χ2 et lorsqu´on a des échantillons de petites tailles, le test de Hausman
tente à rejeter l´hypothse nulle (IIA). C´est pour palier à ces inconvenants
que les statisticiens Small et Hsiao ont proposé le test Small-Hsiao
Etape 1 : On divise l´échantillon en deux ( S2 ,et S2 ) de tailles à peu
près égales
Etape 2 : On estime dans chacun des deux échantillons le modèle
complet on obtient βbS1 et βbS2
Etape 3 : On calcul βbS1S2 = √1 βbS1 + (1 − √1 )βbS2
2 2
Etape 4 : On estime le modèle contraint dans l´échantillon 2 le βbS2c
Etape 5: calculer la statistique
SHc = −2(L(βbS1S2 ) − L(βbS2c )) → χnombredelignede βcc
Remarque:Dans la pratique le test de Hausman et SH peuvent
donner des résultats contradictoires.

Souleymane Diakité (ENSAE) Var Qual June 30, 2016 13 / 23

Test de rapport de vraisemblance.

Test de rapport de vraisemblance.

Ce test peut être utilisé après l´estimation d´un modèle multinomial. Pour
tester l´effet d´une variable sur l´appartenance à une des J catégories
j = 1, ..., J.C´est à dire au moins l´un des paramètres β1k , ..., βJk est non
nul . Cela revient à tester la nullité des J coefficients estimés
β1k = ... = βJk = 0 Le principe du test consiste à calculer la vraie semblance
du modèle non contraint L1 et celle du modèle non contraint L0 . Obtenu
en supprimant la variable explicative Xk . LR = −2(L0 − L1 ) → χ2J

Souleymane Diakité (ENSAE) Var Qual June 30, 2016 14 / 23

L´interprétation
L´interprétation des coefficients d´un modèle multinomial est très délicate.
En effet, si l´on calcule l´effet d´une variable (exemple Xk ) sur la
probabilité que l´individu choisit j plutôt que 0.
∂P(Yi =j|Xi )
∂Xk = P(Yi = j|Xi )[βkj − ΣJh=1 βkj P(Yi = j|Xi )] Pour chaque
variable Xk on doit estimer J effets marginaux associés aux probabilités Pij
On constate que l´effet marginal n´est pas toujours de même signe que
celui du coefficient, il dépend des valeurs de tous les coefficients et non
pas seulement de βkj . De plus, on note que la valeur de l´effet marginal
dépend du point à partir du quel on le mesure. Pour cette raison, on le
calcul le plus souvent au point moyen. Le problème d´interprétation des
coefficients se complique lorsque la variable explicative est une variable
qualitative polytomique. Puisqu´il faut imposer la variable une modalité
de référence à laquelle toutes les autres modalités doivent être comparées,
dans ce cas le lecteur des résultats doit gérer deux références. La catégorie
de référence de la variable dépendante et la modalité de référence de la
variable explicative.
Souleymane Diakité (ENSAE) Var Qual June 30, 2016 15 / 23
Modèle Logit Conditionnel de Mac Fadden

I.3 Modèle Logit Conditionnel de Mac Fadden Caractériistique du

modèle logit que nous venons de définir:
J+1 modalité non ordonnées
La modalité 0 est la modalité de référence β0 = 0
1 seul vecteur de variable explicative Xi pour l’ensemble des
probabilits (les variables ne dépendent que de l’individu i) Ainsi pour
un individus le vecteur de variables explicatives est est le même pour
tous les modalité c’est à dire toutes valeurs prises par la variable Yi
On doit estimer J vecteur de paramètres associés aux modalités 1 J
On peut définir une deuxième modélisation (modèle logit Conditionnel de
Mac Fadden) dans laquelle les variables explicatives dépendent de la
modalité j; Xj ou de la modalité et à l´individu (Xij ) Dans cette
modélisation, les valeurs prises par les variables explicatives se modifient
avec les modalités.
Souleymane Diakité (ENSAE) Var Qual June 30, 2016 16 / 23
Modèle Logit Conditionnel de Mac Fadden

Caractériistique du modèle logit que nous venons de définir: Sachant qu´il

ne serait pas possible d´identifier des paramètres pour chaque valeurs
prises par les variables explicatives, nous allons ici avoir un seul vecteur de
paramètres unique estimer. les probabilités s´écrivent alors :
exp(Xij β)
Pij = P(Yi = j|Xij ) = PJ pourj = 0, ..., J
k=0exp(Xik β)
exp(Xij∗ β)
Pij = P(Yi = j|Xij ) = pourj = 1, ..., J Si la modalité 0 est
1+ Jk=1 exp(Xik∗ β)
P

la modalité de référence on normalise par rapport aux valeurs des variables

explicatives prise pour la modalité 0 :Xij∗ = Xij − Xi0 Comme pour le
modèle loitt multinomial, le rapport des probabilités est indépendant des
Pij
autres modalités = exp((Xij∗ − Xil∗ )β)
Pil
Ce genre de modèle est utilisé pour le choix :
d´un mode de transport
d´un médecin...

Souleymane Diakité (ENSAE) Var Qual June 30, 2016 17 / 23

II)Modèle multinomiaux ordonnées

II.1 La présentation du problème et modélisation Dans le modèle

polytomique ordonné, la variable dépendante est une variable qualitative
ordonnée, c´est-â-dire dont les modalités peuvent être hiérarchisées.
Exemple:Y=Niveau
 d´instruction

 Yi = 1AucunNiveau
Yi = 2Primaire


 Y i = 2Secondaire
Yi = 2Supereur


On considère une variable dépendante ordonée prenant J modalités

m = 1, , J. Pour modaliser cette variable on peut adopter une approche en
terme de variable latente en posant
Yi∗ = Xi β + εi
Ou les (Xik )k=1,...,p sont des variables susceptible d´agir sur Yi∗ comme
dans le cas binomial, la modalité de Y dépend directement de la position
de Yi∗ par rapport aux différents seuils.

Souleymane Diakité (ENSAE) Var Qual June 30, 2016 18 / 23

II)Modèle multinomiaux ordonnées

II.1
 La présentation du problème et modélisation
Y = 1SiY ∗ ≤C
 i i 1
∗ ≤C




 Yi = 2SiC1 ≤ Yi 2



 .
.

 Yi = jSiCj−1 ≤ Yi∗ ≤ Cj

.







 .
Yi = JSiCJ−1 ≤ Yi∗


On suppose que C0 = −∞etCJ = +∞

P(Yi = j) = P(Cj−1 ≤ Yi∗ ≤ Cj ) = P(Cj−1 ≤ Xi β + εi ≤ Cj ) = P( εσi 6
Cj−1 −Xi β C −X β C −X β C −X β
σ ) − P( εσi 6 j σ i ) = F ( εσi 6 j−1σ i ) − F ( εσi 6 j σ i )
Probit Ordonné F ≡ Normal Logit ordonné F ≡ LoisLogistique

Souleymane Diakité (ENSAE) Var Qual June 30, 2016 19 / 23

II)Modèle multinomiaux ordonnées
II.2 Estimation L(Y , β, C ) = ni=1 Jj=1 P(Yi = j)1ij
Q Q

βb = ArgMaxLβ (Y , β, C ) et C
b = ArgMaxLC (Y , β, C )
Il est impossible de dissocier l´estimation des coefficients de celle des
seuils. L´erreur dans le cas du modle probit est égale l´unité par
convention. Les coefficients estimés ne nous renseignent donc pas sur les
valeurs théoriques de ceux-ci qu´à un coefficient multiplicatif prêt. Seul
compte les signes et les valeurs relatives de ces coefficients. Les
coefficients ne sont pas directement interprétables, on doit calculer
l´influence marginale des variables sur les probabilités, en dérivant les
probabilités conditionnelle. Les effets marginaux par rapport une variable
βk C −X β C −X β
quelconque Xk sont donnés par : ∂P(Y i =j)
∂Xk = (f ( j−1σ i ) − f ( j σ i ))
σ
Pour j = 2, ..., J − 1
∂P(Yi =1) βk
∂Xk = − (f ( C1 −X σ
iβ
)
σ
∂P(Yi =J) βk C −X β
∂Xk = (f ( J−1σ i )
σ
Souleymane Diakité (ENSAE) Var Qual June 30, 2016 20 / 23
II)Modèle multinomiaux ordonnées
II.2 Estimation L´effet marginal de la variable Xk est de même que
βk pour P(Yi = J). tant dis qu´il est de signe opposé sur la probabilité
P(Yi = 1). Pour les modalités intermédiaires (m=2 à J-1) le signe de
l´effet marginal n´est pas forcement celui du coefficient. On interprétera
donc un coefficient βk 1 0. En disant que tout accroissement contribue
rendre plus probable la modalité la plus élevée de Y. Un coefficient négatif
signifie que tout accroissement de Xk contribue à tirer vers ces modalités
les plus faibles. A partir des effets marginaux individuels on peut calculer
les effets marginaux globaux sur l´échantillon qui assure l´impact moyen
des variables explicatives sur la probabilité des différentes évènements.
Deux méthodes peuvent être utilisées
La première évalue l´effet marginal moyen en prenant la moyenne
1 P ∂P(Yi =J)
simple des effets marginaux individuels emk = ∂Xk
N
La deuxième faon est de calculer l´effet marginal global au point
moyen emk = ∂P(Y i =J)
∂Xk |X = X
Souleymane Diakité (ENSAE) Var Qual June 30, 2016 21 / 23
II.3 Tests d´hypothèses

II.3 Tests d´hypothèses Test de régression parallèle

Cj −Xi β
P(Yi 6 m | Xi ) = m
P
j=1 P(Yi = j | Xi ) = F ( σ ) Pour m =, ..., J − 1
Cette équation montre que la régression multinomial ordonnée est
quivalent (J-1) régression binaire avec l´hypothse fondamentale β0 = 0 ,
X = x et β 1 = ... = β J−1 Le test de Brant, sert à vérifier l´hypothèse de
parallélisme faite au niveau du modèle multinomial non ordonné. Nous
avons 4 étapes
..
..

Souleymane Diakité (ENSAE) Var Qual June 30, 2016 22 / 23

II.4 Pouvoir prédictif du modèle

II.4 Pouvoir prédictif du modèle

On peut appliquer sur le modèle ordonné le même calcul d´indicateurs de
performance que ceux mises en uvre pour les modèles binomiaux le R 2 de
Mc Fadden se calcul de la même manière quant à la table des bonnes
prédictions on peut considérer la valeur de Yi predict par le modèle est
celle correspond à la plus forte probabilité.

Souleymane Diakité (ENSAE) Var Qual June 30, 2016 23 / 23