Variables dépendantes binaires

Certains phénomènes ne peuvent être mesuré que par des

variables binaires.

Exemples:
I aller à l’université ou pas
I fumer ou ne pas fumer
I une demande de prêt est acceptée ou non
On veut modéliser ces décisions. C’est la variable dépendante
qui est binaire.
Application

Discrimination raciale dans l’obtention d’un prêt immobilier.

Données du Federal Reserve Board de Boston obtenues dans
le cadre du HMDA (Home Mortgage Disclosure Act):
I Année: 1990
I Nombre d’observations: 2380
I Variables dépendante: la demande de prêt est–elle
acceptée ou refusée (refus=1)
I Variables explicatives:
I revenu, fortune, statut de l’emploi du requérant
I autres prêts en cours, caractéristiques du bien immobilier
I race du requérant
Un modèle linéaire

Un modèle avec une seule variable explicative

Yi = β0 + β1 Xi + ui

Problèmes d’interprétation lorsque Y est une variable binaire.

∆Y
I On ne peut plus interpréter β1 comme étant ∆X .
I Comment interpréter β0 + β1 Xi ?
I b = 0.26 ?
Comment interpréter Y
Interprétation

Dans le modèle linéaire,

β0 + β1 Xi = E (Yi |Xi )

Lorsque Y est binaire,

E (Y |X ) = 1 × Pr (Y = 1|X = x) + 0 × Pr (Y = 0|X = x)
= Pr (Y = 1|X = x)

I β0 + β1 Xi c’est la probabilité que Yi = 1 lorsque X = Xi .

I bi , c’est l’estimation de cette probabilité.
Y
I β1 mesure la variation de cette probabilité lorsque X
augmente d’une unité.
On parle de modèle linéaire de probabilité.
Application

(Source: Stock et Watson, 2003)

Résultats

d i = − 0.080 + 0.604 PIi

DE (n = 2380)
(0.032) (0.098)

avec DEi , le refus de la demande i (DE = 1 si le prêt est

refusé, DE = 0 si le prêt est accepté), et PIi , le ratio du
remboursement des prêts sur le revenu mensuel du requérant i.
Probabilité d’un refus lorsque PI = 0.3:

Pr (DE = 1|PI = 0.3) = −0.08 + 0.604 × 0.3 = 0.101

et lorsque PI = 0.4:

Pr (DE = 1|PI = 0.4) = −0.08 + 0.604 × 0.4 = 0.162

Résultats (suite)

β̂1 = 0.604 signifie qu’une augmentation de 10% du ratio

remboursement/revenu entraîne une augmentation de la
probabilité d’un refus de la banque de 6%.
Effet de la race

di = − 0.091 + 0.559 PIi + 0.177 BLACKi

DE
(0.032) (0.098) (0.025)

avec BLACKi = 1 si le requérant est de race noire et

BLACK = 0 si le requérant est de race blanche (les autres
minorités ne sont pas représentées dans l’échantillon).
L’effet de la race est significatif à 1%.
Probabilité d’un refus pour un requérant noir avec PI = 0.3

−0.091 + 0.559 × 0.3 + 0.177 × 1 = 0.254

Probabilité d’un refus pour un requérant blanc avec PI = 0.3

−0.091 + 0.559 × 0.3 + 0.177 × 0 = 0.077

Modèle de probabilité linéaire: résumé

Avantages:
I facile à estimer et à interpréter
I inférence se fait de la manière habituelle (erreurs–type
robustes à l’hétéroscédasticité sont cruciales. Pourquoi?)
Désavantages:
I Est–ce bien raisonnable que la probabilité varie
linéairement avec X ?
I Les valeurs prédites pour la probabilité peuvent être
négatives ou supérieures à 1 !
Modèles de probabilité non–linéaires

Plutôt que la probabilité de la variable dépendante, Pr (Y = 1)

varie linéairement avec X , on voudrait
I que 0 ≤ Pr (Y = 1|X ) ≤ 1 pour toute valeur de X
I que Pr (Y = 1|X ) soit une fonction croissante de X (pour
β1 > 0)
Seule une fonction non–linéaire peut remplir ces deux
conditions. La fonction désirée resemble à une ”courbe en S”.
Illustration

(Source: Stock et Watson, 2003)

Deux candidats

Deux fonctions (parmi d’autres) ont les caractéristiques

voulues:
I la fonction de distribution cumulative normale: modèle
probit
I la fonction logistique: modèle logit
En pratique les deux modèles donnent des résultats voisins.
Modèle probit

Z β0 +β1 X
1 z2
Pr (Y = 1|X ) = Φ (β0 + β1 X ) = √ e− 2 dz
−∞ 2π
On appelle parfois β0 + β1 X , la z–valeur ou le z–indice du
modèle probit
Exemple: si β0 = −2, β1 = 3 et X = 0.4, alors

Pr (Y = 1|X = 0.4) = Φ(−2 + 3 × 0.4) = Φ(−0.8) = 0.2119

Cumulative normale
A l’aide de R

> pnorm(-0.8)
[1] 0.2118554
Pourquoi une loi normale ?

I Sa forme en S nous donne ce qu’on voulait:

I 0 ≤ Pr (Y = 1|X ) ≤ 1 pour toute valeur de X
I Pr (Y = 1|X ) est une fonction croissante de X (pour
β1 > 0)
I Facile à utiliser: la loi cumulative est disponible dans les
tables statistiques ou dans les programmes de statistiques
I Interprétation relativement simple:
I z–valeur = β0 + β1 X
I β̂0 + β̂1 X est la valeur prédite de la z–valeur étant donné X
I β1 est la variation de la z–valeur pour une variation de X
d’une unité.
Exemple d’estimation

Pr (DE = 1|PI) = Φ( −2.19 + 2.97 PI)

(0.16) (0.47)

I β̂1 est positif

I les erreurs–type s’interprètent comme d’habitude
I prédiction de probabilités

Pr (DE = 1|PI = 0.3) = Φ(−2.19 + 2.97 × 0.3) = Φ(−1.30) = 0.097

Pr (DE = 1|PI = 0.4) = Φ(−2.19 + 2.97 × 0.4) = Φ(−1.00) = 0.159

Une augmentation du ratio remboursement des prêts/revenu de 0.3 à 0.4 entraînerait une augmentation de
la probabilité d’un refus de la banque de 9,7% à 15,9%
Modèle probit à plusieurs variables

Pr (Y = 1|X1 , X2 ) = Φ (β0 + β1 X1 + β2 X2 )

I z–valeur est z = β0 + β1 X1 + β2 X2
I β1 est la variation de la z–valeur pour une variation de X1
de une unité, X2 restant constant.
Estimation

Pr (DE = 1|PI, BLACK ) = Φ( −2.26 + 2.74 PI+ 0.71 BLACK )

(0.16) (0.44) (0.08)

I Est–ce que le coefficient de BLACK est significatif?

I Effet de la race lorsque PI = 0.3:

Pr (DE = 1|PI = 0.3, BLACK = 1)

= Φ(−2.26 + 2.74 × 0.3 + 0.71 × 1) = 0.233
Pr (DE = 1|PI = 0.3, BLACK = 0)
= Φ(−2.26 + 2.74 × 0.3 + 0.71 × 0) = 0.075

Différence des probabilités: 15,8%

Modèle logit

1
Pr (Y = 1|X ) = F (β0 + β1 X ) =
1+ e−(β0 +β1 X )
Exemple: si β0 = −2, β1 = 3 et X = 0.4, alors

1
Pr (Y = 1|X = 0.4) = F (−2+3×0.4) = F (−0.8) = = 0.31
1 + e0.8
Pourquoi deux modèles

I Historiquement, la logit était facile à calculer

I En pratique, les résultats sont très similaires (pas
nécessairement la valeur de β̂)
Exemple

Modèle probit:

Pr (DE = 1|PI, BLACK ) = Φ( −2.26 + 2.74 PI + 0.71 BLACK )

(0.16) (0.44) (0.08)

Pr (DE = 1|PI = 0.3, BLACK = 0) = Φ(−2.26 + 2.74 × 0.3 + 0.71 × 0) = 0.07547

Modèle logit:

Pr (DE = 1|PI, BLACK ) = F ( −4.13 + 5.37 PI + 1.27 BLACK )

(0.34) (0.98) (0.15)

Pr (DE = 1|PI = 0.3, BLACK = 0) = F (−4.13 + 5.37 × 0.3 + 1.27 × 0) = 0.07485

Illustration

(Source: Stock et Watson, 2003)

Méthodes d’estimation

Modèle probit:
Z β0 +β1 X
1 z2
Pr (Y = 1|X ) = Φ (β0 + β1 X ) = √ e− 2 dz
−∞ 2π

I Comment estimer β0 et β1 ?
I Quelle est la distribution de ces estimateurs?
I Pourquoi peut–on utiliser les méthodes usuelles pour
l’inférence?
Estimateur des moindres carrés non–linéaires

Rappel, MCO:
n
X
min [Yi − (b0 + b1 Xi )]2
b0 ,b1
i=1

la solution de ce problème est la formule de l’estimateur des

MCO.
Dans le modèle probit, la fonction de régression est
non–linéaire, mais on pourrait résoudre
n
X
min [Yi − Φ (b0 + b1 Xi )]2
b0 ,b1
i=1

la solution de ce problème est l’estimateur des moindres carrés

non–linéaires.
Calculer l’estimateur MCNL

n
X
min [Yi − Φ (b0 + b1 Xi )]2
b0 ,b1
i=1

I Contrairement au cas des MCO, ce problème de

minimisation n’a pas de solution analytique.
I Pour chaque problème d’estimation, il faut utiliser une
routine de minimization numérique
I En pratique, cet estimateur n’est pas utilisé, car
l’estimateur du maximum de vraisemblance à une plus
petite variance. Il est plus efficace.
Maximum de vraisemblance

La fonction de vraisemblance est la densité conditionnelle des

observations Y1 ,. . . ,Yn , étant donné X1 ,. . . ,Xn , traitée comme
une fonction des paramètres inconnus β0 et β1 .
I L’estimateur du maximum de vraisemblance est la valeur
de β0 et β1 qui maximise cette fonction.
I L’estimateur du maximum de vraisemblance est la valeur
des coefficients qui décrit le mieux l’ensemble de la
distribution des données.
I Pour les grands échantillons, l’estimateur du maximum de
vraisemblance est
I convergent
I normalement distribué
I efficace (il a la plus petite variance de tous les estimateurs)
Exemple de calcul

Un modèle sans variable explicative


1 avec probabilité p
Y =
0 avec probabilité 1 − p

C’est une distribution de Bernoulli.

Données: Y1 , Y2 , . . . , Yn , i.i.d.
Densité de Y1 : Pr (Y1 = 1) = p et Pr (Y1 = 0) = 1 − p
On peut écrire Pr (Y1 = y1 ) = p y1 (1 − p)1−y1

Densité jointe de (Y1 , Y2 ):

Pr (Y1 = y1 et Y2 = y2 ) = Pr (Y1 = y1 ) × Pr (Y2 = y2 )

= p y1 (1 − p)1−y1 × p y2 (1 − p)1−y2
Exemple (suite)

Densité jointe de Y1 , Y2 , . . . , Yn :

Pr (Y1 = y1 et Y2 = y2 et . . . et Yn = yn )
= Pr (Y1 = y1 ) × Pr (Y2 = y2 ) × . . . × Yn = yn
= p y1 (1 − p)1−y1 × p y2 (1 − p)1−y2 × . . . × p yn (1 − p)1−yn
P P
= p yi
(1 − p)(n− yi )

La vraisemblance est la densité jointe traitée comme une

fonction des paramètres, p dans cet exemple:
P P
f (p; Y1 , . . . , Yn ) = p Yi
(1 − p)(n− Yi )
Maximum de vraisemblance

Pour trouver le maximum de vraisemblance, il faut maximiser

f () par rapport à p, en prenant les observations comme
données. Cela revient au même et il est plus facile de
maximiser le logarithme de la vraisemblance:
n
! n
!
X X
max Yi ln(p) + n − Yi ln(1 − p)
p
i=1 i=1

Condition du premier ordre:

n
! n
!
d ln f (p; Y1 , . . . , Yn ) X 1 X −1
= Yi + n− Yi
dp p 1−p
i=1 i=1
= 0
Solution

n
! n
!
X 1 X −1
Yi + n− Yi = 0
p̂ MV 1 − p̂ MV
i=1 i=1

1
1
Ȳ = 1 − Ȳ
p̂ MV 1 − p̂ MV
Ȳ p̂ MV
=
1 − Ȳ 1 − p̂ MV
p̂ MV = Ȳ

p̂ MV , l’estimateur du maximum de vraisemblance de p, est égal

à la proportion de 1s dans l’échantillon.
Modèle probit

Avec une variable explicative:

Pr (Y1 = y1 |X1 ) = Φ (β0 + β1 X1 )y1 [1 − Φ (β0 + β1 X1 )]1−y1

Fonction de vraisemblance:

f (β0 , β1 ; Y1 , . . . , Yn |X1 , . . . , Xn )
n o
= Φ (β0 + β1 X1 )y1 [1 − Φ (β0 + β1 X1 )]1−y1 ×
n o
. . . × Φ (β0 + β1 Xn )yn [1 − Φ (β0 + β1 Xn )]1−yn

On ne peut pas trouver le maximum analytiquement, il faut

utiliser une méthode numérique.
Estimateur du maximum de vraisemblance

I Pour les grands échantillons, l’estimateur du maximum de

vraisemblance est distribué selon une loi normale.
I Les hypothèses peuvent se tester à l’aide de la statistique
de t ou de F .
I L’intervalle de confiance à 95% est ±1.96SE .
Mesures d’ajustement

1. La proportion de prédictions correctes: fraction des Yi pour

lesquels la probabilité prédite > 50%, si Yi = 1 et < 50%, si
Yi = 0.
2. le pseudo R 2 mesure l’amélioration du logarithme de la
vraisemblance par rapport au cas sans variable explicative
max
ln fprobit
pseudo R 2 = 1 − max
ln fBernoulli
Application

I L’obtention d’un prêt est essentiel pour acheter un

logement
I Existe–t–il une différence d’accès aux prêts immobiliers
selon la race?
I Si deux individus parfaitement identiques, l’un blanc,
l’autre noir, demandent un prêt, ont-ils une probabilité
différente de l’obtenir?
Données

I Données sur les caractéristiques individuelles des

requérants, les caractéristique du bien immobilier, et la
décision d’octroi du prêt ou non.
I Processus de demande de prêt en 1990–1991:
I Remplir un formulaire de demande de prêt (informations
personnelles et financières)
I Rencontrer un responsable de la banque
I Le responsable décide d’accepter ou de refuser la
demande. Légalement, il ne peut utiliser l’origine raciale
comme critère. Il doit se baser sur les variables financières.
Son objectif est de minimiser le risque de non–repaiement
du prêt.
Modèle

Probit

Pr (DE = 1|BLACK , autres variables explicatives)

Plusieurs variables manquantes pourraient être à l’origine d’un

biais d’omission, car elles pourraient être corrélée avec la race
I fortune, statut de l’emploi
I remboursement des prêts précédents
I statut familial
Variables disponibles (I)

(Source: Stock et Watson, 2003)

Variables disponibles (II)

(Source: Stock et Watson, 2003)

Résultats (I)

(Source: Stock et Watson, 2003)

Résultats (II)

(Source: Stock et Watson, 2003)

Résultats (III)

(Source: Stock et Watson, 2003)

Discussion

I les coefficients sur les variables financières sont

raisonnables
I BLACK est significatif dans toutes les spécifications
I les interactions race–variables financières ne sont pas
significatives
I l’introduction d’autres variables explicatives diminue l’effet
de la race sur la probabilité d’un refus
I MPL, probit, logit, fournissent des résultats similaires sur
l’effet de la race sur la probabilité d’un refus
I l’effet estimé est important d’un point de vue économique
Evaluation

I variables manquantes: qu’est–ce que le responsable du

crédit apprend lors de l’entretien ?
I mauvaise spécification de la forme fonctionnelle: non
I erreurs de mesure: pas par rapport aux variables qui
affectent la décision
I bais de sélection: non
I causalité simultanée: non
I validité externe: ?
Résumé

I Si Y est binaire, E (Y |X ) = Pr (Y = 1|X ).

I Trois modèles:

I modèle de probabilité linéaire,

I modèle probit,
I modèle logit.
I Les trois modèles permettent de calculer des prédictions pour les probabilités.
I β̂1 estime l’effet d’un changement ∆X sur la probabilité que Y = 1. Dans le modèle probit et logit, cet effet
dépend de la valeur de X.

I Les modèles probit et logit sont estimés par le maximum de vraisemblance.

I Pour un grand échantillon, l’estimateur est distribué selon

une loi normale.
I Les test d’hypothèses et les intervalles de confiance sont
calculés selon les procédures habituelles.