Évaluation d'impact par régression discontinuity
Évaluation d'impact par régression discontinuity
discontinuité
Introduction aux méthodes d’évaluation d’impact
des politiques publiques
Philippe De Vreyer
1
Quand va-t-on employer cette
méthode ?
2
Conditions d’emploi de la méthode
• Quand le choix des personnes traitées et non traitées est effectué par
application d’un critère d’éligibilité observable et qui ne peut être manipulé
par les personnes traitées (ou non).
3
Exemples
• Des variations dans le traitement du chômage peuvent s’opérer en
fonction de l’âge ou du lieu d’habitation des chômeurs.
• La consommation d’alcool peut être autorisée à partir d’un certain âge.
• Les bourses d'études peuvent être réservées à des étudiants ayant
obtenu une note minimum à un examen déterminé.
•…
4
Principe
5
Principe
• Utiliser des observations sur des individus à la marge du critère
d'éligibilité pour évaluer l'efficacité du programme
6
Deux configurations possibles
• « Sharp design »: le critère d'éligibilité est appliqué de façon stricte. Le
traitement, T, dépend alors de manière déterministe de la valeur prise
par une variable de sélection S:
𝑇𝑖 = 1 si 𝑆𝑖 ≥ 𝑆 ∗
𝑇𝑖 = 0 si 𝑆𝑖 < 𝑆 ∗
• « Fuzzy design »: la variable de sélection, S, ne fait qu'affecter la
probabilité de participation. La probabilité d’être traité doit être plus
importante lorsqu'on est éligible que lorsqu’on ne l'est pas:
𝑃 𝑇𝑖 = 1 𝑆𝑖 ≥ 𝑆 ∗ > 𝑃 𝑇𝑖 = 1 𝑆𝑖 < 𝑆 ∗
7
Exemple
• A Paris, on désire évaluer l'impact d'une politique de distribution
gratuite de livres de littérature dans les écoles primaires.
8
19ème
10ème
20ème
11ème
9
19ème
10ème
20ème
11ème
• Sharp design : les enfants du 19ème (et uniquement ceux-là) sont scolarisés
dans le 19ème et ceux du 20ème (et uniquement ceux-là) sont scolarisés dans
le 20ème.
• Fuzzy design : habiter sur le côté nord de la rue de Belleville (resp. le côté
sud) accroît la probabilité d'être scolarisé dans le 19ème (resp. le 20ème).
10
Sélection dans le traitement: cas du Sharp design Sélection dans le traitement: cas du Fuzzy design
.7
.6
19ème arrondissement
1
Probabilité de traitement
19ème arrondissement
.5
20ème arrondissement
.4
20ème arrondissement
0
.3
.2
-1 -.5 0 .5 1 -1 -.5 0 .5 1
Distance à la rue de Belleville Distance à la rue de Belleville
11
Théorie
12
Identification de l’effet du traitement
• Notations:
• On peut écrire la valeur observée de la variable d’intérêt pour l’individu 𝑖
sous la forme:
𝑌𝑖 = 𝐸 𝑌𝑖 0 + 𝑌𝑖 1 − 𝑌𝑖 0 . 𝑇𝑖 + 𝑌𝑖 0 − 𝐸(𝑌𝑖 0 )
𝑌𝑖 = 𝛼 + 𝛽𝑖 . 𝑇𝑖 + ε𝑖
13
Cas du « sharp design »
• Hypothèse: les individus situés de part et d’autre de la frontière, mais très proches de celle-ci, sont
strictement comparables:
lim 𝐸 𝜀𝑖 𝑆𝑖 = 𝑠 = lim∗ 𝐸 𝜀𝑖 𝑆𝑖 = 𝑠
∗
𝑆→𝑆− 𝑆→𝑆+
lim 𝐸 𝛽𝑖 𝑆𝑖 = 𝑠 = lim∗ 𝐸 𝛽𝑖 𝑆𝑖 = 𝑠
∗
𝑆→𝑆− 𝑆→𝑆+
𝛽 = 𝐸 𝛽𝑖 𝑆𝑖 = 𝑆 ∗ = lim∗ 𝐸 𝑌𝑖 𝑆𝑖 = 𝑆 − lim∗ 𝐸 𝑌𝑖 𝑆𝑖 = 𝑆
𝑆→𝑆+ 𝑆→𝑆−
Car en effet nous avons:
lim∗ 𝐸 𝑌𝑖 𝑆𝑖 = 𝑆 = 𝛼 + 𝐸 𝛽𝑖 ∗ 1 𝑆𝑖 = 𝑆 ∗ + lim∗ 𝐸 𝜀𝑖 𝑆𝑖 = 𝑠
𝑆→𝑆+ 𝑆→𝑆+
et
lim∗ 𝐸 𝑌𝑖 𝑆𝑖 = 𝑆 = 𝛼 + 𝐸 𝛽𝑖 ∗ 0 𝑆𝑖 = 𝑆 ∗ + lim∗ 𝐸 𝜀𝑖 𝑆𝑖 = 𝑠
𝑆→𝑆− 𝑆→𝑆−
15
Cas du « fuzzy design »
• Hypothèse maintenue: les autres déterminants de la variable d’intérêt,
modélisés par le terme d’erreur 𝜀𝑖 , ne varient pas de façon discontinue
aux alentours du seuil d’éligibilité, 𝑆 ∗ :
lim∗ 𝐸 𝜀𝑖 𝑆𝑖 = 𝑠 = lim∗ 𝐸 𝜀𝑖 𝑆𝑖 = 𝑠
𝑆→𝑆− 𝑆→𝑆+
lim∗ 𝐸 𝛽𝑖 𝑇𝑖 𝑆𝑖 = 𝑆 − lim∗ 𝐸 𝛽𝑖 𝑇𝑖 𝑆𝑖 = 𝑆
𝑆→𝑆+ 𝑆→𝑆−
16
• Deux possibilités:
• L’effet du traitement est le même pour tous les individus au voisinage du seuil
d’éligibilité
17
• Premier cas: effet du traitement constant au voisinage du seuil d’éligibilité:
𝛽𝑖 = 𝛽 𝑝𝑜𝑢𝑟 𝑡𝑜𝑢𝑡 𝑖
On a alors:
lim∗ 𝐸 𝑌𝑖 𝑆𝑖 = 𝑆 − lim∗ 𝐸 𝑌𝑖 𝑆𝑖 = 𝑆
𝑆→𝑆+ 𝑆→𝑆−
= lim∗ 𝐸 𝛽𝑖 𝑇𝑖 𝑆𝑖 = 𝑆 − lim∗ 𝐸 𝛽𝑖 𝑇𝑖 𝑆𝑖 = 𝑆
𝑆→𝑆+ 𝑆→𝑆−
= 𝛽 ∗ lim∗ 𝐸 𝑇𝑖 𝑆𝑖 = 𝑆 − lim∗ 𝐸 𝑇𝑖 𝑆𝑖 = 𝑆
𝑆→𝑆+ 𝑆→𝑆−
lim∗ 𝐸 𝑌𝑖 𝑆𝑖 = 𝑆 − lim∗ 𝐸 𝑌𝑖 𝑆𝑖 = 𝑆
𝑆→𝑆+ 𝑆→𝑆−
𝛽=
lim 𝐸 𝑇𝑖 𝑆𝑖 = 𝑆 − lim∗ 𝐸 𝑇𝑖 𝑆𝑖 = 𝑆
∗
𝑆→𝑆+ 𝑆→𝑆−
18
• Second cas: effet aléatoire du traitement au voisinage du seuil
d’éligibilité.
19
Sélection dans le traitement: cas du Fuzzy design
.7
.6
Probabilité de traitement
19ème arrondissement
.5
20ème arrondissement
.4
.3
.2
-1 -.5 0 .5 1
Distance à la rue de Belleville
20
• Effet aléatoire du traitement au voisinage du seuil d’éligibilité.
21
Mise en oeuvre
22
Mise en oeuvre
• Commencer par vérifier que la variable de traitement, T (distribuer ou
non des livres) présente bien une discontinuité au point S=S* lorsque
le traitement est appliqué.
23
Sélection dans le traitement: cas du Sharp design Sélection dans le traitement: cas du Fuzzy design
.7
.6
19ème arrondissement
1
Probabilité de traitement
19ème arrondissement
.5
20ème arrondissement
.4
20ème arrondissement
0
.3
.2
-1 -.5 0 .5 1 -1 -.5 0 .5 1
Distance à la rue de Belleville Distance à la rue de Belleville
24
Mise en oeuvre
• Vérifier que la variable de traitement, T (distribuer ou non des livres)
présente bien une discontinuité au point S=S* lorsque le traitement est
appliqué.
• S'assurer que Y ne présente pas de discontinuité au point S=S* en
l'absence du traitement.
• A défaut, vérifier que les autres déterminants de Y ne présentent pas
de discontinuité aux alentours de S*.
25
Revenu du ménage en fonction de la distance à la frontière
19ème arrondissement
Revenu du ménage
20ème arrondissement
-1 -.5 0 .5 1
Distance à la rue de Belleville
26
𝛽 = 𝐸 𝛽𝑖 𝑆𝑖 = 𝑆 ∗ = lim∗ 𝐸 𝑌𝑖 𝑆𝑖 = 𝑆 − lim∗ 𝐸 𝑌𝑖 𝑆𝑖 = 𝑆
𝑆→𝑆+ 𝑆→𝑆−
lim∗ 𝐸 𝑌𝑖 𝑆𝑖 = 𝑆 − lim∗ 𝐸 𝑌𝑖 𝑆𝑖 = 𝑆
𝑆→𝑆+ 𝑆→𝑆−
𝛽=
lim∗ 𝐸 𝑇𝑖 𝑆𝑖 = 𝑆 − lim∗ 𝐸 𝑇𝑖 𝑆𝑖 = 𝑆
𝑆→𝑆+ 𝑆→𝑆−
27
• Choisir la largeur, 2h, de la bande autour de la frontière S=S* dans
laquelle seront retenues les observations employées pour calculer
l'estimateur.
19ème
Bande de
largeur 2h.
10ème
20ème
11ème
28
Le calcul en pratique
• Deux façons de procéder:
29
Estimation semi-paramétrique
• « Sharp design »: 𝛽 = 𝑆→𝑆
lim∗ 𝐸 𝑌𝑖 𝑆𝑖 = 𝑆 − lim∗ 𝐸 𝑌𝑖 𝑆𝑖 = 𝑆
𝑆→𝑆−
+
lim∗ 𝐸 𝑌𝑖
𝑆𝑖 = 𝑆 = 𝑦ෞ+
𝑆→𝑆+
30
Estimation par interpolation de la valeur de Y
Variable d'intérêt
y+
0 .5 1
Distance à la frontière
31
Estimation semi-paramétrique
• « Sharp design »: 𝛽 = 𝑆→𝑆
lim∗ 𝐸 𝑌𝑖 𝑆𝑖 = 𝑆 − lim∗ 𝐸 𝑌𝑖 𝑆𝑖 = 𝑆
𝑆→𝑆−
+
lim∗ 𝐸 𝑌𝑖
𝑆𝑖 = 𝑆 = 𝑦ෞ+
𝑆→𝑆+
32
• Deux fonctions couramment employées:
1 𝑧2
• Noyau gaussien 𝑘ℎ 𝑧 = exp − 2
2𝜋 2ℎ
3 𝑧2
• Noyau d’Epanechnikov: 𝑘ℎ 𝑧 = 1− 1{ 𝑧 ≤1}
4 ℎ2 ℎ
.8
.3
.6
Poids
Poids
.2
.4
.1
.2
0
0
-.5 0 .5 -.5 0 .5
z z
33
• Même calcul de l’autre côté de la frontière:
lim∗ 𝐸 𝑌𝑖
𝑆𝑖 = 𝑆 = 𝑦
ෞ−
𝑆→𝑆−
où 𝑦
ෞ− est obtenu en recherchant:
𝛽 = 𝑦ෞ+ − 𝑦
ෞ−
34
lim∗ 𝐸 𝑌𝑖 𝑆𝑖 = 𝑆 − lim∗ 𝐸 𝑌𝑖 𝑆𝑖 = 𝑆
𝑆→𝑆+ 𝑆→𝑆−
• « Fuzzy design »: 𝛽 =
lim 𝐸 𝑇𝑖 𝑆𝑖 = 𝑆 − lim∗ 𝐸 𝑇𝑖 𝑆𝑖 = 𝑆
𝑆→𝑆∗+ 𝑆→𝑆−
• On cherche 𝑡ෞ ෞ
+ et 𝑡− solutions de:
et
min 1{𝑆𝑖 <𝑆 ∗ } 𝑘ℎ ( 𝑆𝑖 − 𝑆 ∗ )(𝑇𝑖 − 𝑡− − 𝑐1 𝑆𝑖 − 𝑆 ∗ − ⋯ − 𝑐𝑝 𝑆𝑖 − 𝑆 ∗ 𝑝 )2
(𝑡− ,𝑐1 ,…,𝑐𝑝 )
𝑖
𝑦ෞ+ − 𝑦
ෞ−
𝛽=
𝑡ෞ
+−𝑡 ෞ−
35
Estimation paramétrique
• « Sharp design »: on estime le modèle suivant par les moindres carrés
ordinaires:
𝑌𝑖 = 𝑚 𝑆𝑖 + 𝛽. 1{𝑆𝑖 >𝑆 ∗} + 𝜀𝑖
36
• « Fuzzy design »: on estime l’équation par doubles moindres carrés en
utilisant 1{𝑆𝑖 >𝑆 ∗} est utilisé pour instrumenter 𝐸(𝑇𝑖 |𝑆𝑖 ).
.7
.6
Probabilité de traitement
19ème arrondissement
.5
20ème arrondissement
.4
.3
.2
-1 -.5 0 .5 1
Distance à la rue de Belleville
37
Effet du traitement sur le résultat au test
19ème arrondissement
Résultat au test
20ème arrondissement
-1 -.5 0 .5 1
Distance à la rue de Belleville
38
Limites et écueils
39
Manipulation du seuil
• Hypothèse fondamentale: les personnes concernées par le programme
ne sont pas en mesure de manipuler le seuil d’éligibilité.
• Dans le cadre d’un programme mis en place par une collectivité locale
par exemple, une mairie ou un département, il ne faut pas que les
individus choisissent leur lieu d’habitation en fonction de la politique
testée.
40
Limites
• La principale limite provient du fait que les résultats ne sont, stricto
sensu, valables que pour les individus localisés à la frontière.
41