Module 2 : Mesure d’impact des politiques publiques

Contexte
Dans un contexte marqué par une exigence croissante de rendre des comptes sur l’efficacité
des dépenses publiques, il apparaît important de sensibiliser tant les décideurs politiques que
les agents en charge de la mise en œuvre des politiques aux problèmes posés par la mesure de
l’impact des politiques publiques et aux méthodes développées pour les résoudre. Ce besoin
est manifeste dans les pays en développement où l’atteinte des Objectifs du Développement
Durable (ODD) suppose de sensibiliser tant les experts nationaux et internationaux, acteurs
des politiques publiques ou de l’aide internationale, ainsi que les chercheurs en économie ou
en sciences sociales, aux techniques d’évaluation d’impact moderne et à leurs exigences.

Objectifs du cours

 Comprendre les fondements de l’évaluation d’impact : pourquoi elle est essentielle

pour améliorer l’efficacité des politiques publiques.
 Maîtriser les outils méthodologiques : savoir choisir la bonne méthode selon le
contexte.
 Savoir interpréter les résultats : distinguer corrélation et causalité, comprendre les
limites des études.
 Appliquer les connaissances à des cas réels : utiliser des données pour évaluer des
politiques concrètes.

Contenu pédagogique détaillé

1. Introduction à la mesure d’impact

 Pourquoi évaluer ? : transparence, redevabilité, amélioration continue.

 Notion de causalité : comprendre le lien entre une intervention et ses effets.
 Le contrefactuel : que se serait-il passé sans la politique ?
 Problèmes d’identification : biais de sélection, variables confondantes.

2. Méthodes expérimentales

 Essais contrôlés randomisés (RCT) :

o Principe : assignation aléatoire à un groupe traitement ou contrôle.
o Avantages : forte validité interne.

oLimites : coût, faisabilité, éthique.

 Exemples :
o Programme de transfert monétaire au Kenya.
o Évaluation de l’impact des manuels scolaires en Inde.
3. Méthodes quasi-expérimentales

 Double différence (Diff-in-Diff) :

o Comparaison avant/après entre groupe traité et non traité.
o Hypothèse : tendances parallèles.
 Appariement (Matching) :

Associer des individus similaires selon des variables observables.

 Méthodes : score de propension, nearest neighbor.

 Variables instrumentales (IV) :

 Utiliser une variable corrélée au traitement mais pas à l’issue.

 Exemple : distance à une école comme instrument pour l’éducation.

 Régression sur discontinuités (RDD) :

 Exploiter un seuil d’éligibilité.

 Exemple : bourses attribuées selon un score.

 Séries temporelles interrompues :

 Étudier l’effet d’une intervention sur une série chronologique.

4. Mise en œuvre pratique

 Conception d’un protocole d’évaluation :

o Définir les objectifs, les indicateurs, les hypothèses.
 Collecte de données :
o Sources : enquêtes, registres administratifs, capteurs.
o Qualité des données : représentativité, fiabilité.
 Analyse statistique :
o Régressions, tests d’hypothèses, intervalles de confiance.
 Interprétation :
o Significativité vs pertinence.
o Limites méthodologiques.

Études de cas

 Exemples concrets :
o Impact des cantines scolaires sur la nutrition.
o Effets d’un programme de microcrédit sur l’entrepreneuriat.
o Réforme de l’enseignement primaire et résultats scolaires.
 Travaux pratiques :
 o Analyse de jeux de données avec R ou STATA.
o Simulation d’un protocole d’évaluation.

Communication des résultats

 Rédaction de rapports :
o Structure : résumé, méthodologie, résultats, recommandations.
 Présentation aux décideurs :
o Vulgarisation des résultats.
o Utilisation de graphiques et visualisations.
 Utilisation des résultats :
o Pour ajuster ou abandonner une politique.
o Pour orienter les décisions futures.

1. Méthodes expérimentales

Essais contrôlés randomisés (RCT – Randomized Controlled Trials)

 Principe : Les bénéficiaires sont assignés aléatoirement à un groupe « traitement »

(recevant la politique) ou « contrôle » (ne recevant rien).
 Avantage : Forte validité interne, élimine les biais de sélection.
 Limites :
o Coûteux et parfois difficile à mettre en œuvre.
o Problèmes éthiques (refuser un traitement à certains).
o Validité externe limitée (résultats difficilement généralisables).
 Exemple : Évaluation de l’impact des transferts monétaires au Kenya par
GiveDirectly.

2. Méthodes quasi-expérimentales

Double différence (Diff-in-Diff)

 Principe : Compare l’évolution d’un indicateur avant/après entre un groupe traité et

un groupe témoin.
 Hypothèse clé : Les deux groupes auraient évolué de manière parallèle sans
intervention.
 Avantage : Facile à mettre en œuvre avec des données longitudinales.
 Limites : Sensible aux chocs externes et aux violations de l’hypothèse de tendances
parallèles.
 Exemple : Évaluation d’une réforme fiscale sur le revenu des ménages.
Appariement (Matching)

 Principe : Associe chaque bénéficiaire à un non-bénéficiaire ayant des

caractéristiques similaires (âge, revenu, etc.).
 Méthodes : Score de propension, nearest neighbor, kernel matching.
 Avantage : Permet de contrôler les variables observables.
 Limites : Ne contrôle pas les variables non observables (biais résiduels).
 Exemple : Évaluation de l’impact d’un programme de formation professionnelle.

Variables instrumentales (IV)

 Principe : Utilise une variable externe (instrument) corrélée au traitement mais pas
directement à l’issue.
 Conditions :
o Pertinence : l’instrument influence le traitement.
o Exogénéité : l’instrument n’influence pas directement le résultat.
 Avantage : Corrige les biais d’endogénéité.
 Limites : Difficile de trouver un bon instrument.
 Exemple : Utiliser la distance à une école comme instrument pour l’éducation.

Régression sur discontinuités (RDD)

 Principe : Exploite un seuil d’éligibilité (ex. : score, âge) pour comparer les individus
juste au-dessus et en dessous.
 Avantage : Forte validité interne autour du seuil.
 Limites : Ne concerne que les individus proches du seuil (validité externe limitée).
 Exemple : Évaluation de l’impact des bourses attribuées aux élèves ayant un score
minimal.

Séries temporelles interrompues

 Principe : Analyse l’évolution d’un indicateur avant et après une intervention, sur une
longue période.
 Avantage : Utile quand il n’y a pas de groupe témoin.
 Limites : Sensible aux tendances naturelles et aux événements concomitants.
 Exemple : Impact d’une campagne de vaccination sur les taux de mortalité infantile.

Comparatif synthétique

Méthode Validité Validité Complexité Données requises

interne externe
RCT Très forte Moyenne Élevée Données primaires
Diff-in-Diff Moyenne Bonne Moyenne Données
longitudinales
Appariement Moyenne Bonne Moyenne Données riches en
 variables
Variables Moyenne Moyenne Élevée Instrument valide
instrumentales
RDD Forte Faible Moyenne Données autour du
(localement) seuil
Séries Moyenne Moyenne Moyenne Séries
interrompues chronologiques

Article1 : de Patrice Duran intitulé « Évaluation des politiques publiques : les leçons de
l’expérience », publié dans la Revue française d’administration publique (2021/1, n°177,
pp. 1–15).

Objectifs et portée de l’article

Patrice Duran, sociologue et professeur émérite, propose une réflexion approfondie sur
l’évolution de l’évaluation des politiques publiques en France. L’article s’appuie sur des
décennies d’expérience pour interroger les finalités, les usages et les limites de l’évaluation
dans le champ administratif et politique.

Principaux enseignements

1. Une pratique en tension entre savoir et pouvoir

L’évaluation est souvent présentée comme un outil rationnel au service de la décision

publique. Pourtant, Duran montre qu’elle est traversée par des tensions entre logique
scientifique (production de savoirs objectifs) et logique politique (recherche de légitimation
ou de contrôle). Cette dualité rend l’évaluation vulnérable aux instrumentalisations.

2. L’ambiguïté de la demande d’évaluation

La commande d’évaluation est rarement neutre. Elle peut viser à améliorer une politique, mais
aussi à justifier des choix ou à renforcer une position. Duran insiste sur la nécessité de
clarifier les intentions dès le départ pour éviter les malentendus et garantir l’utilité de
l’exercice.

3. L’évaluation comme espace de négociation

Loin d’être un simple verdict technique, l’évaluation est un processus dialogique. Elle crée un
espace de discussion entre les parties prenantes, favorise la réflexivité et peut conduire à des
ajustements progressifs des politiques. L’auteur valorise cette dimension délibérative comme
essentielle à la qualité démocratique de l’action publique.
Conditions de réussite

Duran identifie plusieurs facteurs clés pour une évaluation efficace :

 Une commande claire et partagée.

 Une temporalité adaptée à la maturité de la politique.
 Une implication réelle des acteurs concernés.
 Une capacité à produire des connaissances mobilisables.

Il souligne le rôle de l’évaluateur comme médiateur, capable de traduire les résultats en

recommandations compréhensibles et utiles.

Vers une éthique de l’évaluation

L’article se conclut par un appel à une posture éthique et réflexive. L’évaluation engage des
choix normatifs : dans la sélection des indicateurs, l’interprétation des résultats, et la manière
de les communiquer. Duran plaide pour une évaluation guidée par des principes de
transparence, de justice et de respect des parties prenantes.

Conclusion

Patrice Duran propose une vision riche et nuancée de l’évaluation des politiques publiques. Il
invite à dépasser une approche technocratique pour reconnaître l’évaluation comme un
processus social, politique et éthique. L’article constitue une contribution précieuse à la
réflexion sur les conditions d’une évaluation utile, légitime et démocratique.

Article 2 : William Parienté intitulé « Mesurer l’effet des politiques publiques : l’essor des
évaluations aléatoires », publié dans la revue Reflets et perspectives de la vie économique
(2016/1, pp. 105–116).

Objectif de l’article

L’auteur explore le développement des évaluations aléatoires dans le champ des politiques
publiques, en particulier dans les pays en développement. Il met en lumière leur apport
méthodologique, leur capacité à produire des résultats robustes, et les limites pratiques et
éthiques de leur mise en œuvre.

Qu’est-ce qu’une évaluation aléatoire ?

 Inspirée des essais cliniques, l’évaluation aléatoire consiste à répartir les bénéficiaires
d’un programme en deux groupes par tirage au sort :

 o Groupe traité : reçoit l’intervention.
o Groupe contrôle : ne la reçoit pas.
 Cette méthode permet de créer un contrefactuel crédible, en assurant que les deux
groupes sont statistiquement identiques au départ.
 Elle offre une forte validité interne, en éliminant les biais de sélection.

Apports à l’économie du développement

L’article illustre l’usage des évaluations aléatoires dans trois domaines clés :

1. Éducation

 Évaluation de l’impact de la distribution de manuels scolaires ou de programmes de

tutorat.

 Résultats parfois contre-intuitifs : certains dispositifs coûteux n’améliorent pas les

résultats scolaires.

2. Santé

 Études sur la vaccination, les moustiquaires, ou les incitations à la médecine

préventive.
 Les évaluations montrent que des interventions simples peuvent avoir des effets
majeurs.

3. Accès au capital

 Programmes de microcrédit ou de subventions aux agriculteurs.

 Les résultats nuancent les attentes : le microcrédit n’a pas toujours les effets escomptés
sur l’entrepreneuriat ou la pauvreté.

Limites et critiques

 Éthique : peut-on refuser une intervention à un groupe pour les besoins de la

recherche ?
 Validité externe : les résultats sont souvent spécifiques à un contexte donné.
 Coût et faisabilité : les évaluations aléatoires demandent des moyens importants et
une coopération institutionnelle.

Conclusion

William Parienté souligne que les évaluations aléatoires ont transformé la manière d’analyser
les politiques publiques. Elles permettent de dépasser les intuitions et d’ancrer les décisions
dans des preuves empiriques solides. Toutefois, elles ne doivent pas être considérées comme
une panacée : leur usage doit être réfléchi, complémentaire à d’autres méthodes, et guidé par
des principes éthiques et politiques clairs.

Article 3 : Adam Baïz et Anne Revillard, intitulé : « Comment articuler les méthodes
qualitatives et quantitatives pour évaluer l’impact des politiques publiques ? Un guide à
l’usage des décideurs et des praticiens »

Objectif du guide

Ce document vise à aider les décideurs publics et les praticiens de l’évaluation à mieux
combiner les approches quantitatives et qualitatives dans l’analyse de l’impact des
politiques publiques. Il propose une lecture complémentaire des deux méthodes, en soulignant
leur apport respectif et les conditions de leur articulation.

Pourquoi articuler les deux approches ?

 Les méthodes quantitatives permettent de mesurer l’ampleur d’un effet, d’établir des
relations causales et de généraliser les résultats.
 Les méthodes qualitatives permettent de comprendre les mécanismes, les perceptions,
les contextes et les effets inattendus.
 L’articulation des deux offre une évaluation plus complète, à la fois robuste sur le
plan statistique et riche en compréhension sociale.

Modalités d’articulation

Le guide identifie plusieurs façons de combiner les deux approches :

1. Articulation séquentielle

 Qualitative avant quantitative : pour explorer les hypothèses, affiner les indicateurs,
comprendre le contexte.
 Quantitative avant qualitative : pour interpréter les résultats, comprendre les écarts
ou les effets inattendus.

2. Articulation parallèle

 Les deux approches sont menées simultanément, sur des échantillons distincts ou
croisés, avec des objectifs complémentaires.

3. Articulation intégrée

 Les données qualitatives et quantitatives sont combinées dans une même analyse, par
exemple dans des modèles mixtes ou des études de cas enrichies.

Recommandations pratiques
  Définir clairement les objectifs de l’évaluation et les questions à traiter.
 Choisir les méthodes en fonction des ressources disponibles, du calendrier et du
niveau d’expertise.
 Assurer une coordination entre les équipes qualitatives et quantitatives.
 Valoriser les résultats de manière cohérente et accessible pour les décideurs.

Conclusion

Baïz et Revillard plaident pour une évaluation pluraliste, qui dépasse les oppositions
méthodologiques et s’adapte aux enjeux concrets des politiques publiques. L’articulation des
méthodes permet non seulement de mieux mesurer les effets, mais aussi de mieux comprendre
les dynamiques sociales à l’œuvre. Le guide constitue une ressource précieuse pour renforcer
la qualité, la légitimité et l’utilité des évaluations.