Module 5- Questions et
critères de l'évaluation
Ce qu'il faut évaluer
Questions Méthodes et
et critères techniques
Qualité
La (ou les) question(s) de l'évaluation
Exprime une préoccupation a l'état brut, un
besoin que ressent le commanditaire (futur
utilisateur ?)
S'exprime en langage courant
Est le meilleur moyen de se comprendre et de
s'entendre entre commanditaire et
évaluateurs
Les mises au point se font par les moyens
habituels de la communication
interpersonnelle (écoute, re-formulation, etc.)
2
Le processus de focalisation des
questions
Question
de départ
Méthodes et
techniques Etude de
utilisables faisabilité
3
Les différents niveaux d'une
discussion itérative sur les questions,
les méthodes, le coût, ...
Partenaires
Commanditaire
Bénéficiaires
Equipe du
projet, du
Equipe
programme ou
d'évaluation
de la politique
4
Bien classer les questions
Il existe trois types de questions:
Descriptives Comment s’est déroulé le programme, le
profil du personnel en poste était-il adapte,
le projet au départ était-il cohérent…
Normatives Les coûts unitaires sont-ils conformes a ceux
des établissements de même nature, le taux
d’insertion après formation est-il satisfaisant,
la part des dépenses publiques…
D’impact Les revenus des groupes cibles ont-ils été
(causalité) améliorés durablement, dans quelle mesure
l’amélioration de l’état sanitaire résulte du
projet…
5
Bien classer les questions
Ces trois types de questions nécessitent des
méthodes différentes:
Descriptives Etude de cas, entretiens, lecture de
dossiers, enquêtes statistiques
Normatives Analyse comparative: données disponibles,
études de cas, enquête statistique,
analyse coût-bénéfice, analyse coût-
efficacité
D’impact Expérimentation avec groupe de contrôle
(causalité) ou au moins analyse avant-après:
recherche de relations causales, analyse
statistique, analyse prévisionnelle.
6
Les critères d'évaluation
Structure logique
Pérennité
Buts, Finalités Impact
Pertinence
Efficacité
Réplicabilité
Résultats
Cohérence
Produits
Efficience
Activités
Intrants
7
Les critères... Comment s’y retrouver?
Percoeffidu
Pertinence durabilité
(pérennité)
efficacité impact
cohérence efficience
8
Les critères... Quelle est leur utilité?
C'est le "politiquement correct" de
l'évaluation, selon les standards du CAD
Dans les discussions/réflexions sur les
questions d'évaluation, les critères aident à
ne rien oublier et à classer les
préoccupations
Une évaluation "totale" (sur tous les
critères) renforce la logique des conclusions
et donc leur solidité
9
Critères et Questions: la
correspondance
Le programme était il bien approprié ou
Pertinence adéquat pour atteindre le but général poursuivi ?
L'objectif est-il toujours d'actualité aujourd'hui ?
Le programme correspond-il toujours aux
attentes des parties prenantes?
Dans la conception originelle du programme, les
objectifs étaient-ils (sont-ils) cohérents entre
Cohérence eux, les activités prévues permettaient- elles
d'atteindre les objectifs opérationnels visés, les
moyens prévus permettaient-ils de réaliser les
activités envisagées dans les temps impartis ?
10
Critères et Questions: la
correspondance
Efficience Comment le projet, la politique a-t-il
(elle) fonctionné ? Les ressources ont-
elles été bien mobilisées ? Les coûts
unitaires sont-il dans les normes ? Les
résultats immédiats escomptés ont-ils
été effectivement obtenus et dans
quelles conditions de qualité, coût et
délais ? Les résultats ont-ils été à la
mesure des sommes dépensées ? Les
exigences contractuelles ont-elles été
respectées?
11
Critères et Questions: la
correspondance
Efficacité Quel est le niveau d'atteinte de l'objectif principal
du projet ? Le programme a-t-il eu les effets
attendus au niveau des bénéficiaires (correction
des déséquilibres, renforcement institutionnel,
modifications de comportement, etc.) ?
Impact Le programme a-t-il contribué a corriger le
problème visé (niveau de pauvreté par exemple)
ou à produire le développement escompté ? A-t-il
des effets négatifs imprévus ? Les conséquences
globales du programme sont-elles bénéfiques ?
12
Critères et Questions: la
correspondance
Durabilité Les effets du projet ou du programme
seront-ils durables ? Les mécanismes
mis en place sont-ils viables ?
Réplicabilité La politique peut-elle être reproduite?
A quelles conditions ?
13
Un exemple : (Projet FAC d'appui à la formation
professionnelle et Per co ef
à l'emploi, f i1999)
Mali, du
Un but ou finalité
Accroître la productivité et la compétitivité des
entreprises
Pertinence
Contribuer à réhabiliter la formation
professionnelle : (1) Améliorer l'offre, (2) Solvabili-
Un objectif général ser/réguler le marché, (3) Mobiliser les ressources
et les énergies
Impact
Cohérence
Concevoir de nouveaux produits de formation,
répondre aux demandes des opérateurs
économiques, multiplier les formations d'apprentis,
Des objectifs spécifiques d'artisans, de salariés, renforcer les capacités des
Durabilité
opérateurs de formation, professionnaliser les
formateurs, créer une dynamique durable
Ecrire des textes, réhabiliter des locaux, acquérir
Efficacité
des équipements, définir des procédures, des
Des activités systèmes de gestion, former du personnel, monter
des opérations de formation, financer des
demandes de formation, ...
Efficience
Personnel national, ATF, Budget national, Budget
Des moyens du FAC
La structure Le PAFPE
hiérarchique
type d'un projet
14
Comment?
Pour donner à toutes les questions un contenu concret, il
faut repartir des objectifs et des indicateurs de départ
(document de projet et cadre logique). Quand le cadre
logique n'existe pas, l'évaluateur doit le reconstituer.
La structure Les indicateurs associés, Les moyens de
hiérarchique des qui permettent de vérification prévus
objectifs du projet préciser les objectifs (ou à imaginer)
(QQT)
Impacts Indicateurs MdV
Resultats Indicateurs MdV
Produits Indicateurs MdV
Activités Indicateurs MdV
Intrants Indicateurs MdV
15