36 pages EVALUATION 13/03/08 12:04 Page couv1

36 pages EVALUATION 13/03/08 12:04 Page couv2

36 pages EVALUATION 13/03/08 12:04 Page 3

L’ÉVALUATION EN 9 ÉTAPES
DOCUMENT PRATIQUE
POUR L’ÉVALUATION DES ACTIONS SANTÉ ET SOCIAL

Ce document a pour objectif de vous guider en pratique dans les étapes d’une
évaluation d’action dans le domaine de la santé ou du secteur social.
Il a été rédigé par le Groupe-ressource en évaluation de l’Espace Régional de
Santé Publique.
Le Groupe-ressource en évaluation est soutenu par la DRASS (Direction
Régionale de l’Action Sanitaire et Sociale), la Région Rhône-Alpes et l’URCAM
(Union Régionale des Caisses d’Assurance Maladie).
Cette nouvelle édition a été possible grâce au soutien financier de la Région
Rhône-Alpes.
Ce document est téléchargeable sur le site Internet de l’ERSP :
[Link], rubrique méthodologie/évaluation

E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8 PAGE 3
36 pages EVALUATION 13/03/08 12:04 Page 4

L’ÉVALUATION EN 9 ÉTAPES/POURQUOI ÉVALUER SES ACTIONS ?

SOMMAIRE 5-6
Pourquoi évaluer ses actions ?

7-9
La vie d’une action et la place de l’évaluation

10-13 étape_1
Préalables

14-15 étape_2
Le cadre logique du programme

16-19 étape_3
Planification de l’évaluation : questions, critères et indicateurs

20-21 étape_4
Méthodes d’évaluation et sources de données

22-23 étape_5
Le recueil d’informations par enquête : choisir le bon outil

24 étape_6
Organiser l’évaluation en établissant son cahier des charges

25-27 étape_7
Réaliser l’enquête d’évaluation

28-29 étape_8
Analyser les données et rédiger le rapport

30 étape_9
Valoriser l’évaluation pour une prise en compte des recommandations

32-33
Lexique de l’évaluation

34
Pour en savoir plus

PAGE 4 E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8
36 pages EVALUATION 13/03/08 12:04 Page 5

L’ÉVALUATION EN 9 ÉTAPES/POURQUOI ÉVALUER SES ACTIONS ?

2. L’ÉVALUATION, UN EXERCICE
POURQUOI BUREAUCRATIQUE ?

EVALUER SES ACTIONS ? « Ecrire encore un rapport d’évaluation, ce

n’est qu’un travail bureaucratique… On
nous demande de faire de la pape-
Vous mettez en œuvre une action* dans le domaine social et/ou rasse au détriment de l’action ! »
de la santé. Le financeur vous demande de l’évaluer. Est-ce une L’évaluation n’est pas un travail décon-
« catastrophe », une contrainte bureaucratique, ou bien une necté de l’action. C’est au contraire une
opportunité pour prendre du recul par rapport à cette action ? façon de refermer la boucle du projet en
Ce document a pour but de vous aider à répondre à ces revenant aux intentions de départ et aux
questions et de vous guider dans les 9 étapes de la réalisation objectifs visés. L’évaluation est un exer-
d’une évaluation. Mais auparavant, il convient de s’entendre sur cice « démocratique » qui permet de
prendre du recul, avec tous les parte-
l’intérêt d’une évaluation et sur sa place dans la « méthodologie naires, par rapport à une action. Et le
de projet ». rapport est un outil de communication
avec les partenaires, avec les finan-
ceurs et avec les bénéficiaires.
L’évaluation est aujourd’hui incon-
tournable. Dès le dépôt d’un dossier 3. EVALUATION OU CONTRÔLE ?
de financement, il est demandé aux
« porteurs de projet » comment ils « Rendre compte de l’utilisation de
vont évaluer leur action. Face à cette l’argent public, oui, bien sûr. Mais si
injonction, ils se posent souvent des nous évaluons, nous risquons de per-
questions sur l’intérêt qu’ils ont réel- dre nos financements… Au fond, les
lement à se lancer dans cet exercice. financeurs demandent des évalua-
En voici les principales : tions pour faire des économies ! »
Toute évaluation (en fait, toute informa-
1. L’ÉVALUATION, tion) peut être utilisée de façon
UNE PERTE DE TEMPS ? perverse contre un organisme ou une
« Nous avons tant à faire avec la personne. Mais si les financeurs
rédaction des projets et avec l’action demandent d’évaluer les actions, c’est
elle-même… Nous n’aurons jamais le qu’ils ont besoin de savoir comment les
temps d’évaluer… Et puis ça ne sert à actions qu’ils financent se déroulent et
rien, nous savons bien que nos quels effets elles produisent. Il est éga-
actions sont efficaces ! » lement important pour eux de savoir
que les porteurs de projet analysent
L’évaluation prend du temps, en effet, leurs actions et sont capables de les
mais comment savoir ce qui se passe faire évoluer pour les améliorer.
réellement pour les bénéficiaires*
sans leur demander ? Les interve-
nants ont leur ressenti de l’action, 4. EVALUER SOI-MÊME SES
mais il est partiel, subjectif, et souvent ACTIONS EST-IL VALIDE ?
ils ne le formalisent pas dans un « Nous ne pouvons pas évaluer nous-
document. Les autres (partenaires, mêmes nos actions, on ne peut pas
financeurs) ne peuvent se construire être juge et partie… Il faudrait un éva-
une représentation suffisamment luateur extérieur à notre association,
complète sur l’action s’il n’y a pas de mais c’est au-delà de nos moyens ! »
véritable évaluation. De même, avant L’évaluation utilise des méthodes
de reconduire une action, il est inté- scientifiques d’enquête, qui sont
ressant de se poser la question de son appliquées à l’action. Une évaluation
sens et des changements qu’elle a faite par les acteurs eux-mêmes est
permis pour les bénéficiaires. valide quand elle croise la perception
(subjective) de différents groupes
(par exemple, les acteurs et les
bénéficiaires) et quand elle utilise
* Les mots suivis d’une étoile sont définis
précisément dans le lexique en fin de
des moyens d’enquête qui laissent
document. Ils ne sont signalés qu’une fois les bénéficiaires libres de leur
par chapitre pour plus de lisibilité. réponse (questionnaire par exemple).

E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8 PAGE 5
36 pages EVALUATION 13/03/08 12:04 Page 6

L’ÉVALUATION EN 9 ÉTAPES/POURQUOI ÉVALUER SES ACTIONS ?

5. FAUT-IL ÉVALUER SES ne fait que décrire le déroulement de

ACTIONS TOUS LES ANS ? l’action, n’est pas suffisant. Il faut aussi
« Même si nous avions les moyens, une appréciation critique (en positif et
cela n’aurait pas de sens dans une négatif) sur l’action pour qu’il devienne
action pluriannuelle de faire une un rapport d’évaluation. Quelques indi-
enquête chaque année pour savoir si cateurs* peuvent suffire pour montrer
les objectifs sont atteints… Pourtant, que les activités se sont déroulées
le financeur nous demande chaque comme prévu et qu’elles ont atteint leur
année une évaluation ! » public. Mais quand il y a une décision
L’évaluation doit en effet être dimen- particulière à prendre, un problème de
sionnée en fonction de l’action et des mise en œuvre, ou un besoin d’appro-
questions qui se posent. Un simple fondir, l’évaluation doit être plus
« rapport d’activités » ou « bilan », qui développée pour y répondre.

QUELQUES CONSEILS POUR BIEN METTRE

L’EVALUATION SUR LES RAILS

Prévoir l’évaluation dès la conception de l’action. Dans le dossier de
financement, il faut prévoir de façon aussi précise que possible les changements
attendus chez les bénéficiaires (les objectifs*) et prévoir du temps pour recueillir
des informations auprès des bénéficiaires et/ou des partenaires (par exemple,
un temps d’animation orienté sur l’évaluation, un questionnaire, des
entretiens…). En fonction du déroulement de l’action, on définira plus
précisément les questions à poser et les méthodes de recueil de ces
informations.

L’évaluation est à construire « sur mesure », en fonction de l’action et des
questions qui se posent à un moment donné. Il n’y a pas d’évaluation « clés en
mains » avec des indicateurs prêts à l’emploi. Chaque action a ses objectifs, son
public, ses acteurs, son contexte local. C’est en élaborant l’évaluation qu’on
décidera de réutiliser des indicateurs et outils déjà existants parce qu’ils seront
pertinents.

Une évaluation participative* et négociée implique les acteurs (intervenants,
partenaires, financeurs), qui se mettent d’accord sur le sens donné à
l’évaluation, et qui définissent les questions posées à l’évaluation et les
méthodes à utiliser. C’est la meilleure configuration pour donner à l’évaluation
sa fonction « démocratique » (le partage des points de vue), son rôle de
valorisation des succès de l’action et son rôle de moteur du changement pour
améliorer les points faibles.

Dimensionner l’évaluation en fonction de l’action. Une action longue et suivie
avec le même public peut faire l’objet d’une évaluation plus approfondie qu’une
action ponctuelle. Mais quelle que soit l’action, il est légitime de se poser la
question de ses effets.

L’évaluation s’organise comme une action : elle se planifie (avec des objectifs
qui sont les questions posées), elle se réalise et… elle produit ses effets (elle
contribue à la prise de décision et à l’information).

PAGE 6 E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8
36 pages EVALUATION 13/03/08 12:04 Page 7

L’ÉVALUATION EN 9 ÉTAPES/LA VIE D’UNE ACTION ET LA PLACE DE L’EVALUATION

LA VIE D’UNE ACTION ET LA PLACE DE

L’EVALUATION
La « méthodologie de projet » s’intéresse à la planification*, à la réalisation et à l’évaluation d’une
action, quel que soit son domaine. Elle propose une approche systématique de l’action, pour éviter que
l’évaluation soit menée de façon implicite, avec un risque important de ne pas s’entendre avec les
partenaires, de ne pas être pertinent auprès du public et de ne pas être compris des financeurs.
Voici les étapes de la vie d’une action, illustrées par un exemple.

1. AU COMMENCEMENT EST LE DIAGNOSTIC*…

DIAGNOSTIC Au préalable de toute action, il est nécessaire de faire le point sur la situation que
DE SITUATION l’on observe : il s’agit de faire un diagnostic de situation et de dégager le(s)
CHOIX DES
PRIORITÉS problème(s) prioritaire(s) au(x) quel(s) on souhaite répondre.
Exemple : Les usagers de drogue par voie intraveineuse (UDI) sont de moins en
moins concernés par les infections à VIH (virus du sida), sans doute grâce aux distri-
butions de matériel d’injection stérile et à l’arrêt des pratiques les plus à risque
(échange de seringue ou d’aiguille). Par contre, ils sont très nombreux à être infectés
par le virus de l’hépatite C (VHC) et par celui de l’hépatite B (VHB). La transmission de
ces virus continue du fait du partage du matériel de préparation (filtre, cuiller). Il y a
également d’autres risques infectieux locaux (abcès) ou généraux (septicémies, etc.)
du fait de la réutilisation de matériel. Les UDI s’approvisionnent en seringues en
grande majorité en les achetant en pharmacie.

2. LE CAP À SUIVRE : LES OBJECTIFS*

DIAGNOSTIC C’est le temps de la planification* qui consiste à définir les objectifs, c’est-à-dire
DE SITUATION les changements attendus auprès des bénéficiaires :
CHOIX DES
PRIORITÉS
L’objectif général*, ou objectif de santé (ou social) est celui qui donne le sens de
l’action. Il s’exprime en termes de santé ou de situation sociale et décrit la
OBJECTIFS diminution du problème prioritaire.
GÉNÉRAUX
ET SPÉCIFIQUES
Les objectifs spécifiques* sont les effets directement attendus de l’action. Ils
concernent les publics touchés par l’action et peuvent s’intéresser à leurs
connaissances, opinions, compétences, capacités, comportements…
Exemple : L’objectif de santé (objectif général) est de diminuer les nouveaux cas d’infec-
tions, notamment à VHC et VHB, chez les usagers de drogue par voie intraveineuse (UDI).
L’objectif spécifique de l’action est de réduire la prise de risque infectieux chez les UDI
par l’utilisation systématique de kits de préparation et d’injection stériles.

3. LA PROGRAMMATION* : QUELLES ACTIVITÉS* ET QUELLES

RESSOURCES* PRÉVOIR
Les objectifs montrent l’intention. Il s’agit maintenant de prévoir les activités qui
DIAGNOSTIC
DE SITUATION vont concrètement permettre de les atteindre :
CHOIX DES
PRIORITÉS
quelles activités mettre en place ?

pour quels groupes cibles* ?
OBJECTIFS
avec quels acteurs (en interne, ou avec des partenaires) et quelles ressources
GÉNÉRAUX
ET SPÉCIFIQUES en argent, outils, matériels ?
Exemple : Les activités consistent d’abord à recruter des pharmacies volontaires
ACTIVITÉS GROUPES pour mettre en place avec les UDI qui le souhaitent un protocole d’échange de
PRÉVUES CIBLES
kits d’injection. En échange des kits utilisés, le pharmacien leur remettra
gratuitement de nouveaux kits. Les kits usagés seront éliminés dans un conte-
RESSOURCES neur sécurisé et l’association de réduction des risques les évacuera et
PRÉVUES
approvisionnera la pharmacie en kits et conteneurs neufs.

E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8 PAGE 7
36 pages EVALUATION 13/03/08 12:04 Page 8

L’ÉVALUATION EN 9 ÉTAPES/LA VIE D’UNE ACTION ET LA PLACE DE L’EVALUATION

4. ENFIN DE L’ACTION ! LA MISE EN ŒUVRE ET LE PILOTAGE*

DIAGNOSTIC La mise en œuvre de l’action consiste à mobiliser les ressources
DE SITUATION humaines, matérielles et financières, puis à réaliser les activités avec
CHOIX DES
PRIORITÉS les publics retenus, en gardant le cap sur les objectifs.
Le pilotage de l’action se fait grâce à l’évaluation du processus*
OBJECTIFS (flèches en pointillé rouge dans le schéma), qui s’intéresse à l’écart
GÉNÉRAUX
ET SPÉCIFIQUES
entre ce qui est prévu dans la programmation et ce qui est réellement
mis en œuvre sur le terrain :
ACTIVITÉS GROUPES GROUPES ACTIVITÉS
les ressources sont-elles mobilisées comme prévu ? Sinon pourquoi ?
PRÉVUES CIBLES ATTEINTS RÉALISÉES

les activités sont-elles réalisées comme prévu ? Sinon pourquoi ?
?
les groupes cibles sont-ils atteints comme prévu ? Sinon pourquoi ?
RESSOURCES RESSOURCES
PRÉVUES MOBILISÉES Exemple : L’action est mise en œuvre par l’association grâce à un finance-
ment. Le comité de pilotage décide du recrutement d’autres pharmacies
pour compenser les défections intervenues surtout en début d’action. Des
outils de suivi de l’action sont mis en place pour approvisionner les kits et
récupérer les conteneurs. Seuls 15 % des UDI ont préféré continuer à
acheter leurs kits, les autres ont bien adhéré au système d’échange (taux
de retour des kits de 80 %). La « fidélisation » est meilleure dans les
pharmacies de quartier que dans les « 24h/24 ».

5. RETOUR AUX INTENTIONS : L’ÉVALUATION DE L’IMPACT*

(évaluation en fin d’action)
DIAGNOSTIC Ce dernier temps est celui de l’évaluation en fin d’action ou à la fin
DE SITUATION d’une de ses phases. Il s’agit de revenir aux intentions de départ, à la
CHOIX DES
PRIORITÉS ? IMPACT
lumière de tout ce qui a été fait durant l’action.
On distingue deux niveaux dans l’évaluation de l’impact d’une action
OBJECTIFS OBJECTIFS AUTRES EFFETS (flèches en pointillé rouge dans le schéma) :
GÉNÉRAUX ATTEINTS PRÉVUS
ET SPÉCIFIQUES (RÉSULTATS) OU INATTENDUS
L’évaluation des résultats*, ou de l’efficacité* de l’action, concerne l’at-
teinte des objectifs spécifiques. Rappelons qu’ils portent sur les effets
directs de l’action. Autrement dit, ils lui sont totalement imputables.
ACTIVITÉS GROUPES GROUPES ACTIVITÉS
L’évaluation d’impact peut aussi porter sur l’objectif général, ou
PRÉVUES CIBLES ATTEINTS RÉALISÉES objectif de santé (ou social). Rappelons cependant que l’action n’a
qu’un effet indirect sur l’objectif général et que son évolution ne peut
RESSOURCES RESSOURCES être totalement imputée à l’action.
PRÉVUES MOBILISÉES

Elle peut enfin porter sur d’autres effets prévus ou imprévus, souhaités
ou négatifs.
L’évaluation d’impact permet de conclure sur la pertinence* de l’action,
c’est-à-dire sa capacité à faire évoluer une situation problématique.
Elle donne ainsi des éléments pour voir comment poursuivre ou faire
évoluer l’action.
Exemple : L’évaluation par questionnaire semble montrer une diminution
de l’utilisation à plusieurs du matériel d’injection (l’objectif spécifique). Les
données des pharmaciens vont aussi dans le sens d’une plus grande
utilisation de matériel stérile par les UDI. Par contre, ils continuent de
réutiliser leur matériel, la plupart s’injectant plusieurs fois par jour.
Les pharmaciens ont également été interrogés. Ils ne constatent pas
d’effet de l’action sur le fonctionnement de leur officine : ni perturba-
tion, ni afflux d’UDI, mais au contraire, meilleure relation avec certains
du fait du support de l’échange de kits. Les réponses des UDI sont
concordantes, l’action a donc contribué à améliorer les relations entre
UDI et pharmaciens (impact).
Il n’a pas été possible de mesurer un éventuel impact sur les nouvelles
infections par hépatites B ou C (l’objectif général).

PAGE 8 E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8
36 pages EVALUATION 13/03/08 12:04 Page 9

L’ÉVALUATION EN 9 ÉTAPES/LA VIE D’UNE ACTION ET LA PLACE DE L’EVALUATION

NOTES

E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8 PAGE 9
36 pages EVALUATION 13/03/08 12:04 Page 10

L’ÉVALUATION EN 9 ÉTAPES/PRÉALABLES

étape_1

PRÉALABLES
Avant d’entreprendre toute démarche d’évaluation, il y a quatre
étapes préalables à réaliser :
1.Déterminer les objectifs et préciser les raisons de l’évaluation
2.Répondre aux questions préparatoires pour s'assurer que l'évaluation
est pertinente et réalisable
[Link] un comité d'évaluation*
[Link] une évaluation interne, externe ou mixte

1. LES OBJECTIFS ET RAISONS DE L’ÉVALUATION :

ÉVALUER POURQUOI ET POUR FAIRE QUOI ?
Il existe deux demandes d’évaluation :
Une demande interne, Et/Ou Une demande
issue de votre organisme des financeurs

Dans les deux cas l’évaluation est une opportunité pour vous poser les questions
qui vous concernent en tant qu’acteur.

Pourquoi évaluer cette action ? La question générique de l'évaluation, "est-ce
que ça marche ?", est trop vague, elle doit être précisée. Plusieurs questions
peuvent être posées à propos d’une action donnée à un moment donné de son
existence1 :
• Ce peut être en cours d’action :
par exemple, pourquoi rencontrons-nous des difficultés pour réaliser l’action ?
Touchons-nous le public que nous voulons ? La mise en œuvre se déroule-t-elle
comme prévu ?…
• Ce peut être en fin de phase ou en fin d’action :
par exemple, quels résultats avons-nous obtenus ? Avons-nous contribué à réduire le
problème qui a justifié la création de cette action ? Cette action a-t-elle entraîné des
effets inattendus ?…
IMPORTANT. Ne vous arrêtez pas à une "commande" du financeur : posez-vous
les questions qui vous concernent en tant qu'acteur.

Que va-t-on faire des réponses de l'évaluation ? Comment allons-nous utiliser
les résultats ? En général, il y a une ou des décisions importantes à prendre. Ce
peut être de poursuivre l’action, de l'étendre, de la transformer, de l'arrêter, de
la reproduire ailleurs…
Les différents acteurs se posent souvent des questions différentes sur l’action,
car leurs préoccupations ne sont pas les mêmes. Leur utilisation de l'évaluation
peut aussi être différente. Repérez ce qui est important pour chacun, les points de
concordance et les divergences entre acteurs afin d’aboutir à un accord sur les
questions retenues.

2. ÊTES-VOUS DANS DE BONNES CONDITIONS POUR ÉVALUER ?

1 Ce document a été conçu pour une
QUATRE QUESTIONS QU’ON PEUT SE POSER AVANT
évaluation en cours ou en fin d’action. D’ENTREPRENDRE UNE ÉVALUATION
Pour prévoir l’évaluation au moment du
diagnostic, il faut imaginer les questions
1/ Y a-t-il un réel besoin d'évaluer ? Même si l'évaluation est demandée par le
auxquelles il faudra répondre pendant et financeur, il est indispensable qu’il y ait un réel besoin de connaissances à propos
après la mise en œuvre. de l’action pour alimenter une prise de décisions.

PAGE 10 E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8
36 pages EVALUATION 13/03/08 12:04 Page 11

L’ÉVALUATION EN 9 ÉTAPES/PRÉALABLES

étape_1
2/ Y a-t-il une ouverture au changement ? Il est préférable qu’il y ait une
motivation et une attitude positive des personnes concernées face à l'évaluation.
Si le personnel n'est pas prêt à s'interroger sur ses pratiques ou ses conceptions,
il vaut mieux différer l'évaluation, si cela est possible, pour permettre un temps
d'explication et de préparation.
3/ Y a-t-il une disponibilité pour l'évaluation ? L'évaluation consomme du temps,
il faut donc prévoir la place qu'elle occupera dans l'organisation du travail. Les
périodes de surcharge de travail sont à éviter. Plus généralement, il faut pouvoir
lui accorder des ressources, qu’il s’agisse du temps de travail du personnel
(ressources internes), du temps de travail des partenaires ou de financements
(ressources externes).
4/ Est-ce le bon contexte pour évaluer ? On ne doit pas recourir à l'évaluation
pour tenter de résoudre un conflit ou un problème relationnel à l'intérieur de
l'organisme ou avec les partenaires externes. L'évaluation, qui est centrée sur
l’action et non sur les personnes, serait prise comme instrument dans le conflit et
n'aboutirait à rien. Enfin, l'évaluation ne doit pas intervenir en cas de situation
extraordinaire ou dans des périodes de pointe d'activité.
 
Si la réponse est "oui" Si une réponse au moins est "non",
à toutes les questions, il est possible de réaliser l'évaluation,
poursuivez la démarche avec la avec un risque d'échec pour chaque
constitution du comité d’évaluation. condition non réalisée. Il vaut souvent
mieux prendre le temps d'établir
toutes les conditions de réussite

avant d’évaluer.

3. CONSTITUER UN COMITÉ D'ÉVALUATION*.

Pourquoi un "comité" ? Une évaluation est un processus à la fois technique et
"politique", qui implique de nombreux acteurs directs et indirects de l’action.
Une personne ne peut réaliser à elle seule une évaluation. Le comité
d'évaluation est une instance collégiale qui organise l'évaluation dans la
pluralité des approches. Pour favoriser la prise de recul, la coordination du
comité d’évaluation doit être confiée à une personne autre que le responsable
de la mise en œuvre de l’action.

Qui ? Le comité d'évaluation est un compromis entre l'efficacité (du petit
nombre de personnes) et la représentativité de tous les acteurs, y compris les
bénéficiaires. Cinq à sept personnes est un bon nombre, en veillant à ce que les
principaux groupes d'acteurs soient représentés.

Quel rôle ? Le comité d'évaluation choisit le type d’évaluation et est responsable
de l'organisation de l'évaluation, mais ce ne sont pas obligatoirement ses
membres qui en assureront la réalisation concrète. La réalisation (notamment
le recueil des données par enquête) peut être effectuée par des membres de
l’équipe, ou par des personnes extérieures (partenaires, stagiaire) sous la
direction du comité d’évaluation. En fin d’évaluation, le comité tire les
conclusions et propositions.

QUELQUES RÈGLES DÉONTOLOGIQUES

POUR LE COMITÉ D’ÉVALUATION
- Le comité est constitué à l’initiative de l’organisme qui met en œuvre l’action
- Engagement de confidentialité des participants sur les travaux en cours
- Assiduité aux réunions pour garantir la continuité du travail
- Organisation du travail avec un ordre du jour et rédaction d’un compte rendu

E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8 PAGE 11
36 pages EVALUATION 13/03/08 12:04 Page 12

L’ÉVALUATION EN 9 ÉTAPES/PRÉALABLES

étape_1
4. CHOISIR UNE ÉVALUATION INTERNE, EXTERNE OU MIXTE.
Trois types d’organisation de l’évaluation sont possibles, chacun avec son intérêt
et ses limites :

[Link] évaluation interne est réalisée uniquement par les responsables de l’action.
Intérêt : elle s’appuie sur ceux qui connaissent le mieux l’action et qui
perçoivent le mieux les problèmes rencontrés ; son coût financier est limité.
Limites : les acteurs internes risquent de manquer de recul et l’évaluation peut
manquer d’objectivité ; sa qualité dépend des compétences méthodologiques
des acteurs ; le temps de travail des acteurs ne doit pas être sous-estimé.

[Link] évaluation externe est réalisée par une/des personne(s) extérieures aux
organismes ayant mis en œuvre l’action.
Intérêt : elle apporte à la fois une distance par rapport à l’action, gage de
neutralité, et une rigueur méthodologique.
Limites : elle a un coût et doit être prévue à l’avance ; il est parfois difficile de
déterminer sur quels critères sélectionner un prestataire adapté.

[Link] évaluation mixte est la combinaison des deux : évaluation réalisée par les
acteurs avec l’appui d’un organisme extérieur.
Intérêt : elle est un bon compromis entre coût et rigueur méthodologique.
Limites : la multiplicité des intervenants demande une bonne coordination
dans la répartition des tâches.

LE PLUS TÔT EST LE MIEUX

POUR SOLLICITER UN ÉVALUATEUR EXTERNE
Si l’évaluateur externe intervient seulement au moment de l'analyse des données,
il y a deux risques : d'une part qu'il ne soit pas suffisamment imprégné de la
démarche de l’action, et d'autre part qu'il ne puisse pas tirer grand-chose des
données si les outils d’enquête ne sont pas adaptés aux analyses à faire et aux
objectifs de l'évaluation.
Si un évaluateur externe est requis, le cahier des charges mentionne le prix, les
modalités contractuelles et de règlement. Il est aussi précisé à qui l'évaluateur
rend compte, à qui appartiennent les données et les rapports produits, et comment
ils seront utilisés (cf. étape 6).

PAGE 12 E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8
36 pages EVALUATION 13/03/08 12:04 Page 13

L’ÉVALUATION EN 9 ÉTAPES/PRÉALABLES

étape_1

NOTES

E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8 PAGE 13
36 pages EVALUATION 13/03/08 12:04 Page 14

L’ÉVALUATION EN 9 ÉTAPES/LE CADRE LOGIQUE DE L’ACTION

étape_2

LE CADRE LOGIQUE
DE L’ACTION
L'évaluation doit toujours repartir des intentions de départ et tenir
compte de la façon dont l’action* a réellement été mise en œuvre, avec
les inévitables changements par rapport à ce qui était prévu. Avant toute
démarche d’évaluation, il faut revisiter les étapes de la planification* et
de la mise en œuvre de l’action.

Répondez aux 7 questions indiquées dans le schéma ci-dessous. Les questions 1

à 4 concernent la planification de l’action : le projet que vous avez déposé auprès
de votre direction et/ou du financer devrait comporter la plupart des réponses.
Les questions 5 à 7 concernent la mise en œuvre de l’action telle qu’elle s’est
déroulée.

1/ Diagnostic*.
D'où est venue l'idée de cette action ?
A quel(s) problème(s) veut-elle répondre ?
7/ Impact*.
Quelles sont les résultats* et tous les
effets que cette action peut avoir pour
DIAGNOSTIC les bénéficiaires et au delà ?
DE SITUATION
CHOIX DES
PRIORITÉS
IMPACT
2/ Objectifs général et spécifiques*.
Quels sont les changements attendus
suite à l’action pour les bénéficiaires* ? OBJECTIFS OBJECTIFS AUTRES EFFETS
GÉNÉRAUX ATTEINTS PRÉVUS
ET SPÉCIFIQUES (RÉSULTATS) OU INATTENDUS

6/ Quelles activités* ont

3/ Quelles sont les activités* qui ont été réellement été mises en
prévues et en direction de quels groupes place et quels groupes
cibles* ? ACTIVITÉS GROUPES cibles* y ont participé ?
GROUPES ACTIVITÉS
PRÉVUES CIBLES ATTEINTS RÉALISÉES

4/ Quelles sont les ressources* prévues 5/ Quelles ressources*

pour mener les activités : temps de (humaines, matérielles,
personnel, partenaires, prestataires, financières) ont réellement
été mobilisées ?
matériel, financement ? RESSOURCES RESSOURCES
PRÉVUES MOBILISÉES

IMPORTANT. Différenciez bien un objectif (un changement concernant le groupe

cible, par exemple améliorer les connaissances) d'une activité (l’effort déployé
par les acteurs, par exemple une séance d’information).
Faites la synthèse des réponses aux questions et remplissez le tableau de la
page suivante.

PAGE 14 E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8
36 pages EVALUATION 13/03/08 12:04 Page 15

L’ÉVALUATION EN 9 ÉTAPES/LE CADRE LOGIQUE DE L’ACTION

étape_2
Le tableau ci-dessous, appelé « cadre logique* », permet de récapituler la
logique d'intervention qui est à la base de l’action. Il se compose de trois niveaux,
qui peuvent être remplis en commençant par le haut ou par le bas à partir des
réponses aux questions de la page précédente. Si vous avez du mal à remplir un
cadre, passez au suivant et revenez-y après.
Exemple :
Une action de soutien à la qualité de vie des personnes infectées par le VIH

IMPACT (remplir ce cadre à partir des questions 2 et 7)

Objectifs généraux : Autres effets possibles du programme :

- Rompre l’isolement social et psychologique - Valorisation de la personne
de la personne (meilleure estime de soi)
- Poursuivre une trithérapie au long cours - Régulation du poids
en limitant ses effets indésirables - Améliorer le recours aux soins
(hospitalisations régulières de suivi,
Objectifs spécifiques : appareillage dentaire)
- Retrouver de la convivialité autour des - Améliorer l’observance des trithérapies
repas dans l’association
- Développer les liens sociaux avec les
autres participants aux repas
- Améliorer le rapport à l’alimentation
(sortie d’anorexie, meilleur équilibre
alimentaire)
- Améliorer le suivi médical et social

ACTIVITÉS (remplir ce cadre à partir des questions 6 et 3)

- Repas hebdomadaire. Il concerne 20 usagers de la structure qui organisent le repas

(budgétisation, conception du menu, achats des aliments, préparation du menu et de la table…)
et l’espace de convivialité.
- Ateliers de cuisine occasionnels.
- Entretiens individuels avec le diététicien à la demande : bilan diététique, conseils.
Un entretien par semaine et réponses à des demandes.
- Sorties ponctuelles en groupe (ex : pique-nique) (activité non prévue au départ)
- Actions d’information nutritionnelle en direction des familles et des enfants (informelles)
- Séances d’informations sur les pathologies dues aux VIH, VHB et VHC

RESSOURCES (remplir ce cadre à partir des questions 5 et 4)

- Humaines : un diététicien à mi-temps, bénévoles, permanents de la structure et participation

des usagers
- Locaux : cuisine et salle à manger
- Matériel de cuisine
- Matériel de bureau
- Financement : subventions, dons (dons de suppléments nutritionnels non prévus au départ)

Chaque niveau est-il cohérent avec celui qui précède et celui qui suit ?
Notez les éventuelles questions que cela soulève.
Notez également les écarts entre ce qui a été prévu et ce qui a été effectivement
réalisé.

E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8 PAGE 15
36 pages EVALUATION 13/03/08 12:04 Page 16

L’ÉVALUATION EN 9 ÉTAPES/PLANIFICATION DE L’ÉVALUATION : QUESTIONS, CRITÈRES ET INDICATEURS

étape_3

PLANIFICATION DE
L’ÉVALUATION :
QUESTIONS, CRITÈRES
ET INDICATEURS
1. L’ÉVALUATION PEUT VOUS ÊTRE UTILE EN COURS D’ACTION ET EN
FIN D’ACTION :
1.1 En cours d’action* : elle vise à fournir des repères pour mieux ajuster ou
repréciser les objectifs* de votre action. Ce type d’évaluation est appelé
évaluation formative*, car elle s’intéresse aux efforts déployés par les acteurs
pour atteindre les publics visés. Le temps de réalisation est rapide :
- Le plus souvent, il s’agit de suivre régulièrement des indicateurs* pour analyser
des écarts entre la mise en œuvre prévue et celle effectivement réalisée.
- S’il y a des enquêtes à réaliser, elles sont en général d’ampleur limitée et
portent soit sur l’implication des acteurs dans les activités*, soit sur la façon
dont ces activités ont atteint les groupes cibles* concernés.
1.2 En fin d’action : elle s’intéresse aux résultats* et à l'impact* de l’action après
sa mise en œuvre. Ce type d’évaluation est appelé évaluation sommative*, ou
récapitulative, car elle s’attache aux effets produits par l’action.

2. LA PLANIFICATION D’UNE ÉVALUATION S’ORGANISE EN TROIS TEMPS :

2.1 D’abord, formuler la ou les questions d’évaluation…
Vous vous êtes déjà posé plusieurs questions au début de votre démarche
d’évaluation (voir étape 1). Maintenant que le cadre logique* a été écrit (voir
étape 2), vous précisez ces questions en fonction du type d’évaluation que vous
choisissez (en cours ou en fin d’action).
Pour vous aider, voici des questions fréquemment posées :
 Evaluation formative
- Est-ce que la mise en œuvre de l’action est conforme à ce qui a été prévu ?
- Est-ce que les actions mises en place sont appropriées ?
- Est-ce que les groupes cibles visés sont atteints ? Quelle est leur
satisfaction ?
 Evaluation sommative ou récapitulative
- Les objectifs spécifiques de l’action (les résultats attendus) ont-ils été
atteints ?
- Y a-t-il eu des effets inattendus ou éventuellement pervers ?
- L’action a-t-elle répondu au moins en partie aux problèmes auxquels
elle s’attaque ? Va-t-elle dans la direction attendue ?
Cette étape est très importante parce qu’elle fixe l’objet sur lequel l’ensemble de
votre travail va porter. C’est la raison pour laquelle il est indispensable de peser
chaque mot dans la formulation des questions afin que l’objet de l’évaluation soit
le plus précis possible.
IMPORTANT : les moyens étant limités, il n’est pas possible de répondre à de
nombreuses questions. Choisissez-la ou les deux questions les plus importantes
pour éclairer les décisions à prendre.

PAGE 16 E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8
36 pages EVALUATION 13/03/08 12:04 Page 17

L’ÉVALUATION EN 9 ÉTAPES/PLANIFICATION DE L’ÉVALUATION : QUESTIONS, CRITÈRES ET INDICATEURS

étape_3
2.2… ensuite, dresser la liste des critères* qui permettent de répondre à la question…
En général, il faut plusieurs critères pour évaluer toutes les dimensions d’une
question d’évaluation. Un critère est un angle de vue porté sur un objet, une
caractéristique observable qui sert à décrire ou à mesurer les divers éléments
de l’action (objectifs, actions, situations, etc.). C’est lui qui donne le sens de
l’évaluation.
Par exemple, la mortalité, la morbidité, la qualité de vie perçue, sont trois critères
permettant de décrire l’état de santé d’une population.
Ou encore, la précarité d’une personne peut être abordée par plusieurs critères :
la pauvreté, le chômage ou la précarité du travail, l’absence ou la faiblesse de
son réseau social, la difficulté d’accès aux services de santé ou aux ressources
culturelles…
Vous pouvez vous aider du projet que vous avez déposé auprès de votre direction
et/ou du financeur ; il devrait comporter les principaux critères d’évaluation.

EN RÉSUMÉ, POUR TROUVER LES CRITÈRES

D’ÉVALUATION…
1. Commencez par répertorier l’ensemble des critères possibles.
2. Vérifiez que vous n’avez oublié aucun critère majeur.
3. Puis sélectionnez les plus importants pour répondre aux questions posées à
l’évaluation.

2.3… Enfin, construire les indicateurs*

Pour être renseigné, un critère nécessite des indicateurs. Les critères ne sont
donc manipulables qu'une fois traduits en indicateurs.
Un indicateur est un instrument de mesure qui donne de l'information ; une
variable qui aide à mesurer des changements. Choisir un indicateur, c’est donc
choisir les méthodes de recueil de l’information selon la source : analyse
documentaire, observation, mesure, enquêtes, etc. En général, il faut plusieurs
indicateurs pour évaluer tous les aspects d’un même critère. Il est nécessaire
toutefois de limiter leur nombre pour que l’évaluation reste réalisable.
Exemples :
- La mortalité est un critère de l'état de santé des nourrissons
 le taux de mortalité infantile est un indicateur.
- La pauvreté est un critère de la situation de précarité
 le revenu mensuel moyen est un indicateur.
- L’activité culturelle d’une population est un critère du niveau culturel d’un pays
 la fréquentation des salles de cinéma est un indicateur.

Un indicateur doit avoir plusieurs qualités : il doit être valide et fiable

(mesurer effectivement ce qu'il est censé mesurer), mais aussi être observable
ou mesurable et disponible à un coût acceptable.
Idéalement, un indicateur doit être comparé à une référence ou à une
"norme" : pour l’interpréter, il faut le mettre en rapport à une valeur que l'on
considère comme acceptable ou moyenne. Quand il n’existe pas de référence
validée pour un indicateur, on peut comparer la situation avec celle observée
avant l’intervention, ou avec celle d’une autre zone sans intervention. Le
comité d’évaluation peut également fixer les références à retenir.

E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8 PAGE 17
36 pages EVALUATION 13/03/08 12:04 Page 18

L’ÉVALUATION EN 9 ÉTAPES/PLANIFICATION DE L’ÉVALUATION : QUESTIONS, CRITÈRES ET INDICATEURS

étape_3
Exemples :
- Le taux de mortalité infantile était de 3,5 décès d’enfants de moins d’un an pour
1000 naissances vivantes en 2005 en France métropolitaine. Il n’y a pas de norme,
ce taux n’ayant cessé de diminuer, mais un taux supérieur à 5 pour mille ne serait
pas acceptable en France aujourd’hui.
- Le seuil de pauvreté utilisé en Europe correspond à 60 % du revenu médian du
pays, soit en France 817 euros par mois pour une personne seule en 2005. La
France a longtemps utilisé un autre seuil à 50 % du revenu médian (soit 681 euros
en 2005).

EN PRATIQUE
- Commencez par rechercher les critères et indicateurs déjà existants (analyse
documentaire),
- Construisez-en d’autres qui pourraient mieux correspondre aux questions
d’évaluation à renseigner,
- Sélectionnez les plus importants pour répondre aux questions posées par
l’évaluation tout en tenant compte de leur qualité et de la difficulté à obtenir
l’information (la méthode de recueil des données).
- Récapitulez pour chaque critère les indicateurs retenus et leur source dans un
tableau. (cf. exemple dans l’étape 4).

PAGE 18 E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8
36 pages EVALUATION 13/03/08 12:04 Page 19

L’ÉVALUATION EN 9 ÉTAPES/PLANIFICATION DE L’ÉVALUATION : QUESTIONS, CRITÈRES ET INDICATEURS

étape_3

NOTES

E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8 PAGE 19
36 pages EVALUATION 13/03/08 12:04 Page 20

L’ÉVALUATION EN 9 ÉTAPES/MÉTHODES D’ÉVALUATION ET SOURCES DE DONNÉES

étape_4

MÉTHODES D’ÉVALUATION
ET SOURCES DE DONNÉES
Pour mener à bien votre évaluation et renseigner aux mieux vos
questions d’évaluation, par leurs critères* et au moyen d’indicateurs*,
plusieurs méthodes et sources de données peuvent être mobilisées.

DEUX APPROCHES À COMBINER

Une action* est considérée à la fois comme un ensemble d’activités* organisées
visant des buts prédéfinis et, de façon complémentaire, comme un ensemble d’in-
teractions entre les acteurs engagés dans cette action.
L’évaluation combine donc ces deux dimensions pour répondre aux questions
posées à l’évaluation :
1. Elle doit permettre de "mesurer" les écarts entre ce qui était prévu et ce qui a
été réalisé (mobilisation des ressources*, réalisation des activités, atteinte des
groupes cibles*, atteinte des objectifs*). Cette approche est celle qui a été sui-
vie dans l’élaboration du cadre logique* (cf. étape 2).
2. Elle doit également permettre de comprendre comment l’action « fonctionne »
entre les personnes et organismes concernés et permettre d’expliquer les
écarts constatés, d’identifier les conséquences imprévues de l’action.

CHOISIR LES SOURCES DE DONNÉES

Trois sources de données peuvent être utilisées pour renseigner les indicateurs
et leurs références :

L’analyse de documents : il peut s’agir de documents créés dans le cadre de
l’action (par exemple, le document de projet remis au financeur, un relevé
d’activités, des comptes rendus de réunions…), ou de documents publiés ou non
publiés (par exemple, des données démographiques, sanitaires, sociales, des
études, des évaluations).

L’observation ou la mesure directe peuvent porter sur des infrastructures, sur
du matériel, sur des activités, sur des personnes. Faire un effort systématique
pour enregistrer aussi fidèlement que possible les faits observés en réunion, en
entretien informel, lors d’activités déterminées à l’avance et reliées à la ques-
tion d’évaluation. Exemples : recensement du matériel dans un centre de soins,
participation à des réunions entre les acteurs de l’action, observation d’une
séance d’éducation pour la santé, mesures biologiques chez un groupe de
patients…

La réalisation d’enquêtes est souvent nécessaire pour recueillir des informa-
tions sur l’action ou sur des personnes. Selon les informations souhaitées, il
peut s’agir d’enquêtes par entretien et/ou par questionnaire. Les enquêtes sont
un moyen d’investigation précis mais coûteux en temps. Les étapes 5 et 7 sont
consacrées aux enquêtes.

PAGE 20 E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8
36 pages EVALUATION 13/03/08 12:04 Page 21

L’ÉVALUATION EN 9 ÉTAPES/MÉTHODES D’ÉVALUATION ET SOURCES DE DONNÉES

étape_4

2 EXEMPLES
1. Question d’évaluation formative*

QUESTION D'ÉVALUATION
v l Est-ce que la mise en œuvre du programme se réalise comme prévu ?

Critère Indicateurs Sources de données

Mobilisation des ressources 1. Financement disponible 1. Documents de comptabilité

nécessaires au programme
2. Assiduité des acteurs 2. Compte rendu des réunions
aux réunionsde coordination de coordination

3. Implications des acteurs 3. Entretien de groupe

avec les acteurs

2. Question d’évaluation sommative*

QUESTION D'ÉVALUATION Les pratiques culturelles des jeunes de la région ont-elles changé ?

Critère Indicateurs Sources de données

Développement des pratiques 1. % des jeunes ayant un 1. Fichier bibliothèque et

de lecture abonnement à la bibliothèque recensement population

2. Nombre moyen de livres 2. Enquête par questionnaire

lus dans le dernier semestre auprès des jeunes

3. Type de livres lus 3. Même enquête

E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8 PAGE 21
36 pages EVALUATION 13/03/08 12:04 Page 22

L’ÉVALUATION EN 9 ÉTAPES/LE RECUEIL D'INFORMATION PAR ENQUÊTE : CHOISIR LE BON OUTIL

étape_5

LE RECUEIL D'INFORMATION
PAR ENQUÊTE :
CHOISIR LE BON OUTIL
Parmi les sources de données possibles pour renseigner les indicateurs*,
l’enquête est un outil fréquemment utilisé pour recueillir l’information.
Mais comment choisir la bonne enquête et à quoi sert-elle ?

Les enquêtes permettent de recueillir des informations sur :

1. Le programme : connaissance et satisfaction par rapport à des activités,
des services, des outils ; perception des effets, des points forts et des
points faibles…
2. Des personnes : des opinions, des connaissances, des comportements,
des capacités, des changements perçus, ou d'autres caractéristiques
personnelles…
Qu'elles soient "qualitatives" ou "quantitatives", les enquêtes doivent :
- Etre ciblées sur des objectifs précis.
- Etre organisées à l'avance avec un protocole qui décrit les étapes du travail.
- S'appuyer sur un outil de recueil de données, grille d'entretien
ou questionnaire.
- Etre analysées suivant une méthode rigoureuse prévue dès le départ.
- Répondre à des critères éthiques.

1. REPRENDRE LES CRITÈRES* À RENSEIGNER PAR L'ENQUÊTE.

On ne peut pas savoir tout sur tout. Limitez-vous aux critères qui ont été retenus
dans le cadre de l’évaluation. Par exemple : la satisfaction des participants à la
fin d'une journée d'information ou de formation, l'adhésion à des messages ou
des recommandations, l'utilisation d'un service, les changements qu'a permis
l’action…

2. CHOISIR LE TYPE D'ENQUÊTE.

On ne décide pas a priori d’opter pour une enquête quantitative plutôt qu’une
enquête qualitative (ou inversement). On s’interroge d’abord sur ce que l’on
cherche, sur les critères que l’on souhaite renseigner et on détermine ensuite
l’outil le plus approprié.
L’enquête qualitative
Les enquêtes qualitatives s'appuient la plupart du temps sur des entretiens
individuels ou de groupe. Elles sont généralement adaptées pour un recueil des
représentations et des pratiques. Elles permettent d'obtenir des réponses
précises, argumentées, détaillées, et une analyse de problèmes complexes. Le
nombre de personnes interrogées est faible (souvent douze à trente).
L'entretien se compose principalement de questions ouvertes (dont les réponses
sont libres) ou semi-directives (dont les réponses sont orientées). L'exploitation
fait appel à l'analyse de contenu.
Ce type d’enquête nécessite une maîtrise de l’entretien et un travail d’analyse de
contenu souvent complexe.
Exemple : entretiens individuels avec vingt médecins généralistes pour analyser leurs
pratiques de dépistage du VIH (sida) et du VHC (hépatite C) et les difficultés qu'ils
rencontrent.

PAGE 22 E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8
36 pages EVALUATION 13/03/08 12:04 Page 23

L’ÉVALUATION EN 9 ÉTAPES/LE RECUEIL D'INFORMATION PAR ENQUÊTE : CHOISIR LE BON OUTIL

étape_5
Exemple : entretien de groupe (ou groupe focal) auprès d’étudiants pour analyser les
freins et les leviers dans leurs recours aux soins.
L’enquête quantitative
Les enquêtes quantitatives s'adressent à un grand nombre de personnes (souvent
plus de cent).
Les enquêtes quantitatives sont généralement utilisées pour découvrir des fré-
quences de comportements, d’attitudes, de savoirs, de croyances… tout en
mesurant des causalités.
Elles sont basées sur un questionnaire identique pour tous, qui se compose prin-
cipalement de questions fermées (dont les réponses sont déjà prévues).
L'exploitation des réponses est statistique. Ces enquêtes supposent l'adhésion
des personnes enquêtées au sujet qui leur est proposé et de déjà connaître les
différents types de réponse possibles.
Exemple : questionnaire passé à deux cents médecins généralistes pour évaluer
leur adhésion à des recommandations sur le dépistage du VIH (sida) et du VHC
(hépatite C).
Exemple : questionnaire passé à cinq cents lycéens pour identifier leurs pratiques
sexuelles et leur utilisation de moyens de contraception.

Les règles éthiques des enquêtes

Le consentement libre et éclairé des répondants, le droit de se retirer de l'étude
sans préjudice, l'anonymat des répondants, la confidentialité des réponses indi-
viduelles, et la demande d'autorisation de citer des passages s'il s'agit
d'entretiens.

Obtenir l'autorisation des parents ou tuteurs lorsque les répondants sont
mineurs.

Faire une déclaration à la Commission Nationale Informatique et Libertés si les
données sont nominatives (lorsqu’on peut remonter à l'identité des répondants)
(voir le site Internet : [Link]).

Veiller à faire un retour de l’information auprès des personnes enquêtées.

IMPORTANT
- Toute enquête exige un travail préparatoire, avec une bonne connaissance du
terrain d’investigation et une élaboration cohérente des questions.
- Prévoir du temps pour les trois temps de l’enquête : organisation, réalisation et
analyse.
- Faire une enquête suppose de rédiger : 1- Le protocole. 2- Le questionnaire ou la
grille d'entretien. 3- Les résultats de l'exploitation des réponses.
- L'appui de personnes formées aux techniques d'enquête dès la phase de
rédaction du protocole réduit les risques de biais (erreurs systématiques qui
faussent les résultats) ou de réponses non interprétables.

E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8 PAGE 23
36 pages EVALUATION 13/03/08 12:04 Page 24

L’ÉVALUATION EN 9 ÉTAPES/ORGANISER L’ÉVALUATION EN ÉTABLISSANT SON CAHIER DES CHARGES

étape_6

ORGANISER L’ÉVALUATION
EN ÉTABLISSANT
SON CAHIER DES CHARGES
Organiser l’évaluation c’est prévoir son déroulement et l’écrire dans un
« cahier des charges » pour :

définir les tâches d’évaluation,

désigner les personnes qui vont les réaliser,

arrêter un calendrier prévisionnel de mise en œuvre,

et un budget prévisionnel de fonctionnement.

Une fois les critères*, les indicateurs* et les méthodes définis, ainsi que les
sources de données répertoriées, il faut :
- Définir qui fait quoi dans la mise en œuvre de l’évaluation,
- Mettre au point un calendrier qui précise les étapes de cette mise en
œuvre : préparation des méthodes et outils d’investigation (enquêtes,
entretiens…), réalisation du recueil de données, analyse, rédaction du
rapport et restitution des conclusions.

RÉDIGER LE CAHIER DES CHARGES DE L’ÉVALUATION

Ce document récapitule les différentes étapes de l’organisation de l’évaluation.
En règle générale, il comporte les parties suivantes :
- Le cadre de l’évaluation : présentation de l’action* (reprenez le cadre
logique* élaboré à l’étape 2), calendrier de sa réalisation, origine du projet
d'évaluation (qui demande l'évaluation et dans quelles circonstances).
- Les objectifs de l’évaluation : les questions posées à l’évaluation et
l’utilisation prévue des résultats (reprenez les étapes 1 et 3), éventuellement
les hypothèses à valider et les limites (ce qui est hors évaluation).
- Les méthodes : l’approche générale de l'évaluation, les méthodes
déployées pour mener à bien l’évaluation, les critères, indicateurs et
sources d’information (cf. étapes 4, 5, 7), les analyses à effectuer, quels
documents seront produits, quand et pour qui, et quelle(s) restitution(s).
- L’organisation et la répartition des tâches et des missions de chaque
personne, profil de l'évaluateur externe si nécessaire, dispositif de suivi et
de compte rendu progressif.
- Le calendrier prévisionnel de réalisation.
- Si nécessaire, un budget prévisionnel et les différentes modalités de règlement.
- Eventuellement, le plan du rapport final (cf. étape 8).
- Un volet communication qui précisera comment, quand, par qui et auprès
de qui les données de l’évaluation seront produites et utilisées (cf. étape 9).

Rédiger un cahier des charges paraît souvent superflu lorsque le comité

d’évaluation réalise lui-même l’évaluation (évaluation interne). Ce n’est pas du
temps perdu : les premiers chapitres du cahier des charges constituent le début du
rapport d’évaluation. Quant aux derniers chapitres, ils sont un guide pour mettre
en œuvre l’évaluation.

PAGE 24 E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8
36 pages EVALUATION 13/03/08 12:04 Page 25

L’ÉVALUATION EN 9 ÉTAPES/RÉALISER L’ENQUÊTE D’ÉVALUATION

étape_7

RÉALISER L’ENQUÊTE
D’ÉVALUATION
Une enquête se déroule en trois temps :
1. Préparation : rédiger le protocole, le questionnaire ou la grille d'entretien,
effectuer le pré-test, réunir les moyens, établir le calendrier de réalisation.
2. Réalisation : réalisation des entretiens ou passation du questionnaire.
3. Exploitation des résultats : validation des données recueillies, analyse des
données, rédaction des résultats et de l'interprétation qui en est faite.
Réaliser une enquête nécessite un savoir-faire technique. Il peut être intéres-
sant de bénéficier d’un appui extérieur pour assurer la pertinence des résultats
produits par les enquêtes.

1. LES ENQUÊTES QUALITATIVES

Le protocole précise les objectifs d'enquête, la population concernée par l'enquête,
et le mode de choix des personnes interrogées. L'important est de diversifier autant
que possible les situations pour être le plus représentatif possible.
La grille d'entretien est élaborée à partir des critères et indicateurs définis dans
la phase précédente en fonction des données les plus utiles et significatives pour
l'évaluation. Les questions sont ouvertes pour laisser à la personne la liberté
d'aborder la réponse comme elle le souhaite. Des questions plus précises
("relances") peuvent être prévues en réserve sur des points qui n'auraient pas été
abordés spontanément par la personne enquêtée.
L’entretien peut se dérouler en face à face (ou par téléphone) ou en groupe.
L’entretien individuel est bien adapté pour recueillir les pratiques. L'entretien de
groupe a l'avantage de recueillir l'opinion de plusieurs personnes avec une
interaction entre elles qui permet une élaboration commune. Il a pour
inconvénient d'être plus difficile à animer pour que chaque personne aille au bout
de sa propre analyse.
L'enregistrement des entretiens est préférable mais il n'est pas toujours possible
(il est parfois mal accepté et sa retranscription est coûteuse). La grille d’entretien
pourra être suivie dans l’ordre des questions ou au contraire suivre le
cheminement des enquêtés et servir de repère pour s’assurer que tous les points
sont abordés.
L'analyse commence après retranscription des entretiens2. Dans un premier
temps, l'analyse de contenu est faite pour chaque personne, afin de faire
apparaître les liens ou éventuellement les contradictions entre les réponses aux
différentes questions. Dans un second temps, toutes les réponses sont analysées
question par question. Plus qu'un comptage des réponses obtenues, il s'agit de
faire apparaître les différents types de réponses possibles, en articulation avec
les réponses à d'autres questions. Pour éclairer l’analyse, des extraits
d’entretiens pourront être intégrés dans le rapport d’enquête.
Exemple : Une grille d’entretien pour interroger les représentations des
infirmières qui travaillent auprès de toxicomanes
Critères Questions
Définition du poste Comment définiriez-vous votre travail ?
Compétences Quelles compétences vous semblent indispensables pour accomplir
nécessaires votre travail ?
Difficultés Quelles difficultés rencontrez-vous ?
2 En général, une prise de note durant Appuis Quelles aides avez-vous pu trouver ?
l’entretien, complétée en réécoutant
l’enregistrement est suffisante. Attentes Qu’est ce que vous aimeriez changer aujourd’hui dans votre travail ?

E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8 PAGE 25
36 pages EVALUATION 13/03/08 12:04 Page 26

L’ÉVALUATION EN 9 ÉTAPES/RÉALISER L’ENQUÊTE D’ÉVALUATION

étape_7
2. LES ENQUÊTES QUANTITATIVES.
Le protocole précise les objectifs d'enquête, la population concernée, le mode de
choix des personnes ou unités statistiques interrogées (l'échantillonnage) et les
modalités de passation du questionnaire.
L’échantillon ne doit être choisi qu’après avoir défini et construit l’objet de l’en-
quête. C’est ce travail préparatoire qui va préciser les personnes à interroger.
Deux cas de figures sont possibles :
- Chaque fois que c’est possible, il est préférable d’interroger l’ensemble de la
population (les élèves d’un établissement, le personnel d’un hôpital, les bénéfi-
ciaires d’une formation…).
- Toutefois, quand la population de référence est trop nombreuse (en pratique au-
delà de quelques centaines), on doit recourir à un échantillon. La construction
d’un échantillon fait appel à des techniques précises, qui sont brièvement pré-
sentées maintenant.
Comment construire un échantillon ?
Il existe de nombreuses méthodes pour constituer un échantillon qui sont de deux
natures différentes : probabilistes (méthode par tirage au sort) et non probabiliste
(méthode qui repose sur un choix raisonné des individus en respectant des règles
fixées à l’avance).
La méthode non probabiliste la plus utilisée consiste à préciser les variables
explicatives (c’est-à-dire les variables qui peuvent influencer les résultats) que
l’on souhaite intégrer dans l’analyse (sexe, âge, catégorie socioprofessionnelle,
origine géographique…). Puis, une fois ces catégories définies, à tenir compte des
proportions de ces catégories dans la population de référence, si l’on dispose de
ces données, pour déterminer les proportions des différents profils de personnes
à interroger.
Par exemple si on souhaite constituer un échantillon d’étudiants du Rhône pour
connaître leurs pratiques alimentaires, on pourra s’interroger sur la répartition
homme/femme dans la population de référence (l’ensemble des étudiants du
Rhône), sur la répartition par âge, sur le type de filière suivie… Si on constate que
les étudiants du Rhône sont constitués de 40 % d’hommes, de 30 % en filière
scientifique, l’échantillon devra tenir compte de ces répartitions en interrogeant
40 % d’hommes, 30 % d’étudiant(e)s en filière scientifique…
Quelle taille de l’échantillon ?
Pour des raisons de coût et de temps, il est nécessaire d’utiliser un échantillon qui soit
le plus petit possible. Mais pour avoir une bonne précision, il faut un échantillon aussi
grand que possible. Il existe des formules permettant de calculer la taille d’un échan-
tillon, mais elles sont d’utilisation complexe car elles nécessitent de faire des choix sur
le degré de précision souhaité et de poser des hypothèses sur la valeur à mesurer.
Par exemple, si on souhaite connaître le nombre moyen de rendez-vous médicaux
pour les lycéens sur une année, il faudra, pour calculer la taille de l’échantillon, esti-
mer ce nombre moyen et sa variance en se référant à des enquêtes antérieures.
Le questionnaire doit être aussi court que possible, ciblé sur les questions utiles
et pertinentes pour l'évaluation. Les questions sont directement formulées à
partir des indicateurs définis dans la phase précédente.
Le questionnaire permet d’interroger des variables qui peuvent êtres :
- quantitatives, c’est-à-dire qui impliquent des réponses numériques (le poids,
l’âge, le nombre de rendez-vous médicaux en un an, le nombre de repas
sautés sur une semaine…) et pour lesquelles il est possible de faire des
calculs (moyenne, écart type) ou de les convertir en classes (par exemple pour
l’âge : - de 10 ans, 10 à 19 ans, 20 ans et +).
- qualitatives qui impliquent des réponses qui seront réparties en classes (niveau
d’étude, sexe, nationalité, niveau de satisfaction d’une formation…)

PAGE 26 E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8
36 pages EVALUATION 13/03/08 12:04 Page 27

L’ÉVALUATION EN 9 ÉTAPES/RÉALISER L’ENQUÊTE D’ÉVALUATION

étape_7
Pour construire un questionnaire, il est préférable de privilégier les réponses
fermées (oui/non, échelle numérique, liste de réponses au choix), utiliser des mots
simples et non ambigus, formuler des questions affirmatives (sans négation), véri-
fier qu'il n'y a qu'une seule question par énoncé. Enfin, il est recommandé de
tester le questionnaire auprès de quelques personnes du groupe à interroger
avant la passation générale.
Exemple : Un questionnaire analysant la satisfaction en fin de formation et
l’intention de changer sa pratique professionnelle

Critères/Indicateurs Questionnaire

Caractéristiques des Vous êtes
une femme
un homme

répondants (âge, sexe) Quel est votre âge ?____ ans
ou classes prédéfinies :
- de 25 ans
25-34 ans

35-50 ans
+ de 50 ans

Satisfaction générale Êtes-vous satisfait de la formation que vous avez suivie ?

Taux de satisfaction
tout à fait satisfait
plutôt satisfait

plutôt pas satisfait
pas satisfait du tout

Satisfaction animation Evaluez la qualité de l’animation de la formation sur une

échelle
Moyenne de 0 à 5, sachant que 0 signifie qu’elle n’était pas du tout
satisfaisante et 5 tout à fait satisfaisante.
0 1 2 3 4 5

Intention modification Suite à cette formation, allez-vous modifier votre pratique

de pratique professionnelle ?
Taux d’intention
Oui, c’est certain
oui, peut-être
non
je ne sais pas

Type de modification Si oui, comment ?

_______________________________________________________
_______________________________________________________
_______________________________________________________

Le questionnaire peut être administré par un enquêteur ou auto administré (rem-

pli directement par la personne enquêtée). Une relance peut être prévue pour
augmenter le taux de retour. Généralement, pour un questionnaire auto adminis-
tré à renvoyer par voie postale, on estime que le taux de retour est de l’ordre de
10 % à 15 % sans relance.
L'analyse commence après vérification des fiches d'enquête et saisie informati-
que. La saisie des données se fait sur des logiciels informatiques adaptés. Pour
les calculs statistiques, utilisez des logiciels gratuits comme Epidata et Epi-Info
(il y a de nombreux autres logiciels spécialisés). Un tableur de type Excel suffit
pour les calculs les plus simples. L'analyse statistique commence par la liste de
toutes les variables ou "tri à plat" (comme par exemple le % de femmes qui ont
répondu à l’enquête, le % d’enquêtés très satisfaits par la formation…). Les plus
importantes sont présentées sous forme de graphiques.
Une analyse plus poussée peut être faite en étudiant les relations entre variables,
soit deux à deux (" tri croisé", comme par exemple la répartition des fumeurs par
sexe), soit par groupes de variables (analyse multivariée). Elle recourt aux tests
statistiques pour déterminer s’il y a bien une relation significative entre les varia-
bles (le fait par exemple que l’enquête montre une plus grande consommation
d’alcool parmi les hommes est-il dû au hasard de l’échantillon ou existe-t-il un
réel lien entre ces deux variables ?).

E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8 PAGE 27
36 pages EVALUATION 13/03/08 12:04 Page 28

L’ÉVALUATION EN 9 ÉTAPES/ANALYSER DES DONNÉES ET RÉDIGER LE RAPPORT

étape_8

ANALYSER DES DONNÉES

ET RÉDIGER LE RAPPORT
La réalisation de l'évaluation comporte trois temps :
1. collecter les informations,
2. les analyser,
3. en tirer des conclusions et des recommandations.
Ces trois temps se retrouvent dans le rapport d’évaluation qui décrit et analyse le
processus d’évaluation, les données recueillies et les résultats obtenus, avant de
présenter les conclusions et les recommandations.

LE CONTENU DU RAPPORT D’ÉVALUATION : PLAN TYPE

1. Description de l’action* évaluée avec le rappel du cadre logique*.

2. Rappel du contexte de l’évaluation, de son commanditaire et des questions
auxquelles l’évaluation doit répondre.
3. Exposé méthodologique mentionnant les choix opérés, les méthodes utilisées
et les étapes du travail
 Ces trois chapitres sont déjà rédigés dans le cahier des charges (voir l’étape 6).

4. Analyse des constats effectués à partir des résultats des enquêtes et des
données recueillies par l’observation et la documentation.
Pour chaque question posée à l’évaluation :
- Sortir les résultats à partir des différents modes de recueil de données ;
- Selon la méthode choisie, faire des croisements entre les résultats selon
les points de vue et les sources d'information recueillis, comparer avec la
situation antérieure ou celle d’une autre zone.
Ces deux démarches permettent de décrire la situation et son évolution, de
comprendre les logiques des acteurs et d’identifier les points forts et les
points faibles de l’action évaluée.

5. Les conclusions doivent être déduites de l’analyse et des discussions. Les

conclusions doivent correspondre aux questions posées au début de
l'évaluation et être pertinentes par rapport aux décisions à prendre.

6. Recommandations : Une séparation doit être faite entre conclusions et

recommandations. Les recommandations sont des acquis à conforter, des
lacunes à combler, des orientations nouvelles à suivre. L'évaluation ne doit pas
aller jusqu'à la programmation détaillée de nouveaux objectifs et tâches, qui
doit être laissée à ceux qui conçoivent les actions.

7. Annexes : données de cadrage, liste des interlocuteurs rencontrés,

instruments de collecte de l’information, rappel du cahier des charges et toutes
autres données utiles à la compréhension du rapport…

PAGE 28 E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8
36 pages EVALUATION 13/03/08 12:04 Page 29

L’ÉVALUATION EN 9 ÉTAPES/ANALYSER DES DONNÉES ET RÉDIGER LE RAPPORT

étape_8

Quelques conseils pour la rédaction :

- Le rapport doit être compréhensible par n'importe quel lecteur. Evitez les mots
difficiles et explicitez les sigles.
- La présentation doit bien distinguer le constat de la réalité, de l’appréciation
qui en est faite.
- Les recommandations doivent être distinguées des conclusions.

Le rapport provisoire permet de poursuivre la démarche participative

Une évaluation doit se donner le temps de la restitution. Sur la base du rapport
provisoire, il y a lieu de donner à tous les membres du comité d’évaluation* la
possibilité de faire valoir leur point de vue, si possible lors de débats
contradictoires largement ouverts.
Des modifications peuvent être apportées au rapport par le comité d’évaluation
suite à ces débats, sans remettre en cause l’aspect critique qui est constitutif de
toute évaluation. Le rapport final est produit après ces dernières corrections.
 Le rapport final peut être complété par des avis, éventuellement divergents,
exprimés lors de la restitution du rapport provisoire, que le comité
d’évaluation n’a pas jugé utile de prendre en compte dans le texte lui-même.

Le résumé
Il permet une lecture rapide des résultats de l’évaluation pour les acteurs qui
n’ont pas le temps de lire le rapport dans sa totalité. Il permet également
d’élargir le public des lecteurs intéressés par l’évaluation. Enfin, il renferme
l’information essentielle, diffusable en nombre, à moindre coût.
Il reprend tous les chapitres avec une synthèse de quelques lignes pour chacun
d’entre eux. Il fait apparaître les points essentiels de la conclusion et des
recommandations.
 Le résumé ne doit pas excéder quatre pages.
 Le résumé fait partie intégrante du rapport. Il est placé au début de celui-ci
pour être immédiatement accessible.

Diffusion du rapport et du résumé

Tous les acteurs concernés par l’évaluation doivent avoir accès au rapport final.
Un exemplaire du rapport et de son résumé doit être remis au moins :
- aux membres du comité d’évaluation
- aux financeurs
- à la structure concernée par l’évaluation qui le tient à la disposition des
partenaires enquêtés.

Selon le type d’évaluation, le rapport est plus ou moins conséquent. Bien

souvent, le rapport d’une évaluation formative* est succinct car il s’agit de
renvoyer rapidement des conclusions et recommandations aux acteurs pour
une décision rapide.

Attention : l’évaluation n’est pas encore tout à fait terminée.

Il y a encore l’étape 9 de valorisation

E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8 PAGE 29
36 pages EVALUATION 13/03/08 12:04 Page 30

L’ÉVALUATION EN 9 ÉTAPES/VALORISER L’ÉVALUATION POUR UNE PRISE EN COMPTE DES RECOMMANDATIONS

étape_9

VALORISER L’ÉVALUATION
POUR UNE PRISE EN COMPTE
DES RECOMMANDATIONS
L’évaluation est un moment important pour rendre compte du déroulement
et des effets de l’action*, en vue de la transformer, de la reconduire ou de
l’arrêter.
Si l’évaluation permet de porter une appréciation sur la démarche et l’action
mise en œuvre, sa valorisation peut favoriser la reconnaissance de l’action.

LA VALORISATION DE L’ÉVALUATION VISE :

à ce que l’évaluation soit utilisée,

à ce que les résultats et les recommandations soient mieux connus et pris en
considération (par les financeurs et les acteurs),

à mobiliser les acteurs concernés par l’action,

à informer et à faire évoluer l’action avec les commanditaires (financeurs et
partenaires).

LA VALORISATION DE L’ÉVALUATION PASSE PAR :

la rédaction d’un rapport qui met d’abord l’accent sur les aspects positifs de
l’intervention et qui, ensuite, souligne les éléments qu’il faudra améliorer, voire
modifier (cf. étape 8),

la rédaction d’un résumé permettant une diffusion plus large des résultats de
l’évaluation (cf. étape 8),

la diffusion des résultats en diversifiant les supports : présentation publique,
panneaux d’affichage, médias locaux…

la disponibilité des résultats aux publics qui le souhaitent sous une forme
compréhensive et accessible par l’ensemble des acteurs concernés par l’action.

LA PRISE EN COMPTE DES RECOMMANDATIONS

Elle prouve l’utilité de l’évaluation. Voici quelques suggestions pour la faciliter :

Les recommandations doivent être forces de proposition susceptibles d’améliorer
l’action étudiée.

Elles doivent être opérationnelles, tenir compte des contraintes et de
l’organisme qui porte l’action et des personnes qui le mettent en œuvre.

Elles doivent être explicites sur la démarche proposée et décrire les coûts et les
ressources nécessaires à leur prise en compte.

Il est utile de maintenir un suivi des recommandations, dans le temps, par
l’intermédiaire du comité d’évaluation*.

ET SI VOUS N’ÊTES PAS ENCORE TOTALEMENT ÉPUISÉS…

La démarche d’évaluation peut être elle-même évaluée par ses acteurs. C’est
l’évaluation de l’évaluation, qui porte sur son déroulement, sur les événements
intervenus durant celle-ci, et éventuellement sur les effets qu’a eu l’évaluation sur
l’action et les décisions à prendre (si du temps s’est écoulé après la fin de
l’évaluation). Son but est de tirer les leçons de la démarche mise en place.

UNE ÉVALUATION N’A DE SENS QUE SI ELLE PRODUIT DU CHANGEMENT

EN PRODUISANT DE LA CONNAISSANCE.

PAGE 30 E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8
36 pages EVALUATION 13/03/08 12:04 Page 31

L’ÉVALUATION EN 9 ÉTAPES / VALORISER L’ÉVALUATION POUR UNE PRISE EN COMPTE DES RECOMMANDATIONS

NOTES

E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8 PAGE 31
36 pages EVALUATION 13/03/08 12:04 Page 32

L’ÉVALUATION EN 9 ÉTAPES / LEXIQUE DE L’ÉVALUATION

Critère (cf. étape 3). C’est un angle de

LEXIQUE DE vue qui permet de porter un jugement
sur une action*. Il exprime le sens
L’ÉVALUATION donné à l’action* ou à son évaluation.
C’est pourquoi les critères doivent être
construits collectivement par le comité
d’évaluation*. Ils peuvent concerner
les activités*, les groupes-cibles* ou
l’impact*.
Diagnostic de situation. Ce temps se
situe avant l’action*. Il consiste à
analyser les problèmes de santé et/ou
(Sources : voir pages suivantes « pour en savoir plus »)
sociaux dans une population, et à
dégagerle(s) problème(s) prioritaire(s)
Les mots suivis d’une étoile* sont les auquel(s) on souhaite répondre. On
termes qui sont présents dans ce parle également d’« analyse de situa-
lexique tion », d’« état des lieux » ou d’« étude
de milieu ». Le diagnostic ne doit pas
Action. Ensemble organisé d’activités* être confondu avec l’évaluation d’une
réalisées dans le but de modifier une action*, qui se situe après celle-ci.
situation problématique. Les termes de L’évaluation peut toutefois alimenter
« programme », « projet » ou « inter- un nouveau diagnostic pour la phase
vention » sont souvent utilisés dans le suivante de l’action*.
même sens. Ils ne sont pas repris
dans ce document. Efficacité. Elle s’intéresse au degré
d’atteinte des objectifs spécifiques*
Activité (cf. étape 2). Ce sont les biens chez les bénéficiaires* de l’action*.
et services produits dans le cadre
d’une action*, tels que formations, Evaluation de l’impact : cf. Impact* et
animations, concertation, création et Evaluation sommative*.
diffusion de documents, approvision-
nement en matériel, etc. On parle Evaluation du processus : cf. Pilotage*
également de « réalisations » ou de et Evaluation formative*.
« processus ».
Evaluation formative (cf. étape 3). Elle
Bénéficiaires (cf. étape 2). Ce sont est réalisée au cours de la mise en
d’abord les personnes qui subissent œuvre de l’action* en vue de l’amélio-
le problème auquel l’action* répond. rer. Elle donne aux acteurs une
Ce sont aussi les autres groupes- meilleure connaissance du contexte
cibles* de l’action*, par exemple les et du travail réalisé (les efforts qu’ils
professionnels qui sont en contact déploient), en vue du pilotage* de
avec ces personnes. l’action*. On parle également d’éva-
luation « d’implantation », « de la
Cadre logique (cf. étape 2). C’est un mise en œuvre », « du processus » ou
outil qui permet de décrire la logique évéluation « en cours » d’action*. Cf.
de l’action*, à savoir les relations cau- pilotage*.
sales entre ses différents niveaux : les
ressources*, les activités*, l’impact*. Evaluation participative (cf. étape 1).
Il est une aide pour la planification*, Elle accorde une place centrale à la
la mise en œuvre et l’évaluation de participation de toutes les personnes
l’action. concernées par l’action. Elle prend en
considération leurs valeurs, leurs
Comité d’évaluation (cf. étape 1). points de vue, leurs intérêts et leurs
C’est une instance collégiale dont la attentes à toutes les étapes de
fonction est d’organiser l’évaluation l’évaluation.
d’une action* et d’en tirer les conclu-
sions et propositions.

PAGE 32 E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8
36 pages EVALUATION 13/03/08 12:04 Page 33

L’ÉVALUATION EN 9 ÉTAPES / LEXIQUE DE L’ÉVALUATION

Evaluation sommative (cf. étape 3). Pilotage. Ce temps se situe pendant

Elle est réalisée à la fin de l’action* ou l’action*. Il consiste à assurer la
d’une phase. Elle porte une apprécia- réalisation de l’action* en gardant le
tion globale sur les effets de l’action*. cap sur les objectifs* en tenant
Elle est habituellement utilisée pour compte du contexte et des difficultés
orienter la prise de décision quant au rencontrées en pratique. Il s’appuie
devenir de l’action*. Elle est également sur l’évaluation formative*.
appelée évaluation « finale », « récapi-
tulative », évaluation « d’impact* », ou Planification. Ce temps se situe avant
évaluation « des effets ». l’action*. Au sens strict, c’est la
définition des objectifs* à partir du
Groupe-cible (cf. étape 2). Population diagnostic de situation*. Au sens
concernée par une activité*, dans large, elle inclut également la
l’intention (groupe-cible visé) et dans programmation* et c’est toute la
la réalité (groupe-cible atteint). Cf. phase de conception de l’action qui
bénéficiaires*. aboutit à la rédaction du dossier de
financement.
Impact (cf. étape 2). Ensemble des
effets d’une action* (sanitaires, Programmation. Elle consiste à
sociaux, économiques, environne- prévoir, à partir des objectifs spécifi-
mentaux, etc.), qu’ils soient positifs ou ques*, les activités* à mettre en
négatifs, souhaités ou non, immédiats place, les groupes-cibles* auxquels
ou différés. L’impact regroupe les elles seront destinées, et les ressour-
résultats* (effets directs totalement ces* qui seront nécessaires pour les
imputables à l’action) et tous les réaliser. La programmation générale
autres effets qui ne peuvent être se fait avant l’action* (elle figure dans
entièrement imputés à celle-ci. Cf. le dossier de financement), et elle se
évaluation sommative*. poursuit de façon plus précise au
cours de l’action*.
Indicateur (cf. étape 3). Instrument de
mesure qui donne une information Résultats (cf. étape 1). Ce terme est
incomplète mais utile pour objectiver souvent utilisé dans plusieurs sens.
une situation. C’est une variable qui Au sens strict, les résultats sont les
produit une information quantitative objectifs spécifiques* réellement
(une mesure), semi-quantitative (pas atteints par l’action*. On dit aussi
du tout / un peu / beaucoup / totale- « outcome ».
ment) ou qualitative (par exemple :
oui / non). Ressources (cf. étape 2). Ce sont les
personnes, les matériels et les
Objectif général (cf. étape 2). Il décrit moyens financiers qui vont permettre
en termes généraux la diminution du de réaliser les activités*. On parle
problème de santé et/ou social aussi des « intrants ».
auprès des bénéficiaires* qui justifie
la mise en place de l’action*. Il est
pour cette raison également appelé
objectif « de santé » ou « social ».
Objectifs spécifiques (cf. étape 2). Ils
décrivent avec précision les effets
directement attendus de l’action*
chez les bénéficiaires* qu’elle a
touchés, autrement dit le résultat*
qu’on souhaite atteindre.
Pertinence. Elle s’intéresse à l’adé-
quation entre les objectifs* de l’action*
et le(s) problème(s) auquel(s) elle
répond.

E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8 PAGE 33
36 pages EVALUATION 13/03/08 12:04 Page 34

L’ÉVALUATION EN 9 ÉTAPES/POUR EN SAVOIR PLUS

POUR EN SAVOIR PLUS

POUR APPROFONDIR LES MÉTHODES EN ÉVALUATION,
vous pouvez consulter le « référentiel » rédigé par le Groupe-ressource en éva-
luation à partir de près de quarante documents de référence :

Fontaine D, Beyragued L, Miachon C.

Référentiel commun en évaluation des actions et programmes santé et social.
Lyon : ERSP, 2004 : 105 p.
En ligne : [Link] pdf

Voici également une bibliographie sélective :

Vandoorne C, Jabot F, Fond-Harmant L (Coord.).

Dossier : Education pour la santé, les défis de l’évaluation.
La Santé de l’Homme 2007, n°390, p. 11-55.
En ligne : [Link]

Nock F.
Petit guide de l’évaluation en promotion de la santé.
Paris : Mutualité française, 2006 : 119 p.

Sizaret A, Fournier C.
Dossier documentaire « Evaluation, mode d’emploi ».
Saint-Denis : INPES, 2005, 96 p.
En ligne : [Link]

Mansour Z, Prodhon H, Coruble G et al.

Méthodologie et évaluation d’actions ou de programmes de santé publique.
Marseille : CRES PACA, 2005, 1 CD-Rom.
En ligne : [Link]

PAGE 34 E R S P - D O C U M E N T P R A T I Q U E P O U R L ’ É V A L U A T I O N D E S A C T I O N S S A N T É E T S O C I A L - J A N V I E R 2 0 0 8
36 pages EVALUATION 13/03/08 12:14 Page 35

L'ERSP est un groupement associatif dont les membres sont des associations de
santé publique à vocation régionale :
- le Centre Jean Bergeret,
- la Fédération Education Santé Rhône-Alpes (FRAES),
- l'Observatoire Régional de la Santé Rhône-Alpes (ORS).
L'ERSP vise la mutualisation de moyens humains et matériels pour constituer un
centre de ressources au service des acteurs du secteur santé et social, notam-
ment dans le domaine de la documentation,l'information, l'accompagnement
méthodologique et la formation.

Le Groupe-ressource en évaluation de l’ERSP est à la disposition des

“porteurs de projet” santé et social de la région Rhône-Alpes pour intervenir
de façon personnalisée sous forme de conseil méthodologique
(gratuit dans une limite de temps).
N’hésitez pas à nous contacter.
evaluation@[Link]
36 pages EVALUATION 13/03/08 12:04 Page couv4