Mémoire en vue de l’obtention du

Diplôme Inter Universitaire de Pédagogie Médicale

Examen Clinique Objectif Structuré :

Analyse de l’expérience de
l’école de sages-femmes de Saint-Antoine (Paris VI)

Présenté et soutenu le 15 octobre 2010 par :

Odile HOUZIAUX
Christèle VEROT
Mehrnoosh YAZDANBAKHSH

Promotion 2009-2010
 SOMMAIRE

Introduction ..................................................................................................................................... 4
I- Les évaluations cliniques ............................................................................................................. 5
I1- Les évaluations cliniques classiques ..................................................................................... 5
I2- Expérience de l’ECOS en première année à l’école de sages-femmes de Saint-Antoine...... 5
II- Matériel et méthode .................................................................................................................... 7
III-Résultats ..................................................................................................................................... 7
III1-Description de la population ............................................................................................... 7
III2-Perception globale sur l’épreuve ......................................................................................... 7
III3-Organisation de l’épreuve ................................................................................................... 9
III4-Epreuve .............................................................................................................................. 11
III5-Equité de l’épreuve ............................................................................................................ 12
IV- Discussion ............................................................................................................................... 13
Conclusion ..................................................................................................................................... 15
Bibliographie ................................................................................................................................. 16
Annexes ......................................................................................................................................... 17

2
Résumé
Examen Clinique Objectif Structuré : Analyse de l’expérience de l’école de sages-femmes de
Saint-Antoine (Paris VI)
L’Examen Clinique Objectif Structuré (ECOS) est un outil d’évaluation formative et normative.
Cet examen, décrit en 1975 par Harden, est réputé pertinent pour sa fiabilité et sa validité lors de
l’évaluation clinique. Il est aujourd’hui de plus en plus utilisé par les responsables de formations
médicales initiales.
Depuis quatre ans, confrontée à une augmentation importante du nombre d’étudiants par
promotion, l’équipe pédagogique de l’école de sages-femmes de Saint-Antoine a mis en place
l’ECOS. L’examen évalue la réalisation d’un soin infirmier pour la promotion de première année
de première phase des études de sages-femmes. L’équipe pédagogique a pour objectif
d’optimiser l’évaluation normative clinique sur les plans de l’équité pour les étudiants et de
l’organisation des épreuves.
A l’issu des quatre années, l’évaluation qualitative de cette expérience a fait l’objet de ce
mémoire. L’objectif est de savoir si la mise en place des ECOS est pertinente dans le cursus des
études de sages-femmes. Deux enquêtes descriptives par recensement ont été menées par
l’intermédiaire de questionnaires adressés aux enseignantes et aux étudiants concernés. De plus,
les notes des ECOS des quatre années, ont été comparées à celles des évaluations cliniques
classiques pour chaque étudiant soumis aux deux épreuves. Le but de cette étude est d’apprécier
la perception, la faisabilité et la validité des ECOS en formation initiale des sages-femmes.
Il ressort de l’étude que les étudiants et les enseignantes sages-femmes de Saint-Antoine sont
globalement satisfaits. L’étude du différentiel des notes montre que l’évaluation est fiable.
L’ECOS est donc une épreuve pertinente et reproductible dans la formation initiale des sages-
femmes.
Cependant certains freins ont été mis en évidence. Notamment d’un point de vue organisationnel,
l’épreuve est très compliquée. Afin de l’optimiser et de la réaliser telle qu’elle est préconisée, il
serait intéressant de réunir plusieurs écoles de sages-femmes autour d’un ECOS. Cette
mutualisation permettrait aux sages-femmes formatrices d’échanger sur leurs pratiques cliniques
et de rentrer dans une démarche qualité indispensable à la formation médicale initiale de
professionnels sages-femmes compétents.

Mots clés
Evaluation, Compétence clinique , Ecole de sages-femmes, Démarche qualité.

3
 Introduction
L’apprentissage de la compétence clinique fait partie intégrante de la formation des
étudiants sages-femmes. Il représente deux tiers de la formation. Il s’effectue au cours des stages
auprès des professionnels de terrain et au sein des écoles de sages-femmes lors des cours
magistraux mais aussi lors de travaux et enseignements dirigés, de travaux pratiques et
d’évaluations formatives.
Les compétences cliniques des étudiants sont évaluées tout au long du cursus par les validations
de stages et par les évaluations cliniques normatives. Ces dernières sont réglementées par le
décret du 11 décembre 20011. Elles sont sous la responsabilité des sages-femmes enseignants.
Leur objectif est d’évaluer les étudiants en situation clinique réelle. Le jury est composé du
professionnel enseignant responsable de la promotion et d’un professionnel de terrain. La
moyenne requise pour accéder à l’année supérieure est de dix sur vingt.

L’équipe pédagogique de l’école de sages-femmes de Saint-Antoine expérimente depuis

quatre ans, une nouvelle forme d’évaluation clinique : l’Examen Clinique par Objectifs
Structurés (ECOS), outil d’évaluation décrit par les différents auteurs comme plus équitable2,3.
Cette épreuve est organisée à Saint-Antoine, pour les étudiants de première année de première
phase des études de sages-femmes.
Au cours de cette année de formation, l’étudiant est évalué sur son aptitude à prendre en charge
un soin infirmier. Il doit être capable de rechercher dans le dossier du patient les éléments lui
permettant d’effectuer un soin, de préparer et de réaliser celui-ci en respectant les règles
d’asepsie, de communiquer avec le patient (réassurer, informer) et avec l’équipe soignante
(transmission écrite et orale)4.
Depuis 2006, les étudiants de première année sont donc soumis aux deux formes
d’évaluations normatives: évaluation clinique classique et ECOS.

Ce mémoire a pour objectif d’apprécier la perception, la faisabilité et la validité des

ECOS lors de la formation initiale des sages-femmes

1
Décret du 11 décembre 2001 relatif au contrôle des connaissances et des aptitudes des étudiants sages-femmes et à l’organisation des examens.
2 JOUQUAN J .L’évaluation des apprentissages des étudiants en formation médicale initiale, Revue Pédagogie Médicale , volume 3 , numéro 1 [
33-39 ]
3 HARDEN R , STEVENSON M , DOWNIE W , WILSON G , Assessment of clinical competence using objective structured examination ,
British Medical Journal 1975 ,volume 1 [447-451]
4DESCARGUES G , SIBERT L , LECHEVALLIER J , WEBER J , LEMOINE J-P , MARPEAU L , Evaluation au cours de la formation initiale
de la compétence clinique en Gynécologie Obstétrique : approche innovatrice basée sur l’observance de la performance par l’examen clinique
objectif et structuré ( ECOS) ,Journal de gynécologie obstétrique et biologie de la reproduction , 2001 , volume 30 , numéro 3 [257-264 ]

4
 I- Les évaluations cliniques

I1- Les évaluations cliniques classiques

Classiquement, les étudiants de l’école de sages-femmes de l’hôpital Saint-Antoine sont

évalués trois fois au cours de l’année universitaire. Au cours de ces évaluations, les étudiants
tirent au sort les soins qu’ils auront à effectuer Ce sont des soins réels sélectionnés dans le
service de gynécologie-obstétrique rattaché à l’école de sages-femmes. Quatre étudiants sont
évalués par matinée. L’évaluation de l’ensemble des étudiants d’une promotion (40 étudiants en
moyenne) nécessite deux à trois semaines.
Cette forme d’évaluation est peu satisfaisante. Elle présente des inégalités pour les étudiants. En
effet, les soins proposés sur une session sont tous différents : un prélèvement sanguin nécessite
de mettre en œuvre moins d’habileté technique que la réfection d’un pansement de césarienne.
Certaines patientes (angoissées, ne parlant pas le français ou réticentes) peuvent influer sur la
réussite de l’épreuve. L’étalement des évaluations dans le temps est également un facteur
d’iniquité. Les étudiants, évalués en dernier, ont eu plus de temps pour acquérir et perfectionner
des compétences. Il est également nécessaire, sur une aussi longue période, de faire appel à des
jurys différents, ce qui peut-être vécu comme une perte de chance. D’un point de vue
organisationnel, cette forme d’évaluation chronophage, est aussi susceptible de créer une
lassitude des évaluateurs, engendrant inconsciemment une modification des critères d’évaluation
à la fin des trois semaines.
Malgré tout, évaluer l’étudiant sur sa compétence clinique permet de prendre la mesure
des trois dimensions indispensables à un professionnel : le savoir, le savoir-faire et le savoir-
être.5 C’est le constat des difficultés rencontrées lors des évaluations cliniques normatives
classiques, qui a motivé l’équipe d’enseignantes de l’école de sages-femmes de l’hôpital Saint-
Antoine à tester une nouvelle forme d’évaluation clinique : l’ECOS.

I2- Expérience de l’ECOS en première année à l’école de sages-femmes de

Saint-Antoine
L’ECOS a été décrit la première fois par Harden en 1975. Il est de plus en plus utilisé
dans les différentes formations médicales. Il est un outil d’évaluation qui donne de l’importance
à l’enseignement clinique et qui augmente sa validité et sa fiabilité.6 Lors de cet examen, chaque
compétence est découpée en tâches facilement évaluables. Classiquement, une vingtaine de

5
JOUQUAN J .L’évaluation des apprentissages des étudiants en formation médicale initiale, Revue Pédagogie Médicale , volume 3 , numéro 1 [
33-39 ]
6 BERTRAND C., HODGES B., SEGOUIN C. , GAGNAYRE R. , AMMIRATI C., MARTY J .,FARCET J .P., Les examens cliniques par
objectifs structurés , Le Praticien en anesthésie réanimation 2008 12,[212-217]

5
postes d’une durée de quatre à cinq minutes est proposée, pouvant être de deux types: répondre à
des questions ou exécuter des tâches. L’évaluation porte sur la connaissance (le savoir), sur
l’habileté technique (savoir-faire), sur le comportement (savoir être). Plusieurs tâches peuvent
être sélectionnées : histoire du patient, examen physique, interprétations des examens para-
cliniques, communication et éducation du patient. L’étudiant évolue de poste en poste, une
sonnerie indique le changement de poste. Trente secondes sont accordées entre chaque stand.
L’évaluateur ne fait qu’observer ; il ne doit pas communiquer avec l’étudiant. Une entente
préalable des évaluateurs sur les attentes permet de construire une grille d’items critériés afin
d’élaborer un score donc une note. L’ECOS détermine ainsi, si les étudiants ont les bases
cliniques minimum requises.
Depuis quatre ans, les étudiants de première année de l’école de sages-femmes de Saint-
Antoine sont soumis à cette épreuve en remplacement de la deuxième évaluation clinique
classique, au cours du deuxième trimestre. Les deux autres évaluations cliniques restent
inchangées.
Les ECOS mis en place à Saint-Antoine ont été adapté afin de répondre aux exigences
définies par le projet pédagogique de l’école.
Les étudiants sont évalués sur quatre postes qui suivent une progression logique d’un soin
infirmier, par exemple: lecture du dossier, calcul d’une dose de médicament, préparation et pose
d’une perfusion, transmission du soin. Chaque poste doit être effectué en dix minutes. A son
entrée dans le stand, l’étudiant prend connaissance du scénario proposé puis il répond aux
questions ou il effectue le soin prescrit.
Les différentes stations sont élaborées par les enseignantes responsables de la promotion. Toute
l’équipe pédagogique est sollicitée pour participer au temps « évaluation ». Une réunion
préparatoire fixe les objectifs attendus pour chaque poste et permet d’affiner les grilles de
notation.

Depuis la mise en place des ECOS à Saint-Antoine, le sentiment partagé par l’équipe
pédagogique et par les étudiants semble mitigé. Cependant cette forme d’évaluation apparaît plus
équitable et d’autres équipes d’enseignantes sages-femmes la mette en œuvre dans leur école.
Avant de poursuivre ou de généraliser cette forme d’évaluation, il faut vérifier que l’ECOS est
assez pertinent pour remplacer les évaluations cliniques classiques au sein de la formation
initiale des sages-femmes.

6
 II- Matériel et méthode

Deux enquêtes descriptives par recensement ont été réalisées (cf. annexes). La première
s’est adressée aux étudiants sages-femmes de Saint-Antoine des quatre promotions évaluées par
l’ECOS, la seconde aux enseignantes étant soit organisatrice et évaluatrice soit évaluatrice seule.
Le but de ces deux enquêtes est de connaître l’opinion et le vécu des personnes ayant participées
aux ECOS depuis quatre ans.
Le recueil de données s’est effectué auprès des étudiants par le biais d’un questionnaire anonyme
distribué au début d’un cours, et auprès des enseignantes lors d’une réunion pédagogique. Les
questionnaires ont été récupérés immédiatement.
Parallèlement, seules les notes obtenues lors de la première évaluation clinique classique
ainsi que celles obtenues lors des ECOS ont été comparées. La troisième note de l’année n’a
volontairement pas été prise en compte car les étudiants n’abordent cette dernière qu’en fonction
de la moyenne déjà acquise ( cette évaluation est souvent négligée car soit la moyenne est déjà
atteinte pour la validation de l’année, soit à l’inverse l’épreuve est surinvestie car la moyenne est
trop juste). Le différentiel entre les deux notes a été étudié. Il permet de valider la fiabilité et la
validité du mode d’évaluation.
III-Résultats
III1-Description de la population
Tableau 1 : Description de la population
Promotion Promotion Promotion Promotion
2009-2010 2008-2009 2007-2008 2006-2007 Enseignantes

Personnes concernées 43 43 38 31 8
Répondants 22 29 27 24 8
Pourcentage 51,16% 67,44% 71,05% 77,42% 100,00%

La participation à cette enquête a été globalement satisfaisante. Les étudiants de la promotion

2009-2010 se sont sentis moins concernés par l’enquête. Ils n’ont sans doute pas assez de recul
pour analyser la pratique.

III2-Perception globale sur l’épreuve

Perception des étudiants avant l’épreuve :
Tableau 2 : Perception globale des étudiants

plus serein moins serein même état d’esprit Sans opinion Total
Nombre 19 45 37 1 102
Pourcentage 19% 44% 36% 1% 100%

7
Un paramètre important lorsque l’étudiant aborde une évaluation est son état d’esprit au moment
de passer l’épreuve. Un trop grand stress peut être source d’erreur. 44% des étudiants se sont
sentis moins sereins avant l’ECOS.
Cet état d’esprit peut s’expliquer par la nouveauté de l’épreuve dans le cursus de l’enseignement
des étudiants sages-femmes de l’école de Saint-Antoine. Il n’y a de ce fait pas de transmissions
de l’information des promotions antérieures (transmission du vécu qui permet de réassurer). De
plus, aucun entrainement n’a été proposé aux étudiants en préparation de cette épreuve
spécifique.

Information en amont de l’ épreuve :

Tableau 3 : Information de l’étudiant sur la nature de l’évaluation :
très suffisante suffisante peu suffisante insuffisante pas d'opinion Total
Nombre 9 63 28 1 1 102
Pourcentage 9% 62% 27% 1% 1% 100%

L’information fournie par les enseignantes responsables de la promotion concernant l’épreuve

n’est pas à incriminer dans l’état d’esprit des étudiants qui abordent l’ECOS. En effet pour 71%
d’entre eux, l’information a été de très suffisante à suffisante.
Les enseignantes ayant participé aux jurys ont également trouvé que l’information était
suffisante (5 sur 8). Les ECOS ont été un facteur de discussion, d’échanges autour des pratiques.

Adjectifs employés par les étudiants pour qualifier l’ECOS :

Les étudiants ont majoritairement décrit l’épreuve comme déstabilisante ( 59 étudiants sur 102
soit 58%) et stressante (30 sur 102 soit 30%). Ces deux adjectifs qualificatifs négatifs sont en
corrélation avec l’état d’esprit « moins serein » déclaré par les étudiants.

Réalisme de l’épreuve :
Tableau 4 : Réalisme de l’épreuve :
très proche Proche éloigné très éloigné pas d’opinion Total
Nombre 1 24 46 27 4 102
Pourcentage 1% 24% 45% 26% 4% 100%

Les étudiants pensent pour une grande majorité que l’épreuve est éloignée voire très éloignée de
la réalité (73 sur 102 soit 71 %). Ce sentiment explique le stress ressenti avant l’épreuve. En effet
les étudiants n’ont pas l’expérience de l’épreuve morcelée. Tant à l’école que dans les services,

8
ils apprennent à prendre en charge les patients dans leur globalité. L’ECOS les met face à une
situation inconnue donc angoissante et stressante.
Les enseignantes interrogées sur le réalisme de l’épreuve ont une opinion partagée. La moitié de
l’effectif déclare que l’ECOS est proche de la réalité ; l’autre qu’elle en est très éloignée.

Equité de l’épreuve :
Tableau 5 : Equité
plus juste juste moins juste totalement injuste sans opinion Total
Nombre 29 48 13 5 7 102
Pourcentage 28% 47% 13% 5% 7% 100%

L’équipe pédagogique de Saint-Antoine a mis en place cette épreuve pour tendre vers plus
d’équité. Interrogés sur cette dimension, les étudiants répondent majoritairement que l’ECOS est
juste (47%) voire plus juste (28%) que l’épreuve clinique classique.
Ils choisissent l’adjectif équité pour qualifier l’épreuve (45 étudiants sur 102 soit 44%).
Les enseignantes ont également ce sentiment. En effet, six enseignantes répondent que la note est
en adéquation avec les prestations des étudiants et qu’elle reflète le niveau de la compétence
acquise.

III3-Organisation de l’épreuve

Temps imparti pour l’épreuve :

Tableau 6 : Temps imparti pour l’épreuve :
très suffisant suffisant peu suffisant insuffisant pas d'opinion Total
Nombre 4 55 35 8 0 102
Pourcentage 4% 54% 34% 8% 0% 100%

Les stands des ECOS décrits dans la littérature ont une durée de cinq minutes avec trente
secondes entre chaque épreuve. L’équipe pédagogique de Saint-Antoine, quant à elle, a fait le
choix de stands d’une durée de dix minutes, ce qui permet de mieux appréhender les réactions de
l’étudiant face à une consigne.
Les étudiants sont satisfaits du temps de dix minutes pour chacun des stands (59 étudiants sur
102 soit 58%).
Cinq enseignantes sur huit estiment qu’il a été facile de respecter ce temps imparti. Cet impératif
a été de mieux en mieux respecté au cours des quatre années d’expérience.

9
Consignes données :
Tableau 7 : Qualité des énoncés

très claire claire peu claire obscure pas d’opinion Total

Nombre 11 64 20 7 0 102
Pourcentage 11% 63% 20% 7% 0% 100%

D’un point de vue pédagogique, la consigne doit être clairement énoncée pour que l’épreuve soit
correctement réalisée. Les étudiants ont, pour une grande majorité, trouvé que les consignes ont
été claires ( 75 étudiants sur 102 soit 74%).
Les enseignantes n’ont pas eu de difficultés à élaborer les stands (5 sur 8) et à rédiger les
consignes.
L’organisation d’un point de vue des enseignantes :
L’équipe pédagogique de Saint-Antoine souligne des points difficiles dans l’organisation des
ECOS.
 La construction de la grille d’évaluation :
L’aspect équité est le point le plus important de l’ECOS. Pour répondre à ce critère, la grille
d’évaluation doit être le plus discriminant possible. L’élaboration de cette grille a été difficile
pour six enseignantes sur huit.
 Le temps :
Pour sept enseignantes, le temps de préparation est plus long en amont que pour les évaluations
classiques. L’hypothèse émise par l’équipe pédagogique de Saint-Antoine lors de la mise en
place de l’expérience, n’est donc pas validée. L’ECOS est aussi chronophage que les évaluations
classiques.
 Les moyens logistiques :
Des aménagements ont été apportées à l’organisation de l’ECOS : quatre stands de dix minutes
au lieu de douze stands de cinq minutes. Cette diminution du nombre de critères engendre une
évaluation moins fiable. Malheureusement, l’organisation actuelle des équipes d’enseignants
sages-femmes ne permet pas de répondre aux critères précis définis pour l’ECOS. L’équipe
pédagogique de Saint-Antoine s’est trouvée confrontée à des difficultés d’ordre logistique. Les
locaux ne sont pas conçus pour respecter un circuit répondant à l’impératif de non
communication entre les étudiants. Cinq enseignantes sur huit trouvent que la gestion des locaux
et des parcours est difficile.
 Les moyens personnels :
Des difficultés ont également été éprouvées dans la gestion du personnel. Le nombre de sages-
femmes enseignantes ne permet pas de gérer plus de quatre stands.

10
La question du patient standardisé « personne volontaire, entraînée, qui joue un rôle du patient
selon un scénario préétabli »7 n’a pas été abordée. Il n’a été utilisé qu’une seule année dans
l’expérience de Saint-Antoine. Le frein majeur au recours du patient standardisé est financier.

III4-Epreuve
Lors de l’élaboration des ECOS, l’équipe pédagogique de Saint Antoine s’est attachée à évaluer
deux dimensions du soin : l’acquisition de la technique d’un soin et l’interaction avec le patient
ou le soignant.
Réalisation du soin technique :
Tableau 8 : Pratique du soin

très facile à réaliser facile à réaliser difficile à réaliser irréalisable pas d’opinion Total
Nombre 6 81 8 1 6 102
Pourcentage 6% 79% 8% 1% 6% 100%

Les étudiants ont trouvé que la technique du soin était facile voire très facile à réaliser (87
étudiants sur 102 soit 85%). Cette réponse était prévisible car l’épreuve, dans cette situation,
ressemble aux travaux pratiques d’apprentissage des soins infirmiers.
Respect de l’asepsie :
Tableau 9 : Respect des règles d’asepsie

très facile à réaliser facile à réaliser difficile à réaliser irréalisable pas d’opinion Total
Nombre 7 52 37 2 4 102
Pourcentage 7% 51% 36% 2% 4% 100%

Le respect de l’asepsie est également ressentie comme facile ou très facile mais pour un nombre
moins important d’étudiants (59 étudiants sur 102 soit 58%) . Cette réponse peut s’expliquer par
la perception trop éloignée de la situation. Les étudiants, face à une situation qu’ils qualifient
d’irréelle, n’ont pas le même niveau de respect de l’asepsie. Les étudiants de première année de
première phase, nouvellement confrontés aux concepts d’asepsie (quatre mois de formation et
trois stages de trois semaines), n’ont pas encore acquis les réflexes liés à l’impératif d’hygiène.
Contact avec le patient :
Tableau 9 : relation soignant-soigné
très proche proche éloigné très éloigné pas d’opinion Total
Nombre 1 2 22 74 3 102
Pourcentage 1% 2% 22% 73% 3% 100%

7
BERTRAND C., HODGES B., SEGOUIN C. , GAGNAYRE R. , AMMIRATI C., MARTY J .,FARCET J .P., Les examens cliniques par
objectifs structurés , Le Praticien en anesthésie réanimation 2008 12,[212-217]

11
En ce qui concerne la dimension interaction avec le patient, l’ECOS met les étudiants en
difficulté. Ils ont répondu, pour une grande majorité, que le contact était éloigné voire très
éloigné de la réalité (96 étudiants sur 102 soit 95%). Il faut souligner que, dans les cas proposés,
les patients étaient des mannequins en plastique. Le recours aux patients standardisés modifierait
vraisemblablement ce résultat.
Contact avec l’évaluateur :
Tableau 10 : relation étudiant-évaluateur :
très facile à gérer facile à gérer difficile à gérer insurmontable pas d’opinion Total
Nombre 5 45 47 1 4 102
Pourcentage 5% 44% 46% 1% 4% 100%

L’avis des étudiants concernant le contact avec l’évaluateur est mitigé. Cette dimension est
dépendante de la personnalité de l’étudiant. En effet, la mise en situation clinique classique peut
également mettre l’étudiant mal à l’aise et être un frein à la réussite de l’épreuve.

Notation de l’épreuve :
Les enseignantes ont trouvé que noter l’ECOS est facile (6 enseignantes sur 8). Le travail
d’élaboration des grilles de notation en amont est une aide dans l’évaluation. Par contre, pour
cinq enseignantes sur 8 observer sans commenter est difficile. Rester mutique face à un étudiant
qui pose des questions reste une épreuve surtout que la formation est inscrite dans la culture du
compagnonnage. La sage-femme enseignante doit apprendre à n’être qu’observateur et non
tuteur. L’habitude de l’épreuve devrait remédier à cette difficulté.

III5-Equité de l’épreuve

Etude du différentiel des notes

Les étudiants interrogés sur la note obtenue lors de cette épreuve, répondent qu’elle ne
reflète pas leur niveau. Les enseignantes ont le sentiment contraire (6 enseignantes sur 8). Pour
avoir une idée précise du niveau de discrimination de cette épreuve, les notes obtenues ont été
comparées à celles des évaluations cliniques classiques.
Les notes de la première évaluation clinique normative classique et de l’ECOS des étudiants des
quatre promotions concernées ont été prises en compte. La différence entre les deux a été calculé
et étudiée.
Les notes des 165 étudiants ont été récupérées. ( 43 pour la promotion 2009-2010, 48
pour la promotion 2008-2009, 41 pour la promotion 2007-2008, 33 pour la promotion 2006-

12
2007). Les notes de trois étudiants n’ont pas été prises en compte: deux n’ont pas compris le
principe de l’ECOS et se sont présentés après le début de l’épreuve, ils ont donc obtenus zéro.
Un étudiant ne s’est pas présenté à la première épreuve clinique normative classique il a
également été sanctionné par un zéro.
Tableau 11 : étude des différentiels des notes

40 38
35
30
25 20
19
20 16
15 13
10 9 9
10 7 8
6
4
5 2 1 1
0
-7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7

La répartition des différentiels des deux notes répond à une courbe de gauss. Les différentiels
s’étendent de –7 points à +7 points entre les deux épreuves. La majorité des étudiants n’ont pas
ou peu de modification de leur résultat entre la clinique normative classique et l’ECOS
(différentiel égal à zéro). L’évaluation par ECOS reflète donc le niveau de compétences réelles
de l’étudiant et ne le met pas plus en difficulté qu’une évaluation clinique classique.

IV- Discussion

Cette enquête n’a pas pour objectif la généralisation des ECOS dans toutes les écoles de
sages-femmes. Elle permet simplement de faire émerger des pistes de réflexion et de travail pour
les équipes pédagogiques qui souhaitent poursuivre, ou s’engager, dans la mise en place des
ECOS au sein de leur site de formation.

L’ECOS est surtout utilisé pour son aspect équitable, et fiable. Les étudiants et les
enseignantes interrogés abondent dans ce sens. Les notes obtenues montrent qu’elle est une
épreuve ne mettant pas l’étudiant en difficulté. Par contre, l’organisation adoptée par l’équipe
pédagogique de Saint-Antoine n’optimise pas la fiabilité de l’examen. En effet, la restriction à
cinq stands maximum ne répond pas aux critères de l’ECOS. Le frein majeur à l’augmentation
du nombre d’épreuves est le nombre d’enseignants disponibles sur un même temps. Pour l’école

13
de sages-femmes de Saint-Antoine, cinq enseignantes maximum peuvent être mobilisées sur un
même temps.
Pour remédier à ce problème, deux pistes peuvent être envisagées : faire intervenir des sages-
femmes cliniciennes, tuteurs de stages ; mutualiser les ECOS de plusieurs écoles de sages-
femmes ( plus facilement réalisable en région parisienne).
L’intérêt de travailler avec des évaluateurs extérieurs à la structure de formation permet
également d’échanger entre professionnels autour des pratiques de soins. En effet, l’ECOS
nécessite de créer des grilles de notation très strictes. Les personnels qui évaluent doivent
s’entendre avant l’examen sur le niveau de performance à atteindre par l’étudiant. La
collaboration d’intervenants de différents horizons mais de même formation permet de rentrer
dans une démarche d’évaluation des pratiques professionnelles, indispensable à la cohérence de
la formation initiale. Cette démarche qualité est un impératif dans la formation initiale des futurs
professionnels.
L’ECOS peut remplacer l’évaluation clinique classique lors d’une épreuve au cours de
l’année universitaire. Il permet d’observer des points précis de la prise en charge d’un soin. De
plus, il correspond aux gestes techniques effectués par les étudiants en travaux pratiques.
L’ECOS permet d’évaluer la connaissance et la maîtrise de l’étudiant sur un item ponctuel dans
un stand donné. Il n’est pas utile que chaque stand soit lié par un fil conducteur. Il faut penser
l’ECOS comme une succession de compétences distinctes les unes des autres.
La capacité de l’étudiant à s’organiser, à prendre en charge le patient dans sa globalité et à
communiquer avec le patient et l’équipe autour d’un soin donné, peut être évaluée au cours des
épreuves cliniques classiques. Le choix de l’équipe pédagogique de Saint-Antoine, de remplacer
une seule évaluation clinique classique par un ECOS et de conserver les deux autres, répond au
besoin de voir évoluer l’étudiant dans toutes les dimensions du soin.
Les étudiants interrogés se sont sentis en difficulté vis à vis de la communication avec le
patient. L’absence du patient standardisé est un problème. Parler avec un mannequin, réconforter
une poupée lors d’un soin n’est pas spontané. Toutefois, les différents articles soulignent que le
recours au patient standardisé n’est pas la panacée. Ils évoquent notamment la difficulté pour
l’acteur de répéter un grand nombre de fois la même donnée sans modifier son discours. Les
canaux de communication ne sont pas reproductibles à l’identique. Par ailleurs, il n’est pas
envisageable, de réaliser dans ce cadre l’évaluation de soins invasifs. Une solution d’avenir,
totalement utopiste à l’heure actuelle, est la salle de simulation. Ces salles sont équipées de
mannequin capables de répondre aux questions, de simuler une pathologie, de recevoir des soins.
Certaines universités s’investissent dans cette nouvelle technologie très onéreuse mais qui

14
présente l’avantage d’être pluridimensionnelle et reproductible à l’infini. Aujourd’hui, la
solution pourrait être l’entraînement aux examens par la proposition de jeux de rôle et d’ECOS
formatifs.
Conclusion
L’ECOS est une méthode d’évaluation qui a vu le jour dans les pays anglo-saxons. Des
expériences récentes sont décrites dans les facultés de Médecine françaises.8,9 Certains l’utilisent
même comme un outil de formation. « Les étudiants l’ont plébiscité comme l’enseignement le
plus complet qu’ils aient reçu. »10
L’expérience de l’école de sages-femmes de Saint-Antoine montre que cette forme
d’évaluation peut-être réalisable et modelable dans le cursus actuel.
De plus, la restructuration de la formation: création du cursus Licence Master Doctorat (LMD),
donne toute sa raison d’être à l’ECOS dans la formation des sages-femmes. « Modifier un
programme ou des techniques sans en changer le système d’évaluation a toutes chances de ne
mener à rien »11. Les sages-femmes enseignantes interrogées sont unanimes cette épreuve est
tout à fait applicable au LMD.
La mise en place du LMD engendre obligatoirement une diminution de l’enseignement pratique
sur le terrain (structure obligatoire du niveau Licence 2 et du niveau Licence 3). L’ECOS sera
donc un moyen plus pertinent pour évaluer les étudiants.
Aujourd’hui, c’est une épreuve complémentaire de l’évaluation classique qui est
approuvée par les étudiants (61% pensent qu’il faut conserver cette épreuve en première année
des études actuelles) et par les enseignantes (7 enseignantes sur huit estiment qu’il faut effectuer
l’ECOS en première et deuxième année des études actuelles). Toutefois, cette méthode innovante
en école de sage-femme nécessite une formation des enseignants afin d’optimiser sa pertinence.
C’est l’expérience et son analyse qui permet d’améliorer la fiabilité de cet examen. En quatre ans
l’équipe pédagogique a affiner sa maîtrise de l’organisation de l’ECOS.
L’ECOS permet une harmonisation des pratiques cliniques, une démarche qualité
indispensable à la formation de professionnels de santé compétents.

8 SIBERT L , GRAND MAISON P , CHARLIN B et GRISE P . Développement d’un Examen Clinique Objectif Structuré pour évaluer les
compétences des internes en urologie, Revue Pédagogie médicale, novembre 2000 , volume 1 , numéro 1 [ 33-39 ]
9DEMESTRE T. Evaluation des étudiants hospitaliers par Examen Clinique Objectif Structuré : Faisabilité en médecine d’urgence, Mémoire en
vue de l’obtention du Diplôme Inter Universitaire de Pédagogie Médicale, octobre 2009.
10
LEPOUTRE B ., Ecrire un « cas d’ECOS » Formation aux soins primaires : exemple du vertige paroxystique bénin ; médecin généraliste,
chargé d’enseignement Paris VII.

11 G.E. MILLER, symposium médical international n°2, Rome, 23-26 mars 1977

15
 Bibliographie

1. SIBERT L , GRAND MAISON P , CHARLIN B et GRISE P . Développement d’un Examen Clinique

Objectif Structuré pour évaluer les compétences des internes en urologie, Revue Pédagogie
médicale, novembre 2000 , volume 1 , numéro 1 [ 33-39 ]

2. JOUQUAN J .L’évaluation des apprentissages des étudiants en formation médicale initiale, Revue
Pédagogie Médicale , volume 3 , numéro 1 [ 33-39 ]

3. DESCARGUES G , SIBERT L , LECHEVALLIER J , WEBER J , LEMOINE J-P , MARPEAU L , Evaluation

au cours de la formation initiale de la compétence clinique en Gynécologie Obstétrique :
approche innovatrice basée sur l’observance de la performance par l’examen clinique objectif et
structuré ( ECOS) ,Journal de gynécologie obstétrique et biologie de la reproduction , 2001 ,
volume 30 , numéro 3 [257-264 ]

4. HARDEN R , STEVENSON M , DOWNIE W , WILSON G , Assessment of clinical competence using

objective structured examination , British Medical Journal 1975 ,volume 1 [447-451]

5. BERTRAND C., HODGES B., SEGOUIN C. , GAGNAYRE R. , AMMIRATI C., MARTY J .,FARCET J .P.,
Les examens cliniques par objectifs structurés , Le Praticien en anesthésie réanimation 2008
12,[212-217]

6. BERNARDIN G . , L’essentiel sur …l’ECOS : Guide pratique de la méthode d’évaluation dite

« Examen Clinique Objectif et Structuré » ; Service de Réanimation Médicale Faculté de Nice

7. LEPOUTRE B ., Ecrire un « cas d’ECOS » Formation aux soins primaires : exemple du vertige
paroxystique bénin ; médecin généraliste, chargé d’enseignement Paris VII

8. DEMESTRE T. Evaluation des étudiants hospitaliers par Examen Clinique Objectif Structuré :
Faisabilité en médecine d’urgence, Mémoire en vue de l’obtention du Diplôme Inter
Universitaire de Pédagogie Médicale, octobre 2009.

16
 Annexes

Annexe 1 : Questionnaire adressé aux enseignantes

Annexe 2 : Questionnaire adressé aux étudiants

17
Annexe 1

ECOS
Enseignante

Identité du répondant
- Age
- Ancienneté dans la fonction d’enseignante
- Evaluateur
- Organisateur
Par rapport à la clinique normative classique « sur le terrain », le temps de préparation de
cette épreuve vous a semblé :
- beaucoup plus long
- aussi long
- beaucoup moins long
- sans aucun rapport
- sans opinion

Vous diriez des items suivants qu’ils sont :

Très facile à Facile à Difficile à Irréalisable Pas
réaliser réaliser réaliser d’opinion
Elaboration des
stands
Gestion du
matériel
Gestion des locaux
Gestion du
parcours
Gestion des
personnels
évaluateurs
Gestion des
acteurs
Elaboration de la
grille d’évaluation

Selon vous les notes obtenues par les participants sont

- sur évaluées
- sous évaluées
- en adéquation avec la prestation
- en rapport avec le niveau de l’étudiant
- sans opinion
L’information en amont sur le déroulement de l’épreuve vous a semblé
- très suffisante
- suffisante
- peu suffisante
- insuffisante
- pas d’opinion

18
L’épreuve vous a semblé :
- très proche de la réalité
- proche de la réalité
- éloignée de la réalité
- sans rapport avec la réalité
- pas d’opinion

Par rapport à la clinique normative classique « sur le terrain », le temps de participation à

cette épreuve vous a semblé :
Pour l’enseignant Pour l’étudiant Pour les deux
beaucoup plus long

aussi long

beaucoup moins long

sans aucun rapport

sans opinion

Vous diriez des items suivants qu’ils sont :

Très facile à Facile à Difficile à Irréalisable Pas

réaliser réaliser réaliser d’opinion
Observer sans
commenter
Noter
Respecter le temps
imparti pour
l’atelier
Evaluer un nombre
important
d’étudiant sur un
même temps

Cette évaluation vous semble adaptée pour la

- Première année de première phase PP1

- Deuxième année de deuxième phase PP2
- Première année de deuxième phase DP1
- Deuxième année de deuxième phase DP2
- Dans aucune année de formation
- Pas d’opinion

Cette forme d’évaluation vous semble-t-elle applicable dans le futur programme

LMD ?
- Oui
- Non

19
Annexe 2
ECOS
Opinion et vécu des étudiants

Identité du répondant Homme / Femme Age :

PP1 / PP2 / DP1 / DP2
L’information sur le déroulement de l’épreuve vous a semblé
- très suffisante
- suffisante
- peu suffisante
- insuffisante
- pas d’opinion

Par rapport à l’évaluation clinique normative classique :

Avant l’évaluation vous étiez :

- plus serein
- moins serein
- dans le même état d’esprit

Votre note vous semble :

- plus réaliste
- moins réaliste
- le reflet exact de votre niveau

L’ECOS vous a semblé :

Par rapport à la réalité des stages :
- très proche
- proche
- éloigné
- très éloigné
- pas d’opinion

Par rapport aux évaluations classiques :

- Très proche
- proche
- éloigné
- très éloigné
- pas d’opinion

Par rapport à l’équité de l’évaluation

- plus juste
- juste
- moins juste
- totalement injuste
- sans opinion

20
Pour les différentes stations vous diriez que :

Le temps imparti était Le respect de l’asepsie

- très suffisant - très facile à réaliser
- suffisant - facile à réaliser
- juste suffisant - difficile à réaliser
- très insuffisant - irréalisable
- pas d’opinion - pas d’opinion

La consigne de départ : Le contact avec le patient

- très claire - Très proche
- claire - proche
- peu claire - éloigné
- obscure - très éloigné
- pas d’opinion - pas d’opinion

La technique évaluée : Le contact avec l’évaluateur

- très facile à réaliser - très facile à gérer
- facile à réaliser - facile à gérer
- difficile à réaliser - difficile à gérer
- irréalisable - insurmontable
- pas d’opinion - pas d’opinion

Donnez deux qualificatifs pour cette évaluation :

Confiance Stress Equité Autre :

Surprenant Déstabilisant Organisé Autre :

Cette évaluation vous semble adaptée pour la

- Première année de première phase PP1

- Deuxième année de deuxième phase PP2
- Première année de deuxième phase DP1
- Deuxième année de deuxième phase DP2
- Dans aucune année de formation
- Pas d’opinion

21