Faculté de psychologie et des sciences de l’éducation (PSP)

Ecole d’éducation et de formation (EDEF)

Master en sciences de l’éducation (FOPA)

L’évaluation certificative par QCM à l’université

La pénalisation des mauvaises réponses est-elle associée
à une meilleure discrimination des étudiants?

Mémoire réalisé par

Isabelle Lecroart

Promoteur
Jacques Grégoire

Accompagnateurs
Charles Van Haverbeke, Matthieu Van Pachterbeke

Année académique 2015-2016

Master en sciences de l’éducation, finalité spécialisée
Remerciements

Je souhaite remercier M. Grégoire pour nos échanges, sa disponibilité et ses

conseils dans la construction de ce mémoire. Ainsi que M. Van Pachterbeke et M. Van
Haverbeke pour le temps qu’ils ont consacré à la lecture commentée, source
d’améliorations de ce travail. M. Braibant, qui a initié le travail d’étude de la qualité
des QCM à l’UCL, a également alimenté la réflexion lors de nos nombreux échanges.

Je remercie également ma famille, mes amis ainsi que mon entourage

professionnel pour leur soutien et leurs encouragements tout au long de mes études qui
s’achèvent avec ce mémoire.

Un dernier remerciement tout particulier à Patricia et Jean-François sans

lesquels je n’en serais pas ici aujourd’hui.
Résumé
Ce mémoire s’intéresse à l’évaluation certificative par questionnaire à choix
multiple (examen QCM). Il vise à comprendre les effets de la pénalisation des
mauvaises réponses en lien avec la capacité de discrimination et le taux de réussite à
un examen. Tout d’abord, la partie théorique s’intéresse à l’évaluation en posant la
question de sa définition et de sa fonction. Le questionnaire à choix multiple, qui est
une modalité particulière d’évaluation, est ensuite présenté: sa définition, sa place dans
l’évaluation, ses avantages et ses inconvénients. Cette partie aborde ensuite des
concepts issus de la théorie classique des tests et explicite les principaux indicateurs
de la qualité d’un test: la validité, la fidélité, la sensibilité et l’indice de facilité
(Laveault & Grégoire, 1997). Enfin, l’évolution des débats entre les auteurs permet
d’approfondir la question de la pénalisation des mauvaises réponses.

Les questions traitées dans la partie empirique ont pour origine un constat. Dans
l’échantillon étudié, composé de 680 examens QCM (146.800 copies d’étudiants),
68,6% des examens font appel à un barème de pénalisation des mauvaises réponses.
Pour ces examens, le taux de réussite est en moyenne inférieur de 10% à celui des
examens qui ne pénalisent pas les réponses fausses. L’étude réalisée s’attache dès lors
à apporter des éléments de réponse à la question suivante: la pénalisation des
mauvaises réponses est-elle associée à un indice de discrimination plus élevé?

Les analyses menées ont permis de faire un certain nombre de constats quant à la
capacité de discrimination d’un test et au degré de pénalité. Les conclusions
principales sont les suivantes. Tout d’abord, les examens avec pénalité ne discriminent
pas davantage les étudiants que les examens sans pénalité. Ensuite, les examens
comportant une faible pénalité de -0,20 point pour mauvaise réponse possèdent une
capacité de discrimination plus élevée que les autres examens. La question de la
pénalité a également été analysée sous l’angle de l’espérance de gain par item. Elle
consiste en une estimation du score que produirait une réponse au hasard en prenant
en compte le nombre d’options et la valeur du score attribué pour chaque option.
L’analyse de l’espérance de gain par item montre que les examens où cette valeur est
modérée (entre 0,04 et 0,11) discriminent davantage que les autres examens. Enfin, en
ce qui concerne le taux de réussite, il tend à augmenter lorsque la qualité de l’examen
diminue (capacité de discrimination ou de fidélité).
 Table des matières

Introduction 3

I. PREMIERE PARTIE: CADRE THEORIQUE 7

1. L’évaluation 8

1.1 Que signifie « évaluer »? 8

1.2 Fonctions de l’évaluation 8

1.3 Construction d’une évaluation 9

2. L’évaluation par QCM 14

2.1 L’examen de type Questions à Choix Multiple 14

2.2 Typologie des QCM 17

2.3 Administrer un examen QCM 18

2.4 Débat autour de la pénalisation des mauvaises réponses 19

3. Qualité des données récoltées 22

3.1 La validité 23

3.2 La fidélité 25

3.3 La sensibilité 26

3.4 L’indice de facilité 27

3.5 Analyser les résultats d’une évaluation 28

1
II. SECONDE PARTIE: RECHERCHE EMPIRIQUE 31

1. Objet de la recherche 31

1.1 Questionnement 31

1.2 Hypothèses 32

2. Aspects méthodologiques 38

2.1 Choix d’une méthode quantitative 38

2.2 Récolte des données 38

2.3 Echantillon et variables 39

3. Présentation des résultats 41

3.1 Question 1: Existe-t-il un lien entre le degré de pénalité et 47

l’indice de discrimination ?

3.1.1 Sous-question 1: Existe-t-il un lien entre la présence 54

d’une pénalité et l’indice de discrimination ?

3.2 Question 2: Existe-t-il un lien entre l’espérance de gain par item 58

et l’indice de discrimination ?

3.3 Question 3: Que montre l’analyse des examens qui possèdent 61

des indices élevés en termes de fidélité et de discrimination ?

3.4 Conclusions des recherches empiriques 69

Discussion 73

Conclusion 79

Bibliographie 81

Tables des figures, graphiques et tableaux 87

Annexes 91

2
Introduction
Dans un mouvement mondial d’étude de la qualité des établissements
universitaires, les institutions sont tenues de rendre compte de la qualité des
enseignements dans des rapports d’auto-évaluation et d’évaluation externe (Gilles,
2001). La qualité des examens universitaires constitue dès lors un enjeu de taille.

Le questionnaire à choix multiple (QCM) fait régulièrement débat quant à sa

légitimité, notamment à l’université. Le nombre croissant d’étudiants et le manque de
moyens dont disposent les universités pour un meilleur encadrement ont pour
conséquence un recours plus massif aux QCM comme instrument d’évaluation
certificative. Ce type d’évaluation a pour objectif d’attribuer une note qui déterminera
la réussite ou l’échec de l’étudiant en fin de formation.

En 2014, la presse relayait les propos défavorables à l’évaluation par QCM de

Jean-Claude Marcourt, ministre de l’Enseignement supérieur (Bersipont, 2014 ;
Bersipont, 2015). Celui-ci était rejoint par Bernard Rentier, recteur de l’Université de
Liège. Tandis que certains responsables d’université préconisent la limitation du
recours aux QCM, d’autres lui reconnaissent certains avantages à condition que cette
modalité d’évaluation soit correctement utilisée. L’examen par questionnaire à choix
multiple assure en effet l’objectivité dans la correction et peut faire l’objet d’un
diagnostic qualitatif fourni par les logiciels de traitement des résultats qui sont de plus
en plus performants.

L’Université catholique de Louvain propose des questionnaires à choix multiple

depuis une vingtaine d’années. Aujourd’hui, la manière de concevoir les QCM et les
outils de traitement des résultats ont beaucoup évolué (Braibant, 2014). Suite à
l’acquisition en 2011 du système logiciel Contest (Consilium), le service d’Evaluation
en appui à la qualité de l’enseignement et de la formation (EVA) de l’Université
catholique de Louvain propose un soutien logistique de conception et de correction
automatisées d’examens constitués de questions à choix multiple. Depuis 2012, ce
logiciel a permis de constituer une banque de données de plus de sept cents cours
évalués par QCM, soit 146.800 copies d’examen.

3
 Sur le sujet des QCM, la littérature aborde deux facteurs fondamentaux relatifs à
la qualité des tests de ce type. Le premier facteur concerne la formulation de l’énoncé
qui décrit la question ou le problème posé ; également nommé « item ». En matière de
formulation des items, la littérature énonce les bonnes pratiques (De Landsheere,
1971 ; Bernard & Fontaine, 1982 ; Morissette, 2005) dans le but de s’assurer que
l’ambiguïté d’un item provienne uniquement d’une ambiguïté interne c’est-à-dire liée
à l’ignorance du répondant (Morissette, 2005). Un item bien construit s’adresse
clairement à l’étudiant, dans un langage à sa portée. Il vérifie la compétence de
l’étudiant à résoudre le problème présenté et ne comporte pas d’ambiguïté externe
(lacune dans la façon de présenter l’item sur le questionnaire) au problème telle que,
par exemple, un terme mal choisi ou une formulation équivoque qui nécessiterait une
capacité d’analyse sémantique ou grammaticale (Morissette, 2005).

La littérature mentionne également un second facteur important: les indicateurs

statistiques issus de la psychométrie permettent d’analyser la qualité d’un examen
QCM et des items qui le composent (Laveault & Grégoire, 1997). Parmi les indicateurs
de la qualité d’une évaluation, on retrouve la validité, la fidélité, la discrimination et
la difficulté. La validité questionne la pertinence de l’instrument de mesure pour
inférer à partir des résultats obtenus ce que l’on cherche à mesurer (l’atteinte des
objectifs d’apprentissage). La fidélité renseigne sur la précision de la mesure: est-ce
que le 16/20 attribué par l’évaluation QCM reflète la compétence réelle de 16/20 de
l’étudiant? La discrimination est la capacité à situer les étudiants dans l’ensemble de
la distribution des résultats selon leur niveau de performance. Le quatrième indicateur
est l’indice de facilité dont la valeur espérée dépend de l’objectif défini par
l’enseignant pour l’examen. C’est ce second facteur qui s’intéresse à l’analyse de la
qualité d’un examen qui sera au centre de ce travail. Plus précisément, ce mémoire
abordera l’analyse des indicateurs statistiques calculés sur la base « d’examens QCM
» entendus au sens de questionnaires composés exclusivement de questions de type
choix multiple. Les questionnaires à choix multiple étudiés dans ce travail ont servi à
l’évaluation certificative des étudiants.

Le choix de ce sujet de mémoire est guidé par trois enjeux principaux. Comme
nous l’avons mentionné précédemment, le premier enjeu, à un niveau institutionnel,
est celui de la « démarche qualité » en ce qui concerne l’enseignement. Ensuite, le
second enjeu se situe au niveau du professeur qui enseigne à l’université. Au cours de

4
son enseignement, quelles décisions peut-il prendre pour améliorer la qualité de ses
actions pédagogiques et par là les apprentissages des étudiants? Les évaluations ont en
effet une fonction formative pour l’enseignant. En fournissant des informations sur les
faiblesses des étudiants, elles permettent au professeur d’adapter sa matière et ses
interventions pédagogiques (Morissette, 2005). Enfin, pour l’étudiant, son avenir
socio-professionnel est en jeu. À ce sujet, De Landsheere (1971, p.37) rejoint les
considérations de Passeron et parle d’effets irréversibles de la certification scolaire
pour expliquer le fait que « Une fois obtenu, un titre scolaire suit l’individu toute sa
vie, lui assure grosso modo son grade dans la hiérarchie professionnelle, son niveau
de rémunération et le pouvoir qu’il détiendra ».

De nombreux auteurs s’accordent aujourd’hui sur une série de critères de qualité

d’une évaluation (Dory, 2012). Comme nous l’avons stipulé, les plus courants sont la
validité, la fidélité, la discrimination et la facilité. Par contre, un autre aspect de
l’évaluation ne fait guère consensus: la pertinence de l’utilisation d’un barème de
pénalisation pour les mauvaises réponses (par exemple, -0,25 point). En effet, un point
de discussion important entre les auteurs à l’égard des QCM porte sur l’effet des
réponses choisies au hasard sur les résultats des étudiants (Bernard & Fontaine, 1982 ;
Choppin, 1975 ; Gilles, 2001 ; Morissette, 2005). Signalons que le questionnaire à
choix multiple est une forme d’examen où l’effet du hasard peut influencer les résultats
étant donné que les réponses sont proposées au répondant. Pour réduire cette
probabilité de réussite par chance, la solution la plus couramment utilisée dans les
examens QCM consiste à pénaliser les réponses erronées. Nous verrons que certains
auteurs (Bernard & Fontaine, 1982 ; Morissette, 2005) suggèrent d’éviter le recours à
la pénalisation et considèrent que la pénalisation produit plus de désavantages que
d’avantages et peut même se révéler injuste pour certains étudiants.

Nous avons analysé cette question de la pénalisation sur les données que nous
avons récoltées. Ainsi, une première analyse effectuée sur la banque de données des
examens QCM réalisés via le service EVA permet d’observer que le taux de réussite
moyen pour les examens qui comportent des pénalités est de dix pourcents moins élevé
que celui des examens sans pénalisation. Il est à noter qu’à l’UCL, 68,6 pourcents des
examens traités via ce service font appel à un barème de pénalité. Il paraît donc
intéressant d’approfondir la question des effets de la pénalisation des réponses
erronées.

5
 Ce mémoire cherche à alimenter le débat au sujet de la pénalisation en analysant
les liens entre le barème de pénalisation, l’indice de discrimination et le taux de
réussite des étudiants. L’étude des tests QCM réalisés au cours de huit sessions
d’examens s’attache à apporter des éléments de réponse à la question suivante:
la pénalisation des mauvaises réponses est-elle associée à un indice de discrimination
plus élevé ?

Partant de cet objectif, la partie théorique de ce travail s’appuie sur les travaux des
champs de la théorie classique des tests et de la docimologie (étude de la qualité des
examens) et s’articule en trois sections. La première section aborde les notions en lien
avec l’évaluation. La seconde s’intéresse à l’évaluation par examen QCM. La dernière
section est consacrée à l’introduction des concepts liés à la qualité d’une évaluation.

Sur la base de ces fondements théoriques, la partie empirique tente ensuite de

comprendre les effets de la pénalisation des mauvaises réponses. Cette partie présente
tout d’abord la méthodologie de recherche, l’échantillon de données et les variables
mobilisées. Ensuite, les analyses statistiques sont réalisées selon une démarche
hypothético-déductive guidée par trois hypothèses principales. Pour chaque hypothèse
principale, l’interprétation des résultats vise à ouvrir des pistes vers des hypothèses
plus fines dans le but d’approfondir la compréhension des phénomènes observés.

Suite au travail empirique réalisé, la discussion aura pour objet une prise du recul
sur la méthodologie de recherche adoptée, sur les résultats observés ainsi que sur les
pistes d’analyses ultérieures entrevues. Les résultats statistiques seront ainsi parcourus
afin de mettre en lumière d’une part les aspects importants qui n’ont pas pu être
approfondis et d’autre part la compréhension globale qui en résulte au niveau de la
méthodologie d’évaluation en éducation.

6
 I. PREMIERE PARTIE: CADRE THEORIQUE

La littérature de cette partie explicite les concepts centraux qui seront mobilisés
dans la partie empirique pour répondre aux questions étudiées. Le cadre théorique
introduit tout d’abord la notion d’évaluation, sa place dans l’enseignement ainsi que
les principes essentiels à respecter lors de sa conception. Il présente ensuite une
modalité particulière d’évaluation: l’examen QCM. Les différents types de questions
à choix multiple et les réflexions à prendre en compte avant l’administration d’un tel
examen sont alors abordés. Le travail d’étude des différents concepts se prolonge par
la présentation du processus d’évaluation en trois étapes majeures (Morissette, 2005).

La théorie classique des tests, dont les fondements théoriques ont été initiés par
Spearman en 1907, sert de référence à ce mémoire. Comparativement aux autres
modèles, les postulats de base de la théorie classique sont plus aisés à satisfaire et
permettent de répondre à de nombreuses situations (Laveault & Grégoire, 1997). La
théorie classique présente quatre caractéristiques fondamentales d’un examen: la
validité, la fidélité, la discrimination et la facilité (Laveault & Grégoire, 1997). Ces
quatre critères répondent à des questions relatives à la qualité d’une évaluation
pédagogique. Vient ensuite l’analyse des résultats, dernière étape du processus
d’évaluation, qui aboutit à la décision de la réussite ou de l’échec de l’étudiant.

La partie théorique se termine par l’exposé d’un sujet qui fait controverse entre les
auteurs. Malgré les nombreux travaux dans le domaine, le débat entre chercheurs
autour de la pénalisation des mauvaises réponses pour corriger le choix au hasard est
toujours d’actualité. Les divergences de points de vue entre les auteurs seront mises en
lumière afin de situer les points de désaccord.

7
 1. L’évaluation
La littérature présentée ici s’intéresse à l’évaluation en posant la question de sa
définition, de sa fonction. Elle présente également les trois étapes majeures du
processus d’évaluation.

1.1 Que signifie « évaluer » ?

De Ketele (1986, p.266) définit l’évaluation de la façon suivante:
« L’évaluation est le processus qui consiste à recueillir un ensemble d’informations
pertinentes, valides et fiables, puis à examiner le degré d’adéquation entre cet
ensemble d’informations et un ensemble de critères choisis adéquatement en vue de
fonder la prise de décision ». Évaluer consiste donc à recueillir de l’information
pertinente (la mesure) en vue de donner du sens à ces informations (le jugement) pour
établir un choix judicieux (la décision) (Morissette, 2005). La première étape, le
recueil de données, est l’étape la plus visible du processus d’évaluation (Dory, 2012).
Lors de la seconde étape, les données récoltées sont comparées à une référence interne
ou externe afin de juger si chaque apprenant a satisfait aux attentes (Dory, 2012). Une
référence est interne lorsque c’est l’individu qui sert de référence pour évaluer sa
propre progression. Lorsque la référence est externe, elle peut être relative ou absolue.
Une référence externe relative compare le score d’un apprenant par rapport aux autres
apprenants. Par contre, une référence externe absolue évalue ce score en se rapportant
à un critère fixe extérieur à l’étudiant. Il peut, par exemple, correspondre à un
pourcentage de questions réussies.

L’instrument le plus couramment utilisé en évaluation des apprentissages est

l’examen. Il consiste en une ou plusieurs épreuves mesurant des résultats quantitatifs
ou qualitatifs soit sur l’atteinte d’un certain nombre d’objectifs, soit sur la performance
en rapport avec un contenu scolaire.

1.2 Fonctions de l’évaluation

Les critères de l’évaluation sont définis en fonction de ses finalités (Morissette,
2005). L’évaluation diagnostique permet de réaliser un bilan avant l’entrée dans une
formation. L’évaluation normative situe les étudiants les uns par rapport aux autres.
L’évaluation formative permet aux étudiants de mesurer leur niveau d’acquisition en
cours d’apprentissage. Enfin, l’évaluation certificative sanctionne par une note le
niveau de connaissance et de compétence atteint par l’apprenant en fin de formation.
8
 Dans une société où la réussite scolaire a un effet important sur la réussite
professionnelle et sociale, l’examen joue un rôle décisif sur la réussite ou l’échec de
l’année scolaire et est source d’appréhension pour l’étudiant et sa famille (De
Landsheere, 1971). Cette situation peut être source d’anxiété d’autant plus que les
examens portant sur de larges matières sont souvent répartis sur quelques jours
seulement. Ces circonstances anxiogènes nuisent au rôle pédagogique de la mesure
des apprentissages (De Landsheere, 1971). Ce sont précisément ces évaluations de
type certificatives où l’enjeu est la réussite qui sont traitées dans ce mémoire. Comme
nous le verrons plus loin, un test à enjeu certificatif nécessite une mesure dont la
fidélité est particulièrement élevée et son contenu doit être représentatif de l’ensemble
de la matière enseignée. La section qui suit, présente les étapes de la construction d’une
évaluation ainsi que les principes fondamentaux qui doivent la guider.

1.3 Construction d’une évaluation

L’instrument de mesure qui collecte des données est l’examen. La construction
d’une évaluation s’inscrit dans un processus de prise de décision en trois étapes
majeures. Ce processus commence par la prise de mesure lorsque l’examen est
administré aux étudiants, il se poursuit par l’évaluation lors de l’analyse des données
recueillies et il se termine par la prise de décision (Morissette, 2005). Il faut respecter
avant tout un principe de base pour tout examen, à savoir: « un examen est conçu pour
mesurer les manifestations de la compétence des élèves et non pas leur aptitude à
deviner les intentions du professeur ou à maîtriser des techniques ambiguës ou
nouvelles relativement aux instruments de mesure. » (Morissette, 2005, p.266). En
outre, « même les conditions psychologiques doivent être favorables » (Peddie &
White cités par Morissette, 2005, p.270).

Mettre au point une évaluation valide et de qualité est une démarche complexe.
Piéron (1963) a participé aux premiers travaux qui ont mis en lumière une série de
biais présents dans les évaluations. C’est à lui que l’on doit la création du terme
« docimologie » qui désigne la science des examens. Les biais peuvent provenir de la
modalité d’évaluation choisie (QCM, question à réponse ouverte longue, examen oral,
etc.), du correcteur (expérience, personnalité, etc.) ou encore de la copie (lisibilité,
qualité de l’expression écrite, longueur du texte, etc.) (Detroz, 2012). Pour ne citer que
quelques exemples d’effets subjectifs scientifiquement démontrés, nous pouvons citer

9
les désaccords entre notateurs sur un même travail d’étudiant, la variation des notes
lorsqu’un même correcteur juge un même travail à différents intervalles de temps, la
tendance d’un enseignant à reproduire une courbe gaussienne1 des résultats quel que
soit le groupe d’étudiants (loi de Posthumus), la tendance des correcteurs novices à
être plus sévères que les correcteurs expérimentés, etc. (Detroz, 2012). Par ailleurs, il
a été démontré que la place de la copie dans la pile d’examens à corriger pouvait
produire un effet d’ordre ou de contraste (Bonniol cité par Abernot, 1996). L’effet de
contraste est la tendance des correcteurs à noter une copie en lui attribuant une note
qui tend à s’opposer avec celle de la copie précédente. Et l’effet d’ordre a pour
conséquence l’attribution de notes plus sévères au fur et à mesure de l’avancement de
la correction des copies.

D’autres auteurs comme De Landsheere (1971) expliquent ces divergences

observées par la multiplicité des dimensions2 selon lesquelles un examen peut être jugé
et par le manque de précision des critères de correction. En outre, d’autres facteurs
sans lien avec le niveau de connaissance réel de l’étudiant sont susceptibles
d’influencer ses résultats (Braibant, 2015). Cela peut être le cas des erreurs d’encodage
des bonnes réponses dans le logiciel qui traite les examens, des erreurs de transcription
sur la grille de réponses par l’étudiant (Braibant, 2015). À cela s’ajoutent d’autres
paramètres inhérents au correcteur qui peuvent également intervenir dans la note parmi
lesquels la sévérité, le degré de stabilité du jugement et l’influence de l’effet de halo
(Detroz, 2012). Ce dernier consiste en la surestimation des réponses par le correcteur,
celui-ci étant influencé par certaines préférences personnelles qui ne font pas partie
des critères de notation. Cela peut, par exemple, être la lisibilité de l’écriture,
l’élégance de la diction ou l’allure distinguée d’un étudiant.

Lorsque l’évaluateur attribue une note, celle-ci peut être objective ou

subjective. De Landsheere (1971) entend par notation objective une note pour laquelle
l’avis personnel du correcteur n’intervient pas. Une note subjective quant à elle est
obtenue par une démarche non automatisable que l’enseignant attribue de façon
globale sur la base de l’observation des performances de l’étudiant. L’appréciation
subjective fine de l’enseignant doit conserver sa place (Gérard, 2002). L’enseignant a

1
Courbe en forme de cloche représentant la distribution des résultats.
2
Le concept de dimension est défini par Morissette (2005, p.101) de la façon suivante: « L’ensemble
des tâches qui sont autant de manifestations observables et mesurables correspondant au contenu à
apprendre et qui, en conséquence, sont susceptibles de faire partie de l’examen. ».
10
en effet le droit d’adapter la note sous réserve qu’il soit tout à fait au clair sur ce qu’il
fait (De Landsheere, 1971).

Lorsqu’on parle de note, soulignons que la notion de note est à distinguer de

celle de score. Le score désigne le résultat brut objectif obtenu par comptage des points
selon les critères de correction fixés (Morissette, 2005). La note quant à elle traduit ce
score sous la forme d’une appréciation synthétique (par exemple: « 19/20 », une
mention « A » ou « Excellent »). À ce sujet, une information intéressante pour
l’évaluateur est de connaître le degré de différence de scores entre les étudiants. Pour
avoir une première indication sur la distribution des résultats, l’étendue du score se
calcule en faisant la différence entre le score maximal et le score minimal (Laveault &
Grégoire, 1997). Pour obtenir un indice de dispersion plus précis, l’écart-type mesure
les écarts des résultats par rapport à la moyenne de la distribution.

La construction d’un examen est un travail complexe qui passe par plusieurs
phases. De Landsheere (1971) en présente les principales étapes :
« 1. Définir l’objet et les objectifs ;
2. Rédiger les questions ;
3. Standardiser la présentation, l’administration et la correction ;
4. Étalonner ;
5. Éprouver la fidélité de l’examen ;
6. Établir la validité. »

Ces phases sont reprises dans le schéma de la Figure 1 ci-dessous3 (De Landsheere,
1971, p. 51).

3
Adapté par De Landsheere (1971) d’après Examinations Bulletin n°3, 1964, p. 33.
11
 Figure 1: Phases de la construction d’un examen (De Landsheere, 1971)

De Landsheere (1971) insiste sur le point suivant: avant de concevoir un

examen, il faut en déterminer précisément le but. S’agit-il de contrôler la maîtrise des
connaissances, la résistance au stress ou la capacité à se servir de ses connaissances en
situation de stress? Définir les types d’apprentissages à évaluer est une étape décisive
qui détermine la validité du contenu de l’examen et le choix du mode d’évaluation (De
Landsheere, 1971). C’est donc avant de dispenser son enseignement que le professeur
doit définir les objectifs à atteindre et la matière des examens. Par voie de conséquence,
« L’examen doit être le reflet de l’enseignement donné » (De Landsheere, 1971, p.26).

La notion d’objectif pédagogique est définie par Legendre comme « ce à quoi,

à travers une action éducative appropriée, on voudrait voir l’élève parvenir au terme
d’une période donnée » (cité par Morissette, 2005, p.33). Deux types d’objectifs se

12
distinguent. Les objectifs généraux se rapportent aux compétences et les objectifs
spécifiques font référence aux comportements observables qui manifestent la maîtrise
de ces compétences (Morissette, 2005). Les auteurs suggèrent de se référer à des
classifications hiérarchisées des objectifs (De Landsheere, 1971 ; Laveault &
Grégoire, 1997 ; Morissette, 2005). Parmi celles-ci, la taxonomie des objectifs
pédagogiques de Bloom (1956) classe les objectifs pédagogiques en trois domaines:
savoirs cognitifs, savoir-faire et savoir-être. L’intérêt de ce type de taxonomie est que
l’enseignant qui s’y réfère est incité à prendre en compte les différents niveaux
cognitifs et dès lors, d’augmenter le niveau de son enseignement progressivement. En
théorie, l’étudiant accède graduellement des échelons inférieurs de savoirs cognitifs
aux échelons supérieurs de la taxonomie (De Landsheere, 1971, p. 58) :
« 1. Connaître de mémoire.
2. Comprendre.
3. Appliquer.
4. Analyser.
5. Synthétiser.
6. Évaluer. »

Pour toutes ces raisons, l’auteur souligne l’importance pour un enseignant de

préparer son cours avant de débuter un enseignement. Le plan de cours est un outil très
utile. Il comprend le but du cours, les objectifs, les contenus, les activités
d’apprentissage et les moyens de mesurer les acquisitions (Morissette, 2005). L’objet
du plan de cours est de concevoir un alignement cohérent entre les compétences à
développer, les stratégies d’intervention pédagogique et les tâches qui seront
demandées lors de l’examen. Le plan de cours attire ainsi l’attention sur le fait que la
mesure des apprentissages s’insère dans une démarche d’ensemble.

En somme, comme toute autre forme d’évaluation, les QCM peuvent remplir
différentes fonctions: diagnostique, normative, formative ou certificative. Ce mémoire
s’intéresse à l’évaluation certificative par QCM. La section qui suit s’attache dès lors
à définir la notion de question à choix multiple, à situer sa place dans l’évaluation ainsi
que ses avantages et inconvénients.

13
 2. L’évaluation par QCM
Pour faire suite à la présentation des concepts en lien avec l’évaluation, cette
section a pour objet de situer les particularités de l’évaluation par questionnaire à choix
multiple. Comment l’examen QCM se définit-il? Quels sont les différents types de
questions à choix multiple? À quoi faut-il être attentif lorsqu’on administre un examen
QCM? Et enfin, quels sont les points de discorde entre les auteurs sur la question de la
pénalisation des mauvaises réponses ?

2.1 L’examen de type Questions à Choix Multiple

Leclercq désigne par Question à Choix multiple (QCM) « une question à laquelle
l’étudiant répond en opérant une sélection (au moins) parmi plusieurs solutions
proposées, chacune étant jugée (par le constructeur de l’épreuve ou par un consensus
de spécialistes) correcte ou incorrecte indépendamment de l’étudiant qui doit y
répondre. » (Leclercq, 1986, p.15). Chaque question à choix multiple nécessite trois
composantes: les consignes, l’item et les solutions proposées (Leclercq, 1986). Tout
d’abord, les consignes précisent la façon d’indiquer une réponse (par une coche par
exemple) et une correction (par exemple, en noircissant une case). Une question QCM
comprend aussi un barème de correction attribué en cas de réponse correcte, de
réponse incorrecte ou d’abstention. Ensuite, l’item ou l’énoncé décrit la question ou
le problème posé sur le mode affirmatif ou interrogatif. Enfin, les propositions de
réponse comprennent la ou les solution(s) correcte(s) ainsi que des réponses
incorrectes (leurres ou distracteurs) qui sont quant à elles plausibles mais
incontestablement fausses. Une case abstention explicite peut éventuellement être
ajoutée à la suite des options de réponses pour permettre à l’étudiant de signaler par
une coche qu’il ne connaît pas la réponse.

L’un des avantages considérable du questionnaire à choix multiple est qu’il s’agit
d’une forme d’examen qui permet une analyse de sa qualité sur la base d’indicateurs
statistiques. Ce n’est pas le seul avantage. Selon Leclercq (1986), le recours à un
questionnaire à choix multiple pour évaluer les acquis des étudiants permet
d’interroger sur une large partie de la matière enseignée et d’évaluer de grandes
cohortes d’étudiants tout en assurant une correction simplifiée, rapide et objective. De
plus, le questionnaire à choix multiple permet de donner un feedback rapide aux
étudiants (Bouvy & Warnier, 2011).

14
 Toutefois, le questionnaire à choix multiple comporte également ses limites. En
effet, il ne peut mesurer tous les types d’apprentissages (Leclercq, 1986). D’autres
inconvénients tels que la difficulté de conception et de mise en œuvre logistique
peuvent aussi être mis en avant. À cela s’ajoute le fait que les QCM présentent des
solutions erronées qui risquent de fixer des erreurs dans la mémoire des étudiants, en
particulier en début d’apprentissage (Gilles, 2001 ; Leclercq, 1986). Un autre
inconvénient tient à la tentation de poser des questions de détails. Dans ce cas, on ne
respecte pas une règle fondamentale de la mesure étant donné que les items ne
constituent pas un échantillon représentatif de l’ensemble des tâches du domaine
(Morissette, 2005).

Différents instruments de mesure des acquisitions existent. Pour ne prendre que

quelques exemples: l’examen oral, l’item à réponse construite élaborée, l’item à
réponse construite courte, l’item de type complètement de phrase, l’item à réponse
choisie, l’observation des étudiants. Chacun de ces instruments offre certains
avantages et inconvénients. Gilles (2001) propose de ne pas les opposer mais de les
utiliser de façon complémentaire en fonction des objectifs de l’évaluateur.

Lors du choix d’un instrument de mesure, c’est à l’évaluateur qu’il revient de se

poser la question de la pertinence de l’évaluation par questionnaire à choix multiple
par rapport à ses objectifs pédagogiques (Morissette, 2005). Pour cela, il importe que
l’enseignant tienne compte du fait que les QCM peuvent évaluer certains savoirs
cognitifs mais ne permettent pas d’évaluer des acquis d’apprentissage de type savoir-
faire ou savoir-être (Leclercq, 1986). Des performances telles que l’expression orale,
les capacités de synthèse et de rédaction font donc partie des objectifs cognitifs que le
QCM n’est pas en mesure d’évaluer (Leclercq, 1986). Selon la taxonomie de Bloom
(1956), les activités cognitives de l’apprenant sont hiérarchisées en six niveaux
d’abstraction mentale qui évoluent des niveaux les moins complexes vers les plus
complexes. En se basant sur cette taxonomie, Bouvy et Warnier (2011) identifient
plusieurs niveaux de savoirs cognitifs qui peuvent être évalués par QCM: la
connaissance liée à la mémoire de reconnaissance et d’évocation, la compréhension
qui nécessite une réflexion de la part de l’étudiant afin de dépasser les connaissances
présentées au cours en interprétant les données, l’application de raisonnements appris
pour résoudre des problèmes et l’analyse de situations qui implique le repérage des

15
éléments pertinents et leur mise en relation afin d’en dégager une conclusion. La
figure 2 ci-dessous synthétise les niveaux cognitifs qui peuvent être évalués par QCM.

Figure 2: Document de synthèse sur les QCM (Bouvy & Warnier, 2011)

L’évaluation, habileté la plus complexe selon la taxonomie, est quant à elle

mesurable dans les QCM qui intègrent des degrés de certitude (Leclercq & Gilles,
1995). Les premiers travaux de Leclercq (1992) sur le degré de certitude apportent une
dimension formative au test. Le concept de certitude, introduit par Henmon (cité par
Boulé & Laveault, 2011), consiste à demander à l’étudiant d’évaluer le degré de
certitude qu’il a dans la réponse donnée. L’objectif est de mesurer le niveau de réalisme
de l’individu dans son autoévaluation. Il s’agit d’un aspect important de la
métacognition4. Le niveau de réalisme est obtenu en établissant la concordance entre
la qualité de la réponse de l’étudiant et son degré de certitude dans la réponse donnée.
(Boulé & Laveault, 2011). La fonction formative du degré de certitude tient au
feedback qu’il permet de fournir à l’étudiant afin de réguler ses apprentissages en
situant ce que Hunt (cité par Leclercq & Bruno, p.188) nomme la méconnaissance. Il
s’agit d’une erreur pour laquelle l’étudiant a indiqué être certain de ne pas se tromper
lors de son auto-évaluation. Même si le but premier des degrés de certitude n’est pas

4
Définition de la métacognition de Gombert: «Domaine qui regroupe (1) les connaissances
introspectives conscientes qu’un individu particulier a de ses propres états et processus cognitifs (2)
les capacités que cet individu a de délibérément contrôler et planifier ses propres processus cognitifs
en vue de la réalisation d’un but ou d’un objectif déterminé. » (cité par Leclercq & Poumay, 2003, p.3).
16
de résoudre le problème des réponses au hasard présent dans les examens de type
QCM, ils permettent néanmoins de l’éviter selon Leclercq (2006).

2.2 Typologie des QCM

Les types de solutions à sélectionner dans un item QCM peuvent prendre
différentes formes. Un QCM peut présenter seulement deux solutions de type vrai/faux
ou oui/non. Ce type de QCM semble simple à concevoir alors qu’en réalité il s’agit
d’un type d’item particulièrement difficile à rédiger correctement pour deux raisons
(Morissette, 2005). D’abord, il suscite davantage l’ambiguïté interne (liée à la
connaissance) étant donné que rares sont les items auxquels tout répondant peut
affirmer sans ambiguïté, ni hésitation qu’il est vrai ou faux en toutes circonstances.
Plus souvent, des contextes spécifiques tendront en réalité à nuancer cette affirmation.
Ensuite, à défaut d’une rédaction particulièrement rigoureuse, une ambiguïté externe
(non liée à la connaissance) pourrait s’introduire et mettrait l’étudiant dans une
situation particulièrement difficile en raison du peu d’informations et donc de repères
dont il dispose dans l’énoncé. Le risque pour l’étudiant de sélectionner la mauvaise
réponse est dans ce cas élevé. La figure 3 ci-dessous montre un exemple de ce type.

Dans un atome, le nombre d’électrons est égal au nombre de protons.

a) Vrai
b) Faux

► Ambiguïté: est-ce vrai en toutes circonstances ou faux dans tous les cas ?

Figure 3: Exemple d’item de type vrai/faux qui suscite l’ambigüité (Bouvy & Warnier,
2011).

De façon générale, lorsqu’une seule solution correcte est présentée parmi les
solutions, on parle de QCM simple à réponse unique tandis que l’on parle de question
à réponses multiples (QRM) lorsque plus d’une solution peut être correcte parmi les
solutions proposées. Le nombre de réponses attendues est indiqué ou non. Leclercq
(1986) propose également une autre forme de QCM: les QCM SGI ou QCM avec
solutions générales implicites. Pour chaque QCM, en plus des solutions proposées,
l’étudiant doit prendre en considération des solutions générales qui peuvent être par
exemple « aucune proposition correcte », « toutes les propositions sont correctes » ou
« données insuffisantes ».

17
 Les QCM SGI sont toutefois contestés par Jacobs (2004) ainsi que par Bernard
et Fontaine (1982). Dans le cas où toutes les solutions sont correctes, il ne s’agit dès
lors pas de leurres réels étant donné qu’il suffit à l’étudiant de repérer au moins une
proposition fausse pour exclure ce type de solution générale implicite. De plus,
l’étudiant peut déduire la solution à sélectionner simplement en identifiant au moins
deux réponses correctes (Bernard & Fontaine, 1982). Il en va de même lorsque toutes
les solutions sont erronées. On ne vérifie pas que l’étudiant connaît la réponse correcte
mais uniquement s’il est en mesure d’identifier les réponses incorrectes (Bernard &
Fontaine, 1982).

Un dernier type de questions sont celles à appariement (QAA). Elles

demandent de mettre en lien la liste des solutions proposées avec la liste des questions
ou problèmes présentés. De Ketele (1994) spécifie deux types de questions à
appariement. Dans les QAA simples, un élément de chaque liste correspond à un seul
élément de l’autre liste alors que dans les QAA complexes un élément d’une liste peut
correspondre à plusieurs éléments de l’autre liste.

2.3 Administrer un examen QCM

Morissette (2005) mentionne que le moment de l’administration de l’examen
doit être choisi afin que les étudiants soient dans les meilleures conditions matérielles
et psychologiques pour démontrer leur niveau de compétence. Pour organiser la
passation d’un examen QCM, il convient de réfléchir sur son format (papier ou
électronique) et aux modalités de façon à éviter que des aspects non liés aux
apprentissages interviennent dans les résultats (Berthiaume & Rege Colet, 2013). Il
est, par exemple, recommandé de prévoir un nombre suffisant de questionnaires pour
éviter de stresser les étudiants le jour de l’examen, de regrouper les items selon l’ordre
taxonomique, de veiller à la lisibilité des questionnaires, de prévoir un éclairage
suffisant, de choisir un lieu où la tranquillité est assurée (Morissette, 2005).

Les consignes doivent également être clairement transmises aux étudiants et

aux surveillants. Elles préciseront la façon de répondre, la méthode de correction
(manuelle ou automatique), le système de pondération (score pour une bonne réponse
ou une mauvaise réponse) ainsi qu’une estimation du temps nécessaire pour répondre
aux différentes parties (Berthiaume & Rege Colet, 2013).

18
 De plus, il est préférable que les questions de même type soient regroupées au
sein du questionnaire (Berthiaume & Rege Colet, 2013). Cela évite à l’étudiant de
devoir trop souvent changer sa technique de réponse (Morissette, 2005). En outre, pour
éviter de créer un blocage chez l’étudiant qui commencerait l’examen par des items
trop complexes, les items les plus faciles peuvent être placés en début d’examen.

Concernant le temps alloué aux étudiants pour réaliser les tâches de l’examen,
Morissette (2005) suggère d’une part de proposer un grand nombre d’items sachant
que cela augmente la fidélité de l’examen et d’autre part de ne pas excéder trois heures
d’examens. Selon lui, 90% des étudiants doivent pouvoir terminer l’examen dans le
temps imparti. Il précise également que l’objectif est d’évaluer non la vitesse de
réponse mais bien l’atteinte des objectifs pédagogiques.

2.4 Débat autour de la pénalisation des mauvaises réponses

Les auteurs ne s’accordent pas sur la façon de traiter l’effet du hasard sur les
résultats des étudiants dans un questionnaire à choix multiple c’est-à-dire la
possibilité pour ceux-ci d’augmenter leur score en répondant au hasard (Morissette,
2005). Dans les faits, un étudiant qui répond aléatoirement aux items d’un examen a
peu de chances de s’éloigner de l’espérance mathématique de sélectionner au hasard
la bonne réponse: cette probabilité est de 50% lorsqu’il y a deux options, 33,33%
lorsqu’il y a trois options, 25% lorsqu’il y en a quatre. D’après Morissette (2005,
pp. 277-278): « Les probabilités de s’éloigner de ces résultats en choisissant les
réponses au hasard sont très faibles (par exemple, une chance sur mille d’obtenir 74%
et plus dans un examen de 50 items à choix simple). Ce qui signifie qu’il n’est pas
impossible qu’un étudiant puisse obtenir de bons résultats en répondant au hasard,
mais la probabilité devient tellement faible (surtout si les items comptent trois, quatre
ou cinq choix) qu’elle se rapproche de l’impossibilité dans les faits. L’étudiant ne se
fie au hasard que très rarement ». Ainsi, si l’étudiant répond au hasard aux items d’un
examen qui comporte au moins quatre options de réponse, la probabilité est très faible
qu’il s’éloigne d’un score total de 25% et donc qu’il atteigne le seuil de réussite.

Si l’on remonte aux débuts des débats au sujet de la pénalité, un premier type de
pénalisation régulièrement appliqué était celui calculé sur la base de la probabilité
mathématique de fournir une bonne réponse en répondant au hasard. À chaque item
qui comporte k propositions, l’étudiant a 1/k chances de fournir la solution correcte

19
grâce au hasard. McCall (1920) a ensuite proposé d’exercer une pénalité de -1/(k-1)
mais West (1923) conteste ce procédé car il ne correspond pas à l’activité mentale d’un
sujet face à un QCM ; celui-ci répondant rarement totalement au hasard.

Plus tard, Choppin (1975) décrira trois modèles. Dans le modèle 1

correspondant à la correction for guessing (correction pour le choix au hasard)
classique, soit l’étudiant connaît la bonne réponse et la sélectionne, soit l’étudiant ne
la connaît pas et sélectionne alors une proposition au hasard. Le modèle 2 intègre une
petite différence quand l’étudiant ne connaît pas la réponse: il élimine d’abord les
propositions qu’il sait incorrectes et fait ensuite un choix parmi les propositions
restantes. Ce modèle, qui fait appel à ce que De Finetti (1965) nomme la connaissance
partielle, a participé à l’apparition de questions à réponses multiples (QRM) incitant
l’étudiant à éliminer les propositions incorrectes. Le modèle 3 va encore plus loin et
suggère que l’étudiant hiérarchise les propositions selon une estimation subjective de
leur degré de plausibilité avant de sélectionner la ou les réponses(s) dont la probabilité
d’être correcte(s) est la plus élevée.

Depuis longtemps, la pénalisation pour le choix au hasard ou correction for

guessing fait ainsi l’objet de discussions entre les chercheurs. Pour y répondre, la
solution la plus couramment utilisée par les enseignants consiste à pénaliser les
réponses erronées. Bernard et Fontaine (1982) suggèrent d’éviter le recours à la
pénalisation et d’envisager d’autres solutions à ce problème considérant que les
barèmes avec pénalisation ne prennent pas en compte la totalité des causes pouvant
aboutir à la sélection d’une mauvaise réponse par l’étudiant. La justification des points
retirés pour une mauvaise réponse s’appuie sur le postulat que toute mauvaise réponse
est due au choix au hasard alors qu’en réalité toutes les options ne paraissent pas
également attractives aux yeux de l’étudiant qui ignore la réponse correcte (Bernard &
Fontaine, 1982). L’étudiant peut avoir coché une mauvaise réponse non en cochant au
hasard mais en pensant qu’il s’agissait de la bonne réponse ou suite à une mauvaise
inscription de la réponse sur la grille QCM ou encore après avoir identifié certains
leurres grâce à des connaissances partielles (Bernard & Fontaine, 1982).

En outre, d’après Bernard et Fontaine (1982, p.161), la pénalisation des

réponses erronées a des effets psychologiques: « une telle procédure défavorise les
étudiants soumis, les étudiants qui n’ont pas confiance en eux, qui ont peur de leur

20
jugement. Ils omettent plus de questions et obtiennent des notes plus faibles que celles
des autres étudiants, leur habileté à répondre étant égale ». Bernard et Fontaine
(1982) considèrent que la pénalisation revêt un enjeu de taille pour l’étudiant qui
réussit ou échoue à l’examen et proposent d’abandonner la pénalisation pour lui
préférer d’autres solutions telles qu’augmenter par exemple le nombre d’options de
réponse. Par ailleurs, Laveault et Grégoire (1997) soulignent que la pénalisation
encourage les étudiants à préférer l’omission plutôt que d’opter pour le choix au
hasard. De plus, ils observent que les étudiants les plus faibles ne privilégient pas
systématiquement le choix au hasard et obtiennent ainsi fréquemment des résultats
inférieurs à ceux qu’ils auraient pu obtenir par la stratégie du choix aléatoire.

Morissette (2005) rejoint cet avis et considère que la pénalisation produit plus
de désavantages que d’avantages et peut même se révéler injuste pour certains
étudiants. En effet, en cas de pénalisation, les personnes évaluées conservent leur
position relative au sein du groupe d’étudiants mais les notes sont globalement
diminuées ce qui peut conduire à l’effet suivant: « Une telle situation, surtout lorsque
l’interprétation des résultats est basée sur la position dans le groupe, interprétation
fréquente dans la mesure du rendement scolaire, n’ajoute donc aucun élément
nouveau d’information. Les étudiants peuvent même se décourager devant des
résultats diminués inutilement, injustement dans certains cas (lorsque l’étudiant n’a
effectivement pas deviné ses réponses) » (Morissette, 2005, p.278).

De nombreuses recherches se sont également attachées à déterminer le nombre

optimal de propositions de réponse pour un item (Tversky, 1920 ; Farhady & Shakery,
2000 ; Grier, 1975 ; Landrum et al., 1993 ; Lord, 1977 ; Rodriguez, 2005 ; Rogers &
Harley, 1999). Aujourd’hui, le recours fréquent aux questions à quatre choix réduit
considérablement la probabilité de réussite au hasard (Laveault & Grégoire, 1997). La
connaissance partielle permet d’éliminer certains leurres et augmente ainsi la chance
de réussite entre les propositions restantes. De Landsheere (1971) considère qu’il est
juste pour un étudiant qu’il tire profit de sa connaissance, même partielle.

Par ailleurs, un autre élément est à prendre en considération pour éviter que
certains étudiants devinent des bonnes réponses sans connaissance réelle de la matière.
Lorsqu’un enseignant choisit de recourir à un examen par questionnaire à choix
multiple, la maîtrise du domaine visé et des techniques de conception des items est

21
indispensable. Certains étudiants développent en effet une capacité à exploiter les vices
de construction des items pour deviner les bonnes réponses. Cette capacité, appelée
« capacité de divination » ou « test wiseness » en anglais, consiste à utiliser les
caractéristiques et les éléments du test pour obtenir un score plus élevé que leur niveau
réel de connaissance (Laveault & Grégoire, 1997). Rodgers et Yang (1996) soulignent
qu’il en résulte un problème d’équité. Les auteurs citent plusieurs recherches qui ont
démontré l’importance de ce phénomène. Selon une étude, les étudiants ont la
possibilité de deviner les réponses dans septante-cinq pourcents des tests (Hugues et
al. cités par Rodgers & Yang, 1997). Deux autres études estiment que les réponses
pouvant être devinées seraient de quarante-trois pourcents à quatre-vingt pourcents
(Rogers & Bateson ; Rogers & Wilson cités par Rodgers & Yang, 1997).
L’entraînement et le développement de la capacité de « divination » n’est cependant
pas suffisante pour obtenir un score élevé, les connaissances partielles interviennent
également selon Rogers et Bateson (cités par Rodgers & Yang, 1997). Le raisonnement
déductif appliqué par l’étudiant est lié aux connaissances de la matière. Les étudiants
entraînés à la « divination » mobilisent mieux leurs connaissances et éliminent plus
efficacement les leurres (Rodgers & Yang, 1997).

Dans le cas des examens QCM analysés dans ce travail, le logiciel utilisé par
le service EVA fournit le calcul des indices de qualité des examens: la fidélité, la
discrimination et la facilité. Le travail d’interprétation des résultats statistiques de la
partie pratique nécessite de comprendre les indicateurs de qualité d’un test. Ce sont
ces indices que la section suivante présente.

3. Qualité des données récoltées

Comme cela a été expliqué au point 2.1 (L’examen de type Questions à Choix
Multiple), toute épreuve d’évaluation doit porter sur un échantillon représentatif de
l’ensemble de la matière du cours et respecter les règles de rédaction et d’utilisation
des items (Morissette, 2005). Elle doit également viser des critères de fidélité, validité
et sensibilité (Therer, 1999). L’analyse d’items reprend l’ensemble des procédés
statistiques dont le but est d’évaluer la qualité d’un examen et des items qui le
composent. Quatre caractéristiques essentielles permettent de mieux sélectionner les
items en fonction des objectifs de l’examen: la validité, la fidélité, la discrimination et

22
la facilité. Cette section explique ces principaux indicateurs statistiques5 qui
permettent d’analyser et d’évaluer la qualité des données recueillies pour mesurer le
rendement scolaire des étudiants.

3.1 La validité
La validité est la qualité la plus importante d’un test (Laveault & Grégoire, 1997).
Legendre (cité par Bernier & Pietrulewicz, 1997, p. 179) définit la validité comme « la
capacité d’un instrument à mesurer réellement ce qu’il doit mesurer, selon l’utilisation
que l’on veut en faire ». Dans le cas d’un examen QCM, la validité est donc un critère
qui mesure la cohérence de l’épreuve par rapport aux objectifs d’apprentissage à
évaluer. Elle cherche à savoir si l’épreuve mesure bien ce qu’elle prétend mesurer
(Bernard et Fontaine, 1982). Un examen n’est pas valide en soi mais bien dans une
situation particulière. De ce fait, c’est sur l’interprétation et l’usage spécifique qui est
réalisé sur la base des scores obtenus à l’examen que porte la validité (Morissette,
2005). En d’autres termes, la validité questionne la pertinence de l’inférence6 faite à
partir des résultats à l’examen (Laveault & Grégoire, 1997).

En fonction de l’usage auquel on destine le test, on distingue la validité de contenu

et la validité prédictive (Laveault & Grégoire, 1997). Dans le cas des examens de
rendement scolaire, c’est la validité de contenu qui sera visée par le test. Rappelons
que pour que la compétence totale soit correctement représentée, les réponses doivent
être représentatives de l’ensemble des acquisitions, échantillonnées sur l’ensemble de
la matière (Morissette, 2005). Cela demande à la fois d’interroger sur les éléments
principaux de la matière tout en tenant compte de l’importance relative de chacun
d’eux (De Landsheere, 1971). Pour déterminer la validité de contenu, la pertinence des
items est l’aspect primordial à prendre en compte lorsqu’un examen mesure les
performances d’un individu en recourant à un échantillon d’items représentatifs de
l’ensemble des acquis d’apprentissage visés (Bernier & Pietrulewicz, 1997).
Morissette fait la recommandation suivante pour tous les genres d’items: « Chaque
item doit être rédigé dans un but précis: mesurer un aspect spécifique du rendement
scolaire ou établir une distinction aussi nette que possible entre les étudiants qui ont

5
Pour faciliter la compréhension du lecteur, la dernière annexe synthétise la signification des variables
principales (annexe 8). Ce tableau au format A3 peut rester déplié tout en permettant la lecture du
mémoire.
6
L’inférence est une « Opération intellectuelle par laquelle on passe d’une vérité à une autre vérité,
jugée telle en raison de son lien avec la première. La déduction est une inférence. » (Le Petit Larousse
Illustré, 1993).
23
atteint un objectif pédagogique et ceux qui ne l’ont pas atteint. » (Morissette, 2005,
p.127). Cinq à dix items par objectif spécifique devraient permettre de respecter la
représentativité des items (Morissette, 2005).

Le contenu du test est en revanche secondaire lorsqu’il s’agit de considérer sa

validité prédictive (Bernier & Pietrulewicz, 1997). Lorsqu’un test a pour fonction de
prédire, à partir du score obtenu par un individu, le rendement à un critère déterminé,
l’aspect à considérer en priorité est le critère visé. Un test au sujet de la motivation
pourrait par exemple être conçu dans le but de prédire le décrochage scolaire
d’adolescents. Dans ce cas, le score au test n’a pas d’utilité en soi. Sa pertinence est
liée à sa capacité de prédire le critère défini c’est-à-dire si l’adolescent a une faible où
une forte probabilité de se retrouver en situation de décrochage scolaire. Parmi ces
types de tests, on trouve les tests d’aptitudes scolaires qui cherchent à augurer les
chances de réussite dans les études, les tests d’orientation scolaire ou les tests en
milieux professionnels qui servent à prédire la productivité (Bernier & Pietrulewicz,
1997).

Parmi les facteurs qui réduisent la validité d’interprétation des résultats à un test,
Bernard et Fontaine (1982) identifient deux facteurs particulièrement fréquents.
Lorsque les tâches demandées lors de l’examen ne requièrent pas d’être réalisées dans
un laps de temps déterminé, le facteur temps, lorsqu’il est trop court, introduit une
variable non pertinente: la vitesse d’exécution. Le second facteur relève de la
complexité du langage présent dans la formulation des items. Cela a pour effet
d’introduire une variable non pertinente: la connaissance de la langue.

Les auteurs soulignent que la variance des résultats est importante en théorie
classique des scores pour différencier entre eux les individus (Laveault & Grégoire,
1997). Sans variance, donc sans différence entre les personnes, les critères de validité
et de fidélité perdent leur utilité (Laveault & Grégoire, 1997). En outre, sans mesure
précise, c’est-à-dire sans fidélité, toute discussion sur la validité devient inutile c’est
pourquoi nous allons nous intéresser à une autre qualité fondamentale d’une épreuve:
la fidélité.

24
 3.2 La fidélité
Le concept de fidélité pose la question suivante: obtiendrait-on des résultats
sensiblement identiques si l’examen était administré plusieurs fois dans les mêmes
conditions? (Bernard et Fontaine, 1982). La fidélité est liée à la constance des résultats
et renseigne sur l’écart existant entre la note obtenue par l’étudiant et sa note vraie
(Grégoire, 1990). En effet, le score observé est toujours égal à la somme du score vrai
et des sources d’erreur de mesure (Bernard et Fontaine, 1982).

Score observé = score vrai + erreur de mesure

Les exemples de biais présentés dans la partie 1.3 (Construction d’une

évaluation) ont pour effet d’accroître l’erreur de mesure (Detroz, 2012). La corrélation
entre les scores observés et les scores vrais s’en trouve donc diminuée. L’indice qui
mesure cette corrélation est l’indice de fidélité (Laveault & Grégoire, 1997). Il varie
entre 0 et 1. Si le score observé équivaut au score vrai, l’erreur de mesure est nulle et
la fidélité est parfaite (corrélation parfaite de 1). En réalité, un test n’est jamais parfait
et comporte toujours une erreur de mesure (Braibant, 2015).

L’alpha de Cronbach (Cronbach, 1955) est un indicateur qui fournit ce type

d’information. Ce coefficient mesure l’homogénéité interne d’un test et varie entre 0
et 1. Plus il se rapproche de 1, plus l’hypothèse peut être faite que la cohérence interne
de l’examen est élevée, c’est-à-dire que les items forment un ensemble suffisamment
homogène pour qu’il soit justifié de calculer un score total sur la base de ceux-ci
(Morissette, 2005). Un nombre élevé d’items qui mesurent bien la même chose
augmente donc la précision du test (Laveault & Grégoire, 1997). Par contre, une
fidélité faible suppose l’obtention de grandes variations de scores si le test venait à être
repassé (Downing, 2004). Nunnally et Bernstein (1994) recommandent une valeur
seuil de 0,70 pour l’alpha de Cronbach pour considérer que la fidélité d’un test est
suffisante. Il s’agit d’une valeur arbitraire prise comme référence par ces auteurs (cette
valeur ne constitue pas un consensus, les auteurs ne s’accordent pas tous à ce sujet).

Deux facteurs influencent toutefois fortement la fidélité d’un test: la longueur

du test et l’étendue des résultats au test (Bernard & Fontaine, 1982). Concernant le
premier facteur, la précision du score observé croît avec le nombre d’observations
(Laveault & Grégoire, 1997). Un examen QCM qui comporte un grand nombre d’items

25
accroît sa fidélité à condition que les items soient homogènes et mesurent la même
chose. Ebel (1969) propose un tableau7 d’estimation du nombre d’options et d’items
selon le degré de fidélité théorique que l’on cherche à atteindre (0,70 ou 0,80 ou etc.).
Une fidélité théorique de 0,70 peut par exemple correspondre à 50 items de 4 options.
La fidélité cherche donc à estimer si les items sont suffisamment homogènes pour
former un ensemble cohérent qui justifie qu’on les additionne en un score total
(Laveault & Grégoire, 1997). Ce n’est par exemple pas le cas pour un item qui covarie
négativement avec les autres items car il réduit la cohérence interne de l’examen.

Le second facteur qui affecte la fidélité est l’étendue des résultats. Plus
l’étendue des résultats est importante, plus le coefficient de fidélité est élevé (Bernard
et Fontaine, 1982). En effet, des écarts importants entre les résultats individuels
réduisent le risque que l’ordre entre les étudiants soit différent entre plusieurs
administrations du test. Le coefficient de fidélité d’un examen est ainsi lié à son
coefficient de discrimination. Ce coefficient est expliqué dans la partie suivante.

3.3 La sensibilité
Le troisième critère, celui de la sensibilité, a pour objet de situer les individus
dans l’ensemble d’une distribution (Therer, 1999). La sensibilité d’un examen est donc
sa capacité à discriminer les individus. L’indice de discrimination renseigne sur la
compétence des étudiants et varie entre - 1 et 1. L’indice de discrimination d’un item
permet de distinguer les sujets forts des sujets faibles par le calcul d’une corrélation
entre la performance de l’étudiant à chaque item et sa performance aux autres items de
l’examen. Ainsi, un item est considéré comme valide si sa discrimination coïncide
avec celle de l’examen. Un item auquel tous les sujets forts réussissent et tous les sujets
faibles échouent démontrerait une discrimination parfaite (Morissette, 2005). Par
contre, des items trop faciles ou trop difficiles où tous les étudiants réussissent ou
échouent diminuent la capacité de discrimination d’une épreuve (Laveault & Grégoire,
1997). L’indice de discrimination permet aussi de repérer les items qui discriminent
peu voire négativement et qui nécessitent une analyse plus approfondie (Laveault &
Grégoire, 1997).

La littérature mentionne un consensus autour de la valeur seuil de 0,20 signifiant

une capacité de discrimination suffisante du test. Certains auteurs s’accordent sur cette

7
Annexe 1: Tableau du nombre d’options et d’items selon la fidélité théorique (Ebel, 1969).
26
valeur arbitraire ; elle ne constitue cependant pas un consensus entre tous les auteurs.
Les items peuvent être classés selon la valeur de cet indice. Les bons items ont un
indice de discrimination de minimum 0,40, les items moyens ont un indice entre 0,30
et 0,39, les items faibles ont un indice entre 0,20 et 0,29 et les mauvais items ont un
indice inférieur à 0,20 (Ebel & Frisbie cités par McCowan & McCowan, 1999).

L’indice de discrimination peut augmenter en fonction de plusieurs facteurs:

l’hétérogénéité entre les étudiants (variance plus importante des résultats),
l’homogénéité des tâches demandées (cohérence interne entre les items), l’absence
d’ambiguïté externe, un indice de facilité d’environ 0,50 et des résultats avec une
moyenne avoisinant cinquante pourcents (Morissette, 2005). L’indice de facilité
évoqué est expliqué dans la section qui suit.

3.4 L’indice de facilité

Un dernier indice important qui entre en jeu dans une épreuve est l’indice de
facilité d’un item (Laveault & Grégoire, 1997). L’indice de facilité (P) est la proportion
de personnes ayant réussi l’item, dans le cas où il n’y a pas de pénalité pour mauvaise
réponse. Dans le cas d’une pénalisation des mauvaises réponses, cet indice est corrigé
(Corrected P) pour tenir compte de la différence entre un item non répondu et une
mauvaise réponse et sa valeur est supérieure à la proportion de personnes ayant réussi
l’item. Dans le cadre de ce travail, c’est l’indice de facilité corrigé (Corrected P) qui
sera utilisé car il tient compte de l’effet du choix au hasard.

La valeur de l’indice de facilité est comprise entre 0 (item réussi par peu
d’individus) et 1 (item réussi par un grand nombre d’individus). Plus le nombre
d’étudiant qui a répondu correctement à l’item est élevé, plus l’indice est proche de 1
(Laveault & Grégoire, 1997). Un indice élevé correspond donc à un examen facile et
un indice faible à un examen difficile. La valeur espérée de cet indice dépend des
objectifs de l’examen (Morissette, 2005). Dans le cas d’une épreuve de concours visant
à sélectionner les meilleurs individus, l’indice de facilité sera assez bas. Par contre,
dans le cas d’un examen qui vérifie que les étudiants ont atteint les objectifs minimaux
d’un cours, l’indice de facilité sera plus proche de 1. Dans la situation de mesure du
rendement scolaire par évaluation certificative, l’indice de facilité sera le plus souvent
moyen et servira à fournir un classement des étudiants (Morissette, 2005). En effet, les
items de facilité moyenne (Corrected P autour de 0,50) représentent une catégorie

27
d’items importants dans l’évaluation pédagogique car ils discriminent les sujets faibles
des sujets forts (Laveault & Grégoire, 1997). D’autres catégories d’items sont
également intéressantes. Par exemple, un item très facile placé en début de test peut
mettre à l’aise l’étudiant et permettre de repérer les étudiants très faibles. De même,
un item très difficile permet de distinguer les étudiants forts des étudiants très forts.

Un autre avantage de l’étude des indices statistiques est leur utilité pour
optimiser l’instrument de mesure (l’examen) en sélectionnant les items les plus
pertinents c’est-à-dire qui remplissent le mieux leur rôle par rapport aux objectifs de
l’évaluation (Laveault & Grégoire, 1997).

3.5 Analyser les résultats d’une évaluation

Une fois les résultats de l’examen disponibles, se pose la question de la valeur
de ces résultats pour mesurer la performance réelle de l’étudiant. Comme cela a été
dit, la note observée est toujours égale à la somme de la note vraie et des sources
d’erreur de mesure. Ces erreurs de mesure peuvent par exemple provenir de la fatigue,
de la distraction ou d’items mal conçus (Grégoire, 1990).

L’interprétation des résultats se différencie en fonction de deux types de

contextes d’examen. Le résultat brut, c’est-à-dire le score tel qu’il apparaît suite à la
totalisation des points selon les réponses d’un étudiant, donne peu d’informations sur
les compétences d’un étudiant (Morissette, 2005). Un repère extérieur est nécessaire
pour donner du sens à ce résultat. En contexte normatif, le score positionne le niveau
d’apprentissage de l’individu par rapport au groupe de référence (Morissette, 2005).
Nous pouvons prendre pour exemple un concours de sélection des cinq participants
qui obtiennent les meilleurs résultats au test. Ce type d’examen implique qu’il y ait
une certaine variabilité et une forte discrimination entre les individus pour pouvoir les
positionner les uns par rapport aux autres. Par contre, en contexte critérié ou plus
exactement lors d’une « mesure à interprétation critériée », c’est par rapport aux
compétences et apprentissages visés par le cours que chaque individu est positionné
(Laveault & Grégoire, 1997). Dans ce type de mesure, des échelles descriptives
détaillent le contenu de l’épreuve et la manière dont l’étudiant aura à démontrer sa
performance. La mesure sert ici à distinguer ce qui est maîtrisé ou non. Un nombre
important d’étudiants peut dès lors obtenir des résultats rapprochés et élevés, en
particulier lorsque l’enseignement a été efficace. C’est le seuil de réussite qui aura été
28
préalablement défini qui distinguera par une note les étudiants qui réussissent de ceux
qui échouent (Morissette, 2005).

En somme, à travers l’analyse d’items, les critères de qualité d’une évaluation

fournissent des éléments de réponse à des questions telles que: les scores des étudiants
sont-ils fiables? Quels items sont à éliminer et quels items sont à conserver? L’examen
est-il trop simple ou trop difficile? Les tests d’hypothèses de la partie empirique
s’appuieront sur les indicateurs de qualité évoqués. Ils chercheront à comprendre les
liens entre ces indices et les caractéristiques d’un examen (nombre d’items, degré de
pénalisation, etc.). Les notions de fidélité et de discriminations, essentielles à la qualité
d’un examen, seront analysées en lien avec le degré de pénalisation (-0,50, - 0,33, etc.)
des mauvaises réponses et le taux de réussite.

29
30
 II. SECONDE PARTIE: RECHERCHE EMPIRIQUE

La partie théorique a mis en exergue que la qualité de conception des items est
cruciale et détermine la valeur de l’instrument de mesure. Par ailleurs, la théorie
classique des tests a permis d’exposer des techniques statistiques qui évaluent la
qualité des items afin de repérer d’éventuels défauts de conception.

Le travail de recherche mené ici ne s’intéresse pas à l’aspect rédactionnel des

items des QCM. Il s’attache exclusivement à analyser les examens QCM en tenant
compte d’une part d’informations quantifiables comme le barème de pénalisation, le
nombre d’items, le taux de réussite et d’autre part d’informations qualitatives via les
indicateurs statistiques de fidélité, de discrimination et de facilité.

Concrètement, l’analyse empirique s’opère autour de quatre variables

principales. Celles-ci sont à l’origine de trois hypothèses de recherche. Ces variables
sont le barème de pénalisation, l’indice de discrimination, le taux de réussite et
l’espérance de gain par item (estimation du score que produirait une réponse au hasard
en prenant en compte le nombre d’options et la valeur du score attribué pour chaque
option). La finalité empirique de cette recherche est donc d’établir s’il existe des liens
significatifs entre ces variables.

La partie empirique développe tout d’abord le questionnement qui est à la base

des hypothèses testées, l’analyse statistique met ensuite ces hypothèses à l’épreuve et
cette partie se termine par une présentation détaillée des résultats obtenus.

1. Objet de la recherche
1.1 Questionnement
Pour rappeler brièvement le contexte, le service d’Evaluation en appui à la
qualité de l’enseignement et de la formation (EVA) de l’Université catholique de
Louvain a fait l’acquisition d’un logiciel de conception et correction automatisées
d’examens QCM en 2011. Ce logiciel intitulé Contest est fourni par la société privée
Consilium. Les examens QCM traités à l’aide de celui-ci ont servi à constituer une
banque de données de plus de sept cents cours. Ces cours ont fait l’objet d’une
évaluation certificative qui a eu lieu entre la session de janvier 2012 et la session de
juin 2015.

31
 Comme nous l’avons vu précédemment, la question de la pénalisation ne fait
pas consensus entre les auteurs. Au niveau des pratiques des professeurs constatées en
termes d’examens QCM, le recours au barème de pénalisation pour les réponses
erronées est fréquent. L’étude des données récoltées via Contest indique qu’en
moyenne 68,6% des examens y ont recours. Les données montrent également un taux
de réussite moyen inférieur de 10% pour les examens comportant une pénalisation.
Ces résultats soulèvent des questions. D’abord, comment expliquer cette différence de
taux de réussite entre les examens qui comportent ou non une pénalité? Ensuite, les
propriétés métriques des QCM permettent-elles d’identifier des éléments qui
favorisent la capacité de discrimination d’un examen ?

La question qui sert de fil conducteur aux analyses statistiques est la suivante:
la pénalisation des mauvaises réponses est-elle associée à un indice de discrimination
plus élevé? Ce questionnement sur la capacité de discrimination est étudié à travers
trois questions principales :
- Existe-t-il un lien entre le degré de pénalisation et l’indice de discrimination ?
- Existe-t-il un lien entre l’espérance de gain par item et l’indice de
discrimination ?
- Que montre l’analyse des examens qui possèdent des indices élevés en termes
de fidélité et de discrimination ?

La section qui suit traduit chacune de ces questions en hypothèses qui feront
l’objet d’analyses statistiques.

1.2 Hypothèses
Première question: Existe-t-il un lien entre le degré de pénalisation et l’indice de
discrimination ?

Cette question a pour objectif de comparer les examens selon leur degré de
pénalité (-1,00, -0,50, etc.) pour observer si l’un de ces groupes discrimine davantage
les étudiants. Chaque groupe d’examens correspond à un degré de pénalité différent.

32
Les sept groupes8 de degrés de pénalité sont les suivants :
- pénalité de -1,00 point
- pénalité de -0,50 point
- pénalité de -0,33 point
- pénalité de -0,25 point
- pénalité de -0,20 point
- pénalité de -0,07 point à -0,08 point
- pénalité de 0,00 point (c’est-à-dire sans pénalité)

L’objectif est d’examiner s’il y a un lien significatif entre les groupes « degré
de pénalité » (-0,50, -0,20, etc.) et l’indice de discrimination. Si c’est le cas,
l’hypothèse H0 pourra être rejetée.
H0: Il n’y a pas de différence entre les moyennes des groupes de degrés de pénalité
sur l’échelle de l’indice de discrimination.
H1: Au moins une des moyennes est différente des autres entre les groupes de degrés
de pénalité sur l’échelle de l’indice de discrimination.

La première question est approfondie par l’étude d’une sous-question qui réduit
l’analyse à deux groupes: les examens qui comportent ou non une pénalisation des
mauvaises réponses. Un premier groupe est constitué des examens du « groupe de
pénalité 0,00 », c’est-à-dire les examens qui ne pénalisent pas les mauvaises réponses.
Les autres examens font partie du second groupe.

Sous-question: la présence d’une pénalisation est-elle associée à un indice de

discrimination plus élevé ?

Le but est d’examiner si les examens avec pénalité discriminent davantage que
les examens sans pénalité. Voici les sous-hypothèses qui découlent de cette question.

H0: La moyenne du groupe des examens « avec pénalité » n’est pas différente de la
moyenne du groupe des examens « sans pénalité » sur l’échelle de l’indice de
discrimination.

8
Les groupes sont constitués de façon à ce que chaque échantillon contienne un minimum de 30
examens QCM. Seul un groupe contient un échantillon plus petit mais est tout de même conservé pour
les analyses. En effet, les résultats statistiques pour ce groupe (« Pénalité de -0,07 à -0,08 ») sont
intéressants à comparer avec ceux du « groupe -0,20 ».
33
H1b: La moyenne du groupe des examens « avec pénalité » est différente de la
moyenne du groupe des examens « sans pénalité » sur l’échelle de l’indice de
discrimination.

Seconde question: Existe-t-il un lien entre l’espérance de gain par item et l’indice de
discrimination ?

Cette question vise aussi à étudier la capacité de discrimination d’un examen.

Cette fois les groupes à comparer sont constitués en prenant en compte non seulement
le degré de pénalité mais également le nombre d’options et la valeur d’une bonne
réponse. Ces différents éléments entrent dans le calcul de ce qui sera intitulé
« l’espérance de gain par item »9. L’espérance de gain correspond à une estimation du
score que produirait une réponse au hasard en prenant en compte le nombre d’options
et la valeur du score attribué pour chaque option. Cela correspond en quelque sorte à
une estimation du risque à répondre aléatoirement à un item. En répondant au hasard
à un item, l’étudiant a-t-il une probabilité plus importante d’augmenter son score ou
de le diminuer? La figure 4 ci-dessous présente un exemple de calcul de cet indice.

Figure 4: Calcul de l’espérance de gain pour un item10

Lorsque l’indice d’espérance de gain est négatif, le risque de perte de score est
important. Un indice positif indique quant à lui une probabilité de gain en score. La
figure 5 qui suite montre deux exemples de calcul de l’espérance de gain.

9
L’espérance de gain est étudiée ici uniquement pour les examens où le nombre d’options, la valeur
d’une bonne réponse et d’une mauvaise réponse sont les mêmes pour tous les items du questionnaire.
10
Ce calcul de l’espérance de gain vaut uniquement pour les items où une seule réponse est attendue.
34
 ExpectedGain_ByItem

(Good_Value) + ((Nb_Option -1) * False_Value)

___________________________________________
Nb_Option

Exemple 1: L’espérance de gain par item est de -0,125 lorsqu’il y a 4 options

de réponse ; où une bonne réponse vaut +1 et une mauvaise réponse vaut -0,50.

Exemple 2: L’espérance de gain par item est de 0,25 lorsqu’il y a 4 options de

réponse ; où une bonne réponse vaut +1 et une mauvaise réponse vaut 0,00.
Figure 5: Exemples de calcul de l’espérance de gain pour un item

L’objectif de la seconde question est d’estimer si l’espérance de gain par item

est liée à la capacité de discrimination. Trois groupes11 d’espérance de gain serviront
aux tests statistiques :
- espérance de gain inférieure à 0,04
- espérance de gain entre 0,04 et 0,11
- espérance de gain supérieure à 0,11

Si les résultats démontrent une différence significative entre les groupes

« espérance de gain », l’hypothèse H0 ci-dessous pourra être rejetée.
H0: Il n’y a pas de différence entre les moyennes des groupes d’espérance de gain sur
l’échelle de l’indice de discrimination.
H2: Au moins une des moyennes est différente des autres entre les groupes d’espérance
de gain sur l’échelle de l’indice de discrimination.

Troisième question: Que montre l’analyse des examens qui possèdent des indices
élevés en termes de fidélité et de discrimination ?

C’est également la capacité de discrimination d’un examen qui est testée dans
la dernière question. L’objectif est d’évaluer si l’indice de discrimination est lié
significativement au taux de réussite aux examens.

11
Les groupes sont constitués de façon à ce que chaque échantillon contienne minimum 30 examens
QCM.
35
Pour tenter de répondre à la dernière question, sept groupes12 sont créés afin de répartir
les examens QCM selon leur capacité de discrimination (Item Rest Correlation, Rir):
- indice de discrimination inférieur à 0,10
- indice de discrimination entre 0,10 et 0,14
- indice de discrimination entre 0,15 et 0,19
- indice de discrimination entre 0,20 et 0,24
- indice de discrimination entre 0,25 et 0,29
- indice de discrimination entre 0,30 et 0,34
- indice de discrimination supérieur à 0,34

Il s’agit ici de répondre à la question suivante: l’indice de discrimination est-il

associé au taux de réussite? Dans le cas où les tests statistiques montrent que l’indice
de discrimination est lié au taux de réussite l’hypothèse nulle sera rejetée.
H0: Il n’y a pas de différence entre les moyennes des groupes « niveaux de
discrimination » des examens sur l’échelle du taux de réussite.
H3: Au moins une des moyennes est différente des autres entre les groupes de
« niveaux de discrimination » des examens sur l’échelle du taux de réussite.

De façon semblable à ce qui est réalisé pour l’indice de discrimination,

l’analyse s’attachera aussi à observer les examens QCM qui possèdent des indices de
fidélité élevés.

Ces trois questions ont pour rôle de guider les analyses empiriques. Toutefois,
la démarche de recherche est avant tout hypothético-déductive. Ainsi, chacune de ces
questions pourra se décliner en plusieurs sous-hypothèses selon les nouvelles
questions soulevées par les résultats obtenus. Les variables qui interviennent dans les
questions principales sont: l’indice de discrimination (Rir), le degré de pénalisation
(- 0,50, -1,00, etc.), l’espérance de gain et le taux de réussite. Toutefois, la démarche
d’analyse s’attachera également à mentionner certains liens avec d’autres variables.
L’objectif est de travailler de façon exploratoire pour d’une part, répondre aux
questions centrales et d’autre part, comprendre l’intervention des autres variables dans
le système analysé.

12
Les groupes sont constitués de façon à ce que chaque échantillon contienne minimum 30 examens
QCM.
36
 Le choix des variables secondaires13 qui apparaîtront dans les résultats tient
aux liens qu’elles permettront de faire avec les connaissances issues de la littérature.
Dans le cas précis des données qui sont étudiées dans ce mémoire, il paraît en effet
intéressant de voir dans quelle mesure les observations ou recommandations des
auteurs apparaissent lors des analyses. Autrement dit, ces variables secondaires visent
à ce que la compréhension des résultats des hypothèses centrales soit complétée d’une
vue de l’ensemble des variables en jeu. Les variables principales seront donc mises en
perspective avec des variables secondaires: l’alpha de Cronbach (indice de fidélité), le
Corrected P (indice de facilité), le nombre d’items, le nombre d’options, la taille du
test (nombre d’items multiplié par le nombre d’options selon la formule de Grier,
1975) et le taux d’items non répondus.

Dans quelle mesure les variables secondaires recueillies rejoignent-elles les

constats évoqués dans la littérature? Les liens avec la littérature qui sous-tendent le
choix de ces variables sont explicités ci-après.
- l’indice de fidélité est un critère de qualité indispensable d’un examen
certificatif. Nunnally et Bernstein (1994) proposent une valeur seuil de 0,70.
Laveault et Grégoire (1997) précisent que cet indice tend à augmenter lorsque
le nombre d’items augmente ;
- l’indice de facilité est un indicateur qualitatif des examens. Selon Morissette
(2005), bien qu’il n’existe pas de valeur conseillée, des items dont l’indice de
facilité est proche de 0,50 représentent un groupe d’items importants car ils
permettent de discriminer les sujets faibles des sujets forts ;
- la taille du test est calculée selon la formule de Grier (1975), en multipliant le
nombre d’items et le nombre d’options. Selon le tableau proposé par Ebel
(1969)14, une taille de test élevée est associée à un test qui possède un
indicateur de fidélité élevé ;
- le taux d’items non répondus est un indicateur quantitatif. D’après Laveault et
Grégoire (1997), lorsque l’examen pénalise les mauvaises réponses les
étudiants ont tendance à s’abstenir de répondre.

13
Le terme « variables secondaires » est à prendre au sens de variables indirectement liées aux quatre
questions principales (non dans le sens de variable de moindre importance pour l’analyse).
14
Annexe 1: Tableau du nombre d’options et d’items selon la fidélité théorique (Ebel, 1969).

37
 2. Aspects méthodologiques
Le système logiciel Contest (Consilium) est un outil de conception et de
correction automatique de grilles QCM. Les enseignants qui passent par le service
EVA ne transmettent pas les questionnaires contenant les intitulés des items et des
options de réponses. Ils communiquent uniquement les caractéristiques de leur examen
QCM: le sigle du cours, l’intitulé du cours, le nombre d’items, le nombre d’options,
les bonnes réponses et le barème de pondération. C’est sur la base de ces informations
que la grille QCM est conçue et corrigée à l’aide du logiciel.

2.1 Choix d’une méthode quantitative

Le questionnement central de ce mémoire a émergé suite au constat d’un taux
d’échec plus élevé dans le cas des examens comportant un barème de pénalisation tout
en soulignant que ce type d’examens est le plus fréquent. Les données récoltées par le
logiciel Contest sont des données quantitatives. À l’heure actuelle, elles concernent les
huit dernières sessions d’examen qui s’étendent de janvier 2012 à juin 2015. Elles
représentent une opportunité de progresser dans la connaissance que nous avons des
évaluations par questionnaire à choix multiple. L’étude du matériau disponible est une
occasion pour le service EVA de développer sa connaissance en matière de
méthodologie d’évaluation en éducation. Le monitoring de la base de données des
examens QCM répond également à un objectif institutionnel de « démarche qualité »
de la formation via les analyses longitudinales qui peuvent être réalisées.

2.2 Récolte des données

Le service EVA est utilisateur du logiciel Contest fourni par la société privée
Consilium. Les données sont hébergées par cette société et le service EVA n’y a donc
pas accès directement. Son accès se limite à l’interface du logiciel qui sert à encoder
les caractéristiques de l’examen transmises par l’enseignant, à produire des scores
lorsque les copies QCM des étudiants sont scannées et à consulter ces informations.

Lors de la collecte des données, pour éviter une retranscription fastidieuse des
informations issues des rapports fournis par Contest avec les risques d’erreurs que cela
comporte, j’ai opté pour la conception d’un outil logiciel d’extraction automatique des
données des rapports Contest. Quelques variables ont cependant nécessité un encodage
manuel.

38
 2.3 Échantillon et variables
Dans un premier temps, les données aberrantes ont été supprimées:
- 26 QCM pour lesquels moins de 30 étudiants ont présenté l’examen ;
- 2 QCM dont l’indice de fidélité (alpha de Cronbach) est inférieur ou égal à
0,10 ;
- 3 QCM dont l’indice de discrimination est négatif et les items de l’examen
mélangent des questions à choix multiple et des questions à réponses multiples.

Après élimination des données aberrantes, l’échantillon porte sur 680 examens
QCM réalisés au cours de huit sessions d’examens. Cela représente 146.800 copies
d’examen. Pour chaque examen, trente informations (ou variables) ont été récoltées.
Elles sont listées ci-dessous en deux catégories: les variables qui apportent des
informations sur la qualité des examens et les variables qui fournissent des
informations quantitatives.

Les indicateurs statistiques15 apportant des informations qualitatives sur chaque

examen sont:
- l’indice de discrimination (Item Rest Correlation, Rir) ;
- l’indice de fidélité (Alpha de Cronbach) ;
- l’indice de facilité (P) ;
- l’indice de facilité corrigé (Corrected P). Il représente l’indice de facilité
corrigé en fonction du facteur chance. C’est cet indice qui sera utilisé dans les
analyses et par facilité de langage, il apparaîtra dans ce travail sous
l’appellation « indice de facilité ».

Les caractéristiques et informations quantitatives relevées pour chaque examen QCM

sont:
- le sigle du cours, l’intitulé du cours, la faculté, l’année, la session d’examen, la
date de l’examen ;
- le nombre d’items que l’enseignant a choisi d’exclure suite au constat d’une
lacune dans la conception des questions, le nombre d’items laissés sans
réponse, le nombre d’items pour lesquels l’étudiant a coché la case abstention,

15
Pour faciliter la compréhension du lecteur, la dernière annexe synthétise la signification des
variables principales (annexe 8). Ce tableau au format A3 peut rester déplié tout en permettant la
lecture du mémoire. En outre, les formules pour le calcul des indicateurs statistiques se trouvent en
annexe 2.
39
 le nombre d’items « non répondus », c’est-à-dire où ni leurre, ni réponse
correcte n’a été coché, le taux moyen d’items « non répondus »16;
- le nombre d’étudiants qui ont présenté l’examen, réussi l’examen, échoué à
l’examen et le taux de réussite ;
- les barèmes de pondération c’est-à-dire le score pour une bonne réponse, pour
une mauvaise réponse, pour un item laissé sans coche et pour une case
abstention ;
- le ratio de la valeur d’une bonne réponse par rapport à la valeur d’une mauvaise
réponse. La figure 6 explique le calcul de ce ratio.
Ratio = ScoreBonneRéponse
valeur absolue du ScoreMauvaiseRéponse

Exemple 1: Si une bonne réponse vaut +4 et une mauvaise vaut -1, ce ratio
sera de 4.
Exemple 2: Si une bonne réponse vaut +1 et une mauvaise vaut -0,75, ce ratio
est de 1,33.
Figure 6: Exemples de calcul du ratio bonne réponse/mauvaise réponse pour
un item

- l’espérance de gain par item: l'espérance de gain donne une estimation du

risque en termes de gain ou perte de score que prend l'étudiant en répondant au
hasard à l'item ;
- le nombre d’options par item ;
- la taille du test c’est-à-dire le nombre d’items multiplié par le nombre
d’options selon la formule proposée par Grier (1975);
- le type de QCM: réponse unique ou réponses multiples ;
- l’homogénéité: un examen est homogène si tous les items qui le composent ont
des caractéristiques identiques en termes de nombre d’options, de barème de
pondération et de type de réponse (unique ou multiple).

16
Le taux moyen des items « non répondus » n’est pas calculé pour les examens où un ou plusieurs
items ont été exclus (annulés).
40
Exploration globale des données

3. Présentation des résultats

Avant de passer aux analyses visant à répondre aux trois questions principales,
cette section présente quelques informations descriptives afin d’avoir un premier
regard global sur l’ensemble des données. Une série de tests de Pearson donne une vue
des corrélations entre les variables et aide à mieux comprendre la façon dont les
variables sont liées entre elles.

Ensuite, les trois questions centrales sont prises en considération en suivant à

chaque fois une démarche en trois étapes principales:
- étape 1: observation des données descriptives des groupes comparés ;
- étape 2: analyse statistique pour tester les hypothèses de la question centrale ;
- étape 3: interprétation des résultats statistiques.

À ces trois étapes, les éléments suivants peuvent éventuellement s’ajouter:

- analyse statistique complémentaire ;
- interprétation des résultats de l'analyse statistique complémentaire.

Avant de passer aux analyses statistiques, une première exploration globale

permettra de se faire une idée des données récoltées.

Exploration globale des données: informations descriptives

Les données descriptives du tableau 1 ci-après offrent tout d’abord un premier
aperçu des données. Ces données permettent d’observer une grande variété de
pratiques de la part des enseignants en matière de questionnaires à choix multiple. Les
valeurs minimales et maximales des différentes variables indiquent que le nombre
d’items varie de 6 à 110, le nombre d’options varie de 2 à 16 et le score attribué en cas
de réponse incorrecte varie de -1,00 à 0,00. Cela implique qu’un étudiant peut se
retrouver face à des questionnaires à choix multiple très différents et devoir faire
preuve d’une importante capacité d’adaptation ; et ce particulièrement s’il n’a pas été
entraîné à répondre à ces types spécifiques d’examens.

Un second constat émerge du tableau 1 ci-après. En session d’examen, le

service EVA offre un accompagnement des enseignants à l’analyse des items et étudie
l’impact de cet accompagnement sur la qualité des examens QCM. Les données
41
Exploration globale des données

descriptives montrent que les pratiques des professeurs tendent à évoluer. L’indice de
discrimination (Rir) moyen qui était de 0,23 en 2012 a augmenté et s’élève à 0,24 en
2015. Le graphique 1 ci-dessous illustre ce résultat. L’indice de fidélité (Alpha de
Cronbach) a également augmenté et est passé de 0,64 en 2012 à 0,67 en 2015. C’est
durant l’année 2013 que ces deux indices sont les plus élevés. Cela pourrait s’expliquer
par un effet des formations aux examens QCM que le service EVA a proposé aux
enseignants au début de l’année académique 2012-2013.

Tableau 1: Pratiques des enseignants en matière d’examens QCM

Alpha Degré de
Année Cronbach Rir Nb Items Nb Options pénalité
2012 Moyenne ,64 ,23 32,09 4,47 -,35
Minimum ,11 ,00 10 2 -1,00
Maximum ,98 ,65 100 10 ,00
2013 Moyenne ,67 ,24 34,48 4,67 -,30
Minimum ,05 -,09 10 2 -1,00
Maximum ,98 ,64 100 16 ,00
2014 Moyenne ,66 ,23 33,85 4,44 -,26
Minimum ,09 -,09 10 2 -1,00
Maximum ,98 ,63 110 12 ,00
2015 Moyenne ,67 ,24 32,80 4,33 -,30
Minimum ,11 -,11 6 2 -1,00
Maximum ,97 ,62 100 7 ,00
Total Moyenne ,66 ,23 33,35 4,48 -,30
Minimum ,05 -,11 6 2 -1,00
Maximum ,98 ,65 110 16 ,00

42
Exploration globale des données

Graphique 1: Indice de discrimination (Rir) moyen en fonction de l’année

Pour se faire une première idée des liens entre les variables, la figure 7 qui suit
reprend les résultats significatifs d’une série de corrélations de Pearson effectuée sur
les examens QCM avec pénalité.

43
Exploration globale des données

Exploration globale des données: corrélations entre variables

*=p ≤ 0,05 **=p≤0,01 ***=p≤0,001

Figure 7: Corrélations de Pearson significatives pour les examens avec pénalité17

Pour résumer la figure 7, les corrélations les plus fortes entre deux variables sont:
- la relation est très forte et positive entre l’indice de facilité (Corrected P), et le
taux de réussite (r=0,880 ; p<0,001***). Pour rappel, un examen facile aura un
indice de facilité proche de 1 alors qu’un examen difficile aura un indice proche
de 0. Comme nous aurions pu nous y attendre, le test de Pearson permet
d’observer qu’un indice de facilité élevé (examen facile, qui tend vers 1) est
associé à un taux de réussite élevé ;
- en ce qui concerne la relation entre l’indice de facilité et le taux moyen d’items
non répondus, la relation est d’intensité moyenne et négative (r=-0,429 ;

17
La figure 7 reprend uniquement les corrélations significatives pour les examens avec pénalité.
44
Exploration globale des données

p<0,001***). Cela signifie qu’un indice de facilité élevé (examen facile, qui
tend vers 1) est associé à un taux moyen d’items non répondus faible ;
- le taux d’items non répondus a une relation négative forte (r=-0,562 ;
p<0,01**) avec le barème de pénalisation (-0,50, -0,25, etc.). Plus la
pénalisation est forte, plus le taux d’items non répondus tend à augmenter. Le
taux d’items non répondus a également une relation négative d’intensité
moyenne avec le taux de réussite (r=-0,487 ; p<0,01**) ainsi qu’avec
l’espérance de gain par item (r=-0,411 ; p<0,01**). Un taux d’items non
répondus élevé est donc associé à un faible taux de réussite et à une espérance
de gain faible ;
- entre le taux de réussite et l’indice de discrimination d’un examen, la relation
est d’intensité moyenne et négative (r=-0,206, p<0,001***). Ce qui signifie
que lorsque l’indice de discrimination s’accroît, le taux de réussite tend à
diminuer. Mais inversement, cela signifie également que lorsque l’indice de
discrimination diminue, le taux de réussite tend à augmenter. Ce dernier constat
est interpellant et fera dès lors l’objet d’une analyse plus approfondie lors des
tests statistiques de la troisième question ;
- la relation est positive et forte entre l’indice de fidélité (Alpha de Cronbach) et
l’indice de discrimination (r=0,693 ; p<0,001***). Un indice de fidélité élevé
est donc associé à un indice de discrimination élevé ;
- entre la taille du test et l’indice de fidélité, la relation est également forte et
positive (r=0,553 ; p<0,001***) signifiant qu’un indice de fidélité élevé est
associé à une taille de test importante. Entre la taille du test et l’indice de
discrimination, la relation est positive et faible (r=0,151 ; p<0,01**). Le
graphique 2 ci-dessous illustre l’indice de discrimination moyen en fonction
de la taille du test.

45
Exploration globale des données

Graphique 2: Indice de fidélité moyen en fonction du groupe « taille du test »

À présent que nous avons une première idée des données et des relations entre
elles, passons aux hypothèses en lien avec la capacité de discrimination d’un examen.

46
Q1: Existe-t-il un lien entre le degré de pénalisation et l’indice de discrimination ?

3.1 Question 1: Existe-t-il un lien entre le degré de pénalité et l’indice

de discrimination ?
L’objectif de la première question est d’examiner s’il y a un lien entre le degré
de pénalité (-0,50, -0,20, etc.) et l’indice de discrimination.
H0: Il n’y a pas de différence entre les moyennes des groupes de degrés de pénalité
sur l’échelle de l’indice de discrimination.
H1: Au moins une des moyennes est différente des autres entre les groupes de degrés
de pénalité sur l’échelle de l’indice de discrimination.
Les analyses statistiques réalisées pour tester ces hypothèses: ANOVA, test de
Bonferroni et test de Kruskal Wallis.

Étape 1. Observation des données descriptives des groupes comparés

Les données récoltées sont réparties en sept groupes18 selon le degré de pénalité
dans le but de comparer les moyennes entre ces groupes sur l’échelle de l’indice de
discrimination. Les tableaux 2a et 2b ci-dessous présentent les groupes. Il est à noter
que l’échantillon est inférieur à 30 pour le groupe de pénalité « -0,17 à -0,08 ». Les
résultats pour ce groupe sont donc à interpréter avec précautions. Il importe également
de noter que les échantillons des sept groupes sont relativement inégaux. L’échantillon
du groupe « degré de pénalité de -0,20 » s’élève à 36 examens alors que le groupe
« degré de pénalité de -0,50 » s’élève à 164 examens19.

Les données descriptives20 du tableau 2a ci-après fournissent trois

informations. Tout d’abord, elles indiquent que c’est pour la « pénalité de -0,20 » que
les moyennes des indices de discrimination et de fidélité sont les plus élevées
comparativement aux autres groupes. Le graphique 3 permet d’observer que c’est pour
le « groupe de pénalité de -0,20 » que la moyenne est la plus élevée et l’écart-type le
plus faible sur l'échelle de l’indice de discrimination. Ensuite, comme l’illustre le
graphique 4, c’est pour le « groupe de pénalité de -0,33 »21 que la moyenne est la plus
élevée et l’écart-type le plus faible sur l'échelle de l’indice de facilité. Il s’agit donc
d’un groupe dont les examens QCM sont plus faciles comparativement aux autres

18
Les examens où le degré de pénalité n’est pas identique pour tous les items sont exclus.
19
Il s’agit ici du mode pour les degrés de pénalité des examens avec pénalisation. Lorsqu’il y a une
pénalisation des mauvaises réponses, le barème le plus fréquent est donc -0,50.
20
Les données descriptives détaillées de tous les degrés de pénalité sont reprises en annexe 3.
21
Pour ces examens, le nombre d'options varie entre 2 et 5 options et 29% des examens proposent 3
options de réponse.
47
Q1: Existe-t-il un lien entre le degré de pénalisation et l’indice de discrimination ?

groupes de pénalité. Enfin, le « groupe de pénalité - 0,20 » possède un taux moyen

d’items non répondus presque aussi élevé que celui du groupe où la pénalité est de
- 1,00. Le graphique 5 en présente une représentation.

Le tableau 2b permet de constater que c’est pour la « pénalité -0,20 » que la

taille du test QCM est la plus grande22. Les données du tableau vont dans le même sens
ce que les tests de Pearson montrent. La taille du test est fortement corrélée avec
l’indice de fidélité, lui-même fortement corrélé avec l’indice de discrimination. Par
ailleurs, ces examens semblent moins faciles que ceux des autres groupes de pénalité.
Ce tableau ainsi que la synthèse des résultats de la figure 8 montrent que ce groupe
d’examens QCM rejoint les recommandations de la littérature sur plusieurs aspects:
un indice de discrimination de minimum 0,20, un indice de fidélité de minimum 0,70
et une taille de test élevée. Les examens avec une pénalité de -0,20 ont en effet comme
caractéristiques un indice de discrimination moyen de 0,27 avec un faible écart-type,
un indice de fidélité moyen de 0,71 et une taille de test moyenne de 178, ce qui
est nettement plus élevé que pour les autres groupes de pénalité.

Tableau 2a: Données descriptives des 7 groupes de degrés de pénalité

Groupe de N Moyenne Ecart type Moyenne de Moyenne Moyenne
degré de du du l’indice de de du taux
pénalité Rir Rir fidélité l’indice d’items
de facilité non
répondus

-1,00 55 0,20 ,074 0,60 0,55 19,81

-0,50 164 0,22 ,091 0,65 0,53 16,99
-0,33 38 0,24 ,071 0,66 0,56 15,59
-0,25 95 0,27 ,084 0,67 0,46 18,32
-0,20 36 0,27 ,066 0,71 0,43 19,68
-0,17 à 16 0,22 0,60 0,55 11,78
,055
-0,08
0,00 209 0,23 ,100 0,68 0,46 3,65

Tableau 2b: Données descriptives des 7 groupes de degrés de pénalité (suite)

Degré de N Moyenne Moyenne Moyenne
pénalité Nombre d’items Nombre d’options Taille du test
-1,00 55 27,36 4,06 108,50
-0,50 164 35,51 3,83 127,09
-0,33 38 27,53 3,89 118,09
-0,25 95 26,03 4,73 121,23
-0,20 36 31,89 5,23 178,00
-0,17 à -0,08 16 27,75 6,53 176,50
0,00 209 38,28 4,84 157,85

22
Pour ces examens, le nombre d'options varie entre 3 et 7 options et 44% des examens proposent
5 options de réponse.
48
Q1: Existe-t-il un lien entre le degré de pénalisation et l’indice de discrimination ?

Graphique 3: Indice de discrimination moyen en fonction des groupes de pénalité

Graphique 4: Indice de facilité moyen en fonction des groupes de pénalité

49
Q1: Existe-t-il un lien entre le degré de pénalisation et l’indice de discrimination ?

Graphique 5: Taux moyen d’items non répondus en fonction des groupes de pénalité

Figure 8: Synthèse des données descriptives pour la pénalité -0,20

Étape 2. Analyse statistique pour tester les hypothèses

Une ANOVA I est réalisée pour comparer les moyennes entre les groupes de
degrés de pénalité sur l’échelle de l’indice de discrimination. Un test post-hoc de
Bonferroni est ensuite réalisé pour situer les différences de moyennes entre ces groupes
sur l’échelle de l’indice de discrimination (Rir).

Test ANOVA I
Tableau 3: Résultats ANOVA I sur les groupes de degrés de pénalité

Test ANOVA Somme des carrés ddl Carré moyen F Sig.

Indice de Inter-groupes ,242 6 ,040 5,117 ,000
discrimination
(Rir) Intragroupes 4,785 606 ,008
Total 5,028 612

50
Q1: Existe-t-il un lien entre le degré de pénalisation et l’indice de discrimination ?

Étape 3. Interprétation des résultats statistiques: H0 rejetée

La p-valeur du tableau 3 indique que l’on a moins d’une chance sur 1000 de se
tromper en affirmant qu’au moins une des moyennes est significativement différente
des autres entre les groupes de degrés de pénalité sur l’échelle de l’indice de
discrimination (F(6, 606)=5,117 ; p<0,001***). L’hypothèse nulle peut donc être
rejetée. L’effet de groupe est de petite taille selon un Eta² de 0,048. Ainsi, 4,8% de la
variance de l’indice de discrimination (Rir) est expliquée par le degré de pénalité.

Le test de Bonferroni23 montre que plusieurs groupes de pénalité se distinguent.

L’indice de discrimination du groupe de pénalité -0,20 se distingue significativement
de celui du groupe de pénalité -1,00 et lui est supérieur de 0,07. Par ailleurs, l’indice
de discrimination du groupe de pénalité -0,25 se distingue des groupes de pénalité
- 1,00 et -0,50 et présente un indice de discrimination moyen plus élevé que ces deux
groupes.

Étape 4. Analyse statistique complémentaire: variables secondaires

L’analyse statistique complémentaire vise à observer, pour chaque variable
secondaire, si au moins une des moyennes est significativement différente des autres
entre les groupes de degrés de pénalité sur l’échelle de l’indice de discrimination. Les
variables pour lesquelles le postulat d’homogénéité des variances est respecté (test de
Levene non significatif) font l’objet d’un test d’ANOVA et d’un test de Bonferroni.
Pour les autres variables, un test de Kruskal Wallis est appliqué. Les résultats de
l’ANOVA sont présentés dans le tableau 4 et les résultats du test de Kruskal Wallis
sont repris dans les tableaux 5a et 5b. La figure 9 synthétise les résultats principaux
des différentes analyses.

Tableau 4: Résultats ANOVA I sur les groupes de degrés de pénalité

Somme des
Test ANOVA carrés ddl Carré moyen F Sig.
Indice de Between Groups 1,026 6 ,171 7,827 ,000
facilité Within Groups 13,237 606 ,022
Total 14,263 612
Taux d’items Between Groups 24573,920 6 4095,653 101,451 ,000
non répondus Within Groups 21638,679 536 40,371
Total 46212,599 542

23
Le tableau des résultats du test post-hoc de Bonferroni se trouve en annexe 4.
51
Q1: Existe-t-il un lien entre le degré de pénalisation et l’indice de discrimination ?

Tableau 5a: Test de Kruskal Wallis selon les groupes de pénalité

Alpha de Cronbach Taille du test

Chi-Square 13,200 19,025
df 6 6
Asymp. Sig. ,040 ,004

Tableau 5b: Rangs moyens selon les groupes de pénalité

Degré de pénalité N Rangs moyens

Alpha de Cronbach -1,00 55 251,77
-0,50 164 299,39
-0,33 38 292,84
-0,25 95 303,84
-0,20 36 352,49
-0,17 -> -0,08 16 246,47
0,00 209 328,31
Total 613
Taille du test -1,00 42 176,02
-0,50 116 193,25
-0,33 33 175,00
-0,25 79 198,38
-0,20 28 276,05
-0,17 -> -0,08 14 245,54
0,00 95 216,88
Total 407

*=p ≤ 0,05 **=p≤0,01 ***=p≤0,001

Figure 9: Synthèse des comparaisons entre groupes de degrés de pénalité

52
Q1: Existe-t-il un lien entre le degré de pénalisation et l’indice de discrimination ?

Étape 5. Interprétation des résultats de l'analyse statistique

complémentaire: variables secondaires
Le tableau 4 indique qu’il y a au moins une différence significative de
moyennes entre les groupes de pénalité sur l’échelle de l’indice de facilité
(F(6, 606)=7,827 ; p<0,001***) et sur le taux d’items non répondus
(F(6, 536)=101,451 ; p<0,001***). Le test de Bonferroni24 permet de situer ces
différences significatives. Premièrement, les examens avec une pénalité de -1,00, -0,50
et -0,33 semblent plus faciles que ceux qui adoptent une pénalité de -0,25, -0,20 ou
0,00. Ensuite, les examens du « groupe 0,00 », c’est-à-dire ceux qui ne pénalisent pas
les mauvaises réponses, sont associés à un taux d’items non répondus plus faible par
rapport aux autres groupes de pénalité. C’est dans les groupes -1,00 et -0,20 que ce
taux est le plus élevé. La tendance centrale de ces deux derniers groupes est de 16%
plus élevée que dans le « groupe 0,00 ».

En somme, c’est pour le groupe de pénalité -0,20 que l’indice de discrimination

moyen est le plus élevé. Une pénalisation des mauvaises réponses plus forte que -0,20
n’est donc pas associée à une meilleure discrimination.

Les résultats à la première question invitent à poser une nouvelle question.

Selon le test de Bonferroni, les examens du « groupe de pénalité 0,00 » (les examens
qui ne pénalisent pas les mauvaises réponses) ne se distinguent pas significativement
sur l’échelle de l’indice de discrimination des autres groupes d’examens qui pénalisent
les mauvaises réponses. De ce fait, il semble opportun de se demander si le choix de
pénaliser ou non les réponses erronées influence la capacité de discrimination d’un
examen. Cette nouvelle interrogation constitue la sous-question de la section qui suit.

24
Les résultats du test de Bonferroni se trouvent en annexe 5.
53
Sous-question1: Existe-t-il un lien entre la présence d’une pénalisation et l’indice de discrimination ?

3.1.1 Sous-question 1: Existe-t-il un lien entre la présence d’une

pénalité et l’indice de discrimination ?

Étape 1. Sous-hypothèse: observation des données descriptives des

groupes comparés

Cette question a pour objectif de comparer les examens avec pénalité aux
examens sans pénalité pour observer si l’un de ces deux groupes discrimine davantage
les étudiants. Deux groupes d’examens sont donc constitués 25 dans le but de les
comparer sur l’échelle de l’indice de discrimination: le groupe des examens « avec
pénalité » et le groupe des examens « sans pénalité ». Le tableau 6 ci-dessous indique
que le groupe des examens « avec pénalité » est constitué de 458 examens QCM et le
groupe des examens « sans pénalité » est constitué de 209 examens QCM. Les
examens QCM avec pénalité représentent donc 68,6% des examens QCM.

Les données descriptives du tableau 6 apportent aussi d’autres informations.

La moyenne de l’indice de discrimination (Rir) est de 0,23 dans les deux groupes.
L’indice de fidélité (Alpha de Cronbach) du groupe « sans pénalité » s’élève à 0,68 en
moyenne. Il est légèrement supérieur à celui du groupe « avec pénalité » qui est de
0,65 en moyenne.

Pour les examens « avec pénalité », le taux de réussite est en moyenne 10%
plus faible et le taux d’items non répondus par examen est en moyenne 14% plus élevé.
L’indice de facilité moyen un peu plus élevé de ce groupe montre que ce sont des
examens légèrement plus faciles que dans le groupe d’examens « sans pénalité ».

25
Les examens qui comprennent à la fois des items qui pénalisent les mauvaises réponses et d’autres
qui ne les pénalisent pas sont exclus des deux groupes étudiés.
54
Sous-question1: Existe-t-il un lien entre la présence d’une pénalisation et l’indice de discrimination ?

Tableau 6: Données descriptives des groupes « avec pénalité » et « sans

pénalité »

Taux Espérance
Alpha Corrected items non Taux de de
Rir Cronbach P répondus réussite gain
Avec N 458 458 458 409 458 193
pénalité Mean ,23 ,65 ,50 17,46 56,95 ,02
Std. Dev. ,08 ,16 ,15 6,45 25,11 ,15
Median ,24 ,68 ,51 17,47 59,30 ,00
Min -,11 ,05 ,11 ,00 ,00 -,50
Max ,44 ,94 ,84 38,41 100,00 ,81
Sans N 209 209 209 182 209 85
pénalité Mean ,23 ,68 ,46 3,65 67,36 ,29
Std. Dev. ,10 ,18 ,16 6,32 22,79 ,20
Median ,24 ,70 ,48 ,53 69,51 ,25
Min -,05 ,09 -,13 ,00 1,23 ,06
Max ,65 ,98 ,87 28,48 100,00 1,00

Étape 2. Sous-hypothèse: analyse statistique pour tester les hypothèses

Un test T de Student est réalisé pour comparer les moyennes des groupes « avec
pénalité » et « sans pénalité ». Pour les variables où le postulat d’homogénéité des
variances n’est pas respecté, un test non-paramétrique U de Mann-Withney est réalisé
pour comparer les tendances centrales des deux groupes. Ci-après, le tableau 7
présente les résultats des tests et la figure 10 synthétise ces informations.

Tableau 7: Comparaison des groupes « avec pénalité » et « sans pénalité »

Test t de Student t ddl Sig. (bilatéral) Eta²

Indice de -0,063 665 0,950

discrimination

Indice de facilité 2,819 665 0,005** 0,036

Taux items non 24,169 589 0,000*** 0,490

répondus
Test U de Mann Z Sig. (bilatéral)
Withney
Indice de fidélité -2,239 0,025*

Taux de réussite -4,921 0,000***

*=p ≤ 0,05 **=p≤0,01 ***=p≤0,001

55
Sous-question1: Existe-t-il un lien entre la présence d’une pénalisation et l’indice de discrimination ?

*=p ≤ 0,05 **=p≤0,01 ***=p≤0,001

Figure 10: Synthèse des comparaisons entre groupes (avec ou sans pénalité)

Étape 3. Sous-hypothèse: interprétation des résultats statistiques: H0

non rejetée
Les résultats repris dans le tableau 7 permettent de tirer plusieurs conclusions.
La différence de moyennes entre les groupes d’examens avec ou sans pénalité n'est pas
significative sur l'échelle de l’indice de discrimination (Rir). Nous ne pouvons donc
pas rejeter l’hypothèse nulle: la présence d’un barème de pénalisation des mauvaises
réponses n’est pas associée à un indice de discrimination plus élevé.

Étape 4. Sous-hypothèse: interprétation des résultats statistiques des

variables secondaires
La figure 10 donne également des informations sur les variables secondaires à
la sous-hypothèse.

Indice de fidélité (Alpha de Cronbach)

La différence entre les tendances centrales des QCM avec ou sans pénalité est
significative sur l'échelle de l’indice de fidélité (Z=- 2,239 ; p<0,05*). La moyenne des
examens QCM avec pénalité est inférieure (moyenne=0,65) à la moyenne des QCM
sans pénalité (moyenne=0,68).

Indice de facilité (Corrected P)

La différence de moyennes entre les QCM avec ou sans pénalité est
significative sur l'échelle de l’indice de facilité (t(665)=2,819 ; p<0,01**). La force de
la relation est faible à moyenne selon un Eta² de 0.036. Comme le montre le tableau
6, la moyenne des examens QCM avec pénalité (moyenne=0,50) est supérieure à la
moyenne des QCM sans pénalité (moyenne=0,46) sur l’échelle de l’indice de facilité.
Les examens avec pénalité semblent donc légèrement plus faciles.

56
Sous-question1: Existe-t-il un lien entre la présence d’une pénalisation et l’indice de discrimination ?

Taux d’items non répondus

Il y a une différence significative sur l'échelle du taux d’items non répondus
entre les moyennes des examens QCM avec ou sans pénalité (t(589)=24,169 ;
p<0,001***). La moyenne des QCM avec pénalité (moyenne=17,46) est nettement
supérieure à la moyenne des QCM sans pénalité (moyenne=3,65). De plus, l’effet est
de grande taille selon un Eta² de 0,49.

Taux de réussite
Il y a une différence significative sur l'échelle du taux de réussite entre les
tendances centrales des deux groupes d’examens QCM: avec ou sans pénalité
(Z=- 4,291 ; p<0,001***). La tendance centrale des QCM avec pénalité
(moyenne=56,95) est inférieure à la tendance centrale des QCM sans pénalité
(moyenne=67,36).

Jusqu’ici, les analyses ont indiqué que les examens qui recourent à un barème
de pénalisation ne discriminent pas davantage les étudiants. L’étude des degrés de
pénalité a d’abord montré que le « groupe de -0,20 » discrimine davantage les
étudiants que les autres groupes. Les données descriptives ont quant à elles indiqué
que les caractéristiques de ces examens correspondaient aux recommandations de la
littérature, favorisant ainsi la capacité de discrimination de l’examen. Cependant, cette
capacité de discrimination élevée pourrait également être liée au fait que ces examens
recourent à une faible pénalité. Pour approfondir cette hypothèse, la seconde question
examine l’indice de discrimination en rapport avec une variable qui tient compte non
seulement du barème de pondération mais également du nombre d’options. Il s’agit de
l’espérance de gain.

57
Q2: Existe-t-il un lien entre l’espérance de gain et l’indice de discrimination ?

3.2 Question 2: Existe-t-il un lien entre l’espérance de gain par item et

l’indice de discrimination ?

L’objectif de la seconde question est d’examiner s’il y a un lien entre

l’espérance de gain26 par item et l’indice de discrimination. Pour rappel, l’espérance
de gain estime le score que produirait une réponse au hasard en prenant en compte le
nombre d’options et la valeur de score attribué pour chaque option.
H0: Il n’y a pas de différence entre les moyennes des groupes d’espérance de gain sur
l’échelle de l’indice de discrimination.
H2: Au moins une des moyennes est différente des autres entre les groupes d’espérance
de gain sur l’échelle de l’indice de discrimination.
Les tests statistiques réalisés pour tester ces hypothèses: ANOVA et test de Bonferroni.

Étape 1. Observation des données descriptives des groupes comparés

Les examens sont répartis en trois groupes27 selon l’espérance de gain estimée
par item. Le tableau 8 qui suit indique que c’est pour le groupe d’espérance de gain
« entre 0,04 et 0,11 » que les moyennes sont les plus élevées pour les indices de
discrimination (Rir) et de fidélité (Alpha de Cronbach). Ce groupe a aussi un taux de
réussite plus bas de 6% à 8% comparativement aux autres groupes. Par ailleurs, plus
l’espérance de gain par item est élevée, plus le taux moyen d’items non répondus tend
à diminuer.

26
La figure 4 du point « 1.1 Hypothèses » explique le calcul de l’espérance de gain.
27
Les examens qui n’ont pas des caractéristiques homogènes (nombre d’options, barème de
pondération, type de réponse attendue unique ou multiple) pour tous les items ou qui comportent
une case abstention explicite en plus des options de réponses sont exclus de l’analyse.
58
Q2: Existe-t-il un lien entre l’espérance de gain et l’indice de discrimination ?

Tableau 8: Données descriptives des groupes d’espérance de gain

Taux
Groupes Alpha Corrected items non Taux Espérance
Espérance de gain Rir Cronbach P répondus réussite de gain
< 0,04 N 105 105 105 92 105 105
Mean ,2295 ,6587 ,5447 16,8254 63,8385 -,0808
[Link]. ,08936 ,17743 ,14771 7,13893 25,69276 ,10000
Min ,04 ,11 ,21 ,04 7,14 -,50
Max ,44 ,94 ,82 32,81 100,00 ,03
Entre 0,04 N 64 64 64 57 64 64
and 0,11 Mean ,2717 ,6883 ,4803 15,6637 57,7941 ,0709
Std. ev. ,07569 ,11468 ,13756 8,01040 24,32572 ,02616
Min -,03 ,41 ,22 ,00 10,63 ,04
Max ,43 ,88 ,72 35,48 96,67 ,11
> 0,11 N 121 121 121 109 121 121
Mean ,2177 ,6398 ,4662 8,7993 66,1024 ,2909
Std. ev. ,09559 ,18953 ,19642 9,13887 25,46562 ,16897
Min -,11 ,13 -,13 ,03 ,00 ,12
Max ,62 ,97 ,84 29,00 100,00 1,00

Étape 2: Analyse statistique pour tester les hypothèses

Une ANOVA I28 est réalisée pour comparer les moyennes entre les groupes
d’espérance de gain sur l’échelle de l’indice de discrimination. Un test post-hoc de
Bonferroni est ensuite effectué pour situer les différences de moyennes entre ces
groupes sur l’échelle de l’indice de discrimination (Rir). Les tableaux 9 et 10 ci-
dessous en présentent les résultats.

Tableau 9: Résultats ANOVA I pour les groupes d’espérance de gain sur le Rir

Somme des
Rir carrés ddl Carré moyen F Sig. Eta²

Inter-groupes ,125 2 ,063 7,862 ,000 0,05

Intragroupes 2,288 287 ,008
Total 2,413 289

Tableau 10: Test de Bonferroni pour les groupes d’espérance de gain sur le Rir

(I) ExpectedGain (J) ExpectedGain Mean Difference (I-J) Std. Error Sig.
< 0,04 entre 0,04 et 0,11 -,04219* ,01416 ,009
> 0,11 ,01184 ,01191 ,963
entre 0,04 < 0,04 ,04219* ,01416 ,009
et 0,11 > 0,11 ,05403* ,01380 ,000
< 0,04 -,01184 ,01191 ,963
> 0,11 entre 0,04 et 0,11 -,05403* ,01380 ,000

28
Le test de Levene est non significatif.
59
Q2: Existe-t-il un lien entre l’espérance de gain et l’indice de discrimination ?

Étape 3: Interprétation des résultats statistiques: H0 rejetée

Les résultats de l’ANOVA I présentés dans le tableau 9 indiquent une
différence significative pour au moins une des moyennes entre les groupes d’espérance
de gain sur l’échelle de l’indice de discrimination. L’hypothèse nulle peut donc être
rejetée. L’effet groupe est de petite taille selon un Eta² de 0,05. Ainsi, 5% de la variance
de l’indice de discrimination (Rir) est expliquée par le groupe espérance de gain.

Pour situer ces différences de moyennes entre les groupes, le test de Bonferroni
présenté dans le tableau 10 apporte des informations complémentaires. Le test montre
que le groupe « espérance de gain entre 0,04 et 0,11 » se distingue significativement
des deux autres groupes. L’indice de discrimination de ce groupe est en moyenne
supérieur de 0,04 à celui du groupe « espérance de gain <0,04 » et il est en moyenne
supérieur de 0,05 à celui du groupe « espérance de gain >0,11 ».

Puisque c’est pour le groupe « espérance de gain entre 0,04 et 0,11 » que la
moyenne de l’indice de discrimination est la plus élevée, une espérance de gain par
item inférieure à 0,04 n’est donc pas associée à une meilleure discrimination. Ci-après,
le tableau 11 présente quelques exemples de barèmes de pondération qui
correspondent à une espérance de gain qui se situe entre 0,04 et 0,11.

Tableau 11: Exemples de barèmes et de nombre d'options qui correspondent à

une espérance de gain entre 0,04 et 0,20

Nombre d'options Bonne réponse Mauvaise réponse Espérance de gain

3 1,00 -0,33 0,11
4 1,00 -0,25 0,06
4 1,00 -0,20 0,10
5 1,00 0,00 0,20
9 1,00 0,00 0,11
10 1,00 0,00 0,10
11 1,00 0,00 0,09

60
Q3: Que montre l’analyse des examens qui possèdent des indices élevés en termes de fidélité et de
discrimination ?

3.3 Question 3: Que montre l’analyse des examens qui possèdent des
indices élevés en termes de fidélité et de discrimination ?

Lors des premières hypothèses testées, la pénalité constituait une variable

indépendante et l’objectif était de comprendre ses liens avec les autres variables en
jeu ; et ce, en particulier sur l’indice de discrimination. À ce stade, il semble intéressant
de changer d’angle de vue et donner la place de variable indépendante à l’indice de
discrimination pour comprendre ses liens avec les autres variables. L’indice de fidélité
étant un indicateur fondamental de la qualité d’un examen, ses liens avec les autres
variables seront également analysés. Pour rappel, d’une part les tests de Pearson
avaient indiqué une relation positive forte entre les indices de discrimination et de
fidélité pour les examens avec pénalité. D’autre part, en ce qui concerne cet indice de
discrimination, les tests de Pearson ont permis d’observer une relation négative
d’intensité moyenne entre cet indicateur et le taux de réussite.

La troisième question teste les hypothèses suivantes :

H0: Il n’y a pas de différence entre les moyennes des groupes « niveaux de
discrimination » des examens sur l’échelle du taux de réussite.
H3: Au moins une des moyennes est différente des autres entre les groupes de
« niveaux de discrimination » des examens sur l’échelle du taux de réussite.
Les tests statistiques réalisés pour tester ces hypothèses: ANOVA et test de Bonferroni.

Étape 1: Observation des données descriptives des examens avec

pénalité des groupes « faible qualité » et « haute qualité »
Avant de tester l’hypothèse centrale de cette section, il convient de s’intéresser
en premier lieu aux caractéristiques de deux indicateurs essentiels à la qualité d’un
test: les indices de fidélité et de discrimination. Rappelons que certains auteurs
proposent comme valeur seuil (sans qu’il n’y ait de consensus sur ces valeurs en tant
que références) un indice de fidélité de minimum 0,70 (Nunnally & Bernstein, 1994)
et un indice de discrimination de minimum 0,20 (Ebel & Frisbie, 1986). Sur la base de
ces considérations, que pouvons-nous apprendre de l’étude des caractéristiques des
examens QCM avec pénalité qui combinent à la fois une fidélité élevée et une capacité
de discrimination élevée? Deux groupes sont constitués afin de comparer leurs
caractéristiques respectives. Les examens avec pénalité qui composent le premier
groupe « faible qualité » ont un indice de fidélité inférieur à 0,70 et un indice de

61
Q3: Que montre l’analyse des examens qui possèdent des indices élevés en termes de fidélité et de
discrimination ?

discrimination inférieur à 0,20. Le second groupe, celui de « haute qualité » est

composé des examens avec pénalité dont l’indice de fidélité est supérieur ou égal
à 0,70 et l’indice de discrimination est supérieur ou égal à 0,20.

Tableau 12a: Données descriptives des examens avec pénalité du groupe « faible
qualité »
Alpha Corrected Taux items non Taille Taux Espérance de
Rir Cronbach P répondus test réussite gain
N 126 126 126 121 85 126 53
Mean ,1370 ,4755 ,5049 16,8003 95,99 62,2947 ,0381
[Link]. ,05671 ,14243 ,16625 6,38415 53,568 26,56812 ,16941
Min -,11 ,05 ,13 ,15 18 7,14 -,50
Max ,19 ,69 ,84 29,25 275 100,00 ,25

Tableau 12b: Données descriptives des examens avec pénalité du groupe « haute
qualité »
Alpha Corrected Taux items non Taille Taux Espérance de
Rir Cronbach P répondus test réussite gain
N 169 169 169 142 134 169 81
Mean ,2915 ,7865 ,5128 17,4812 170,34 56,9854 -,0242
[Link]. ,05333 ,05638 ,13716 6,55728 81,418 22,78679 ,14311
Min ,20 ,70 ,19 ,04 57 8,33 -,50
Max ,44 ,94 ,80 35,61 480 97,89 ,81

À la lecture des tableaux 12a et 12b, nous constatons que les examens avec
pénalité de « haute qualité » ont une moyenne en taille de test nettement plus élevée
que ceux de « faible qualité ». Comme le tableau29 d’Ebel (1969) le suggère, une taille
de test élevée est associée à un indicateur de fidélité élevé. Les moyennes des tableaux
indiquent que les examens « haute qualité » sont un peu plus faciles et ont cependant
un taux de réussite plus faible de 5%. Nous allons nous intéresser maintenant aux
examens sans pénalité pour étudier si le constat est similaire.

Étape 2: Observation des données descriptives des examens sans

pénalité des groupes « faible qualité » et « haute qualité »
Selon une démarche similaire à ce qui a été réalisé pour les examens avec
pénalité, les examens sans pénalité sont répartis en deux groupes: les examens « faible
qualité » et les examens « haute qualité ». Les tableaux 13a et 13b ci-après présentent
les caractéristiques des deux groupes. Pour les examens sans pénalité, le taux de

29
Annexe 1: Tableau du nombre d’options et d’items selon la fidélité théorique (Ebel, 1969).

62
Q3: Que montre l’analyse des examens qui possèdent des indices élevés en termes de fidélité et de
discrimination ?

réussite des examens « faible qualité » est de 13% supérieur à celui des examens
« haute qualité ». Il est cependant intéressant de noter que l’indice de facilité des
examens sans pénalité de « haute qualité » est plus bas que pour les autres examens:
ceux sans pénalité de « faible qualité » et ceux avec pénalité (de « faible qualité » et
de « haute qualité »).

Tableau 13a: Données descriptives des examens sans pénalité du groupe « faible
qualité »
Alpha Corrected Taux items non Taille Taux Espérance
Rir Cronbach P répondus du test réussite de gain
N 68 68 68 59 24 68 22
Mean ,1325 ,5138 ,4910 2,3231 92,75 75,1253 ,3106
[Link]. ,05583 ,12640 ,18346 5,68434 36,669 21,95798 ,12221
Min -,05 ,09 -,13 ,01 40 25,00 ,20
Max ,19 ,69 ,87 24,72 160 100,00 ,50

Tableau 13b: Données descriptives des examens sans pénalité du groupe « haute
qualité »
Alpha Corrected Taux items non Taille Taux Espérance
Rir Cronbach P répondus du test réussite de gain
N 101 101 101 86 44 101 37
Mean ,2961 ,8257 ,4395 4,7953 222,05 61,7161 ,2930
[Link]. ,08150 ,07053 ,14578 6,99008 115,721 24,03130 ,23363
Min ,20 ,70 -,10 ,00 39 1,23 ,06
Max ,65 ,98 ,79 28,48 500 100,00 1,00

Les données descriptives montrent l’importance de la taille du test. Elles

suggèrent également que la qualité d’un examen en termes de fidélité et de
discrimination pourrait avoir un lien avec le taux de réussite. La section suivante étudie
séparément ces indicateurs de qualité d’un test pour évaluer à l’aide d’analyses
statistiques leurs liens éventuels avec le taux de réussite.

Étape 3. Observation des données descriptives des groupes comparés

Pour comprendre la différence observée au niveau du taux de réussite et
répondre à la troisième question, les examens QCM sont répartis en 7 groupes
de niveaux de discrimination (Rir). Chaque groupe possède un échantillon de
minimum 30 examens. Le tableau 14 ci-dessous présente les groupes d’examens.

63
Q3: Que montre l’analyse des examens qui possèdent des indices élevés en termes de fidélité et de
discrimination ?

Tableau 14: Données descriptives des 7 groupes de niveaux de discrimination

Groupes de niveaux
de discrimination N Mean Std. Deviation Minimum Maximum

Rir: -0,11 -> 0,09 34 ,039 ,0586 -,11 ,09

Rir: 0,10 -> 0,14 63 ,125 ,0137 ,10 ,14

Rir: 0,15 -> 0,19 122 ,174 ,0139 ,15 ,19

Rir: 0,20 -> 0,24 149 ,222 ,0144 ,20 ,24

Rir: 0,25 -> 0,29 156 ,271 ,0148 ,25 ,29

Rir: 0,30 -> 0,34 94 ,314 ,0126 ,30 ,34

Rir: ≥ 0,35 62 ,398 ,0683 ,35 ,65

Étape 4. Analyse statistique pour tester les hypothèses

ANOVA I
Le test d’analyse de la variance30 à un facteur permet de tester si au moins une
des moyennes des groupes de niveaux de discrimination diffère des autres sur l’échelle
du taux de réussite ainsi que sur l’échelle de l’indice de facilité.

Tableau 15: Résultats ANOVA I sur les groupes de niveaux de discrimination

Somme des Carré
carrés ddl moyen F Sig. Eta²
Indice de facilité Between
,274 6 ,046 1,875 ,083
Groups
Within
16,370 673 ,024
Groups
Total 16,643 679
Taux items non Between
532,794 6 88,799 1,089 ,367
répondus Groups
Within
48514,647 595 81,537
Groups
Total 49047,442 601
Taux de réussite Between
21108,775 6 3518,129 5,837 ,000 0,049
Groups
Within
405621,501 673 602,707
Groups
Total 426730,275 679

30
Le test de Levene est non significatif.
64
Q3: Que montre l’analyse des examens qui possèdent des indices élevés en termes de fidélité et de
discrimination ?

Graphique 6: Taux de réussite moyen selon le niveau de discrimination

Étape 5. Interprétation des résultats statistiques: H0 rejetée

Les résultats de l’ANOVA du tableau 15 indiquent qu’il y a une différence

significative pour au moins une des moyennes entre les groupes de niveaux de
discrimination (Rir) sur l’échelle du taux de réussite (F(6,673)=5,837 ; p<0,001***).
Cela implique le rejet de l’hypothèse nulle. La taille d’effet est faible selon un Eta² de
0,049. Cette différence de moyennes entre les groupes est en revanche non
significative sur l'échelle de l’indice de facilité ainsi que sur le taux d’items non
répondus.

Le test de Bonferroni31 permet de situer ces différences de moyennes entre les

groupes de niveaux de discrimination sur l'échelle du taux de réussite. Le test post-hoc
montre que la moyenne du taux de réussite du groupe « Rir: 0,10 à 0,14 » est
significativement différente et de 12% à 18% plus élevée que les groupes dont l’indice
de discrimination dépasse le seuil de 0,20. Cela signifie que c’est pour les examens
dont la capacité de discrimination est très faible (<0,20) que le taux de réussite est le

31
Le tableau des résultats du test post-hoc de Bonferroni de la troisième question se trouve en
annexe 6.
65
Q3: Que montre l’analyse des examens qui possèdent des indices élevés en termes de fidélité et de
discrimination ?

plus élevé. Le graphique 6 illustre la diminution du taux de réussite lorsque la capacité

de discrimination de l’examen tend à augmenter.

Les résultats vont dans le même sens que ceux obtenus à l’aide des corrélations
de Pearson. Un indice de discrimination faible est donc associé à un taux de réussite
plus élevé. Cela suppose qu’un indice de discrimination faible est lié à un taux de
réussite plus élevé quel que soit le niveau réel de compétence des étudiants.

Ces résultats au sujet de l’indice de discrimination amènent à s’interroger sur

le critère de fidélité d’un examen. Lorsque celui-ci est faible, le taux de réussite des
étudiants augmente-t-il aussi? Le test de Pearson a en effet montré une relation positive
très forte entre ces deux indices. Rappelons que l’indice de fidélité renseigne sur la
précision de la mesure et pose la question de savoir si les étudiants repassaient le même
examen dans les mêmes conditions, ils obtiendraient les mêmes résultats.

Étape 6. Analyse complémentaire sur l’indice de fidélité

Lorsque l’indice de fidélité est faible, le taux de réussite des étudiants
augmente-t-il? Pour répondre à cette question, selon leur niveau de fidélité (Alpha de
Cronbach) les examens sont répartis en cinq groupes. Le tableau 16 ci-après décrit les
groupes. Un test ANOVA I compare les moyennes des groupes sur les échelles du taux
de réussite et du taux d’items non répondus. Ensuite, un test post-hoc situe entre quels
groupes les différences de moyennes sont significatives.

66
Q3: Que montre l’analyse des examens qui possèdent des indices élevés en termes de fidélité et de
discrimination ?

Tableau 16: Données descriptives des 5 groupes « Alpha de Cronbach »

Alpha de Cronbach N Mean Std. Deviation Minimum Maximum

Cronbach: 0,00 -> 0,39 50 ,2928 ,09243 ,05 ,39

Cronbach: 0,40 -> 0,59 156 ,5159 ,05569 ,40 ,59

Cronbach: 0,60 -> 0,69 149 ,6476 ,02688 ,60 ,69

Cronbach: 0,70 -> 0,79 170 ,7482 ,02943 ,70 ,79

Cronbach ≥ 0,80 155 ,8525 ,04448 ,80 ,98

ANOVA I
Tableau 17: Résultats ANOVA I sur les groupes « Alpha de Cronbach »
Somme des Eta²
Carrés ddl Carré moyen F Sig.
Taux de réussite Between Groups 7797,686 4 1949,421 3,141 ,014 0,02
Within Groups 418932,590 675 620,641
Total 426730,275 679

Graphique 7: Taux de réussite moyen en fonction du groupe Alpha de Cronbach

67
Q3: Que montre l’analyse des examens qui possèdent des indices élevés en termes de fidélité et de
discrimination ?

Étape 8. Interprétation des résultats de l'analyse statistique

complémentaire sur l’indice de fidélité
D’après le tableau 17 ci-dessus, le test ANOVA montre une différence
significative entre les moyennes des groupes « niveaux de fidélité » sur l'échelle du
taux de réussite (F(4,675)=3,141 ; p≤0,05*). Le graphique 7 illustre cet effet de
groupe. La taille d'effet est faible selon un Eta² de 0,02.

Les résultats montrent qu’un indice de fidélité (Alpha de Cronbach) faible est
associé à un taux de réussite plus élevé comparativement aux examens qui possèdent
un indice de fidélité élevé. Cela suggère que si ces étudiants venaient à repasser le
même examen dans les mêmes conditions, ils auraient des résultats sensiblement
différents. Selon le test de Bonferroni32, un examen dont l’indice de fidélité est
inférieur à 0,40 a en moyenne 12% de réussite en plus qu'un examen dont la fidélité
est d’au moins 0,60. Les analyses menées pour répondre à cette dernière question
concluent à un taux de réussite qui tend à être plus élevé lorsque les indices de
discrimination ou fidélité des examens sont faibles.

Les tests statistiques effectués pour répondre aux trois hypothèses principales
de ce mémoire ont permis de faire un certain nombre de constats quant à la capacité
de discrimination d’un test. Les conclusions principales sont les suivantes. Tout
d’abord, la capacité de discrimination d’un examen QCM n’est pas liée à la présence
d’une pénalité. Ensuite, au niveau des données recueillies, les examens comportant
une pénalisation de -0,20 pour pénaliser les mauvaises réponses possèdent une capacité
de discrimination plus élevée que les autres degrés de pénalité. L’analyse des
caractéristiques de ces examens a également montré que ce groupe d’examens
combine davantage de propriétés recommandées par la littérature. Enfin, en ce qui
concerne le taux de réussite, les tests statistiques ont montré qu’il tendait à augmenter
lorsque la capacité de discrimination ou de fidélité de l’examen diminuait.

La section qui suit synthétise le travail empirique mené et expose l’ensemble

des conclusions auxquelles les différentes analyses statistiques ont abouties.

32
Les résultats du test de Bonferroni sur les groupes « alpha de Cronbach » se trouvent en annexe 7.
68
Conclusions des recherches empiriques

3.4 Conclusions des recherches empiriques

En préalable au traitement des trois questions centrales, un regard global a été

porté sur les données de l’échantillon. Les données descriptives ont ainsi permis
d’observer une grande variété de pratiques de la part des enseignants en matière de
questionnaires à choix multiple. Les valeurs minimales et maximales des différentes
variables indiquent que le nombre d’items varie de 6 à 110, le nombre d’options varie
de 2 à 16 et le score attribué en cas de réponse incorrecte varie de -1,00 à 0,00. Parmi
les relations les plus fortes entre variables, deux relations font l’objet d’une analyse
plus approfondie. Premièrement, la relation positive forte entre l’indice de fidélité et
l’indice de discrimination signifie qu’un indice de fidélité élevé est associé à un indice
de discrimination élevé. Ensuite, entre le taux de réussite et l’indice de discrimination
d’un examen, la relation est d’intensité moyenne et négative. Cela signifie que lorsque
l’indice de discrimination diminue, le taux de réussite tend à augmenter.

La première question que les tests statistiques examinent concerne les degrés
de pénalité (-0,50, -0,20, etc.). Existe-t-il un lien entre le degré de pénalisation et
l’indice de discrimination? Les examens sont répartis en sept groupes de degrés de
pénalité. Les tests statistiques indiquent une différence significative entre les
moyennes de ces groupes quant à leur capacité de discrimination. Ainsi, 4,8% de la
variance de l’indice de discrimination sont expliqués par le degré de pénalité. Au
niveau de cette capacité de discrimination, les groupes de pénalité -0,20 et -0,25 se
démarquent des autres groupes avec un indice plus élevé. Et c’est le groupe de pénalité
de -0,20 qui possède la moyenne la plus élevée en termes de discrimination. Au niveau
de l’indice de facilité, le groupe de pénalité de -0,33 correspond à des examens QCM
plus faciles comparativement aux autres groupes de pénalité.

Les examens comportant une pénalité de -0,20 ont ensuite été analysés pour
tenter de comprendre les raisons pour lesquelles ces examens QCM possèdent une
capacité de discrimination plus élevée. Les observations montrent que ce groupe
d’examens QCM rejoint les recommandations de la littérature sur plusieurs aspects:
un indice de discrimination de minimum 0,20, un indice de fidélité de minimum 0,70
et une taille de test élevée. En effet, ces examens ont un indice de discrimination moyen
de 0,27 avec un faible écart-type, un indice de fidélité moyen de 0,70 et une taille de
test moyenne de 178, ce qui est nettement plus élevé que pour les autres groupes de

69
Conclusions des recherches empiriques

pénalité. Une pénalisation des mauvaises réponses plus forte que -0,20 n’est donc
pas associée à une meilleure discrimination.

En ce qui concerne le « groupe de degré de pénalité de 0,00 » - les examens qui

ne pénalisent pas les mauvaises réponses - le test de Bonferroni montre que ce groupe
ne se différencie significativement d’aucun autre groupe d’examens qui pénalise les
réponses erronées. Ce résultat incite à poser la question suivante: la présence d’une
pénalisation des mauvaises réponses est-elle associée à l’indice de discrimination?
Pour répondre à cette question deux groupes d’examens sont comparés: les examens
« avec pénalité » et les examens « sans pénalité ». Les tests statistiques de
comparaison des moyennes entre ces deux groupes indiquent que les examens avec
pénalité ont un indice de facilité moyen plus élevé et un indice de fidélité légèrement
inférieur aux examens sans pénalité. Les tests statistiques aboutissent à la conclusion
que les examens avec pénalité ne discriminent pas davantage que les examens sans
pénalité.

La seconde question s’intéresse à l’espérance de gain qui correspond à une

estimation du score que produirait une réponse au hasard en prenant en compte le
nombre d’options et la valeur du score attribuée pour chaque option. Existe-t-il un lien
entre l’espérance de gain par item et l’indice de discrimination? Trois groupes
d’examens, selon l’espérance de gain, sont comparés. Les tests statistiques montrent
une différence significative entre les moyennes de ces groupes sur l’échelle de l’indice
de discrimination. Ainsi, 5,2% de la variance de l’indice de discrimination sont
expliqués par l’espérance de gain. Le groupe « espérance de gain entre 0,04 et 0,11 »
se distingue significativement des deux autres groupes avec un indice de
discrimination moyen supérieur de 0,04 à celui du groupe « espérance de gain <0,04 »
et supérieur de 0,05 à celui du groupe « espérance de gain >0,11 ». Une espérance de
gain par item plus faible que 0,04 n’est donc pas associée à une meilleure
discrimination.

La troisième question étudie quant à elle le taux de réussite et la qualité d’un

examen QCM. La question posée est la suivante: que montre l’analyse des examens
qui possèdent des indices élevés en termes de fidélité et de discrimination? Avant de
passer aux tests statistiques, deux groupes d’examens avec pénalité sont examinés: les

70
Conclusions des recherches empiriques

examens de « faible qualité »33 et les examens de « haute qualité »34. Les examens qui
composent le premier groupe ont un indice de fidélité inférieur à 0,70 et un indice de
discrimination inférieur à 0,20. Les autres examens font partie du groupe « haute
qualité ». D’une part, les données descriptives des examens avec pénalité « haute
qualité » montrent qu’ils ont en moyenne 43,90 items, 4,73 options par item et une
taille de test de 186,69. D’autre part, les données descriptives des examens avec
pénalité « faible qualité » indiquent qu’ils sont légèrement plus faciles et ont un
taux de réussite de 5% plus élevé.

Selon une démarche similaire à ce qui a été réalisé pour les examens avec
pénalité, les examens sans pénalité sont répartis en deux groupes pour observer leurs
caractéristiques respectives: les examens « faible qualité » et les examens « haute
qualité ». Pour les examens sans pénalité, le taux de réussite moyen des examens
« haute qualité » est en moyenne de 13% plus faible que celui des examens « faible
qualité ». Il importe de noter que ces examens sans pénalité de « faible qualité » sont
moins faciles que les examens sans pénalité de « faible qualité » ou que les examens
avec pénalité (qu’ils soient de « faible qualité » ou de « haute qualité »).

L’analyse suivante s’intéresse au taux de réussite. Les examens sont répartis en

sept groupes selon leur capacité de discrimination. Les tests statistiques montrent que
le groupe d’examens qui a un indice de discrimination faible qui se situe entre 0,10 et
0,14 a un taux de réussite de 12% à 18% plus élevé que les groupes dont l’indice de
discrimination est supérieur à 0,20. Ce qui signifie que pour les examens dont la
capacité de discrimination est très faible (<0,20), le taux de réussite est plus élevé
que pour les examens où l’indice de discrimination est élevé. Ce taux de réussite
tend à diminuer lorsque la capacité de discrimination des examens augmente.

Les tests ayant montré une relation très forte entre l’indice de discrimination et
l’indice de fidélité, les résultats au sujet de l’indice de discrimination amènent à se
demander si le taux de réussite augmente également lorsque l’indice de fidélité de
l’examen tend à diminuer. Pour répondre à cette question, les examens sont répartis en
cinq groupes selon leur niveau de fidélité. Les tests indiquent qu’un indice de fidélité

33
Les examens de « faible qualité » ont un indice de discrimination inférieur à 0,20 et un indice de
fidélité inférieur à 0,70.
34
Les examens de « haute qualité » ont un indice de discrimination de minimum 0,20 et un indice de
fidélité de minimum 0,70.
71
Conclusions des recherches empiriques

faible est effectivement associé à un taux de réussite plus élevé comparativement

aux examens qui possèdent un indice de fidélité élevé. Un examen dont l’indice de
fidélité est inférieur à 0,40 a en moyenne 12% de réussite en plus qu'un examen dont
la fidélité est d’au moins 0,60.

Les analyses menées pour répondre aux trois questions principales de ce

mémoire ont permis de faire un certain nombre de constats quant au degré de pénalité
et à la capacité de discrimination d’un test. Dans la section qui suit, la discussion prend
du recul par rapport à la méthodologie adoptée et nuance les résultats obtenus.

72
Discussion
Dans cette section, nous cherchons à prendre de la distance et à interroger
divers aspects du travail. Tout d’abord, nous questionnons les choix méthodologiques
qui ont été posés au cours de ce mémoire et les principales limites de la recherche.
Ensuite, nous parcourons les résultats pour souligner certaines observations et les
nouvelles questions et pistes de recherche sur lesquels elles débouchent.

Précisons encore une fois que la formulation des items est ici une variable
inconnue. Cet aspect ne constitue pas l’objet de l’étude. Dans le cadre de ce mémoire,
ce sont les propriétés métriques des examens et des items qui nous intéressent ; le but
étant de mieux comprendre la façon dont ils fonctionnent selon les diverses situations
d’examen.

Au niveau méthodologique, signalons d’emblée une première limite. Elle tient

au logiciel Contest de conception et de correction automatique de questionnaires à
choix multiple qui a servi à récolter les données. Il ne permet pas de réaliser tous les
types de QCM. Il n’est, par exemple, pas conçu pour traiter les questionnaires à choix
multiple avec degrés de certitude. Pour cette raison, les questions qui peuvent être
traitées dans ce travail sont limitées par les données qui ont pu être recueillies.

Une autre limite se situe au niveau de l’échantillon. Les analyses montrent

qu’une faible pénalité de type -0,20 est associée à une capacité de discrimination
élevée. Il aurait été intéressant de comparer ces résultats avec ceux des examens
comportant une pénalité faible de -0,10. Cela n’a pas été possible car l’échantillon des
examens qui possèdent une pénalité entre -0,17 et -0,08 compte moins de 30 examens.

Enfin, en ce qui concerne le design de recherche, une recherche expérimentale

aurait été intéressante pour inférer des conclusions à partir des résultats. Cela aurait,
par exemple, permis de réaliser des analyses comparatives pour un même examen
proposé à un même profil d’étudiants en modifiant uniquement la variable degré de
pénalité. De toute évidence, cela aurait été difficilement réalisable d’un point de vue
déontologique puisqu’il aurait fallu respecter l’enjeu certificatif de l’évaluation. On
imagine malaisément mettre des étudiants en situation réelle d’examen selon deux
conditions différentes au niveau des barèmes de pénalisation des mauvaises réponses.

73
 En ce qui concerne les investigations statistiques, une première considération
issue des résultats concerne la préparation à l’examen. Une grande diversité de
pratiques de la part des enseignants en matière d’examen QCM a pu être observée. Les
étudiants se trouvent face à des examens qui se présentent sous des formes parfois très
différentes. Rappelons que l’objectif de l’évaluation certificative est de discriminer à
bon escient les étudiants qui ont atteint ou non les objectifs pédagogiques visés. Il en
résulte que les étudiants sont certainement dans de meilleures conditions pour
démontrer leurs connaissances lorsque l’enseignant leur a permis de se préparer au
type particulier de questionnaire à choix multiple qu’il leur proposera le jour de
l’examen. Placer les étudiants dans les meilleures conditions pour passer leur examen
nous semble essentiel pour ne pas introduire de variable qui influencerait les résultats
et augmenterait l’erreur de mesure.

La recherche empirique a été guidée par trois questions principales nées du

constat suivant: 68,6% des examens font appel à un barème de pénalisation des
mauvaises réponses. Pour ces examens le taux de réussite est en moyenne de 10% plus
faible que pour les examens sans pénalité. Comment pouvons-nous interpréter cette
différence de réussite? Cela est-il lié à une meilleure discrimination des étudiants? Ces
questions ont été formulées en trois hypothèses qui analysent la capacité de
discrimination, la pénalisation des mauvaises réponses et le taux de réussite des
étudiants.

La première question cherche à savoir si un lien existe entre le degré de pénalité

et l’indice de discrimination. Dans quelle mesure le recours à la pénalisation favorise-
t-il la capacité de discrimination d’un examen? Les analyses ont montré que les
examens qui font appel à une faible pénalité de l’ordre de -0,20 discriminent davantage
que les examens qui adoptent une pénalité plus forte ou plus faible. Ce constat invite
à s’interroger sur les raisons pour lesquelles cette catégorie d’examens est plus
discriminante. Cela pourrait-il résulter des caractéristiques (le nombre d’items, le
nombre d’options, etc.) ou cela est-il dû au recours à une faible pénalité? Les résultats
statistiques suggèrent que chacun de ces deux arguments est à prendre en
considération. Tout d’abord, l’analyse des caractéristiques montre que ce groupe
d’examens rejoint les recommandations de la littérature sur plusieurs aspects, à savoir:
un indice de discrimination de minimum 0,20, un indice de fidélité de minimum 0,70
et une taille de test élevée. Ensuite, nous pouvons supposer qu’une faible pénalité est
liée à une meilleure discrimination lorsque l’on compare ces résultats à ceux obtenus

74
pour l’espérance de gain. Cette variable était au centre de la seconde question: existe-
t-il un lien entre l’espérance de gain par item et l’indice de discrimination?

Les enseignants recourent fréquemment à la pénalisation pour contrer le facteur

chance (augmenter un score en répondant au hasard). Le calcul de l’espérance de gain
tient compte du nombre d’options et donc du facteur chance. Les résultats indiquent
qu’une espérance de gain modérée qui se situe entre 0,04 et 0,11 est liée à une capacité
de discrimination plus importante que les autres groupes d’examens. Cela renforce
l’idée d’adopter une faible pénalisation. A nouveau, il est intéressant de porter un
regard sur les pratiques les plus courantes des enseignants lorsqu’ils font appel à une
pénalité. Lorsque l’on observe les examens avec pénalité, 41% des examens adoptent
une pénalité de -0,50 et 14% font appel à une pénalité de -1,00. Dans la pratique, le
recours à une pénalité forte est donc fréquent (de l’ordre de 55% des examens) parmi
les examens qui pénalisent les mauvaises réponses.

La première question étudiée a fait l’objet d’une sous-question visant à définir

si la présence d’une pénalité est associée à un indice de discrimination plus élevé. Les
analyses ont indiqué que les examens avec pénalité ne discriminent pas davantage que
les examens sans pénalité. Le recours à la pénalisation ne semble donc pas apporter
d’information utile à l’évaluation et pourrait, par contre, décourager les étudiants.
Comme le précise Morissette (2005), même si les étudiants conservent leur position
relative au sein du groupe, le recours à la pénalisation a pour effet de diminuer
globalement les notes.

La troisième question s’est intéressée à la qualité d’un examen: que montre

l’analyse des examens qui possèdent des indices élevés en termes de fidélité et de
discrimination? Les tests statistiques révèlent que les examens dont la capacité de
discrimination est faible favorisent la réussite des étudiants. Ainsi, les examens qui ont
un indice de discrimination qui se situe entre 0,10 et 0,14 ont un taux de réussite de
12% à 18% plus élevé que les examens dont l’indice de discrimination est supérieur à
0,20. Ce taux de réussite tend à diminuer lorsque la capacité de discrimination des
examens augmente. Nous supposons dès lors qu’un indice de discrimination faible est
lié à un taux de réussite plus élevé quel que soit le niveau réel de compétence des
étudiants. Cela induit l’hypothèse que certains étudiants réussissent pour de mauvaises
raisons lorsque l’examen est faiblement discriminant. Une piste, qui ne sera cependant
pas approfondie dans le cadre de ce mémoire, consisterait en l’analyse de deux
éléments. D’une part, la qualité de conception des questions des examens faiblement
75
discriminants et d’autre part de définir si la capacité de test wiseness35 des étudiants
intervient dans l’augmentation du taux de réussite.

Lorsque les examens sont peu fidèles, nous constatons que le taux de réussite
tend à augmenter. En effet, un examen dont l’indice de fidélité est inférieur à 0,40 a
un taux de réussite moyen supérieur de 12% à un examen dont la fidélité est d’au moins
0,60. Un indice de fidélité faible qui est associé à un taux de réussite des étudiants plus
élevé suggère que si ces étudiants venaient à repasser le même examen dans les mêmes
conditions, ils auraient des résultats sensiblement différents. La mesure réalisée par
l’examen QCM est dans ce cas peu précise et nous pouvons émettre l’hypothèse que
certains étudiants ont réussi en partie aléatoirement.

Les analyses montrent ainsi que les indices de fidélité et de discrimination sont
fortement corrélés et qu’ils entretiennent le même type de lien avec le taux de réussite:
une faible qualité est liée à un taux de réussite plus élevé.

Concernant la fidélité, la littérature mentionne qu’elle tend à augmenter lorsque

le nombre d’items augmente (Laveault & Grégoire, 1997). Bien entendu, améliorer la
fidélité d’un examen ne passe pas uniquement par l’augmentation du nombre d’items.
En effet, les autres indicateurs apportent également des informations intéressantes à
prendre en considération pour repérer les items problématiques ou au contraire ceux à
conserver. L’examen comporte-t-il des items qui discriminent peu voire négativement
les étudiants? L’examen comporte-t-il des leurres non crédibles et dès lors jamais
choisis? Les étudiants étaient-ils correctement préparés à l’évaluation et étaient-ils
dans les meilleures conditions le jour de l’examen? La taille du test (Ebel, 1969) nous
semble aussi un paramètre important pour la qualité d’une évaluation. Au niveau des
items, le fait que deux ou trois items sont de mauvaise qualité a plus d’impact sur un
questionnaire de 20 items que sur un questionnaire qui en comporte 60. Au niveau des
options, le facteur chance influence davantage le score lorsqu’il n’y a que deux ou trois
options de réponse, d’autant plus si le nombre d’items n’est pas suffisamment élevé.

En comparaison aux examens sans pénalité, les examens avec pénalité se

révèlent un peu moins fidèles, ont un taux d’items non répondus nettement plus élevé
et un taux de réussite plus faible. Comment expliquer ce phénomène? Nous pouvons
faire l’hypothèse que la pénalité introduit l’une ou l’autre variable non pertinente dans

35
La « capacité de divination » ou « test wiseness » en anglais, consiste en l’utilisation des
caractéristiques et des éléments d’un test pour obtenir un score plus élevé que le niveau réel de
connaissance (Laveault & Grégoire, 1997)
76
l’évaluation des connaissances. Parmi celles-ci nous pourrions évoquer plusieurs
variables personnelles. Ces variables non cognitives interviendraient dans l’évaluation
et augmenteraient l’erreur de mesure. Il pourrait par exemple s’agir d’émotions de type
anxiété, du sentiment de compétence, de la tendance à prendre ou non des risques en
cas d’incertitude sur la réponse correcte ou encore de la capacité d’un individu à
calculer s’il a stratégiquement intérêt à prendre le risque de répondre selon l’espérance
de gain que représente l’item. Ce type de variables non pertinentes aurait pour effet de
diminuer la précision de la mesure c’est-à-dire la fidélité du test. La validité du test
s’en trouve également diminuée puisqu’elle porte sur sa capacité à mesurer les
connaissances et non sur une mesure de ce type de variables personnelles aux individus
évalués. Cela rejoint l’idée de certains auteurs qui soulignent que la pénalisation
introduit d’autres facteurs que la connaissance tels que la personnalité par exemple
(Bernard & Fontaine, 1982). Dès lors, même en ayant recours aux meilleurs items,
utiliser des critères qui « intimident » l’étudiant peut produire un effet non désiré. Dans
ce cas, on ne met probablement pas l’étudiant dans les meilleures conditions le jour de
l’examen de sorte qu’il puisse montrer son niveau réel de maîtrise de la matière.

La banque des données récoltées comporte des variables qui n’ont pas été
étudiées dans le cadre de ce travail. De nombreuses autres pistes et hypothèses
pourraient faire l’objet d’analyses ultérieures. Ces analyses pourraient être
longitudinales et interroger l’évolution de la qualité des questionnaires à choix
multiple à l’UCL. Elles pourraient également questionner des cas particuliers qui
pourraient faire l’objet d’une analyse plus approfondie. Il serait par exemple
intéressant de considérer un examen QCM qui comporte 10 items vrai/faux suivis de
10 items à 4 options avec un barème de pondération identique pour les 20 items (un
score de +1,00 pour une bonne réponse et de -0,50 pour une mauvaise réponse).
Quelles différences au niveau des indicateurs statistiques peut-on observer entre ces
deux groupes d’items? De nombreuses autres pistes sont ouvertes: une étude des
questionnaires à choix multiple réalisés via les MOOCs (Massive Open Online
Course), une étude de l’impact de l’accompagnement des enseignants au niveau de
l’analyse d’items en session d’examen, une étude des effets de l’homogénéité (mêmes
caractéristiques pour tous les items) ou non d’un examen QCM, etc. Un examen non
homogène demande à l’étudiant de changer souvent sa stratégie de réponse
(Morissette, 2005) et est peut-être davantage source d’erreurs non liées à la
connaissance. Bernard et Fontaine (1982) évoquent par exemple des erreurs de
transcription des coches sur la grille de réponses.
77
 Par ailleurs, De Landsheere (1971) considère qu’à l’université, un examen ne
peut se limiter à un test QCM. La question du poids de l’évaluation QCM par rapport
à l’évaluation totale pourrait également faire l’objet d’une étude. Il serait peut-être
aussi intéressant d’examiner si la pénalisation des mauvaises réponses entraîne une
absence de réponse aux items qui se situent plutôt en fin d’examen, l’étudiant estimant
avoir atteint le seuil de réussite.

En somme, l’ensemble de ces résultats suggère qu’un questionnaire à choix

multiple a une probabilité plus importante de fournir un instrument de mesure de
qualité lorsqu’il contient un minimum de quatre options par item pour contrer l’effet
du hasard. Les examens qui recourent à un barème de pénalité ne discriminent pas
davantage les étudiants que ceux qui n’y font pas appel. Le recours fréquent à une
pénalisation ne semble donc pas toujours justifié. De plus, lorsqu’une pénalité est
adoptée celle-ci est souvent élevée et accroît le nombre d’items non répondus.
Plusieurs auteurs soulignent que le recours à la pénalité incite à la prudence, voire à la
« paralysie » (Bernard & Fontaine, 1982). Des variables personnelles non pertinentes
pour la mesure des connaissances interviennent. La tendance à prendre ou non des
risques en cas d’incertitude n’est en effet pas liée au niveau de maîtrise de la matière.
Il en résulte que le barème de pénalisation pourrait être abandonné lorsque la
« taille du test » est suffisante. Lorsque l’enseignant n’a pas la possibilité
d’augmenter le nombre d’items ou d’options, une faible pénalité pourrait être
introduite. Elle donne davantage la possibilité aux étudiants de démontrer leur
niveau réel de connaissance que l’usage de fortes pénalités.

À un niveau macro, il importe qu’un établissement d’enseignement clarifie sa

politique institutionnelle en matière d’évaluation pédagogique sans quoi celle-ci ne
peut jouer son rôle en éducation (Morissette, 2005). Une politique qui définit des
balises et des critères pour l’évaluation pédagogique favorise la cohérence au sein de
l’institution et facilite les choix décisionnels à tous les niveaux du système (Morissette,
2005). Elle montre aussi qu’elle prend en compte les divers acteurs et s’adresse aussi
bien aux enseignants, aux étudiants qu’au public extérieur (Morissette, 2005).

78
Conclusion
Ce mémoire s’est intéressé à l’évaluation par examen QCM. Il visait à
comprendre les effets de la pénalisation des mauvaises réponses en lien avec la
capacité de discrimination et le taux de réussite à un examen. En 2011, l’Université
catholique de Louvain a fait l’acquisition d’un logiciel de conception et correction
automatisées d’examens QCM. Ce logiciel a permis de constituer une banque de
données de plus de 700 cours qui ont fait l’objet d’une évaluation certificative.

Dans l’échantillon étudié, composé de 680 examens QCM, 68,6% des

examens font appel à un barème de pénalisation des mauvaises réponses. Pour ces
examens, le taux de réussite est en moyenne de 10% plus faible et le taux d’items non
répondus est en moyenne plus élevé de 13% par examen par rapport aux examens qui
ne pénalisent pas les réponses fausses. L’étude réalisée s’est attachée à apporter des
éléments de réponse à la question suivante: la pénalisation des mauvaises réponses
est-elle associée à un indice de discrimination plus élevé ?

Les analyses empiriques se sont centrées sur quatre variables principales qui
ont fait l’objet de trois questions centrales: le barème de pénalisation, l’espérance de
gain par item, l’indice de discrimination et le taux de réussite. L’objectif était d’établir
s’il existait des liens significatifs entre ces éléments.

Les analyses menées ont permis de faire un certain nombre de constats quant à
la capacité de discrimination d’un test. Les conclusions principales sont les suivantes.
Tout d’abord, la capacité de discrimination d’un examen QCM n’est pas liée à la
présence d’une pénalité. Au niveau des données recueillies, les examens comportant
une faible pénalisation de -0,20 point pour mauvaise réponse possèdent une capacité
de discrimination plus élevée que les autres degrés de pénalité (-1,00, -0,50, etc.).
L’analyse des caractéristiques de ces examens a également montré que ce groupe
d’examens combine davantage de propriétés recommandées par la littérature. L’étude
de l’espérance de gain a montré que le groupe d’examens où l’espérance de gain se
situe entre 0,04 et 0,11 discrimine davantage que les autres groupes. Enfin, en ce qui
concerne le taux de réussite, les tests statistiques ont montré qu’il tendait à augmenter
lorsque la capacité de discrimination ou de fidélité de l’examen diminuait.

79
80
Bibliographie
Abernot, Y. (1996). Les méthodes d’évaluation scolaire. Paris: Dunod.

Bernard, H., & Fontaine, F. (1982). Les questions à choix multiple: guide pratique
pour la rédaction, l’analyse et la correction. Montréal: service pédagogique de
l’université de Montréal.

Bernier, J.-J., & Pietrulewicz, B. (1997). La psychométrie. Traité de mesure appliquée.

Paris: Gaëtan Morin.

Bersipont, A.-C. (2014, 8 janvier). Vers des examens « QCM » plus justes. L’UCL
évalue la qualité des questionnaires à choix multiples. Le Soir. pp.22-23.

Bersipont, A.-C. (2015, 15 janvier). Vers des examens « QCM » plus justes. L’UCL
évalue la qualité des questionnaires à choix multiples. Le Soir. p.11.

Berthiaume, D., & Rege Colet, N. (2013). La pédagogie de l’enseignement supérieur:

repères théoriques et applications pratiques. Berne: Editions Peter Lang.

Bloom, B. (1956). Taxonomy of educational objectives. Handbook 1: Cognitive

domain. New York: David McKay Company Inc.

Boulé, S., & Laveault, D. (2011). Utilisation du degré de certitude et du degré de

réalisme dans un contexte d’évaluation diagnostique. L’évaluation. In G. Raîche,K.
Paquette-Côté & D. Magis (Eds), Des mécanismes pour assurer la validité de
l'interprétation de résultats en éducation (pp. 49-68) Québec: Presses de l’Université
du Québec.

Bouvy, T., & Warnier, L. (2011). Document de synthèse sur les QCM. Document non
publié, Université catholique de Louvain, Louvain-la-Neuve.

Braibant, J.-M. (2015). QCM: problématiques et amélioration. Document non publié,

Université catholique de Louvain.

Braibant, J.-M., Lecroart, I., & Billat, E. (2014, janvier). Comment améliorer la qualité
des examens QCM à l’université sur base d’une analyse des items? L’exemple de
l’UCL. Communication présentée au 26ème colloque de l’ADMEE Europe,
Marrakech.

81
Choppin, B.H. (1975). Guessing the answer on objective tests, British Journal of
Educational Psychology, 45, 206-213.

Consilium Benelux. (2011). Contest Statistics. Version 0.12. December 2012.

Cronbach, L., & Meehl, P. (1955). Construct validity in psychological tests.

Psychological Bulletin, 52, 281-302.

De Finetti, B. (1965). Methods for discriminating levels of partial knowledge

concerning a test item, British Journal of Mathematical and Statistical Psychology,
18, 87-123.

De Ketele, J.-M. (1986). L’évaluation: une approche descriptive ou prescriptive?

Bruxelles: De Boeck.

De Keteke, J.-M. (1993). L’évaluation conjuguée en paradigmes. Revue française de

pédagogie, 103(1), 59-80.

De Ketele, J.-M. (1994). Les différents types de question d’évaluation et la manière de

les formuler. Université catholique de Louvain.

De Landsheere, G. (1971). Evaluation continue et examens. Précis de docimologie.

Bruxelles: Labor.

Detroz, P. (2012). La qualité en évaluation. Document non publié, Université de Liège.

Dory, V. (2012). Principes d’une « bonne » évaluation des étudiants et praticiens en

Sciences de la Santé. Louvain Med, 131(2), 75-79.

Downing, S.M. (2004). Reliability: on the reproductibility of assesment data. Medical

Education, 38, 1006-1012 En ligne
[Link] consulté le 22
mai 2014.

Ebel, R. L. (1969). Expected reliability as a function of choices per item.

Educational and Psychological Measurement, 29, 565–570.

82
Farhady, H., & Shakery, S. (2000). Number of options and economy of multiple-choice
tests. Iran University of Science ans Technology & Teheran University. En ligne
[Link]
[Link] consulté le 22 mai 2014.

Gerard, J.-M. (2002). L’indispensable subjectivité en évaluation. Antipodes, 156, 26-

34.

Gilles, J.-L. (2001). Construction et gestion qualité d’outils d’évaluation. En ligne

[Link]
es%20-%20textes/CGQOE_Introduction.pdf consulté le 22 mai 2014.

Grégoire, J. (1990). Notions de base de la psychométrie. Document non publié,

Université catholique de Louvain, Louvain-la-Neuve.

Grier, J.B. (1975). The number of alternatives for optimum test reliability. Journal of
educational measurement. 12(2),109-113. DOI 10.1111/j.1745-3984.1975.tb01013.x.

Jacobs, L.C. (2004). How to Write Better Tests: A Handbook for Improving Test
Construction Skills. Bloomington: Indiana University. En ligne
[Link] consulté le 22 mai 2014.

Landrum E.R., Cashin J.R., & Theis, K.S. (1993). More evidence in favor of three-
option multiple-choice tests. Educational and psychological measurement, (53),771-
778. DOI 10.1177/0013164493053003021.

Laveault, D., & Grégoire, J. (1997). Introduction aux théories des tests en sciences
humaines. Bruxelles: De Boeck.

Leclercq, D. (1986). La conception des questions à choix multiple. Bruxelles: Labor.

Leclercq, D. (2006) L’évolution des QCM. In G. Figari et L. Mottier-Lopez.

Recherches sur l’évaluation en Education. Paris: L’Harmattan En ligne
[Link] consulté le 22 mai
2014.

Leclerq, D., & Bruno, J. (1992). Item banking: interactive testing and self-assessment.
Allemagne: Springer Verlag.

83
Leclercq, D., & Gilles, J.-L. (1995). L’évaluation par QCM. Le kaléidoscope des
techniques de questionnement. Colloque de l’AIPU. En ligne
[Link] consulté le 22
mai 2014.

Leclercq, D., & Poumay, M. (2003). La connaissance partielle: pourquoi et comment

la mesurer? Paris: IPCEM.

Le Petit Larousse Illustré. (1993). Paris: Larousse.

Lord, F.M. (1977). Optimal number of choices per item. A comparison of four
approches. Journal of educational measurement. 14(1),33-38. DOI 10.1111/j.1745-
3984.1977.tb00026.x.

McCall, W.A. (1920). A new kind of school examination. Journal of Educational

Research, 1, 33-46.

McCowan, R., & McCowan, S. (1999). Item analysis for Criterion-referended tests.
Center for Development of Human Services. New York: Buffalo State College.

Morissette, D. (2005). Les examens de rendement scolaire. Québec: Les Presses de

l’Université Laval.

Nunnally, J., & Bernstein, L. (1994). Psychometric theory. New York: McGraw-Hill
Higher.

Piéron, H. (1963). Examens et docimologie. Paris: Presses Universitaires de France.

Rodriguez, M.C. (2005). Three options are optimal for multiple-choice items: a meta-
analysis ok 80 years of research. University of Minessota. En ligne
[Link]
consulté le 22 mai 2014.

Rogers, T.W., & Harley, D. (1999). An empirical comparison of three-and four-choice

items ans tests: susceptibility to testwiseness and internal consistency reliability.
Educational and psychological measurement (59), 234-247 DOI
10.1177/00131649921969820.

84
Rogers, T., & Yang, P. (1996). Test-Wiseness: Its nature and application. European
Journal of Psychological Assessment, 12(3), 247-259.

Therer, J. (1999). Evaluer pour évoluer. Eléments de docimologie. Université de

Liège. En ligne [Link]
consulté le 22 mai 2014.

Tversky, A. (1964). On the Optimal Number of Alternatives at a Choice Point, Journal

of Mathematical Psychology, 1(2), 386-391.

West, P.V. (1923). A critical study of the right minus wrong method. Journal of
Educational Research, 8, 1-9.

85
86
Tables des figures, graphiques et tableaux
Figures Page

Figure 1: Phases de la construction d’un examen (De Lansheere, 1971) 12

Figure 2: Document de synthèse sur les QCM (Bouvy & Warnier, 2011) 16

17
Figure 3: Exemple d’item de type vrai/faux qui suscite l’ambigüité (Bouvy
& Warnier, 2011)
Figure 4: Calcul de l’espérance de gain pour un item 34

Figure 5: Exemples de calcul de l’espérance de gain pour un item 35

Figure 6: Exemples de calcul du ratio bonne réponse/mauvaise réponse 40

pour un item
Figure 7: Corrélations de Pearson significatives pour les examens avec 44
pénalité
Figure 8: Synthèse des données descriptives pour la pénalité -0,20 50

Figure 9: Synthèse des comparaisons entre groupes de degrés de pénalité 52

Figure 10: Synthèse des comparaisons entre groupes (avec ou sans 56

pénalité)

87
Graphiques Page

Graphique 1: Indice de discrimination (Rir) moyen en fonction de l’année 43

46
Graphique 2: Indice de fidélité moyen en fonction du groupe « taille du
test »
Graphique 3: Indice de discrimination moyen en fonction des groupes de 49
pénalité
Graphique 4: Indice de facilité moyen en fonction des groupes de pénalité 49

Graphique 5: Taux moyen d’items non répondus en fonction des groupes 50

de pénalité
Graphique 6: Taux de réussite moyen selon le niveau de discrimination 65

Graphique 7: Taux de réussite moyen en fonction du groupe Alpha de 67

Cronbach

88
Tableaux Page

42
Tableau 1: Pratiques des enseignants en matière d’examens QCM

48
Tableau 2a: Données descriptives des 7 groupes de degrés de pénalité

Tableau 2b: Données descriptives des 7 groupes de degrés de pénalité 48

(suite)
Tableau 3: Résultats ANOVA I sur les groupes de degrés de pénalité 50

Tableau 4: Résultats ANOVA I sur les groupes de degrés de pénalité 51

Tableau 5a: Test de Kruskal Wallis selon les groupes de pénalité 52

Tableau 5b: Rangs moyens selon les groupes de pénalité 52

Tableau 6: Données descriptives des groupes «avec pénalité» et «sans 55

pénalité»
Tableau 7: Comparaison des groupes « avec pénalité » et « sans pénalité » 55

Tableau 8: Données descriptives des groupes d’espérance de gain 59

Tableau 9: Résultats ANOVA I pour les groupes d’espérance de gain sur 59

le Rir
Tableau 10: Test de Bonferroni pour les groupes d’espérance de gain sur 59
le Rir
Tableau 11: Exemples de barèmes et de nombre d'options qui 60
correspondent à une espérance de gain entre 0,04 et 0,11
62
Tableau 12a: Données descriptives des examens avec pénalité du groupe
« faible qualité »
62
Tableau 12b: Données descriptives des examens avec pénalité du groupe
« haute qualité »

89
 63
Tableau 13a: Données descriptives des examens sans pénalité du groupe
« faible qualité »
63
Tableau 13b: Données descriptives des examens sans pénalité du groupe
« haute qualité »
64
Tableau 14: Données descriptives des 7 groupes de niveaux de
discrimination
64
Tableau 15: Résultats ANOVA I sur les groupes de niveaux de
discrimination
67
Tableau 16: Données descriptives des 5 groupes « Alpha de Cronbach »

67
Tableau 17: Résultats ANOVA I sur les groupes « Alpha de Cronbach »

90
Annexes

91
92
Annexe 1: Tableau du nombre d’options et d’items pour une fidélité théorique
donnée (Ebel, 1969)

Fidélité du test

0,5 0,6 0,7 0,8 0,9

2 54 67 90 135 270 Nombre
3 36 45 60 90 180
d’items
Nombre d’options

4 30 37 50 75 150
nécessaire
5 27 34 45 67 135
pour
6 25 31 42 63 126
7 24 30 40 60 120 obtenir
8 23 29 39 58 115 une fidélité
9 22 28 37 56 112 donnée

93
94
Annexe 2: Formules de calcul des indicateurs statistiques

95
96
Expected gain by item

Expected gain = ((Good_ScoreValue) + ((Nb_Options -1) * False_ScoreValue) / Nb_Options

97
98
Annexe 3: Données descriptives détaillées de tous les degrés de pénalité (question 1)

False_Value Rir Cronbach CorrectedP AverageRate_NoAnswerByItem SizeOfTest Percent_ParticipantsPassed

-1,00 N 55 55 55 48 42 55
Mean ,1978 ,5964 ,5502 19,8061 108,50 58,5678
Std. Deviation ,07383 ,19830 ,13950 5,55692 55,694 21,47269
Minimum ,02 ,05 ,15 ,00 18 14,29
Maximum ,44 ,88 ,79 29,00 240 91,96
-,75 N 4 4 4 4 4 4
Mean ,2025 ,5900 ,5250 25,0486 160,00 47,2800
Std. Deviation ,00957 ,14900 ,11619 7,65442 193,735 24,74538
Minimum ,19 ,43 ,37 13,80 50 15,38
Maximum ,21 ,79 ,64 30,49 450 73,63
-,50 N 164 164 164 146 116 164
Mean ,2208 ,6516 ,5269 16,9944 127,09 64,0679
Std. Deviation ,09107 ,17058 ,15503 6,35881 80,003 23,93970
Minimum -,11 ,11 ,11 ,04 20 10,71
Maximum ,44 ,94 ,84 38,41 360 100,00
-,33 N 38 38 38 36 33 38
Mean ,2371 ,6642 ,5629 15,5955 118,09 70,4158
Std. Deviation ,07116 ,11420 ,10272 5,62865 76,082 18,25104
Minimum ,04 ,30 ,36 ,65 30 28,02
Maximum ,43 ,89 ,72 30,29 300 96,34

99
-,30 N 2 2 2 2 2
Mean ,3150 ,6850 ,4300 17,2938 45,0900
Std. Deviation ,03536 ,21920 ,16971 1,89010 33,14917
Minimum ,29 ,53 ,31 15,96 21,65
Maximum ,34 ,84 ,55 18,63 68,53
-,25 N 95 95 95 82 79 95
Mean ,2654 ,6664 ,4565 18,3229 121,23 49,7051
Std. Deviation ,08427 ,13400 ,14242 6,96669 60,199 25,08331
Minimum -,03 ,13 ,15 ,15 40 5,53
Maximum ,43 ,88 ,79 37,94 308 97,17
-,20 N 36 36 36 34 28 36
Mean ,2700 ,7092 ,4347 19,6855 178,00 44,3589
Std. Deviation ,06625 ,12313 ,10956 5,57318 75,862 21,92442
Minimum ,11 ,41 ,26 3,57 48 4,05
Maximum ,38 ,88 ,71 35,48 350 88,57
-,17 N 3 3 3 2 3 3
Mean ,2200 ,6267 ,4367 23,8994 209,33 36,0167
Std. Deviation ,01000 ,17926 ,16862 2,76478 131,230 33,41964
Minimum ,21 ,42 ,32 21,94 120 8,33
Maximum ,23 ,74 ,63 25,85 360 73,14
-,16 N 4 4 4 4 3 4
Mean ,2300 ,6475 ,5000 12,0402 289,00 50,5650
Std. Deviation ,04690 ,13817 ,20607 11,62063 165,961 33,37837
Minimum ,17 ,46 ,29 ,08 180 17,87

100
 Maximum ,28 ,79 ,76 26,44 480 96,42
-,15 N 1 1 1 1 1 1
Mean ,2700 ,5800 ,7700 7,3514 70,00 90,2700
Std. Deviation . . . . . .
Minimum ,27 ,58 ,77 7,35 70 90,27
Maximum ,27 ,58 ,77 7,35 70 90,27
-,14 N 2 2 2 2 2 2
Mean ,2100 ,4600 ,6250 10,2745 99,00 73,3050
Std. Deviation ,01414 ,02828 ,16263 4,08817 12,728 20,48488
Minimum ,20 ,44 ,51 7,38 90 58,82
Maximum ,22 ,48 ,74 13,17 108 87,79
-,13 N 1 1 1 1 1 1
Mean ,1700 ,5000 ,6300 7,5088 80,00 80,3500
Std. Deviation . . . . . .
Minimum ,17 ,50 ,63 7,51 80 80,35
Maximum ,17 ,50 ,63 7,51 80 80,35
-,10 N 4 4 4 4 3 4
Mean ,2200 ,5950 ,6150 6,1740 169,33 80,7475
Std. Deviation ,09899 ,28965 ,08021 3,98365 126,259 13,09547
Minimum ,13 ,32 ,50 ,99 48 63,57
Maximum ,32 ,86 ,67 10,56 300 94,09
-,08 N 1 1 1 1 1 1
Mean ,2800 ,7800 ,3600 20,6918 120,00 31,4500
Std. Deviation . . . . . .

101
 Minimum ,28 ,78 ,36 20,69 120 31,45
Maximum ,28 ,78 ,36 20,69 120 31,45
,00 N 209 209 209 182 95 209
Mean ,2349 ,6797 ,4641 3,6478 157,85 67,3617
Std. Deviation ,10012 ,17707 ,15742 6,32479 113,690 22,79004
Minimum -,05 ,09 -,13 ,00 20 1,23
Maximum ,65 ,98 ,87 28,48 500 100,00
Total N 619 619 619 549 411 619
Mean ,2345 ,6610 ,4941 13,0065 135,92 61,4910
Std. Deviation ,09036 ,16660 ,15235 9,26246 88,369 24,37751
Minimum -,11 ,05 -,13 ,00 18 1,23
Maximum ,65 ,98 ,87 38,41 500 100,00

102
Annexe 4: Résultats du test de Bonferroni pour l'indice de discrimination par groupe
de pénalité (question 1)

Mean Difference
(I) False_Code (J) False_Code (I-J) Std. Error Sig.
-1,00 -0,50 -,02297 ,01385 1,000
-0,33 -,03929 ,01874 ,767
*
-0,25 -,06755 ,01506 ,000
-0,20 -,07218* ,01905 ,003
-0,17 -> -0,08 -,02718 ,02524 1,000
0,00 -,03706 ,01347 ,128
-0,50 -1,00 ,02297 ,01385 1,000
-0,33 -,01631 ,01600 1,000
-0,25 -,04458* ,01146 ,002
-0,20 -,04921 ,01636 ,057
-0,17 -> -0,08 -,00421 ,02327 1,000
0,00 -,01409 ,00927 1,000
-0,33 -1,00 ,03929 ,01874 ,767
-0,50 ,01631 ,01600 1,000
-0,25 -,02826 ,01706 1,000
-0,20 -,03289 ,02067 1,000
-0,17 -> -0,08 ,01211 ,02648 1,000
0,00 ,00222 ,01567 1,000
*
-0,25 -1,00 ,06755 ,01506 ,000
*
-0,50 ,04458 ,01146 ,002
-0,33 ,02826 ,01706 1,000
-0,20 -,00463 ,01739 1,000
-0,17 -> -0,08 ,04037 ,02401 1,000
0,00 ,03049 ,01100 ,120
-0,20 -1,00 ,07218* ,01905 ,003
-0,50 ,04921 ,01636 ,057
-0,33 ,03289 ,02067 1,000
-0,25 ,00463 ,01739 1,000
-0,17 -> -0,08 ,04500 ,02670 1,000
0,00 ,03512 ,01603 ,607
-0,17 -> -0,08 -1,00 ,02718 ,02524 1,000
-0,50 ,00421 ,02327 1,000
-0,33 -,01211 ,02648 1,000
-0,25 -,04037 ,02401 1,000
-0,20 -,04500 ,02670 1,000
0,00 -,00988 ,02305 1,000

103
0,00 -1,00 ,03706 ,01347 ,128
-0,50 ,01409 ,00927 1,000
-0,33 -,00222 ,01567 1,000
-0,25 -,03049 ,01100 ,120
-0,20 -,03512 ,01603 ,607
-0,17 -> -0,08 ,00988 ,02305 1,000

104
Annexe 5: Résultats du test de Bonferroni par groupe de pénalité pour les variables
secondaires (question 1)

Mean
(I) (J) Difference Std.
Dependent Variable False_Code False_Code (I-J) Error Sig.
Corrected P -1,00 -0,50 ,02329 ,02303 1,000
-0,33 -,01271 ,03118 1,000
*
-0,25 ,09366 ,02504 ,004
-0,20 ,11546* ,03169 ,006
-0,17 ->
,00143 ,04198 1,000
- 0,08
0,00 ,08607* ,02240 ,003
-0,50 -1,00 -,02329 ,02303 1,000
-0,33 -,03600 ,02661 1,000
*
-0,25 ,07036 ,01906 ,005
-0,20 ,09217* ,02720 ,016
-0,17 ->
-,02186 ,03871 1,000
- 0,08
0,00 ,06278* ,01542 ,001
-0,33 -1,00 ,01271 ,03118 1,000
-0,50 ,03600 ,02661 1,000
*
-0,25 ,10637 ,02837 ,004
-0,20 ,12817* ,03437 ,004
-0,17 ->
,01414 ,04405 1,000
- 0,08
0,00 ,09878* ,02606 ,003
*
-0,25 -1,00 -,09366 ,02504 ,004
-0,50 -,07036* ,01906 ,005
*
-0,33 -,10637 ,02837 ,004
-0,20 ,02180 ,02893 1,000
-0,17 ->
-,09222 ,03994 ,447
- 0,08
0,00 -,00759 ,01829 1,000

105
 -0,20 -1,00 -,11546* ,03169 ,006
*
-0,50 -,09217 ,02720 ,016
-0,33 -,12817* ,03437 ,004
-0,25 -,02180 ,02893 1,000
-0,17 ->
-,11403 ,04441 ,220
- 0,08
0,00 -,02939 ,02667 1,000
-0,17 -> - -1,00 -,00143 ,04198 1,000
0,08 -0,50 ,02186 ,03871 1,000
-0,33 -,01414 ,04405 1,000
-0,25 ,09222 ,03994 ,447
-0,20 ,11403 ,04441 ,220
0,00 ,08464 ,03834 ,581
0,00 -1,00 -,08607* ,02240 ,003
*
-0,50 -,06278 ,01542 ,001
-0,33 -,09878* ,02606 ,003
-0,25 ,00759 ,01829 1,000
-0,20 ,02939 ,02667 1,000
-0,17 ->
-,08464 ,03834 ,581
- 0,08
AverageRate_NoAnswer -1,00 -0,50 2,81169 1,05715 ,169
-0,33 4,21064 1,40088 ,058
-0,25 1,48320 1,15472 1,000
-0,20 ,12065 1,42423 1,000
-0,17 ->
8,02238* 1,87948 ,000
- 0,08
0,00 16,15833* 1,03096 ,000
-0,50 -1,00 -2,81169 1,05715 ,169
-0,33 1,39895 1,18234 1,000
-0,25 -1,32849 ,87683 1,000
-0,20 -2,69104 1,20991 ,558
-0,17 ->
5,21069 1,72276 ,055
- 0,08
0,00 13,34664* ,70592 ,000
-0,33 -1,00 -4,21064 1,40088 ,058
-0,50 -1,39895 1,18234 1,000
-0,25 -2,72744 1,27033 ,677
-0,20 -4,08999 1,51947 ,154
-0,17 ->
3,81174 1,95264 1,000
- 0,08
0,00 11,94769* 1,15898 ,000
106
-0,25 -1,00 -1,48320 1,15472 1,000
-0,50 1,32849 ,87683 1,000
-0,33 2,72744 1,27033 ,677
-0,20 -1,36255 1,29603 1,000
-0,17 ->
6,53918* 1,78429 ,006
- 0,08
0,00 14,67513* ,84507 ,000
-0,20 -1,00 -,12065 1,42423 1,000
-0,50 2,69104 1,20991 ,558
-0,33 4,08999 1,51947 ,154
-0,25 1,36255 1,29603 1,000
-0,17 ->
7,90173* 1,96945 ,001
- 0,08
0,00 16,03768* 1,18709 ,000
*
-0,17 -> -1,00 -8,02238 1,87948 ,000
- 0,08 -0,50 -5,21069 1,72276 ,055
-0,33 -3,81174 1,95264 1,000
-0,25 -6,53918* 1,78429 ,006
*
-0,20 -7,90173 1,96945 ,001
0,00 8,13596* 1,70681 ,000
*
0,00 -1,00 -16,15833 1,03096 ,000
-0,50 -13,34664* ,70592 ,000
*
-0,33 -11,94769 1,15898 ,000
-0,25 -14,67513* ,84507 ,000
*
-0,20 -16,03768 1,18709 ,000
-0,17 ->
-8,13596* 1,70681 ,000
- 0,08

107
108
Annexe 6: Tableau des résultats du test post-hoc de Bonferroni sur le taux de réussite
entre les groupes de niveau de discrimination (question 3)

(I) Rir_Group (J) Rir_Group Mean Difference (I-J) Std. Error Sig.

Rir: -0,11 -> 0,09 Rir: 0,10 -> 0,14 -1,61185 5,22431 1,000

Rir: 0,15 -> 0,19 5,57957 4,76097 1,000

Rir: 0,20 -> 0,24 10,74910 4,66601 ,452

Rir: 0,25 -> 0,29 14,15626 4,64652 ,050

Rir: 0,30 -> 0,34 14,24193 4,91309 ,081

Rir: >= 0,35 16,17929* 5,23906 ,044

Rir: 0,10 -> 0,14 Rir: -0,11 -> 0,09 1,61185 5,22431 1,000

Rir: 0,15 -> 0,19 7,19142 3,80880 1,000

Rir: 0,20 -> 0,24 12,36095* 3,68941 ,018

Rir: 0,25 -> 0,29 15,76812* 3,66473 ,000

Rir: 0,30 -> 0,34 15,85378* 3,99732 ,002

Rir: >= 0,35 17,79114* 4,39179 ,001

Rir: 0,15 -> 0,19 Rir: -0,11 -> 0,09 -5,57957 4,76097 1,000

Rir: 0,10 -> 0,14 -7,19142 3,80880 1,000

Rir: 0,20 -> 0,24 5,16953 2,99754 1,000

Rir: 0,25 -> 0,29 8,57670 2,96711 ,083

Rir: 0,30 -> 0,34 8,66236 3,36927 ,217

Rir: >= 0,35 10,59972 3,82901 ,122

Rir: 0,20 -> 0,24 Rir: -0,11 -> 0,09 -10,74910 4,66601 ,452

Rir: 0,10 -> 0,14 -12,36095* 3,68941 ,018

Rir: 0,15 -> 0,19 -5,16953 2,99754 1,000

Rir: 0,25 -> 0,29 3,40717 2,81221 1,000

Rir: 0,30 -> 0,34 3,49283 3,23369 1,000

Rir: >= 0,35 5,43019 3,71027 1,000

109
Rir: 0,25 -> 0,29 Rir: -0,11 -> 0,09 -14,15626 4,64652 ,050

Rir: 0,10 -> 0,14 -15,76812* 3,66473 ,000

Rir: 0,15 -> 0,19 -8,57670 2,96711 ,083

Rir: 0,20 -> 0,24 -3,40717 2,81221 1,000

Rir: 0,30 -> 0,34 ,08566 3,20551 1,000

Rir: >= 0,35 2,02303 3,68573 1,000

Rir: 0,30 -> 0,34 Rir: -0,11 -> 0,09 -14,24193 4,91309 ,081

Rir: 0,10 -> 0,14 -15,85378* 3,99732 ,002

Rir: 0,15 -> 0,19 -8,66236 3,36927 ,217

Rir: 0,20 -> 0,24 -3,49283 3,23369 1,000

Rir: 0,25 -> 0,29 -,08566 3,20551 1,000

Rir: >= 0,35 1,93736 4,01657 1,000

Rir: >= 0,35 Rir: -0,11 -> 0,09 -16,17929* 5,23906 ,044

Rir: 0,10 -> 0,14 -17,79114* 4,39179 ,001

Rir: 0,15 -> 0,19 -10,59972 3,82901 ,122

Rir: 0,20 -> 0,24 -5,43019 3,71027 1,000

Rir: 0,25 -> 0,29 -2,02303 3,68573 1,000

Rir: 0,30 -> 0,34 -1,93736 4,01657 1,000

* =p ≤ 0,05

110
Annexe 7: Tableau des résultats du test post-hoc de Bonferroni sur le taux de
réussite entre les groupes de niveau de fidélité (question 3)

Dependent (I) (J) Mean Std.

Variable Cronbach_Group Cronbach_Group Difference (I-J) Error Sig.
Taux de Cronbach: 0,00 -> Cronbach: 0,40 ->
7,20176 4,04862 ,757
réussite 0,39 0,59
Cronbach: 0,60 ->
11,52167* 4,07163 ,048
0,69
Cronbach: 0,70 ->
7,12556 4,00795 ,759
0,79
Cronbach >= 0,80 12,34454* 4,05178 ,024
Cronbach: 0,40 -> Cronbach: 0,00 ->
-7,20176 4,04862 ,757
0,59 0,39
Cronbach: 0,60 ->
4,31991 2,85374 1,000
0,69
Cronbach: 0,70 ->
-,07620 2,76212 1,000
0,79
Cronbach >= 0,80 5,14278 2,82535 ,692
Cronbach: 0,60 -> Cronbach: 0,00 ->
-11,52167* 4,07163 ,048
0,69 0,39
Cronbach: 0,40 ->
-4,31991 2,85374 1,000
0,59
Cronbach: 0,70 ->
-4,39611 2,79575 1,000
0,79
Cronbach >= 0,80 ,82287 2,85824 1,000
Cronbach: 0,70 -> Cronbach: 0,00 ->
-7,12556 4,00795 ,759
0,79 0,39
Cronbach: 0,40 ->
,07620 2,76212 1,000
0,59
Cronbach: 0,60 ->
4,39611 2,79575 1,000
0,69
Cronbach >= 0,80 5,21898 2,76676 ,597
Cronbach >= 0,80 Cronbach: 0,00 ->
-12,34454* 4,05178 ,024
0,39
Cronbach: 0,40 ->
-5,14278 2,82535 ,692
0,59
Cronbach: 0,60 ->
-,82287 2,85824 1,000
0,69
Cronbach: 0,70 ->
-5,21898 2,76676 ,597
0,79

* =p ≤ 0,05

111
112
Annexe 8: Tableau de synthèse de la signification des variables principales

Variable Signification

Alpha de L’indice de fidélité: renseigne sur la précision de la mesure.

Cronbach
Répond aux questions suivantes:
 Obtiendrait-on des résultats sensiblement identiques si
l’examen était administré plusieurs fois dans les mêmes
conditions?
 Le 16/20 attribué par l’évaluation = la compétence réelle
de 16/20 de l’étudiant ?

Valeur entre 0 et 1
Valeur seuil proposée par Nunnally et Bernstein (1994): 0,70

Item Rest L’indice de discrimination: renseigne sur le niveau de

Correlation compétence des étudiants.
(Rir)
Objectif: distinguer les sujets forts des sujets faibles par le calcul
d’une corrélation entre la performance de l’étudiant à chaque item
et sa performance aux autres items de l’examen.

Si un item a un indice de discrimination de 1 cela signifie que les

étudiants qui ont donné la bonne réponse à l’item ont également
répondu correctement aux autres items de l’examen.

Valeur entre -1 et 1
Valeur seuil proposée par Ebel et Frisbie (1986): 0,20

Corrected P L’indice de facilité: proportion de personnes ayant réussi l’item,

dans le cas où il n’y a pas de pénalité pour mauvaise réponse. Dans
le cas de pénalité pour mauvaise réponse, cet indice est corrigé
(Corrected P) pour tenir compte de la différence entre un item non
répondu et une mauvaise réponse et sa valeur est supérieure à la
proportion de personnes ayant réussi l’item.

Valeur entre 0 (difficile) et 1 (facile)

Espérance L’espérance de gain : estimation du risque en termes de

de gain par gain/perte que prend l'étudiant en répondant au hasard à l'item.
item Cet indice prend en compte le score en cas de réponse correcte ou
incorrecte ainsi que le nombre d'options de réponses. Lorsque cet
indice est négatif, le risque de perte de score est important. Un
indice positif élevé indique une grande probabilité de gain en
score.

Taille du La taille du test: nombre d’items multiplié par le nombre

test d’options (Grier, 1975).

113
114
115
Place Cardinal Mercier, 10 bte L3.05.01, 1348 Louvain-la-Neuve, Belgique [Link]/fopa