BRAIN
Guide d’interprétation
1
Introduction
La mission d’AssessFirst est de vous permettre d’analyser le potentiel
de vos candidats et collaborateurs. Pour ce faire, il est essentiel
d’appréhender ces 3 piliers incontournables : ce que la personne peut
faire (capacité de raisonnement), ce qu’elle veut faire (motivations) et
comment elle va le faire (personnalité). Nous avons aussi la volonté de
développer une plateforme moderne et accessible à tous.
Le test BRAIN jusqu’alors accessible commençait à soulever
plusieurs limites : temps de passation relativement important (20 min),
accessible uniquement depuis un ordinateur et non sur mobile, des
exercices assez scolaires et peu stimulants. Nous avons donc
totalement repensé BRAIN pour le faire évoluer en un test résolument
moderne et radicalement plus intelligent.
Ce que vous allez trouver dans ce document :
Ce document apporte ainsi des informations concernant la conception
et l’interprétation de la nouvelle version du questionnaire de raisonnement
BRAIN. Il est décomposé de la façon suivante :
• Une première partie présente les éléments de construction relatifs au
test : caractéristiques du test, fondements théoriques, méthode de
calcul et avantages.
• Une seconde partie détaille le rapport BRAIN à travers l’explication de
chacun de ses contenus : potentiel global, tâches privilégiées, façon
d’agir, prise de décision, style d’apprentissage.
• Une troisième partie explique l’intégration de BRAIN à l’application
AssessFirst : modèle prédictif et prédire la réussite.
Pour plus d’informations sur les questionnaires AssessFirst, nous vous
invitons à nous adresser toutes vos demandes.
2
01
BRAIN
CONSTRUCTION
3
CARACTERISTIQUES
4
Construction
CARACTERISTIQUES
BRAIN a été conçu en 2020 par les équipes d’Assessfirst. Ce test permet d’évaluer l’aptitude
intellectuelle générale d’un candidat, aussi appelée facteur g. Celui-ci est le facteur le plus
explicatif de la capacité à réussir en environnement professionnel, et ce dans la majorité des
postes. Il a été construit autour de 3 valeurs, permettant de répondre aux nouvelles attentes des
clients et candidats, à savoir :
• un test accessible sur mobile
• un test adaptatif qui prend en compte le niveau du candidat
• un test plus stimulant et engageant
Structure
Le test BRAIN est un test général, qui n’est pas divisé en plusieurs parties. Pour réaliser ce
test, le candidat doit compléter une série de figures logiques, chacune dans un temps limité.
Les réponses sont construites par le candidat, en combinant le matériel à disposition sur la
scène de jeu. Il ne s’agit donc pas de questions à choix multiples (QCM). Le niveau des figures
proposées à un candidat est adapté à ses performances réelles : chaque candidat a ainsi
accès à une expérience personnalisée, rendue possible grâce à la structure adaptative du test
(CAT : Computer Adaptive Testing). De manière simple, les modèles CAT fonctionnent selon
ce processus :
• Le premier item du candidat est un item de moyenne difficulté
• Les items suivants sont choisis en se basant sur les réponses du candidat
• Si la réponse du candidat est correcte, l’item suivant sera plus difficile
• Si la réponse du candidat est incorrecte, l’item suivant sera plus facile
• Le test se termine quand le candidat répond de manière consistante au même niveau de
difficulté
Le test est scoré sur une échelle de 1 à 10 - 1 étant le minimum et 10 le maximum. Le score
est un score entier, sans décimale. Le graphique ci-après illustre la distribution des personnes
sur ces 10 points. Interprétation : le score 10 est atteint par seulement 2% de la population, le
score 7 par 15% de la population, etc.
5
CARACTERISTIQUES
Distribution de la population sur les scores BRAIN
20% 20%
15% 15%
9% 9%
4% 4%
2% 2%
1 2 3 4 5 6 7 8 9 10
Temps de passation
Le temps de passation du test BRAIN peut, légèrement, varier en fonction du candidat. En
effet, en raison du modèle adaptatif du test, chaque candidat ne se verra pas proposer le
même nombre d’items. Pour autant, la majorité des candidats devra répondre à 8-12 items,
pour un temps moyen de passation de 10 minutes.
6
FONDEMENTS THEORIQUES
7
Construction
FONDEMENTS THEORIQUES
BRAIN s’appuie sur les modèles incluant un facteur général d’intelligence, facteur g,
comme les modélisations de Spearman (1904) ou de Cattell, Horn et Carroll (1997). Ces
modélisations font aujourd’hui autorité en psychologie du travail.
BRAIN centre l’analyse sur un facteur d’intelligence générale. Contrairement à l’ancienne
version du test, la distinction entre les différents raisonnements (verbal, analogique,
abstrait et numérique) n’est donc plus mesurée. Ce changement s’explique par deux
arguments; d’une part, l’évaluation de compétences spécifiques n’apporte pas de pouvoir
prédictif supplémentaire. Ree, Earles et Teachout (1994) démontrent ainsi que, pour
prédire la performance au travail, la seule évaluation du facteur g est suffisante, et que
l’ajout de compétences spécifiques (comme le raisonnement numérique ou verbal)
n’apporte pas d’informations supplémentaires sur la capacité de réussite d’un candidat.
Aussi, comme Carroll (1993) le montre dans son modèle hiérarchique de l’intelligence,
même s’il existe des formes de raisonnements spécifiques, celles-ci sont fortement
corrélées entre elles et à un facteur général d’intelligence. D’autre part, même s’il est
toujours intéressant d’avoir un maximum de détails sur la capacité d’un candidat à traiter
des informations de différents types, la lourdeur et la durée associées à leur évaluation
n’est pas justifiée au regard de leur pouvoir prédictif : nous préférons dès lors privilégier
l’expérience du candidat et la rapidité du questionnaire. Il est donc inutile de venir
mesurer d’autres dimensions qui, même si elles sont intéressantes, allongent inutilement
la longueur du test.
Références scientifiques
Carroll, J. (1993). Human cognitive abilities. Cambridge University Press. [Link]
Ree, M.J, Earles, J. & Teachout, M. (1994). Predicting job performance : not much more
than g. Journal of Applied Psychology, 79(4), 518-524. [Link]
Spearman, C. (1904). General intelligence objectively determined and measured. The
American Journal of Psychology, 15(2), 201–293. [Link]
8
METHODE DE CALCUL
9
Construction
METHODE DE CALCUL
BRAIN est construit sur la méthodologie de l’item response theory (IRT). Cette technologie est
plus performante que la classical test theory (CTT) habituellement employée dans l’évaluation.
Les avantages de l’IRT
• Chaque item est indépendant, ce qui permet une mise à jour régulière du questionnaire
sans remettre en question la solidité générale du test.
• La mesure IRT est plus fiable que la mesure CCT, et ce avec moins d’items dans le
questionnaire. Il est donc possible de gagner en qualité tout en posant moins de questions.
• La qualité des items est indépendante de l’échantillon sur lequel les items ont été validés.
Qu’est-ce que cela change pour les évalués ?
Il s’agit d’une technique de calcul, elle n’influence pas la façon dont sont posées les
questions. Cela permet aux répondants d’être évalués de façon fiable, en passant moins de
temps sur le questionnaire.
10
AVANTAGES
11
Construction
AVANTAGES
Le test de raisonnement BRAIN présente de nombreux avantages, parmi lesquels :
Une évaluation adaptative
Les modèles adaptatifs (CAT : Computer Adaptive Testing) utilisés dans BRAIN
permettent de créer un test sur-mesure pour chaque candidat, car les items
qui lui sont présentés sont adaptés à son niveau et à sa performance réelle sur
les items précédents. Cela permet ainsi : (1) de situer le niveau d’un candidat
beaucoup plus rapidement, (2) d’améliorer l’expérience utilisateur car le
candidat n’aura pas le sentiment d’être en situation d’échec, (3) de limiter la
fuite des réponses et les comportements de triche, car aucun candidat n’aura
le même questionnaire.
Equitable, by design
D’une part, BRAIN est pensé mobile-first. Cela permet de répondre à
l’exigence grandissante des candidats de pouvoir postuler et compléter les
tests de recrutement sur mobile. D’autre part, le matériel neutre utilisé dans
BRAIN (c’est à dire un matériel exempt d’éléments verbaux et basé sur des
couleurs sans lien avec la capacité de résolution des items), permet de rendre
le test accessible aux personnes qui présentent un handicap comme la
dyslexie ou le daltonisme.
Interculturel
Le matériel neutre utilisé par BRAIN permet de limiter les adaptations par langue.
Gamification
BRAIN, sans être un jeu, fait appel aux mêmes leviers d’interactions et de
motivations : feedback en temps réel, construction des réponses, niveau des items
adapté, ou encore consignes personnalisées. Ce format de test permet de
développer l’engagement des candidats tout en assurant la validité
psychométrique de l’outil.
Science
Ree, Earles et Teachout (1994) démontrent que, pour prédire la performance au
travail, la seule évaluation du facteur g est suffisante, et que l’ajout de
compétences spécifiques (comme le raisonnement numérique ou verbal)
n’apporte pas d’informations supplémentaires sur la capacité de réussite d’un
candidat. Il est donc inutile de venir mesurer d’autres dimensions qui, même si
elles sont intéressantes, allongent inutilement la longueur du test.
12
02
BRAIN
RAPPORT D’ANALYSE
13
POTENTIEL GLOBAL
14
Rapport d’analyse
POTENTIEL GLOBAL
Le potentiel global d’une personne est composé de deux informations :
Le score global
Le score de potentiel global est compris entre 1 (minimum) et 10 (maximum). Ce score est
un chiffre entier, sans décimale. Il s’agit du niveau de raisonnement général d’une
personne (facteur g). Ce score influence :
• les capacités d’apprentissage
• les capacités à gérer des tâches complexes
Par conséquent, plus le score est proche de 10, plus une personne possède un potentiel
d’évolution professionnelle important.
Le temps
Le temps réfère à la vitesse de raisonnement d’une personne. Il est représenté par la
jauge qui entoure le score. Plus la jauge est pleine, plus la personne a passé de temps
sur le test. Dans l’exemple ci-contre, le temps passé est dans la moyenne.
8
15
POTENTIEL GLOBAL
Trois indicateurs complémentaires sont également présentés pour comprendre le potentiel
global d’une personne.
Les tâches privilégiées
Ce paragraphe présente le niveau de tâches qu’une personne peut s’approprier. Des :
• Tâches simples : capacité à intervenir sur des tâches connues et déjà expérimentées.
• Tâches intermédiaires : capacité à gérer son activité en autonomie.
• Tâches complexes : capacité à appréhender des sujets nouveaux et stratégiques.
La prise de décision
Ce paragraphe présente le temps qu’une personne consacre à sa prise de décision. Elle peut
être :
• Rapide : prend des décisions dans un temps réduit.
• Raisonnée : prend des décisions dans un temps moyen.
• Prudente : prend des décisions dans un temps important.
La prise de décision est précisée dans la suite du rapport à la partie « Prise de décision ».
Le style d’apprentissage
Ce paragraphe présente la façon dont une personne apprend. 4 configurations possibles sont :
• Innover
• Approfondir
• Expérimenter
• Appliquer
Ces styles sont définis dans la partie « Style d’apprentissage ».
16
FAÇON D’AGIR
17
Rapport d’analyse
FAÇON D’AGIR
BRAIN n’évalue pas seulement un niveau de raisonnement, mais s’intéresse aussi à la façon
dont les personnes ont répondu. Dans la partie « Façon d’agir », nous analysons ainsi la façon
dont la personne s’est comportée lorsqu’elle a répondu correctement aux questions, ainsi
que lorsqu’elle a échoué. Il existe 4 façons d’agir, définies selon deux axes :
• en abscisse : Contournement / Persévérance
• en ordonnée : Efforts / Talent naturel
Echelle contournement / persévérance
Cette échelle illustre la façon dont une personne se comporte lorsqu’elle est mise en difficulté.
• Persévérance : traduit la tendance d’une personne à consacrer plus de temps pour traiter
un sujet lorsqu’elle n’est pas certaine du résultat.
• Contournement : traduit la tendance d’une personne à préférer ne pas rester bloquée par
une difficulté et passer à autre chose.
Echelle efforts / talent naturel
Cette échelle illustre la façon dont une personne est amenée à prendre des décisions justes.
• Efforts : traduit la tendance d’une personne à réussir lorsqu’elle s’applique et consacre du
temps à un sujet.
• Talent naturel : traduit la tendance d’une personne à réussir rapidement en trouvant les
réponses sans consacrer trop de temps à la réflexion.
18
FAÇON D’AGIR
Les 4 façons d’agir sont les suivantes :
• Sprinter (talent naturel / contournement)
• Challenger (talent naturel / persévérance)
• Réaliste (efforts / contournement)
• Hardworker (efforts / persévérance)
19
PRISE DE DECISION
20
Rapport d’analyse
PRISE DE DECISION
BRAIN analyse les points d’appui et les facteurs de risques d’une personne lorsqu’elle prend
ses décisions. Les points d’appui sont représentés par un potentiel qui peut être « Faible »,
« Moyen » ou « Fort ». Ils permettent d’identifier les atouts décisionnels d’une personne.
Gestion de la complexité
Il est question ici de savoir dans quelle mesure une personne peut prendre en considération la
complexité de l’information lorsqu’elle doit prendre une décision.
Vitesse de décision
La vitesse de décision permet de savoir si une personne peut prendre des décisions dans
l’urgence, au quotidien, ou si elle a besoin de temps pour se positionner.
Précision
La précision renseigne sur la qualité des décisions prises par une personne. Plus son
potentiel est fort, et moins elle a de probabilité de se tromper lorsqu’elle se positionne sur un
sujet.
21
PRISE DE DECISION
Mais certains facteurs de risques peuvent aussi affecter la qualité des prises de décision
d’une personne. Cette partie vise à analyser d’où peuvent venir les causes principales de ses
erreurs. Un facteur de risque est « Faible », « Modéré » ou « Fort » selon les personnes.
Précipitation
La précipitation reflète la tendance à faire des erreurs en prenant des décisions trop
rapidement.
Prudence excessive
À l’inverse de la précipitation, certaines personnes consacrent beaucoup de temps à valider
des prises de décisions et font preuve de prudence excessive.
Déductions inexactes
Ce facteur de risque apparaît lorsqu’une personne fait trop d’erreurs d’interprétation ou
d’analyse. Dans ce cas, l’erreur vient du fait que la personne pense avoir raison, mais son
raisonnement s’avère souvent erroné.
Indécisions
L’indécision apparaît lorsqu’une personne a trop tendance à utiliser la réponse « Je ne sais
pas » sur les questions qui lui sont posées.
22
STYLE D’APPRENTISSAGE
Rapport d’analyse
23
STYLE D’APPRENTISSAGE
Enfin, BRAIN donne un aperçu de la façon d’apprendre d’une personne à travers 4 stratégies.
À droite sur l’image se situent les personnes qui apprennent en testant les choses. Elles ont
besoin d’essayer, quitte à faire plus souvent des erreurs, pour apprendre de leurs
expériences.
À gauche, on retrouve des personnes plus prudentes. Elles vont davantage être à l’écoute
des consignes, et chercher à bien faire selon les règles établies. Elles ont besoin de repères.
En haut se situent les personnes les plus autonomes dans leur apprentissage. En effet, elles
comprennent et intègrent facilement les nouvelles informations de sorte qu’elles peuvent
évoluer par elles-mêmes.
En bas de l’image, les personnes ont besoin de plus d’accompagnement pour apprendre.
Cela peut passer par des recommandations et conseils de la part de leur entourage. Elles
progressent plus facilement dans un cadre structurant, où elles pourront être suivies.
Ces styles d’apprentissage permettent donc d’anticiper comment tirer parti au mieux du
naturel d’une personne et de mettre en place des conditions de travail optimales pour qu’elle
puisse progresser.
24
03
BRAIN
APPLICATION
25
MODELE PREDICTIF
Application 26
MODELE PREDICTIF
Pour créer un modèle prédictif en utilisant BRAIN, l’utilisateur doit paramétrer son attente sur
le score global. Pour l’aider, 5 boutons sont à disposition : non pris en compte, basique,
intermédiaire, avancé expert. Les associations entre le niveau choisi et les scores attendus
sont les suivantes :
• Non pris en compte : BRAIN n’est pas pris en compte dans le modèle prédictif.
• Basique : les scores attendus vont de 4 à 10
• Intermédiaire : les scores attendus vont de 6 à 10
• Avancé : les scores attendus vont de 7 à 10
• Expert : les scores attendus vont de 8 à 10
En fonction du niveau choisi, l’utilisateur peut également voir le pourcentage de personnes qui
correspondent à sa recherche dans la population. Exemple : une attente « expert » signifie
que seulement 15% de la population aura une adéquation forte sur la dimension BRAIN.
27
PREDIRE LA REUSSITE
Application 28
PREDIRE LA REUSSITE
L’utilisateur peut visualiser l’adéquation d’une personne sur un modèle prenant en compte
BRAIN dans l’onglet « Prédire la réussite ».
Sur cette page, le (ou les) score attendu est marqué par une étoile
La photo du candidat s’affiche au-dessus de son score dans le graphique.
Dans l’exemple ci-dessous, le candidat a donc un score de 8, alors que l’attente est un score
de 7.
6% des personnes ont un score supérieur à celui de ce candidat.
29
PREDIRE LA REUSSITE
L’adéquation sur BRAIN est présentée sous forme d’un pourcentage, de 0 à 100%. Plus ce
pourcentage est proche de 100, plus les capacités de raisonnement du candidat sont en
adéquation avec les attentes liées au poste.
L’adéquation sur BRAIN est calculée selon deux facteurs :
• Le score global BRAIN. Un pourcentage d’adéquation est calculé entre le score global du
candidat et le score attendu dans le modèle prédictif.
• La vitesse de réponse. La vitesse de réponse du candidat permet de moduler l’adéquation
calculée sur la base du score global.
30
CONTACT
AssessFirst 31
Contact
Ce document apporte des informations concernant la conception, le
développement et l’interprétation de la nouvelle version du questionnaire
de raisonnement BRAIN. Pour tout complément d’information, nous
vous invitions à contacter :
Simon BARON - Chief Scientist : sbaron@[Link]
Emeric KUBIAK - Research Psychologist : ekubiak@[Link]
Téléphone
+33 (0) 172 773 152
Adresse
20 Rue du Sentier M°Bonne Nouvelle (8-9)
75002 Paris Bus 20-39-48
FRANCE
32