Quand et Comment Toucher un Humain ?

Un Modèle
de Décision pour un Agent Touchant
Fabien Boucaud, Indira Thouvenin, Catherine I Pelachaud

To cite this version:

Fabien Boucaud, Indira Thouvenin, Catherine I Pelachaud. Quand et Comment Toucher un Humain ?
Un Modèle de Décision pour un Agent Touchant. Workshop sur les Affects, Compagnons artificiels
et Interactions (WACAI 2020), CNRS, Université Toulouse Jean Jaurès, Université de Bordeaux, Jun
2020, Saint Pierre d’Oléron, France. �hal-02933486�

HAL Id: hal-02933486

[Link]
Submitted on 8 Sep 2020

HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est

archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents
entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non,
lished or not. The documents may come from émanant des établissements d’enseignement et de
teaching and research institutions in France or recherche français ou étrangers, des laboratoires
abroad, or from public or private research centers. publics ou privés.
 Quand et Comment Toucher un Humain ?
Un Modèle de Décision pour un Agent Touchant

Fabien Boucaud† Indira Thouvenin Catherine Pelachaud

Sorbonne Université, Université de Sorbonne Université, Université Sorbonne Université
Technologie de Compiègne de Technologie de Compiègne CNRS UMR 7222 ISIR
CNRS UMR 7253 Heudiasyc CNRS UMR 7253 Heudiasyc UPMC Campus Jussieu, 75005
57 Av. Landshut, 60200 57 Av. Landshut, 60200 Paris, France
Compiègne, France Compiègne, France [Link]@[Link]
fabien@[Link] [Link]@[Link]

ABSTRACT 1 Introduction
Le toucher est un sens dont on connaît de mieux en mieux Si le toucher est resté pendant longtemps l’un des sens les
l’importance dans le développement social et le bien-être général moins étudiés par la science, en particulier dans le contexte social,
de l’être humain, de son enfance à son âge le plus avancé. C’est pour des raisons culturelles aussi bien philosophiques que
un sens dont on sait qu’il participe activement à la facilitation de religieuses, c’est un sujet d’étude qui attire de plus en plus
l’établissement des relations sociales et il constitue un canal d’attention. L’importance du toucher dans le développement
extrêmement puissant en terme de communication émotionnelle. social de l’individu a été montrée, aussi bien dans son enfance
Les agents conversationnels animés (ACA) se voient quant à eux qu’au cours du reste des étapes de sa vie [14]. C’est qu’il semble y
munis de plus en plus de capacités sociales et émotionnelles. Ils avoir un lien fort entre émotion et toucher, qui favorise la création
peuvent créer de l’entente (rapport) avec des humains en d’une relation entre deux personnes [10,40]. Et en effet, là où les
exprimant leurs pensées et leurs émotions à travers des modalités travaux de Hertenstein et ses collègues [18,19] ont montré la
aussi bien verbales que non-verbales. Le toucher semble donc façon dont le toucher pouvait permettre, à lui seul, d’exprimer des
constituer une modalité tout à fait pertinente pour les ACA, qui en émotions reconnaissables, même par un inconnu, les meilleurs
sont encore très peu munis. résultats semblent toujours avoir lieu lorsque les deux personnes
se connaissent déjà et ont une relation intime ou d’amitié proche
Munir des ACA de capacités de toucher social pose un certain
[8,30,40]. L’utilisation de petits compagnons robotiques tactiles a
nombre de défis qui commencent seulement à être étudiés. La
même montré leurs bienfaits pour le bien-être et la santé des
forme d’un ACA peut être extrêmement différente d’une
personnes isolées socialement [33]. Le toucher social, c’est-à-dire
implémentation à une autre, et la façon dont on peut les munir
utilisé dans un contexte social d’interaction interpersonnelle,
d’un sens du toucher en est grandement influencée. Comment
semble donc être un puissant canal de communication des
élaborer une boucle interactive complète dans laquelle un agent
émotions, et un facilitateur du développement des relations
conversationnel animé peut à la fois être touché par un humain,
sociales.
interpréter ce toucher, choisir comment toucher l’humain en
retour, et réaliser ce toucher sur l’humain ? En particulier, Dans un contexte où les recherches dans le champ de
comment modéliser l’interaction sociale basée sur le toucher ? l’informatique émotionnelle (affective computing) sur les agents
Quels touchers sont acceptables dans quels situations ? Comment conversationnels animés (ACA) ont montré à la fois la capacité de
toucher un humain de manière crédible et cohérente ? ces agents à créer du lien avec un humain [17], et l’intérêt que
Les travaux présentés ici proposent un modèle de décision adapté cela peut avoir, par exemple pour permettre la communication
à un agent conversationnel animé touchant, capable d’utiliser le dans des situations de stigmatisation [26,27], le toucher social
toucher social et affectif pour interagir avec un être humain dans pourrait ainsi s’avérer une modalité d’interaction extrêmement
une boucle interactive complète, dans un contexte pertinente. Dans quelle mesure la modalité tactile permettrait-elle
d’environnement immersif. à un agent conversationnel animé de plus facilement développer
un lien social et exprimer des émotions avec un humain ?
MOTS-CLEF
Introduire le toucher social comme nouvelle modalité
Modèle computationnel d’émotion, Environnement immersif, d’interaction entre ACA et humain pose cependant de nombreux
Agent conversationnel animé, Toucher social défis loin d’être aisés à résoudre. Les ACA peuvent prendre de
multiples formes selon leurs supports (robot, VR, écran
d’ordinateur ou de smartphone, etc.) et chaque support doit
WACAI 2020, Juin, 2020 F. Boucaud et al.

répondre de manière spécifique aux questions générales qui répondre et effectue son toucher à son tour, et l’humain peut
seraient : comment faire en sorte de pouvoir toucher et être touché de nouveau toucher ou non pour continuer le cycle d’interaction.
par un ACA ? Quand et comment toucher un humain de manière
adaptée à la situation et acceptable ?

Pour s’approcher au mieux de l’expérience du toucher social

entre humains dans un contexte d’environnement immersif, nous
avons choisi d’utiliser un système de type CAVE™ [9].
L’avantage de ce système de réalité mixte est qu’il permet à la
fois de plonger l’humain dans un environnement immersif à
échelle réelle, et de le laisser garder la vision de son propre corps.
Cela lui permettra, dans un contexte de toucher social, de se sentir
correctement incarné et d’être libre d’utiliser les mouvements Figure 2: Boucle interactive complète entre un
avec lesquels il est familier. humain et un agent

A travers des travaux préliminaires, nous avons déjà étudié les

possibilités pour toucher et être touché par un agent
conversationnel animé virtuel [5], à travers d’un côté un module
de perception du toucher pour l’agent (constitué de formes
géométriques virtuelles détectant les collisions entre le corps de
l’humain et le corps virtuel de l’agent), et de l’autre une interface
haptique (sous forme de manchon muni de moteurs vibrants) pour
que l’agent puisse envoyer des signaux haptiques (donc des
touchers) à l’humain. Ces travaux ont montré que si les
sensations haptiques manquaient de réalisme, elles étaient tout de
même assez bien reconnues en termes de types de toucher (un
coup, une caresse, etc.) En revanche, il y avait beaucoup à redire
sur le comportement de l’agent, qui n’était absolument pas
crédible, en particulier lorsqu’il recevait le toucher. Nous
proposons donc de nous pencher ici sur la question du modèle de
décision de l’agent, qui pourra lui permettre de gagner en
autonomie et en crédibilité au cours de l’interaction.

2 Etat de l’art

2.1 L’interprétation du toucher chez

l’humain
Le sens du toucher possède deux caractéristiques
fondamentales qui rendent son interprétation compliquée, d’un
point de vue social et émotionnel. En effet, les principes
d’équipotentialité et d’équifinalité s’appliquent [20] : un type de
Figure 1: Interaction entre un humain et un agent toucher spécifique peut exprimer plusieurs émotions différentes,
dans une salle immersive, vue de l’extérieur et deux types de toucher différents peuvent exprimer la même
émotion. Par exemple, un coup pourrait à la fois avoir lieu dans un
Pour qu’un agent puisse interagir de manière dynamique et contexte de familiarité amicale, ou d’encouragement sportif, et
autonome avec un humain dans un environnement immersif, il dans un contexte de colère envenimée ; de même, une caresse et
a besoin de trois capacités [15] : pouvoir percevoir son une étreinte peuvent être indifféremment utilisées pour exprimer
environnement et ce qu’il s’y passe ; pouvoir prendre en de l’amour. Cela signifie qu’une simple reconnaissance du type de
compte ce qu’il perçoit pour ensuite décider par lui-même du toucher ne suffit pas à interpréter correctement le sens social et
comportement adapté à adopter en réponse ; pouvoir réaliser émotionnel d’un toucher, et que, comme c’est déjà avec la plupart
le comportement choisi (une interface haptique, une animation). des comportements non-verbaux, d’autres éléments doivent être
Avec ces trois capacités, représentées dans la figure 2, il pris en compte pour désambiguïser le sens d’un toucher.
devient possible d’avoir une interaction dynamique au long
cours. En effet, la boucle interactive est dite complète : l’humain Un premier élément de désambiguïsation du toucher est bien
touche l’agent, l’agent perçoit ce toucher, choisi comment sûr le reste des signaux communicatifs utilisés. Le toucher prend
Quand et Comment Toucher un Humain ? WACAI 2020, Juin, 2020

place dans des interactions sociales riches de toutes les modalités le niveau de relation entre l’humain et l’agent, en temps réel, au fil
utilisées par les humains pour s’exprimer, de la parole à tous les de l’interaction ?
types de communication non-verbale. Le toucher est une
dimension de ces modalités et peut donc permettre d’aider à 2.2 Les modèles computationnels
l’interprétation globale d’un comportement, de même que le d’émotion
comportement global, et l’état émotionnel, aident à mieux
comprendre le sens d’un toucher. Toutefois, si les ACA peuvent Comme nous l’avons vu, toucher et émotion semblent très liés,
utiliser de plus en plus de ces modalités d’expression (nous le toucher affectif étant d’ailleurs un champ d’étude à part entière
utilisons la plateforme GRETA d’animation d’ACA [37]), dans la recherche scientifique. Pouvoir prendre en compte l’état
l’utilisation de l’environnement immersif de type CAVE™ rend émotionnel de celui ou celle avec qui on interagit nous permet de
plus difficile d’un point de vue technique la perception de ces mieux interpréter ses actions et avoir un agent capable d’avoir un
éléments chez l’humain. En effet, l’humain y est libre de se état émotionnel le rendrait, dans ce contexte, bien plus crédible
déplacer à sa guise et porte des lunettes de 3D stéréoscopique , ce aux yeux d’un humain.
qui rend l’utilisation de reconnaissance des expressions faciales
compliquée à mettre en place, et l’utilisation d’interfaces tangibles A ce titre, il nous semble pertinent de nous intéresser à un
est limitée par le fait que tout objet physique amené dans la salle modèle qui puisse prendre en compte ce versant émotionnel de
immersive peut briser la projection de la 3D. l’interaction humain-agent. Les émotions sont toutefois un
concept complexe, encore aujourd’hui très discuté, et dont la
Comme mentionné précédemment, viennent ensuite le définition précise et la manière dont elles interagissent avec la
contexte et en particulier la relation entre les deux personnes en cognition restent incertaines [22]. Les théories psychologiques des
train d’interagir. Un toucher d’un coéquipier n’a pas le même sens émotions sont nombreuses, mais s’organisent d’une manière
que le même toucher réalisé par un adversaire dans un match [21], générale en trois grands courants [28] : les théories qui
et au sein d’un couple le toucher prend de nombreuses nuances représentent les émotions de façon discrète, les théories
parfois très fines. Pouvoir prendre en compte le contexte dimensionnelles de l’émotion et les appraisal theories, qu’on peut
d’interaction est donc essentiel pour pouvoir toucher l’humain de traduire comme théories d’évaluation cognitive.
manière à la fois compréhensible, et surtout acceptable. En effet,
étant un sens particulièrement intime, tout toucher n’est pas Les principales différences entre ces paradigmes théoriques
toujours bienvenu. Des études ont montré le niveau général de concernent la façon dont les émotions sont représentées, et donc
tolérance au toucher en fonction de la zone du corps et de la générées. Dans le cas des théories discrètes, les émotions sont
relation avec la personne qui nous touche [39], dont il ressort que considérées « en bloc », avec des labels comme la colère, la joie,
les femmes ont globalement plus de faciliter à toucher et être etc. Ces émotions peuvent être plus ou moins complexes, mais
touché aussi bien par un homme qu’une femme, là où les hommes sont alors pensées comme s’organisant en combinaisons
acceptent peu le toucher d’un autre homme. Cela nous motive à d’émotions primaires, qui auraient des expressions spécifiques,
dans un premier temps utiliser un agent de genre féminin pour innées et universellement identifiables [38]. Le reproche
améliorer l’acceptabilité de ses touchers. Toutefois la question de généralement fait à ces théories est qu’elles ont tendance à
l’influence du genre sur l’interprétation du toucher est complexe gommer la complexité des émotions et leur déclenchement du
et évolue potentiellement au cours du temps, du fait des point de vue cognitif, et l’universalité de ces expressions
évolutions culturelles, il faut donc y faire attention [11,13,23]. primaires des émotions est souvent remise en question.
Aujourd’hui encore, il n’est pas clair que ce qu’on appelle
En effet, la culture est un élément important qui joue quotidiennement la « colère » soit bien un phénomène spécifique,
également sur l’interprétation et l’acceptabilité du toucher. Les inné, non-composite. Cela reste une notion floue [22], dont
différentes sociétés ont des rapports au toucher différents [13,35], beaucoup de sous-composants (l’humeur, le « sentiment », la
qu’il convient de prendre au mieux en compte pour une sensation physiologique, etc.) semblent participer. De leur côté,
interaction basée sur le toucher social. Toutefois, de la même les théories dimensionnelles de l’émotion considèrent que les
manière que pour le genre, ceci est à nuancer par la tolérance au émotions peuvent être représentées dans un espace à plusieurs
toucher personnelle de chaque individu, qui diffère aussi dimensions en fonction de ses propriétés. La représentation la plus
indépendamment de sa culture d’origine et de son genre. Ainsi, le connue est sans doute celle du PAD (pleasure-arousal-
concept de “touch avoidance” a été forgé pour représenter dominance) qui représente les émotions selon le plaisir (aussi
l’aversion au toucher des individus [1,2,29]. C’est un autre appelé valence), l’excitation (arousal) et la dominance ressentis
élément qu’il convient de prendre en compte pour une interaction dans un environnement ou pour qualifier un événement [31]. Ce
respectueuse de l’individu à même de créer du lien entre l’agent et modèle fonctionne assez bien avec un certain ensemble
l’humain. d’émotions, mais toutes ne sont pas forcément représentables de
manière convaincantes avec ces trois dimensions. D’ailleurs, le
Deux questions se posent alors : comment prendre en compte choix de ces dimensions est somme toute relativement arbitraire et
tous ces éléments d’interprétation, et notamment le côté ne tient pas forcément beaucoup plus compte de l’influence de la
émotionnel de l’interaction ? Et comment représenter et mesurer culture ou des objectifs particuliers de l’individu et la façon dont
WACAI 2020, Juin, 2020 F. Boucaud et al.

cela entre en ligne de compte dans la génération des émotions. Ce quelle autre dimension on peut utiliser pour mesurer le niveau du
paradigme est globalement aisé à implémenter informatiquement, lien entre l’humain et l’agent.
étant donné la présence de valeurs quantifiables qui peuplent
l’espace PAD, et il propose une plus fine représentation de la Un concept fréquemment utilisé dans le domaine des ACA est
complexité de chaque émotion que les théories discrètes. C’est ce celui de rapport, qu’on peut traduire par “entente” en français. Le
qui fait que ces modèles de représentation dimensionnelle de rapport se constitue même dans des interactions de courte durée et
l’émotion est très utilisé pour la reconnaissance, là où les théories désigne une sensation “d’attention mutuelle, de positivité et de
discrètes alimentent les travaux de simulation (visuelle) de coordination” [41]. Une riche littérature existe quant aux
comportements émotionnels. Toutefois, ce sont véritablement les comportements non-verbaux qui interviennent dans la création du
appraisal theories qui forment à l’heure actuelle le paradigme rapport, non seulement dans le domaine des interactions sociales
principal des théories des émotions. Dans ces théories, l’émotion entre humains [24,41], mais aussi dans celui des interactions entre
est générée en fonction de l’évaluation d’un événement extérieur humains et agents [6,7,16]. Ces travaux montrent comment le
par rapport à la subjectivité de l’individu, donc, intrinsèquement, rapport peut être construit grâce à du mimétisme dans les
ses buts, sa culture et sa personnalité. Le nombre des paramètres mouvements du corps et l’expression d’attention à travers à la fois
d’évaluation et leur nature changent d’une théorie à l’autre, mais les gestes et la posture. Mais le rapport implique aussi des
le principe de l’appraisal reste le même et un certain nombre de stratégies verbales, dont le small talk est un élément important
paramètres sont communs ou similaires (la valence est notamment [3,4]. Les modèles de création de rapport pour ACA ont exploré
très souvent présente). Avec les théories d’appraisal, on voit bien tous ces éléments, et il apparaît que trois mesures supplémentaires
le lien qu’il peut y avoir entre cognition et émotions, le processus interviennent dans le niveau de rapport : l’appréciation, la
d’évaluation pouvant être déjà considéré comme un processus solidarité (le niveau auquel les deux individus partagent des
cognitif. opinions similaires) et la familiarité (niveau d’intimité des
informations qu’un individu se sent à l’aise de divulguer à un
De même que les théories psychologiques des émotions sont autre individu).
nombreuses, les implémentations de ces théories sous forme de
modèles computationnels d’émotions sont également nombreuses, On pourrait se demander pourquoi ne pas juste s’intéresser à
peut-être même plus dans la mesure où plusieurs modèles l’appréciation, la solidarité et la familiarité, mais le rapport offre
computationnels peuvent implémenter une même théorie, quoique une mesure plus complète, quantifiable dans le temps, qui rend
pas forcément dans son intégralité. Ces modèles computationnels compte de l’évolution de ces trois sous-mesures essentielles au fil
d’émotion semblent tout à fait adaptés à un modèle de décision d’une interaction. D’autres composantes du rapport, comme
pour des agents capables d’utiliser le toucher social, dans la l’attention et la positivité (du domaine de l’affectif) sont
mesure où ils permettent de prendre en compte l’émotion aussi également très intéressantes pour prendre la mesure de l’évolution
bien de l’humain (modèle d’empathie [36]) que de l’agent, en du ressenti mutuel dans l’interaction. Il nous semble donc que le
générant ses émotions en fonction des événements. Si les modèles rapport est une notion tout à fait pertinente pour évaluer le niveau
computationnels d’émotion sont déjà nombreux à l’heure actuelle de la relation entre un humain et un agent, et ainsi permettre à un
[25,32], la majorité suit les théories d’appraisal qui sont les plus agent d’évaluer ce niveau en temps réel et se baser dessus pour
intéressantes du point de vue de la génération computationnelle déterminer si un type de toucher serait acceptable et approprié.
des émotions et de l’interaction, grâce à l’évaluation cognitive,
tout en fournissant une base de variables quantifiables facilement 3 Modèle de Décision pour un Agent
manipulables par la machine. L’avantage de ces modèles déjà Touchant
élaborés est qu’ils ont déjà fourni des résultats convaincants et
validés, et il convient d’essayer au maximum de poursuivre ces A partir de notre étude de la littérature, nous nous sommes
travaux existants et les étendre aux nouveaux cas d’étude, plutôt tournés vers la constitution d’un modèle de décision basé sur un
que de repartir chaque fois de zéro avec un nouveau modèle [34]. modèle computationnel d’émotion, étendu pour prendre en
compte le niveau de rapport entre l’humain et l’agent. Pour les
Notre seconde interrogation reste toutefois entière : comment, entrées du modèle, un module de perception faisant office de sens
à partir d’un modèle computationnel d’émotions, représenter et du toucher pour l’agent a été développé dans des travaux
mesurer le niveau de la relation entre un humain et un agent, en préliminaires [5]. Le modèle prendra donc en entrée les différents
temps réel ? inputs liés à ce sens du toucher de l’agent ainsi que les actions de
l’humain faisant avancer la situation d’interaction (dialogue,
2.3 La notion de rapport gestes, actions sur l’environnement, etc.)

Il peut sembler présomptueux de penser qu’un agent peut La figure 3 détaille le fonctionnement du modèle que nous
réellement établir une relation avec un humain dans le cadre d’une avons élaboré. Il étend une architecture de modèle computationnel
interaction de courte durée. La relation étant un concept prenant a d’émotion basé sur la théorie d’appraisal. Les inputs permettent
priori son sens plutôt sur le long-terme, on peut se demander ainsi à la fois de générer et faire évoluer l’état émotionnel de
l’agent selon les règles d’appraisal et en particulier les buts et la
Quand et Comment Toucher un Humain ? WACAI 2020, Juin, 2020

personnalité de l’agent ; et à la fois de mettre à jour les différentes rapport. L’agent se voit donc premièrement muni dans ses
connaissances de l’agent sur la situation, le niveau de rapport, connaissances d’une estimation a priori de la tolérance de base au
l’état émotionnel de l’humain, etc. A partir à la fois de sa base de toucher de l’humain, qui lui aura été fournie en amont de
connaissance et de son état émotionnel, des règles de décision l’interaction (static touch avoidance) grâce à l’utilisation d’un
vont ensuite permettre à l’agent de choisir le comportement à questionnaire préliminaire dédié à l’estimation de cette mesure.
adopter, et notamment en termes de toucher. C’est ensuite au cours de l’interaction qu’il évaluera une tolérance
dynamique en fonction de l’évolution de ses mesures du rapport
et de l’engagement entre lui et l’humain. Ces deux éléments
seront pris en compte pour la phase de décision.

Figure 4: Détail des dimensions prises en compte

dans les connaissances de l’agent

Ces différentes mesures et leur estimation représentent en

elles-mêmes des défis scientifiques qui ne sont pas encore résolus
dans l’ensemble, même en dehors du contexte du toucher, défis
qui ne sont pas l’objet de notre travail. Une partie essentielle du
travail à venir sera donc, à partir de modèles validés comme celui
du rapport de Zhao et. al. [42] sur lequel nous nous basons, de
déterminer dans quelle mesure le toucher peut influencer ces
différentes dimensions de l’interaction, et inversement dans quelle
Figure 3: Architecture générale du modèle de
mesure chacune de ces dimensions peut être prise en compte pour
décision
moduler les règles de décision du toucher (équations numériques
pour estimer rapport et engagement dans notre contexte). A titre
Plus particulièrement, la figure 4 détaille les dimensions sur d’exemple, on ne sait pas encore de quelle manière la notion de
lesquelles nous souhaitons baser le processus décisionnel lié au solidarité ou celle de familiarité peuvent être corrélées avec des
toucher social. Comme vu précédemment, nous modélisons événements de toucher de l’humain vers l’agent ou inversement.
l’évaluation du rapport entre l’humain et l’agent. A cela nous Ce sera l’objet de nos travaux à venir que de raffiner le modèle au
ajoutons la notion d’engagement, pour mesurer le niveau niveau des interactions entre les différentes dimensions prises en
d’implication de l’humain dans l’interaction. L’engagement se compte. Une première tentative de définition des influences entre
définit généralement par le niveau d’attention et l’implication la base de connaissance de l’agent et ses décisions est présentée
émotionnelle d’un individu au cours de l’interaction. Etant lié à en figure 5.
l’attention, l’engagement influence donc la mesure du rapport, de
même que le rapport influence la mesure de l’engagement, sur sa
composante émotionnelle. Sur le schéma apparaissent également
les notions de static et dynamic touch avoidance, qui font
référence à la touch avoidance mentionnée dans l’état de l’art, soit
la tolérance au toucher de l’humain. La conjonction de la culture
et des préférences personnelles de chaque individu forment son
niveau de tolérance au toucher : est-il à l’aise avec le fait d’être
touché ? Par qui ? Nous considérons que cette tolérance peut se
différencier en une composante statique, la baseline a priori qu’on
peut évaluer à travers des questionnaires spécifiques avant le Figure 5: Influence des différents éléments de la
début de l’interaction, et une composante dynamique, liée à base de connaissances de l’agent sur sa décision
l’évolution de la relation entre l’individu et son interlocuteur. Le
niveau de tolérance au toucher de base n’est pas modifiée par
cette évolution, mais peut être contrebalancée par la mesure
dynamique, qui est alors évaluée à travers l’engagement et le
WACAI 2020, Juin, 2020 F. Boucaud et al.

4 Prochaines étapes Comme nous cherchons essentiellement à mesurer l’impact du

modèle et du toucher sur la création de relation sociale entre un
4.1 Implémentation humain et un agent, ainsi que la communication des émotions, la
situation de mise en oeuvre du modèle doit permettre une
Le modèle ainsi envisagé repose sur une base architecturale de interaction émotionnelle intéressante. Dans cette optique, nous
modèle computationnel d’émotion, qui est ensuite étendue pour envisageons un scénario de narration, dans lequel l’agent
prendre en compte les spécificités du toucher social. La prochaine conversationnel animé raconte un souvenir émotionnel à
étape est de passer à l’implémentation de ce nouveau modèle. Sur l’humain, tandis que l’humain l’aide à poursuivre son récit en
la base de cette architecture, il reste de nombreux choix possibles interagissant avec lui, et notamment à l’aide du toucher.
quant à la nature précise de la décision (réseaux bayesiens,
modèle par apprentissage, etc.) Comme nous souhaitons Un important défi avec un tel type de scénario, par essence très
contribuer à l’avancement des travaux sur les modèles social et peu orienté sur une tâche à accomplir, est de déterminer
computationnels d’émotion, une revue de l’état de l’art des comment le toucher va pouvoir naturellement prendre place. Cela
modèles existants nous a conduit à considérer l’utilisation de requiert à la fois un travail précis de scénarisation du déroulé de
FAtiMA [12], qui est un outil à la fois open-source, modulaire l’interaction, une utilisation à bon escient de tout l’environnement
donc facilement modifiable selon nos besoins, et déjà validé et et des capacités de l’agent, et une prise en compte du scénario
utilisé dans de nombreux travaux de recherche. dans la mise au point des règles de décision. Il reste ensuite à
déterminer quelles sont les mesures objectives qui peuvent valider
FAtiMA est un modèle computationnel d’émotions fondé sur les performances du modèle.
l’évaluation cognitive (appraisal) et qui utilise des algorithmes à
base de règles d’inférences sur une base de connaissances pour 4.3 Evaluation du modèle
fonctionner. Ce genre de modèle est naturellement restreint sur le
versant de la flexibilité et la capacité d’adaptation face à des La littérature du toucher social et de ses technologies n’a pas
situations non-prévues dans les règles. Nous pourrions donc encore produit de guidelines claires ou d’étude précise concernant
envisager de développer un modèle qui serait plutôt basé sur une des questions pourtant essentielles de l’ordre de : quand tel type
décision via machine learning, plus souple et robuste en cas de de toucher est-il utilisé ? Dans quel objectif ? Pour exprimer
situations hors du commun. Toutefois, ce genre d’algorithmes quelle émotion ? Pour combien de temps ? De même sur le
sont moins intelligibles et il n’est pas toujours évident de versant de l’acceptabilité, il n’est pas encore clair dans quelle
déterminer sur quels critères une décision a été prise. Dans ce mesure un toucher venant d’un agent virtuel est acceptable, ni
contexte, nous pensons qu’il est pour le moment plus intéressant dans quelle mesure des humains sont susceptibles de trouver de
de rester sur un modèle à base de règles, pour lequel nous l’intérêt à communiquer socialement par le toucher avec un ACA
pourrons déterminer des règles de toucher à partir de la littérature virtuel.
du toucher social. Cela constituera ainsi une contribution d’ordre
également théorique pour la recherche sur le toucher social. Des C’est donc sur ce premier point que l’on peut formuler un
travaux ultérieurs pourront se concentrer sur la constitution d’un critère d’évaluation de notre modèle, et en particulier de notre
modèle alternatif mettant l’accent sur l’apprentissage. base de règles. Quel est le niveau de crédibilité du comportement
tactile de l’agent ? Les touchers qu’il entreprend sont-ils
Notre travail a ainsi à la fois vocation à proposer un système considérés comme acceptables par l’humain ?
original permettant d’interagir par le toucher au sein d’une boucle
interactive complète avec un ACA, et une base de règles de Sur le versant émotionnel et relationnel, le rapport étant au
décision quant à l’utilisation du toucher social, qui pourront servir cœur de notre modèle, le plus pertinent serait de mesurer la
pour des modèles de décision ultérieurs ainsi que pour perception du rapport par l’humain et de la confronter à
comparaison dans des études plus générales sur le toucher social. l’évaluation en temps réel faite par le modèle de l’agent, afin de
confirmer une éventuelle coïncidence des deux mesures. De
4.2 Scénario d’interaction même, l’intérêt du toucher dans l’interaction pourra être mesuré
en interrogeant le participant humain sur son ressenti au cours de
Une question essentielle à ce genre d’étude d’interactions est : l’interaction, en particulier sur les dimensions de présence sociale,
dans quelle situation d’interaction le modèle sera-t-il mis à co-présence, et appréciation de l’expérience et de l’agent. Ces
l’épreuve ? Etant donné que les modèles de décision à base de éléments pourront être mesurés à travers l’utilisation de
règles sont limités dans leur flexibilité vis-à-vis des situations questionnaires validés sur ces concepts déjà largement discutés
non-définies à l’avance par les règles de décision, et étant dans la littérature des ACA et de la réalité virtuelle, ainsi que par
également donnée la complexité de définir un corpus de règles des relevés objectifs de direction du regard et déplacements de
exhaustif pour la variété des interactions basées sur le toucher l’humain dans l’environnement virtuel, rythme cardiaque, etc.
social possible, il convient de définir une situation d’interaction
précise et bien limitée sur laquelle définir nos règles. Il s’agit donc
de déterminer précisément le scénario d’interaction, qui nous
permettra de mettre le système à l’épreuve.
Quand et Comment Toucher un Humain ? WACAI 2020, Juin, 2020

5 Conclusion Linguistics, Prague, Czech Republic, 41–50.

DOI:[Link]
Mettre en place une boucle interactive complète pour des
interactions humain-agent incluant le toucher social requiert à la [7] Justine Cassell and Kristinn R. Thorisson. 1999. The power of a nod and a
glance: Envelope vs. emotional feedback in animated conversational agents.
fois des capacités de perception, de décision et de réalisation. Applied Artificial Intelligence 13, 4–5 (May 1999), 519–538.
Nous avons ici présenté un modèle de décision basé sur une DOI:[Link]
architecture de modèle computationnel d’émotions qui puisse
prendre en compte le toucher social et en particulier son versant [8] Jonas Chatel-Goldman, Marco Congedo, Christian Jutten, and Jean-Luc
Schwartz. 2014. Touch increases autonomic coupling between romantic
émotionnel, pour permettre à un agent d’interpréter des touchers,
partners. Front. Behav. Neurosci. 8, (2014).
d’évaluer le niveau de rapport entre lui et l’humain, et de choisir, DOI:[Link]
en conséquence, le toucher à réaliser ou pas sur l’humain pour
poursuivre l’interaction. [9] Carolina Cruz-Neira, Daniel J. Sandin, and Thomas A. DeFanti. 1993.
Surround-screen Projection-based Virtual Reality: The Design and
Le modèle présenté reste à implémenter et évaluer, mais nous Implementation of the CAVE. In Proceedings of the 20th Annual Conference
on Computer Graphics and Interactive Techniques (SIGGRAPH ’93), ACM,
pensons qu’il permettra de faire avancer les recherches sur le New York, NY, USA, 135–142. DOI:[Link]
toucher social simulé en contribuant d’une part à l’élaboration
d’un corpus de règles de toucher affectif, et d’autre part à la mise [10] Anik Debrot, Dominik Schoebi, Meinrad Perrez, and Andrea B. Horn. 2013.
en place technique d’une interaction dans les deux sens (l’humain Touch as an Interpersonal Emotion Regulation Process in Couples’ Daily Lives:
touche l’agent, l’agent touche l’humain). Cette implémentation The Mediating Role of Psychological Intimacy. Pers Soc Psychol Bull 39, 10
(October 2013), 1373–1385. DOI:[Link]
constituera donc un premier jalon dans la mise en place d’une
boucle interactive complète incluant les interactions de toucher, et [11] Valerian J. Derlega, Robin J. Lewis, Scott Harrison, Barbara A. Winstead, and
des développements incrémentaux permettront de peu à peu Robert Costanza. 1989. Gender differences in the initiation and attribution of
améliorer la crédibilité et la performance de ce modèle, ou tactile intimacy. J Nonverbal Behav 13, 2 (June 1989), 83–96.
DOI:[Link]
d’ouvrir de nouvelles perspectives de développement (machine
learning, autre contexte d’interaction, robotique, etc.) [12] João Dias, Samuel Mascarenhas, and Ana Paiva. 2014. FAtiMA Modular:
Towards an Agent Architecture with a Generic Appraisal Framework. In
REMERCIEMENTS Emotion Modeling: Towards Pragmatic Computational Models of Affective
Processes, Tibor Bosse, Joost Broekens, João Dias and Janneke van der Zwaan
Ce travail a pu être réalisé grâce au financement de l’ANR dans le (eds.). Springer International Publishing, Cham, 44–56.
contexte du projet Social Touch (ANR-17-CE33-0006). Nous DOI:[Link]
remercions également le FEDER et la région Hauts-de-France
pour le financement de la salle immersive TRANSLIFE du [13] Rosemarie Dibiase and Jaime Gunnoe. 2004. Gender and Culture Differences in
Touching Behavior. The Journal of Social Psychology 144, 1 (February 2004),
laboratoire UMR CNRS Heudiasyc. 49–62. DOI:[Link]

REFERENCES [14] Tiffany Field. 2003. Touch. MIT, Cambridge, Mass.; London.
[1] Peter A. Andersen and Kenneth Leibowitz. 1978. The development and nature
of the construct touch avoidance. J Nonverbal Behav 3, 2 (December 1978), [15] Terrence Fong, Illah Nourbakhsh, and Kerstin Dautenhahn. 2003. A survey of
89–106. DOI:[Link] socially interactive robots. Robotics and Autonomous Systems 42, 3 (March
2003), 143–166. DOI:[Link]
[2] T. W. Bickmore, R. Fernando, L. Ring, and D. Schulman. 2010. Empathic
Touch by Relational Agents. IEEE Transactions on Affective Computing 1, 1 [16] Jonathan Gratch, Sin-Hwa Kang, and Ning Wang. 2013. Using Social Agents to
(January 2010), 60–71. DOI:[Link] Explore Theories of Rapport and Emotional Resonance. In Social Emotions in
Nature and Artifact, Jonathan Gratch and Stacy Marsella (eds.). Oxford
[3] Timothy Bickmore and Justine Cassell. 2001. Relational Agents: A Model and University Press, 181–197.
Implementation of Building User Trust. In Proceedings of the SIGCHI DOI:[Link]
Conference on Human Factors in Computing Systems (CHI ’01), ACM, New
York, NY, USA, 396–403. DOI:[Link] [17] Jonathan Gratch, Ning Wang, Anna Okhmatovskaia, Francois Lamothe,
Mathieu Morales, R. J. van der Werf, and Louis-Philippe Morency. 2007. Can
[4] Timothy W. Bickmore and Justine Cassell. 1999. Small Talk and Virtual Humans Be More Engaging Than Real Ones? In Human-Computer
Conversational Storytelling In Embodied Conversational Interface Agents. Interaction. HCI Intelligent Multimodal Interaction Environments (Lecture
Notes in Computer Science), Springer Berlin Heidelberg, 286–297.
[5] Fabien Boucaud, Quentin Tafiani, Catherine Pelachaud, and Indira Thouvenin.
2019. Social Touch in Human-agent Interactions in an Immersive Virtual [18] Matthew J. Hertenstein, Rachel Holmes, Margaret McCullough, and Dacher
Environment: In Proceedings of the 14th International Joint Conference on Keltner. 2009. The communication of emotion via touch. Emotion 9, 4 (2009),
Computer Vision, Imaging and Computer Graphics Theory and Applications, 566–573. DOI:[Link]
SCITEPRESS - Science and Technology Publications, Prague, Czech Republic,
129–136. DOI:[Link] [19] Matthew J. Hertenstein, Dacher Keltner, Betsy App, Brittany A. Bulleit, and
Ariane R. Jaskolka. 2006. Touch communicates distinct emotions. Emotion 6, 3
[6] Justine Cassell, Alastair J. Gill, and Paul A. Tepper. 2007. Coordination in (2006), 528–533. DOI:[Link]
conversation and rapport. In Proceedings of the Workshop on Embodied
Language Processing - EmbodiedNLP ’07, Association for Computational
WACAI 2020, Juin, 2020 F. Boucaud et al.

[20] Matthew J. Hertenstein, Julie M. Verkamp, Alyssa M. Kerestes, and Rachel M. [35] Martin S. Remland, Tricia S. Jones, and Heidi Brinkman. 1995. Interpersonal
Holmes. 2006. The communicative functions of touch in humans, nonhuman Distance, Body Orientation, and Touch: Effects of Culture, Gender, and Age.
primates, and rats: a review and synthesis of the empirical research. Genetic, The Journal of Social Psychology 135, 3 (June 1995), 281–297.
social, and general psychology monographs 132, 1 (2006), 5–94. DOI:[Link]
DOI:[Link]
[36] Sérgio Hortas Rodrigues, Samuel Mascarenhas, João Dias, and Ana Paiva.
[21] Gijs Huisman, Jan Kolkmeier, and Dirk Heylen. 2014. With Us or Against Us: 2015. A Process Model of Empathy For Virtual Agents. Interact Comput 27, 4
Simulated Social Touch by Virtual Agents in a Cooperative or Competitive (July 2015), 371–391. DOI:[Link]
Setting. In Intelligent Virtual Agents (Lecture Notes in Computer Science),
Springer International Publishing, 204–213. [37] Fiorella de Rosis, Catherine Pelachaud, Isabella Poggi, Valeria Carofiglio, and
Berardina De Carolis. 2003. From Greta’s mind to her face: modelling the
[22] Carroll E. Izard. 2010. The Many Meanings/Aspects of Emotion: Definitions, dynamics of affective states in a conversational embodied agent. International
Functions, Activation, and Regulation. Emotion Review 2, 4 (October 2010), Journal of Human-Computer Studies 59, 1 (July 2003), 81–118.
363–370. DOI:[Link] DOI:[Link]

[23] Stanley E. Jones. 1986. Sex differences in touch communication. Western [38] Klaus R. Scherer. 2000. Psychological models of emotion. In The
Journal of Speech Communication 50, 3 (December 1986), 227–241. neuropsychology of emotion. Oxford University Press, New York, NY, US,
DOI:[Link] 137–162.

[24] Marianne LaFrance. 1979. Nonverbal Synchrony and Rapport: Analysis by the [39] Juulia T. Suvilehto, Enrico Glerean, Robin I. M. Dunbar, Riitta Hari, and Lauri
Cross-Lag Panel Technique. Social Psychology Quarterly 42, 1 (March 1979), Nummenmaa. 2015. Topography of social touching depends on emotional
66. DOI:[Link] bonds between humans. Proc Natl Acad Sci USA 112, 45 (November 2015),
13811–13816. DOI:[Link]
[25] Jerry Lin, Marc Spraragen, and Michael Zyda. 2012. Computational Models of
Emotion and Cognition. In Advances in Cognitive Systems, 59–76. [40] Erin H. Thompson and James A. Hampton. 2011. The effect of relationship
status on communicating emotions through touch. Cognition and Emotion 25, 2
[26] Gale M. Lucas, Jonathan Gratch, Aisha King, and Louis-Philippe Morency. (February 2011), 295–306. DOI:[Link]
2014. It’s only a computer: Virtual humans increase willingness to disclose.
Computers in Human Behavior 37, (August 2014), 94–100. DOI:[Link] [41] Linda Tickle-Degnen and Robert Rosenthal. 1990. The Nature of Rapport and
10.1016/[Link].2014.04.043 Its Nonverbal Correlates. Psychological Inquiry 1, 4 (October 1990), 285–293.
DOI:[Link]
[27] Gale M. Lucas, Albert Rizzo, Jonathan Gratch, Stefan Scherer, Giota Stratou,
Jill Boberg, and Louis-Philippe Morency. 2017. Reporting Mental Health [42] Zhao R., Papangelis A., Cassell J. 2014. Towards a Dyadic Computational
Symptoms: Breaking Down Barriers to Care with Virtual Human Interviewers. Model of Rapport Management for Human-Virtual Agent Interaction. In:
Front. Robot. AI 4, (2017). DOI:[Link] Bickmore T., Marsella S., Sidner C. (eds) Intelligent Virtual Agents. IVA 2014.
Lecture Notes in Computer Science, vol 8637. Springer, Cham
[28] Stacy Marsella, Jonathan Gratch, and P Petta. 2010. Computational models of
emotion. A Blueprint for Affective Computing-A Sourcebook and Manual
(January 2010), 21–46.

[29] Matthew M. Martin and Carolyn M. Anderson. 1993. Psychological and

biological differences in touch avoidance. Communication Research Reports
10, 2 (December 1993), 141–147.
DOI:[Link]

[30] Sarah McIntyre, Athanasia Moungou, Rebecca Boehme, Peder Mortvedt Isager,
Frances Lau, Ali Israr, Ellen A. Lumpkin, Freddy Abnousi, and Haakan
Olausson. 2019. Affective touch communication in close adult relationships.
DOI:[Link]

[31] Albert Mehrabian and James A. Russell. 1974. An approach to environmental

psychology. MIT Press, Cambridge, Mass.

[32] Desmond C. Ong, Jamil Zaki, and Noah D. Goodman. 2019. Computational
Models of Emotion Inference in Theory of Mind: A Review and Roadmap.
Topics in Cognitive Science 11, 2 (2019), 338–357.
DOI:[Link]

[33] Sandra Petersen, Susan Houston, Huanying Qin, Corey Tague, and Jill Studley.
2016. The Utilization of Robotic Pets in Dementia Care. JAD 55, 2 (November
2016), 569–574. DOI:[Link]

[34] Rainer Reisenzein, Eva Hudlicka, Mehdi Dastani, Jonathan Gratch, Koen
Hindriks, Emiliano Lorini, and John-Jules Meyer. 2013. Computational
Modeling of Emotion: Towards Improving the Inter- and Intradisciplinary
Exchange. IEEE Transactions on Affective Computing 4, n° 3 (July 2013), 246–
266. DOI:[Link]