Evaluation et conception des systèmes mixtes selon une

approche centrée utilisateur

Syrine Charfi
LIIHS – IRIT
UPS 118 Route de Narbonne, F-
31062 TOULOUSE CEDEX 9
Charfi@[Link]

RESUME l’utilisateur. La présence d’objets numériques et physiques

Les systèmes mixtes sont des systèmes interactifs impliquant des utilisés, a une influence sur l’interaction durant la tâche mixte
entités des mondes physiques et numériques. Face à cette ainsi que sur le déroulement de l’activité et pose de nouveaux
spécificité, la conception de tels systèmes doit intégrer des aspects problèmes en termes de conception.
complémentaires à une conception d'IHM traditionnelle. Développer un processus de conception spécifique aux systèmes
Le modèle des systèmes mixtes ASUR s'inscrit dans cette optique mixtes constitue un des enjeux actuels en IHM. Dans le domaine
en permettant de décrire l’interaction dans une tâche mixte. Pour des IHM traditionnelles, plus de 12 modèles de conception sont
une tâche donnée, il identifie et caractérise les composants présents dans la littérature. Parmi eux, les modèles du domaine,
impliqués, les informations et les relations entre ces composants. de présentation et de dialogue sont les seuls à être partiellement
ASUR constitue un support au raisonnement technique, et met en pris en compte dans les approches destinées aux systèmes mixtes.
valeur des propriétés en relation avec l’étude de l’utilisabilité du Pour enrichir ces approches de conception, nous nous intéressons
système. à deux éléments complémentaires essentiels : (1) l’expression de
l’intégration des systèmes mixtes dans l’activité globale de
ASUR étant centré sur une tâche, il ne permet pas d'étudier la l’utilisateur ; (2) l’intégration des aspects liés à la dynamique des
synchronisation, la dynamicité, ni la cohérence entre deux tâches situations interactives mixtes. Or ces 2 éléments sont en partie
exprimées à un niveau d'abstraction identique ou différent. Il véhiculés par les modèles de tâches : le but de notre travail est
ressort des méthodes de conception d'IHM que ces aspects sont donc d’explorer et de caractériser l’articulation des modèles de
plus facilement explorables au travers des modèles de tâches. systèmes mixtes et des modèles de tâches pour contribuer à
Ainsi, le modèle MAD permet de décrire les tâches de l’utilisateur l’élaboration d’un processus de conception des systèmes mixtes.
à différents niveaux d’abstraction, leur articulation, les objectifs Pour illustrer et valider notre approche, nous nous appuyons sur
de l’utilisateur, les pré et post-conditions, etc. une application concrète en cours de développement, destinée à
Afin de tirer profit des aspects complémentaires couverts par ces être implantée dans le Muséum d’Histoires Naturelles de
deux modèles, l'objectif des travaux est la mise en évidence Toulouse.
d'espaces de recouvrement permettant l’articulation de MAD et Après avoir brièvement présenté cette application, nous
ASUR. La caractérisation de ces espaces, constitués d'éléments présentons le domaine et les définitions des systèmes mixtes.
communs aux deux modèles ou d'éléments liés sémantiquement Nous présentons ensuite un panorama des modèles de tâches et
par d'autres intermédiaires, mènera à l'identification des modèles de systèmes mixtes existants. Enfin, nous identifions
d'enseignements théoriques complémentaires, support à l'étude de les fondements d’une articulation entre deux de ces modèles,
la cohérence entre les techniques d'interaction à mettre en œuvre MAD et ASUR, en les illustrant avec notre cas d’étude.
au cours d'une activité impliquant une séquence de sous-tâches.
2. Cas d’étude en contexte muséal
Categories and Subject Descriptors Ce travail est réalisé dans le cadre du projet Protopraxis en
H5.2 [Information Interfaces and Presentation]: User-Centred collaboration avec la société Metapages et le Muséum d’Histoires
Design, Theory and Methods, Ergonomics. Naturelles de Toulouse. Le but de ce projet est le développement
d’une application interactive permettant d’apprendre la
cladistique (nouvelle méthode de classification des êtres vivants).
General Terms
Design, Human Factors. L’application existante, codée en Director et basée sur le
paradigme WIMP, est constituée de trois étapes principales : (1)
l’utilisateur organise librement dix animaux qui lui sont présentés
Mots Clés puis annote son organisation; (2) les animaux sont présentés
Systèmes mixtes, conception, modèle d’interaction, modèle de ensuite par groupe de trois. Les caractéristiques communes de
tâches, utilisabilité. l’animal de référence et des deux autres animaux sont ensuite
affichées (Fig. 1.a). Une représentation graphique (cladogramme)
1. INTRODUCTION structure le résultat de ces comparaisons (Fig. 1.b); (3)
Les systèmes mixtes résultent de la fusion du monde physique et l’utilisateur réorganise librement les animaux et ré-annote
du monde numérique regroupant ainsi la réalité augmentée et la l’organisation.
virtualité augmentée. La particularité de ces systèmes, de par cette
fusion, est la multiplicité des objets intervenant dans la tâche de
Cette approche constitue un noyau original pour transmettre un 4. MODELES CANDIDATS POUR LA
contenu en contexte muséal. Afin d’offrir des formes
d’expériences interactives complémentaires, le développement CONCEPTION DES SYSTEMES MIXTES
d’alternatives basées sur l’usage de techniques d’interaction 4.1 Modèles de tâches
mixtes pour tout ou une partie de l’application existante est en Parmi les modèles de tâche les plus utilisés [7], nous distinguons
cours d’étude. 3 formes de couvertures : (1) En phase d’analyse, le modèle GTA
permet de modéliser la complexité des tâches dans un
environnement coopératif. TKS est une représentation
conceptuelle de la connaissance qu’a un utilisateur d’une tâche
particulière. Une tâche est ici déterminée selon le rôle de la
personne ; (2) En phase de conception, les modèles CTT et MAD
[10] permettent de décrire différents types de tâches et les
relations entre tâches de même niveau en utilisant des opérateurs.
DIANE + décrit formellement une tâche en se basant sur les
Figure 1 : a. Comparaison des animaux par groupe de 3 concepts d’opération, séquencement et décomposition. (3) En
b. Structuration du résultat de comparaison en cladogramme phase d’évaluation, GOMS a pour but l’optimisation de la
performance de l’utilisateur en permettant l’évaluation du temps
d’exécution et d’apprentissage.
3. SYSTEMES MIXTES
Il existe différentes approches de classification des systèmes Les modèles de tâches, cités ci dessus, utilisent des notations
mixtes. Dans le domaine de la synthèse d’image, les systèmes de différentes. Un méta modèle unifié des modèles de tâches a été
réalité mixte sont classés selon trois concepts [9] : extent of world proposé par [7], synthétisant les représentations fournies par les
knowledge qui exprime la quantité de connaissance qu’a le différents modèles.
système du monde, reproduction fidelity qui exprime le taux de
fidélité du système quant à sa représentation du monde et extent of
4.2 Modèles des systèmes mixtes
Plusieurs modèles ont été proposés pour la conception des
presence metaphor qui correspond au degré d’immersion de
systèmes mixtes : ils adoptent des approches différentes. Dans le
l’utilisateur et au point de vue exocentrique ou egocentrique.
domaine des interfaces tangibles, le paradigme TAC [13] et
Une deuxième approche, basée sur la réalisation de la tâche de l’architecture MCPrd [5] décrivent les éléments requis. Le
l’utilisateur, regroupe plusieurs axes de classification [8]. Le premier s’intéresse à la description des éléments physiques tandis
premier axe de classification proposé est la forme de que le deuxième se focalise sur la structure logicielle des TUI.
l’augmentation, optique et vidéo, graphique 3D et textuelle, Trevisan [14], ASUR [4], IRVO [2] et MIM [1] sont des modèles
guidage sonore et haptique. Le second axe est la cible de et des notations fondés sur l’identification des entités, des
l’augmentation qui peut être l’utilisateur, l’environnement ou caractéristiques et des outils pertinents pour les systèmes mixtes.
l’objet. Ces modèles fournissent différents points de vue sur des
Une autre approche caractérise ces systèmes selon leur capacité à dimensions spécifiques aux systèmes mixtes, non intégrées dans
reconnaitre la situation de l’utilisateur et à pallier aux problèmes les approches de conception traditionnelles en IHM. En effet, ils
de frontières entre les mondes réels et virtuels [12]. L’interaction permettent de décrire la tâche en identifiant les objets physiques
est désignée par le terme « interaction augmentée ». et numériques ainsi que leurs rôles et les relations entre eux. Ils
permettent, ensuite, de comparer et d’explorer les systèmes en
Enfin, le terme « système mixte » a été introduit pour désigner un constituant un support à l’exploration des techniques d’interaction
système interactif mêlant une partie du monde physique et une mixtes. D’autre part, ils aident à l’évaluation, en mettant en valeur
partie du monde numérique [3]. Deux caractéristiques sont des propriétés liées à ces concepts et en relation avec l’étude de
identifiées : l’objet de la tâche (physique ou numérique) et le type l’utilisabilité du système.
d’augmentation (évaluation ou exécution). Le système est dit de
réalité augmentée (RA) lorsque l’objet de la tâche est physique et 5. FONDEMENTS DE L’ARTICULATION
de virtualité augmentée (VA) lorsqu’il est numérique. Par MAD – ASUR
exemple, lorsque l’utilisateur est guidé dans un bâtiment grâce à Parmi les différentes instances de ces deux classes de modèles,
des indications numériques affichées sur un HMD [11], il s’agit tâches et systèmes mixtes, nous avons retenu respectivement les
d’un système de RA proposant une augmentation de l’évaluation. modèles MAD et ASUR. En effet, l’articulation s’inscrivant dans
Dans un système de VA, des palets magnétiques représentent des la phase de conception et les systèmes mixtes impliquant des
données numériques - articles ou noms d’auteurs- sont manipulés objets et des dispositifs, la gestion des objets du monde proposée
physiquement pour les organiser sur un tableau [6]. Il s’agit d’un dans MAD constitue un atout par rapport aux autres modèles de
système de VA enrichissant l’exécution de l’utilisateur. tâches. De plus, MAD est doté d’un éditeur graphique : K-MADe.
Les systèmes mixtes sont au cœur de nos travaux, quelque soit le Par ailleurs, ASUR est le seul modèle des systèmes mixtes à
type d’augmentation. Nous synthétisons dans la section suivante proposer un éditeur graphique dédié, GuideMe, qui permet en
les travaux relatifs aux 2 dimensions essentielles que nous outre l’export des modèles dans un format standard (XML).
identifions pour la conception des systèmes mixtes : les approches Nous présentons les principes conducteurs de ces deux modèles
de modélisation de la tâche ainsi que les approches spécifiques ainsi que les bases de leur articulation.
aux systèmes mixtes.
5.1 Le modèle MAD En outre, les conditions décrites dans le corps de la tâche MAD
MAD (Méthode Analytique de Description) [10] est centré sur permettent de décrire la dynamicité et les relations entre les tâches
l’unité tâche, qui peut être décrite selon deux aspects, la grâce aux pré et post-conditions décrites de manière formelle.
décomposition et le corps. Dans notre exemple, la tâche Découvrir comparaison a pour pré-
condition le rapprochement de la figurine de comparaison et de la
La décomposition d’une unité tâche d’un niveau donné donne lieu figurine de référence, exprimé en post-condition par la tâche
à plusieurs unités tâches de niveau inférieur. La décomposition Déplacer figurine comparée vers figurine de référence.
offre des opérateurs de synchronisation, d’ordonnancement
temporel et auxiliaire. Enfin, la gestion des objets du monde réalisée dans MAD permet
de regrouper les objets physiques et numériques et de définir
Le corps permet de caractériser la tâche et est constitué du noyau, l’état des objets avant et après le déroulement d’une tâche.
des conditions et de l’état du monde. Le noyau regroupe un
ensemble d’attributs textuels tel que le nom, la priorité, le but, le
type, la modalité etc. Les conditions, quant à elles, expriment les
pré et post-conditions de manière formelle suivant une grammaire
prédéfinie. Enfin, l’état du monde permet d’identifier les
différents objets manipulés par la tâche.

5.2 Le modèle ASUR

La notation ASUR (Adaptor, System, User, Real objects) permet
de décrire l’interaction de l’utilisateur avec un système mixte
durant une tâche. Pour une tâche donnée, ASUR décrit les
composants intervenant dans la tâche : l’utilisateur U ; les objets
physiques R : objet de la tâche RObject ou outil utilisé pour
Figure 2 : Arbre MAD de la tâche « Comparer deux
réaliser la tâche RTool ; les objets numériques S : objet de la
Figurines »
tâche SObject, entité agissant sur d'autres objets numériques,
STool, et SInfo ; les adaptateurs A : notés AIn en entrée et AOut 5.3.2 Apports de ASUR pour les systèmes mixtes
en sortie, ils relient les mondes physique et numérique. ASUR permet de représenter les entités physiques et numériques
Les relations entre les composants - échange de données, impliquées. Figure 3 représente la tâche Comparer deux Figurines
contraintes spatiales, liens de représentation – font également en ASUR réalisée avec l’outil GuideMe. Elle montre l’utilisateur
partie du modèle ASUR. Ce dernier permet également d’identifier U, à droite du diagramme, la figurine de référence, la figurine
des caractéristiques propres aux relations ou aux composants, comparée, l’animal de référence, l’animal comparé, le localisateur
comme le langage d’interaction, le poids de la relation, le sens et le dispositif d’affichage.
perceptif ou actionnel requis etc. Le formalisme ASUR complète cette représentation par une
description pointue du rôle et de la nature de ces entités
5.3 Bilan impliquées dans l’IHM en prédéfinissant les types de composants
Pour illustrer ces deux modèles et leurs points d’ancrage et de ASUR et de relations. Dans cet exemple, l’animal de référence est
complémentarité, nous nous appuyons sur l’application muséale. représenté par un SInfo montrant ainsi qu’il s’agit d’une entité
Nous considérons, pour cette section, la tâche Comparer deux numérique. Par contre la figurine de référence est représentée par
Figurines qui consiste à comparer deux animaux en manipulant un RTool, montrant qu’il s’agit d’une part d’un objet physique et
des figurines. Durant cette tâche, l’utilisateur commence par d’autre part que cet objet sert d’outil à l’interaction. La figurine
choisir la figurine à comparer, la déplace ensuite vers la figurine comparée et la figurine de référence sont des représentations des
de référence et découvre alors les caractéristiques communes aux deux objets numériques, animal de référence (Sinfo) et animal
deux animaux que le système rend perceptibles. comparé (Sobject). Cette relation est modélisée dans le
5.3.1 Apports de MAD pour les systèmes mixtes diagramme par les flèches en pointillées. En rapprochant la
MAD exprime le déroulement des tâches à un niveau « macro ». figurine comparée de celle de référence, les caractéristiques
En effet, il décrit des relations de synchronisation (parallèle, communes sont rendues perceptibles. La contrainte spatiale entre
séquentiel, simultané) et d’ordonnancement (et, ou, les deux figurines est modélisée par une flèche à deux lignes.
alternatif) entre une tâche mère et ses sous-tâches. Figure 2, ASUR contribue aussi à l’analyse ergonomique du système en
réalisée sur K-MADe, décrit en MAD la décomposition de la exprimant des propriétés sous forme de combinaison de
tâche mère Classer animaux en Comparer deux figurines puis caractéristiques des composants et/ou des relations ASUR. Dans
Examiner cladogramme. Au niveau de la tâche mixte Comparer notre exemple, le modèle ASUR indique que le sens perceptuel
deux figurines, MAD décrit un enchainement séquentiel des sous- des animaux et des caractéristiques est visuel. Il indique aussi que
tâches : repérage de la figurine, déplacement puis découverte de la le lieu de perception des différentes informations est le même.
comparaison. Il décrit aussi la décomposition de la tâche Il permet, d’autre part de raisonner sur l’interaction
Découvrir comparaison de manière séquentielle. indépendamment de toutes considérations matérielles. Le sens de
MAD décrit aussi le déroulement d’une tâche à un niveau perception étant visuel, Aout désigne donc un dispositif
« micro ». En effet, il permet pour une tâche donnée d’utiliser des d’affichage mais le type – projecteur, HMD etc. - n’est pas
opérateurs temporels (début, fin, durée). imposé.
 Notre travail à long terme est de tirer profit de cette articulation
pour pouvoir : (1) établir l’équivalence entre un sous-arbre MAD
et un diagramme ASUR compte tenu des entités reprises et des
descriptions de chacun des modèles ; (2) définir pour une tâche
MAD de haut niveau des éléments de choix entre différentes
alternatives mixtes ASUR ; (3) étudier l’enchainement de tâches
mixtes modélisées en ASUR dans un arbre MAD.

7. REFERENCES
[1]. Coutrix, C., Nigay, L., Mixed Reality : A Model of Mixed
Interaction, Actes AVI’06, Venise, Italie, (2006), pp 43-50
Figure 3 : Diagramme ASUR de la tâche « Comparer deux [2]. Delotte, O., David, B., Chalon, R., Task Modelling for
Figurines » Capillary Collaborative Systems based on Scenarios, Actes
5.3.3 Éléments communs aux modèles MAD et ASUR de TAMODIA, Prague, Rep. Tchèque, (2004), pp. 25-31
La couverture de chacun des deux modèles est différente ce qui [3]. Dubois, E., Chirurgie Augmentée, un cas de réalité
permet de définir un ensemble plus vaste d’éléments pertinents augmentée ; Conception et Réalisation Centrées sur
pour la conception des systèmes mixtes. Il ressort également de l’utilisateur, thèse de l’université Joseph Fourier, Grenoble
cette analyse que trois éléments de conception sont exprimés par I, (2001).
ces deux modèles : le concept de tâche, d’entités et de
[4]. Dubois, E., Gray, P., D., Nigay, L., ASUR ++ : a Design
décomposition d’une tâche.
Notation for Mobile Mixed Systems, Interacting with
Le concept de tâche est exprimé dans les deux modèles. MAD computers (15), (2003), p.497-520
véhicule une vision globale de la tâche puisqu’il décrit l’activité
[5]. Ishii H., Ullmer B., Emerging Frameworks for Tangible User
de l’utilisateur de manière procédurale. ASUR, quant à lui, adopte
Interfaces, IBM Systems Journal 39, (2000),p. 915-931
une vision atomique, puisqu’il décrit l’interaction de l’utilisateur
avec le système pour une tâche donnée. Une tâche ASUR [6]. Jacob, R., Ishii, H., Pangaro, G., Patten, J., A Tangible
correspond donc soit à une feuille MAD, soit à un agrégat de Interface for Organizing Information Using a Grid, CHI
sous-tâches MAD : dans notre exemple, le diagramme ASUR de (2002), April 20-25, 2002, Minneapolis, Minnesota, USA.
la Figure 3 correspond au sous-arbre MAD Comparer deux [7]. Limbourg, Q., Pribeanu, C., Vanderdonckt, J., Towards
figurines de la figure 2. Uniformed Task Models in a Model-Based Approach, 8th
Le concept d’entité est présent dans les deux modèles. Les objets International Workshop on Interactive Systems: Design,
sont fortement typés et décrits dans ASUR de manière formelle. Specification, and Verification-Revised Papers, pp. 164-182,
MAD gère les mêmes objets du monde de manière textuelle. Dans (2001).
figure 3, ASUR représente les objets physiques et numériques, [8]. Mackay, W.E, Réalité Augmentée : le meilleur des deux
tandis que dans figure 2, MAD évoque textuellement les objets mondes, La recherché n°285, (1996), p. 80-84
animal et figurine qui appartiennent aux objets du monde.
[9]. Milgram, P., Kishino, F, A Taxonomy of Mixed reality
Une partie de la décomposition en sous-tâches est exprimée dans Visual Displays, Transactions on Information Systems, E77-
les deux modèles. Les relations entre les sous-tâches d’une même D(12), (1994), p.1321-1329
tâche d’interaction sont traduites dans ASUR graphiquement et
formellement. Elles sont décrites dans MAD de manière formelle [10]. Pierret-Golbreich, C., Delouis, I., Scapin, D., Un outil
avec les conditions. La pré-condition rapprochement de la d'acquisition et de représentation des tâches orienté-objet,
figurine de comparaison et de la figurine de référence dans MAD INRIA Rocquencourt, Le Chesnay, FRANCE, (1989).
(fig. 2) est représentée dans ASUR par la flèche à double trait [11]. Reitmayr, G., Schmalstieg, D., Location based Applications
entre les RTool figurine comparée et figurine de référence (fig. 3). for Mobile Augmented Reality, Fourth Australasian User
Interface Conference (AUIC2003)
6. CONCLUSION ET PERSPECTIVES [12]. Rekimoto, J., Nagao, K., The world through the
Les modèles de systèmes mixtes et les modèles de tâches couvrent
computer :Computer Augmented Interaction with Real
tous les deux des aspects pertinents pour la conception des
World Environnements , Actes du symposium UIST’95,
systèmes mixtes. En nous concentrant sur deux instances
(1995)
particulières, MAD et ASUR, nous avons mis en évidence et
illustré des espaces de recouvrement directs (entités présentes, [13]. Shaer, O., Leland, N., Calvillo-Gamez E. H., Jacob R. J. K.,
concepts de tâche, relations entre sous-tâches). Ces espaces de The TAC paradigm : specifying tangible user interfaces,
recouvrements directs sont au centre de l’articulation de ces deux Personal and Ubiquitous Computing 8.5, (2004), pp. 359-
modèles. Outre ces aspects communs, des aspects 369.
complémentaires sont traités pour chacun de ces modèles, ce qui [14]. Trevisan, D. G., Vanderdonckt, J., Macq, B.,
renforce les besoins d’articulation des deux modèles. Afin de tirer Conceptualising mixed spaces of interaction for designing
profit de cette complémentarité, des espaces de recouvrement continuous interaction, VR’05, Bonn, Germany, 2005, p. 83-
indirects devront également être identifiés et caractérisés pour 95
parfaire l’articulation de ces différents aspects de conception des
systèmes mixtes.