Module de cours
B. Arnaldi
IRISA
Campus de Beaulieu
35042 Rennes Cedex
Introduction à la
Réalité Virtuelle
Plan de l’exposé
n Le besoin industriel
n L’interaction
n Le retour d’effort
n La coopération
Cadre et définitions
n Une interface se compose de trois parties
l un (ou plusieurs) périphérique d'entr ée, qui assure la
saisie des actions de l'utilisateur, comme le clavier ou la
souris, et qui définit un premier sous-ensemble de la
partie matérielle de l'interface,
l un (ou plusieurs) périphérique de sortie, qui assure la
restitution des informations produites par l'ordinateur,
comme l'écran ou les haut- parleurs, constituant le dernier
sous-ensemble de la partie matérielle,
l des fonctions de transfert impl ément ées à l'aide de
composants logiciels qui associent au stimulus moteur
reçu par le premier un stimulus sensoriel émis par le
second et traduisant le changement induit dans
l'application.
1
Cadre et définitions
n Les périphériques
l vont établir certaines limites de bas niveau
l fixent les degrés de libert é possibles
l Fixent les qualités potentielles d'utilisation
n Les composants logiciels
l déterminent la pertinence d'une interface pour des
exigences fixées
l contournent les limites imposées matériellement.
Cadre et définitions
n Paradigme :
l On parlera de techniques ou paradigmes d ’interaction pour désigner
une méthode, une stratégie, un sc énario d ’utilisation, permettant à
l’utilisateur d ’accomplir une tâche précise dans l’univers virtuel
4 naviguer : la première des attentes de l'utilisateur est de visualiser
l'environnement virtuel (EV) depuis des points d'observation
différents,
4 sélectionner : ensuite, il souhaite pouvoir désigner les objets de
l'EV et sélectionner ceux sur lesquels il désire exercer un
traitement,
4 manipuler : ce qu'il fait en manipulant les objets sélectionnés,
4 contr ôler l’application : enfin, l’utilisateur à besoin d’émettre des
commandes pour contrôler l’application.
Cadre et définitions
n Métaphore :
l On parlera de métaphores pour les analogies
utilisées par les fonctions de transfert
l Une métaphore d’interaction signifie qu’un outil
virtuel est la métaphore, la transposition, d’un objet
ou d’un concept réel
2
Cadre et définitions
n Critère de classification des dispositifs matériels
l la précision dans la mesure des distances et des angles
l la vitesse d' échantillonnage,
l la latence de la mesure,
l la portée de l'équipement qui délimite le volume utilisable,
l l'encombrement en termes de volume et de poids,
l la fiabilité notamment par rapport aux interférences
(électromagn étiques par exemple) induites par des
équipements proches,
l la facilit é d'apprentissage pour un utilisateur néophyte,
l la facilit é d'utilisation pour un expert,
l la transparence vis à vis de l'application
l les coûts d'acquisition et de fonctionnement
Paradigmes d’interaction :
Le déplacement
n actions réalisées par l’utilisateur pour se mouvoir à
l’intérieur d’un espace virtuel
l principal problème
4 consiste à spécifier un d éplacement virtuel quelconque sans
déplacement physique
4 ou avec un déplacement physique restreint
l Le matériel (périphériques, environnement virtuel, place
disponible) peut contraindre les techniques utilisées
4 un mouvement des jambes ne peut pas être proposée à un
utilisateur assis
4 une souris ne peut pas être proposée à un utilisateur debout sans
plan de travail à sa disposition
Paradigmes d’interaction :
Le déplacement
n Spécification d’un mouvement relatif à la
position courante de manière continue tout au
long du déplacement
l Techniques utilisant la marche
4 tracking dans de grands espaces :
– L’avantage est de permettre à l’utilisateur d’utiliser les sens
kinesthésiques (perception de la position, du mouvement et de la
tension des muscles)
– et vestibulaire (perception de l’équilibre par l’oreille interne)
– solutions techniques : suivi de mouvements magnétique,
optique, ultrasons...
3
Paradigmes d’interaction :
Le déplacement
l Techniques utilisant la marche
4 marche sur place et analyse des mouvements
– propose à l’utilisateur de marcher sur place
– Le GAITER, [Templeman Naval Research Labs] est un
système d’analyse de mouvements permettant à l’utilisateur
de se déplacer dans l’environnement virtuel en marchant sur
place
– Le système enregistre les mouvements de ses pieds, et
détermine la direction et la vitesse du déplacement.
Paradigmes d’interaction :
Le déplacement
l Techniques basées sur
les tapis roulants
4 réduction de l’espace
nécessaire aux
mouvements physique de
l’utilisateur
4 Le sujet se tient debout et
marche sur un tapis mobile
Paradigmes d’interaction :
Le déplacement
l Techniques utilisant un
Poste de conduite
4 utiliserun poste de
conduite :
– poste de conduite
automobile,
– poste de pilotage,
– ou tout simplement une
bicyclette
4
Paradigmes d’interaction :
Le déplacement
l Techniques inspirée de l’interaction à 2
dimensions
4 les solutions « grab the air »
– mouvoir l’espace autour de l’utilisateur
– agrippe n’importe quel point de l’espace et l’amène à lui ou le
déplace de façon quelconque
4 Les solutions « drive » ou « fly »
– l’utilisateur définit une direction et une vitesse en 2D ou 3D
– Certains auteurs utilisent même les mouvements de la tête
Paradigmes d’interaction :
Le déplacement
l Autres techniques
4 Certaines techniques se
fondent sur un déplacement
physique de l ’utilisateur
4 tapis non mobile muni de
capteurs comme le VMC ou
Virtual Motion Controller (Hit
Lab Univ. Washington, cf
illustration)
4 tapis plan, recouvert de
capteurs pié zo-électriques
permettant de mesurer la
position des pieds
Paradigmes d’interaction :
Le déplacement
n Spécification d’un déplacement absolu en
indiquant le point final
l l’application opère un déplacement en ligne droite du
point de départ à la cible
4 L’utilisateur peut faire son choix en pointant sur la
cible,
4 en choisissant dans une liste de destinations
4 ou encore en saisissant les coordonn ées finales.
5
Paradigmes d’interaction :
Le déplacement
n Spécification d’un certain nombre de points de
passage jusqu'à la destination
l compromis entre la spécification continue et le
déplacement par spécification de la cible
4 L’utilisateur indique le point final du déplacement ainsi
qu’ un certain nombre de positions intermédiaires.
4 Il peut le faire en plaç ant des marqueurs sur un plan le
long du chemin d ésir é.
Paradigmes d’interaction :
Le déplacement
n Déplacement en modifiant la position du point
de vue
l Un exemple est celui du « World in Miniature »
(WIM) [Stoakley95].
4 l’utilisateur tient la caméra en main et la positionne à
l’intérieur d ’une représentation miniaturisée du monde
virtuel.
Paradigmes d’interaction :
Sélection et manipulation
n Contraintes psychosensorielles
l Le toucher, la préhension et la manipulation d ’objets sont les
premiers moyens que l’homme utilise pour agir sur son
environnement physique
l La manipulation d ’objets est une action particulièrement
intégrée par le cerveau
4 attraper un objet en mouvement
4 ou le maintenir en équilibre
l Dans le monde réel, la préhension d’un objet se fait directement
avec la main et tous les sens sont disponibles pour assister le
mouvement (en particulier la vue, le toucher et l ’o uïe)
6
Paradigmes d’interaction :
Sélection et manipulation
n Contraintes psychosensorielles
l En environnement virtuel, la perception de l’environnement et
les modes d’action sont moins riches et dépendent de
nombreux facteurs :
4 Les périphériques utilisés
– perception de l’environnement diff érente lorsque ’lon utilise une simple
souris, un tracker magn étique, ou un gant de donn ées
4 Le type et le mode de retour sensoriels
– la simulation en temps r é el, la pré sence de retours sonore et tactile sont
autant de facteurs participant à la qualit é de la sensation d’immersion.
4 Les conditions particulières de l’environnement et de la tâche
– La taille (r é elle et apparente) et la forme des objets détermine leur facilit é
de s élection et de manipulation
4 Les spécificités des utilisateurs
– niveau d’exp érience, capacit é d ’apprentissage, imagination
Paradigmes d’interaction :
Sélection et manipulation
n Sélection :
l désignation d’un ou plusieurs objets dans l’univers
virtuel en vue d’une utilisation ultérieure
n Manipulation :
l modification des propriét és d’un ou plusieurs objets,
le plus souvent de la position et de l’orientation
l Mais aussi
4 texture,
4 transparence,
4 taille …
Paradigmes d’interaction :
Sélection et manipulation
n La technique de la
Main Virtuelle
l Technique « la plus
naturelle »
l utilisée pour
sélectionner et déplacer
les objets
l elle reproduit les
mouvements de la main
de l’utilisateur
7
Paradigmes d’interaction :
Sélection et manipulation
n usage d’un accessoire « prop »
l manipulation plus intuitive
l l’exemple le plus marquant est une application de
neurochirurgie
4 un m édecin utilise une tête de poupée pour manipuler un
modèle num érique de cerveau obtenu par IRM
4 A l’aide d ’une tablette rectangulaire, il peut aussi contr ôler
la position d ’un plan de coupe
l les « props » permettent de profiter des avantages
d’un objet physique (cadre naturel, cohérence des
informations sensorielles, retour tactile)
Paradigmes d’interaction :
Sélection et manipulation
n la technique du lancer de
rayon (ou technique du
rayon laser)
l Pour pallier la limitation des
déplacements de la main
virtuelle
l pointer sur les objets à l’aide
d’un rayon virtuel
l présente des limitations pour
le positionnement et la
rotation des objets
Paradigmes d’interaction :
Sélection et manipulation
n La technique du « Flash Light »
l Extension de la technique du rayon laser
l l’outil de sélection n ’est plus un rayon mais un cône dont le
sommet est au niveau de la main de l ’utilisateur
l tout objet inclus dans ce volume de sélection est pris en compte
l Cette m éthode permet une sélection facile d ’objets lointains ou
petits,
l mais induit des ambiguïtés de sélection pour les objets proches
l et elle présente des limitations pour le positionnement et les
rotations
8
Paradigmes d’interaction :
Sélection et manipulation
n Les combinaisons de techniques
l L’agrégation de techniques : l’utilisateur possède un moyen de
choisir explicitement l ’une ou l ’autre des techniques au cours de la
tâche.
4 Exemple le Virtual Tricorder : qui est une forme de télécommande
permettant de choisir parmi diff érentes techniques d’interaction.
l Les techniques hybrides : lors de la tâche, le système passe d ’une
technique à l’autre automatiquement et de manière transparente
pour l ’utilisateur en fonction du contexte de la tâche. L’idée est de
fournir à l’utilisateur la technique de manipulation la mieux
adaptée
4 Un exemple combine le lancer de rayon et la manipulation directe avec
la main virtuelle.
4 technique« HOMER » (Hand-centered Object Manipulation
Extending Ray-casting Technique)
Paradigmes d’interaction :
Contrôle d’application
n Définition :
l action d ’envoyer des commandes à l’application dans le but de
changer, par exemple, l’état du système, le mode d ’interaction
ou les propriétés des entités
4 Dans le monde 2D : WIMP (Windows, Icons, Menus, and
Pointing),
4 elle désigne le système classique des fenêtres, menus déroulants et
icônes des stations de travail
4 Dans le monde 3D, un tel consensus n’existe pas !
l critère de classification
4 manuel,
4 gestuel
4 verbal (parole)
Paradigmes d’interaction :
Contrôle d’application
n mode verbal
l il est naturel,
l il laisse les mains libres,
l il ne requiert pas l’affichage de menus,
l ni l’utilisation de périphériques
l cependant jusqu’à présent le moins répandu :
4 difficilement compatible avec un travail de groupe
4 Nécessite un apprentissage qui peut devenir long
l Très forte perspective pour le futut !
9
Paradigmes d’interaction :
Contrôle d’application
n Mode gestuel
l une commande est associ ée à chaque geste ou posture
4 Main
4 Membre
4 Corps
l Technologie :
4 lavision à l’aide de caméras,
4 l’utilisation
de gants de données
4 Systèmes de Motion Capture
Paradigmes d’interaction :
Contrôle d’application
n Mode gestuel (postures et gestes continus)
l Intérêt
4 relativeindépendance par rapport au système de
visualisation
4 Potentiellementtrès riche
l Inconvénient
4 pas toujours tr ès naturel
4 l’utilisateur
peut avoir des difficultés à mémoriser un grand
nombre de commandes
4 Sensible aux perturbation (une mouche dans
l’environnement !)
Paradigmes d’interaction :
Contrôle d’application
n mode manuel
l le plus couramment employ é
l deux situations :
4 l’utilisation d’outils (inclus la sélection par bouton de commande)
– exploite deux métaphores (outil/bouton) qui rendent l’approche très
naturelle
– l’interface virtuelle propose un certain nombre d’outils (sous la forme
d’accessoires, ou “props” en anglais) qui ont chacun une fonction précise.
La sélection de l’un ou l’autre de ces “props” assure le choix de la
commande
4 l’utilisation de menus graphiques (ou de « widgets » ).
– Le bouton est un mode de sélection très utilisé en 2D grâce aux touches du
clavier ou aux boutons de la souris
– caractère bi-dimensionnel du concept (menus/ widgets 2D),
– Extension de ce concept en 3D (menus/ widgets 3D)
10
Paradigmes d’interaction :
Contrôle d’application
n Sélection :
l La tâche qui consiste à choisir un item dans un menu
l C’est intrinsèquement une tâche 1D
l Avec support physique
4 Sur l’écran du systè me de visualisation
4 Sur une palette tenue en main
4 Un système indé pendant tel qu’un ordinateur personnel
tenu en main (PalmPilot)
Paradigmes d’interaction :
Contrôle d’application
n Sélection
l Sans support physique
4 positionnement centr é monde : le menu est placé de façon libre
dans l’espace 3D
4 Le positionnement centr é objet : le menu est associé à un objet
4 Le positionnement centr é utilisateur : corps, tête, main
– Exploitation du sens proprioceptif (conscience de la position de son corps)
– Positionner le menu par rapport à la main permet aussi de s’affranchir
partiellement des dimensions supplémentaires introduites par la 3D
4 Le positionnement centr é périphérique :
– d’exploiter le référentiel physique donné par la configuration matérielle
– exemple : placer le menu à une position fixe par rapport aux écrans qui
constituent un référentiel fort
11