Introduction à
la Réalité
Virtuelle
Mathieu Bourgais
Julien Saunier
Plan du cours
Introduction à la réalité virtuelle / Modélisation 3D : Blender
Introduction à Unity3D et au C#
Animations Mini-Projet
Modélisation de comportements (2 séances)
Casques de réalité Virtuelle, CAVE; interfaces gestuelles
Interfaces vocales, tactiles, Bilan
Introduction réalité augmentée
Suivi & démo finale
Mini projet
Sujet libre, binômes
Unity3d
Développé tout au long du
trimestre (début séance 4/5)
Contraintes :
Environnement 3D
Comportements
Immersion
Projets antérieurs : Minotaure, Tronion, Hoscape, Jurassic
Kittens, Defend the confederation, Room Escape….
Plan
Définitions
Historique rapide
Applications & dispositifs
Eléments d'un dispositif de Réalité Virtuelle
Mais encore...
Actualités
Méthodologie
Objectif : Immersion
Le meilleur rapport
immersion/prix
Positionner la Réalité Virtuelle
Des domaines Adjonction de dispositifs
Informatique Visuels
Graphique Sonores
Spatialisée Haptiques
Automatique Narratifs
Psychologie
Ergonomie
+ Connaissances métiers !
Pas un domaine autonome
Commun : la finalité
« Réalité virtuelle »
Jaron Lanier
Virtual reality (VR) is a computer-simulated
environment that can simulate physical presence in
places in the real world or imagined worlds. Virtual
reality can recreate sensory experiences, including
virtual taste, sight, smell, sound, touch, etc.
Réalité virtuelle?
Artificial reality
Virtualité réaliste
…
Définitions – finalité, fonctionnelle
La finalité de la réalité virtuelle est de permettre à une
ou plusieurs personnes une activité sensori-motrice et
cognitive dans un monde artificiel, créé
numériquement, qui peut être imaginaire, symbolique
ou une simulation de certains aspects du monde réel
La réalité virtuelle permet de s'extraire de la réalité
physique pour changer virtuellement de temps, de lieu,
et/ou de type d'interaction avec le monde simulé
Traité de la réalité virtuelle
Réalité virtuelle ? Pour quoi
faire ?
Pourquoi simuler des éléments d'une réalité ?
Environnement contrôlé
Pourquoi simuler un monde symbolique ?
Comprendre et visualiser
Pourquoi simuler un monde imaginaire ?
Arts
Prospective
Définition technique
La réalité virtuelle est un domaine scientifique et
technique exploitant l'informatique et des interfaces
comportementales en vue de simuler dans un monde
virtuel le comportement d'entités 3D, qui sont en
interaction en temps réel entre elles et avec un ou des
utilisateurs en immersion pseudo-naturelle par
l'intermédiaire de canaux sensori-moteurs.
Traité de la réalité virtuelle
Historique (1)
1979
1er facteur d ’évolution:
Capacités graphiques
-> réalisme
2014
2ème facteur d ’évolution:
Historique (2) Interfaces
-> Immersion
Années 70 -> Portabilité
2015
2018
Applications
Jeux vidéo, narration virtuelle
Formation par simulateur – jeux sérieux (conduite de véhicules,
aérospatiale, médecine): remplace la pratique réelle… Evolution
vers le niveau stratégique.
Applications médicales : traitement des phobies, via la
psychothérapie cognitivo-comportementale, simulation de chirurgie,
traitement des convalescents (coaching), mise au point de prothèses
orthopédiques
Art numérique création artistiques interactives et immersives
(Jeffrey Shaw, Maurice Benayoun, Char Davies), Conservation de
patrimoine culturel (Visites et présentations de musées et de sites
virtuels, reconstitution d'objets et de sites détruits ou endommagés,
sculpture d'objets virtuels…
Télé-immersion, Visualisation scientifique ( Météorologie
Astrophysique, recherche), Urbanisme, études de
psychologie/psychologie sociale et d’ergonomie
Les trois éléments de la RV
Traité de la réalité virtuelle
Dispositifs d'immersion
A chaque application son interface!
Simulateur de conduite ≠ musée virtuel
Traditionnellement, emphase sur le visuel (parfois
considéré comme suffisant)
70 à 80 % d'un budget de jeu vidéo = assets
Jouer sur tous les sens de façon plus ou moins immersive:
Dispositifs visuels: CAVE, vue à 180°, 1 seul écran?
Interactions naturelles ou non: tracking, commande vocale,
dispositifs haptiques
Plateformes dynamiques: longitudinal, latéral, lacet, roulis,
tanguage…
Dispositif:
éléments
Dispositifs visuels
D’un simple écran…
Aux CAVE…
Aux murs d’écrans…
Aux casques…
Projection 3D
Derrière: architectures de
calcul très lourdes (e.g.
clusters de serveur pour une
physique réaliste)
Captation de l’utilisateur (1)
Reconnaissance de
mouvements
Avantage: des périphériques
abordables (Kinect, Wiimote…)
Des systèmes plus évolués
(mais plus contraignants)
Dispositifs haptiques avec
retour d’effort
Combinaisons partielles ou
totales
Captation de l’utilisateur (2)
Captation audio
Agents conversationnels animés, teamwork
Dispositifs spéciaux
Commandes de véhicules…
Tables interactives
Compromis coût,
réalisme, besoin!
Exemple de système complet :
HTC Vive
Une immersion imparfaite
Un gros problème: motion sickness (cinétose)
Paradigmes d'interaction non maîtrisés – suivant les dispositifs
Comment l’évaluer?
Immersion
Présence
Réalisme
Crédibilité
Fidélité psychologique
Dépend du public !
Uncanny Valley – suspension of disbelief M. Roy, 2014
Référence : traité de la réalité virtuelle (4 volumes)
Enjeux éthiques
Isolement / Déconnexion (Matrix), environnements décrits
([Link] psychoses), dispositifs intrusifs...
Immersion / Dimension sociale
Actualités (grand public)
Regain d'intérêt
Restent des problèmes :
équipement
Logiciel ?
Manque de
paradigme
d'interaction
Futures virtual boys ?
Restent les applications professionnelles (formation...)
Actualités (recherche)
Assessing hands-free interactions for VR using eye gaze and electromyography- Yun Suen Pai,
Tilman Dingler, Kai Kunze
VR aftereffect and the relation of cybersickness and cognitive performance -Justin Maximilian
Mittelstaedt, Jan Wacker, Dirk Stelling
Real-time body tracking in virtual reality using a Vive tracker - Polona Caserman, Augusto
Garcia-Agundez, Robert Konrad, Stefan Göbel
Feasibility and usability of a virtual reality intervention to enhance men’s awareness of
testicular disorders (E-MAT) - Mohamad M. Saab, Margaret Landers, Eoghan Cooke, David Murphy…
Testing the effectiveness of virtual reality as a defusion technique for coping with unwanted
thoughts - Arianna Prudenzi, Brendan Rooney, Giovambattista Presti, Marco Lombardo…
Elucidating the impact of critical determinants on purchase decision in virtual reality products
by Analytic Hierarchy Process approach - Yenchun Wu, Shih-Chih Chen, I-Cheng Lin
Mixed prototypes for the evaluation of usability and user experience: simulating an interactive
electronic device - Fernanda Gomes Faust, Tiago Catecati, Isabella de Souza Sierra…
Virtual Reality : Srpinger London, vol 23 (2), june 2019
Réalité augmentée
VA : Ajout d'éléments réels à l'environnement virtuel
RA : Ajout d'éléments virtuels à la réalité
Modèle RV
Méthodologie de développement
d'un environnement virtuel (1)
Détermination des immersions et interactions fonctionnelles
Détermination des primitives comportementales virtuelles :
Observer le monde virtuel
S'y déplacer
Agir sur le monde virtuel
Communiquer
Conception des interfaces comportementales :
Schemes comportementaux importés, métaphores avec ou sans
substitution
Méthodologie de développement
d'un environnement virtuel (2)
Détermination des aides logicielles comportementales
Ergonomie du système / affordance
Conception du logiciel de réalité virtuelle
Intégration des aides et interfaces
Modélisation de l'environnement virtuel
Méthodologie ≠ Cours
La détermination des objectifs et PCV n'est pas du ressort
de l'informaticien
L'interfaçage est lié aux contraintes d'équipement
Souvent besoin de plusieurs modes d'interaction
Mais il faut garder en tête les objectifs de l'application et
potentiels moyens d'interaction avant de développer
l'environnement virtuel
Ce cours :
Partie 1 : Environnement virtuel dynamique
Partie 2 : Interfaces