1
Introduction à la
Réalité Augmentée
Gilles Simon
Définition (Azuma 1997) 2
Plus de réel que de virtuel
Définition (Azuma 1997) 3
Plus de réel que de virtuel
Interactif, temps réel
Définition (Azuma 1997) 4
Plus de réel que de virtuel
Interactif, temps réel
Alignement spatial 3D respectueux de la perspective
Périphériques de visualisation
Une grande variété de périphériques
Projection sur la rétine
Objet réel
Périphériques de visualisation
Lunettes de RA
Objet réel
M100 Vuzix HoloLens Microsoft
Périphériques de visualisation
Téléphone portable /
tablette Objet réel
Périphériques de visualisation
Ecran fixe Objet réel
Périphériques de visualisation
Vidéo-projection
Objet réel
Applications 10
Imaginer le passéou le futur
11
Archeoguide
RÉALITÉ AUGMENTÉE
12
RÉALITÉ AUGMENTÉE
13
RÉALITÉ AUGMENTÉE
14
Applications 15
Annoter le réel
Guider pas à pas
RÉALITÉ AUGMENTÉE
16
RÉALITÉ AUGMENTÉE
Applications Assistance en milieu industriel
Applications 19
Enrichir le réel
Fusionner des informations
RÉALITÉ AUGMENTÉE
20
RÉALITÉ AUGMENTÉE
21
Applications 22
Aider à comprendre
Applications Culture, éducation 23
RÉALITÉ AUGMENTÉE
24
Applications 25
Se divertir
RÉALITÉ AUGMENTÉE
26
Applications Divertissement 27
Difficultés techniques 28
Comment faire pour…
Difficultés techniques 29
Reconnaître de quel objet il s’agit ?
Difficultés techniques 30
Reconnaître et désigner des composants sur cet objet ?
Difficultés techniques 31
Positionner un objet virtuel 3D au bon endroit et en respectant la perspective ?
Difficultés techniques 32
Difficultés techniques 33
Difficultés techniques 34
Deux étapes incontournables :
Reconnaissance de l’objet ou de la scène
Intégration de la scène virtuelle dans l’image réelle (« Recalage 3D/2D »)
Tout ceci doit être résolu en temps réel
La deuxième étape repose généralement sur la connaissance d’un
modèle 3D (CAO, nuage de points, …)
Reconnaissance et recalage 3D/2D sont parfois résolus simultanément
Reconnaissance de scène / d’objet
?
=
27 25
11 12
14 14
12 10
7 7
16 15
22 26
51 48
Reconnaissance de scène / d’objet
Descripteurs locaux (ex : SIFT)
?
=
2 2 27 7 2 2 7
34 99 10 6 98 31 7
23 11 14 5 11 23 5
15 0 12 17 1 12 17
7 1 3 27 1 7 29
2 16 23 8 16 2 8
11 22 13 4 22 10 1
4 51 11 33 45 4 33
Reconnaissance de scène / d’objet
Bags-of-words
Dans les grands environnements, constitution d’un
« vocabulaire » de « mots visuels »
Chaque image de la base est décrite par la
fréquence d’apparition de chaque mot de la base
Une image à reconnaître est elle-même exprimée en
utilisant le vocabulaire de la base (recherche
documentaire)
Reconnaissance de scène / d’objet
?
=
9
Reconnaissance de scène / d’objet
Classification par machine à vecteurs de support (SVM)
RDC 3 b
Local DE a
Local DE b
RDC 3 a
Local DE c
Reconnaissance de scène / d’objet
Convolutional Neural Networks (CNN)
Turbine
Local DE
RDC 3
RDC 2
RDC 1
0 0,5 1
Reconnaissance de scène / d’objet
Metric learning (CNN siamois)
© LeCun
Reconnaissance de scène / d’objet
Recalage 3D/2D 43
Recaler le modèle 3D dans l’image réelle revient à :
Trouver le point de vue depuis lequel dessiner le modèle 3D afin qu’il soit
correctement aligné dans l’image
C-à-d retrouver le point de vue depuis lequel est observé l’objet dans la
réalité : le problème du recalage est un problème de positionnement
Le problème du positionnement 44
Le problème du positionnement 45
En RA, on doit calculer en temps réel la position du castor
correspondant à chaque prise de vue
L’image seule peut être trompeuse…
Le problème du positionnement 46
Deux catégories de techniques : outside-in et inside-out
Possibilité de combiner les deux approches
Outside-in
Inside-out
© Klinker et al., TUM
Positionnement Outside-in 47
LEDs et capteurs physiques (magnétiques, acoustiques, …)
© German Aerospace Center Multimodal
Telepresent Control of DLR Rollin' JUSTIN
Positionnement Outside-in 48
Géolocalisation + capteurs inertiels
Pour l’intérieur : capteurs (magnétiques, …), triangulation wifi
Pb : précision
© Application Métro Paris sur iPhone et iPod Touch
© Creative commons
Positionnement Inside-out 49
Mise en correspondance de points entre le flux d’images et le clone
3D de l’objet (exemple : utilisation du descripteur SIFT)
Positionnement Inside-out 50
Si pas de texture, essayer les contours
Reconnaissance difficile
Recalage initial difficile → combiner avec un système outside-in
51
Positionnement Inside-out 52
Autre possibilité : ajouter des tags sur l’objet ou dans la scène
© Spie Sud-Ouest & UBleam
Positionnement Inside-out 53
… ou projeter de la lumière structurée, éventuellement dans l’IR (Kinect)
Portée limitée, en intérieur uniquement
La reconnaissance est difficile et le recalage initial doit être guidé
Conclusion sur la technologie RA 54
Une technologie complexe : pas de solution miracle, mais un panel d’outils
À choisir en fonction du contexte (pas toujours de solution !)
Issu de 20 années de recherche académique et industrielle
Des solutions robustes en environnement contrôlé
Plusieurs toolkits existent aujourd’hui, souvent multi-plateformes :
Metaio SDK (Apple), Qualcomm Vuforia, Total Immersion D’fusion, … (tracking visuel)
AR-Toolkit, … (marqueurs)
Layar, Wikitude, … (extérieur)
… (cf. [Link]