Chapitre 1
Introduction
GBM 6700
Plan
¾ Systèmes de vision passive
¾ Reconstruction 3D à partir de séquences d’images
¾ Systèmes de vision active
¾ Autres systèmes de reconstruction 3D à partir d’images
d images
médicales
Introduction 2
Reconstruction 3D en vision passive
Étapes principales d’un algorithme de stéréovision:
9 Le calibrage du système d’acquisition d’images
9 La mise en correspondance de primitives sur une paire d’images
9 La reconstruction 3D
Introduction
Reconstruction 3D de structures anatomiques
Pourquoi une approche spécifique?
9 Caméra / système à rayons-
rayons-X
9 Objets
j rigides
g ou articulés / structures anatomiques
q déformables
9 Translation
Translation--rotation / torsions complexes spatialement non uniformes
et temporellement variables
Introduction
Systèmes de reconstruction 3D par vision passive
À partir d’images à rayons-X
Introduction 5
Analyse de la dynamique cardiaque
O.A.D O.A.G
O.A.D
OAD
O.A.G
Cinéangiographie biplan
Introduction
Mesure du rétrécissement vasculaire
Système de Reiber utilisé à l’I.C.M
Introduction
Système de cinéangiographie biplan
Introduction
Reconstruction 3D de l’arbre coronarien
Principales difficultés
9 Calibrage du système de cinéangiographie biplan
9 Détection et appariement de primitives sur une paire d’images
Introduction
Mouvement 3D des points de bifurcation
9 Reconstruction 3D des points de bifurcation à partir d’une
paire d’images acquise à l’instant t.
9 Suivi temporel des points de bifurcation
ICM ICM
Introduction
Reconstruction 3D des déformations scoliotiques
Spécimen de Mary offert par Marc Asher au LIS3D
•Survient à l’adolescence
l adolescence
•prévalence de 2 à 3%
•10% des scolioses ont besoin d’un traitement
Introduction
Images radiographiques
LAT PA--0o
PA PA--20o
PA
Introduction
C fi
Configuration
ti radiographique
di hi pour lles vues
standards (latérale, PA-0o et PA-20o)
latérale PA--0o
PA PA--20o
PA
Introduction
Introduction
Spine3D: logiciel de reconstruction 3D
Introduction
Mesures cliniques
A l dde CCobb
Angle bb C h /L d
Cyphose/Lordose Déjettement
Déj tt t
frontal/latérale
Introduction 16
Plan de déformation maximal
Delorme et al.
Introduction
Torsion géométrique pour la classification 3D
Évaluation du "twist"
twist à une
position spécifique de la spline
médiane passant par les corps
vertébraux.
téb
Introduction
Analyse géométrique en 3D
axial rotation
x of vertebrae
y
y
apex
Rib hump
Gibbosité
Rotation axiale
Introduction
Traitements par chirugie
Introduction 20
Mesures intra-opératives
B ll fl
Bellefleur et al.,
l Ann
A Chir,1994
Chi 1994
Introduction
Reconstruction 3D intraopérative
21x 22 cm Al sheet
w/ 15 markers
Atlas (T1-L5)
PA Lateral
...
Introduction
Traitement des déformations scoliotiques par Corset
Introduction 23
w/o brace w/ brace w/o brace w/ brace
frontal curves Ì kyphosis & lordosis Þ
plane of maximum curvature Oaxial rotation & rib hump O
Introduction
Mesure des pressions dans un corset
Analyse des zones de pression
Introduction
Et Modelisation 3D
Introduction
Modelisation par éléments finis
Aubin et al., Ann Chir,
1995
Descrimes et al., Rachis,
1995
École Polytechnique Montreal, ÉNSAM Paris
Introduction
Simulation du traitement par corset
Introduction
Optimisation de la conception de corsets
F2
F1
H
H
2
1
F3
Introduction
Systèmes de reconstruction 3D stéréo-radiographiques
Avantages
9 Utiles pour le diagnostic et l’évaluation
l évaluation de traitements;
9 Irradiation minimale ;
9 Adaptables pour différents contextes cliniques
Difficultés
9 Calibrage précis sans modification du protocole clinique;
9 Reconnaissance automatique de structures anatomiques;
9 Temps de calcul des algorithmes sophistiqués
Introduction 30
Systèmes de reconstruction 3D à partir de séquences d’images
Étapes principales d
d’un
un algorithme de reconstruction 3D
9 Auto-calibrage du système d’acquisition d’images;
9 Suivi et appariement temporel de primitives à travers la
Séquence d’images;
9 Reconstruction 3D
Introduction 31
Problème d’arythmie cardiaque
Normal rhythm Tachycardia
Sinus
Node RF Catheter
Introduction
Fusion de de données électrophysiologiques sur des images fluoroscopiques
True Fusion Map 3D Depth Estimation
Système CARTO Reconstruction 3D Monoplan
Introduction
Reconstruction 3D d’artères à partir de séquences d’images
Principales difficultés
9 Auto-calibrage du système à partir de structures déformables;
9 Extraction automatique de primitives ;
9 Suivi et appariement temporel de primitives à travers la
Séquence d’images
Introduction 34
Suivi temporel de la ligne centrale d’une artère
Introduction
Chirurgie minimalement invasive du rachis
Images endoscopiques
Introduction
Impact sur le patient / clinicien
• Chirurgies par laparoscopies
– Patient
• Moins de douleur
• Durée d’hospitalisation réduite
– Clinicien
• Perte d’orientation
• Perte de la vision 3D du chirurgien
Introduction
Système de navigation 3D
Features Detection
Enhancement Segmentation
and Tracking
Laparoscopic images
Preoperativ e Biomechanical
3D Reconstruction
models registration surgery simulation
3D visualization Enhanced reality Real-time prediction and assistance
Introduction
Systèmes de reconstruction 3D à partir de séquences d’images
Avantages
9 Utiles pour l’assistance
l assistance chirurgicale;
9 Séquences monoculaires d’images ;
9 Mise à jour des modèles préopératoires
Difficultés
9 Auto-Calibrage précis sans modification du protocole clinique;
9 Reconnaissance et suivi automatique de structures anatomiques
à travers les séquences;
9 Réponse en temps réel durant une chirurgie
Introduction 39
Systèmes de reconstruction 3D par vision active
Étapes principales d’un algorithme de vision active
9 Triangulation active pour la reconstruction 3D
9Pas de p
procédure de mise en correspondance
p de p
primitives
9 Recalage d’Images 3D
9 Modélisation et segmentation 3D de surfaces
Introduction 40
Évaluation de l’asymétrie du tronc humain
Risque accru de développer des cancers du aux expositions
multiples à des doses ionisantes (Nash et coll., 1979, Levy, 1996)
La fréquence des visites est limitée à 1 fois aux 6 mois.
Apparence estt une source d’inquiétude
A d’i iét d iimportante,
t t
spécialement pour les jeunes adolescentes.
Les traitements orthopédiques pour la scoliose ne sont pas
limités seulement à la colonne vertébrale, mais aussi au
tronc au complet.
Introduction
Système de numérisation 3D
• Numériseurs Inspeck
– Une caméra vidéo couleur
– U projecteur
Un j t d
de ffranges avec
lumière halogène
• Acquisition rapide de la surface
– 3 à 5 secondes avec 4 numériseurs
• Haute résolution
– 1024 x 768 pixels (0.8M) par
numériseur
• Principe d’interférométrie avec une
triangulation active
• Information de couleur Résolution latérale 1.2 mm
• Système placée dans une salle Résolution en profondeur 1.0 mm
FOV 1185 mm x 889 mm
adjacente à la clinique de scoliose
Introduction
Reconstruction 3D de la surface externe du tronc
Image de texture
Images de
franges
S f
Surface 3D
Fonction de
phase Profondeur
Introduction
Configuration multi-numériseurs
• Chacun des 4 numériseurs offre
une surface partielle du tronc.
• Une toile est utilisée afin de
calculer les positions relatives de la
surface partielle et les placer dans
un système de coordonnées
commun.
• Une reconstruction 3D avec texture
du tronc au complet (360o) est
obtenue.
bt
Marqueurs
Introduction
Évaluation de l’asymétrie externe
Rotation de la surface du dos : mesure de gibbosité
Introduction
Ajustement de corsets
Introduction
Systèmes de reconstruction 3D par vision active
Avantages
9 Utiles pour le diagnostic d’anomalies
d anomalies morphologiques externes;
9 non invasifs;
9 Modèle 3D géométrique précis
Difficultés
9 Analyse automatique des surfaces;
9 Recalage automatique précis avec d’autres modalités;
9 Adoption en clinique
Introduction 47
Autres systèmes de reconstruction 3D
¾ Imagerie par Tomographie axiale à rayons-X (CT)
¾ Imagerie par résonance magnétique (IRM
(IRM, IRMf
IRMf, SRM )
¾ Imagerie par Tomographie à émission de photons (PET,
SPECT)
¾ Imagerie par ultrasons (Échographie, IVUS)
Introduction 48
Principe de la tomographie axiale
Introduction
Acquisition tomographique du tronc
Acquisition d’une
d une zone prédéfinie tranche par tranche et visualisation d’une
d une coupe axiale
Introduction
Reconstruction 3D avec scanner hélicoïdal
Introduction
Segmentation et reconstruction 3D de structures osseuses
Introduction
Système d’assistance pour l’insertion des vis dans les pédicules
(A i t ett al.,
(Amiot l S Spine
i 1993
1993; 1995
1995; 1996
1996; 1999)
Introduction
Système de guidage d’insertion des vis
(Salako et al., 1999)
Patient
CT-scan
3D reconstruction
3D-reconstruction
Introduction
Imagerie par résonance magnétique
Visualisation de tissus mous
Imagerie non invasive
Introduction
Imagerie neurologique
L imagerie par résonance magnétique fonctionnelle (IRMf
L’imagerie (IRMf)) permet l’étude
l étude
de l’activité cérébrale suite à divers stimuli contrôlés.
Introduction
Imagerie neurologique
La spectroscopie
p p p par résonance magnétique
g q ((SRM)) ppermet une
exploration non invasive de constituants moléculaires impliqués dans des
processus physiologiques ou pathologiques
Introduction
Suite angio-
angio-résonance
Introduction 58
TEP--CT
TEP
Introduction 59
Imagerie ultra-sonore
9 Imagerie non invasive
9 Acquisition des images en temps réel
9 Pas d’interférence avec les matériaux ferromagnétiques
9 Systèmes
S tè portable
t bl à coût
ût relativement
l ti tbbas.
Introduction 60
Détection de la plaque sur la paroi interne des artères
Traitement: L’angioplastie
Introduction d’un ballon dans l’artère
Élargissement de l’artère
Une endoprothèse peut être posée pour empêcher la
resténose
[Link]
Introduction
Reconstruction 3D à partir d’images IVUS
Image Agiographique Image IVUS
Représentation 3D
d’une artère
Introduction
Segmentation automatique des images IVUS
Automatique Manuelle
Introduction
Imagerie par Tomographie Optique de Cohérence (OCT)
OCT IVUS Coupe histologique
Introduction
Fusion multimodale d’images médicales
Avantages
9 Utiles pour le diagnostic et l’assistance de traitements;
9 Intégration d’aspects morphologiques et fonctionnels dans la
déc s o ;
décision;
9 Intégration de différents examens cliniques
Difficultés
9 Segmentation automatique de structures anatomiques;
9 Recalage précis des différentes modalités;
9 Modélisation des artéfacts de mouvements d’organes
g
déformables et de la respiration du patient.
Introduction 65