MI204 – Cours n°1

Introduction & Modèles

ENSTA 2e année
Mineures Info/IAC et Méca/SI

Antoine MANZANERA
ENSTA-Paris / U2IS

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris
 MI 204 – Objectifs du cours
Ce cours, en grande partie commun aux mineures Info / IAC et Méca / SI,
présente les concepts essentiels à l'analyse de bas niveau en vision par ordinateur:
les outils fondamentaux de l'analyse, l'échantillonnage et le codage, la
représentation des images et des vidéos, l'extraction de caractéristiques.
Il présente aussi les principales techniques utilisées pour traiter et analyser les
images avant leur interprétation en termes de sémantique ou de reconstruction 3d,
qui seront utiles pour les cours orientés vers la perception des systèmes autonomes
en 3e année : parcours ROB (Info) et MID (Méca).

Pour les étudiants de la mineure Info / IAC, qui ont déjà suivi une formation en
Machine Learning, un complément est fourni sur plusieurs aspects bas-niveau
importants :
●
Le filtrage et la restauration d'images
●
La couleur
●
Le codage et la compression

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 2
 MI 204 – Objectifs du cours
Ce cours, en grande partie commun aux mineures Info / IAC et Méca / SI,
présente les concepts essentiels à l'analyse de bas niveau en vision par ordinateur:
les outils fondamentaux de l'analyse, l'échantillonnage et le codage, la
représentation des images et des vidéos, l'extraction de caractéristiques.
Il présente aussi les principales techniques utilisées pour traiter et analyser les
images avant leur interprétation en termes de sémantique ou de reconstruction 3d,
qui seront utiles pour les cours orientés vers la perception des systèmes autonomes
en 3e année : parcours ROB (Info) et MID (Méca).

Pour les étudiants de la mineure Méca / SI, un complément est fourni sur la
classification automatique appliquée aux données images :
●
Méthodes de classification / apprentissage dédiées aux données images, dans
un cadre supervisé (bayésien, k-ppv, réseaux convolutionnels) et non
supervisé (ACP, K-moyennes, auto-encodeurs).

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 3
 MI 204 – Programme 1/2

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 4
 MI 204 – Programme 2/2

[Link]
Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 5
 Cours n°1 : Introduction
I Traitement d’Images et domaines connexes
I-1 Historique du Traitement d'images (TI)
I-2 TI et vision par ordinateur
I-3 TI et Intelligence Artificielle
I-4 TI et perception visuelle

II Introduction aux images numériques

II-1 Modalités
II-2 Vocabulaire
II-3 Échantillonnage et quantification

III Les modèles formels du TI

III-1 Le modèle linéaire : la convolution...
III-2 Le modèle fréquentiel : la transformée de Fourier, l'échantillonnage, ondelettes...
III-3 Le modèle statistique : l'histogramme, la quantification, l'entropie,...
III-4 Le modèle différentiel : gradients, isophotes, équations différentielles,...
III-5 Le modèle ensembliste : morphologie mathématique,...
III-6 Le modèle discret : maillage, connexité, distances,...

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 6
 Applications du TI - 1
ROBOTIQUE
PRAXITÈLE (INRIA) AIBO (SONY)
TELEDETECTION
Extraction automatique du relief à partir d'images
satellite radar à synthèse d'ouverture (Univ. Bonn)

suivi et préhension
conduite automatique d'objets en robotique
mobile
✗
évitement d'obstacle environnement
✗
reconstruction 3D
✗
environnement non structuré / hostile
✗ temps réel primordial Image d'un carrefour
(Univ. Karlsruhe)
Image sonar d'une épave de sous-marin
reposant à 5000m de profondeur (Nauticos)

CONTRÔLE INDUSTRIEL
vérification structure metallique des sièges
autos par radiographie X (TEKCIM)

✗ environnement maîtrisé surveillance du

trafic routier
exploration des fonds marins
✗
gros volume de données
✗ temps différé possible

détection de défaut
Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 7
 Applications du TI - 2
MULTIMEDIA MÉDECINE
Reconnaissance d'action dans un match de Reconnaissance et resynthèse de geste
tennis pour l'indexation video (INRIA) pour le codage et la transmission du
langage signé (INT Évry)

modèle 3D de cerveau reconstitué à partir de coupes

d'images acquises par résonance magnétique (Univ. Québec)

codage et compression
recherche d'images dans une base de données à partir
peinture du XVe siècle ternie et écaillée restaurée par filtrage d'une requête visuelle (ENSEA Cergy-Pontoise)
médian et ajustement des couleurs (Univ. Québec)
téléchirurgie et ChAO

estimation de mouvement sur séquence

d 'images échocardiographique (INRIA)

indexation d'images
Aide au diagnostic
restauration d'images
Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 8
 Une (très brève) histoire du TI...
Images de EMPIRISME
chambre à bulles
Restauration RECONSTRUCTIONISME
Amélioration
VISION
ACTIVE MORPHOLOGIE
1950 Caractères Imagerie satellite MATHÉMATIQUE
typographiés et aérienne
EDP & SCALE
Classification SPACE
Imagerie médicale
APPRENTISSAGE À
Télésurveillance GRANDE ÉCHELLE
et Défense
Contrôle qualité Reconstruction

Détection
Poursuite Robotique
mobile

Localisation
Compression
Réalité
augmentée
Multimédia
Indexation Édition
intelligente
Conduite Photographie
autonome computationnelle
2020
Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 9
 TI & vision par ordinateur
Vision industrielle Vision robotique
Environnement non contrôlé /hostile
Environnement connu / contrôlé
Contraintes d'énergie
Contraintes de temps
Action / Adaptation
Contraintes de qualité

Traitement
d'Images
Adéquation
Multimédia Algorithme
Architecture
Humain dans la boucle
Contraintes d'espace Prise en compte de la machine
Protection des contenus Compromis temps/énergie/espace

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 10
 Systèmes à base de TI

Transmission
ène
Sc

Codage / compression
Décodage / restitution

Amélioration

Segmentation U f  I  x 
x∈ Ig

Acquisition
Calcul de gradient

Extraction
Traitement d'attributs ∑
∂I
 p
p∈ S ∂x

Détection de contours Analyse

Compréhension
Filtrage
Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 11
 Vision pour l’IA...
Dans la conception moderne de l'Intelligence Artificielle dite située (i.e. mise en
situation) ou incarnée (i.e. introduite dans un « acteur »), la machine agit sur le
monde extérieur, éventuellement se déplace, et aussi perçoit son environnement pour
pouvoir s'y adapter.

La vision est une source

extrêmement riche
d'information, qui permet à la
machine de se localiser,
reconnaître des objets ou des
personnes, à un coût faible,
une énergie raisonnable, et de
manière passive (i.e. sans
émettre de signal).

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 12
 ...et IA pour la Vision !

Réciproquement, le traitement d'images et la vision tirent parti des connaissances et des

techniques d'intelligence artificielle pour gérer l'adaptation à un environnement changeant,
l'information incertaine, les systèmes hétérogènes de connaissances et les différents
niveaux de prise de décision.

Représentation Modélisation des

de l'incertain connaissances
Apprentissage

Raisonnement
et décision

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 13
 TI & perception visuelle
Une difficulté fondamentale de la vision artificielle vient
du manque de connaissance profonde des mécanismes qui
régissent la compréhension des images dans la nature.

La vision humaine est en effet extrêmement performante

(déplacement, lecture, reconnaissance), mais nous n'avons
aucun retour conscient sur la mécanismes mis en jeu (à la
différence du jeu d'échec par exemple).

En cela l'étude des mécanismes physiologiques et

psychologiques de la vision sont une source très
importante d'information, et d'inspiration.

Exemples :
➔
Traitements rétiniens / traitements corticaux.
➔
Mécanisme d'accentuation des contrastes.
➔
Multi-résolution et rétine… ©wikipedia

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 14
 TI & perception visuelle

Exemple :
l'illusion de l'échiquier.
Plusieurs mécanismes sont en
jeu, du très bas niveau
(renforcement local des
contrastes) au très haut niveau
(interprétation de l'ombre et
reconnaissance d'un échiquier)

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 15
 TI & perception visuelle

Exemple :
l'illusion de l'échiquier.
Plusieurs mécanismes sont en
jeu, du très bas niveau
(renforcement local des
contrastes) au très haut niveau
(interprétation de l'ombre et
reconnaissance d'un échiquier)

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 16
 Types d'images, de capteurs
Phénomène physique Grandeur mesurée Capteur

Émission et réflexion CCD, CMOS,

Réflectivité, luminance,...
de la lumière visible Barrettes CCD,...

Rayonnement
Luminance IR (chaleur), ... Bolomètres,...
infra-rouge

Échographie,
Écho ultra sonore Distance, densité de tissus,...
sonar,...

Résonance magnétique Présence d'un corps chimique,... IRM, RMN,...

Écho électromagnétique Distance, spécularité de surfaces,.. Radar, SAR,...

Radiographie,
Absorption des rayons X Densité de tissus,...
tomographie,...

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 17
 Images numériques
x I(x,y)
R(x,y)

L'échantillonnage est le procédé de discrétisation spatiale

y d'une image consistant à associer à chaque zone
rectangulaire R(x,y) d'une image continue une unique
valeur I(x,y).
On parle de sous-échantillonnage lorsque l'image est
déjà discrétisée et qu'on diminue le nombre d'échantillons.

La quantification désigne la limitation du nombre de valeurs différentes que peut

prendre I(x,y).

Une image numérique est une image échantillonnée et quantifiée.

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 18
 Pixels et niveaux de gris
Largeur i Indice de
colonne
O

Hauteur Le pixel [i,j]

I[i,j] = N
Indice de
Une image numérique I Valeur
ligne
Niveau de gris
N ∈ [Nmin,Nmax]

(Nmax - Nmin) = nombre de niveaux de gris

Log2(Nmax - Nmin) = dynamique
Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 19
 Échantillonnage et quantification
Résolution...
...spatiale : Échantillonnage

256x256 128x128 64x64 32x32

...tonale : Quantification

6 bits 4 bits 3 bits 2 bits 1 bit

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 20
 Échantillonnage et information
L'échantillonnage est une étape fondamentale qui
doit tenir compte du contenu informationnel
pertinent de l'image à analyser. Sur l'exemple ci-
contre, en 1d, le signal échantillonné « ressemble » à
une sinusoïde de fréquence 12 fois plus faible :

Ce phénomène appelé aliasing est encore

pire en 2d, car il affecte la fréquence et la
direction des structures périodiques.
Imaginons par exemple qu'on souhaite
échantillonner l'image correspondant aux
bandes noires ci-contre :

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 21
 Échantillonnage et information

Avec un échantillonnage adapté, l'image

numérique fait apparaître des structures
conformes à l'information présente dans
l'image :

Mais en considérant seulement 1

échantillon sur 2, une structure différente
apparaît, dont l'analyse (ici des bandes
verticales, plus épaisses) ne sera pas
conforme à la réalité de l'objet :

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 22
 Échantillonnage et information
Un exemple, sur une image de synthèse :

Et sur une image

naturelle :

Image originale Image sous-échantillonnée

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 23
 Quantification et information
La quantification peut également faire apparaître des
distorsions dans les images :

I quant =
⌊ ⌋ I
n quant

Comme pour l'échantillonnage, il existe des règles pour déterminer la bonne quantification
(le bon nombre de bits) pour coder les images numériques.
L'une dépend du capteur, et de sa capacité effective à observer des signaux de valeurs
différentes : le rapport signal sur bruit.
Le rapport signal sur bruit est défini à partir du rapport entre l'amplitude des niveaux de gris
mesurables par le capteur (nmax - nmin) et le niveau du bruit, en gros l'écart-type sn de la
perturbation aléatoire qui affecte les niveaux de gris. En prenant le logarithme, on a le
nombre de bits utile au capteur pour coder les images.

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 24
 Quantification et information
Outre les capacités du capteur, le nombre de bits réellement
nécessaires pour coder une image varie d'une image à
l'autre, en fonction de leur contenu informationnel.
Ce nombre dépend de l'entropie, définie à partir de la
distribution des niveaux de gris de l'image (cf plus loin,
modèle statistique).

E= ∑ − pi log 2  pi 
i N

Où N est le nombre de niveaux de gris présents, pi est la proportion (0 < pi < 1) de

points de l'image ayant pour niveau de gris i. Cette grandeur représente le nombre
moyen de bits par pixel nécessaires pour coder toute l'information présente. Elle est
utilisée dans les techniques de compression sans perte pour adapter le volume de
donnée des images à leur contenu informationnel.

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 25
 Modèles et outils fondamentaux

Dans la suite, on présente une introduction aux outils d'analyse d'images numériques
les plus courants. Pour des raisons didactiques, la présentation est organisée selon les
principaux modèles mathématiques qui ont été employés pour traiter les images. Ces
différents modèles ne sont cependant ni exclusifs ni cloisonnés, et la séparation ne
sera pratiquement plus visible dans les cours suivants.

Aux différents modèles présentés correspondent un certain nombre d'outils

fondamentaux, qui se sont révélés au cours du temps plus ou moins incontournables,
que ce soit d'un point de vue pratique ou théorique. Citons : la convolution, la
transformée de Fourier, l'histogramme, les pyramides, la corrélation, la transformée
en tout-ou-rien, les ondelettes...

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 26
 Le modèle linéaire
Dans le modèle linéaire, la structure mathématique sous-jacente est l'Espace
Vectoriel. Les opérateurs fondamentaux sont ceux qui préservent la structure
d'espace vectoriel, c'est-à-dire les applications linéaires :

f  I  J = f  I  f  J 
f  I = f  I 
Pour les images, ces opérateurs correspondent aux convolutions :

La convolution :
C'est l'opérateur de base du traitement linéaire des images. Apparue très tôt dans les premiers
systèmes d'analyse d'images sous forme empirique et justifiée par des considérations d'implantation,
ce n'est que plus tard qu'on a fourni des justifications physiques et fait le lien théorique avec les
filtres et le traitement du signal.

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 27
 La Convolution
Soit I une image numérique.
Soit h une fonction de [x1,x2]×[y1,y2] à valeurs réelles.
La convolution de I par h est définie par :
x2 y2

 I∗h[ x , y ]=∑ ∑ h [i , j ]⋅I [ x −i , y− j ]

i= x 1 j = y1

La fonction h est dite

noyau de convolution
Propriétés de la convolution : x

h[x , y]
COMMUTATIVITÉ h∗g= g∗h y

Les nouvelles valeurs du pixel

ASSOCIATIVITÉ h∗g∗k = h∗ g∗k =h∗g∗k sont calculées par produit scalaire
entre le noyau de convolution et le
voisinage correspondant du pixel.
DISTRIBUTIVITÉ / + h∗ gk = h∗g h∗k 

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 28
 La Convolution
Exemple :
5
11 16 11
1/152 5 16 24 16 5
11 16 11
5

Pour calculer une convolution, on

remplace la valeur de chaque pixel par la
valeur du produit scalaire entre les valeurs
du noyau de convolution et les valeurs du
voisinage du pixel considéré (par rapport à
l'origine (0,0) du noyau de convolution).
Attention : implémentation « parallèle ».

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 29
 Lissage par convolution
Un grand nombre de filtres de lissage peut être obtenu à partir de noyaux de convolution symétriques et normalisés
(de somme égale à 1). Voici 3 famille de filtres parmi les plus utilisés :

Moyenne Gauss Exponentiel

* Réponse impulsionnelle :
1 2 2 2
h x , y= 2 si  x , y∈[−/ 2,/ 2 ] 1 − x  y  2
 h  x , y= exp   h  x , y= exp−  ∣x∣∣y∣
2 2 22 4
h  x , y=0 sinon
* Représentation graphique de la réponse impulsionnelle (en 1d) :

* Exemple de noyaux de convolution discrets :

     
1 1 1 1 1 11 23 29 23 11 1 1 3 1 1
1 1 1 1 1 23 48 62 48 23 1 3 7 3 1
1 1 1
⋅1 1 1 1 1 ⋅ 29 62 80 62 29 ⋅3 7 16 7 3
25 864 80
1 1 1 1 1 23 48 62 48 23 1 3 7 3 1
1 1 1 1 1 11 23 29 23 11 1 1 3 1 1

Filtre moyenneur (5x5) Filtre gaussien ( = 1,41) Filtre exponentiel ( = 0,8)

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 30
 Le modèle fréquentiel
Le modèle fréquentiel tend à décrire l'image en termes de structures périodiques, en la
décomposant dans une base de fonctions périodiques simples, comme des sinusoïdes :

La transformée de Fourier :
Outil fondamental d'analyse en traitement du signal, le pendant bidimensionnel de la TF et sa version
discrète peut être appliqué avec profit aux images numériques. Si son utilisation en tant qu'outil
analytique et algorithmique s'est estompée en traitement d'images au profit d'approches mieux adaptées à
la localisation spatiale des fréquences (ondelettes), elle reste un outil théorique et pédagogique important :
la formalisation du phénomène de l'aliasing et des contraintes d'échantillonnage en est un exemple (voir
cours Espace d'échelles).

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 31
 Le modèle fréquentiel

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 32
 Transformée de Fourier
La transformée de Fourier permet la décomposition d'un signal f en combinaison linéaire de
sinusoïdes complexes, dont les coefficients F[u,v] dit coefficients de Fourier, fournissent des
informations sur les fréquences (u,v) et permettent des manipulations dans le domaine
fréquentiel.

Transformée de Fourier discrète bidimensionnelle :

w−1 h−1
(x,y) sont les coordonnées
du domaine spatial Directe : F [u , v ]= ∑ ∑ f [ x , y ]e −2 i π( ux /w+ vy/ h)
x =0 y =0

w −1 h−1
1
(u,v) sont les coordonnées
du domaine fréquentiel Inverse : f [ x , y ]=
wh
∑∑ F [u ,v ]e 2i π(ux /w+ vy/ h)

u=0 v=0

Propriétés de la transformée de Fourier (1) :

ÉCRITURE SOUS FORME MODULE / PHASE F [ u , v]=∥F [ u , v]∥e
i [ u , v]

PÉRIODICITÉ F [ u , v]= F [ u w , v h ]

SYMÉTRIE
Si F est la transformée de Fourier d'une fonction réelle f :
F [ u , v]= F [−u ,− v ] et donc : ∥F [ u , v ]∥=∥F [−u ,−v ]∥ et  [u , v ]=− [−u ,− v ]
Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 33
 Transformée de Fourier
Module Phase
Image
v v

u u

f [x , y] ln ∥F [u , v ]∥  [u , v ]

Propriétés de la transformée de Fourier (2) :

TF

{ }
f [ x ,y]  F [u ,v] LINEARITÉ
si f 1[ x , y ]  F1[u , v ] a⋅f 1 [ x , y ] b⋅ f 2 [ x , y ]  a⋅F 1 [ u , v ] b⋅F 2 [ u , v]
f 2
[ x ,y]  F 2 [ u , v]
TRANSLATIONS SPATIALES / FRÉQUENTIELLES
CORRESPONDANCE CONVOLUTION / PRODUIT f [ x− x ' , y− y ' ] → F [ u , v ]⋅e
−2 i π (ux ' / w+ vy ' / h )

f 1 [ x , y]∗ f [ x , y]  F 1 [ u , v ]⋅F 2 [ u , v ] 2 i π( u ' x / w +v ' y /h )

2
f [ x , y ]⋅e → F [ u−u ' , v −v ' ]
f 1 [ x , y]⋅f 2
[x ,y]  F 1 [ u , v ]∗F 2 [ u , v ]
THÉORÈME DE PARSEVAL
DÉRIVATION
w−1 h−1 w−1 h −1
2 1 2
∂ f [ x , y]
 iuF [ u , v ] et
∂ f [ x , y]
 ivF [ u , v ] ∑ ∑ ∥f [ x , y ]∥ = ∑ ∑ ∥F [ u , v ]∥
∂x ∂y x =0 y =0 wh u= 0 v=0
Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 34
 QUIZZ - Transformée de Fourier
Attribuez à chaque image son spectre de Fourier

(1) (2) (3) (4)

(a) (b) (c) (d)

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 35
 QUIZZ - Transformée de Fourier
Attribuez à chaque image son spectre de Fourier

(1) (2) (3) (4)

(a) (b) (c) (d)

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 36
 QUIZZ - Transformée de Fourier
Attribuez à chaque image son spectre de Fourier (CC 2014)

(1) (2) (3) (4)

(a) (b) (c) (d)

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 37
 Filtrage dans le domaine de Fourier (1)
Filtrage passe-bas

Le filtrage passe-bas est la

multiplication dans le domaine
fréquentiel par une fonction porte
(fonction indicatrice d'un intervalle
[-umax,umax]×[-vmax,vmax]).

TF
TF-1

Passe-
bas

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 38
 Filtrage dans le domaine de Fourier (2)
Filtrage coupe-bande
Le filtrage coupe-bande est la
multiplication dans le domaine
fréquentiel par une fonction bande
complémentaire, fonction indicatrice
de l'ensemble :

(ℝ2 \ [-umax,umax]×[-vmax,vmax])
∪ [-umin,umin]×[-vmin,vmin] TF TF-1
Notons que dans ce cas
comme le précédent, la
valeur de la fréquence
origine F[0,0] est
inchangée. Or :
Coupe-
w h
bande
F [0,0 ]=∑ ∑ f [ x , y ]
x=0 y=0

La somme des niveaux

de gris dans le domaine
spatiale reste donc
constante.

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 39
 Filtrage dans le domaine de Fourier (3)
Le filtrage passe-haut correspond à la multiplication dans le
domaine fréquentiel d'une fonction porte-complémentaire.
Filtrage passe-haut
Image originale

TF-1 TF-1
TF

Filtre passe-haut  = 20 Filtre passe-haut  = 60

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 40
 Filtrage dans le domaine de Fourier (4)
Filtrage passe-bande
Le filtrage passe-bande
correspond à la
multiplication dans le
domaine fréquentiel par une
fonction bande symétrique.

Dans ce cas comme dans le

précédent, la valeur de la
fréquence origine (0,0) est
annulée. Par conséquent, TF TF-1
l'image correspondante dans
le domaine spatial est de
somme nulle, elle comporte
donc des valeurs négatives.

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 41
 Transformées en ondelettes
Pour pallier les limitations de la
transformée de Fourier en
analyse d’images, on utilise
plus souvent des représentations
espace × fréquence, telles que
les transformées en ondelettes,
qui fournissent une
décomposition en fréquence
spatialement localisée.

Ex ci-contre : décomposition en
ondelettes de niveau 3 sur
l’image « Barbara »

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 42
 Transformées en ondelettes
Les transformées en ondelettes
sur les images se calculent
généralement de façon efficace,
par l’utilisation d’un couple de
filtre 1d (L,H) complémentaires,
où I ✶L est une approximation
de l’image (passe-bas) et I ✶H
la partie résiduelle (passe haut).

Le couple (I ✶L,I ✶H) doit de

plus permettre de reconstruire
l’image originale, et constitue
donc un codage, au même titre
que la transformée de Fourier.

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 43
 Transformées en ondelettes
Par exemple, l’ondelette de
Haar est définie par le couple de
convolutions 1d (analyse) :

(I ✶L)[x] = (I[2x]+I[2x+1])/2
(I ✶H)[x] = (I[2x+1]-I[2x])/2

La reconstruction (synthèse) est

simplement donnée par :

I[2x] = (I ✶L)[x] - (I ✶H)[x]

I[2x+1] = (I ✶L)[x] + (I ✶H)[x]

Ci-contre : Application du
couple de filtre (L,H) sur les
lignes de l’image « Barbara »

L H
Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 44
 Transformées en ondelettes
Ensuite le même couple de
filtres transposés (L’,H’) est
appliqué sur les colonnes :

LL’ HL’

LH’ HH’
Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 45
 Transformées en ondelettes
Le même procédé est appliqué
récursivement sur l’image
d’approximation LL’ (niveau 2) :
LL’LL’ LL’HL’

LL’LH’ LL’HH’ HL’

LH’ HH’
Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 46
 Transformées en ondelettes
Et ainsi de suite (niveau 3)…
LL’LL’LL’ LL’LL’HL’

LL’LL’LH’ LL’LL’HH’ LL’HL’

LL’LH’ LL’HH’ HL’

LH’ HH’
Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 47
 Le modèle statistique
On s'intéresse dans ce modèle aux propriétés statistiques des images : la distribution des
valeurs prises par les pixels, la corrélation existant entre des pixels spatialement proches, la
fréquence d'occurrence de certaines structures spatiales...
Les mesures statistiques fournissent des grandeurs et fonctions empiriques sur lesquelles
peuvent s'appuyer des modèles probabilistes utilisés par les algorithmes d'analyse d'images.

Par exemple, le modèle des champs de Markov considère l'image comme la réalisation d'un
champ aléatoire (chaque pixel correspondant à une variable aléatoire), où la valeur prise par
un pixel ne dépend que de celle de ses voisins (selon une topologie discrète donnée, voir
plus loin).

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 48
 Le modèle statistique
Un autre exemple remarquable d'analyse statistique est l'utilisation des matrices de co-
occurrence, habituellement utilisées pour caractériser les textures. j

La matrice de cooccurrence Mv associée au

vecteur v, est la matrice de taille N x N ( N est le i v
nombre de niveaux de gris), tel que Mv(i,j) i

représente la fréquence du couple de valeurs (i,j) j

parmi les couples de pixels (x,x+v).

Ces techniques, et d'autres exemples de modèles statistiques seront présentées plus en

détail dans les prochains cours. Dans le cadre de cette introduction, nous développerons
seulement le premier outil statistique d'analyse des images : l'histogramme.

L'histogramme :
Outil de base pour l'étude des capteurs ou de la dynamique d'une scène, il est utilisé par certains
opérateurs d'analyse. On retiendra cependant qu'il ne faut pas considérer l'histogramme comme une
caractéristique fondamentale de l'image dans la mesure où on peut le transformer radicalement sans
changer significativement l'image.

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 49
 Histogramme
W Histogramme
Effectif

H(x) H(x) est le nombre

de pixels dont le
H niveau de gris est
égal à x.

Niveau de gris
L'histogramme représente la
répartition des pixels en Histogramme cumulatif normalisé
fonction de leur niveau de Effectif
x

gris. Il fournit diverses relatif ∑ H x

i= 0
informations comme les HC  x=
statistiques d'ordre (voir ci- HC(x) W ×H
contre), l'entropie (voir
HC(x) est le taux
précédemment), et peut de pixels dont le
permettre d'isoler des objets. niveau de gris est
inférieur à x.
Min Médian Max

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris Niveau de gris
page 50
 Traitement à base d'histogramme
On présente dans la suite quelques traitement d'analyse effectués uniquement à partir
de l'histogramme. Retenons que certains de ces traitements sont souvent calculés au
niveau des capteurs, et qu'en général leur pertinence est très intimement liée aux
conditions d'acquisition.

(1) Normalisation
 exploiter toute la dynamique de codage.

(2) Égalisation
 équilibrer la dynamique de codage et augmenter le contraste.
(3) Segmentation
 simplifier l'image en regroupant les pixels selon leurs valeurs.

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 51
 Histogramme : normalisation
La normalisation d'histogramme, ou expansion de dynamique, est une transformation affine
du niveau de gris des pixels de telle sorte que l'image utilise toute la dynamique de
représentation.
Pour rendre la normalisation moins sensible
D : dynamique aux valeurs marginales (outliers), on utilise
Nmin : la plus petite
D
généralement un paramètre , 0<<1,et on
valeur dans l'image 2 −1 prend :
Nmax : la plus f new [ x , y ]= f [ x , y ]−Nmin⋅
Nmax− Nmin
grande valeur dans Nmin ∈ HC −1  
l'image
Nmax ∈ HC −1 1− 

image d'origine f[x,y]

expansion de dynamique
Nmin Nmax D
2 -1 fnew[x,y]
histogramme d'origine histogramme normalisé
Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 52
 Histogramme : égalisation
L'égalisation d'histogramme est une transformation des niveaux de gris dont le principe est
d'équilibrer le mieux possible la distribution des pixels dans la dynamique (Idéalement, on
cherche à obtenir un histogramme plat).
La technique classique consiste à rendre « le plus linéaire D : dynamique
HC  f [ x , y] (w,h) : dimension de l'image
possible » l'histogramme cumulé de l'image en utilisant la D
f new [ x , y ]= 2 −1⋅
transformation suivante : wh HC(.) : histogramme cumulé

Histogramme de f Histogramme de fnew

Original f[x,y] Histogramme Histogramme Après égalisation fnew[x,y]

cumulé de f cumulé de fnew

Le résultat est une augmentation globale du contraste dans l'image. Notez dans l'exemple ci-dessus l'accentuation
des défauts avec la mise en évidence du bruit spatial fixe (effet de tramage) de l'imageur infra-rouge.

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 53
 Histogramme : segmentation
Il existe des techniques de segmentation basées sur un regroupement des niveaux de gris à
partir de l'histogramme. Ces techniques sont rarement efficaces car elles ne considèrent que
la valeur des pixels sans tenir compte de critères géométriques ou topologiques (voir cours
Segmentation).
Par exemple, la méthode ci-dessous calcule un certain nombre de quantiles à partir de
l'histogramme cumulé, les regroupe par classes en fonction d'un critère de distance, puis
attribut la même étiquette aux pixels dont la valeur est la plus proche d'une classe donnée :

Histogramme cumulé avec

Image originale agrégation des quantiles
Image segmentée
Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 54
 Le modèle différentiel
Dans le modèle différentiel, on considère l'image comme une fonction continue f(x,y),
dont on étudie le comportement local à l'aide de ses dérivées.
Une telle étude, fondée sur la formule de Taylor, n'a de sens que si la fonction f a une
certaine régularité, ce qui constitue le problème clef des méthodes différentielles.

Au premier ordre, on peut ainsi associer à chaque point

(x,y) un repère propre (t,g), où le vecteur t donne la
direction de l'isophote (ligne de variation minimale) et g
la direction orthogonale, celle du gradient.
I
g Grâce au plongement dans le continu, le modèle
différentiel permet en outre d'exprimer un grand nombre
 d'opérations d'analyse en termes d'équations aux dérivées
x partielles (EDP), ce qui permet de donner un fondement
mathématique satisfaisant aux traitements et aussi de
t fournir des méthodes pour les calculer, par des schémas
numériques de résolution.

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 55
 Estimation des dérivées partielles
Les approximations les plus simples des dérivées directionnelles se font par différences finies calculées
par convolution avec des noyaux très simples :
Par ex : [−11] , pour l'approximation de ∂f
∂x
, et : [ ] , pour l'approximation de
−1
1
∂f
∂y

[ ]
−1
On utilise plus souvent [−1 0 1] , respectivement 0 qui produisent des frontières plus épaisses,
1
mais bien centrées (phase nulle).

Ces opérations étant très sensibles au bruit, on les combine en géneral avec un filtre lisseur dans la
direction orthogonale à celle de dérivation, par ex par le noyau suivant (ou sa transposée) : [1 2 1]
Le calcul des dérivées directionnelles en x et en y revient finalement à la convolution avec les noyaux
suivants, respectivement :

[ ] [ ]
−1 0 1 −1 −2 −1
f x [i , j ]= f ∗h x [i , j] , avec : h x = −2 0 2 h y= 0 0 0 (Masques de Sobel)
f y [i , j ]= f ∗h y [i , j ] −1 0 1 1 2 1

On peut ensuite calculer la norme du gradient : Et son orientation :

∥∇ f [i , j]∥2=  f x [i , j ]2 f y [i , j]2

∥∇ f [i , j ]∥1 =∣ f x [i , j]∣∣ f y [i , j ]∣
∥∇ f [i , j]∥∞ =max {∣ f x [i , j ]∣,∣ f y [i , j ]∣}
arg  ∇ f [i , j ]=arctan
 f y [i , j ]
f x [i , j ] 
Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 56
 Estimation des dérivées partielles

Notons que les noyaux

dérivateurs sont à
somme nulle, la
transformée de Fourier
de leur réponse
impulsionnelle est donc
nulle à l'origine.

Original Noyau [-1 1] Noyau [-1 0 1]

Gradient horizontal (Sobel) Gradient vertical (Sobel) Module du gradient de

Sobel
Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 57
 Estimation des dérivées partielles
L'approximation par différences finies la plus simple de la dérivée seconde est la convolution par le
noyau :

[ ]
2 1 2
[1− 2 1] , pour l'approximation de ∂ f , et : , pour l'approximation de ∂ f
2 −2
∂x ∂ y2
1
2 2
∂ f ∂ f
Le laplacien  f =  peut donc être approximé par l'opérateur linéaire suivant :
∂ x2 ∂ y2

[ ] [ ]
1 1 1 1
Laplacien en Laplacien en
1 −4 1 4-connexité , ou encore 1 −8 1 8-connexité
1 1 1 1

Original Laplacien 4-cx Laplacien 8-cx

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 58
 Limite des différences finies
Les opérateurs de traitement d'images possèdent une certaine portée correspondant à l'amplitude du
voisinage qui interagit.
Un exemple, l'opération de réhaussement de contraste (unsharp masking) :
R f [ x , y ]= f [ x , y ]−⋅ f [ x , y] ( : gain)

En soustrayant le laplacien à l'image original, on augmente le contraste.

Mais le contraste est une notion multi-échelle :
Original ( = 0.5 ,  = 3) ( = 2.5 ,  = 10) ( = 7.5 ,  = 80)

Il faut donc des mécanismes pour adapter la portée des opérateurs :

Laplaciens calculés par
dérivées secondes de
noyaux gaussiens, pour
 = 1, puis 5, puis 15 :
Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 59
 Le modèle ensembliste
En morphologie mathématique, l'image est considérée comme un ensemble, dont on
étudie les propriétés en fonction de relations locales avec un ensemble de référence
(élément structurant) en termes d'intersection et d'inclusion (relations en tout-ou-rien).

B ∩ X =∅

B⊂X

B ∩ X ≠∅

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 60
 Érosion et Dilatation
Les transformations morphologiques sont définies à partir des 2 opérateurs ensemblistes de
base que sont l'érosion et la dilatation

2 2
Original (Matisse - 1952)  B  X ={x ∈ℝ ; B x ⊂ X }  B  X ={x ∈ℝ ; B x ∩ X ≠∅}

(élément structurant : disque)

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 61
 Érosion et Dilatation
L'érosion et la dilatation, et par suite l'ensemble des transformations morphologiques, se
généralisent des ensembles (Images binaires) aux fonctions (Images en niveaux de gris) par
l'intermédiaire des ensembles de niveaux : 2
I n ={x ∈ℝ ; I x n }

MIN
MAX

Original (Man Ray - 1924) B  I  B  I 

(élément structurant : losange)
Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 62
 Le modèle discret
La géométrie discrète est une discipline au moins aussi ancienne que le traitement
d'images. Alors que le modèle différentiel considère les structures géométriques
(courbes, surfaces, droites, etc) comme des approximations numériques de leurs
homologues continues, ou que le modèle fréquentiel traduit la discrétisation en termes de
perte d'information, le modèle discret, lui, intègre l'espace échantillonné comme cadre
mathématique, et s'efforce de donner un cadre formel aux structures géométriques
discrètes : définition, propriétés, théorèmes,...

Quelle est la distance Qu'est-ce qu'un trou ? Qu'est-ce qu'une

entre les 2 points ? droite ?

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 63
 Pavages du plan
Un pavage du plan est une partition du plan en cellules élémentaires (pixels).
Il n'existe que 3 pavages réguliers du plan :

triangulaire carré hexagonal

... mais de nombreux pavages irréguliers :

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 64
 Pavages du plan
D'autres pavages irréguliers du plan...

Pavage apériodique de Penrose

Pavage périodique d'Escher

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 65
 Pavages et maillages
A tout pavage du plan on peut associer un graphe où les sommets (nœuds) représentent
les cellules élémentaires, et où les arêtes représentent la relation d'adjacence entre les
cellules (2 cellules sont adjacentes si elles ont un côté en commun). Un tel graphe est un
maillage du plan.

Les pavages et les maillages réguliers sont duaux :

Questions :

- représentation dans Z2 ?

- combien de directions ?

- récursivité ?

Pavage triangulaire Pavage carré Pavage hexagonal

Maillage hexagonal Maillage carré Maillage triangulaire

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 66
 Maillage et connexité
Les relations topologiques dans les images discrètes sont définies à partir de la relation
de connexité induite par le graphe du maillage (X,S), où X représente les sommets et S les
arêtes. 2 2
X ⊂ℤ ; S⊂ X
Soient x et y 2 points de X, par définition x et y sont voisins si :
x≈ y ⇔ x , y∈S

maille carrée maille carrée maille triang.

4-connexe 8-connexe 6-connexe

La clôture transitive de la relation de voisinage est une relation d'équivalence

« il existe un chemin connexe entre x et y » :
x~ y ⇔∃ {x 1, ... , x n }/ x≈ x1, ... , x i≈ x i1 , ... , x n≈ y
Les classes d'équivalence de cette relation s'appellent les composantes connexes de X

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 67
 Topologie dans la maille carrée
Dans la maille carrée, la notion de trou dans un objet X (X ⊂Z2), qui doit correspondre à
une composante connexe finie du complémentaire Xc, n'est pas bien définie...

Ce problème est lié à la validité du théorème de

Jordan, selon lequel une courbe simple fermée
sépare le plan en 2 composantes connexes, dont
une bornée.

8-connexité 4-connexité

...sauf si l'on considère des connexités différentes pour X et pour Xc :

Questions :
combien de composantes
connexes, combien de trous
compte l'image ci-contre
(8,4)-connexité (4,8)-connexité
- en (8,4)-connexité ?
Le théorème de Jordan est vérifié - en (4,8)-connexité ?
pour ces connexités.

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 68
 Métrique dans la maille carrée
Le graphe du maillage induit également une distance dans le plan discret, la distance
entre 2 points x et y étant définie par la longueur du plus court chemin connecté entre x et
y. En pondérant toutes les arêtes du maillage par la valeur 1, on trouve :

distance de la 4-connexité 1 distance de la 8-connexité

1 1
∣ ∣∣
d 4  x , y = x1 − y 1  x 2 − y 2 ∣ ∣ ∣∣ ∣
d 8  x , y = max  x 1− y1 , x 2 − y 2 

On peut aussi pondérer différemment les arêtes du maillage 8-connexe, voire utiliser des
maillages plus complexes (i.e. des voisinages plus grands) :

4 7
11

3 5
distance du distance du
chamfrein (3,4) chamfrein (5,7,11)
y
Questions :

calculer les distances d4(x,y), d8(x,y), dch(3,4)(x,y), dch(5,7,11)(x,y)

entre les 2 points x et y ci-contre : x

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 69
 Conclusion
A retenir pour ce cours :
Équivalence convolution /
multiplication
- image numérique
- échantillonnage
modèle - quantification
linéaire modèle - histogramme
fréquentiel - convolution
Filtres - représentation fréquentielle
différentiels - connexité et distance
Ondelettes Corrélation
– ACP discrètes

modèle modèle
différentiel statistique
.../...

Morphologie
statistique
EDP / Ensemble
de niveaux modèle
ensembliste
Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 70
 Sources et bibliographie - Liens utiles
Livres :
●
R.C. Gonzalez et Woods « Digital Image Processing - 2d edition » Addison Wesley 2002
●
H. Maître (ss la direction de) « Le traitement des images » Hermes Lavoisier IC2 2003.
●
S. Bres, J.M. Jolion, F. Lebourgeois « Traitement et analyse des images numériques» Hermes Lavoisier 2003
●
M. Petrou, C. Petrou, « Image Processing: the Fundamentals - 2nd edition », Wiley, 2011
[Link]
●
D. Lingrand « Introduction au Traitement d'images » Vuibert 2004

Pages web :
➔
Univ. de Delft : [Link]
➔
CVOnLine - Univ. d'Édimbourg : [Link]
➔
COURSERA : [Link]

Antoine MANZANERA – Cours MI204 « Analyse et Indexation d’Images / Reconnaissance d’Images » – ENSTA Paris page 71