SETIT 2009
5th International Conference: Sciences of Electronic,
Technologies of Information and Telecommunications
March 22-26, 2009 – TUNISIA
Système de Reconnaissance Automatique des Plaques
Minéralogiques
Ameur CHHAYDER et Imene BELHADJ MOHAMED
IPEIS BP 3018 Sfax Tunisie
[Link]@[Link]
Imena55@[Link]
Résumé: Un système de reconnaissance automatique des plaques minéralogiques robuste et efficace devient de plus en
plus une nécessité dans la gestion de plusieurs domaines comme la circulation et la sécurité routière, la gestion des
parkings, la poursuite de criminels. Dans cet article nous présenterons un système pour la reconnaissance des plaques
minéralogiques Tunisiennes. Comme tout système RAPM nous allons passer par un ensemble de quatre étapes. La
première consiste à extraire à partir d’une image acquise au niveau de gris par une caméra digitale la plaque de la
voiture en se basant essentiellement sur une méthode de détection de contours. Cette plaque subit par la suite une
segmentation en caractères afin d’être analyser par un système de reconnaissance optique de caractère (OCR). Le
système passe par un ensemble de traitement et de prétraitements comme les morphologies mathématiques afin
d’arriver à un meilleur résultat le plus rapidement possible.
Mots clés : détection de contour, Canny, OCR, Segmentation, Morphologie mathématique.
basées sur les opérations morphologiques et d’autres
sur les caractéristiques de l’image comme la couleur.
INTRODUCTION
Un système de reconnaissance automatique des - La segmentation de la plaque en caractères :
plaques minéralogiques est une technologie qui trouve la plaque une fois extraite subira un ensemble de
son essence dans ces 20 dernières années dans le traitements pour être segmenté en séparant les
développement des techniques de traitement d’image caractères. On propose ici une méthode facile et rapide
ainsi que dans les OCR (reconnaissance optique des pour l’exécuter
caractères). Généralement un système RAPM typique - La reconnaissance optique des caractères :
est devisé en quatre phases : Ces systèmes ont été développés il y’a de ça une
vingtaine d’années et leurs performance dépend des
Acquisition de Détection de conditions environnantes et doivent être capables de
l’image la plaque gérer un grand nombre de difficultés possibles. Parmi
lesquelles :
- Une mauvaise résolution de l’image à cause
Reconnaissance Segmentation de d’une plaque trop éloignée ou d’une caméra de
de caractères la plaque en mauvaise qualité.
caractères
- Des images floues souvent à cause du
mouvement.
Figure 1. Etapes d’un RAPM.
- L’acquisition de l’image à partir d’une - Un mauvais éclairage et un faible contraste,
séquence vidéo et son envoi vers le système. un reflet ou une ombre, un objet obscurcissant une
partie de la plaque (barre de remorquage ou de la
- La détection et l’isolement de la plaque : poussière).
c’est la phase la plus importante et la plus difficile ;
- Une police de caractère trop originale comme
elle détermine la rapidité et la robustesse du système.
dans certains pays asiatiques.
Plusieurs études et recherches sont consacrées à cette
phase depuis plusieurs années ainsi différentes Dans cet article nous présenterons tout à bord les
méthodes ont été proposées. On peut citer dans ce cas approches ultérieures puis nous discuterons de leurs
les méthodes de détection de contours, les méthodes performances et de leurs limites. On passera ensuite à
-1-
SETIT2009
une présentation de notre système qui se base sur une Anagnostopoules [JFC 86] a développé une
méthode de détection de contours. méthode qui décrit les irrégularités dans la plaque.
Cette méthode ressemble à la méthode précédente
parce qu’elle dépend de l’intensité des pixels.
1. Les techniques de reconnaissance des
plaques minéralogiques: Les algorithmes présentés sont défaillants lorsque
les bords de la plaque ne présentent pas une grande
La littérature nous dévoile un ensemble de
variation par rapport au reste de l’image en plus ces
méthodes qui ont été proposées pour la détection et la
algorithmes utilisent un seuil qui doit être déterminé
reconnaissance des plaques; généralement on peut
automatiquement ce qui est difficile sous différentes
classer ces méthodes en quatre catégories:
conditions d’éclairage.
1.1 les propriétés de la plaque :
Pour [ANA 06] il utilise la couleur de la plaque
comme une propriété déterminante, l’image passe par 1.3 Intelligence artificielle
un filtre de couleur et la sortie est comparée à la forme Nijhuis et al [JSE 82] ont utilisé les
de la plaque. Wang et al [BAI 04] utilisent un filtre caractéristiques de la plaque allemande qui se
spécial en plus du filtre de couleur. Ces filtres sont compose d’un arrière plan jaune pour créer une
appliqués à une image au niveau de gris et la sortie fonction pour chaque pixel à travers un histogramme.
contiendra les formes des caractères. Toutes les Les autres propriétés floues sont dégagées à partir du
régions sont testées pour en extraire celles susceptibles niveau de gris de chaque pixel et de ses voisins.
d’être la plaque.
Zimic et al [JXI 05] ont appliqué le même
Pour [BEA 04] et [BRO 05] ils appliquent une concept de la logique floue. Ils ont divisé l’image en
méthode qui travaille avec des seuils afin de un ensemble de rectangles de la taille de la plaque.
segmenter l’image en noir et blanc pour ensuite en
Les auteurs de [MAT 05] ont réussit à localiser la
extraire la plaque.
plaque en utilisant la logique floue avec un
Comeli et al [CHO 03] utilisaient un test se basant pourcentage de réussite de 97.9%.
sur la taille des caractères et la distance qui existe
Néanmoins cette méthode dépend de l’éclairage
entre eux. Ils ont eu jusqu’à 91.07% de réussite.
parce qu’elle est tributaire de la couleur de la plaque.
Les algorithmes basés sur les couleurs sont moins
Park et al [NIJ 95] ont utilisé un réseau de
efficaces face à un changement d’éclairage car les
neurones à deux entrées comme un filtre horizontal et
couleurs apparaissent différemment sous différents
éclairages et en plus les plaques ont plusieurs couleurs vertical pour détecter les plaques coréennes.
et plusieurs formes. L’intersection entre les deux filtres localise la région
de la plaque.
Avec ce type de méthodes on n’est pas sure que les
Chacon et Zimmermann [OTS 79] ont utilisé un
régions détectées vont correspondre à la plaque.
réseau de neurones pour déterminer les régions
susceptibles d’être la plaque qu’on va analyser par la
1.2 les contours de la plaque :
suite par une transformé de Fourrier pour détecter la
Pour détecter la plaque, certains algorithmes bonne région, l’algorithme sera répété jusqu'à la
utilisent les contours des caractères et de la plaque détermination de la plaque. Ils ont réussit à extraire
comme des points de référence pour l’extraction. 85% des plaques ainsi la réussite de ce type
L’intensité des pixels dans les caractères et dans d’algorithme dépend de leur capacité à s’adapter aux
les contours des plaques est complètement différente différents éclairages car l’entrée des réseaux est la
que celle des voisins. En effet dans la majorité des cas valeur de niveau de gris pixel.
ils sont d’une couleur différente que celle du reste de
l’image. Une arête peut être détectée dans une image 1.4 La signature de la plaque :
en utilisant le gradient comme par exemple avec le Dlagnekov [PAM 02] a implémenté l’algorithme
seuil OTSU [COM 95]. d’Adaboost comme on l’a utilisé pour la détection des
visage (Viola and Jones [PAR 04]).
La seconde partie de la détection localise les
contours de la plaque à partir d’une image en noir et Matlas et Zemmerman [PAR 96] proposent un
blanc. algorithme qui choisit une région du texte à partir d’un
ensemble puis il exploite le fait qu’une plaque contient
Pour [DAI 01] et [DVA 05] ils ont utilisé des
des caractères et des symboles qui sont clairement
opérations morphologiques sur l’image transformée en
visibles même lorsque plusieurs propriétés de la
contours.
plaque sont cachées. Cependant le problème est que
Pour [DLA 02] et [ELL 90], on applique une certaines autres régions outres que plaque peuvent
transformée de Houg sur l’image et les lignes qui contenir du texte.
traversent la plaque seront déterminées ainsi que les
Elliman et Lancoster [SHY 04] ont fait évoluer
objets de formes rectangulaires.
l’utilisation du spectre de fourrier pour distinguer
-2-
SETIT2009
entre les différentes régions de l’image qui présentent
des informations. Broumandnia et al [TRA 05] ont
parcouru l’image verticalement et ont distingué le
nombre d’arêtes pour chaque parcourt pour localiser la
ligne horizontale à laquelle est lié la plaque.
2. La détection des contours :
La détection de contours en traitement d’image est Figure2. Gradient d’une image
une étape essentielle et incontournable car elle
permet une réduction importante de la quantité 2.2 Le Laplacien d’une image :
d’information relative à une image, tout en préservant Ces méthodes utilisent le fait que le passage par
des informations structurelles comme les contours et Zéro du Laplacien permet de bien mettre en évidence
les frontières des images. les extremums de la dérivée. Pour l’opérateur de Marr-
Hildreth (Mlsna et al.2000) [TSA 04], un lissage
Le but de la détection de contours est de repérer les
gaussien est incorporé sous forme d’un filtre LOG
points d'une image numérique qui correspondent à un
(Laplacian Of Gaussian).
changement brutal de l'intensité lumineuse ; en effet
Un contour se matérialise par une rupture d'intensité Le Laplacien d’une image d’intensité I(x,y) est
dans l'image suivant une direction donnée. Plusieurs défini par :
méthodes existent pour détecter cette rupture, les unes
plus ou moins complexes, les autres plus ou moins ∇2I(x,y) =∂2I(x,y)/∂x2+∂2I(x,y)/∂y2 (3)
gourmandes en calcul. Les différentes approches existantes se classent
Elles s’appliquent en deux étapes : ensuite suivant la manière d’estimer les dérivées de la
fonction intensité.
a. La première étape permet de localiser les contours
à partir d'un calcul de Gradient ou de Laplacien 2.3 Critères de Canny (1986) [VIO 02] :
dans des directions privilégiées tout en quantifiant
-bonne détection : tous les contours doivent être
l'importance du contour.
détectés (sans omission de certains pixels sur le
b. La seconde étape va permettre d'isoler les contour à détecter),
contours du reste de l'image à partir d'un seuillage
- bonne localisation : Les contours détectés doivent
judicieux.
se trouver à leur position idéale
Plusieurs méthodes permettent de déterminer le
- Suppression des réponses multiples :
Gradient ou le Laplacien d'une image. Il en est de
même des techniques de seuillage. Ces deux étapes un détecteur ne doit pas fournir de réponses
sont indépendantes, il existe donc un grand nombre de multiples ou de faux contours.
combinaisons de calcul Gradient et seuillage
conduisant à la mise en évidence des contours. Pour cela on fixe deux seuils, un seuil haut sh et un
seuil bas sb. On commence par sélectionner les points
qui dépassent le seuil haut et on applique ensuite le
2.1 Le Gradient d’une image:
seuil bas en ne conservant que les composants
Le gradient d’une image est le vecteur ∇ (I(x, y) connexes qui contiennent un point au dessus de sh. En
défini par : d'autres termes à partir de chaque point au dessus de
sh on "suit" un chemin constitué de points au dessus
∇I(x,y) =(∂ I(x,y)/∂x , +∂I(x,y)/∂y)t (1)
de sb, ce chemin est le contour recherché.
Il est donc caractérisé par un module m et une 3. Définition de la morphologie
direction φ dans l’image. mathématique :
-La direction du gradient maximise la dérivée C’est une Discipline née en France en 1964 (G.
directionnelle. Matheron, J. Serra) [TRA 02]. Elle offre un grand
nombre d'outils très puissants de traitement et
-La dérivée de I(x,y) dans une direction donnée d d'analyse d'images. Les outils proposés ont été
s’écrit : ∇I(x,y) · d. développés au départ pour traiter des images binaires,
-Le gradient d’une image filtrée: ∇I’(x,y) = on fait alors de la morphologie mathématique
ensembliste.
∇(I(x,y)*h(x,y)) = ∇I(x,y)*h(x,y) (2)
Le principe de base de la morphologie
=I(x,y)*h(x,y).
mathématique est de comparer l'image à analyser par
rapport à un ensemble de géométries connues appelées
éléments structurants que l'on déplace de façon à ce
que leurs origines passent par toutes les positions de
l'image, pour mettre en évidence certaines
-3-
SETIT2009
caractéristiques de l'image.
3.1 L'érosion :
Lors de cette transformation:
-les objets de taille inférieure à celle de l'élément
structurant vont disparaître,
-les autres seront ôtés d'une partie correspondant à
la taille de l'élément structurant,
-s’ils existent des trous à l'intérieur des objets, ils
seront accentués.
-les objets reliés entre eux vont être séparés.
3.2 La dilatation:
Figure 3. Images acquises à l’entrée de système.
La dilatation est l'opération duale (ou inverse) de
l'érosion. Lors d'une dilatation : 4.2 Conversion de l’image en niveau de gris :
-tous les objets vont "grossir" d'une partie L’image qui est en origine en couleur sera
correspondant à la taille de l'élément structurant transformée en une image en niveau de gris, un pixel
est représenté sur 8 bits et le nombre de composant
-s'il existe des trous dans les objets, c'est à dire des
couleur pour chaque pixel sera donc égal à 1.
"morceaux" de fond à l'intérieur des objets, ils seront
comblés.
-si des objets sont situés à une distance moins
grande que la taille de l'élément structurant, ils vont
fusionner.
3.3 L'ouverture :
Une érosion suivie d'une dilatation s'appelle une
ouverture. L’ouverture a pour propriété d'éliminer
toutes les parties des objets qui ne peuvent pas
contenir l'élément structurant.
3.4 La fermeture :
Une dilatation suivie d'une érosion s'appelle une
fermeture. Il a pour propriété de combler tout ce qui
est de taille inférieur à l'élément structurant.
4. Résultats expérimentaux
Figure 4. Images originales transformées en images en
4.1 Détection de la plaque à partir de l’image. niveau de gris.
Toutes les images acquises sont de la même
couleur RGB et de taille (320,240) 4.3 Morphologie Mathématique
Pour notre travail, une image est une structure L’image va subir par la suite une ouverture.
définie par un ensemble de paramètres qui sont : L’élément structurent est d’une forme rectangulaire de
dimension 2*2.
-la hauteur
En effet, on cherche à mettre en évidence les
-la largeur contours, et on a vue qu’une ouverture sera la mieux
-nombre de composants couleur dans un pixel appropriée.
-La dimension de l’image qui est égale à la 4.4 Application de l’algorithme de Canny
hauteur* largeur.
L’image est une source d’informations sous
-Le nombre de bits alloués par pixel (8,16, 32,64). plusieurs formes dont la couleur, l’intensité, la
A l’entrer du système, l’image va subir un géométrie, ces informations vont être utilisés dans
ensemble de prétraitements. l’étape de détection des contours.
L’algorithme de Canny revient comme précisé ci-
dessus à fixer un double seuil sur l’image au niveau
-4-
SETIT2009
de gris pour détecter les contours. Si oui, il va stocker les points dans une autre
séquence, et si le nombre de points qui vérifient cette
Par la suite, un autre seuil est appliqué de telle
condition arrive à quatre alors la région est la plaque
façon qu’ils restent uniquement les contours les plus
cherchée.
évidents et les plus fermés ; parmi lesquels le contour
de la plaque.
L’ensemble des contours détectés seront stockés
dans une structure appelée séquence pour un prochain
teste de forme géométrique.
Figure 8. Détection de la plaque après teste de forme
géométrique.
4.6 Segmentation de la plaque en caractères :
La plaque une fois détectée, subira un ensemble de
traitements dans le but de la segmenter en caractères
isolés.
-Transformation de la plaque en binaire
Dans cette partie, l’image sera transformée en
noire et blanc. Pour le faire, nous avons fixé un seuil
Figure 5. l’application de l’algorithme de Canny s1. Si on considère f (i) comme la valeur en niveau de
sur une1ère image en niveau de gris. gris du pixel i, alors on pose la condition suivante :
Si f (i)>s1 alors f (i) = 0:
Sinon
f (i) =255;
On obtient les résultats suivants:
Figure 9. Les plaques détectées après transformation
Figure 6. l’application de l’algorithme de Canny
sur une2ème image en niveau de gris.
4.5 Extraction des régions rectangulaires:
La plaque a une forme rectangulaire. Donc si on se
pose que l’on a la forme suivante. en binaire.
A B -Recadrage de la plaque :
Pour une meilleure segmentation, nous avons
pensé à un recadrage en noir de la plaque pour
C D fusionner le contour avec le reste.
Figure 7. La forme de plaque minéralogique vue -La segmentation de la plaque en caractères:
par notre système.
L’algorithme de segmentation est assez simple ; en
L’angle (BÂC) = 90°, pareil pour les trois angles effet les caractères sont en blanc et l’arrière plan est
qui restent. en noir, on suppose alors que les caractères sont
L’algorithme qu’on propose sera appliqué sur tous séparés par des lignes de pixels noirs. On trace ses
les points des contours détectés, et teste si l’angle (i-1, lignes par une couleur différente.
i, i+1) est un angle presque droit.
-5-
SETIT2009
Segmentation Segmentation avec Pour aider l’OCR à reconnaître les plaques, on leur
applique les différentes morphologies mathématiques :
sans recadrage Recadrage Ouverture, Fermeture, érosion, dilatation ; les résultats
sont donnés par les tableaux ci-dessous :
Sans opérations morphologiques
Plaque
Caractères reconnus par TOCR
Figure 10. Segmentation de la plaque en caractères avec
et sans recadrage.
Figure12. OCR sans opérations morphologiques.
4.7 Reconnaissance optique des caractères (OCR)
C’est un ensemble de techniques informatiques qui Avec l’érosion
réalisent une reconnaissance de la forme des
caractères, après captation d’image par procédé Plaque
optique.
Le résultat est souvent transmis sous forme d’un
fichier.
Nous avons testé un ensemble d’OCR, et nous
avons opté pour le choix de « TOCR » pour
l’importance de son taux de reconnaissance. Caractères reconnus par TOCR
TOCR Transym OCR Software:
TOCR est un OCR libre qu’on peut acquérir
gratuitement [ZIM 97], il est disponible avec son Figure13. OCR avec une érosion.
code source rédigé en Visual Basic 5.0. Il reconnaît les
textes, les fichiers Bitmap, et les images Tiff.
TOCR se base sur la technique de comparaison Avec la dilatation
par modèle, qui consiste à comparer le signe du texte
Plaque
avec un modèle préenregistré. Les caractères qu’on
peut reconnaître avec cette version sont donnés par le
tableau suivant :
Caractères reconnus par TOCR
Figure14. OCR avec une dilatation
Figure 11. Les caractères reconnus par TOCR.
-6-
SETIT2009
Avec une fermeture Conference on Pattern Recognition, vol 2, pp. 831–
834. 23–26 Aug (2004).
Plaque
[BEA 04] Beatriz, A.: Experiments in image
segmentation for automatic US license plate
recognition. Dissertation, Virginia Polytechnic Institute
and State University (2004)
[BRO 05] Broumandnia, A., Fathy, M.: Application
of pattern recognition for Farsi license plate recognition.
Caractères reconnus par TOCR
In: Vision and Image Processing (GVIP), Dec (2005)
[CHO 03] Chacon, I., Zimmerman, A.: License
plate location based on a dynamic PCNN scheme. In:
Proceedings of the International Joint Conference on
Neural Networks, vol. 2, pp. 1195–1200. 20-24 July
(2003).
Figure15. OCR avec une fermeture
[COM 95] Comelli, P., Ferragina, P., Notturno, M.:
Avec une ouverture Optical recognition of motor vehicle license plates. In:
Plaque Vehicular Technology, vol.44, No. 4, 790–799 (1995).
[DAI 01] Dai, Y., Ma, H., Liu, J., Li, L.: A high
performance license plate recognition system based on
the web technique. In: Proceedings of IEEE Intelligent
Transportation Systems, pp. 325–329 (2001)
[DVA 05] David, L., Andres, M., Vicente, P., Juan,
V.: Car license plates extraction and recognition based
Caractères reconnus par TOCR
on connected components analysis and HMM decoding.
In: IbPRIA, vol. 1, pp. 571–578 (2005).
[DLA 02] Dlagnekov, L.: Video-based car
surveillance: License plate makes, and model
recognition. Dissertation, U.C. San Diego. AdaBoost
and a detector cascade. In: NIPS, vol. 14 (2002).
Figure16. OCR avec une ouverture.
[ELL 90] Elliman, G., Lanxaster, T.: A review of
Comme pour la détection des contours, l’élément segmentation and contextual analysis techniques for text
structurant ici est un rectangle de dimension 2*2. On a recognition. In: Pattern Recognition, vol. 23, No. 3,
remarqué que la fermeture, est la technique la plus 337–346 (1990).
fructueuse et qui a reconnu le plus de caractères.
[JFC 86] J. F. Canny, “A computational approach
to edge detection”, IEEE transaction on pattern analysis
5. Conclusion and machine intelligence, November 1986.
Nous avons essayé dans cet article de présenter un [JSE 82] [Link] Image Analysis and
système de reconnaissance des plaques Mathematical Morphology. Academic Press, London,
minéralogiques tunisienne. 1982.
Nous avons présenté un certains nombre de [JXI 05] JXifan, S., Weizhong, Z.,
notions et de définitions concernant le domaine de Yonghang, S.: Automatic license plate recognition
traitement d’image que nous avons utilisé pour réaliser system based on color image processing. ICCSA 4,
notre travail. 1159–1168 (2005).
Certaines valeurs avec lesquelles on a travaillé [MAT 05] Matas, J., Zimmermann, K.:
comme pour les seuils ont été prises manuellement Unconstrained licence plate Detection. In: Proceedings
suivant les résultats obtenus. Ce qui nous ouvre la of the 8th International IEEE Conference on Intelligent
porte pour d’autres améliorations. Transportation Systems, pp. 572–577, isbn 07803-9216-
7, Wien, Austria (2005) .
[NIJ 95] Nijhuis, J., Brugge, M., Helmholt, K.,
REFERENCES Pluim, J., Spaanenburg, L., Venema,R., Westenberg M.:
[ANA 06] Anagnostopoulos, E., Anagnostopoulos, Car license plate recognition with neural networks and
E., Loumos, V., Kaya fas, E.: A license plate-recognition fuzzy logic. In: Proceedings of IEEE Inter-national
algorithm for intelligent transportation system Conference on Neural Networks, vol. 5, pp. 2232–
applications. IEEE Trans. Intell. Transp Syst. 7(3), 377– 2236(1995)
392 (2006).
[OTS 79] Otsu, N.: A threshold selection method
[BAI 04] Bai, H., Liu, C.: A hybrid license plate from Gray level histograms. In: IEEE Transactions on
extraction method based on edge statistics and Systems, Man, and Cybernetics, [Link]-9, pp. 62–66
morphology. In: Proceedings of the 17th International (1979)
-7-
SETIT2009
[PAM 02] P. A. Mlsna and J. J. Rodriguez,
’’Gradient and Laplacian type edge detection’’, In
handbook of Image and Video Processing, Academic
Press (2002)).
[PAR 04] Park, H., Kim, I., Jung, K.,
Kim, J.: Locating car license plates using neural
networks. In: Electronics Letters, vol. 35, No. 17, pp.
1475–1477. (2004)
[PAR 96] Parker, J., Federl, P.: An approach to
license plate recognition. In: Computer Science
Technical reports, University of Calgary, Alberta
Canada, 591–11, October (1996).
[SHY 04] Shyang-Lih, C., Li-Shien, C., Yun-
Chung, C., Sei-Wan, [Link] license plate
recognition. In: IEEE Transactions on Intelligent
Transportation Systems, vol.5, No.1, pp.42–53(2004)
[TRA 05] Tran, D., Tran D., Tran, P., Nguyen, H.:
Building an automatic vehicle license-plate recognition
system. In: 3rd International Conference on Computer
Science— Recherche, Innovation & Vision du Future
(RIVF2005), CanTho, Vietnam, 21–24Feb (2005).
[TSA 04] Tsang-Hong, W., Feng-Chou, N., Keh-
Tsong, L., Yon-Ping, C. Robust license plate recognition
based on dynamic projection war-ping. In: Proceeding of
IEEE International Conference on Network-king,
Sensing and Control, vol. 2, pp. 784–788 (2004).
[VIO 02] Viola, P., Jones, M.: Fast and robust
classification using asymmetric AdaBoost and a detector
cascade. In: NIPS, vol. 14 (2002).
[TRA 02] [Link].
[ZIM 97] Zimic, N., Ficzko, J., Mraz, M., Virant,
J.: The fuzzy logic approach to the car number plate
locating problem. In: Procee-dings of Intelligent
Information Systems, IIS ’97, 227–230 (1997).
-8-