Année Universitaire
2023-2024
Classification naïve bayésienne
Enseignante: Noussaiba JAAFAR
E-mail: [Link]@[Link]
Classifieur Bayésien
• Théorie bayésienne de la décision : approche statistique fondamentale en
reconnaissance de formes.
• Caractéristiques :
Problème de prise décision posé en termes probabilistes.
Les lois de probabilités sont supposées connues.
• La théorie de la décision bayésienne choisit la meilleure décision parmi les
décisions possibles en se basant sur ces lois et sur les coûts associés à
chaque décision.
2
Classifieur Bayésien
• Introduction : Exemple
• Classer un fruit comme « poire » (classe C1) ou « pèche » (classe C2).
• Probabilité a priori : reflète notre connaissance qu’un fruit soit une poire ou
une pèche sans qu’on ait observé le dit fruit (par exemple en fonction de la
saison)
Pr(C1) + Pr(C2) = 1
• Classification : affecter le fruit à la classe 1 si Pr(C1) > Pr(C2)
• Un risque d’erreur important.
3
Classifieur Bayésien
• Représentation
Définir les caractéristiques x ∈ Rd représentant un fruit (forme, couleur,
odeur, ...)
Définir des lois conditionnelles pour les classes p(x|C1) et p(x|C2)
En rouge la classe C 1 en bleu la classe C 2
4
Classifieur Bayésien
• Probabilité a posteriori Pr(C k |x) des classes, d’après le théorème de Bayes
Pr(C|x) = P (x|C k)P r(C k) , k ∈ {1, 2}
k P (x|C 1 )P r(C 1 ) + P (x|C 2 )P r(C 2 )
• Nouvelle règle de décision : affecter x à la classe de plus forte probabilité
a posteriori :
Si Pr(Poire|x) > Pr(Peche|x) alors x = Poire
taux d’erreur = nombre de mauvaises décisions sur nombre total de décision
5
Classifieur Bayésien
Démarche
• On observe un ensemble de caractéristiques noté x décrivant une entité.
On suppose qu’une entité provient d’une classe donnée.
• On prend une décision (action) en fonction de l’observations de
caractéristiques.
• Chaque décision (action) a un certain coût en fonction de la classe à
laquelle appartient x.
Objectif : trouver une règle de décision qui minimise un coût moyen,
définissant quelle décision (action) prendre en fonction de l’entité observée
6
Classifieur Bayésien
Notations
• Ensemble des classes {C 1 , ..., C k } de probabilité a priori Pr(C k )
= P (C = C k ) pour chaque classe.
• Espace des caractéristiques X (exemple X = R d )
• Probabilité a posteriori Pr(C = C k |X = x) = P (C k |x)
• Loi conditionnelle de x à la classe C k : p(x|C k ) = P (X = x|C = C k )
• Loi marginale de x :P (x) = p(x) = P (X = x) = p(x|C k )P r(C k )
Problème
Trouver la classe de x par une approche probabiliste : maximum a posteriori
C M A P = argmax k P (C k |x) = argmax P (x|C k )P r(C k )
P (x)
⇒ Estimation des probabilités P (C k ) et P (x|C k ) à partir de l’ensemble
des observations
7