I.

INGENIERIE DES CONNAISSANCES

1- Introduction à l’Ingénierie des Connaissances
L’ingénierie des connaissances (IC) fournit une démarche méthodologique d’analyse et de modélisation
permettant de sélectionner les informations les plus porteuses de sens, dans le but de proposer une
résolution (ou une aide à la décision) machinale (automatique) et intelligente des problèmes posés.

Une connaissance est une information reconnue comme valide, qui guide vers une décision. On distingue:
- Les connaissances explicites (connaissances tangibles) de l'entreprise : contenues dans les BD ou bien
dans tous les documents papiers ou électroniques (on doit les exploiter lors des décisions)
- Les connaissances tacites (connaissances intangibles) : des connaissances personnelles (ex. l’expérience
d’un expert, qui disparaisse si l’expert part en retraite). On doit les conserver par les rendre explicite.

Des données aux connaissances

Le schéma suivant caractérise les différents types « d’informations » et de « connaissances » en fonction
de leur complexité, de leur relation respective et de leur niveau de compréhension.
Formation niveau Master/Ingénieur : Abstraction
Etudier l’informatique décisionnelle via les Complexité
Techniques d’Apprentissage Automatique
(MACHINE LEARNING = Techniques de :
- Statistiques & Analyse des Données +
- Intelligence Artificielle +
- Optimisation
Formation niveau Licence/DEUA :
Etudier l’informatique transactionnelle :
(Développer des systèmes d’information)
Systèmes d’information (SI) =
Base de Données interface graphique
(gérée par (éxécutable
un SGBD) ou site web)

Donnée : une mesure (numérique) ou une caractéristique (nom, couleur). Exemple : 100
Information : donnée dans un contexte. Exemple : l’eau bout à 100° Celsius
Connaissance : information interprétable et exploitable. Ex. : l’eau à 100° sera stérilisé (sans microbes)
Compétence : connaissance dans l’action (exploitable dans la réalité). Ex. : maîtriser les techniques pour
bien stériliser l’eau.
Les principaux axes d’ingénierie des connaissances
 L’extraction des connaissances (Machine Learning)
 La gestion des connaissances (Knowledge Managment)
 Capitalisation des connaissances (construction de « mémoire d’entreprise »)
 2- Extraction des connaissances
L’Extraction de Connaissances à partir de Données (ECD) «Knowledge Discovery in Databases (KDD) »
est la découverte non triviale, à partir de données, d’une information implicite, précédemment inconnue et
potentiellement intéressante. Une telle «information » extraite d’une base de données devient alors une «
connaissance ».

Le processus d’extraction de connaissances

L’ECD comporte ainsi quatre caractéristiques principales :

 La connaissance découverte doit être exprimée dans un langage de « haut niveau » afin d’être
compréhensible et utilisable par les utilisateurs et non plus seulement par les spécialistes.
 La connaissance découverte doit être relativement certaine de façon à ce que l’utilisateur puisse y
accorder une grande croyance (critères de validité mathématique, statistique, ...)
 Les résultats produits doivent présenter un intérêt aux utilisateurs. Seule une information nouvelle,
utile, non triviale, non redondante, intéressante sera qualifiée de connaissance.
 Le processus de découverte doit être efficace et implémentable sur un ordinateur. Les temps de
calcul doivent être polynomiaux dans un espace mémoire normal(selon la technologie actuelle).
Les méthodes d’ECD exploitent les recherches en Intelligence Artificielle et d’analyse de données pour
assurer un « Apprentissage Automatique » via des méthodes : descriptives, prédictives et d’optimisation.

Intelligence Artificielle
- Systèmes Experts
- Représentation des
connaissances
Appr. Statistique & Méthodes
Analyse des Données d’Optimisation

MACHINE
LEARNING
 3- La gestion des connaissances (Knowledge Managment)
On appelle « Knowledge Management » (noté KM, en français management des connaissances ou
management par les connaissances) les méthodes et outils logiciels permettant d'identifier, de capitaliser
les connaissances de l'entreprise afin notamment de les organiser et de les diffuser.
Par exemple : valoriser conserver et diffuser en interne d’une société le savoir et savoir-faire des salariés.
Voici quelques méthodes de gestion des connaissances :
Baton passing : passage de témoin est une méthode permettant de s’assurer qu'un employé, un directeur,
qui change de position, qui quitte la société ou qui prend sa retraite, transmette ses connaissances clés
(non formalisée) qui seront essentielles pour que son successeur puisse être opérationnel dans un délai
très court, pour qu'un nouvel arrivant dans la société puisse être immédiatement efficace et efficient.
Practice groups (communities of practice) : ou communautés de pratique qui constituent une manière
collaborative de regrouper, de partager et d optimiser des expertises disséminées au sein de la société.

4- La capitalisation des connaissances

Le but de la capitalisation est : d’éviter la perte de savoir-faire, exploiter l’expérience acquise, améliorer
la circulation de l’information et ainsi l’apprentissage des employés.
C’est le processus de passage d’une mémoire de travail à une mémoire d’entreprise. Une mémoire
d’entreprise tend à caractériser un système qui inclurait toutes les données concernant l’entreprise
(mémoire organisationnelle), son passé technique (mémoire technique (de métier)), ses projets réalisés
(mémoire de projet) ses experts (mémoire individuelle), donnant une image fidèle de son histoire.

Cycle de capitalisation
- repérer les connaissances cruciales, qui sont les savoirs et les savoir-faire nécessaires dans l'entreprise.
- préserver : c'est-à-dire les modéliser, les formaliser et les conserver
- valoriser : partager et mettre les connaissances au service du développement et de l'entreprise.
- actualiser : mise à jour en continu

Quelques démarches dédiées à la construction d’une mémoire d’entreprise

A) Les démarches de capitalisation : cherchent l’explicitation des connaissances détenues par un expert
sur un support informationnel ; Exemple de méthodes : CommonKADS, MKSM, IBIS ou QOC.
B) Les démarches de mémorisation continue pour retour d’expériences : stocker et donner accès
aux expériences passées et « garder des traces des incidents et échecs », et présenter des solutions
techniques pratiques ». Dans cette catégorie se trouve la méthode CYGMA ou la méthode REX.
C). Les démarches cartographiques : elles cherchent à répertorier les compétences contenues par
l’organisation, c’est-à-dire à faire une représentation graphique et descriptive des connaissances afin de
les situer dans l’entreprise. Les arbres de connaissances en sont l’exemple typique.
 II. LA STATISTIQUE INFERENCIELLE
1- Introduction
Le résonnement (méthode) scientifique désigne l'ensemble des canons (démarches et de disciplines
scientifiques) guidant ou devant guider le processus de production des connaissances scientifiques, qu'il s'agisse :
d'observations, d'expériences, de raisonnements, ou de calculs théoriques.

1.1- Différence entre hypothèse statistique & DataMining

A la différence de l'exploration de données (data mining), les méthodes de statistiques classiques exigent
de se fixer une hypothèse de façon préalable à tout travail :
o L’hypothèse est une explication anticipée (provisoire) qui décrit ou explique un phénomène.
Exemple : une prédiction consistant à mettre en relation une variable et un comportement.
o Un test d'hypothèse : évaluer une hypothèse statistique en fonction d'un jeu de données
(échantillon). Exemple : ayant observé un certain nombre de tirages « pile ou face » produit par une
pièce, on peut se demander si celle-ci est biaisée (c'est-à-dire possède une probabilité différente de
1/2 de tomber sur une face donnée). On peut utiliser une loi binomiale (l’épreuve de Bernoulli) pour
calculer cette probabilité et si elle est faible (inférieure à un seuil fixé, en général 5%), on rejette
l'hypothèse nulle de l'équiprobabilité des faces de la pièce, et on décide qu'elle est biaisée.

1.2- Notions de base

 Une statistique = calculer l’un des paramètres de l’échantillon : sa moyenne, son écart-type,...
 Un test statistique : est un mécanisme permettant de trancher entre deux hypothèses sur un paramètre,
au vu des résultats d’un sondage (échantillonnage).
 Inférence statistique = porter une conclusion sur l’ensemble de la population source (échantillons). Les
tests statistiques sur échantillons n’ont d’intérêt que rapportés à leur population source (l’inférence).
L'interprétation de données statistiques est la base de l'inférence statistique.

 Ainsi, lorsque les données sont :

 Volumineuses (puisque tester des populations entières « est exceptionnel »), ou
 Non entièrement disponibles (avoir quelques échantillons (sondages) seulement)
 Donc, on ne peut pas analyser toute la population, c’est ici qu’interviennent les techniques :
 d’Echantillonnage : qui doit fournir le maximum d’information sur la population et le
problème posé.
 de Statistique inférentielles (ou décisionnelle)
 d’Extrapoler ensuite les résultats d’étude des échantillons à leur population source

 La méthode consiste à :
 Déterminer un estimateur du paramètre recherché (moyenne, variance...) à partir d'une
statistique d'échantillon
 Etablir « un risque d’erreur » ou « un intervalle de confiance » autour de l'estimation
 Puis, à procéder au test proprement dit, c'est-à-dire à poser deux hypothèses alternatives
sur cet estimateur et en fonction d'une probabilité (risque) d'erreur préétablie,
 Et enfin, de valider ou non la première hypothèse.

1.3- Analyse uni-variée ou analyse multi-variée ?

Les analyses uni-variées : correspondent à l'analyse d'une seule variable : comparaison d'une
caractéristique entre plusieurs populations ou de la concordance d'une observation avec une loi générale
(si on analyse une seule variable sur un seul échantillon). Exemple : on sait que la prévalence des yeux
marron dans la population générale est de 60% et on veut savoir si le gène des yeux marron est lié à celui
des cheveux noirs. On va donc analyser le taux des yeux marron chez un échantillon de cheveux noirs, et
déterminer s’il est compatible avec une prévalence de 60% (même variable & un ou plusieurs échantillons)
Les analyses multi-variées (variables cibles et explicatives) : correspondent à l'analyse de deux
variables : « le facteur d'étude » et « la variable de réponse ».
 ANALYSE UNI-VARIEE

ANALYSES MULTI-VARIEES
 2- Déroulement du test statistique et analyse des résultats
 1ére étape : définition des hypothèses et des variables
 2éme étape : définir le seuil de rejet de H0 : le seuil alpha (par les spécialistes en fonction du besoin
de fiabilité du résultat). exemple : α=0.05  rejeter H0 si < 5% de chance H0 vraie.
 3éme étape : calculer la statistique de test : c’est un système de calcul défini par le test utilisé et
basé sur les valeurs mesurées. Il comporte une formule et souvent des estimateurs. Ces
estimateurs sont des fonctions permettant d'estimer un paramètre inconnu (tel que la prévalence
d'un caractère dans la population quand on ne possède sa prévalence que dans un échantillon).
 La statistique de test (ST) suit une loi de probabilité définie par H0. Elle peut être représentée par
exemple pour un test unilatéral par la courbe suivante:

 La ST étudiée est alors comparée à cette loi de probabilité, et la p-valeur, résultat du test, est
calculée par l'aire sous la courbe entre la ST observée et l'extremum de l'intervalle : il s'agit de la
probabilité d'observer des valeurs plus extrêmes si H0 est vraie. La p-valeur sera donnée en
fonction du test utilisé, soit par une formule soit par une table de résultats. Si la p-valeur est
inférieure au seuil alpha, alors on rejette H0, si elle est supérieure, alors on ne peut pas rejeter H0.
 Dans le cas d'un test :
o Unilatéral : on ne considérera le seuil alpha que d'un coté de la distribution comme dans la
figure précédente (ex: 0.05 à droite et ST observée positive), puisqu'on ne s'intéresse ici
qu'à une corrélation positive.
o Pour un test bilatéral : on le considérera des deux côtés de la distribution puisqu'on ne
s'occupe pas du signe (ex: 0.025 de chaque côté pour un risque de 0.05 et quelque soit le
signe de la ST observée).
Attention : Une p-valeur n'apporte aucune information sur le degré de différence ou de ressemblance, une
p-valeur très grande n'indique pas une différence très grande entre deux échantillons.
Il est aussi important de se rappeler qu'aucun test n'est parfait (comme les algorithmes de
DataMining) et qu'il peut y avoir de nombreuses sources d'erreurs. Les erreurs possibles sont de deux
types lors des tests statistiques :
 L'erreur de première espèce ou risque alpha : il s'agit du risque de trouver une différence significative
alors qu'il n'y en a pas, et donc de rejeter H0 alors que H0 est vraie (Faux positifs).
 L'erreur de seconde espèce ou risque beta : il s'agit du risque de ne pas détecter de différence
significative alors qu'elle existe et donc de ne pas rejeter H0 alors que H1 est vraie (Faux négatifs). La
puissance statistique d'un test est définie par la formule 1-beta et permet d'évaluer sa capacité à
mettre en évidence une différence significative lorsqu'elle existe (sensibilité).

Il convient alors de traiter ces résultats avec précaution. De même, évitez la répétition de tests statistiques,
les risques d'erreurs se multipliant quand les tests s'additionnent.
 3- Lien entre statistiques et probabilités
3.1- La différence entre statistiques et probabilités
Les tests statistiques permettent (et peuvent) aboutir aux calculs de probabilités :
 On peut dire :
o Les statistiques sont des calculs sur les éléments passés
o Les probabilités sont des calculs pour (essayer de) déterminer des éléments futurs
 Aussi :
o Les statistiques analysent les échantillons de taille finie (connue) d’une population
o Les probabilités analysent les populations de taille infinie (inconnue)
 Aussi :
o Les statistiques étudient les données empiriques (issues des expériences (tests) réelles,
situations concrètes). C’est recueillir, traiter, interpréter et présenter un ensemble de données
o Les probabilités modélisent des faits (phénomènes) aléatoires

3.2- Liens à travers un exemple : le jeu de pile ou face

 Une question statistique serait : La pièce est-elle équilibrée?
C'est-à-dire, la probabilité d'obtenir pile est-elle 1/2?
Ainsi, le déroulement d'un test statistique sera :
 D’abord, on fixer une hypothèse statistique : H0 =la probabilité d'obtenir pile est 1/2.
 Ensuite, on fixe un risque seuil, ie. un pourcentage en dessous duquel on accepte de rejeter H0.
Exemple : on accepte que dans 5 % des cas où H0 est vraie, le test affirme que H0 est fausse.
 On se fixe un nombre significatif d'expériences à réaliser pour que le test statistique soit valide.
Ce nombre doit être suffisamment petit pour être réalisable.
 On réalise les expériences et on recueille les résultats (compter la fréquence de « pile »)
 On utilise alors un test statistique pour comparer cette valeur empirique avec la vraie valeur
espérée : 1/2. On conclut sur accepter ou refuser H0 en fonction du seuil fixé.

Dans ce dessin, les histogrammes sont une

représentation de données statistiques, la
courbe de Gauss est la fonction de densité
d'une loi de probabilité qui approche
(modélise) ces données
La courbe, dite « en cloche », de la « loi
normale » qui est la représentation théorique de
la fréquence de face.
Proportion de face dans un jeu de pile ou face.
Pour chacun des 10 000 jeux de 200 lancers,
on compte la proportion de face.
 Pour une étude probabiliste :
 On considère que la probabilité d'obtenir pile est 1/2.
 Puis on étudie une loi de probabilité ou la valeur d'une probabilité à partir du jeu aléatoire.
o Exemple pour l’étude d’une loi de probabilité :
 Lorsque l'on réalise une infinité de lancers de pile ou face, quelle est la probabilité
d'obtenir uniquement le résultat pile?
 Dans ce cas, on connait déjà la loi de probabilité associée au jeu de pile ou face.
Par la « loi du zéro-un de Kolmogorov » on sait que cette probabilité vaut soit 0
soit 1. Elle vaut donc 0 puisque son complémentaire (obtenir au moins une fois
face) est de probabilité positive.
o Autre question (exemple) probabiliste :
 Si N désigne le numéro du premier lancer auquel apparait pile pour la première
fois, quelle est la loi de N?
 Connaissant l'indépendance des lancers et la probabilité d'obtenir pile (1/2), on
déduit que cette loi est une loi géométrique. C'est-à-dire que la probabilité que N
soit k est 1/2k (1/2 pour N=1, 1/4 pour N=2, 1/8 pour N=3, etc) .
 III. LE RAISONNEMENT DANS L’INCERTAIN
1. Introduction
La constitution de bases de données hétérogènes et incertaines contenant des giga et même des téra octets
d'informations élémentaires pose un problème d’extraction des connaissances pertinentes cachées dans ce grand
volume de données.
On peut définir la connaissance par : « ce qu’on a appris par l’étude ou par la pratique ».
Dans le but de résoudre des problèmes complexes qui relèvent de l’intelligence artificielle, il faut un bon bagage de
connaissances et des outils de manipulation de ces connaissances.
Les connaissances concernent des faits représentés via un formalisme ou mode de représentation (des symboles et
des opérations sur ces symboles). Puisque le langage naturel est un outil très informel pour représenter les
connaissances, l’arithmétique et la logique offrent des outils de représentation plus formels
Exemples :
- Grisou et Gary sont des chats (en langage naturel français)
- a² + b² = c² (en arithmétique)
- (« quel que soit x »)(il existe y) [x aime y] (en logique)
La formalisation des connaissances peut apparaître d’une certaine complexité, et un bon choix de représentation
peut être déterminant pour la résolution d’un problème.

1.1- Suivi du développement de la logique humaine

Dés l'aube de la philosophie, la connaissance était un sujet d'études privilégié. Les débuts du « raisonnement
scientifique » étaient dans la « Grèce antique » et remontent à l’aire de Socrate, Platon et Aristote :
 Socrate (l’éducateur) (470-399 Avant Jésus Christ) : il enseignait dans les rues d’Athènes pour rendre les
gents plus sages par la connaissance de leur ignorance.
 Platon (le philosophe) (428-348 av. J-C) : le père de la philosophie, il inspirait son raisonnement des autres
sciences comme les théories mathématiques développées à l’époque par Thalès (625-547 av. J-C) et par
Pythagore (580-495 av. J.-C). Platon a créé la première académie (vers 385 av. J-C), ensuite une
inscription au-dessus du portail de cette académie disait que « des connaissances en géométrie étaient une
condition pour y avoir accès et étudier la philosophie ».
 Aristote (le logicien) (384-322 av. J.-C), élève de Platon et enseignant d’Alexandre le grand. Il a créé le
premier lycée. Aristote est considéré comme le « fondateur de la logique formelle »
Ensuite, d’une civilisation à une autre (babélienne, romaine, perce, chinoise, islamique, occidentale, …) la logique
humaine n’a cessé de se développer pour acquérir la connaissance.

1.2- La première logique développée et la plus simple : « la logique binaire »

L'algèbre de Boole (1815-1864) lancée en 1854 est la partie des mathématiques, de la logique (binaire) et
l'électronique (les signaux) qui s'intéresse aux opérations et aux fonctions sur les variables logiques à deux états
possibles (logique binaire). Le nom provient de George Boole (1815-1864), qui est le fondateur de la logique
moderne, il a restructuré complètement la logique en un système formel.
Aujourd'hui, l'algèbre de Boole trouve de nombreuses applications en informatique et dans la conception des
circuits électroniques.
Soit deux variables logiques A et B, les opérations de base sont : A.B (AND), A+B (OR) et ¬A NOT(A)
Sachant que : v(p ∨ q) = sup(v(p), v(q)), v(p ∧ q) = inf(v(p), v(q))
Ainsi, on définie une valeur logique par un booléen. Ensuite on doit distinguer entre :
- le calcul booléen
- le calcul des équations booléennes (qui correspond au calcul propositionnel),
- le calcul propositionnel d'ordre supérieur
- le calcul des prédicats.
Aussi, il existe plusieurs types de logiques binaires :
- Logique d’ordre 0, Logique d’ordre 1, Logique d’ordre 2
- Logique d’ordre supérieur, les langages de programmation fonctionnelle, …etc

1.3- Les données dans le monde réel

L’objectif fondamental de la statistique, comme branche des mathématiques, est d’extrapoler des résultats observés
(et les études faites) sur un échantillon à l’ensemble de la population. Cette démarche inductive est appelée
l’inférence statistique. Mais, cette inférence considère les données comme validées, complètes, précises, et
spécialement préparées. Ce n’est pas le cas toujours dans la réalité, ou les données sont très rarement parfaites.
On peut décomposer l’imperfection dans les données en trois catégories (non exclusives) : l’incertitude,
l’inconsistance et l’imprécision, chacune pouvant se décliner en plusieurs sous catégories.
 III-1- Les données imparfaites
1- Types des données imparfaites (ambigües)
L’imperfection dans les données peut prendre plusieurs formes non exclusives l’une de l’autre.
Pendant longtemps, on a considéré que le cadre probabiliste était le seul cadre adapté à la représentation et à la
manipulation de données imparfaites. Dans les trente dernières années, d’autres théories de gestion de l’imprécis et
l’incertain on vu le jour, en raison notamment du constat que réduire l’imperfection d’une donnée à son caractère
aléatoire était loin d’être satisfaisant.
Ainsi, on doit développer des méthodes qui visent l’analyse et le traitement des données imparfaites du genre :
Probabiliste INCERTAIN Ensemble Equipe= {ESS, USMA}
Possibiliste ‫غير مؤكد‬ Différence=[0 3]
Intervalle
Crédibiliste Donnée IMPRECISION
(croyance)
Imparfaite ‫غير دقيق‬

Conflit INCONSISTENCE Flou Différence= "faible"

(entre experts) ‫متعارض‬, ‫متناقض‬ Incomplétude Equipe = ?

Figure : Différentes formes d’imperfection.

2- Exemple : une base de données sur le championnat de football, les champs sont :
« nom d’équipe », « dernière rencontre », « vainqueur », « différence de buts ».
 L’incomplétude : absence d’information, exemple : dernier résultat de l’équipe nationale est inconnu.
 L’imprécision : c’est une généralisation de l’incomplétude. Voici quelques exemples de l’imprécision :
o L’équipe nationale va rencontrer le tour prochain soi la Tunisie ou le Sénégal (variable qualitative
avec 2 modalités possibles)
o La différence de but était inférieure à 3 (variable quantitative dont la valeur appartient à un intervalle)
o Imprécision causée par une ambigüité linguistique (expression vague ou flou). Par exemple, l’Algérie a
battu l’Égypte sur une différence de but “faible” (expression vague).
 L’incertitude : fait référence à la véracité de l’information. Exemple : un inconnu nous a donné le résultat
d’un match, donc l’information peut être complète, précise mais fausse. Certains auteurs distinguent :
o l’incertitude objective : on peut l’assimiler aux événements imprévisibles (les aléas de la vie !!!)
o l’incertitude subjective : liée au crédit que l’on accorde à la source qui fournit l’information (le
supporter sait que la personne inconnue qui lui a fournit le score n’est pas fiable).
A ces deux termes, on peut préférer les notions d’incertitude :
- Probabiliste : quelles sont les chances de succès de l’Algérie au prochain match
- Possibiliste : la possibilité que la différence de but excède 5
- Crédibiliste : ma propre croyance dans le fait que l’Algérie va gagner
 L’inconsistance : survient, en présence de redondance, lorsque plusieurs informations (avis) sont en conflit.

3- Les théories de l'incertain

On peut représenter les connaissances ambigües, incertaines, imprécises via :
 Logique classique (binaire) : Information incomplète représentée par des disjonctions
 Théorie des probabilités (la plus basique) : 2 interprétations :
o Fréquentielle : une probabilité est une propriété d'un ensemble d'évènements
o Subjective : une probabilité est une expression du degré de confiance de quelqu'un à propos de la
valeur de vérité d'une proposition ou de l'apparition d'un événement
 Calcul d’intervalles : utilisation d’ensembles de valeurs mutuellement exclusives
 Probabilités imprécises (la plus générale) : utilisation d’ensembles de fonctions de probabilité et
d’intervalles de probabilité
 Logique floue : traite du degré de vérité pas de l'incertitude
 Théorie des possibilités (Logique possibiliste) : permet la prise en compte combinée de l'imprécision et
de l'incertitude dans des connaissances. On distingue la théorie des possibilités ordinale ou numérique :
o distingue les états plausibles (‫ )معقول‬et les états peu plausibles ;
o utilisation d’ensembles flous de valeurs mutuellement exclusives
 Théorie des fonctions de croyance (Logique évidentielle) : combine information incomplète et probabilité
par utilisation d’ensembles aléatoires. C’est lorsqu’on a plusieurs sources de données (ou experts) contradictoires.
4- Cadre général pour représenter l'imperfection des données
 Caractère incertain de l’information
Incertitude : c´est la vérité ou la fausseté d´une proposition qui est incertaine
Pour que l´information soit vraie ou fausse, on évalue :
- la probabilité : probabilité pour que l'opération prenne plus d'une heure est 0.7.
- la possibilité : il est très possible qu'il neige demain.
- la certitude : il n'est pas absolument certain que Mohamed vienne à la réunion
Et on doit répondre à des questions comme :
Variabilité : réponse probabiliste en fonction de la fréquence observée auparavant. Quantité de pluie journalière a
paris ??
Incomplétude : date de naissance du président brésilien ??
Ainsi, on a besoin d’une théorie qui représente l’incertain dédiée à l’information imprécise, sachant que :
 Degré d'incertitude ≠ degré de vérité : "il est probable qu'il soit chauve" ≠ "il est presque chauve"
Incertitude d’une proposition floue : incapacité de calculer son degré de vérité.
 Antagonisme imprécision / incertitude : une information peut être à la fois imprécise et incertaine
Pour un état donné de la connaissance (comme les déclarations des politiciens) :
- Les affirmations suffisamment vagues ou imprécises sont certaines
- Les affirmations trop précises sont incertaines.
 On cherche un compromis entre les deux : Jean est jeune ↔ il a probablement moins de 30 ans.
 Donc, besoin de développer un cadre formel pour l'imprécis et l'incertain et l’inconsistant
 Caractère imprécis de l’information
Information imprécise = insuffisante pour répondre aux questions d’intérêt dans une situation donnée.
Exemples
En symbolique : une disjonction p ∨ q
En numérique : valeur mal connue d’un paramètre « x ϵ A » (intervalle)
 Caractère inconsistant de l’information
Conflit entre les experts, les sources (capteurs) redondants et contradictoires, …etc

5- Quelles sont les sources des connaissances incertaines ?

- Implications faibles : souvent difficile de corréler «fortement» les parties conditions et conclusions d’une règle
- Langage imprécis : langage naturel ambigu, présence de termes comme : souvent, fréquemment, dès fois… etc.
- Données inconnues : cela mène à un raisonnement approximatif tolérant la présence de valeurs inconnues
- Difficulté à combiner différentes vues d’experts : pouvant mener à des règles conflictuelles, d’où souvent la
nécessité de «pondérer» les règles de chaque expert.
Raisonnement dans l’incertain :
Dans notre domaine des sciences appliquées, nous sommes très souvent amenés à raisonner à partir de
connaissances imparfaites.
Ex : données en provenance de capteurs, d’experts, de modèles, …

6- Différentes formes d’imperfection de l’information

L’incertitude
 Relative à la vérité d’une proposition ;
 Ex : « Je crois que Jean mesure 1,5 mètre »
 Deux sous-catégories :
o les évènements répétables (le lancé d’un dé), et
o les évènements non répétables (taille de Jean, élection présidentielle de 2019)
L’imprécision
 Relative à la nature d’une proposition ;
 Ex : « Jean mesure entre 1,5 mètre et 2 mètres »
L’ambiguïté ou le vague
 Passage graduel d’une catégorie à une autre.
 Ex : langage courant : « Jean est grand ».
 Ex : phénomènes naturels :
o le passage graduel du jour et de la nuit,
o la maturation d’un fruit.
Cadre classique : la théorie des probabilités.
 III-2- Exemple du raisonnement dans l’incertain : l’apprentissage bayésien
1- Représentation de l´incertain en termes de « PROBABILITE »
1.1- Théorie des probabilités
- Décrit le comportement des phénomènes dont le résultat est soumis au hasard
- Permet de modéliser la fréquence de réalisation d’« évènements » aléatoires.
Le terme « probabilité » désigne l'opposé du concept de « certitude ».
La probabilité d'un fait caractérise la possibilité (le pourcentage de chance) que ce fait se produise.
Probabilité d’un événement = nombre de cas favorables / nombre de cas possibles

Ainsi, la théorie des probabilités nous permet de formaliser (modéliser) la notion « d’incertitude » sur les données
à analyser. Sachant que :
 On traite les données à valeurs incertaines comme des « variables aléatoires »
 La valeur d’une variable aléatoire est « incertaine » avant de l’observer
 La loi de probabilité sur les valeurs possibles d’une variable aléatoire caractérise notre incertitude par
rapport à sa valeur
Variables aléatoires discrètes : prennent un nombre fini de valeurs possibles (ici M pour X et Y)
‣ X peut prendre comme valeurs x1, ... , xM
‣ Y peut prendre comme valeurs y1, ... , yM
1.2- Probabilités : jointe, marginale et conditionnelle : A partir de ces 4 dessins on peut calculer les
probabilités en faisant juste des « fréquences relatives » (∙ = observation, | : sachant que, , : et)

Probabilité jointe
Probabilité jointe = nombre de points par cadre/somme points

(probabilité qu’un point tombe dans un cadre quelconque)

La « probabilité jointe » qu’on observe X=xi et Y=yj est notée :

P(X=x i , Y=yi) marginale

Probabilité
Probabilité marginale : c’est lorsqu’on s’intéresse à une seule variable
aléatoire parmi celles qu’on a défini

La probabilité marginale d’observer X=xi = Somme des

probabilités jointes de X=xi avec les toutes valeurs possibles de Y

Probabilité marginale P(X) : ignorer Y

Probabilité
Probabilité conditionnelle
marginale P(Y) : ignorer X
Probabilité conditionnelle : c’est lorsqu’on s’intéresse à la valeur d’une variable aléatoire «étant donnée» (sachant)
une valeur déjà assignée à d’autres variables. Exemple : la probabilité que Y=yj si on suppose que X=xi
Probabilité jointe

P( A  B)
Ou bien : P( A / B)  Probabilité marginale
P( B)

C’est pour répondre à des questions du genre :

« J’observe x (je connais que X=xi) et je veux savoir quelle est la probabilité que Y prend la valeur yi »
 1.3- Règle du produit : Une probabilité jointe peut être décomposée en produit de prob_cond avec une
prob_marg : P(X=xi ,Y=yi)= P(Y=yi|X=xi)*P(X=xi) (on peut dire aussi : p(x=xi, y=yi)=p(x=xi|y=yi) p(y=yi))
Ainsi : la probabilité d’observer X=xi et Y=yj , c’est la probabilité d’observer X=xi multipliée par la probabilité
d’observer Y=yi étant donné que X=xi
1.4- Indépendance : Deux variables aléatoires X et Y sont indépendantes (l’une ne porte pas d’informations
sur l’autre) si : (les 3 conditions suivantes sont équivalentes) :
‣ p(X,Y) = p(X) p(Y) (1) Jointe = Marginale * Marginale , (on peut aussi l’écrire : P(A  B)=P(A)P(B)) ou
‣ p(Y |X) = p(Y) (2) Conditionnelle = Marginale , ou
‣ p(X |Y) = p(X) (3) Conditionnelle = Marginale (dans un autre sens)
Donc, observer la valeur de X (je connais (j’ai observé)) ne nous apprend rien sur la valeur de la variable Y

1.5- La probabilité à priori et à posteriori

 La probabilité a priori : est la probabilité qui résume toute l'information disponible sur le paramètre
d'intérêt, avant le recueil des données (paramètre d'intérêt : une proportion, une moyenne, une variance,
un coefficient de corrélation, …etc). Elle indique donc la probabilité que le paramètre ait telle ou telle
valeur. La loi à priori contient toute l'information disponible au moment de l'analyse, cette information ou
connaissance peut être « objective » ou « subjective ».
 La probabilité a posteriori: contient toute l'information disponible sur le paramètre d'intérêt,
combinant l'information a priori et l'information obtenue via les données. La loi à posteriori s'interprète,
tout comme la loi à priori, en terme de probabilité, pour décrire ce que l'on peut dire du paramètre.
Ainsi, Les termes probabilité à priori et probabilité à posteriori sont utilisés dans le domaine de
l'inférence bayésienne pour désigner un calcul de probabilités avant ou après une expérience.
Exemple:
Dans une bibliothèque comportant 100 ouvrages, il y en a 40 qui sont écrits en anglais dont 8 portent sur
la biologie. Considérons les événements suivants:
A = "le livre est écrit en anglais"; P(A)= 40/100.
B = "le livre porte sur la biologie";
A ∩ B = "le livre est écrit en anglais ET porte sur la biologie"; P(A ∩ B) = 8/100.

B| A = "le livre porte sur la biologie sachant qu'il est écrit en anglais" P(B | A)=8/40.
(Il s'agit de la fréquence des livres de biologie parmi les livres en langue anglaise.) On a les relations :
P(B | A)=8/40=(8/100)/(40/100)= P(A ∩ B) /P(A). (NB : Prob_Jointe : P(A  B)=P(A,B)=P(A)*P(B) )

2- Règle de Bayes (théorème de Bayes)

• La règle de Bayes permet d’inverser l’ordre du calcul de la conditionnelle (calculer P(X|Y) via P(Y|X))
Cette règle permet d’estimer la probabilité d’occurrence d’un événement futur (probabilité à posteriori)
en observant l’occurrence d’événements similaires passés (modélisée par une distribution à priori).
Elles sont définies
Prob de Y Equivalent à P(x,y)
sachant X

=yi =xi
Toutes les valeurs possibles de Y

Le théorème de Bayes comme une

superposition des deux arbres de décision
 P(X) est appelée loi de probabilité à priori (prior) de X
 P(Y|X) : appelée loi de probabilité à posteriori (posterior) ou "vraisemblance" (après avoir connaitre X)
 P(Y) : c’est la probabilité de l’événement Y , elle est appelée « la normalisation »
Exemple :
P(y) : est ce que une maison est vendue ou pas
P(x|y) : le prix d’une maison sachant qu’elle est vendue ou pas
P(y|x) : (bayes : inverser l’ordre du calcul): si on observe le prix x d’une maison, on calcul l’incertitude
« est ce que la maison va être vendue ou non ? »  c’est la loi à postériori étant donnée une information
Ainsi : selon le théorème de Bayes pour estimer les probabilités a-posteriori : P(Y|X) = P(X|Y)·P(Y) / P(X)
 P(X) est la même pour toutes les classes Y
 P(Y) = fréquence relative des éléments de Y
 Y telle que P(Y|X) est maximum = Y telle que P(X|Y)·P(Y) est maximum
y  P( y | X )  Max P( X | y) P( y).
MAP (maximum posteriori) des hypothèses y : MAP Max
y Y y Y
Difficulté pratique: calculer P(X|Y) est infaisable !
On a besoin de connaître initialement plusieurs probabilités et un temps de calcul non négligeable.

3- Le raisonnement bayésien (l’inférence bayésienne, l’Apprentissage bayésien)

3.1- Introduction
Le point de vue Bayésien sur l’apprentissage est le suivant : A n’importe quel moment l’apprenant a une
incertitude sur la réalité qui s’exprime comme une distribution de probabilité dans l’espace des modèles,
i.e., des interprétations possibles de cette réalité. Cette distribution de probabilité doit être interprété
comme une croyance, et non pas dans la limite d’une fréquence. Toute incertitude est représentée par une
distribution. Quand on observe des exemples, cela nous permet de réviser notre incertitude sur notre
modèle, généralement en rendant cette distribution plus piquée. Dans le cas ou les modèles que nous
considérons sont représentés par un paramètre θ, le résultat de l’apprentissage n’est donc pas une valeur
particulière pour θ mais une distribution à posteriori sur θ. Cependant, il faut partir d’une distribution a
priori sur θ, qui représente les modèles que l’ont croit possibles avant de voir les exemples.

3.2- Classification Bayésienne

Selon Bezdek, on peut distinguer deux variantes des algorithmes de classification : la classification
«supervisée» et la classification «non supervisée». En cas d’une classification supervisée les classes
doivent être connues à priori avant de leur affecter des objets. Ainsi, l'apprentissage supervisé repose sur
une base de données (ensemble de couples (entrées, sorties) (Xi, Yi)) contenant des exemples de Xi déjà
étiquetés (leurs Yi connues (valeur discrète)). Le but de l’apprentissage supervisé est d’apprendre à
prédire pour toute nouvelle entrée X la sortie Y adéquate.
Ainsi, le principe de la classification supervisée est de regrouper dans des classes connues un ensemble
des données (exemples ou échantillons) étiquetées avec le nom de leur classe d’appartenance. La
problématique de la supervision est de pouvoir analyser les ressemblances (similarité) et/ou les
dissemblances (distances) de données afin de définir les caractéristiques (Features) de chaque classe, et
être capable de classer une forme inconnue (sans étiquette) parmi les classes connues à priori.
Les méthodes Bayésiennes font une modélisation probabiliste de l’incertain basée sur deux théories :
 Théorie des probabilités : quantifie l’incertitude des relations causales entre variables du domaine.
 Théorie des graphes : représentation de la connaissance sous forme d’un graphe causal.
L’objectif d’une classification Bayésienne est de :
- Calculer pour chaque nouvel individu X tous les probabilités d’appartenance conditionnelles aux
classes yj ( j∈ {1,…, c}),
- Ensuite, choisir la classe la plus probable. La décision de la classe sera via la fonction φ suivante :
φ:RC
X  yi / Ɐ y ϵ C, P(yi/X) ≥ P(y/X)
Où : P(yj /X) est la probabilité conditionnelle que l’individu X est rattaché à la classe yj
Cette probabilité à posteriori est assez simple mais difficile à mettre en pratique (généralement les
probabilités à postériori sont inconnues, donc elles doivent être estimées), elle est donnée par la loi de
Bayes qui permet de calculer la probabilité d’une variable sachant la valeur d’une autre variable :
 P( X / y j ) * P( y j )
P( y j / X ) 
P( X )
- P(yj) : probabilité d’apparition à priori de la classe yj, elle est souvent déduite de l’expérience d’un
expert.
- P(X/yj) probabilité à posteriori d’appartenance de X à la classe yj, elle est estimée à partir d’une
modélisation mathématique des classes d’après les mesures effectuées sur l’ensemble des
observations.
- P( X )   j 1 P( X / y j ) * P( y j ) : C’est la densité de probabilité du mélange, qui sert de normalisation
k

de la distribution des probabilités sur les différentes classes.

Sachant les probabilités à priori de certaines variables nous pouvons calculer les probabilités à posteriori
des autres variables. Cette loi donne une caractéristique de symétrie aux probabilités conditionnelles.

3.3- La classification bayésienne naïve

Le réseau naïf de Bayes a été introduit par Duda et Hart pour la reconnaissance des formes en 1973, c’est
la forme d’application la plus simple de la classification bayésienne probabiliste (modèle d’indépendance
conditionnelle), basée sur le théorème de Bayes avec une forte indépendance (dite naïve) des hypothèses.
Elle met en œuvre un classifieur bayésien naïf, appartenant à la famille des classifieurs linéaires, et qui
n’a pas été bien exploité jusqu’après avoir démontré leurs grande efficacité par plusieurs travaux de
recherches récents.
Ainsi, un classifieur bayésien naïf suppose que l'existence d'une caractéristique pour une classe, est
indépendante de l'existence d'autres caractéristiques.
n
• On suppose que les attributs sont indépendants : P ( C j | V )  P(C j ) P(vi | C j )
i 1

• Cela réduit énormément les temps de calcul, en comptant seulement la distribution de classes.
Donc, en Classification Bayésienne Naïve :
• Hypothèse: indépendance des attributs : P(x1,…,xk|C) = P(x1|C)·…·P(xk|C)
• Si attribut Ai est qualitatif :
P(xi|C) est estimée par la fréquence relative des éléments ayant la valeur xi pour Ai et qui sont dans C
• Si attribut Ai est continu :
P(xi|C) est estimé en utilisant la loi de Gauss (on suppose Ai suit une loi normale)
• Facile à calculer dans les deux cas. Donc, rendre le calcul possible.
Problème: en pratique, les attributs (variables) sont souvent corrélés.
Solution : Réseaux Bayésien, utiliser le raisonnement Bayésien en tenant compte des relations causales qui
existent entre attributs.
La simplicité de construction d’un classificateur Bayésien naïf est issue de sa simple structure graphique
représentative avec une forme fixe et unique construite à priori par un expert du domaine d’application.
Alors, la base d’apprentissage est bien définie par cette structure graphique, également pour les liens
d’indépendances conditionnelles entre les attributs d’individus et les classes. Le graphe causal
représentatif d’un classifieur Bayésien naïf ne peut inclure que deux types de nœuds : un nœud racine
(parent) correspondant à une classe, et des nœuds d’attributs xi caractérisant un individu X. Par
conséquence les seules relations possibles du graphe sont de classe vers attribut.

Figure : Structure d’un réseau Bayésien naïf.

L’objectif est de chercher la classe d’appartenance yj la plus probable pour chaque individu X défini par
ses attributs (x1=a1 , x2=a2..., xn=an).
En d’autre terme, déterminer yj tel que P(yj/X) ≥ P(yk/X) ∀k ϵ{1..c} en utilisant la loi de Bayes suivante :
P( X 1  x1 / yi ) * ...* P( X i  xi / yi ) * ...* P( X n  xn / yi ) * P( yi )
P( X / y j ) * P( y j )
P( yi / X )  
P( X ) P( X )
De nos jours, le classificateur Bayésien naïf est très concurrentiel à d’autres classificateurs dans le
domaine de la classification dynamique :
- Il devient de plus en plus performant, surtout, lorsque les attributs de l’individu sont effectivement
indépendants, or
- Ces performances deviennent plus modestes devant des attributs impertinents.

Exemple de Classifieur Naïf de Bayes

Etant donné un training set, on peut calculer les probabilités.
P:jouer au tennis (Positif) et N: ne pas jouer au tennis (Négatif)
Classification Bayésienne :
• Le problème de classification peut être formalisé en utilisant les probabilités à-posteriori :
P(C|X) = prob. que X=<x1,…,xk> soit de la classe C.
• Exemple : P(classe=N | temps=soleil ,vent =vrai,…)
• Affecter à X la classe C tel que P(C|X) est maximal
temps P N humidité P N
soleil 2/9 3/5 élevée 3/9 4/5
couvert 4/9 0 normal 6/9 1/5
pluie 3/9 2/5
température vent P N
chaud 2/9 2/5 VRAI 3/9 3/5
tiède 4/9 2/5 FAUX 6/9 2/5
froid 3/9 1/5

Exemple: estimer P(xi|C)

Temps
Temps Temperature Humidite Vent Class
P(soleil|P) = 2/9 P(soleil|N) = 3/5
soleil chaud élevé faux N
soleil chaud élevé VRAI N P(couvert|P) = 4/9 P(couvert|N) = 0
couvert chaud élevé faux P P(pluie|P) = 3/9 P(pluie|N) = 2/5
pluie tiede élevé faux P
Température
pluie froid normal faux P
pluie froid normal N P(chaud|P) = 2/9 P(chaud|N) = 2/5
couvert froid normal VRAI P P(tiède|P) = 4/9 P(tiède|N) = 2/5
soleil tiede élevé faux N P(froid|P) = 3/9 P(froid|N) = 1/5
soleil froid normal faux P
pluie tiede normal faux P Humidité
soleil tiede normal VRAI P P(élevée|P) = 3/9 P(élevée|N) = 4/5
couvert tiede élevé VRAI P P(normale|P) = 6/9 P(normale|N) = 2/5
couvert chaud normal faux P
Vent
pluie tiede élevé VRAI N
P(Vrai|P) = 3/9 P(vrai|N) = 3/5
P(p) = 9/14
P(n) = 5/14 P(faux|P) = 6/9 P(faux|N) = 2/5

Exemple: classifier X, Soit X = <pluie, chaud, élevée, faux>

• P(X|p)·P(p) = P(pluie|p)·P(chaud|p)·P(élevée|p)·P(faux|p)·P(p) = 3/9·2/9·3/9·6/9·9/14 = 0.010582
• P(X|n)·P(n) = P(pluie|n)·P(chaud|n)·P(élevée|n)·P(faux|n)·P(n) = 2/5·2/5·4/5·2/5·5/14 = 0.018286
• X est classifié en N (ne pas jouer au tennis)
3.4- Algorithme des k plus proches voisins
Introduit par Cover et Hart, la méthode des k plus proches voisins (k-ppv) (k-Nearest-Neighbors -kNN)
(apprentissage supervisé) est largement utilisée en classification d’une manière générale et en segmentation
d’images en particulier. C’est une des méthodes non paramétriques les plus simples, où elle consiste à
regrouper les individus X en fonction de leur voisinage.
D’abord, nous examinons les k plus proche voisins du nouvel individu X à classer dans l’ensemble
d’apprentissage Ω, puis nous affectons X à la classe la plus représentée parmi ses k plus proches voisins.
La règle de décision classique de la méthode des k-ppv se base surtout sur les deux éléments suivants :
 La distance : détermine la forme du voisinage de chaque vecteur X pour mesurer le plus proche
voisin. Une métrique est nécessaire pour déterminer ces distances, et le choix d’une métrique est très
important car elle influe beaucoup sur la qualité des prédictions, en plus, il n’existe pas de définition
préalable sur ce qui constitue une bonne métrique, le choix est toujours arbitraire. Généralement :
- Nous pouvons associer une forme en sphère avec la distance euclidienne,
- Nous pouvons associer un cube avec la distance de Manhattan, et enfin
- Nous pouvons associer un ellipsoïde avec la distance de Mahanalobis
 La valeur de k : spécifique à chaque utilisation de l’algorithme kppv, il détermine le nombre de cas
existants pour prédire un nouveau cas. Généralement, k est arrêté lorsqu’une valeur supérieure ne
modifie pas la classification.

La probabilité conditionnelle d'appartenance de X à une classe yj est estimée par la fréquence de présence
de la classe yj parmi les k plus proches voisins de X. Le principe de ce voisinage est de tracer autour du
point X, une boule de rayon donné dans Rp. On compte ensuite le nombre kj d'exemples de l'ensemble
d'apprentissage de la classe yj dans cette boule.
Donc, la règle de décision de Bayes sera utilisée pour estimer l’appartenance d’un nouveau individu X à
kj
la classe yj, selon la probabilité conditionnelle P(yj /X) définie par : P( y j / X )  C
 j 0 k j
Exemple : classification par la méthode k-ppv
D’après l’exemple de la figure à coté, la classe
d’appartenance de l’individu X dépend
du choix de k (ie. choix du rayon de la boule) :

• Si k = 1, X sera classé “□”,

• Si k = 5, X sera classé “Δ”.
  Presentation du K-PPV
 Objectif : affecter une classe à une nouvelle instance
 Donnée : un échantillon de m enregistrements classés (x, c(x))
 Entrée : un enregistrement y
1. Déterminer les k plus proches enregistrements de y
2. combiner les classes de ces k exemples en une classe c
 Sortie : la classe de y est c(y)=c
 Etapes de l’algorithme k-ppv : pour classifier un vecteur X on suit les étapes décrites ci-dessous :
Début
1. Choisir « k » le nombre des voisins (entier entre 1 et n, ou n est le nombre maximum des voisins) ;
2. Calculer les distances d(x, xi), i=1…n (ou xi est un des n vecteurs de l’espace de représentation) ;
3. Retenir les k vecteurs pour lesquels les distances sont les plus petites ;
4. Compter le nombre de fois k1, …, km que ces k vecteurs apparaissent dans chacune des m classes ;
5. Attribuer X à la classe la plus représentée dans son entourage ;
Fin.
 Sélection de la classe :
 Solution simple: rechercher le cas le plus proche et prendre la même décision (Méthode 1-NN).
 Combinaison des k classes :
o Heuristique : k = nombre d’attributs + 1
o Vote majoritaire : prendre la classe majoritaire.
o Vote majoritaire pondéré : chaque classe est pondérée. Le poids de c(xi) est inversement
proportionnel à la distance d(y,xi).
 Confiance: Définir une confiance dans la classe attribuée = rapport entre les votes gagnants et le total des votes.
 Critique de l’algorithme K-NN
 Pas d’apprentissage: introduction de nouvelles données ne nécessite pas la reconstruction du modèle.
 Clarté des résultats ET Tout type de données ET Nombre d’attributs
 Temps de classification élevé ET Difficulté de stocker le modèle
 Fiabilité de l’algorithme dépond des choix arbitraires de : distance, nombre k des voisins, mode de
combinaison
 IV. L’APPRENTISSAGE AUTOMATIQUE
1- Introduction
1.1- Test de Turing
 Article décrit par Alan Turing en 1950, son idée Machine Homme
fondamentale : est ce que la machine peut
penser ?!
 Un évaluateur humain est chargé de juger une
conversation textuelle entre un humain et une
machine.
 le « test de Turing » est une méthode
permettant de déterminer si un ordinateur est
capable de penser comme un être humain
 IL consiste à mettre un humain (l’évaluateur) en
confrontation verbale à l’aveugle avec
un ordinateur et un autre humain. Si l’évaluateur
qui engage les conversations est incapable de
dire lequel de ses inter-locuteurs est un
ordinateur, on peut considérer que le logiciel de L’évaluateur
l’ordinateur a passé le test avec succès
1.2- Histoire

Qu'est-ce que l'intelligence artificielle?

 Intelligence: “La capacité d'apprendre et de résoudre des problèmes”
 Intelligence Artificielle (IA) : c’est la simulation de l'intelligence humaine par des
machines. Elle permet d’extraire et d’exploiter automatiquement l'information
présente dans un jeu de données

1.3- Machine Learning (l’apprentissage automatique)

 Machine Learning (apprentissage automatique) est un type d'intelligence artificielle qui donne aux
ordinateurs la possibilité d'apprendre sans être explicitement programmé.
 se fonde sur des approches statistiques pour donner aux ordinateurs la capacité d'apprendre à partir de
données
 c’est la discipline scientifique concernée par le développement, l'analyse et l'implémentation de
méthodes automatisables permettant à une machine d'évoluer grâce à un processus d'apprentissage, et
ainsi de remplir des tâches qu'il est difficile ou impossible de remplir via des algorithmes plus classiques
1.4- sur-apprentissage et sous apprentissage
 Sur-apprentissage : survient lorsque qu’on cherche a trop « coller » au données d’entrainement
 Sous-apprentissage : si la classe de fonctions considérée par l’algorithme d’apprentissage n’est pas assez
« riche » pour pouvoir d écrire la
diversité dans les données
Dans les deux cas, les prédictions pour les
nouveaux cas seront de mauvaise qualité
1.5- Les types d’apprentissage automatique
Le Machine Learning est composé de plusieurs types d’apprentissage qui sont :
L’APPRENTISSAGE …

Non Supervisé Supervisé Semi-Supervisé Par Renforcement Profond

Clustering Classification Auto Réseaux
apprentissage de neurones
Réduction de Régression
convolutionnels
dimensions

2- L’apprentissage supervisé
 Cherche à produire automatiquement des règles depuis un ensemble d'entraînement étiqueté
Exemple : Supposons que vous ayez un panier rempli de différents types de fruits
 Votre tâche est de les organiser en groupes

 L’apprentissage supervisé se découpe en deux parties :

Classification : Regression :
Les problèmes de prédiction d'une variable qualitative Les problèmes de prédiction d'une variable quantitative
Cherche a apprendre un classificateur qui pourra être La régression est un ensemble de méthodes
ensuite utilisé pour prédire la classe d ’un objet inconnu statistiques très utilisées pour analyser la relation d'une
a partir d’un vecteur d’observations (caractéristiques variable par rapport à une ou plusieurs autres.
(features)) portant sur cet objet .
KNN : (K plus proche voisin) : Classe les objets en fonction Régression linéaire : un modèle de régression qui
des classes de leurs voisins les plus proches cherche à établir une relation linéaire entre une variable
et une ou plusieurs autres variables
1 de la classe K=3
2 de la classe
= =
3 de la classe K=5
2 de la classe
= =
Les arbres de décision : Prédire les réponses aux données
en suivant les décisions dans l’arborescence
Régression non linéaire : un modèle de régression qui
cherche à établir une relation non linéaire(polynomiale)
entre une variable et une ou plusieurs autres variables

Les SVM :
Classifie les données en
cherchent a maximiser la marge
Régression logistique : (classification)
(distance entre les points et la
frontière de décision)

Réseaux de neurones
sont inspirés a l’origine du
fonctionnement du cerveau
humain, se compose de réseaux
connecté relient les entrées aux
sorties
 3- L’apprentissage non supervisé
 C’est la découverte de modèles et inférer des connaissances à partir des données non étiquetées
 Il s’agit d’extraire des classes ou groupes d’individus présentant des caractéristiques communes)
 C’est quand le système ne dispose que d'exemples, le nombre de classes et leur nature n’ont pas été
prédéterminés. L'algorithme doit découvrir par lui-même la structure en fonction des données.
Exemple : Supposons que vous ayez un panier rempli de différents types de fruits
 Votre tâche est de les organiser en groupes, en supposant que vous ne
savez rien des fruits, vous n'avez aucune idée de ceux-ci.

L'apprentissage non supervisé, appelé aussi descriptive est soit : clustering ou réduction de dimensionnalité
Clustering :
Elle vise à diviser un ensemble de données en différents classes Réduction de dimensionnalité :
homogènes, en ce sens que les données de chaque sous- Elle consiste à prendre des données dans
ensemble partagent des caractéristiques communes un espace de grande dimension, et à les
Une bonne méthode de clustering produira des clusters ayant : remplacer par des données dans un
- Similarité intra-classes importante (maximale) espace de plus petite dimension
- Similarité inter-classes faible (minimale)

Methodes de clustering ACP (Analyse en Composantes

k-means Principales (PCA)) :
C’est le partitionne les données en K clusters. La mesure dans C’est une méthode de projection qui
laquelle un point s’insère dans un groupe est déterminée par la permet de projeter les observations
distance entre ce point est le centre de cluster (la plus petite depuis l'espace à p dimensions des q
parmi les distances par rapport aux autres centroïdes) variables vers un espace à k dimensions (k
< p) tel qu'un maximum d'information
soit conservée

 Le nombre de classe doit être fixé au départ

1. Choisir K éléments initiaux "centres" des K groupes
2. Placer les objets dans le groupe de centre le plus proche
3. Recalculer le centre de gravité de chaque groupe
4. Itérer l'algo jusqu'à ce que les objets ne changent plus de groupe

Hirarchical clustering : Produire des ensembles imbriqués en

analysant ses similitudes entre les paires de points et en
regroupant des objets en un arbre hiérarchique
 4- L’apprentissage semi supervisé
 Il utilise un peu de données étiquetées et un grand
nombre de données non-étiquetées
 L’apprentissage s’effectue alors à partir des Clustering Apprentissage Classification
deux sources de données. Semi-Supervisé
 Classification semi-supervisée : entraîner sur des
données étiquetées et exploiter les données (beaucoup) non-étiquetées
 Clustering semi-supervisé : clustering des données non-étiquetées en s'aidant des données étiquetées

Exemple

Amélioration de l’apprentissage de la frontière de

décision avec des données non-étiquetées

Auto- apprentissage
 consiste a entrainer un classifieur avec les données étiquetées (DL).
 Le classifieur est ensuite, utilisé pour étiqueter les données incomplètes (DU).
 Les données étiquetées avec un haut degré de confiance sont ajoutées aux données d’apprentissage (DL).
 Le classifieur est rée-entrainé sur les données de DL et la procédure est répétée jusqu’a satisfaire un
critère d’arrêt.

5- L’apprentissage par Renforcement

 Apprentissage par renforcement:
apprentissage basé sur la récompense
 Example: Pensez à enseigner un truc à un
chien, vous ne pouvez pas lui dire quoi faire,
mais vous pouvez le récompenser / le punir
s'il fait la bonne chose / la mauvaise chose.

 consiste à apprendre par interaction avec

l’environnement et, en observant le résultat
de certaines actions.

L'agent cherche, au travers d'expériences itérées, un

comportement décisionnel optimal, en ce sens qu'il
maximise la somme des récompenses au cours du
temps.
Comme dans les robots des Applications industrielles
=> il apprend seulement sur son environnement
 V- L’APPRENTISSAGE PROFOND (DEEP LEARNING)

Qu'est-ce que l'apprentissage en profondeur??

 Deep Learning est une fonction d'intelligence artificielle qui imite le fonctionnement du cerveau humain
lors du traitement de données et de la création de modèles à utiliser dans la prise de décision.
 L'apprentissage en profondeur est un sous-ensemble de l'apprentissage automatique en intelligence
artificielle (IA) qui possède des réseaux capables d'apprendre sans surveillance à partir de données non
structurées ou non étiquetées.
 C’est Créer des algorithmes capables d’apprendre et de s’améliorer de manière autonome
Neurone

Exemple 1 : ET logique

(Ensembles linéairement séparables)

Exemple 2 : Le XOR
 • Pour apprendre le OU Exclusif (XOR), on utilise un Perceptron Multi-Couches.

Deep Learning –Basics (l'apprentissage en profondeur)

 Se compose d'une entrée, d'une sortie et de plusieurs couches cachées entièrement connectées entre les
deux.
 Chaque couche est représentée par une série de neurones et extrait progressivement les caractéristiques
de niveau supérieur et supérieur de l’entrée jusqu’à ce que la couche finale prenne essentiellement une
décision sur ce que montre l’entrée.
 Plus le réseau comporte de couches, plus il apprendra les fonctionnalités de niveau supérieur.

Réseau de neurones à convolution

Applications

6- Conclusion
Deep Learning n'est pas une magie! Juste des statistiques dans une boîte noire, mais exceptionnellement
efficaces pour l'apprentissage des modèles.
Ainsi, l’apprentissage automatique regroupe les techniques permettant à une machine d’adapter et d’améliorer
ses performances par l’expérience.
 QUELQUES ALGORITHMES D’APPRENTISSAGE
LA RÉGRESSION LINÉAIRE & LOGISTIQUE
ére
1 partie : La régression linéaire
1- Qu’est-ce que l’analyse de régression ?
L’objectif premier de l’analyse de régression, ou plus simplement de la régression, est l’étude des
relations de dépendance.
– Est-ce que la distance parcourue, durant une période donnée, dans une certaine catégorie de
véhicules routiers, est affectée par le prix de l’essence?.
– Est-ce que d’autres variables entrent en ligne de compte, comme l’âge, le sexe, le
conditionnement physique?

2- Une méthode possible : la régression linéaire

La régression linéaire est une modélisation linéaire qui permet d'établir des estimations dans le futur
à partir d'informations provenant du passé. Dans ce modèle de régression linéaire, on a plusieurs variables
dont une qui est une variable explicative et les autres qui sont des variables expliquées. Cet outil est
utilisé pour les analyses techniques boursières mais aussi pour la gestion de budgets. Elle est souvent
calculée avec la méthode des moindres carrés qui permet de réduire les erreurs en ajoutant de
l'information.

Image1 : Régression linéaire

La moindre carrée : De nombreuses séries statistiques (xi,yi)(xi,yi) sont reliées par des conditions du
type y=ax+b. Ce peut être aussi le cas de grandeurs issues de la physique. En général, en raison des
erreurs de mesure, les points (xi,yi)ne sont pas alignés, mais sont "presque" sur une même droite. Il faut
alors choisir a et b de sort que la droite soit la meilleure possible.
Pour cela, il faut choisir une mesure de l'écart entre une droite y=ax+b et le nuage de points
expérimentaux (xi,yi).
 3- Modèle linéaire simple
On appelle généralement modèle linéaire simple un modèle de régression linéaire avec une seule
variable explicative.

4- Modèle linéaire multiple

Par opposition au modèle de régression linéaire simple, on définit le modèle de régression linéaire
multiple comme tout modèle de régression linéaire avec au moins deux variables explicatives.
hθ(x) = θ0 + θ1x1 + θ2x2 + θ3x3 + θ4x4
on utilise l’algorithme de gradient descente, est un algorithme itératif ayant comme but de trouver les
valeurs optimales des paramètres d’une fonction donnée. Il tente d’ajuster ces paramètres afin de
minimiser la sortie d’une fonction de coût face à un certain jeux de données. Cet algorithme est souvent
utilisé en apprentissage machine dans le cadre de régressions non linéaires puisqu’il permet de
rapidement trouver une solution approximative à des problèmes très complexes.
 5- Exemple de régression multiple en R

On applique la fonction LM
2éme partie : La régression logistique
1- Une petite révision !
Le modèle linéaire c’est écrit comme suit : Ŷ = Θ0 + Θ1*X1 + … + Θn*Xn .
Comme l’on a vu, les variables indépendantes sont les Xs, et elle peuvent être :
- Continues : comme par exemple l’âge, la taille , les notes…
- Discrètes ou bien Catégoriques : Femme/Homme, {C1,C2,…,Cn} C classes.
Et bien sure, la variable dépendante c’est Y. cette Y est continue sur R, exemple : la moyenne, la taille …
Jusqu'à ça, c’est la régression linéaire.
La régression logistique est comme celle de linéaire. Toute cette révision est la même chose, seulement
pour la variable dépendante Y, elle appartient à une catégorie ou classe, et pas à R.
Les classes dans lesquelles Y peut appartient, peuvent être binaires, ou multiclasses.
En fin, on a parlé de la régression, et comme on veut déduire la classe de la sortie, donc c’est une
classification. Càd l’idée est d’utiliser un modèle de régression pour déduire les classes.
Donc, prédire la valeur de la sortie, c’est une régression linéaire.
Prédire la classe de la sortie, c’est une régression logistique.
On va voir si c’est possible. Pour cela , on va étudier un petit exemple de 1000 individus qui ont certains
nombre de paramètres comme l’âge… pour s’souscrire à une assurance auto.
On va voir en fonction de l’âge, la chance d’un individu de souscrire à cette assurance.(régression simple
à une seule variable).

On a donc : Ŷ = souscrire = Θ0 + Θ1*X1 = Θ0 + Θ1 * age = -1.7 + 0.064*age

(D’après les calculs déjà faites sur R avec le fichier, et la commande lm, on a obtenu ces résultats).
Plus l’individu est âgé, plus la chance de souscrire à une assurance augmente à 6.4%, sachant que
quelques hypothèses :
- 20 <= âge <= 55
- 0 <=prob<=1
« On répète : ici, on est en train de voir la possibilité de modéliser une classification (souscrire ou pas) par
un modèle de régression simple ».
Finalement, on va calculer la probabilité de souscrire.
On va prendre un exemple : quelqu’un du l’âge=35 :
-1.7 + 0.064 * 35 = 0.54 ========> PARFAIT ! (comprise entre 0 et 1).
On va prendre un autre individu : âge=25 :
-1.7 + 0.064 * 25 = -0.1 ========> ????? oups ! (<0)
On va prendre un autre individu : âge=45 :
-1.7 + 0.064 * 45 = 1,18 ========> ????? oups ! aussi (>1)
On essaie de tracer le modèle :

P
-
1-
X
- X
X
- X
X
- X
X
X
- X
X
0- X
-
' ' ' ' ' ' Age
20 25 38 55

Donc, on cherche une fonction qui entre 25 et 38 donne une : 0<=prob<=1,et quand dépasse ces valeurs
25 et 38, elle génère des 0 et des 1.
Heureusement à nous, il existe une fonction de cette manière, s’appelle la fonction SIGMOID ou LOGIT.
On arrive à chercher une transformation qui s’appelle G, pour transformer la notre variable dépendante Ŷ,
et puisque on veut expliquer ça avec les probabilités :
- La 1ere condition : la fonction doit être positive ou nulle.
- La 2eme condition : cette fonction doit majorée par 1.
Rappel :
Toute fonction s’écrit comme suit, avec un epsilon Є petit, elle est majorée par un 1.
x
ε=0  =1
x x
F(x)= est toujours ≤ 1 , avec :
x x
ε=1 
x 1
Comment peut-on assimiler une régression à une probabilité ?
On revient à un ancien cour de probabilité du jeter une pièce a deux faces, et calcule combien de fois j’ai
obtient 1er face, et combien 2eme face.
On suppose que 1er face est positive(p), et la 2eme est négative(n).
Nombre des positive/nombre total = np/nt = p .
Nombre des négatives/nombre total = nn/nt = n.
p
(np/nt)/(nn/nt)=np/nn= oddratio
1 P

 p   p  p
En supposant: log   =z donc exp(log   ) = =exp(z)
1  p  1  p  1 p
 p  p
Et puisque : log   =hθ(x)= θ0 +θ1x1+.. +θnxn = z ET =ez donc :
1  p  1 p

p=(1-p)*ez = ez - p*ez donc : p+p*ez = ez ET p(1+ez)=ez

ez ez / ez 1 1 1
enfin : p = = = = Donc : p=
1 e z
(1  e ) / e
z z
1 / e  1 1  ez
z
1  ez
Finalement, la probabilité n’est pas qu’une la SIGMOID.

2- Régression logistique, fonction de coût simplifiée et descente du gradient :

2.1- Fonction de coût simplifiée
Coût initial d'un exemple d'entraînement unique :

Puisque nous avons généralement y=0 ou y=1 nous pouvons simplifier la definition de la fonction cout vers :

Ainsi, pour plus de clarté, on peut utiliser la fonction de coût simplifié pour calculer :

2.2- Fonction cout d’un ensemble d’entrainement :

Rechercher le paramétre argument θ' qui minimize J : argmin J(θ)
Pour faire les predictions donnant la nouvelle sortie de x :

2.3- La descente du gradient pour la régression logistique

Descente du gradient pour minimiser la fonction cout de la regression logistique

Avec un algorithme identique que celui pour la regression lineaire :

Advanced optimization

2.4- Quelques notions utiles

p
 Le Odds ratio est le rapport des cotes (rapport des chances) (ratio=rapport). Odds ratio =
1 p
 Donc, odd d’un événement= probabilité que l’événement se produit / probabilité qu’il ne se produit pas
 p 
 La fonction LOGIT est définie par : logit(p)= ln  ou p est défini sur 0;1
1 p 
 logit est une fonction de liaison (pour la transformation des paramètres P), c’est le logarithme des odds

 Donc, la logit en exponentiel nous donne les odds par :

 La fonction sigmoïde (dite aussi courbe en S) est

 1 
définie par : f(x)=  x 
pour tout réel x
1 e 
 Donc, utilisée avec le logarithme népérien, la fonction logit est la réciproque de la sigmoïde

 La fonction logistique est la fonction inverse (la réciproque) de la fonction logit :

 ex 
Logistique(x)=  
x 
1 e 
 ANALYSE DISCRIMINANTE : COMPARAISON ENTRE SVM & AFD
1- Introduction :
La discrimination linéaire est l’une des méthodes de distinction des classes les plus simples et les plus utilisées. Le
SVM et la l’AFD sont les principaux algorithmes qui assurent cette tache, malgré que ces derniers peuvent être
étendus à des d’autres discriminations plus larges que la discrimination linaire.

2- Support Vector Machine (SVM)

2.1.- Introduction
 La machine à vecteurs de support est un algorithme simple d’apprentissage automatique. Nombreux sont
ceux qui préfèrent SVM car elle produit une précision significative avec une puissance de calcul moindre.
Elle peut être utilisé à la fois pour les tâches de régression et de classification. Mais, SVM est largement
utilisé dans les objectifs de classification.

2.2.- Objectif
 Notre objectif est de trouver un plan qui présente la marge
maximale, c’est-à-dire la distance maximale entre les points
de données des deux classes. La maximisation de la
distance de marge fournit un renforcement permettant de
classer les points de données futurs avec plus de confiance.

2.3.- Hyperplans
Jeu d'apprentissage

Supposons les donnees lineairement separables

But: Trouver (w*, b*) qui définissent l'hyperplan ayant la plus grande marge.
Problème d'optimisation
Hyperplan à marge maximale
Quelle est la taille de la marge γ ?

Maximisation de la marge :
Minimiser :

Classification correcte des points d'entrainement :

Exemples positifs :

Exemples négatifs :

Combinaison des deux :

Probleme d'optimisation :

Rappel sur le Lagragien :

minimiser convexe sous la contrainte ≥0

Lagrangien :
On appelle α le multiplicateur de Lagrange

Rappel sur la dualité :

Lagrangien :

Fonction duale :

q est concave en α (même si L n'est pas convexe).

Probleme primal : minimiser f s.t. g(x) ≥ 0.
equivalent a minimiser le Lagrangien.
Probleme dual : maximiser la fonction duale q.
SVM a marge dure

Minimiser sous les n contraintes

On introduit une variable duale αi pour chaque contrainte (i.e. exemple d'entrainement).

Lagrangien d’une SVM :

Fonction duale :

Probleme dual : maximiser q(α)

sous la contrainte α ≥ 0.

En résumé
Les vecteurs de support sont des points de données plus proches de l'hyperplan et qui influencent la position et
l'orientation de l'hyperplan. En utilisant ces vecteurs de support, nous maximisons la marge du classificateur. La
suppression des vecteurs de support modifiera la position de l'hyperplan. Ce sont les points qui nous aident à
construire notre SVM.
Le cas non-lineairement separable : SVMs a marge souple (soft-margin SVMs).
Que faire si les données ne sont pas linéairement séparables ?

Trouver un compromis entre vaste marge et peu d'erreurs.

Perte hinge :

SVM a marge souple (soft-margin SVM) :

Le paramètre C

C élevé : peu d'erreurs C faible : vaste marge C intermediaire : compromis.

DONC :
Controler C est important
Il s'agit d'une forme de régularisation.

Remarque : En 1995, Corinna Cortes et Vladimir Vapnik proposent une technique dite de marge souple, qui tolère
les mauvais classements. La technique cherche un hyperplan séparateur qui minimise le nombre d'erreurs grâce à
l'introduction de variables ressort ᶓ (slack variables en anglais), qui permettent de relâcher les contraintes sur les
vecteurs d'apprentissage
Ainsi : SVM a marge souple

Sera Equivalent à :

Le cas non-lineaire : les SVMs a noyaux.

Qu'est-ce que le noyau?

 En termes simples, il s’agit d’une méthode

permettant d’exécuter SVM dans le cas de
points de données séparables non linéaires.

 La fonction du noyau
transforme les données en
un espace de fonctions de
dimension supérieure pour
permettre la séparation
linéaire.

Différents Kernels
 linéaire: u' * v
 polynôme: (gamma * u' * *
v + coef0) ^ degré
 base radiale (RBF) : exp (-gamma * | u-v | ^ 2)
 sigmoïde: tanh (gamma * u' * * v + coef0)
RBF est généralement le plus populaire.

Classes multi-catégories et SVM

Les classes multi-catégories peuvent être divisées en plusieurs classes binaires (One versus all)
Résumé
 Choisissez un hyperplan optimal qui maximise la marge
 Applique une pénalité pour erreur de classification (paramètre d’ajustement du coût « c »).
 Si les points de données ne sont pas séparables linéairement, transformez les données en un espace de
grande dimension où il est plus facile de les classer avec des surfaces de décision linéaires (astuce du noyau)
 3- L’Analyse Factorielle Discriminante (A.F.D.)
Elle consiste à chercher de nouvelles variables (les variables discriminantes) correspondant à des directions de Rp
qui séparent le mieux possible en projection les k groupes d’observations.
L’AFD : méthode supervisée, puisque réalisée avec des L’analyse factorielle discriminante connaissances a priori
sur les caractéristiques des individus
L’analyse factorielle discriminante (A.F.D.)

Objectifs
 Objectif descriptif : chercher les combinaisons linéaires permettant de séparer au mieux les k catégories
 Objectif décisionnel : classer un nouvel individu en fonction des p valeurs des prédicateurs
L’analyse factorielle discriminante (A.F.D.)
– Décomposition de la matrice d'inertie V du nuage : V = W + B

• W est appelée matrice d'inertie intra-classe, dispersion des individus à l’intérieur d’un groupe
• B est appelée matrice d'inertie inter-classe, dispersion entre Les groupes

 Le pouvoir discriminant de la direction u est meilleur si l'inertie inter-classe B est grande, ce qui équivaut
à une inertie intra-classe W faible
 Chercher les valeurs propres y telles que :

avec u vecteur propre de V-1*B

Résumé
 Critère de détermination des nouvelles variables :
• Séparation optimale des projections des sous-nuages
• Equivalent à une ACP sur les barycentres des groupes
 Résultats :
• Les directions factorielles discriminantes successives sont alors déterminées, tandis que des graphiques (plans
factoriels) permettent de visualiser les individus ou les variables expliquant la construction des axes
 Algorithme :
• Maximiser la distance inter-groupe à partir des barycentres et minimiser la distance entre individus intra-
groupe

4- Les avantages et les inconvénients de ses deux modèles SVM & AFD
Les avantages de SVM
• Capacité à traiter de grandes dimensionnalités
• Robuste même quand le rapport ‘’observations / variables’’ est inversé.
• Traitement des problèmes non linéaires avec le choix des noyaux .
• Robuste par rapport aux points aberrants (contrôlé avec le paramètre C).
• Points supports donne une bonne indication de la complexité du problème traité.
• Souvent performant dans les comparaisons avec les autres approches.
• Paramétrage permet de la souplesse (ex. résistance au sur-apprentissage avec C)
Les limites de SVM
 Difficulté à identifier les bonnes valeurs des paramètres (et sensibilité aux paramètres).
 Pas de modèle explicite pour les noyaux non linéaires (utilisation des points supports).
 Difficulté d’interprétations (ex. pertinence des variables).
 Le traitement des problèmes multi-classes reste une question ouverte.
Les avantages de AFD
Parmi les avantages engendrés par une utilisation de la méthode LDA, nous citons les points suivants :
 Maximise l'éparpillement inter-classes.
 Réduit l'éparpillement intra-classes.
 La méthode de fisherfaces par exemple résout le problème de la robustesse face aux variations de pose,
et d'expressions faciales.
Les limites de AFD-ALD
Malgré ces avantages, dans la littérature un ensemble de pointes négatives existe encore comme :
 Couteuse en temps de calcul.
 Couteuse en espace mémoire.
 Rend de mauvais résultats quand le nombre d'images d'apprentissage est grand

Conclusion
L'analyse discriminante linéaire part de la connaissance de la partition en classes des individus d'une
population et cherche les combinaisons linéaires des variables décrivant les individus qui conduisent à la
meilleure discrimination entre les classes.
 LES DISTANCES ET METRIQUES
L’utilité des métriques et des distances est de pouvoir comparer les ressemblances et différences entre deux
vecteurs. Cette opération est importante, par exemple, dans le domaine de la classification. Il est plus probable
que deux vecteurs semblables soient dans une même classe que deux vecteurs dissemblables. De fait, l’utilisation
de métriques pour mesurer des distances est presque toujours une étape essentielle à la classification
automatique.

MÉTRIQUE
Une métrique est une fonction binaire qui décrit la distance entre deux points d’un ensemble E. Cette distance

est un application de E  E   telle que, i, j , k  E :
1) d  i, j   d  j , i  symmétrie
2) d  i, j   0
3) d  i, j   0  i  j
4) d  i, j   d  i, k   d  k , j  inégalité du triangle

Si toutes ces propriétés sont respectées, on se trouve en présence d’une distance métrique. Si l’inégalité du
triangle n’est pas respectée, on parle plutôt d’une distance semi-métrique. Un ensemble possédant une métrique
est appelé un ensemble métrique. Dans un espace métrique, muni d’une distance d, on appelle boule fermée de
centre j  E et de rayon r l’ensemble B  j , r    x  E d  j , x   r  . Une boule ouverte, pour d  j, x   r .

On peut rajouter une cinquième propriété, l’ultramétricité (donne une distance ultramétrique) :
5) d  x, y   max  d  x, z  , d  y, z  
Cette propriété donne que les deux plus grandes distances entre trois points sont égales. De cette façon, tout
triangle formé à partir de trois points est un triangle isocèle. Cette caractéristique est particulièrement utilisée
dans le cas des méthodes hiérarchiques de classification. Elles ne seront cependant pas discutées ici.

TYPES DE DISTANCES
La distance la plus connue est la distance Euclidienne, qui définit l’espace cartésien.
n
d ( x, y )  x  y 
2
i i (pour des vecteurs de dimension n). La distance Euclidienne est souvent utilisée au
i 1

carré.

Cette distance, n’est qu’un cas particulier pour p = 2 de la distance de Minkowsky :

1 p
 n p 
d ( x, y )    xi  yi 
 i 1 

Pour p = 1, on obtient la distance de Manhattan (aussi appelée distance « city-block » ou métrique absolue) :
n
d ( x, y )   xi  yi
i 1

et pour p   , la distance de Chebychev (aussi appelée distance « Queen-wise »ou encore métrique maximum) :
n
d  x, y   max xi  yi
i 1

Un généralisation de la distance de Minkowsky nous donne la distance de puissance :

1r
 n p 
d ( x, y )    xi  yi 
 i 1 
Dans le cas spécial où p = r, on retrouve la distance de Minkowsky. Cette distance permet de jouer
indépendamment sur les deux puissances présentes dans l’équation, pour trouver l’équilibre voulu entre
l’importance du nombre d’éléments différents et l’importance de la différence elle-même.

Figure 1 : Boules de centre + et de même rayon pour différentes distances de Minkowsky pour un vecteur de
deux dimensions.

p=1 p = 21 p=3 p=4 p = 20

Le calcul du pourcentage de différence (ang. percent disagreement) est une autre mesure de distance qui permet
de savoir quel pourcentage des n éléments des deux vecteurs sont différents. Cette distance ne tient pas compte
de l’importance de la différence entre les éléments homologues. Cette distance est utile dans les cas où les
valeurs des éléments représentent des variables nominales non ordonnées; où 1 et 2 sont aussi différents que 0
et 15. Il s’agit d’une certaine généralisation de la distance de Hamming (celle-ci uniquement pour des vecteurs
binaires)
x y
d  x, y  
n

Dstance de Canberra2 :
n
xi  yi
d  x, y   
i 1 xi  yi

Distance des corde carrées (squarred chords distance) :

 
n
d  x, y   
2
xi  yi
i 1

Distance du Khi-carré3 :
 xi  yi 
2
n
d  x, y    i 1 xi  yi

Distance de Mahalanobis :

d  x, y    x  y Cov  D   x  y 
où Cov(D) est la matrice de covariance. Si les éléments de x et de y sont indépendants, la matrice de Covariance
sera l’identité et la distance de Mahalanobis serait égale à la distance Euclidienne. La boule associée à une
distance de Mahalanobis est de forme elliptique, alors que la boule d’une distance Euclidienne est un cercle (en
deux dimensions).

1
La distance Euclidienne représente notre perception intuitionniste du principe de boule. Cependant, étant donné que la boule
dépend d’un rayon et que le rayon dépend de la métrique de distance utilisée, une boule peut prendre plusieurs formes
étranges.
2
Il est préférable de « normaliser » ses vecteurs à des valeurs non-négatives avant d’utiliser la distance de Canberra ou la
distance du Khi-carré
3
Voir note 2
Entropie Relative, distance de Kullback-Liebler :
p  x
d  p q    p  x  log
xX q  x

Cette distance est utilisée pour p et q des distributions de probabilités, la formule donne l’entropie relative de p
selon q. Bien qu’elle porte le nom de distance, la mesure d’entropie relative de Kullback-Liebler n’est pas une
métrique. Elle n’est pas symétrique et ne satisfait pas l’inégalité du triangle. Elle respecte cependant les
conditions 2) et 3).

Distances binaires
La distance de Hamming calcule le nombre d’éléments différents dans les vecteurs bianires :
d ( x, y)  x xor y

La « distance4 » de Jaccard, ou encore score de Jaccard :

x y
d  x, y  
x y

Distance de Tanimoto :
x xor y
d  x, y  
x y  x  y

SIMILARITÉ
Une autre méthode de comparer deux vecteurs est de tester leur similarité. Alors que la distance mesure
le degré de « différence » entre deux vecteurs, un indice de similarité mesure le degré de
« ressemblance » entre deux vecteurs. L’action d’un indice (ou coefficient) de similarité est environ
l’inverse de l’action d’une distance : deux vecteurs ayant une grande similarité seront rapprochés (selon la
distance) et vice versa. Une similarité est un application de E  E    telle que, i, j  E :
1) s  i, j   s  j , i  symmétrie
2) s  i, j   0
3) s  i, i   s  i, j 

Dans le cas d’une distance, on cherche habituellement les éléments les plus proches, c’est-à-dire qu’on
cherche la distance minimale. Dans le cas d’une similarité, on cherche les éléments les plus similaires,
c’est-à-dire l’indice de similarité maximal.

Les différents coefficients de corrélation peuvent être associés à des mesures de similarité

4
Ce n’est pas vraiment une distance puisqu’elle ne respecte pas la condition 3). Elle est toutefois utilisée dans plusieurs cas.
 CRITERES D’EVALUATION ET DE VALIDATION D’UNE SEGMENTATION
Il n'existe pas de "bonne" segmentation. Seule l'appréciation de l'utilisateur (qualité visuelle) et le but recherché
permettent de définir une bonne segmentation pour un type de données.
Ainsi, on doit mesurer et quantifier les performances d’une segmentation. Et pour tester la qualité d’une méthode
de segmentation développée de façon pertinente, il existe plusieurs estimateurs :
 Sensibilité (SE) : elle correspond à la proportion de vrais positifs par rapport à l’ensemble des structures qui
devraient être segmentées :

La sensibilité tend vers 1 (resp. 0) s’il y a peu (resp. beaucoup) de faux négatifs. Cet indicateur permet d’évaluer
dans quelle mesure l’intégralité d’une structure recherchée est segmentée.
 Spécificité (SP) : elle correspond à la proportion de vrais négatifs par rapport à l’ensemble des structures qui
ne devraient pas être segmentées :

La spécificité tend vers 1 (resp. 0) s’il y a peu (resp. beaucoup) de faux positifs. Cet indicateur permet d’évaluer
dans quelle mesure l’intégralité du complémentaire d’une structure recherchée n’est pas segmentée.
 Recouvrement (RE) : il correspond la proportion de vrais positifs par rapport à l’ensemble des structures qui
ont été ou devraient avoir été segmentées :

Le recouvrement tend vers 1 (resp. 0) s’il y a peu (resp. beaucoup) de faux positifs et de faux négatifs. Cet
indicateur permet d’évaluer dans quelle mesure la structure recherchée correspond quantitativement et
qualitativement `a la segmentation.
 Similarité (SI) : elle correspond à la proportion de vrais positifs par rapport à l’ensemble des structures qui ont
été et devraient avoir été segmentées :

La similarité tend vers 1 (resp. 0) s’il y a peu (resp. beaucoup) de faux positifs et de faux négatifs. A l’instar du
recouvrement, cet indicateur permet d’évaluer dans quelle mesure la structure recherchée correspond
quantitativement et qualitativement à la segmentation.
 Le Branching Factor (BF) : elle correspond à la proportion de faux positifs par rapport à la vrai positive des
structures qui devraient être segmentées :

Quantifie la sur détection de pixels n’appartenant pas au tissu recherché dans la carte de référence .Dans le cas idéal
ce coefficient vaut 0.
Notations employées :
- TP : vrais positifs (true positive), quand la méthode de segmentation a trouve des pixels qui ne figurent pas
dans l’image de référence.
- FP : faux positifs (false positive), où l’image référence a indique des pixels que la méthode de
segmentation n’a pas trouve.
- TN : vrais négatifs (true negative), où l’image de référence possède des pixels que la méthode de
segmentation indique aussi.
- FN : faux négatifs (false negative), où l’image de référence n’a pas indique des pixels et la méthode de
segmentation non plus.

Le protocole d’évaluation
L’évaluation objective et quantitative des résultats joue un rôle important dans la segmentation d’image.
L’utilisation d’images de synthèse permet de comparer quantitativement la segmentation obtenue par rapport à un
référentiel (Talairach). Le référentiel de Talairach est un système de coordonnées permettant de repérer la position
de n'importe quel point dans le cerveau d'un individu quelconque en référence à un atlas publié par les médecins
Jean Talairach.
Donc, la robustesse des systèmes de segmentation peut ainsi être étudiée et comparée pour différents niveaux de
bruit et d’hétérogénéité d’intensité des images simulées. Il est également possible pour un même système de
segmentation de tester quantitativement l’influence du choix de certains paramètres sur les résultats de la
segmentation.