Classification : Concepts et
techniques de base
Exercice 1 : Dessinez l'arbre de décision complet pour la fonction de parité de quatre attributs
booléens, A, B, C et D. Est-il possible de simplifier l'arbre ?
Exos 2 : Considérons les exemples d'apprentissage présentés dans le tableau 2.1 pour un
problème de classification binaire.
Tableau 2. Ensemble de données pour l'exercice 2
(a) Calculer l'indice de Gini pour l'ensemble de la collection d'exemples de formation.
(b) Calculez l'indice de Gini pour l'attribut Customer ID.
(c) Calculer l'indice de Gini pour l'attribut ‘’Gender’’ (c-à-d "sexe").
(d) Calculer l'indice de Gini pour l'attribut Type de voiture en utilisant la répartition
multidirectionnelle.
(e) Calculez l'indice de Gini pour l'attribut Taille de chemise en utilisant la répartition
multidirectionnelle.
(f) Quel est le meilleur attribut, le sexe, le type de voiture ou la taille de la chemise ?
(g) Expliquez pourquoi l'identifiant du client ne doit pas être utilisé comme condition de
test des attributs, même s'il présente le Gini le plus faible.
Exos 3 : Considérons les exemples d'entrainement présentés dans le tableau .2 pour un
problème de classification binaire.
Tableau .2. Ensemble de données pour l'exercice 3
(a) Quelle est l'entropie de cette collection d'exemples d'apprentissage par rapport à la
classe positive ?
(b) Quels sont les gains d'information de a1 et a2 par rapport à ces exemples de formation
?
(c) Pour 𝑎3 , qui est un attribut continu, calculez le gain d'information pour chaque
répartition possible.
(d) Quelle est la meilleure répartition (entre 𝑎1 , 𝑎2 et 𝑎3 ) en fonction du gain
d'information ?
(e) Quelle est la meilleure répartition (entre 𝑎1 et 𝑎2 ) en fonction du taux d'erreur de
classification ?
(f) Quelle est la meilleure répartition (entre 𝑎1 et 𝑎2 ) selon l'indice de Gini ?
Exos 4 : Considérons l'ensemble de données suivant pour un problème de classe binaire.
(a) Calculez le gain d'information en divisant A et B. Quel attribut l'algorithme d'induction
de l'arbre de décision choisirait-il ?
(b) Calculez le gain de l'indice de Gini en divisant A et B. Quel attribut l'algorithme
d'induction de l'arbre de décision choisirait-il ?
Exo 5 : Considérons la division d'un nœud parent P en deux nœuds enfants, C1 et C2, à l'aide
d'une condition de test d'attributs. La composition des instances d’apprentissage étiquetées
à chaque nœud est résumée dans le tableau ci-dessous.
(a) Calculer l'indice de Gini et le taux d'erreur de classification du nœud parent P.
(b) Calculez l'indice de Gini pondéré des nœuds enfants. Considéreriez-vous cette
condition de test d'attribut si Gini était utilisé comme mesure d'impureté ?
(c) Calculez le taux de mauvaise classification pondéré des nœuds enfants. Considéreriez-
vous cette condition de test d'attribut si le taux de classification erronée était utilisé
comme mesure d'impureté ?
Exo 6 : Considérons l'ensemble suivant d'exemples d’apprentissage.
(a) Calculez un arbre de décision à deux niveaux en utilisant l'approche gourmande décrite
dans ce chapitre. Utilisez le taux d'erreur de classification comme critère de division.
Quel est le taux d'erreur global de l'arbre induit ?
(b) Reprenez la question (a) en utilisant X comme premier attribut de découpage, puis
choisissez le meilleur attribut restant pour la séparation à chacun des deux nœuds
successeurs. Quel est le taux d'erreur de l'arbre induit ?
(c) Comparez les résultats des questions (a) et (b). Commentez l'adéquation de
l'heuristique gourmande utilisée pour la sélection des attributs de découpage.
Exo 7 : Le tableau suivant résume un ensemble de données avec trois attributs A, B, C et
deux étiquettes de classe +, -. Construisez un arbre de décision à deux niveaux.
(a) D'après le taux d'erreur de classification, quel attribut serait choisi comme premier
attribut de séparation ? Pour chaque attribut, présentez le tableau de contingence et
les gains en termes de taux d'erreur de classification.
(b) Répétez l'opération pour les deux enfants du nœud racine.
(c) Combien d'instances sont mal classées par l'arbre de décision obtenu ?
(d) Répétez les questions (a), (b) et (c) en utilisant C comme attribut de séparation.
(e) Utilisez les résultats des questions (c) et (d) pour conclure à la nature gourmande de
l'algorithme d'induction de l'arbre de décision.