IA & Machine Learning

(M354 )
Ch5. Apprentissage Supervisé – Classification

Régression logistique
▼ Initiation et introduction à la classification

Fonction coût et optimisation

▼ Entraîner le Modèle de Régression logistique

Implémentation et évaluation
▼ Mettre en pratique la régression logistique

2024 / 2025 IA&ML © [Link] AMEKSA 196

 Ch5. Apprentissage Supervisé – Classification

Les taches d’apprentissage supervisé

APPRENTISSAGE SUPERVISÉ

Une approche fondamentale du Machine Learning

permettant à une machine d'apprendre à partir d'exemples
étiquetés pour faire des prédictions.

Principe clé :
Les données d'entraînement contiennent des paires (X, y)
où X sont les caractéristiques et y est la variable cible.

OBJECTIF :

Apprendre une fonction f(X) qui prédit y avec la plus

grande précision possible.
Age, taille,

BMI, etc.
F(x) - Diabète ou
- non diabète
CLASSIFICATION :
Prédire une catégorie discrète (ex: spam/non-spam,
chat/chien, Diabète ou non).

L'objectif est de catégoriser de nouvelles observations dans

des classes prédéfinies, basée sur des caractéristiques
d'entrée.
➔ C'est le domaine d'application de la régression logistique.

2024 / 2025 IA&ML © [Link] AMEKSA 197

Ch5. Apprentissage Supervisé – Classification

Les 4 notions fondamentales

Dataset
Ensemble d'exemples étiquetés composé de variables cibles (y) et de caractéristiques (X)
Pour la classification, y est une variable catégorielle (ex: 0 ou 1, ou plusieurs classes).

Modèle
Fonction mathématique avec des paramètres qui associe les caractéristiques aux
probabilités d'appartenance à une classe.
Pour la classification, le modèle produit des sorties entre 0 et 1.

Fonction Coût
Mesure l'écart entre les probabilités prédites par le modèle et les vraies étiquettes de classe.
Pour la classification, on utilise généralement l'entropie croisée (Log Loss).

Algorithme de Minimisation
Stratégie pour trouver les paramètres optimaux qui minimisent la fonction coût

Dataset (X, y)
Fonction d’approximation
La prédiction 𝐲ො Fonction objective
f(X) Of(𝐲,
ො y)

Algorithme d’optimisation
« Gradient Discent »

2025/ 2026 IA © [Link] AMEKSA 198

 Ch5. Apprentissage Supervisé – Classification

Limitations de la Régression Linéaire

SORTIES ET INTERPRÉTATION

 Sorties Non Bornées  Absence de Garantie Probabiliste

La régression linéaire produit des sorties qui peuvent être Les sorties de la régression linéaire ne peuvent pas être
n'importe quel nombre reel , positif ou négatif, sans limite interprétées comme des probabilités puisqu'elles ne sont
supérieure ou inférieure. pas contraintes à l'intervalle [0, 1].

Exemple : Problème :

▼ Pour un problème de classification binaire où y ∈ {0, 1}, la régression

linéaire peut prédire y = -0.5 ou y = 2.3, ce qui n'a aucun sens comme ▼ Une probabilité doit toujours être entre 0 et 1. Si la régression linéaire
probabilité. prédit 1.5 ou -0.2, comment interpréter ces valeurs ? Elles ne
représentent rien en termes de probabilité d'appartenance à une
▼ Ces valeurs sortent complètement de l'intervalle [0, 1] requis pour une classe.
classification binaire.

 Cette absence de contrainte sur les sorties rend impossible  Nous avons besoin d’une fonction de transformation qui convertit
l'interprétation des résultats comme des probabilités valides. n'importe quelle entrée réelle en une valeur entre 0 et 1, garantissant une
interprétation probabiliste valide.

Ces deux premiers problèmes révèlent l'inadéquation fondamentale de la régression linéaire pour la classification. Mais il y a
encore d'autres limitations liées à l'optimisation et à la prise de décision que nous explorerons dans la suite.

2025/ 2026 IA © [Link] AMEKSA 199

 Ch5. Apprentissage Supervisé – Classification

Limitations de la Régression Linéaire

OPTIMISATION ET DÉCISION

 Fonction Coût Non Convexe  Seuil de Décision Arbitraire

Si on applique l'erreur quadratique moyenne (MSE) avec la Appliquer un seuil fixe (ex: 0.5) sur une sortie linéaire pour la
régression linéaire à un problème de classification, la fonction classification est arbitraire et non justifié
coût résultante est non convexe mathématiquement.

Conséquence : Problème :
▼ L'algorithme d'optimisation (descente de gradient) peut se bloquer ▼ Pourquoi 0.5 et pas 0.3 ou 0.7 ? La régression linéaire ne fournit aucune
dans des minimums locaux au lieu de trouver le minimum global, ce justification théorique pour ce choix.
qui rend l'apprentissage inefficace.

La régression linéaire n'est pas adaptée à la classification. Nous avons besoin d'un modèle qui produit des probabilités
bornées entre 0 et 1 avec une fonction coût convexe. La régression logistique résout tous ces problèmes.

2025/ 2026 IA © [Link] AMEKSA 200

Ch5. Apprentissage Supervisé – Classification

Introduction à la régression logistique

Définition
La régression logistique est un modèle de classification supervise qui utilise une fonction logistique (ou
sigmoïde) pour modéliser la probabilité qu'une observation appartienne à une classe particulière.

Malgré son nom contenant le mot « régression », la régression logistique est un algorithme de classification, non de régression

Caractéristiques Clés

 Sortie Probabiliste :
Elle produit une sortie entre 0 et 1, qui peut être interprétée comme
une probabilité d'appartenance à la classe positive.

 Seuil de Décision :
Un seuil (généralement 0.5) est appliqué à cette probabilité pour
assigner l'observation à une classe (0 ou 1).

 Interprétabilité :
Les paramètres du modèle ont une interprétation probabiliste directe,
ce qui rend le modèle très interprétable.

 Simplicité et Efficacité :
Malgré sa simplicité, elle est très efficace pour les problèmes de
classification binaire et peut être étendue à la classification multi-classe

2025/ 2026 IA © [Link] AMEKSA 201

 Ch5. Apprentissage Supervisé – Classification

La fonction Sigmoïde (Logistique)

Formule Mathématique

1
𝜎(z) =
1 + e −z

Rôle et Interprétation
▼ Transformation : La fonction sigmoïde transforme une
entrée z (qui peut être n'importe quel nombre réel) en une
valeur comprise entre 0 et 1

▼ Probabilité : La sortie de la sigmoïde représente la

probabilité que l'observation appartienne à la classe positive
σ(0) = 0.5 (point d'inflexion)
(y=1).
z → +∞ ⟹ σ(z) → 1
z → -∞ ⟹ σ(z) → 0
▼ Monotone : La fonction est strictement croissante,
garantissant une relation cohérente entre l'entrée et la Forme : Courbe en 'S' (sigmoïde)
probabilité.

2025/ 2026 IA © [Link] AMEKSA 202

Ch5. Apprentissage Supervisé – Classification

Le Modèle de Régression Logistique

PARTIE 1 : COMBINAISON LINÉAIRE DES CARACTÉRISTIQUES

La régression logistique combine une combinaison linéaire des caractéristiques d'entrée (X) avec une fonction de
transformation pour produire une probabilité de classe compris entre 0 et 1.

1. COMBINAISON LINÉAIRE

Cette combinaison linéaire z est la première étape du modèle.

z = 𝜃0 + 𝜃1 𝑥1 + 𝜃2 𝑥2 + ⋯ + 𝜃𝑛 𝑥𝑛
Elle capture la relation linéaire entre les caractéristiques
d'entrée et la variable cible
 Sous forme vectorielle :
z = X𝜃 Les valeurs de θ₀, θ₁, θ₂, ..., θₙ sont initialement inconnues et
▼ z : La combinaison linéaire (peut être n'importe quel nombre réel) doivent être apprises à partir des données d'entraînement.
▼ 𝜃0 : Terme de biais (intercept), l'ordonnée à l'origine
C'est l'objectif de l'algorithme d'optimisation.
▼ 𝜃1 , 𝜃2 , … , 𝜃𝑛 : Poids (coefficients) associés à chaque caractéristique
▼ 𝑥1 , 𝑥2 , … , 𝑥𝑛 : Caractéristiques d'entrée (features) du modèle

➔ Prochaine étape Cette combinaison linéaire z sera ensuite transformée par la fonction sigmoïde pour produire une
probabilité entre 0 et 1.

2025/ 2026 IA © [Link] AMEKSA 203

Ch5. Apprentissage Supervisé – Classification

Le Modèle de Régression Logistique

FORMULATION COMPLÈTE

2. Application de la Fonction Sigmoïde

1
h𝜃 ( x ) = 𝜎 ( z ) =
1 + e −z
▼ La fonction sigmoïde transforme la combinaison linéaire z (définie dans la 1er partie) en une OBJECTIF
valeur comprise entre 0 et 1, représentant une probabilité.
D'APPRENTISSAGE
Apprendre les paramètres θ qui
3. Modèle Complet de Régression Logistique
maximisent la probabilité de
1 prédire correctement les classes.
P ( y = 1 | X ) = h𝜃 ( X ) =
1 + e − ( 𝜃0 +𝜃1 𝑥1 +𝜃2 𝑥2 +⋯+𝜃𝑛 𝑥𝑛 ) Cela revient à minimiser la
fonction coût d'entropie croisée
▼ Le modèle complet combine la combinaison linéaire des caractéristiques avec la fonction
sigmoïde pour produire une probabilité d'appartenance à la classe positive.

Probabilité de la Classe Positive Probabilité de la Classe Négative

P ( y = 1 | X ) = h𝜃 ( X ) P ( y = 0 | X ) = 1 − h𝜃 ( X )

2025/ 2026 IA © [Link] AMEKSA 204

Ch5. Apprentissage Supervisé – Classification

Fonction Coût et Optimisation

ENTRAÎNER LE MODÈLE DE RÉGRESSION LOGISTIQUE

Nous avons maintenant compris les fondements théoriques de la régression logistique et comment elle résout les
limitations de la régression linéaire pour la classification. Cependant, pour que le modèle apprenne réellement à partir
des données, nous avons besoin de deux éléments essentiels :

① Une Fonction Coût Appropriée

Une fonction qui mesure précisément l'erreur de classification.

➔ Pour la régression logistique, nous utilisons l'entropie croisée (Log Loss), qui pénalise les mauvaises
prédictions de probabilités et garantit une optimisation convexe.

② Un Algorithme d'Optimisation

Un algorithme qui ajuste les paramètres du modèle pour minimiser la fonction coût.
➔ La descente de gradient est l'algorithme standard qui itérativement améliore les paramètres jusqu’à la
convergence.

Comment l'entropie croisée et la descente de gradient travaillent ensemble pour entraîner un modèle de classification ?
➔ Nous explorerons dans les slides suivants

2025/ 2026 IA © [Link] AMEKSA 205

 Ch5. Apprentissage Supervisé – Classification

Fonction Coût et Optimisation Le Défi de la Fonction Coût en Régression Logistique

Pourquoi l'Erreur Quadratique Moyenne (MSE) Ne Convient Pas?

Problème Principal
Si on applique l'erreur quadratique moyenne (MSE) avec la régression logistique, la fonction coût résultante est non convexe.
Cela signifie qu'elle a plusieurs minimums locaux.

Conséquences

L'algorithme d'optimisation (descente de gradient) peut se bloquer dans un minimum local au lieu de trouver le minimum
global. Cela rend l'apprentissage inefficace et imprévisible.

La Nécessité d'une Fonction Coût Convexe

✓ Propriété Requise
Nous avons besoin d'une fonction coût convexe qui garantit que la descente de gradient converge vers le minimum global,
quel que soit le point de départ.

✓ Interprétation Probabiliste

La régression logistique modélise des probabilités, ce qui nécessite une fonction coût qui pénalise les prédictions
incorrectes de probabilités de manière appropriée.

Qu'est-ce qu'une Fonction Convexe ?

Une fonction est convexe si toute ligne droite reliant deux points de la fonction se situe entièrement au-dessus ou sur la
courbe. Pour une fonction convexe, tout minimum local est également un minimum global, ce qui garantit que la descente de
gradient trouvera la meilleure solution.

2025/ 2026 IA © [Link] AMEKSA 206

Ch5. Apprentissage Supervisé – Classification

Fonction Coût et Optimisation

INTRODUCTION À L'ENTROPIE CROISÉE (LOG LOSS)

L'entropie croisée, ou Log Loss, est la fonction de coût standard pour les problèmes de classification en régression
logistique.
➔ Elle mesure la performance d'un modèle de classification dont la sortie est une valeur de probabilité entre 0 et 1.

INTUITION

Comment Fonctionne l'Entropie Croisée ?

Elle pénalise fortement les prédictions qui sont loin de la vérité.
Par exemple, prédire une probabilité de 0.1 quand la vraie classe est 1 est très pénalisé.
À l'inverse, les prédictions correctes de probabilités sont récompensées.

AVANTAGES PAR RAPPORT À MSE

✓ Convexité : Garantit une optimisation efficace vers le minimum global

✓ Interprétation Probabiliste : Directement liée à la théorie des probabilités

✓ Pénalité Appropriée : Pénalise davantage les erreurs de confiance (ex: prédire 0.9 quand c'est 0)

✓ Convergence Rapide : L'algorithme d'optimisation converge plus rapidement qu'avec MSE

2025/ 2026 IA © [Link] AMEKSA 207

 Ch5. Apprentissage Supervisé – Classification

Fonction Coût et Optimisation

FORMULE DE L'ENTROPIE CROISÉE (LOG LOSS)

1
J(𝜃) = ෍ −y (i) log(h𝜃 (x (i) ) − (1 − y (i) ) log(1 − h𝜃 (x (i) ))
m
▼ m : Nombre d'exemples d'entraînement
▼ h𝜃 (x): Probabilité prédite par le modèle
 Si y (i) = 1  Si y (i) = 0
▼ y : Vraie étiquette (0 ou 1)

J (i) = − log(h𝜃 (x (i) ) J (i) = − log(1 − h𝜃 (x (i) )

Cette formule est compacte : Si 𝑦 = 1, seul le premier terme reste Si 𝑦 = 0, seul le second terme reste

1
J(𝜃) = ෍ −y (i) log(h𝜃 (x (i) ) − (1 − y (i) ) log(1 − h𝜃 (x (i) ))
m

Propriété Clé
La fonction log pénalise exponentiellement les mauvaises prédictions, ce qui rend l'optimisation très efficace.

Minimiser 𝐽(𝜃) pour trouver les paramètres 𝜃 qui réduisent l'erreur de classification
➔ C'est là qu'intervient la descente de gradient

2025/ 2026 IA © [Link] AMEKSA 208

Ch5. Apprentissage Supervisé – Classification

Fonction Coût et Optimisation

VISUALISATION DE LA FONCTION DE COÛT

Quand la vraie classe est 1, le coût est minimal (≈ 𝟎) quand h𝜃 (𝒙) ≈ 𝟏

pour y=1
et augmente exponentiellement quand h𝜃 (𝒙) ≈ 𝟎
Comportement de y
Quand la vraie classe est 0, le coût est minimal (≈ 𝟎) quand h𝜃 (𝒙) ≈ 𝟎
pour y=0
et augmente exponentiellement quand h𝜃 (𝒙) ≈ 𝟏

Avantage pour l'Optimisation

Les pentes abruptes près des mauvaises prédictions créent de gradients forts, ce qui permet à la descente de gradient
de corriger rapidement les erreurs.

2025/ 2026 IA © [Link] AMEKSA 209

Ch5. Apprentissage Supervisé – Classification

Fonction Coût et Optimisation

DESCENTE DE GRADIENT – Rappel

Comme pour la régression linéaire, nous utilisons la descente de gradient pour minimiser la fonction de coût.

La descente de gradient est un algorithme d'optimisation itératif qui ajuste les paramètres du modèle pour minimiser la
fonction coût . C'est l'algorithme fondamental pour entraîner les modèles de machine learning.

 Intuition : Descendre une Montagne

Imaginez que vous êtes au sommet d'une montagne dans le brouillard. Vous ne pouvez pas voir la vallée, mais vous
pouvez sentir la pente sous vos pieds. À chaque pas, vous descendez dans la direction de la pente la plus raide. Après
plusieurs pas, vous atteindrez le fond de la vallée (le minimum).

 Les 4 étapes de la descente de gradient

1 Initialiser : Commencer avec des paramètres θ aléatoires

2 Calculer le Gradient : Calculer la dérivée de la fonction coût par rapport à θ

3 Mettre à Jour : Ajuster θ dans la direction opposée au gradient

4 Répéter : Continuer jusqu'à convergence (quand les changements deviennent très petits)

2025/ 2026 IA © [Link] AMEKSA 210

 Ch5. Apprentissage Supervisé – Classification

Fonction Coût et Optimisation

DESCENTE DE GRADIENT – Mathématiques

 Le dérivé de la fonction coût :

𝛿𝐽 𝜃 1 Propriété Remarquable
(i)
= σ(h𝜃 (x (i) ) − y (i) )xj
𝛿𝜃j 𝑚 Pour la régression logistique avec entropie croisée, cette formule
est identique à celle de la régression linéaire ! Seule la fonction
h𝜃 (x) change.

 Forme vectorielle :
1
∇𝜃 J(𝜃) = X T (h𝜃 (X) − y)
𝑚 1
 ∇𝜃 J(𝜃) = 𝑚 X T (h𝜃 (X) − y)

 La mise à jour des paramètres :

𝛿𝐽 𝜃
𝜃j : = 𝜃j − 𝛼
𝛿𝜃j
Répéter jusqu'à convergence

▼ h𝜃 (x (i) ) − y (i) : Erreur de prédiction

𝛿𝐽 𝜃
▼ xj(i) : valeur de la caractéristique j
 𝜃: = 𝜃 − 𝛼 𝛿𝜃

▼ 𝛼 : Taux d’apprentissage (controle la taille des pas)

2025/ 2026 IA © [Link] AMEKSA 211

Ch5. Apprentissage Supervisé – Classification

Fonction Coût et Optimisation

DESCENTE DE GRADIENT – Mathématiques
 Taux d’apprentissage (learning rate) 𝛼 :
Contrôle la taille des pas que l'algorithme prend à chaque itération. C'est un hyperparamètre crucial qui affecte
directement la vitesse et la qualité de la convergence.

Taux Trop Petit (α ≈ 0.0001)

L'algorithme prend des pas très petits.
▪ Convergence très lente : Nécessite beaucoup d'iterations
▪ Coûteux en calcul : Temps d'entraînement très long

Taux Trop Grand (α ≈ 1.0)

L'algorithme prend des pas très grands.

▪ Divergence possible : Peut sauter par-dessus le minimum

▪ Instabilité : Le coût peut augmenter au lieu de diminuer

✓ Taux Optimal (α ≈ 0.01 à 0.1)

Un bon taux d'apprentissage permet une convergence rapide et stable . Il faut souvent l'ajuster expérimentalement en
observant comment le coût évolue pendant l'entraînement. Des techniques comme la validation croisée peuvent aider à
trouver la valeur optimale.

2025/ 2026 IA © [Link] AMEKSA 212

Ch5. Apprentissage Supervisé – Classification

Fonction Coût et Optimisation

 Fonction coût au cours d’entrainement : Descente Rapide

1
Au début, le coût diminue très rapidement Le
gradient est grand, donc les paramètres
changent beaucoup à chaque itération.

Ralentissement
2
À mesure que nous nous rapprochons du
minimum, la descente ralentit progressivement
Le gradient diminue.

3 Convergence
Finalement le coût se stabilise, les changements
deviennent négligeables L’algorithme a convergé

Cette courbe est en forme de décroissance exponentielle est typique de la descente de gradient avec une fonction
coût convexe. Elle indique que l’optimisation fonctionne correctement

2025/ 2026 IA © [Link] AMEKSA 213

Ch5. Apprentissage Supervisé – Classification

Implémentation et évaluation

Maintenant que nous comprenons comment entraîner un modèle de régression logistique, nous devons apprendre à
l'implémenter en code, à évaluer sa performance et à interpréter les résultats dans le contexte des cas d'études
différents

Vue d'Ensemble de l'Implémentation

① Préparation des Données

Charger, nettoyer et normaliser les données. Diviser en ensembles d'entraînement et de test

② Entraînement du Modèle
Initialiser les paramètres et exécuter la descente de gradient pour minimiser la fonction coût

③ Prédiction
Utiliser le modèle entraîné pour prédire les probabilités et les classes des nouvelles données.

④ Évaluation
Calculer les métriques de performance pour évaluer la qualité des prédictions
(dans notre cas nous allons se concentrer dans un premier temps sur l'accuracy)

Point Important

Ces étapes sont itérative. Si les performances ne sont pas satisfaisantes, on peut revenir à l'étape 1 pour améliorer les
données, ou à l'étape 2 pour ajuster les hyperparamètres (taux d'apprentissage, nombre d'itérations, etc.).

2025/ 2026 IA © [Link] AMEKSA 214

Ch5. Apprentissage Supervisé – Classification

Régression Logistique
EN UTILISANT LA BIBLIOTHÈQUE SCKIT-LEARN

Importation from sklearn.linear_model import LogisticRegression

Création du modèle model = LogisticRegression()

Entrainement [Link](X, Y)

Faire des prédictions predictions = [Link](X)

2025/ 2026 IA © [Link] AMEKSA 215

Ch5. Apprentissage Supervisé – Classification

Implémentation et évaluation

Cas d'Étude 1 : Diagnostic des maladies cardiaques

Problème à Résoudre
En utilisant les caractéristiques médicales et cliniques des patients, peut-on prédire la présence d'une maladie cardiaque ?

Caractéristiques (Features)
 X₁ age : Âge du patient - Mesuré en années (ex: 40, 49, 37, 48, 54)
 X₂ Sexe : Sexe du patient - Variable binaire (0 = femme, 1 = homme)
Classe 0 : Absence de maladie cardiaque  X₃ chest_pain_type : Type de douleur thoracique - Numérique (1-4) types de douleur angineuse (ex: 1, 2, 3, 4)
Patients sans pathologie cardiaque identifiée  X₄ resting_bp_s : Pression artérielle au repos - Mesurée en mm Hg (ex: 140, 160, 130, 138, 150)
 X₅ cholesterol : Taux de cholestérol - Mesuré en mg/dl (ex: 289, 180, 283, 214, 195)

Classe 1 : Présence de maladie cardiaque  X₆ fasting_blood_sugar : Glycémie à jeun - Binaire (1 si > 120 mg/dl, 0 sinon)

Patients avec diagnostic confirmé de maladie cardiaque.  X₇ resting_ecg : Résultats de l'électrocardiogramme au repos - Numérique (0, 1, 2)
 X₈ max_heart_rate : Fréquence cardiaque maximale atteinte - Battements par minute (ex: 172, 156, 98, 108, 122)
 X₉ exercise_angina : Angine induite par l'exercice - Binaire (0 = non, 1 = oui)
 X₁₀ oldpeak : Dépression du segment ST - Mesurée lors de l'exercice par rapport au repos (ex: 0.0, 0.6, 1.6, 2.0)
 X₁₁ st_slope : Pente du segment ST lors de l'exercice - Numérique (0, 1, 2, 3)

2025/ 2026 IA © [Link] AMEKSA 216

 Démonstration Pratique

2024 / 2025 IA © [Link] AMEKSA 217