TD : Régression Logistique
Exercice :
Une entreprise de production utilise une machine critique dans sa chaîne de fabrication.
On souhaite prédire le risque de panne de cette machine en fonction de son niveau de charge.
On définit :
• x : niveau de charge de la machine (indice codé de 0 à 3)
o 0 : charge très faible
o 1 : charge faible
o 2 : charge moyenne
o 3 : charge élevée
• y∈{0,1} : état de la machine lors du quart de travail
o y=0 : aucun incident
o y=1 : panne survenue
L’ingénieur data de l’entreprise propose d’utiliser un modèle de régression logistique pour
estimer la probabilité de panne en fonction de x.
Le modèle logistique est :
avec :
• p^i : probabilité prédite de panne pour le niveau de charge xi
• θ0,θ1 : paramètres du modèle à estimer
La fonction de coût moyenne (log-loss) est :
Les gradients sont :
La mise à jour (descente de gradient) est :
i Niveau de charge (xi) Panne (yi)
1 0 0
2 1 0
3 2 1
4 3 1
• Nombre d’observations : m=4
• Paramètres initiaux : θ0=0, θ1=0
• Taux d’apprentissage : α=0.1
1. Effectuer 3 itérations de descente de gradient à la main.
Pour chaque itération, vous devez :
a. Calculer numériquement, pour chaque observation i :
• zi
• p^i
• ei=p^i−yi
b. Calculer les gradients :
c. Mettre à jour les paramètres :
d. Calculer la valeur de la fonction coût J(θ) à chaque itération et vérifier qu’elle diminue.
2. Après la 3ᵉ itération, déterminer la frontière de décision x∗ telle que :
Interpréter x∗ en termes de niveau de charge à partir duquel le risque de panne devient
majoritaire.