Objectif
Comprendre les modèles, les fonctions de coût, les dérivées, les vecteurs/matrices, et les
probabilités, car tout en dépend dans le ML.
🧩 1. Algèbre linéaire (priorité haute)
👉 C’est la base des réseaux de neurones, de la régression, du clustering, etc.
Ce qu’il faut savoir :
● Vecteurs, matrices et tenseurs
● Opérations : addition, produit scalaire, produit matriciel
● Notion de norme (distance, longueur)
● Transposée, inverse, déterminant (niveau basique)
● Combinaisons linéaires et espace vectoriel
Exemple utile :
y=Xw+by = Xw + by=Xw+b
C’est la forme de la régression linéaire.
Ressources :
● Livre : Essence of Linear Algebra (vidéos 3Blue1Brown sur YouTube)
● Pratique : utiliser NumPy pour manipuler des matrices
📈 2. Statistiques et probabilités
👉 Indispensables pour comprendre les modèles, la précision et la variance.
Ce qu’il faut savoir :
● Moyenne, médiane, variance, écart-type
● Loi normale (courbe en cloche)
● Probabilité conditionnelle et Bayes
● Distribution (binomiale, gaussienne, uniforme)
● Échantillonnage et estimation
Exemple utile :
P(A∣B)=P(B∣A)P(A)P(B)P(A|B) = \frac{P(B|A)P(A)}{P(B)}P(A∣B)=P(B)P(B∣A)P(A)
C’est la formule de Bayes, utilisée dans le Naive Bayes classifier.
🧮 3. Calcul différentiel (dérivées)
👉 Nécessaire pour comprendre comment les modèles “apprennent” (descente de gradient).
Ce qu’il faut savoir :
● Dérivée d’une fonction (taux de variation)
● Dérivée partielle (pour plusieurs variables)
● Gradient et descente de gradient
● Minimum local / global
Exemple :
w=w−α∂L∂ww = w - \alpha \frac{\partial L}{\partial w}w=w−α∂w∂L
C’est la mise à jour des poids pendant l’entraînement d’un modèle.
📊 4. Optimisation
👉 Comprendre comment on ajuste les paramètres d’un modèle.
● Descente de gradient (gradient descent)
● Momentum, Adam, RMSprop (méthodes d’optimisation avancées)
● Fonctions de coût (MSE, Cross-Entropy)
🔢 5. Logique, ensembles et fonctions
👉 Utile pour comprendre les relations entre données et transformations.
● Fonctions (f(x)), domaines et images
● Ensembles et sous-ensembles
● Logique booléenne, opérateurs logiques
🧠 6. (Optionnel mais puissant) Théorie de l’information
● Entropie
● Perte de Kullback-Leibler (KL-divergence)
● Comprendre la “surprise” ou l’incertitude d’un modèle
🪜 Ordre recommandé pour apprendre
1. Algèbre linéaire → comprendre les vecteurs, matrices, opérations
2. Statistiques / probabilités → comprendre les données et leur incertitude
3. Calcul différentiel → comprendre comment les modèles apprennent
4. Optimisation → ajuster les modèles efficacement
5. Théorie de l’information (bonus) → comprendre la précision et la perte
💡 Conseil pratique
Apprends les maths en parallèle avec des petits projets ML :
● Linear regression → dérivées et matrices
● Logistic regression → probabilité
● k-means → distance euclidienne
● Neural network → descente de gradient