Sélection de Variables

Méthodes de Filtrage en Apprentissage Automatique

TENGA Cherif : IABD

BINI WAZI : IABD
YENUI Luther : IABD
18 janvier 2026

Table des matières

1 Introduction 3
1.1 Contexte et Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 La Malédiction de la Dimensionnalité . . . . . . . . . . . . . . . . . . . . . 3
1.3 Formalisation Mathématique du Problème . . . . . . . . . . . . . . . . . . 3
1.4 Les Trois Familles de Méthodes . . . . . . . . . . . . . . . . . . . . . . . . 4

2 Principe Général des Méthodes de Filtrage 5

2.1 Définition et Caractéristiques . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2 Fondements Théoriques des Méthodes de Filtrage . . . . . . . . . . . . . . 6
2.2.1 Critère de Pertinence . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.2.2 Propriétés Souhaitables . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.3 Avantages et Limites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.3.1 Avantages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.3.2 Limites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

3 Principales Méthodes de Filtrage 7

3.1 Fondements Théoriques de la Corrélation . . . . . . . . . . . . . . . . . . . 7
3.1.1 Coefficient de Corrélation de Pearson . . . . . . . . . . . . . . . . . 7
3.1.2 Distance de corrélation . . . . . . . . . . . . . . . . . . . . . . . . . 7
3.2 Test du Khi-deux (χ2 ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
3.2.1 Fondements Théoriques . . . . . . . . . . . . . . . . . . . . . . . . 8
3.2.2 Mesures d’Association Dérivées . . . . . . . . . . . . . . . . . . . . 8
3.3 Analyse de la Variance (ANOVA) . . . . . . . . . . . . . . . . . . . . . . . 9
3.3.1 Fondements Théoriques . . . . . . . . . . . . . . . . . . . . . . . . 9
3.3.2 Décomposition de la Variance . . . . . . . . . . . . . . . . . . . . . 9
3.3.3 Conditions d’Application . . . . . . . . . . . . . . . . . . . . . . . . 10
3.4 Information Mutuelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.4.1 Théorie de l’Information . . . . . . . . . . . . . . . . . . . . . . . . 10
3.4.2 Information Mutuelle . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.4.3 Divergence de Kullback-Leibler . . . . . . . . . . . . . . . . . . . . 11
3.4.4 Information Mutuelle Normalisée . . . . . . . . . . . . . . . . . . . 11
TABLE DES MATIÈRES 2

3.4.5 Estimation en Pratique . . . . . . . . . . . . . . . . . . . . . . . . . 12

3.5 Sélection basée sur la Variance . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.6 Complexité Algorithmique . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.7 Tableau Comparatif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.8 Comparaison avec les Autres Approches . . . . . . . . . . . . . . . . . . . 12

4 Autre méthodes de sélection 13

4.1 Qualité de groupe et réduction de la redondance : . . . . . . . . . . . . . . 13
4.2 Méthodes d’exploration de l’espace de recherche . . . . . . . . . . . . . . . 13

5 Bonnes Pratiques et Recommandations 14

5.1 Choix de la Méthode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
5.2 Stratégies Avancées . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

6 Conclusion 14
6.1 Synthèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
6.2 Recommandations Pratiques . . . . . . . . . . . . . . . . . . . . . . . . . . 14
6.3 Perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

A Annexe A : Formules Mathématiques Complètes 15

A.1 Corrélation de Pearson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
A.2 Corrélation de Spearman . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
A.3 Statistique F de l’ANOVA . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
A.4 Information Mutuelle Normalisée . . . . . . . . . . . . . . . . . . . . . . . 15

B Annexe B : Ressources et Références 15

B.1 Bibliothèques Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
B.2 Documentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

Sélection de Variables par Méthodes de Filtrage

1 INTRODUCTION 3

1 Introduction
1.1 Contexte et Motivation
En apprentissage automatique et en analyse de données, les jeux de données com-
portent souvent un grand nombre de variables explicatives, dont certaines peuvent être
redondantes, non pertinentes ou bruitées. Cette situation pose plusieurs défis :
— Malédiction de la dimensionnalité : les performances des modèles se dégradent
avec l’augmentation du nombre de variables
— Surapprentissage : trop de variables peuvent conduire à un modèle trop complexe
— Complexité computationnelle : coûts de calcul et temps d’exécution élevés
— Interprétabilité réduite : difficulté à comprendre les décisions du modèle

1.2 La Malédiction de la Dimensionnalité

Définition
La malédiction de la dimensionnalité (curse of dimensionality) désigne l’en-
semble des phénomènes contre-intuitifs qui apparaissent lorsque le nombre de di-
mensions (variables) augmente dans un espace de grande dimension.

Dans un espace de dimension d, le volume d’une hypersphère de rayon r est pro-

portionnel à rd . Ainsi, pour maintenir une densité d’échantillons constante, le nombre
d’observations nécessaires croît exponentiellement avec d. Formellement, si l’on souhaite
k voisins dans une boule de rayon r en dimension d, il faut :
 d
1
n∝
r
Conséquences pratiques :
— Les distances entre points deviennent de plus en plus similaires
— Les modèles basés sur la distance (k-NN, SVM) perdent en efficacité
— La variance des estimateurs augmente
— Le risque de surapprentissage s’accroît considérablement

Concept Clé
La sélection de variables vise à identifier un sous-ensemble pertinent de variables
permettant d’améliorer les performances du modèle, de réduire la complexité com-
putationnelle et d’augmenter l’interprétabilité des résultats.

1.3 Formalisation Mathématique du Problème

Soit un ensemble de données avec n observations et p variables : D = {(xi , yi )}ni=1 où
xi ∈ Rp et yi est la variable cible.
Objectif : Trouver un sous-ensemble S ⊂ {1, 2, . . . , p} de taille k < p tel que :

S ∗ = arg min L(DS )

S:|S|=k

Sélection de Variables par Méthodes de Filtrage

1 INTRODUCTION 4

où L est une fonction de perte (erreur de généralisation) et DS représente les données

réduites aux variables de S.
Complexité : Ce problème est NP-difficile car il faut examiner kp combinaisons

possibles. Pour p = 50 et k = 25 :
 
50
≈ 1.26 × 1014 combinaisons
25

D’où la nécessité d’approches heuristiques comme les méthodes de filtrage.

1.4 Les Trois Familles de Méthodes

Il existe trois grandes approches pour la sélection de variables :
1. Méthodes de filtrage (Filter) : évaluation statistique indépendante du modèle
2. Méthodes enveloppantes (Wrapper) : sélection basée sur les performances d’un
modèle
3. Méthodes embarquées (Embedded) : sélection intégrée dans l’algorithme d’ap-
prentissage
Ce document se concentre sur les méthodes de filtrage, qui se distinguent par leur
simplicité, leur rapidité et leur indépendance vis-à-vis du modèle prédictif.

Sélection de Variables par Méthodes de Filtrage

2 PRINCIPE GÉNÉRAL DES MÉTHODES DE FILTRAGE 5

2 Principe Général des Méthodes de Filtrage

2.1 Définition et Caractéristiques
Définition
Les méthodes de filtrage reposent sur l’évaluation statistique directe des variables
d’entrée, indépendamment de tout algorithme d’apprentissage. Chaque variable est
évaluée selon un critère de pertinence mesurant sa relation avec la variable cible.

Concept Clé
Les critères de filtrage varient selon que l’on analyse une variable seule ou un groupe
de variables :
— Critère de Variance : C’est la méthode la plus simple qui consiste à éliminer
les variables dont la variance est très faible, car elles expliquent une trop faible
partie de la variabilité des [Link], une variable peut être très
discriminante même avec une faible variance
— Qualité prédictive individuelle : On évalue la relation entre chaque variable
d’entrée X et la variable de sortie Y via :
— La corrélation linéaire (pour les variables quantitatives)
— Le test du
X2
d’indépendance (pour les variables qualitatives)
— L’ information mutuelle , qui mesure ce que la connaissance de X apporte
à celle de Y, permettant de capturer des relations non linéaires.
— Qualité de groupe et réduction de la redondance : Sélectionnez les variables
individuellement est souvent insuffisantes car elles peuvent être redondantes
entre elles
— mRMR (Minimum Redundancy Maximum Relevance) : Cherche à maxi-
miser l’information mutuelle avec la variable de sortie tout en minimisant
l’information mutuelle moyenne entre les variables sélectionnées
— CFS (Correlation-based Feature Selection) : Heuristique qui privilégie
les sous-ensembles de variables hautement corrélés à la classe mais non
corrélés entre eux.
— Relief : Une méthode puissante et sensible aux interactions entre variables
, qui importe les attributs en fonction de la différence de valeurs entre
les voisins les plus proches de la même classe et de classes différentes

Sélection de Variables par Méthodes de Filtrage

2 PRINCIPE GÉNÉRAL DES MÉTHODES DE FILTRAGE 6

2.2 Fondements Théoriques des Méthodes de Filtrage

2.2.1 Critère de Pertinence
Définition
Un critère de pertinence est une fonction ϕ : X × Y → R qui mesure la "qualité"
d’une variable X par rapport à la cible Y .

Les critères peuvent être basés sur :

1. Corrélation : mesure de dépendance linéaire
2. Dépendance statistique : tests d’hypothèse (Chi-deux, ANOVA)
3. Information théorique : entropie, information mutuelle
4. Distances : divergence de Kullback-Leibler

2.2.2 Propriétés Souhaitables

Un bon critère de pertinence doit satisfaire :
— Monotonie : si X1 est plus pertinente que X2 , alors ϕ(X1 , Y ) ≥ ϕ(X2 , Y )
— Symétrie (optionnelle) : ϕ(X, Y ) = ϕ(Y, X)
— Normalisation : ϕ(X, Y ) ∈ [0, 1] pour faciliter les comparaisons
— Sensibilité : capacité à détecter les dépendances faibles
— Robustesse : résistance au bruit et aux valeurs aberrantes

2.3 Avantages et Limites

2.3.1 Avantages
—
Indépendance du modèle : applicable à tout algorithme d’apprentissage
—
Faible coût computationnel : calculs rapides même sur de grandes données
—
Facilité d’implémentation : méthodes simples à comprendre et à coder
—
Scalabilité : adaptées aux jeux de données de grande dimension

2.3.2 Limites
—
Interactions ignorées : ne capturent pas les synergies entre variables
—
Relations non linéaires : peu sensibles aux dépendances complexes
—
Redondance : peuvent sélectionner des variables corrélées entre elles

Sélection de Variables par Méthodes de Filtrage

3 PRINCIPALES MÉTHODES DE FILTRAGE 7

3 Principales Méthodes de Filtrage

3.1 Fondements Théoriques de la Corrélation
3.1.1 Coefficient de Corrélation de Pearson
Définition
Le coefficient de corrélation de Pearson mesure la relation linéaire entre deux
variables continues. Il est défini par :

Cov(X, Y ) E[(X − µX )(Y − µY )]

r= =
σX σY σX σY
où Cov(X, Y ) est la covariance entre X et Y , et σX , σY sont les écarts-types.

Propriétés mathématiques :
— r ∈ [−1, 1]
— |r| = 1 : corrélation parfaite (relation linéaire exacte)
— r = 0 : absence de corrélation linéaire (mais pas nécessairement d’indépendance)
— r est invariant par transformation affine : r(aX + b, cY + d) = sign(ac) · r(X, Y )

Remarque
Attention : Une corrélation nulle n’implique pas l’indépendance. Par exemple,
si Y = X 2 avec X ∼ N (0, 1), alors r(X, Y ) = 0 mais X et Y sont clairement
dépendants.

3.1.2 Distance de corrélation

Concept Clé

La distance de corrélation (Székely et al., 2007) généralise la corrélation de

Pearson et peut détecter toute forme de dépendance, pas seulement linéaire ou
monotone.

Elle est définie à partir de la distance caractéristique :

dCov(X, Y )
dCor(X, Y ) = p
dCov(X, X) · dCov(Y, Y )

Propriété fondamentale : dCor(X, Y ) = 0 si et seulement si X et Y sont indépen-

dants.

Sélection de Variables par Méthodes de Filtrage

3 PRINCIPALES MÉTHODES DE FILTRAGE 8

3.2 Test du Khi-deux (χ2 )

3.2.1 Fondements Théoriques

Définition
Le test du khi-deux mesure la dépendance entre deux variables catégorielles en
comparant les fréquences observées aux fréquences théoriques sous l’hypothèse d’in-
dépendance :
r X c
2
X (Oij − Eij )2
χ =
i=1 j=1
Eij
ni· ·n·j
où Oij sont les fréquences observées et Eij = n
les fréquences théoriques.

Hypothèses du test :
— H0 : Les variables X et Y sont indépendantes
— H1 : Il existe une relation entre X et Y
Loi de distribution :
Sous H0 , la statistique χ2 suit asymptotiquement une loi du chi-deux à (r − 1)(c − 1)
degrés de liberté :
χ2 ∼ χ2(r−1)(c−1)
Conditions d’application :
1. Observations indépendantes
2. Effectifs théoriques Eij ≥ 5 pour au moins 80% des cellules
3. Aucun effectif théorique nul

3.2.2 Mesures d’Association Dérivées

À partir du χ2 , on peut calculer plusieurs mesures normalisées :
Coefficient de contingence de Pearson :
s
χ2
C=
χ2 + n

V de Cramér : s
χ2
V =
n · min(r − 1, c − 1)
où V ∈ [0, 1], permettant de comparer des tableaux de tailles différentes.
Phi coefficient (pour tableaux 2 × 2) :
r
χ2
ϕ=
n

Remarque
Pour les variables continues, il est nécessaire de les discrétiser avant d’appliquer le
test du χ2 . Cependant, cette discrétisation peut entraîner une perte d’information.

Sélection de Variables par Méthodes de Filtrage

3 PRINCIPALES MÉTHODES DE FILTRAGE 9

3.3 Analyse de la Variance (ANOVA)

3.3.1 Fondements Théoriques

Définition
L’ANOVA (Analysis of Variance) est une méthode statistique qui compare les
moyennes d’une variable continue entre k groupes (classes) en décomposant la va-
riance totale.

Hypothèses :
— H0 : µ1 = µ2 = · · · = µk (toutes les moyennes sont égales)
— H1 : ∃i, j : µi ̸= µj (au moins deux moyennes diffèrent)

3.3.2 Décomposition de la Variance

La variance totale se décompose en deux composantes :

SST = SSR + SSE

où :
ni
k X
X
SST = (Yij − Ȳ )2
i=1 j=1
k
X
SSR = ni (Ȳi − Ȳ )2
i=1
Xk Xni
SSE = (Yij − Ȳi )2
i=1 j=1

Carrés moyens :
SSR SSE
MSR = , MSE =
k−1 N −k
Concept Clé
La statistique F d’ANOVA est le rapport des variances :

MSR SSR/(k − 1)
F = =
MSE SSE/(N − k)

Sous H0 et les hypothèses de normalité et d’homoscédasticité, F ∼ Fk−1,N −k (loi de

Fisher).
Interprétation :
— F élevé ⇒ variabilité entre groupes » variabilité intra-groupe
— La variable est discriminante pour séparer les classes
— Rejet de H0 si F > Fα,k−1,N −k

Sélection de Variables par Méthodes de Filtrage

3 PRINCIPALES MÉTHODES DE FILTRAGE 10

3.3.3 Conditions d’Application

1. Normalité : les résidus suivent une loi normale dans chaque groupe
2. Homoscédasticité : égalité des variances (test de Levene)
3. Indépendance : les observations sont indépendantes
Si ces conditions ne sont pas respectées :
— Test de Kruskal-Wallis (alternative non paramétrique)
— Test de Welch (si hétéroscédasticité)

3.4 Information Mutuelle

Concept Clé
On suit la démarche suivante : On garde les k variables d’entrée qui sont
individuellement les plus pertinentes, ou celles dont la pertinence est supérieure à
un seuil, ou à la moyenne, ou on garde les k premiers déciles, etc.
Insuffisance de cette approche de sélection de k variables parmi m : Les k variables
sont individuellement les plus « explicatives » mais souvent redondantes : certaines
apportent la même information que d’autres.

3.4.1 Théorie de l’Information

Définition
L’entropie de Shannon mesure l’incertitude moyenne associée à une variable
aléatoire X : X
H(X) = − p(x) log2 p(x)
x∈X

où l’unité est le bit si on utilise le logarithme en base 2.

Propriétés de l’entropie :
— H(X) ≥ 0 avec égalité si X est déterministe
— H(X) ≤ log2 (|X |) avec égalité si X est uniforme
— H(X) est maximale quand X suit une distribution uniforme

Définition
L’entropie conditionnelle H(Y |X) mesure l’incertitude résiduelle sur Y sachant
X : XX
H(Y |X) = − p(x, y) log2 p(y|x)
x∈X y∈Y

Relation fondamentale :

H(Y |X) = H(X, Y ) − H(X)

Sélection de Variables par Méthodes de Filtrage

3 PRINCIPALES MÉTHODES DE FILTRAGE 11

3.4.2 Information Mutuelle

Définition
L’information mutuelle I(X; Y ) quantifie la réduction d’incertitude sur Y ap-
portée par la connaissance de X :
 
X p(x, y)
I(X; Y ) = H(Y ) − H(Y |X) = p(x, y) log2
x,y
p(x)p(y)

Propriétés fondamentales :
1. Symétrie : I(X; Y ) = I(Y ; X)
2. Non-négativité : I(X; Y ) ≥ 0 avec égalité ssi X et Y sont indépendants
3. Borne supérieure : I(X; Y ) ≤ min(H(X), H(Y ))
4. Invariance : invariante par transformation bijective
5. Additivité : Si X1 ⊥ X2 , alors I(X1 , X2 ; Y ) = I(X1 ; Y ) + I(X2 ; Y )

Remarque
Contrairement à la corrélation de Pearson, l’information mutuelle détecte toute
forme de dépendance (linéaire ou non linéaire). Si I(X; Y ) = 0, alors X et Y sont
statistiquement indépendants.

3.4.3 Divergence de Kullback-Leibler

L’information mutuelle peut aussi s’écrire comme :

I(X; Y ) = DKL (p(x, y)∥p(x)p(y))

où DKL est la divergence de Kullback-Leibler :

 
X p(x)
DKL (P ∥Q) = p(x) log
x
q(x)

Cette formulation montre que l’information mutuelle mesure à quel point la distribu-
tion jointe p(x, y) s’écarte du produit des marginales p(x)p(y) (cas d’indépendance).

3.4.4 Information Mutuelle Normalisée

Pour faciliter l’interprétation, on utilise souvent des versions normalisées :
NMI (Strehl & Ghosh, 2002) :
I(X; Y )
NMI(X; Y ) = p
H(X)H(Y )
Information Mutuelle Symétrique :
I(X; Y )
SU(X; Y ) = 2 ·
H(X) + H(Y )
Ces mesures prennent leurs valeurs dans [0, 1], facilitant les comparaisons.

Sélection de Variables par Méthodes de Filtrage

3 PRINCIPALES MÉTHODES DE FILTRAGE 12

3.4.5 Estimation en Pratique

Pour des variables continues, l’information mutuelle nécessite une estimation par :
— Discrétisation (binning) : perte d’information
— Estimation par k-NN (Kraskov et al., 2004) :

I(X; Y ) ≈ ψ(k) + ψ(N ) − ⟨ψ(nx + 1) + ψ(ny + 1)⟩

où ψ est la fonction digamma

— Estimation par noyau (kernel density estimation)

3.5 Sélection basée sur la Variance

Concept Clé
La sélection par variance élimine les variables ayant une variance inférieure à un
seuil donné. Ces variables apportent peu d’information car elles varient peu dans le
jeu de données.

Remarque
Cette méthode est particulièrement utile en apprentissage non supervisé, où aucune
variable cible n’est disponible.

3.6 Complexité Algorithmique

Méthode Complexité temps Complexité espace

Pearson/Spearman O(np) O(n)
Chi-deux O(npr) O(rc)
ANOVA O(np) O(nk)
Info. Mutuelle (binning) O(npb2 ) O(b2 )
Info. Mutuelle (k-NN) O(np log n) O(n)
mRMR O(kp2 ) O(p2 )

Table 1 – Complexité des méthodes de filtrage (n : observations, p : variables, k : classes,

r, c : dimensions tableau de contingence, b : bins)

où k dans mRMR représente le nombre de variables à sélectionner.

3.7 Tableau Comparatif

3.8 Comparaison avec les Autres Approches

Sélection de Variables par Méthodes de Filtrage

4 AUTRE MÉTHODES DE SÉLECTION 13

Méthode Type de variables Relations Coût

Pearson Continues Linéaires Très faible
Spearman Ordinales/Continues Monotones Faible
Chi-deux Catégorielles Générales Faible
ANOVA Continues (cible catég.) Linéaires Faible
Info. Mutuelle Tous types Non linéaires Moyen
Variance Tous types Aucune (non sup.) Très faible

Table 2 – Comparaison des méthodes de filtrage

Approche Dépend du modèle Coût Interactions

Filtrage Non Faible Non
Wrapper Oui Élevé Oui
Embedded Oui Moyen Partiel

Table 3 – Comparaison des familles de méthodes de sélection

4 Autre méthodes de sélection

4.1 Qualité de groupe et réduction de la redondance :
Problématique :Sélectionnez les variables individuellement est souvent insuffisantes
car elles peuvent être redondantes entre elles
— mRMR (Minimum Redundancy Maximum Relevance) : Cherche à maximi-
ser l’information mutuelle avec la variable de sortie tout en minimisant l’information
mutuelle moyenne entre les variables sélectionnées.
— CFS (Correlation-based Feature Selection) :Heuristique qui privilégie les sous-
ensembles de variables hautement corrélés à la classe mais non corrélés entre eux
— Relief : Une méthode puissante et sensible aux interactions entre variables , qui
importe les attributs en fonction de la différence de valeurs entre les voisins les plus
proches de la même classe et de classes différentes

4.2 Méthodes d’exploration de l’espace de recherche

Choisir k variables parmi m est un problème combinatoire complexe. On utilise donc
des méthodes approximatives
— Sélection individuelle : Si le critère est indépendant des autres variables, on
sélectionne simplement les k meilleures (complexité O( m ))
— Méthodes incrémentales (Forward Selection) :On démarre avec une seule
variable (par ex. choisie avec la méthode précédente) A chaque itération on ajoute
une variable, celle qui forme le meilleur ensemble avec les variables déjà sélectionnées
aux itérations précédentes
— Méthodes décrémentales (Backward Elimination) : on démarre avec la tota-
lité des variables initiales ; à chaque itération on teste toutes les combinaisons avec
une variable en moins par rapport à l’itération précédente et on choisit celle qui est
optimale (on élimine donc une variable). La complexité résultante est de O(m2 ) (la
complexité exacte augmente avec le nombre de variables à éliminer).

Sélection de Variables par Méthodes de Filtrage

6 CONCLUSION 14

5 Bonnes Pratiques et Recommandations

5.1 Choix de la Méthode
1. Variables continues et relation linéaire : Pearson ou ANOVA
2. Variables catégorielles : Chi-deux
3. Relations non linéaires : Information Mutuelle
4. Grande dimensionnalité : Variance ou Information Mutuelle
5. Données bruitées : Méthodes robustes (Spearman, Info. Mutuelle)

5.2 Stratégies Avancées

Concept Clé
Approche hybride : Combiner plusieurs méthodes de filtrage pour une sélection
plus robuste, puis affiner avec une méthode wrapper ou embedded.

6 Conclusion
6.1 Synthèse
En conclusion, bien que moins performantes que l’approche wrapper dans certains
cas, les méthodes de filtrage constituent un excellent compromis entre coût de calcul
et performance , surtout pour les données de haute dimension. Leurs principaux atouts
résident dans :
— Leur rapidité d’exécution, permettant une exploration efficace même sur de très
grandes dimensions
— Leur simplicité conceptuelle et facilité d’implémentation
— Leur indépendance vis-à-vis du modèle prédictif final
— Leur capacité à servir de première étape avant des méthodes plus sophistiquées

6.2 Recommandations Pratiques

1. Combiner plusieurs méthodes pour une sélection robuste
2. Valider la sélection par validation croisée
3. Analyser la stabilité des variables sélectionnées
4. Considérer le contexte métier : certaines variables peuvent être importantes pour
l’interprétabilité même si leur score statistique est faible
5. Itérer : la sélection n’est pas une étape unique mais un processus à affiner

6.3 Perspectives
Bien que puissantes, les méthodes de filtrage atteignent leurs limites face aux inter-
actions complexes entre variables. Pour des problèmes nécessitant la capture de telles
interactions, il est recommandé de :

Sélection de Variables par Méthodes de Filtrage

B ANNEXE B : RESSOURCES ET RÉFÉRENCES 15

— Utiliser une approche hybride combinant filtrage et wrapper/embedded

— Explorer les méthodes d’ensemble qui agrègent plusieurs stratégies de sélection
— Considérer les techniques de réduction de dimension (PCA, t-SNE, UMAP) en
complément

Remarque
La sélection de variables est un art autant qu’une science. Les méthodes statistiques
fournissent des guides précieux, mais l’expertise du domaine et l’expérimentation
restent essentielles pour obtenir les meilleurs résultats.

A Annexe A : Formules Mathématiques Complètes

A.1 Corrélation de Pearson
Pn
i=1 (Xi − X̄)(Yi − Ȳ )
rX,Y = pPn pPn
− 2 2
i=1 (X i X̄) i=1 (Yi − Ȳ )

A.2 Corrélation de Spearman

6 ni=1 d2i
P
ρ=1−
n(n2 − 1)
où di est la différence entre les rangs de chaque observation.

A.3 Statistique F de l’ANOVA

Pk
M Sbetween ni (Ȳi − Ȳ )2 /(k − 1)
F = = Pk i=1
Pni
M Swithin i=1
2
j=1 (Yij − Ȳi ) /(N − k)

A.4 Information Mutuelle Normalisée

I(X; Y )
N M I(X; Y ) = p
H(X)H(Y )
où H(X) et H(Y ) sont les entropies de Shannon.

B Annexe B : Ressources et Références

B.1 Bibliothèques Python
— scikit-learn : [Link]
— pandas : [Link]
— numpy : [Link]
— matplotlib/seaborn : Visualisation

Sélection de Variables par Méthodes de Filtrage

B ANNEXE B : RESSOURCES ET RÉFÉRENCES 16

B.2 Documentation
— Guyon, I., & Elisseeff, A. (2003). An introduction to variable and feature selection.
Journal of Machine Learning Research, 3, 1157-1182.
— Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Lear-
ning. Springer.
— James, G., Witten, D., Hastie, T., & Tibshirani, R. (2013). An Introduction to Sta-
tistical Learning. Springer.

Sélection de Variables par Méthodes de Filtrage