Pipeline de nettoyage des données énergétiques
Pipeline de nettoyage des données énergétiques
md 2026-01-06
Nous avons défini la séquence d'exécution suivante pour garantir l'intégrité de la modélisation :
Nous avons choisi de placer la Section 1 en dernière position car l'imputation des valeurs manquantes ou la suppression
préventive de colonnes risqueraient de masquer des réalités physiques ou de biaiser les distributions statistiques nécessaires au
calcul des bornes IQR. En auditant d'abord la cohérence arithmétique (Section 2) et les déviations extrêmes (Section 3), nous
travaillons sur un signal pur, non pollué par des valeurs artificielles injectées lors d'une imputation. Cet ordre permet de qualifier
précisément chaque bâtiment avant de décider si son manque de données justifie une exclusion finale.
Nous précisons que dans notre environnement de travail, l'ordre initial importait peu car nos fonctions d'audit ne modifiaient
pas le jeu de données brutes. Les algorithmes statistiques utilisés ignorent nativement les valeurs nulles, ce qui garantit que le
calcul de nos seuils reste identique, que les valeurs manquantes aient été flagguées ou non. Cette robustesse nous a permis
d'isoler les incohérences physiques majeures sans dénaturer la représentativité du parc immobilier de Seattle pour la prédiction
des émissions de CO2.
Lors de l'application des diagnostics et des audits de la Section 1, nous avons constaté que certains sous-groupes d'usage
(PrimaryPropertyType) étaient statistiquement sous-représentés ou ne présentaient aucune donnée valide pour certaines
variables structurelles (notamment le nombre d'étages).
Face à ces "tranches vides" (détectées par les avertissements de type Mean of empty slice), nous avons pris la décision
d'implémenter une imputation en cascade :
Priorité à la spécificité : L'imputation est d'abord tentée au niveau de la sous-catégorie d'usage pour préserver la
cohérence architecturale.
Sécurité par palier : En cas d'absence de référentiel dans la sous-catégorie, le pipeline bascule sur la médiane globale du
projet en dernier ressort.
Audit de fiabilité : Cette décision permet de garantir un dataset 100% exploitable par les algorithmes de Machine
Learning tout en marquant explicitement (via la colonne IsZeroFloorReported) les lignes dont la valeur a été
reconstituée.
La validité d'un modèle de prédiction des émissions de CO2 dépend directement de la cohérence interne des variables
d'intensité. L'EUI (Energy Use Intensity) constitue l'indicateur pivot du dataset puisqu'il normalise la consommation énergétique
par la dimension spatiale du bâtiment. Cependant, l'analyse diagnostique a révélé que les données d'intensité originales étaient
inexploitables en l'état pour deux raisons fondamentales. D'une part, la correction préalable des consommations normalisées
(Weather Normalized) a mécaniquement rendu les intensités d'origine obsolètes. D'autre part, la détection d'observations
1 / 12
compte_rendu.md 2026-01-06
affichant une intensité nulle malgré une consommation positive signalait une corruption logique du reporting initial (données
manquantes ou erreurs de calcul tiers).
Nous avons identifié une faille critique dans les données d'origine : de nombreuses lignes affichaient une consommation brute
strictement positive, alors que les variables normalisées météo (SiteEnergyUseWN, SiteEUIWN et SourceEUIWN) étaient
nulles ou manquantes. Physiquement, un bâtiment qui consomme de l'énergie ne peut pas avoir une consommation normalisée
nulle. Pour corriger ce biais qui aurait conduit à écarter injustement des bâtiments valides ou à fausser les moyennes, nous
avons forcé la copie de la valeur brute vers la variable normalisée dès que cette anomalie était détectée. Cette étape de
synchronisation garantit que l'impact climatique est neutralisé sans ignorer la réalité de la consommation énergétique mesurée.
Pour que nos calculs d'intensité soient fiables, nous avons dû déterminer s'il fallait diviser la consommation par la surface totale
de la parcelle ou par la surface brute du bâtiment . Nos tests ont conclu que seule la surface bâtie permet de retrouver
exactement les valeurs déclarées par la ville de Seattle. En isolant ainsi l'enveloppe thermique, nous évitons de diluer
artificiellement la consommation des bâtiments dotés de vastes parkings ou jardins. Ce choix nous permet de démasquer
l'inefficacité réelle des structures qui, autrement, auraient paru performantes grâce à l'étendue de leur terrain.
Ce choix de restaurer les valeurs normalisées nous a imposé de recalculer systématiquement les intensités énergétiques (EUI)
correspondantes pour maintenir une cohérence totale dans notre dataset. Nous ne pouvions pas nous contenter des ratios
déclarés, car ils ne reflétaient plus la réalité physique après notre intervention sur les consommations globales. En recalculant
nous-mêmes ces indicateurs, nous garantissons que chaque intensité repose sur les mêmes règles de calcul et sur les surfaces
bâties réelles.
Structure du tableau
Le tableau est organisé en colonnes distinctes permettant une traçabilité complète des opérations de nettoyage. La colonne
Ordre définit la séquence d'exécution des actions, garantissant que les dépendances entre transformations sont respectées. La
colonne Variable cible identifie précisément la ou les variables concernées par l'action. La colonne Action technique spécifie
l'opération concrète à implémenter dans le code. La colonne Justification méthodologique explicite le raisonnement analytique
qui sous-tend la décision. Enfin, la colonne Validation attendue précise les contrôles qualité à effectuer après exécution.
Section 0
Vérifier que
BuildingType ne
Filtrer et conserver
Le périmètre du projet est strictement contient plus aucune
uniquement les
limité aux bâtiments non résidentiels. des trois modalités
observations où
Les bâtiments résidentiels obéissent à résidentielles.
BuildingType est
des logiques de consommation Contrôler que la
différent de
énergétique structurellement dimension du
BuildingType et Multifamily MR (5-
1 différentes. Leur inclusion introduirait dataframe a diminué
PrimaryPropertyType 9), Multifamily HR
une hétérogénéité incompatible avec du nombre attendu de
(10+) et Multifamily
l'objectif de modélisation. Cette lignes résidentielles.
LR (1-4) et
restriction est conforme au cahier des Confirmer que toutes
PrimaryPropertyType
charges métier et assure la cohérence les modalités restantes
est vraiment non-
statistique des analyses ultérieures. correspondent bien à
residentiel
des usages non
résidentiels.
2 / 12
compte_rendu.md 2026-01-06
Section 2
Justification
Ordre Variable cible Action technique Validation attendue
méthodologique
3 / 12
compte_rendu.md 2026-01-06
Justification
Ordre Variable cible Action technique Validation attendue
méthodologique
Les variables de
consommation
énergétique et
d'émissions de gaz à
effet de serre ne
peuvent être négatives
par définition
physique. Une
consommation
négative violerait le Confirmer l'absence totale
premier principe de la de valeurs négatives dans
thermodynamique. Ces les quatre variables
valeurs traduisent des énergétiques critiques après
erreurs de saisie, des nettoyage. Contrôler que
problèmes de les distributions de ces
Supprimer toutes les lignes
SiteEnergyUse(kBtu), conversion d'unités ou variables ne présentent plus
présentant au moins une
TotalGHGEmissions, des corruptions de d'anomalies dans les
4 valeur strictement négative
Electricity(kBtu), données lors de queues de distribution
dans ces variables
NaturalGas(kBtu) l'export. Leur maintien négatives. Documenter
énergétiques
introduirait un biais précisément quelles
systématique dans variables étaient négatives
l'estimation des pour chaque ligne
distributions et supprimée afin d'identifier
pourrait conduire le d'éventuels patterns
modèle à apprendre systématiques d'erreur.
des patterns aberrants.
Une seule variable
négative suffit à
invalider l'ensemble de
l'observation car elle
signale une défaillance
globale du processus
de reporting pour ce
bâtiment.
4 / 12
compte_rendu.md 2026-01-06
Justification
Ordre Variable cible Action technique Validation attendue
méthodologique
5 / 12
compte_rendu.md 2026-01-06
Justification
Ordre Variable cible Action technique Validation attendue
méthodologique
L'analyse qualitative de
seize bâtiments
déclarant zéro étage a
révélé deux
populations distinctes.
D'une part, des
structures individuelles
massives comme le
Grand Hyatt Seattle ou
le centre commercial
Pacific Place, pour
lesquelles le zéro
constitue
manifestement une
Vérifier que
erreur de saisie ou une
IsZeroFloorReported
omission lors du
contient exactement le
reporting. D'autre part,
nombre de 1 correspondant
des entités agrégées
au nombre initial de
Créer une variable binaire de type Campus
bâtiments avec
IsZeroFloorReported valant comme l'University of
NumberofFloors inférieur
1 si NumberofFloors était Washington, pour
ou égal à zéro. Contrôler
initialement inférieur ou lesquelles le concept
que IsAggregatedCampus
6 NumberofFloors égal à zéro et 0 sinon, puis d'étage perd son sens
identifie correctement tous
créer une variable binaire car il s'agit d'un
les bâtiments de type
IsAggregatedCampus valant ensemble de
Campus. Valider que ces
1 si BuildingType est égal à bâtiments distincts. La
variables sont créées avant
Campus et 0 sinon création de ces deux
toute modification de la
flags permet de
variable NumberofFloors
préserver cette
elle-même. S'assurer que
information
les deux flags sont de type
structurelle tout en
binaire strict.
facilitant le traitement
différencié ultérieur. Le
flag
IsZeroFloorReported
servira d'indicateur de
confiance pour les
futures imputations,
tandis que
IsAggregatedCampus
permettra au modèle
de distinguer les
agrégats multi-
bâtiments des
structures uniques.
6 / 12
compte_rendu.md 2026-01-06
Justification
Ordre Variable cible Action technique Validation attendue
méthodologique
7 / 12
compte_rendu.md 2026-01-06
Justification
Ordre Variable cible Action technique Validation attendue
méthodologique
La correction des
consommations
Weather Normalized
rend les intensités
d'origine caduques. Le Confirmer que le
recalcul est dénominateur utilisé exclut
indispensable pour les surfaces hors-bâti pour
restaurer la cohérence maintenir la précision
Recalculer les intensités déterministe entre mathématique du ratio.
énergétiques en divisant les l'énergie et la surface. Vérifier l'absence de valeurs
consommations Le choix de infinies suite au recalcul et à
normalisées corrigées par PropertyGFABuilding(s) leur remplacement par
SiteEUIWN(kBtu/sf),
8 PropertyGFABuilding(s) comme dénominateur, NaN. Contrôler que la
SourceEUIWN(kBtu/sf)
(reviens au meme que de le validé par une MAE de corrélation entre les
faire uniquement pour les 0.00, garantit nouvelles intensités et les
batiments avec variables l'alignement strict avec émissions de CO2 est
WN modifié la méthodologie de renforcée. Valider la
Seattle. Cette mise en disparition des
conformité élimine le incohérences où l'énergie
biais induit par les est positive mais l'intensité
surfaces non chauffées nulle.
(parkings) et fiabilise la
détection ultérieure
des outliers de
performance.
8 / 12
compte_rendu.md 2026-01-06
Justification
Ordre Variable cible Action technique Validation attendue
méthodologique
Un ratio dépassant un
certain seuil signifie
que la surface déclarée
pour l'usage principal
Vérifier qu'aucune
excède la surface
observation ne présente un
totale du bâtiment de
ratio dépassant le seuil
manière inacceptable.
critique après suppression.
Cette incohérence
Calculer le nombre exact de
physique est jugée
lignes supprimées pour
irrémédiable et ne
cette raison et documenter
Calculer le ratio peut résulter d'une
leur répartition par
LargestPropertyUseTypeGFA simple imprécision de
PrimaryPropertyType.
divisé par PropertyGFATotal mesure. Conserver ces
LargestPropertyUseTypeGFA, Contrôler que les
9 puis supprimer toutes les observations fausserait
PropertyGFATotal distributions de
lignes où ce ratio est systématiquement le
LargestPropertyUseTypeGFA
strictement supérieur à une calcul de l'intensité
et PropertyGFATotal ne
valeur critique énergétique par unité
présentent plus de cas
de surface en sous-
extrêmes au-delà du seuil
estimant
critique. Valider que cette
artificiellement la
suppression est effectuée
consommation réelle.
avant tout calcul
Un dépassement au-
d'indicateurs énergétiques
delà du seuil introduit
dérivés.
un biais trop important
pour être compensé
par quelque méthode
statistique que ce soit.
9 / 12
compte_rendu.md 2026-01-06
Justification
Ordre Variable cible Action technique Validation attendue
méthodologique
La cohérence
énergétique constitue
un prérequis
fondamental pour la
validité des émissions
de CO2 calculées. La
municipalité de Seattle
applique des facteurs
d'émission spécifiques
Vérifier qu'aucune
à chaque source
observation ne présente un
d'énergie pour obtenir
écart énergétique supérieur
les émissions totales.
à dix pourcent après
Si la somme des
nettoyage. Documenter
sources énergétiques
précisément les bâtiments
détaillées ne
Calculer la somme des trois supprimés avec leurs écarts
correspond pas au
sources énergétiques, puis respectifs. Analyser la
total déclaré avec un
calculer l'écart relatif absolu distribution des écarts
écart supérieur à dix
Electricity(kBtu), entre cette somme et résiduels pour confirmer
pourcent, cela signale
NaturalGas(kBtu), SiteEnergyUseWN(kBtu), qu'ils restent dans des
10 soit une source
SteamUse(kBtu), enfin supprimer toutes les plages acceptables. Valider
d'énergie majeure
SiteEnergyUseWN(kBtu) lignes où cet écart relatif est que les observations
omise, soit une
strictement supérieur à 0.25 conservées présentent une
corruption des
(on évite de supprimer trop cohérence mathématique
données de
de batiments) entre sources et total.
conversion. Un écart
Contrôler que cette
de cette amplitude ne
suppression n'introduit pas
peut être attribué à de
de biais sectoriel en
simples arrondis lors
vérifiant la représentativité
des conversions
des types de bâtiments
d'unités. Conserver ces
restants.
observations
reviendrait à accepter
des valeurs de CO2
mathématiquement
corrompues, ce qui
viderait de sens
l'objectif même de
prédiction des
émissions.
Section 3
10 / 12
compte_rendu.md 2026-01-06
Validation
Ordre Variable cible Action technique Justification méthodologique
attendue
11 / 12
compte_rendu.md 2026-01-06
Validation
Ordre Variable cible Action technique Justification méthodologique
attendue
Supprimer
L'élimination des colonnes trop creuses Liste des colonnes
définitivement les
Colonnes permet de réduire la dimensionnalité supprimées
21 variables avec un taux
lacunaires inutile et de se concentrer sur les documentée dans
de vide prohibitif (ex:
variables ayant un fort pouvoir prédictif. l'audit.
Comments, 3rd Use)
12 / 12