Scribd
Importer
3 vues1 page

Processus ETL et création de Datamart

Le document décrit un processus ETL pour la création d'une table de staging, incluant le chargement de fichiers et la détection de pays et régions via la bibliothèque geoip2. Il précise également l'élimination des transactions spécifiques et la création de tables pour un datamart, avec des références à des codes SQL et Python dans un fichier externe. Les transactions non géolocalisables sont marquées comme 'Inconnu' et celles liées à Uptime-Kuma sont filtrées.

Transféré par

hans tankeu
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd
3 vues1 page

Processus ETL et création de Datamart

Le document décrit un processus ETL pour la création d'une table de staging, incluant le chargement de fichiers et la détection de pays et régions via la bibliothèque geoip2. Il précise également l'élimination des transactions spécifiques et la création de tables pour un datamart, avec des références à des codes SQL et Python dans un fichier externe. Les transactions non géolocalisables sont marquées comme 'Inconnu' et celles liées à Uptime-Kuma sont filtrées.

Transféré par

hans tankeu
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

Partie I : ETL

1. Création de la table de staging


SQL :

Voir le Code dans Code0 du fichier [Link]

2. Chargement des fichiers


PYTHON :

Voir le Code dans Code1 du fichier [Link]

3. Détection du pays et de la région

▪ La bibliothèque geoip2 est utilisée pour détecter le pays et la région d'origine


de chaque transaction en fonction de l'adresse IP.
▪ Si l'adresse IP ne peut pas être géolocalisée, les valeurs "Inconnu" sont
attribuées aux champs country_name et region_name.

4. Elimination des transactions Uptime-Kuma

▪ Les transactions dont l'URI commence par /kuma sont filtrées et non chargées
dans la table de staging.

Partie II : Datamart
1. Création des tables du datamart

SQL

Voir le Code dans Code2 du fichier [Link]

2. Chargement des tables du datamart


SQL
Voir le Code dans Code3 du fichier [Link]

Vous aimerez peut-être aussi