0% ont trouvé ce document utile (0 vote)
4 vues7 pages

Dataportal Ins TN

Le document décrit un processus en plusieurs étapes pour analyser les besoins d'une association et concevoir un entrepôt de données pour l'analyse dans Power BI. Il couvre l'analyse des besoins, la création d'une zone de stockage temporaire, l'automatisation des processus ETL, la conception du Data Warehouse, la définition des KPI, la création d'un tableau de bord Power BI et la préparation d'un rapport final. Des outils comme SQL Server, SSIS, et Power BI sont utilisés tout au long du processus.

Transféré par

OtAkU GM
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats DOCX, PDF, TXT ou lisez en ligne sur Scribd
0% ont trouvé ce document utile (0 vote)
4 vues7 pages

Dataportal Ins TN

Le document décrit un processus en plusieurs étapes pour analyser les besoins d'une association et concevoir un entrepôt de données pour l'analyse dans Power BI. Il couvre l'analyse des besoins, la création d'une zone de stockage temporaire, l'automatisation des processus ETL, la conception du Data Warehouse, la définition des KPI, la création d'un tableau de bord Power BI et la préparation d'un rapport final. Des outils comme SQL Server, SSIS, et Power BI sont utilisés tout au long du processus.

Transféré par

OtAkU GM
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats DOCX, PDF, TXT ou lisez en ligne sur Scribd

Étape 1 — Analyse des besoins & modélisation

multidimensionnelle

🎯 Objectif

Définir les besoins de l’association et concevoir la structure de l’entrepôt


de données (Data Warehouse) qui servira à l’analyse dans Power BI.

🔧 Outils

 Microsoft Word / [Link] / Lucidchart : pour la documentation et


le schéma conceptuel (étoile/flocon).

 INS Data Portal ([Link]) : pour examiner les indicateurs


disponibles et les formats des données (CSV, JSON).

 Kimball Methodology : méthode de conception dimensionnelle


(star schema).

⚙️Processus

1. Identifier les besoins fonctionnels

o Éducation : taux de scolarisation par gouvernorat, district,


genre, milieu, niveau.

o Emploi : taux de chômage par région, secteur, âge.

o Migration : nombre de migrants par motif et gouvernorat.

2. Définir les besoins non fonctionnels

o Performance, sécurité, fiabilité, fréquence d’actualisation.

3. Identifier les tables de faits et de dimensions

o Faits : fact_education, fact_employment, fact_migration

o Dimensions : dim_date, dim_gouvernorat, dim_delegation,


dim_genre, dim_milieu, dim_age, dim_secteur,
dim_niveau_instruction, dim_motif.

4. Définir les mesures (KPI bruts)

o Exemple : enrollment_rate, unemployment_rate,


migrant_count.

5. Dessiner le schéma en étoile

o Utiliser [Link] ou Lucidchart pour illustrer la relation entre


les faits et dimensions.
💾 Étape 2 — Création de la zone de stockage temporaire (Staging
Area)

🎯 Objectif

Préparer un espace temporaire pour stocker les données brutes extraites


du portail INS avant leur transformation et intégration dans le Data
Warehouse.

🔧 Outils

 Microsoft SQL Server Management Studio (SSMS)

 SQL Server Database Engine

 Fichiers CSV / JSON du site INS

⚙️Processus

1. Créer une nouvelle base de données INS_DW dans SSMS.

2. Créer deux schémas :

o staging : pour les données brutes.

o dw : pour les données nettoyées et prêtes à l’analyse.

3. Importer manuellement un premier échantillon CSV du


portail INS pour test.

4. Créer les tables staging (ex. staging.raw_education,


staging.raw_employment, staging.raw_migration).

CREATE SCHEMA staging;

CREATE TABLE staging.raw_education (

id INT IDENTITY PRIMARY KEY,

year INT,

gouvernorat NVARCHAR(100),

genre NVARCHAR(10),

milieu NVARCHAR(10),

niveau NVARCHAR(50),

value FLOAT

);

🔄 Étape 3 — Alimentation automatique avec SSIS (ETL)


🎯 Objectif

Automatiser l’extraction, la transformation et le chargement (ETL) des


données depuis le site INS vers le Data Warehouse.

🔧 Outils

 SQL Server Integration Services (SSIS)

 INS Data Portal ([Link]

 Visual Studio avec Integration Services Project

⚙️Processus

1. Créer un projet SSIS dans Visual Studio :

o Type de projet : Integration Services Project.

2. Configurer les connexions :

o Source : HTTP/CSV/JSON (selon format INS).

o Destination : SQL Server → staging tables.

3. Data Flow Tasks :

o Extraction (E) : récupérer les données depuis le portail INS


(via API ou export CSV).

o Transformation (T) :

 Nettoyer les colonnes (noms, types, valeurs


manquantes).

 Convertir les données en formats compatibles (dates,


floats).

 Mapper les libellés en ID pour les dimensions.

o Chargement (L) : insérer les données nettoyées dans les


tables du schéma dw.

4. Contrôle de qualité : ajouter un composant Row Count et Data


Viewer pour vérifier les flux.

5. Planification automatique :

o Déployer le package sur le SQL Server Agent pour exécution


quotidienne.

Étape 4 — Conception et alimentation du Data Warehouse


🎯 Objectif

Structurer les données nettoyées dans un modèle dimensionnel (étoile)


pour l’analyse.

🔧 Outils

 Microsoft SQL Server Management Studio (SSMS)

 SQL Scripts

 SSIS (pour charger les faits et dimensions)

⚙️Processus

1. Créer les tables de dimensions et de faits dans le schéma dw.

2. Charger les dimensions d’abord (avec SSIS ou requêtes SQL).


Exemple :

3. INSERT INTO dw.dim_genre (label) VALUES ('Homme'), ('Femme');

4. Créer les tables de faits et charger les mesures calculées :

5. CREATE TABLE dw.fact_employment (

6. id BIGINT IDENTITY PRIMARY KEY,

7. date_key INT,

8. gouvernorat_id INT,

9. secteur_id INT,

10. genre_id INT,

11. unemployed_count INT,

12. labor_force INT,

13. unemployment_rate AS (CAST(unemployed_count AS


FLOAT)/labor_force*100)

14. );

15. Créer les relations (FK) entre faits et dimensions.

16. Indexer les colonnes clés pour améliorer la performance


Power BI.

📊 Étape 5 — Définition des KPI (indicateurs clés)

🎯 Objectif
Identifier les mesures stratégiques à suivre pour chaque domaine.

🔧 Outils

 Excel / Word (pour définir les formules avant Power BI)

 Power BI (DAX) pour implémenter les KPI visuels.

⚙️Processus

1. Lister les KPI par domaine :

o Éducation : taux de scolarisation, taux d’abandon, répartition


par niveau.

o Emploi : taux de chômage, taux d’emploi des jeunes.

o Migration : total migrants, top 5 motifs.

2. Définir la formule de chaque KPI.


Exemple DAX dans Power BI :

3. TauxChomage =
DIVIDE(SUM(fact_employment[unemployed_count]),
SUM(fact_employment[labor_force])) * 100

4. Fixer les seuils de couleur (vert/orange/rouge) pour les visuels


KPI.

📈 Étape 6 — Conception du Tableau de Bord Power BI

🎯 Objectif

Créer une interface interactive et visuelle pour la prise de décision.

🔧 Outils

 Microsoft Power BI Desktop

 Connexion : SQL Server (entrepôt de données dw)

⚙️Processus

1. Se connecter à SQL Server → base INS_DW → schéma dw.

2. Importer les tables de faits et de dimensions.

3. Créer les relations automatiques (Power BI détecte les FK/PK).

4. Créer les visuels :

o Carte choroplèthe (gouvernorat/délégation).

o Graphiques en barres (genre, niveau, secteur).


o Indicateurs KPI.

o Segments de filtrage (année, district, genre).

5. Ajouter des filtres interactifs et drill-downs.

6. Publier sur Power BI Service pour partage ou intégration web.

🧾 Étape 7 — Rapport et présentation

🎯 Objectif

Documenter tout le processus et présenter les résultats à l’oral.

🔧 Outils

 Microsoft Word (rapport écrit)

 PowerPoint (présentation orale)

 Power BI (capture du tableau de bord final)

⚙️Processus

1. Rédiger le rapport :

o Introduction (contexte et objectifs)

o Modélisation (schéma en étoile)

o Description du processus ETL (SSIS)

o Dictionnaire de données

o Captures Power BI

o Analyse des résultats et recommandations

2. Préparer la présentation PowerPoint (10–15 diapositives max) :

o Contexte du projet

o Architecture globale

o Démo Power BI

o Interprétation des KPIs

3. Répéter la présentation orale (10 minutes max par groupe).

🔗 Sources officielles et documentations (consultables)


 Portail officiel INS Tunisie – Data Portal :
[Link]

 Documentation Power BI (KPI visuals, Data Modelling) :


[Link]

 SQL Server Integration Services (SSIS) :


[Link]

 Méthodologie Kimball (Data Warehouse) :


[Link]

Vous aimerez peut-être aussi