0% ont trouvé ce document utile (0 vote)
106 vues41 pages

Automatisation des rapports de production poisson

Transféré par

HANAE BARAKA
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd
0% ont trouvé ce document utile (0 vote)
106 vues41 pages

Automatisation des rapports de production poisson

Transféré par

HANAE BARAKA
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

Stage d’application

Effectué au sein de l’Office National des Pêches

Thème :

Visualisation des données et Analyse de la production de poissons

Fait le : 15/09/2022

Elaboré par :
BARAKA Hanae
Encadré par :
M. LAAGUID Hicham
M. DANANE Jaouad

Année Universitaire : 2021/2022


Dédicace
À ma Mère;

"Tu m'as donné la vie, la tendresse et le courage pour réussir.

Tout ce que je peux t'offrir ne pourra exprimer l'amour et la

reconnaissance que je te porte.

En témoignage, je t'offre ce modeste travail pour te remercier

pour tes sacrifices et pour l'affection dont tu m'as toujours

entourée."

À mon Père;

"L'épaule solide, l’œil attentif compréhensif et la personne

la plus digne de mon estime et de mon respect.

Aucune dédicace ne saurait exprimer mes sentiments que Dieu

te préserve et te procure une bonne santé et une longue vie."

À mon frère Ayoub;

"Quoi que j’aie dit, je ne serais jamais reconnaissant de ses

efforts.

Je souhaite qu’Allah lui donne une longue vie et me permette

faire de lui le frère le plus heureux de cette planète."

Hanae Baraka

1
Remerciements

Je rends grâce à Dieu, le Tout-puissant pour toutes ses grâces et bénédictions


qu’il m’a donné d’être entouré de personnes attentionnées et présentes pour ma
modeste personne.

Je tiens à remercier particulièrement mon encadrant de stage M. LAAGUID


Hicham, Le directeur des systèmes d’information de l'Office National des Pêches
pour m’avoir accompagné durant ce mois de stage et pour tout ce qu’il m’a
apporté.

J’adresse également mes remerciements à mon encadrant académique M.


DANANE Jaouad, professeur à l’École Nationale des Sciences Appliquées de
Berrechid pour tous commentaires utiles, remarques et temps qu’il m'a accordés.

Je voudrais également remercier et témoigner toute ma reconnaissance à tout


le personnel du département Informatique de l’ONP qui m'a considérablement
soutenu durant cette période et qui m'a fait vivre une expérience enrichissante et
pleine d’intérêts. Ainsi qu’à toute personne de l'ONP avec qui j’ai pu échanger. Je
dis Merci pour votre sens de l’écoute, votre disponibilité et surtout votre humanité.

J’exprime ma profonde gratitude à toute ma famille et je décerne


particulièrement une mention spéciale à mes chers parents sans qui cet
accomplissement n’aurait pu se faire.

Eux qui m’ont apporté un soutien indéfectible et des encouragements continus


tout au long de mes années d'études et durant la rédaction de ce rapport.

Merci infiniment.

2
Résumé

Le présent rapport constitue le fruit de notre travail accompli dans le cadre du


Projet de Stage d'Application au sein de l’Office National des Pêches. L'objectif de ce
projet est la conception ainsi que la réalisation d'une solution d'informatique
décisionnelle.

Ce rapport décrit l’ensemble des étapes suivies lors de la réalisation d'un tableau
de bord analysant la production de poissons.

Le travail dans ce projet s'est déroulé comme suit : nous avons commencé par
analyser le besoin, nous avons passé à la conception de notre système décisionnel et nous
avons fini par la réalisation de notre tableau de bord.

Les technologies utilisées au cours de notre travail sont SSIS à travers Visual
Studio en tant qu’outils d'ETL et Power BI pour la visualisation des données ainsi que
SQL Server en tant que système de gestion de base de données.

Dans l’espérance d’être à la hauteur de vos attentes, nous vous souhaitons une
excellente lecture.

3
Abstract

This report is the result of our work completed as part of the Application Internship
Project within the National Fisheries Office. The aim of this project is to conceive and
realize a business intelligence solution.

This report describes all the steps taken in order to create a dashboard analyzing fish
production.

The work in this project went as follows: we started by analyzing the specification,
we moved on to the conception of our decision support system and we ended with the
realization of our dashboard.

The technologies used during our work are SSIS across Visual Studio as an ETL tool,
Power BI for the data visualization and SQL Server as a database management system.

In the hope of living up to your expectations, we wish you an excellent read.

4
‫ملخص‬

‫هذا التقرير هو نتيجة لعملنا المنجز في إطار مشروع التدريب للسنة الرابعة من سلك مهندسي دولة الذي‬
‫تم إنجازه في المكتب الوطني للصيد‪ .‬الهدف من هذا المشروع هو تقديم حل لتحليل البيانات باستخدام ذكاء األعمال‪.‬‬

‫يصف هذا التقرير جميع الخطوات المتخذة أثناء إنشاء لوحة معلومات البيانات تحلل إنتاج األسماك‪.‬‬

‫سار العمل في هذا المشروع على النحو التالي‪ :‬بدأنا بتحليل دفتر المواصفات‪ ،‬ومن تم تصميم نظام‬
‫القرارات وانتهى بنا األمر إلى إنتاج لوحة معلومات البيانات‪.‬‬

‫التقنيات المستخدمة في هذا المشروع هي ‪ SSIS‬كأداة استخراج وتحويل وتحميل البيانات‪Power BI ،‬‬
‫إلنتاج لوحة معلومات البيانات باإلضافة إلى ‪ SQL Server‬كنظام إلدارة قواعد البيانات‪.‬‬

‫على أمل أن يرقى هذا العمل مستوى توقعاتكم ‪ ،‬نتمنى لكم قراءة جيدة‪.‬‬

‫‪5‬‬
Abréviations et Acronymes
ETL : Extract Load Transform

GANTT : Generalized Activity Normalization Time Table

SSIS : Sql Server Integration Services

CSV : Comma Separated Values

SQL : Structured Query Language

SGBD : Système de Gestion de Base de Données

3FN : Trois Formes Normales

MS SQL : Microsoft Sql

DTS : Data Transformation Services

BI : Business Intelligence

DW : Data Warehouse

DM : Data Mart

OLAP : Online Analytical Processing

6
Liste des figures
Figure 1 : Organigramme de l’Office National des Pêches 14

Figure 2 : Diagramme de Gantt 16

Figure 3 : Architecture d’un système décisionnel 22

Figure 4 : Architecture de la chaîne décisionnelle 23

Figure 5 : Cube OLAP 31

7
Liste des tableaux
Tableau 1 : Planification de projet 15

Tableau 2 : Détail de cahier de charge 17

Tableau 3 : Fonctionnalités du tableau de bord 18

Tableau 4 : Outils utilisés 19

Tableau 5 : Les étapes d’un processus ETL 24

Tableau 6 : La description des dimensions 28

Tableau 7 : La description des mesures 29

8
Liste des captures
Capture 1 : Schéma d'entrepôt de données 30

Capture 2 : Capture de la base de données 30

Capture 3 : page de flux de contrôle 33

Capture 4 : Alimentation de la dimension méthode de production 34

Capture 5 : Alimentation de la dimension Année 34

Capture 6 : Alimentation de la dimension pays 35

Capture 7 : Alimentation de la table de fait 35

Capture 8 : Entrepôt de données 36

Capture 9 : Page numéro 1 de tableau de bord 36

Capture 10 : Page numéro 2 de tableau de bord 37

Capture 11 : Page numéro 3 de tableau de bord 37

Capture 12 : Page numéro 4 de tableau de bord 38

9
Sommaire
Chapitre 1 : Contexte général du projet : 12
1.1 Présentation de l’organisme d’accueil : 12
1.1.1 Missions : 12
1.1.2 Organisation : 13
1.2 Présentation du sujet : 14
1.3 Conduite de projet 15
1.3.1 Démarche : 15
1.3.2 Planning : 15
1.4 Conclusion : 16

Chapitre 2 : Spécifications des besoins : 17


2.1 Détail du cahier de charge : 17
2.2 Description fonctionnelle des besoins : 18
2.2.1 Données : 18
2.2.2 Fonctionnalités du tableau de bord : 18
2.3 Outils utilisés : 19
2.4 Conclusion : 20

Chapitre 3 : Généralité sur l’informatique décisionnel : 21


3.1 Le système décisionnel : 21
3.1.1 Définition de la business intelligence : 21
3.1.2 Architecture d’un système décisionnel : 22
3.1.3 Chaîne décisionnel : 23
3.2 ETL : 24
3.2.1 Définition : 24
3.2.2 Description de processus ETL : 24
3.3 Entrepôt de données : 25
3.3.1 Définition : 25
3.3.2 Construction d’un entrepôt de données : 26
3.3.3 Structure de données : 26
3.3.3 Le modèle OLAP : 27
3.4 Conclusion : 27

Chapitre 4 : conception de la solution : 28


4.1 Conception du modèle multidimensionnel : 28

10
4.1.1 Axes d'analyse : 28
4.1.2 Mesures : 29
4.1.3 Structure du datawarehouse : 30
4.2 Cube OLAP : 30
4.3 Conception ETL : 31
4.4 Conclusion : 32

Chapitre 5 : Réalisations : 33
5.1 Réalisation de la phase ETL : 33
5.1.1 Flux de contrôle : 33
5.1.2 Flux de données : Alimentation des dimensions : 34
5.1.3 Flux de données :Alimentation de la table des faits : 35
5.2 Restitution du tableau de bord : 36
5.2.1 Page 1 : Analyse de production : 36
5.2.2 Page 2 : Production halieutique et production aquaculture: 37
5.2.3 Page 3 : Capture de poissons en UK et Morue en Canada : 37
5.2.4 Page 4 : Analyse du secteur de la pêche au Maroc : 38
5.3 Conclusion : 38

Chapitre 6 : Conclusion générale : 39

11
Chapitre 1 : Contexte général du projet :

Dans la première section de ce chapitre, nous présenterons l'organisme d'accueil, à savoir l'Office
National des Pêches, ses missions et son organisation. La deuxième section donnera dans un
premier temps une description générale du projet et terminera par son objectif principal. La
dernière section étoffera la démarche et le planning adoptées pour mener à bien ce travail.

1.1 Présentation de l’organisme d’accueil :


L’Office National des Pêches (ONP) est un établissement public créé en 1969, qui a pour mission
le développement de la pêche côtière et artisanale et l’organisation de la commercialisation
des produits de la pêche maritime.

L’ONP a pour ambition d’être une entreprise publique de référence et un modèle d’entreprise
citoyenne, au service du développement et de l’accroissement de la compétitivité de la filière
pêche. Son action englobe :

● La promotion d’une politique d’intégration de la filière.

● La modernisation des outils de production.

● Le développement et l’encadrement de la pêche artisanale.

● L’organisation et la mise à niveau du réseau de commercialisation des produits de la


mer.

● La maîtrise de l’information commerciale.

● La promotion de la consommation interne du poisson.

Au cœur de la filière, l’ONP intervient dans tous les aspects de la création de valeur, depuis le
débarquement des produits de la pêche jusqu’à leur commercialisation.

L’ONP est placé sous la tutelle du Ministère de l’Agriculture, de la Pêche Maritime, du


Développement Rural et des Eaux et Forêts.

1.1.1 Missions :

L’une des missions principales de l’ONP est de développer et de moderniser le secteur de la


pêche côtière et artisanale. Cet axe stratégique consiste notamment à :

● Promouvoir une politique d’intégration de la filière.

12
● Développer et encadrer la pêche côtière et artisanale.

● Organiser et mettre à niveau le réseau de commercialisation des produits de la mer.

L’ONP s’est donné comme objectifs de :

● Mettre à niveau et moderniser la flotte de pêche côtière et artisanale.

● Encadrer la filière pêche côtière et artisanale, appuyer sa restructuration.

● Réguler et maîtriser l’effort de pêche pour une meilleure préservation de la ressource


dans le cadre d’un développement durable.

Le cœur de métier de l’ONP est l’organisation de la commercialisation des produits de la


pêche maritime afin de :

● Préserver la qualité et assurer une meilleure valorisation des produits de la pêche


transitant par les halles.

● Maximiser la célérité ainsi que la transparence des transactions et assurer la


traçabilité des produits.

● Renforcer et mettre à niveau les circuits de distribution.

● Favoriser une meilleure adéquation entre l’offre et la demande.

La mission de l’ONP consiste ainsi à :

● Moderniser les moyens de manutention.

● Gérer et organiser les marchés de vente en gros du poisson conformément aux


normes garantissant la salubrité et la qualité des produits.

● Agréer le poisson industriel.

● Maîtriser l’information commerciale.

● Promouvoir la consommation interne de poisson.

1.1.2 Organisation :

L’ONP compte près de 900 femmes et hommes qui exercent des métiers tournés vers l’activité de
la pêche. L’organisation de l’ONP s’articule autour de 3 Pôles :

● Le Pôle Exploitation et Animation Commerciale, qui gère la


commercialisation des produits de la mer à l’intérieur des infrastructures ainsi
que la gestion des ports de pêches.

13
● Le Pôle Infrastructures et Équipements, qui assure la réalisation des études, le
suivi de la construction des infrastructures ainsi que la maintenance des bâtiments
et des équipements.

● Le Pôle Support, qui regroupe les fonctions ressources humaines, achat,


finances, comptabilité et systèmes d’information.

L’Office dispose également d’une Direction Stratégie et Marketing ainsi que d’une Direction
Inspection Générale, qui sont directement rattachées à la Direction Générale.

Figure 1 : Organigramme de l’Office National des Pêches

1.2 Présentation du sujet :


Notre projet s'inscrit dans le cadre d'un projet de stage d'application en Business Intelligence
réalisé pour le compte de l'Office National des Pêches.

14
Ce projet est dédié aux responsables décisionnels de l'ONP, il s'agira d'assurer la préparation
des données dans la phase d'ETL et cela pour alimenter notre datawarehouse; ainsi qu'une
exploitation de ces données pour instaurer un système décisionnel de Reporting / Tableau de
bord.

En effet, notre contribution dans ce projet touche essentiellement au secteur de la pêche .À cet
effet, l'objectif majeur de notre tâche est de visualiser la production de poissons.

Ce projet consiste à la réalisation d’un tableau de bord expliquant la situation de la production


halieutique et la production aquaculture des poissons dans le monde entier ainsi que dans le
Maroc et durant le temps.

1.3 Conduite de projet

1.3.1 Démarche :

Afin d’atteindre les objectifs de ce projet il est tout d’abord nécessaire de mener une recherche
documentaire dans l’optique d’avoir une idée globale sur le secteur de la pêche avant de
pouvoir en venir au fait. S’ensuivra un apprentissage de certaines méthodologies de conception
d'entrepôt de données, d’extraction, de transformation, et de téléchargement de données.
Puis il sera question de choisir les meilleurs outils et technologies pour ce projet avant de passer
à la partie élaboration du tableau de bord ayant pour but d’offrir une analyse finale de la
production de poissons.

1.3.2 Planning :

La planification du projet est une phase importante d'avant-projet tout au long des phases
constituant la démarche de développement. Grâce aux réunions tenues avec les encadrants, nous
avons pu planifier dans le temps ces tâches.

Activités Durée Date début Date fin

Découverte de l’organisation 1 15/08/2022 15/08/2022

Compréhension du sujet 2 16/08/2022 17/08/2022

Formation Data Warehousing 1 18/08/2022 18/08/2022

Conception data warehouse 2 19/08/2022 21/08/2022

15
Formation ETL avec SSIS 5 21/08/2022 25/08/2022

Transformation des données 6 26/08/2022 02/09/2022

Élaboration du tableau de bord 5 05/09/2022 09/09/2022

Rédaction des analyses 4 12/09/2022 15/09/2022

Tableau 1 : Planification de projet

Le diagramme suivant, est un diagramme GANTT montrant la planification du projet :

Figure 2 : Diagramme de Gantt

1.4 Conclusion :
À travers ce premier chapitre, nous avons pu nous placer dans le contexte général de notre projet
en introduisant le domaine de l’application ainsi que le cadre du travail. Le chapitre suivant sera
dédié à la spécification des besoins.

16
Chapitre 2 : Spécifications des besoins :

Ce chapitre comprend deux parties essentielles. Dans la première section de ce chapitre, nous
intéresserons à l'élaboration de cahier charge, le contexte du projet, son périmètre, ainsi que les
besoins fonctionnels. La deuxième partie sera dédiée aux outils techniques utilisés dans ce projet.

2.1 Détail du cahier de charge :

Le détail La description

Contexte du projet ➢ Projet d’analyse de production afin de


mieux prendre les décisions.

Périmètre ➢ Ce tableau de bord sera identique pour


tous les responsables du département
Aide à la décision . Il est destiné au
pôle Support, plus précisément à la
direction des systèmes d’information.

But ➢ Le but principal de ce projet est de


valoriser, consolider, présenter les
informations disponibles à des fins de
compréhension, d’analyse et de
décision.

17
Le détail La description

Objectifs ➢ L’accélération et l’amélioration des


prises de décisions.

➢ l’optimisation des processus de


pêches.

➢ La prise d'avantage sur la production


de poissons dans les autres pays.

➢ L’identification des tendances du


marché au niveau des méthodologies
de production.

Tableau 2 : Détail de cahier de charge

2.2 Description fonctionnelle des besoins :

2.2.1 Données :

La solution exploite plusieurs sources de données en même temps . Ces sources sont des fichiers
texte CSV . La réalisation de ce tableau de bord nécessite un datawarehouse.

2.2.2 Fonctionnalités du tableau de bord :

Ce tableau de bord constitué des représentations graphiques comporte quatre pages . Chacune
de ces pages a une fonctionnalité.

Numéro de la page Fonctionnalité

1 Visualisation de la production de poisson


mondiale.

18
2 Visualisation de la production halieutique et la
production aquaculture.

3 Visualisation de capture de poisson en UK et


capture de Morue au Canada.

4 Visualisation du secteur de la pêche et la


production des poissons au Maroc.

Tableau 3 : Fonctionnalités du tableau de bord

2.3 Outils utilisés :

Outils Description

SQL Server Microsoft SQL Server est un système de


gestion de base de données (SGBD) en
langage SQL incorporant entre autres un
SGBDR (SGBD relationnel ») développé et
commercialisé par la société Microsoft.

SSIS SSIS est un outil d'extraction, de


transformation et de chargement de
données, ce que l'on appelle un ETL. On
extrait d'une source de données, puis suit la
transformation si besoin, pour ensuite injecter
ces données vers MS SQL Server ou encore
d'autres destinations.

19
SSIS est l'amélioration de la version 2005
d'un outil souvent plus connu, dans les
versions antérieures à 2005, sous le nom de
Data Transformation Services, soit DTS.

Visual Studio Microsoft Visual Studio est une suite de


logiciels de développement pour Windows et
Mac OS conçue par Microsoft.

Power BI Microsoft Power BI est une solution


d'analyse de données de Microsoft. Il permet
de créer des visualisations de données
personnalisées et interactives avec une
interface suffisamment simple pour que les
utilisateurs finaux créent leurs propres
rapports et tableaux de bord.

Tableau 4 : Outils utilisés

2.4 Conclusion :
Dans ce chapitre, j’ai décrit les principales technologies que j’ai utilisées pour mettre en place
notre solution . Dans ce cadre, j'explique aussi les détails à propos des fonctionnalités de chaque
page de notre tableau de bord . Dans le chapitre suivant, je vais décrire une partie théorique de la
solution informatique décisionnelle.

20
Chapitre 3 : Généralité sur l’informatique décisionnel :

Dans ce chapitre, nous exposerons toutes les parties théoriques de la Business Intelligence que
nous avons appliquées de manière pratique dans notre projet. Nous découvrirons ce qu’un
système décisionnel, un processus ETL et l’approche de conception d'un entrepôt de données.

3.1 Le système décisionnel :

3.1.1 Définition de la business intelligence :

“Terme générique qui englobe les applications, l’infrastructure, les outils et les meilleures
pratiques permettant l’accès et l’analyse de l’information afin d’améliorer et d’optimiser les
décisions et les performances.”

Source : Gartner

“Un ensemble de solutions informatiques permettant l’analyse des données de l’entreprise, afin
d’en dégager les informations qualitatives nouvelles qui vont fonder des décisions, qu’elles
soient tactiques ou stratégiques.”

Source : Smile (Open Source Solutions)

L’informatique décisionnelle est l'informatique à l'usage des décideurs et des dirigeants


d'entreprises. Elle désigne les moyens, les outils et les méthodes qui permettent de collecter,
consolider, modéliser et restituer les données, matérielles ou immatérielles, d'une entreprise en
vue d'offrir une aide à la décision et de permettre à un décideur d’avoir une vue d’ensemble
de l’activité traitée.

L’informatique décisionnelle s’insère dans l’architecture plus large d’un système d'information,
mais n'est pas un concept concurrent du management du système d'information. Au même titre
que le management relève de la sociologie et de l'économie, la gestion par l'informatique est
constitutive de deux domaines radicalement différents (le management et l'informatique). Afin
d'enrichir le concept avec ces deux modes de pensées, il est possible d'envisager un versant
orienté ingénierie de l'informatique portant le nom d'informatique décisionnelle, et un autre
versant servant plus particulièrement les approches de gestion appelé management du système
d'information.

21
3.1.2 Architecture d’un système décisionnel :

Figure 3 : Architecture d’un système décisionnel

➢ Les données opérationnelles sont extraites périodiquement de sources hétérogènes:


fichiers plats, fichiers Excel, base de données , service web, données massives et
stockées dans un entrepôt de données.

➢ Les données sont restructurées, enrichies, agrégées, reformatées, nomenclaturées


pour être présentées à l'utilisateur sous une forme sémantique qui permet aux décideurs
d’interagir avec les données sans avoir à connaître leur structure de stockage physique,
de schémas en étoile qui permettent de répartir les faits et mesures selon des dimensions
hiérarchisées, de rapports pré-préparés paramétrables, de tableaux de bords plus
synthétiques et interactifs.

➢ Ces données sont livrées aux divers domaines fonctionnels (direction stratégique, finance,
production, comptabilité, ressources humaines, etc.) à travers un système de sécurité ou
de datamart spécialisés à des fins de consultations, d'analyse, des alertes prédéfinies,
d'exploration de données, etc.

3.1.3 Chaîne décisionnel :

Un projet du système décisionnel se structure selon quatre grands axes :

➢ Étude des besoins et de l'existant

○ Étude des besoins utilisateurs

22
○ Étude des données existantes

➢ Modélisation et conception

○ Modélisation dimensionnelle

○ Architecture technique

○ Spécification des outils d'exploitation

➢ Implémentation du data warehouse

○ Implémentation du DW et des DM

○ Mise en place de l'ETL

➢ Implémentation des outils d'exploitation

○ Implémentation des outils de reporting

○ Implémentation des outils d'exploration

○ Implémentation des outils de prédiction

Figure 4 : Architecture de la chaîne décisionnelle

3.2 ETL :

3.2.1 Définition :

23
Les outils ETL permettent de récupérer les données quelles que soient leurs sources et les
systèmes qui les supportent, d’automatiser et d’industrialiser le processus d’alimentation, de
faciliter la maintenance des données et de limiter les développements spécifiques. Ces outils
permettent de construire, de mettre à jour et de maintenir le dictionnaire de métadonnées. Une
métadonnée représente une donnée sur une donnée. Le dictionnaire des métadonnées est le
référentiel du système d’information décisionnel.

Les ETL (extract-transform-load) sont les outils pour manipuler les données, comme pour la
construction et l'alimentation des datawarehouse (entrepôts de données).

3.2.2 Description de processus ETL :

Les ETL open source permettent d'effectuer un grand nombre de traitements pour l'extraction,
la transformation et le chargement de données, ceci depuis ou vers un grand nombre de
systèmes :

Etapes Description

Extraction ● Extraction et chargement de données


en provenance de nombreux SGBD.

● Extraction et alimentation de fichiers


plats dont la longueur d'un
enregistrement est fixe.

● Extraction et chargement dans des


progiciels spécifiques.

Transformation ● Validation et nettoyage de données.

● Dédoublonnage de lignes, contrôles et


routages de flux.

● Transtypage, ajouts de champs


calculés et de constantes, mapping,
normalisation et dénormalisation.

24
Chargement ● Fonction de recherche (lookup)
d'informations additionnelles
permettant par exemple la jointure
entre deux SGBD différents.

● Fonctions décisionnelles : Slowly


Changing Dimension, lecture de cubes
OLAP , agrégations.

● Fonctionnalités de récupération et
d’envoi de fichiers.

Tableau 5 : Les étapes d’un processus ETL

3.3 Entrepôt de données :

3.3.1 Définition :

Un entrepôt de données est une base de données regroupant une partie ou l'ensemble des
données fonctionnelles d'une entreprise. Il entre dans le cadre de l'informatique décisionnelle ;
son but est de fournir un ensemble de données servant de référence unique, utilisée pour la
prise de décisions dans l'entreprise par le biais de statistiques et de rapports réalisés via des
outils de reporting. D'un point de vue technique, il sert surtout à 'délester' les bases de données
opérationnelles des requêtes pouvant nuire à leurs performances.

3.3.2 Construction d’un entrepôt de données :

Il existe trois méthodes pour regrouper tous les éléments afin de mettre en œuvre un entrepôt de
données, qui sont les suivantes :

• Top-Down : c'est la méthode la plus complexe et la plus contraignante mais aussi la plus
complète. Cette méthode implique un travail rigoureux: il est important de connaître à l'avance
toutes les dimensions et tous les faits de l'entreprise afin de les réaliser. L’avantage que cette
méthode est qu'elle offre une vision très claire et très conceptuelle des informations de
l'entreprise mais également du travail à fournir.

25
• Bottom-Up : Cette méthode est le contraire de la méthode précédente. Elle a pour but de créer
les étoiles une par une, puis les regrouper par des niveaux intermédiaires afin d’obtenir un
entrepôt de données sous forme pyramidale. La simplicité de cette méthode est un vrai avantage
pour les utilisateurs. Cependant, cette méthode demande un volume de travail d’intégration
important afin d’obtenir un entrepôt de données avec la possibilité de répétitions entre les étoiles.

• Middle-Out : Cette méthode est conseillée pour les professionnels du BI. Elle consiste à
réaliser la conception totale de l'entrepôt de données, ainsi que de créer des divisions plus petites
et plus simples à gérer. Cela correspond à découper la conception par éléments en commun et
réaliser les découpages un par un.

3.3.3 Structure de données :

L'entrepôt de données a une structure de données qui peut en général être représentée par un
modèle de données normalisé 3FN pour les données de détail et/ou en étoile ou en flocon pour
les données agrégées et ce dans un SGBD relationnel (notamment lorsqu'il s'agit de données
élémentaires ou unitaires non agrégées). La traduction technique de ce modèle se fait souvent au
sein d'un cube OLAP.

L'entrepôt de données est conçu pour contenir les données en adéquation avec les besoins de
l’organisation, et répondre de manière centralisée à tous les utilisateurs. Il n’existe donc pas de
règle unique en matière de stockage ou de modélisation.

Ainsi, ces données peuvent donc être conservées :

● Sous forme élémentaire et détaillée si la volumétrie le permet. Les données


élémentaires présentent des avantages évidents (profondeur et niveau de détail,
possibilité d'appliquer de nouveaux axes d'analyse et même de revenir a posteriori sur
le « passé ») mais représentent un plus grand volume et nécessitent donc des matériels
plus performants.

● Sous forme agrégée selon les axes ou dimensions d'analyse prévus (mais ces
agrégations sont plutôt réalisées dans les datamarts que dans les entrepôts de données
proprement dits). Les données agrégées présentent d'autres avantages (facilité
d'analyse, rapidité d'accès, moindre volume). Par contre, il est impossible de retrouver
le détail et la profondeur des indicateurs une fois ceux-ci agrégés : on prend le risque
de figer les données selon une certaine vue avec les axes d'agrégation retenus, et de ne
plus pouvoir revenir sur ces critères si l'on n'a pas conservé le détail.

3.3.3 Le modèle OLAP :

26
Le modèle OLAP est une représentation logique des données, qui travaille sur des agrégats
suivant plusieurs dimensions. Il s´agit d´une modélisation sur n dimensions, sous forme d´un
[Link] données sont structurées suivant plusieurs axes d'analyse, comme le temps, la
localisation. Une cellule est l'intersection des différentes dimensions. Le calcul de chaque
cellule est réalisé au chargement du modèle, afin d´assurer des temps de réponse stables.

3.4 Conclusion :
Dans ce chapitre, j’ai exposé théoriquement tous les concepts que j’ai utilisés pour réaliser ce
projet, ce qui est une étape essentielle avant d’entrer dans les processus pratiques qui peuvent
nous servir à atteindre les exigences fonctionnelles mentionnées dans le chapitre des
spécifications. Le prochain chapitre contiendra donc la conception de notre datawarehouse ainsi
que la conception ETL.

27
Chapitre 4 : conception de la solution :

Dans ce chapitre, on va entamer la partie la plus critique de notre projet, c’est la conception. En
premier lieu nous commencerons par définir les axes d’analyse, les mesures et le schéma de
notre datawarehouse. Dans la deuxième partie, nous détaillerons la démarche ETL .

4.1 Conception du modèle multidimensionnel :

4.1.1 Axes d'analyse :

En fonction des besoins d'analyse et après une étude des sources de données, alors on a conclu
que les données pertinentes requises pour les analyses cibles vont être extraites pour constituer
les dimensions suivantes :

Nom de la dimension Définition

l’année Détermine la période de production

L’entité ou Pays Détermine la région de production

Type de production Détermine le type de production ( Halieutique


ou Aquaculture )

Tableau 6 : La description des dimensions

4.1.2 Mesures :

Les mesures ou les indicateurs recensés dans l'ensemble des analyses à considérer, se présentent
comme suivent :

28
Mesure Description

Production Totale La quantité de production halieutique + la


quantité de production aquaculture en tonnes

Production aquaculture La quantité de production aquaculture en


tonnes

Production Halieutique La quantité de production halieutique en


tonnes

Morue La quantité de production de l'espèce Morue

Débarquements La quantité de production par la technique du


débarquement

Tableau 7 : La description des mesures

4.1.3 Structure du datawarehouse :

Nous avons choisi pour la réalisation du datawarehouse le modèle en étoile, constitué d'une
table de fait et 3 tables de dimensions. La table de faits est constituée des clés primaires de
chaque table de dimension, plus les entités mesurables.

29
Capture 1 : Schéma d'entrepôt de données

Capture 2 : Capture de la base de données

4.2 Cube OLAP :


Un cube OLAP est une méthode de stockage de données sous forme multidimensionnelle,
généralement à des fins de génération de rapports.

30
Dans les cubes OLAP, les données (ou mesures) sont classées par dimensions. Les cubes OLAP
sont souvent pré-synthétisés entre les dimensions, ceci afin d'accélérer considérablement
l'interrogation par rapport aux bases de données relationnelles.

Figure 5 : Cube OLAP

4.3 Conception ETL :


Dans cette partie je vais décrire les étapes de la conception ETL en général :

➢ Étape 1 : Extraction

L'objectif d'ETL est de produire des données propres, faciles d'accès et qui peuvent être
exploitées efficacement par l'analytique. Les données brutes peuvent être extraites de différentes
sources, en particulier :

● Bases de données existantes

● Logs d'activité

● Comportement, performances et anomalies des applications

● Événements de sécurité

● Autres opérations qui doivent être décrites aux fins de conformité

➢ Étape 2 : Transformation

L'étape de transformation du processus ETL est celle des opérations les plus essentielles.
L'opération la plus importante de l'étape de transformation consiste à appliquer aux données
brutes les règles internes de l'entreprise de manière à répondre aux exigences en matière de
reporting : les données brutes sont nettoyées et converties aux formats de rapport qui
conviennent.

31
La transformation applique les règles définies en interne. Les normes qui garantissent la qualité
des données et leur accessibilité doivent tenir compte des pratiques suivantes :

● Standardisation - Définir les données à traiter, leur format et leur mode de


stockage ainsi que d'autres considérations de base qui définissent les étapes qui
suivent.

● Déduplication – Transmettre un rapport sur les doublons aux personnes en charge


de la gouvernance des données ; exclure et/ou supprimer les données redondantes.

● Vérification – Effectuer des vérifications automatisées pour comparer des données


similaires telles que la durée de transaction ou le suivi des accès. Les tâches de
vérification permettent d'éliminer les données inutilisables et de signaler les
anomalies des systèmes, des applications ou des données.

● Tri - Maximiser l'efficacité des data warehouses en regroupant et stockant les


objets par catégorie (données brutes, données audio, mails, etc.). Vos règles de
transformation ETL conditionnent la catégorisation de chaque objet et sa prochaine
destination. Le processus ETL est parfois utilisé pour générer des tables
d'agrégation qui sont ensuite proposées dans des rapports de base ; dans ce cas,
vous devez trier puis agréger les données.

● Autres tâches – Tâches dont vous avez besoin et que vous définissez et paramétrez
de telle sorte qu'elles s'exécutent en mode automatique.

Ces opérations transforment des volumes considérables de données inutilisables en données


nettoyées que vous pouvez présenter à la dernière étape du processus ETL, la phase de
chargement.

➢ Étape 3 : Chargement

La dernière étape du processus ETL standard consiste à charger les données extraites et
transformées dans leur nouvel emplacement. En général, les data warehouses supportent deux
modes pour le chargement des données : chargement complet et chargement incrémentiel.

4.4 Conclusion :

Dans ce chapitre, nous avons vu la conception de notre système décisionnel et la démarche


classique d’un processus ETL. Le chapitre suivant sera dédié pour la réalisation de la phase ETL
ainsi que la représentation graphique du tableau de bord.

32
Chapitre 5 : Réalisations :

Dans ce chapitre, nous montrerons ce que nous avons réalisé dans ce projet. Le chapitre
commencera par étoffer les différentes étapes de la phase “Extract, Load and Transform” et
terminera par expliquer la production de poisson avec une visualisation en tableau de bord en 4
pages.

5.1 Réalisation de la phase ETL :


Un package SSIS Microsoft sert à traiter des données. Dans un package SSIS, les notions les
plus importantes sont les flux de contrôle et les flux de données.

5.1.1 Flux de contrôle :

Le Control Flow ou flux de contrôle permet de contrôler, d'ordonner et dissocier les tâches à
réaliser par le package.

Capture 3 : page de flux de contrôle

5.1.2 Flux de données : Alimentation des dimensions :

33
Le Data Flow ou flux de données : permet de contrôler, d'ordonner et dissocier les flux de
données à traiter. C'est à cette étape que la sélection, la transformation et l'insertion des données
sont réalisées.

➢ Alimentation de la dimension méthode de production :

Capture 4 : Alimentation de la dimension méthode de production

➢ Alimentation de la dimension Année :

Capture 5 : Alimentation de la dimension Année

34
➢ Alimentation de la dimension pays :

Capture 6 : Alimentation de la dimension pays

5.1.3 Flux de données :Alimentation de la table des faits :

Capture 7 : Alimentation de la table de fait

5.2 Restitution du tableau de bord :


Dans ce qui suit, nous allons présenter la restitution des différentes pages de notre tableau de
bord.

35
Capture 8 : Entrepôt de données

5.2.1 Page 1 : Analyse de production :

Capture 9 : Page numéro 1 de tableau de bord

5.2.2 Page 2 : Production halieutique et production aquaculture:

36
Capture 10 : Page numéro 2 de tableau de bord

5.2.3 Page 3 : Capture de poissons en UK et Morue en Canada :

Capture 11 : Page numéro 3 de tableau de bord

5.2.4 Page 4 : Analyse du secteur de la pêche au Maroc :

37
Capture 12 : Page numéro 4 de tableau de bord

5.3 Conclusion :
Dans ce chapitre, nous avons présenté discrètement les résultats de ce projet. Et à travers la
réalisation du projet, nous avons traversé l’étape de conception, ce qui nous permet de maintenir
toutes les parties théoriques.

38
Chapitre 6 : Conclusion générale :
Pour conclure , notre stage au cours de ce mois, m’a permis de voir l’aspect arrière-plan de
l'informatique décisionnel et comment la rendre utile pour l’environnement de l'organisme et
aussi, j'ai appris que le rôle d'un ingénieur BI est de transformer la donnée à une sagesse, pour la
rendre applicable et pratique.

Finalement, c'était une occasion de découvrir et maîtriser les méthodes et les outils de Business
Intelligence.

39
Références
Bibliographie

Data Visualisation, De l'extraction des données à leur représentation graphique, de Nathan Yau

Webographie

Business Intelligence and Data Warehousing - Data Warehouse Concepts - DataFlair


([Link])

Get started with Power BI Desktop - Power BI | Microsoft Docs

Free ETL Tutorial - Learn ETL using SSIS | Udemy

40

Vous aimerez peut-être aussi