Introduction à l'Informatique Décisionnelle
Introduction à l'Informatique Décisionnelle
Activité
Travaux dirigés pour l’élaboration de modèles d’entrepôt de
données et l’exploration multidimensionnelle (OLAP)
Volume horaire
15h Cours + 6h TDs avec potentiellement des TPs (on avisera)
2
Introduction au Business Inteligence 2021-2022
• Contextes économique et informationnel actuel
• Pilotage de l'entreprise et BI
• Définition du BI et objectifs
• Historique du BI
• Problématique du BI
• Processus BI et métiers
• Domaines d’application
3
Introduction au Business Inteligence 2021-2022
Contexte économique :
• Mondialisation de l'économie, ouverture de nouveaux marchés
• Concurrence toujours plus accrue
• Besoin dʼinformations pour prises de décisions de plus en plus rapides
Contexte informationnel :
• Décentralisation des données vers les utilisateurs
• Difficulté d'accès à l'information qui est en trop grande quantité
• Un enjeu stratégique d'entreprise : Les informations, une source de
revenu et de compétitivité
Contexte informatique :
• Puissance de calcul croissante
• Capacité de stockage croissante
• Bases de données de plus en plus importantes
• SGBD de plus en plus performants (parallélisme, …)
• Ouverture sur le Web, Cloud etc…
4
Introduction au Business Inteligence 2021-2022
• Contextes économique et informationnel actuel
• Pilotage de l'entreprise et BI
• Définition du BI et objectifs
• Historique du BI
• Problématique du BI
• Processus BI et métiers
• Domaines d’application
5
Introduction au Business Inteligence 2021-2022
Le pilotage d'une entreprise dépend de ses objectifs stratégiques
Ce pilotage doit prendre en considération :
• Une organisation de plus en plus orientée clients
• Des cycles conception/fabrication de plus en plus courts
• De nouveau canaux de distribution notamment les ventes en ligne
• L'exigence d'internationalisation (qualité produit, conformité aux
normes ISO etc)
6
Introduction au Business Inteligence 2021-2022
Etude IDC - Microsoft 2014
7
Introduction au Business Inteligence 2021-2022
8
Etude IDC - Microsoft 2014
Introduction au Business Inteligence 2021-2022
Besoin: prise de décisions stratégiques et tactiques
Pourquoi: besoin de réactivité
Qui: les décideurs (non informaticiens)
Comment: répondre aux demandes d’analyse des données,
dégager des informations qualitatives nouvelles
Qui sont mes Pourquoi et comment le
meilleurs clients? chiffre d’affaire a baissé?
Quels citoyens
A combien s’élèvent mes
consomment le plus
ventes journalières en Q1?
de poissons? 9
Introduction au Business Inteligence 2021-2022
Les données utilisables par les décideurs
Données opérationnelles (de production)
Bases de données (Oracle, SQL Server)
Fichiers de tout genre…
Paye, gestion des RH, gestion des commandes…
13
Introduction au Business Inteligence 2021-2022
Définition
LʼInformatique Décisionnelle (ID) ou Business Intelligence (BI), est
l'informatique à l'usage des décideurs et des dirigeants pour obtenir
une connaissance approfondie de l'entreprise, définir et soutenir leurs
stratégies d’affaires (pilotage de l’entreprises).
Objectifs
• Acquérir un avantage concurrentiel,
• Améliorer la performance de l'entreprise, la rentabilité
• Répondre plus rapidement aux changements,
• et de façon générale créer de la valeur ajoutée
14
Introduction au Business Inteligence 2021-2022
Pyramide BI
Sagesse
Connaissance
Information
Data
Big Data
16
Introduction au Business Inteligence 2021-2022
1st Generation - Traditional analytics (query and reporting)
Années 70-90 : débuts de l’Informatique Décisionnelle :
Développement d'outils d'édition de rapports, de statistiques,
exploitant les BD opérationnelles
Développement de petits systèmes d'aide à la décision à base de
tableurs (simulation budgétaire, …)
Développement de systèmes experts (règles), conçus à l’aide de la
collecte de connaissance d'un ou plusieurs experts
Développement de systèmes spécifiques d'aide à la décision :
basés sur des techniques de Recherche Opérationnelle (RO), la
simulation, l'optimisation, …
18
Introduction au Business Inteligence 2021-2022
3rd Generation - Advanced analytics Rules, predictive analytics and
realtime data mining Stream analytics
Changement profond des Systèmes BI : Nouvelle génération possède des
caractéristiques communes correspondant aux grandes tendances du moment
Adapté au Cloud : Possibilités de partage dynamique des ressources par
différentes entités + élasticité́ d’utilisation des ressources matérielles en
fonction des besoins de l’application
Multi-devices : Outils qui nativement se reconfigure en fonction des devices
(et non qui s’adapte simplement aux écrans de dimensions réduites)
Prédictif : L’utilisation d’algorithmes prédictifs
20
Introduction au Business Inteligence 2021-2022
1. Modèles de BD opérationnelles complexes et inutilisables :
souvent difficiles à comprendre
ne concerne pas un objectif unique d'affaire
2. Données des BD opérationnelles :
identiques dans différentes BD : même concept souvent défini différemment
adaptées pour les systèmes opérationnels (comptabilité, facturation, …), pas pour
l'analyse des fonctions d'affaires
de mauvaise qualité : données manquantes, données imprécises, …
volatiles : supprimées périodiquement dans les systèmes opérationnels (6 mois)
modification des données au fil du temps – pas d’information historique
3. Autres données hétérogènes :
Fichiers .txt , Excel, services web etc…
Données quantitatives, texte, image, etc... (données multimodales)
Données bruitées, données fausses
21
Introduction au Business Inteligence 2021-2022
• Contextes économique et informationnel actuel
• Pilotage de l'entreprise et BI
• Définition du BI et objectifs
• Historique du BI
• Problématique du BI
• Processus BI et métiers
• Domaines d’application
22
Introduction au Business Inteligence 2021-2022
Le BI est constitué d’un ensemble de processus, d'outils et de
technologies pour transformer les données de l'entreprise en
informations exactes et à jour dans l’objectif de soutenir des processus
décisionnels :
Data Warehousing (DW) : Stockage de l’information
On-Line Analytical Processing (OLAP) : Création de vue
multidimensionnelle
Data Mining (DM) et visualisation de données (VIS)
Analyse des décisions (what-if)
Customer Relationship Management (CRM)
23
Introduction au Business Inteligence 2021-2022
24
Introduction au Business Inteligence 2021-2022
Collecter Traiter et Analyser Décider / Prédire
Structuration et consolidation Modélisation multidimensionnelle
et analyse
Metadata
Intégration
E Data- Prise de
T warehouse
L décision
Hypercube
Base multi -
dimensionnelle
Bases de
production Datamarts Outils de Prédiction /
simulation
Data Sources Data Storage OLAP Engine Front End Tools
25
Introduction au Business Inteligence 2021-2022
3 Métiers:
Data Integrator Combiner des informations hétérogènes venants de sources
différentes
Data Analyst Inspection, nettoyage, transformation et modélisation des
données. Le Data Mining est une forme particulière de Data Analysis centrée
sur la modélisation et l'extraction de connaissances à partir de données.
En lien étroit avec la Data Vizualisation (Rendre la donnée compréhensible)
Data Scientist dispose de compétences de haut niveau en matière :
• d'analyse de données, en combinant à la fois les méthodes
statistiques, d'autres connaissances telles que la linguistique, la
sémantique, utiles notamment pour travailler sur des données non
structurées,
• bonne compréhension du métier sur lequel il travaille, pour la mise
en œuvre d’une démarche d'analyse itérative. 26
Introduction au Business Inteligence 2021-2022
• Contextes économique et informationnel actuel
• Pilotage de l'entreprise et BI
• Définition du BI et objectifs
• Historique du BI
• Problématique du BI
• Processus BI et métiers
• Domaines d’application
27
Introduction au Business Inteligence 2021-2022
Domaines concernés
commercial, financier, transport, télécommunications, santé,
services, ...
Applications
gestion de la relation client
gestion de commandes, de stocks
prévisions de ventes
définition de profil utilisateur
analyse de transactions bancaires
détection de fraudes
…
28
Introduction au Business Inteligence 2021-2022
BI touche la plupart des Métiers de l'entreprise:
Réduction des coûts, prévision de la production,
Production gestion des stocks, contrôle de la qualité
30
Introduction au Business Inteligence 2021-2022
Grande distribution
Regroupement d'informations sur les ventes => analyse du comportement
(produits à succès, suivi des modes, habitudes d'achats, préférences des
clients par secteur géographique)
Mise en évidence des règles de consommation grâce au Datamining
Cas d'école : Explo(r|it)ation du panier de la ménagère : connaître les
produits achetés en même temps
Impacts :
Augmentation des ventes grâce à un marketing ciblé
Amélioration des taux de rotation de stocks
Elimination des produits obsolètes définition des rabais, remises,
ristournes, promotions, meilleure négociation des achats
31
Introduction au Business Inteligence 2021-2022
Télécommunications
Grande masse de données :
Plusieurs mois de descriptions détaillées des appels
Pour chaque appel : appelant, appelé, heure et durée
32
Introduction au Business Inteligence 2021-2022
Assurance et pharmacie
Domaines très demandeurs de techniques décisionnelles pour
Déterminer le facteur de risque d'un assuré
Meilleure connaissance des clients, détection de rejets, ciblage du
marketing, etc
Détecter l'impact d'un médicament, ses effets indésirables, etc.
33
Introduction au Business Inteligence 2021-2022
Q1: Le 11 Octobre 2019, trouver les 5 produits les plus vendus
pour chaque sous-catégorie de produits qui représente plus de
20% des ventes dans sa catégorie de produits
35
Introduction au Business Inteligence 2021-2022
Supportent en général une ou plusieurs grandes fonctions de l'entreprise :
Production, marketing, commercial, ressources humaines, finance, etc …
Parfois intégrés dans un ERP (Enterprise Resource Planning) et s'appuient sur
des SGBD traditionnels (Oracle, DB2, …) pour gérer des BD
«opérationnelles» ou de «production»
Permettent des processus de traitement en ligne des données – OLTP (On
line Transactionnal Processing) : Interactifs, Concurrents, Nombreux,
Répétitifs, Structurés, Simples
Ces processus OLTP concernent :
La mise à jour de données
Un nombre restreint d'enregistrements
Des données précises et à jour
37
Introduction au Business Inteligence 2021-2022
Prendre de « bonnes décisions » : accéder en temps réel aux data de l'entreprise,
les traiter, extraire l'information pertinente, par exemple pour savoir :
Résultats des ventes par gamme de produit et par région pour l'année X
Evolution des chiffres d'affaires par type de magasin et par période
Comment qualifier les acheteurs de mon produit X ?
40
Introduction au Business Inteligence 2021-2022
• Système permettant de mesurer un/des phénomènes à analyser.
• Outils : SGBD, ETL, outils d’interrogation, d’analyse, de restitution
("reporting"), fouilles de données…
Collecte de Intégration Diffusion Présentation
données : ETL
Metadata
Intégration
E Data-
T Prise de
warehouse
L décision
Hypercube
Base multi -
dimensionnelle Outils de
Prédiction /
Bases de simulation
production Datamarts
Data Sources Data Storage OLAP Engine Front End Tools
41
Introduction au Business Inteligence 2021-2022
• Collecte de données
• Intégration
• Diffusion
• Présentation
42
Introduction au Business Inteligence 2021-2022
Evolution des SI opérationnels vers SI décisionnels implique de
séparer : BD Transactionnelle (BD Opérationnel) de BD décisionnelle
Collecte de Intégration Diffusion Présentation
données : ETL
Metadata
Intégration
E Data- Prise de
T
L warehouse décision
Hypercube
Base multi -
dimensionnelle Outils de
Prédiction /
Bases de simulation
production Datamarts
Front End Tools 43
Data Sources Data Storage OLAP Engine
Introduction au Business Inteligence 2021-2022
Définition : La fonction collecte recouvre l'ensemble des tâches
consistant à détecter, sélectionner, extraire et filtrer les données
brutes issues des environnements pertinents compte tenu du
périmètre couvert par le SI Décisionnel.
Hétérogénéité des sources de données :
Plusieurs types de sources : fichiers plats, fichiers Excel, base de
données (DB2, Oracle, SQL Server, etc.), services web, etc…
Plusieurs natures d'informations
Données quantitatives, qualitatives, texte, image,
Flux de données
Données bruitées, données fausses
44
Introduction au Business Inteligence 2021-2022
La fonction de collecte s'appuie habituellement sur des outils
d’ETL = Extract, Tranform, Load
Processus:
Extract: Extraire les données de sources hétérogènes
Transform: Transformation des données pour les stocker dans un
datawarehouse
Load: Chargement des données dans le datawarehouse
Les logiciels d'ETL sont des intergiciels = des logiciels dont le but
est de faire passer des données entre plusieurs logiciels.
Les ETL sont basées sur un ensemble de connecteurs permettant
la gestion de différentes sources de données
45
Introduction au Business Inteligence 2021-2022
Plusieurs logiciels sur le marché permettant d’effectuer de l'ETL sous
forme de programmes "graphiques". Ils sont intégrés dans des suites de BI.
46
Introduction au Business Inteligence 2021-2022
• Collecte de données
• Intégration
• Diffusion
• Présentation
47
Introduction au Business Inteligence 2021-2022
Définition L’intégration consiste à concentrer les données collectées dans
un espace unifié, dont le socle informatique essentiel est le DWH.
Les DWH sont physiquement séparés des BD opérationnels
Collecte de Intégration Diffusion Présentation
données : ETL Intégration Metadata
E Data-
T Prise de
warehouse
L décision
Hypercube
Base multi -
dimensionnelle Outils de
Prédiction /
Bases de simulation
production Datamarts
Front End Tools 48
Data Sources Data Storage OLAP Engine
Introduction au Business Inteligence 2021-2022
Centralisation par ETL => structuration et nettoyage pour stockage
dans DWH.
Etape faite par l’ETL grâce à un connecteur permettant l’écriture
dans DWH
Durant cette étape :
• Calculs et agrégations communs à l'ensemble du SID.
• Pré-traitements facilitant l’accès aux données du DWH par les
outils d'analyse.
Le nettoyage et filtrage des données : redondances etc..
La validation des données
La synchronisation
La certification
Un espace de stockage « intermédiaire » est créé pour cette étape
d’intégration: Staging Area ou ODS (Operational Data Store).
49
Introduction au Business Inteligence 2021-2022
Staging Area :
Zone de stockage intermédiaire utilisée pour le traitement des données
pendant le processus ETL et étape d’intégration.
Zone de transit de l’information entre les sources de données et le DWH.
Contenu effacé avant d'exécuter un processus ETL ou immédiatement après
l'achèvement réussi d'un processus ETL.
D’autres architectures de zone de transit conçues pour conserver des
données pendant de longues périodes à des fins d'archivage, dépannage, ou
synchronisation différée ODS
Operational Data Store
Centraliser les données afin de faciliter l'intégration. (données brutes)
Destiné à contenir des données de niveau fin (prix ou montant d'une vente),
en opposition aux données agrégées du DWH.
Pour des fins de traitement temps réel (mise à jour plus fréquente que DWH)
50
Introduction au Business Inteligence 2021-2022
• Collecte de données
• Intégration
• Diffusion
• Présentation
51
Introduction au Business Inteligence 2021-2022
Définition Restituer les données et en proposer un accès aisé en prenant
en compte chaque profil et besoin métier, d’où l’existence des datamarts
ou magasins de données.
Collecte de données : ETL Intégration Diffusion Présentation
Metadata
Intégration
E Data- Prise de
T warehouse
L décision
Hypercube
Base multi -
dimensionnelle
Outils de
Prédiction /
Bases de simulation
production
Datamarts
Data Sources Data Storage OLAP Engine Front End Tools 52
Introduction au Business Inteligence 2021-2022
Datamart : Entrepôt de données dédié à un métier de l’entreprise
pour des raisons d’accessibilité, de facilité d’utilisation ou de
performance. Sous-ensemble du DWH.
Données y sont multidimensionnelles : modélisables sous la forme
d'un hypercube et peut donc être mise à disposition via un outil
OLAP.
Données équivalentes à celles du DWH mais représentées de façon
adaptée aux besoins spécifiques de la fonction et/ou du domaine
utilisateur.
Implémentation physique ou logique :
Exemple : créer un DM dédié au service Marketing ou Commercial.
Le DM peut avoir une implémentation physique (cube) ou n’être qu’une
vue logique des données relatives au service Marketing.
53
Introduction au Business Inteligence 2021-2022
DataWarehouse Datamart
Spécifiques à l’application
Indépendant de
Application du système d’aide à la
l’application/métier.
décision, au métier, dpt.
Type de système Centralisé Décentralisé
Facilité de construction Difficile à construire Simple à construire
Les données sont
Utilisation de la Les données sont
légèrement
dénormalisation fortement dénormalisées.
dénormalisées.
Détaillée, Historisée, Résumé la plupart du
Forme de données
résumée, dénormalisée temps
Flexible, Orienté données, Restrictif, orienté projet,
Autres caractéristiques
long-terme, grande taille court-terme, petite taille
54
Introduction au Business Inteligence 2021-2022
• Collecte de données
• Intégration
• Diffusion
• Présentation
55
Introduction au Business Inteligence 2021-2022
La dernière phase concerne la restitution des résultats, on distingue à
ce niveau plusieurs types d’outils : Reporting et requêtes, Analyse
(OLAP), Datamining, Création de tableau de bord (Dashboard)
Collecte de Intégration Diffusion Présentation
données : ETL
Metadata
Intégration
Data-
E Prise de
T warehou
L se décision
Hypercube
Base multi -
dimensionnelle Outils de
Prédiction /
Bases de
simulation
production Datamarts
Data Sources Data Storage OLAP Engine Front End Tools
56
Introduction au Business Inteligence 2021-2022
Caractéristiques des processus d'analyse en ligne – OLAP :
Interactifs
Concurrents (par opposition aux BDs op.)
Peu nombreux
Non prévisibles
Complexes : réponses aux requête des décideurs
tuple
59
Introduction au Business Inteligence 2021-2022
Caractéristiques OLTP OLAP
Applications Production Aide à la décision
Utilisateurs Département professionnel IT Transversal (entreprise)
Nombres Milliers Centaines (Décideur non IT)
Données Normalisées, non agrégées Dénormalisées, agrégées
Relationnelles Multidimensionnelles
Accès Lecture/écriture Lecture
Requêtes Simples, nombreuses, Complexes, peu
régulières, prévisibles, nombreuses, irrégulières,
répétitives non prévisibles
Nb tuples invoqués par Dizaines Millions
requête (moyenne)
Taille des données 100 MB à 1 GB 1GB à 1TB
Ancienneté des Récentes, mises à jour Historique
données
60
Introduction au Business Inteligence 2021-2022
Datamining ou Fouille de données
Recherche de la connaissance sous forme de modèles de comportement
caché dans les données : Extraction de connaissance à partir de données
(Knowledge Discovery from Data - KDD)
Domaine à l'intersection de l'intelligence artificielle (IA) , des statistiques,
de l'analyse de données et des BDs
Techniques de fouille traditionnelles : issues de la statistique descriptive
et de l'analyse de données
Nouvelles techniques de fouille : l'induction d'arbre de décision, les
algorithmes génétiques, les réseaux de neurones profonds, …
Tendance vers une intégration croissante de ces techniques de fouille
dans les entrepôts de données (notamment dans l'offre commerciale)
61
Introduction au Business Inteligence 2021-2022
Dashboard
Pentaho
62
Introduction au Business Inteligence 2021-2022
Entrepôt de données (Data Warehouse) :
• Récolte, stocke et gère efficacement de gros volumes de données pour la prise
de décision
• Assure un regroupement homogène et exploitable de données hétérogènes,
très nombreuses et distribuées
• Modélisation multidimensionnelle (Hypercube) de données grâce au
stockage dans Datamarts
Analyse en ligne des données (OLAP)
• Données organisées selon plusieurs axes d'analyse et selon différents niveaux de
détail pour un objectif / métier particulier
• Traitements permettant de changer interactivement de points de vue, de de
niveau de détail, et effectuer les opérations OLTP classiques
• Analyse rendue possible grâce à la modélisation multidimensionnelle
Fouille de données (Data Mining):
• Extraction automatique de connaissances (propriétés cachées) dans de grands
volumes de données => Connaissances valides, nouvelles, compréhensibles,
pertinentes et implicites
63
Introduction au Business Inteligence 2021-2022
Intégration Diffusion Présentation
Collecte de
données : ETL
Metadata
Intégration
E Data-
T Prise de
warehouse
L décision
Hypercube
Base multi -
dimensionnelle Outils de
Prédiction /
Bases de simulation
production Datamarts
Data Sources Data Storage OLAP Engine Front End Tools
0 1 2 3
Sources externes Entrepôt OLAP Front-ends
BD BD Relationnelle Reporting
(DWH/Datamart)
Modélisation
Fichiers HTML relationnelle BD Data Mining
Multidimensionnelle
Modélisation (Hypercube)
Fichiers plats Outils statistiques 64
multidimensionnelle
Introduction au Images, etc..
Business Inteligence Combinaison des 2 … 2021-2022
Processus ETL et modélisation d’un entrepôt de données
65
Introduction au Business Inteligence 2021-2022