Entrepôts de données

Dr. SAGAR Samya

Objectifs du cours

} Introduction et définition d’un entrepôt de données

} Modélisation et Architecture d’un entrepôt de données
} OLAP et implémentation des entrepôt s de données

2 SAGAR Samya
 Partie3
Concepts de base et
Architecture fonctionnelle d’un
Data WareHouse

3 SAGAR Samya
Entrepôt de données (1)
[Georges GARDARIN-99]
"Ensemble de données historisées variant dans le temps, organisé par
sujets, consolidé dans une base de données unique, géré dans un
environnement de stockage particulier, aidant à la prise de décision
dans l’entreprise."

} Trois fonctions essentielles :

} Collecte de données de bases existantes et chargement
} Gestion des données dans l’entrepôt
} Analyse de données pour la prise de décision

4 SAGAR Samya
Entrepôt de données (2)
} Recherche (Stanford 1995)
} Dispositif de stockage d’informations intégrées de sources
distribuées, autonomes, hétérogènes

} Industrie (Immon 1992)

Collection des données
} Orientées sur un sujet
} Intégrées
} Non volatiles
} Historiées

5 SAGAR Samya
Données Orientées Sujet (Thématiques) (1)
} Contrairement aux données des organisations traditionnelles
} Orientées processus fonctionnel (application)
} Application de production, facturation, …
} Dans le DWH
} Les données sont structurées par thème (par sujet)
} Client,Vendeur, …
un ED rassemble et organise
Exemple des données associées aux
Assurance Assurance Assurance différentes structures
Vie Auto Santé
fonctionnelles de
l'entreprise, pertinentes pour
un sujet ou thème et
nécessaire aux besoins
d'analyse

Le Data Warehouse, un système orienté SUJET

6 SAGAR Samya
Données Orientées Sujet (Thématiques) (2)
Modélisation par sujet
} Exploitation facile des données de l’entrepôt nécessite
une classification par sujets fonctionnels
} Modélisation relationnelle : Chaque sujet correspond à
une Table gérée par l’entrepôt
} Définition des tables nécessite:
} Isolation des données stratégiques
} Détermination des détails nécessaires
} Et des résumés à conserver

En général, calculés par requêtes avec agrégats

7 SAGAR Samya
Données Orientées Sujet (Thématiques) (3)
Une modélisation relationnelle par sujet
APPLICATIONS SUJETS
Client
Production

Gestion de stocks Vendeur

Facturation Produit

Livraison

} Intérêt de cette organisation :

} Analyse sur des sujets transversaux aux structures
fonctionnelles et organisationnelles de l’entreprise
} Analyse par itération : sujet par sujet
8 SAGAR Samya
Données Intégrées
Intégration dans une structure unique
DWH Les données résultent de
l'intégration de données
Intégration provenant de différentes
sources pouvant être
S1 S2 S3 hétérogènes
} Éviter la duplication de données concernées par plusieurs sujets.
} Nécessite
} Normalisation
} Gestion des référentiels
} Gestion de la cohérence
} Sémantique et règles de gestion
Des données manipulées
9 SAGAR Samya
Données non volatiles

Les données de lʼED sont

essentiellement utilisées en
interrogation (consultation) et ne
peuvent pas être modifiées (sauf
certain cas de rafraichissement).

} Pas de suppression des données

} Pas de modification
} Une requête à mêmes résultats
} Traçabilité des informations et des décisions prises

10 SAGAR Samya
Données historiées

les données d'un ED représentent

l'activité d'une entreprise durant une
certaine période (plusieurs années)
permettant de d'analyser les variations
d'une donnée dans le temps

} Suivre dans le temps l’évolution des différentes valeurs

des indicateurs à analyser
} Un référentiel temporel est défini

11 SAGAR Samya
Processus général de construction et
exploitation d’un ED (1)
Processus en 3 phases :
1 - Construction de la BD décisionnelle :
} Modélisation conceptuelle des données multiformes et multi-sources
} Conception de lʼentrepôt de données
} Alimentation de lʼentrepôt (extraire, nettoyer, transformer, charger)
} Stockage physique des données
2 - Sélection des données à analyser :
} Besoins dʼanalyse de lʼutilisateur
} Data marts (Magasins de données)
} Cubes multidimensionnels
} Tableaux ou tables bidimensionnels
3 - Analyse des données :
} Stastiques et reporting, OLAP, Data Mining

12 SAGAR Samya
 Processus général de construction et
exploitation d’un ED (2)

Introduction à lʼinformatique décisionnelle - Bernard ESPINASSE - 37

13 SAGAR Samya
Architecture fonctionnelle dʼun entrepôt
Définition d’un DWH

de donnéesArchitecture du DWH
Architecture Multi-tiers

Data select
Dictionnaire de (requetes)
OLAP SERVER
Méta−données

Oracle Express

MVS (TSO, DB2 ...)

Business Objects
(rapports, analyses)
E(xtract)
T(ransform)
L(oad) DataWareHouse

UNIX (Oracle, ...) Oracle 9i (Olap)

SAS
(Datamining)

Windows (SQL Server, Data Marts

Excel, ...)

Applications en Controle et chargement des données OLAP Outils Front−End

production

14 SAGAR Samya
48/137
 Définition d’un DWH

Architecture du DWH
Sources dʼinformations hétérogènes
Architecture Multi-tiers

Problème
Data select
Dictionnaire de d’hétérogénéité
(requetes)
A. Bases de Méta−données
production: OLAP SERVER

- Données internes/ DonnéesOracle Express

MVS (TSO, DB2 ...)
externes
- Fortement hétérogènes : Business Objects

E(xtract)
- issues de différentes sources : (rapports, analyses)

T(ransform) BD relationnelles, BD objets, BD

DataWareHouse
L(oad)
réseaux, fichiers (flat files),
UNIX (Oracle, ...)
documents HTML, bases de
Oracle 9i (Olap)

connaissances, SAS

- issues de différents (Datamining)

environnements
Windows (SQL Server, Data Marts
Excel, ...) => Généralement modifiées quotidiennement
Applications en Controle et chargement des données OLAP Outils Front−End
production

15 SAGAR Samya
48/137
 Définition d’un DWH

Nécessité
Architecture du deDWH
composants
Sources dʼinformations hé
d’alimentation térogènes
pour
Architecture Multi-tiers
lʼhomogé néisation et
lʼintégration de données
Problème
A Dictionnaire de
Data select
d’hétérogénéité
(requetes)
L A. Bases de production: OLAP SERVER
Méta−données

I - Données internes/ DonnéesOracle Express

MVS (TSO, DB2 M ...)
externes
- Fortement hétérogènes :
E Business Objects
- issues de différentes sources : (rapports, analyses)
N E(xtract)
T(ransform) BD relationnelles, BD objets, BD
T L(oad) DataWareHouse
réseaux, fichiers (flat files),
UNIX (Oracle, ...)A
documents HTML, bases de
Oracle 9i (Olap)

T connaissances, SAS

I - issues de différents (Datamining)

O environnements
Windows (SQL Server,N Data Marts
Excel, ...) => Généralement modifiées quotidiennement
Applications en Controle et chargement des données OLAP Outils Front−End
production

16 SAGAR Samya
48/137
Architecture fonctionnelle dʼun entrepôt
Définition d’un DWH

de donnéesArchitecture du DWH
Architecture Multi-tiers

Data select
Dictionnaire de (requetes)
OLAP SERVER
Méta−données

Oracle Express

MVS (TSO, DB2 ...)

Business Objects
(rapports, analyses)
E(xtract)
T(ransform)
L(oad) DataWareHouse

UNIX (Oracle, ...) Oracle 9i (Olap)

SAS
(Datamining)

Windows (SQL Server, Data Marts

Excel, ...)

Applications en Controle et chargement des données OLAP Outils Front−End

production

17 SAGAR Samya
48/137
 Définition d’un DWH

Entrepôt deArchitecture
données du DWH
Architecture Multi-tiers

Data select
Dictionnaire de (requetes)
OLAP SERVER
Méta−données

Oracle Express

MVS (TSO, DB2 ...)

Business Objects
(rapports, analyses)
E(xtract)
T(ransform)
L(oad) DataWareHouse

UNIX (Oracle, ...) Oracle 9i (Olap)

SAS
B. La base de données DWH : (Datamining)

- Stocke toutes les informations extraites des sources

- BD relationnelle, multidimensionnelle ou objet
Windows (SQL Server,
Excel, ...)
- Base deData données
Marts multidimensionnelles : Stockage des
données/ optimisation de l’accès aux informations selon
Applications en
production des requêtes non prévues à la création
Controle et chargement des données OLAP
de la base
Outils Front−End

18 SAGAR Samya
48/137
Différents types de données dans un
DWH (1)
} Les données d’un ED se structurent selon 2 axes : synthétique
et historique
Axes historique: et synthétique des données dʼun ED (1)
Les données dʼun ED se structurent selon 2 axes : synthétique et historique :

Données fortement
agrégées

Axe
synthétique
Données agrégées

Données détaillées

Données détaillées
historisées

Axe historique

19 SAGAR Samya
Introduction au entrepôts de données - Bernard ESPINASSE - 13
Différents types de données dans un
DWH (2)
} Les données d’un entrepôt se structurent suivant :
} Axe synthétique : établit une hiérarchie d'agrégation comprenant :
} les données détaillées représentant les évènements les plus
récents au bas de la hiérarchie
} les données agrégées synthétisant les données détaillées
} les données fortement agrégées synthétisant à un niveau supérieur
les données agrégées
} Axe historique :
} comprenant les données détaillées historisées représentant les
évènements passés

Nécessaire de stocker des méta-données : informations

concernant les données de lʼED (provenance, structure, méthode utilisées
pour l'agrégation, ...)

20 SAGAR Samya
Architecture fonctionnelle dʼun entrepôt
Définition d’un DWH

de donnée sArchitecture du DWH

́ Architecture Multi-tiers

Data select
Dictionnaire de (requetes)
OLAP SERVER
Méta−données

Oracle Express

MVS (TSO, DB2 ...)

Business Objects
(rapports, analyses)
E(xtract)
T(ransform)
L(oad) DataWareHouse

UNIX (Oracle, ...) Oracle 9i (Olap)

SAS
(Datamining)

Windows (SQL Server, Data Marts

Excel, ...)

Applications en Controle et chargement des données OLAP Outils Front−End

production

21 SAGAR Samya
48/137
 Définition d’un DWH

Architecture
Les magasins de donnéesdu DWH
Architecture Multi-tiers
C. Les magasins de données (DATAMART):
- En complément aux données historiées, on trouve des Data select
(requetes)
données ciblées pour l’analyse
Dictionnaire de
Méta−données
OLAP SERVER

- Datamart: petit entrepôt de données ciblé sur un sujet,

Oracle Express
alimenté depuis un entrepôt ou directement depuis les
MVS (TSO, DB2 ...)
sources
- Les Datamarts nécessitent une infrastructure plusBusiness Objects
(rapports, analyses)
légères que les entrepôts
E(xtract)
T(ransform)
- L(oad)
Peuvent être mis en œuvre plus rapidement que les
DataWareHouse

UNIX (Oracle, ...) entrepôts Oracle 9i (Olap)

SAS
(Datamining)

Windows (SQL Server, Data Marts

Excel, ...)

Applications en Controle et chargement des données OLAP Outils Front−End

production

22 SAGAR Samya
48/137
Entrepôts et magasins de données (1)
Définitions
} L’entrepôt de données - ED (Data Warehouse - DW)
} Collecte l'ensemble de l'information utile aux décideurs à partir des sources
de données (BD opérationnelle, BD externes, Web ...)
} Centralise l'information décisionnelle
} Garantie l’intégration des données extraites, leur pérennité́ dans le temps
} Les magasins de données – MD (Data Marts - DM)
} Orientés sujet
} Aide efficace aux processus d’analyse de type OLAP
} Extraction d’une partie des données utiles :
} pour une classe d'utilisateurs ou
} pour un besoin d'analyse spécifique

23 SAGAR Samya
Entrepôts et magasins de données (2)
Calcul, stockage, organisation
} L’entrepôt de données :
} Puissantes machines pour la gestion de très grandes bases de données de détail historisées
} Lieu de stockage centralisé d’un extrait des bases de production
} Organisation des données suivant un modèle facilitant la gestion efficace des données et
leur historisation
} Les magasins de données – MD (Data Marts - DM) :
} Petits entrepôts avec une infrastructure plus l ́egère, mise en œuvre rapide
} Données extraites d’un ED ou de BD existantes pour un besoin d’aide à la décision
particulier
} Organisation des données suivant un modèle facilitant les traitements décisionnels

24 SAGAR Samya
 Architecture fonctionnelle

Entrepôts et magasins
Entrepôt de données
vs. Data mart (3)
DWH vs DM

Caractéristiques Entrepôt Data Mart

utilisateur toute l’entreprise un département
BD SQL type serveur BD MD, OLAP
échelle du modèle de données entreprise département
champs applicatifs multi-sujet quelques sujets
sources de données multiples quelques unes
stockage plusieurs BD distribuées une BD
taille > 100 Go 10 à 20 Go
temps de mise en place 9 à 18 mois 6 à 12 mois
coût plusieurs Me 100 Keà 0,5 Me
matériel Unix Petit serveur

25 SAGAR Samya
 Des bases de données vers les Datamarts
Entrepôts et magasins de données (3)

• ODS Operational Data Store : regroupe les données intégrées récupérées des sources
• CDW 26
Corporate Data Warehouse : regroupe les vues agrégées
SAGAR Samya
 Des bases de données vers les Datamarts
Entrepôts et magasins de données (3)

Vue logique de l’entrepôt (Hiérarchie de dépôts) :

- Operational Data Store (ODS)
regroupement des données intégrées
récupération des sources
- Corporate Data Warehouse (CDW)
regroupement les vues agrégées

• ODS Operational Data Store : regroupe les données intégrées récupérées des sources
• CDW 27
Corporate Data Warehouse : regroupe les vues agrégées
SAGAR Samya
Architecture fonctionnelle dʼun ED :
3Architecture
niveaux fonctionnelle
(1) dʼun ED : 3 niveaux
Niveau exploitation Présentation

Entrepôt

Bd entrepôt Client décisionnel

Exploration Analyse

Transformation,
Niveau fusion
fusion

Extraction, filtrage Extraction, filtrage

Extraction, filtrage

Source BD source
BD source
Données externes Données opérationnelles
BD légataires
Niveau extraction
Introduction au entrepôts de données - Bernard ESPINASSE - 18

28 SAGAR Samya
Architecture fonctionnelle dʼun ED :
3 niveaux (2)
} Niveau extraction
} Extraction de données des BD opérationnelles (SGBD traditionnel en OLTP) et de
l'extérieur, selon 2 stratégies :
} approche « push » : détection instantanée des mises à jour sur les BD opérationnelles pour
intégration dans lʼED
} approche « pull » : détection périodique des mises à jour des BD opérationnelles pour
intégration dans lʼED

} Niveau Transformation/fusion
} Intégration, chargement et stockage des données extraites dans la BD entrepôt
organisée par sujets
} Rafraichissement au fur et à mesure des mises à jour
} Niveau exploitation
} Rapports, tableaux de bords, visualisation graphiques diverses, ...
} Analyse et l'exploration des données entreposées (OLAP)
} Requêtes complexes pour analyse de tendance, extrapolation, découverte de
connaissance, ... (Fouille de données)

29 SAGAR Samya
 Niveau extraction
Moniteur et Adaptateur de sources
} Le moniteur (source monitor) : composant
logicielEntrepôts
détectant les mises
et magasins à jour
de données (3) effectuées sur la Architecture fonctionnelle dʼun ED : 3 niveaux
source d'information et repérerant les données à Niveau exploitation Présentation

envoyer à lʼED pour sa mise à jour ultérieure : Entrepôt

} Utilisation de triggers si les SGBD en disposent Exploration

Bd entrepôt
Analyse
Client décisionnel

} Sinon interrogation périodique de chaque base locale Niveau fusion

Transformation,
fusion
ou son journal afin de récupérer les mises à jour
effectuées durant la dernière période Extraction, filtrage Extraction, filtrage
Extraction, filtrage

} L'adaptateur de source (source wrapper) : Source

BD source
BD source

composant logiciel traduisant les requêtes et les

• ODS Operational Data Store : regroupe les données intégrées récupérées des sources Données externes Données opérationnelles
• CDW Corporate Data Warehouse : regroupe les vues agrégées BD légataires
Niveau extraction

données depuis le modèle d'une source

Introduction au entrepôts de données - Bernard ESPINASSE - 17 Introduction au entrepôts de données - Bernard ESPINASSE - 18

d'information locale vers le modèle de lʼED et vice-

versa : Architecture fonctionnelle dʼun entrepôt : 3 niveaux Composants logiciels dʼun ED
Niveau extraction : Niveau exploitation
} Les bases
Extraction locales
de données des
lʼextérieur :
préexistent et sont
BD opérationnelles (SGBD souvent
traditionnel en OLTP) et de
Entrepôt

relationnelles,
• approche « push voire hiérarchiques
» : détection ou
instantanée des mises
opérationnelles pour intégration dans lʼED
réseaux
à jour sur les BD ou
Bd entrepôt
Client décisionnel
Exploration Analyse
parfois des fichiers
• approche « pull » : détection périodique des mises à jour des BD
opérationnelles pour intégration dans lʼED
Niveau fusion médiateur
Niveau fusion :
Transformation, fusion
• Intégration, chargement et stockage des données dans la BD entrepôt
30 organisée par sujets SAGAR Samya
Extraction, filtrage
Extraction, filtrage
Extraction, filtrage

• Rafraîchissement au fur et à mesure des mises à jour adaptateur adaptateur

adaptateur
moniteur moniteur
 Bd
Bd entrepôt
entrepôt Client
Client décisionnel
décisionnel
Exploration
Exploration Analyse
Analyse

Transformation,
Transformation,
Niveau
Niveau fusion
fusion
fusion
fusion

Niveau extraction Extraction,

Extraction, filtrage
filtrage
Extraction,
Extraction, filtrage
filtrage
Extraction,
Extraction, filtrage
filtrage

Source
Source BD
BD source
source

Moniteur et Adaptateur de sources

BD
BD source
source
•• ODS
ODS Operational
Operational Data
Data Store
Store :: regroupe
regroupe les
les données
données intégrées
intégrées récupérées
récupérées des
des sources
sources Données
Données externes
externes Données
Données opérationnelles
opérationnelles
•• CDW
CDW Corporate
Corporate Data
Data Warehouse
Warehouse :: regroupe
regroupe les
les vues
vues agrégées
agrégées BD
BD légataires
légataires
Niveau
Niveau extraction
extraction

Le moniteur (source monitor) : composant

Introduction
Introduction au
au entrepôts
entrepôts de
de données
données -- Bernard
Bernard ESPINASSE
ESPINASSE -- 17
17 Introduction
Introduction au
au entrepôts
entrepôts de
de données
données -- Bernard
Bernard ESPINASSE
ESPINASSE -- 18
18
}
logicielEntrepôts
détectant les mises
et magasins de données à jour
(3) effectuées sur la Architecture fonctionnelle dʼun ED : 3 niveaux
sourceArchitecture
d'information
Architecture fonctionnelle
Niveau
Niveau extraction
et dʼun
fonctionnelle dʼun
extraction ::
repé rerant niveaux
entrepôt
les données à
entrepôt :: 33 niveaux Composants
Composants logiciels
logiciels dʼun
Niveau exploitation
Niveau
dʼun ED
Niveau exploitation
exploitation
ED Présentation

envoyer à lʼED
Extraction
Extraction de
lʼextérieur
lʼextérieur ::
pour
de données
données des
des BD
sa mise à(SGBD
BD opérationnelles
jour
opérationnelles (SGBD
ultérieure
traditionnel
traditionnel en
en OLTP)
OLTP) et
et de
de
: Entrepôt
Entrepôt
Entrepôt
•• approche
approche «« push
push »» :: détection
détection instantanée
instantanée des
des mises
mises àà jour
jour sur
sur les
les BD
BD
Utilisation depullpour
triggersintégrationsi les
lʼEDSGBD en disposent
Client
Client décisionnel
décisionnel
} opérationnelles
opérationnelles pour intégration dans
dans lʼED Exploration
Exploration
Exploration
Bd entrepôt
Bd entrepôt Analyse
Analyse
Analyse
Client décisionnel
•• approche
approche «« pull »» :: détection
détection périodique
périodique des
des mises
mises àà jour
jour des
des BD
BD

Sinon interrogation périodique de chaque base locale

opérationnelles
opérationnelles pour
pour intégration
intégration dans
dans lʼED
lʼED
} Niveau
Niveau fusion
fusion :: Niveau
Niveaufusion
Niveau fusion
fusion médiateur
médiateur
Transformation,
fusion fusion
ou son journal afin de récupérer les mises à jour
Transformation,
Transformation, fusion
•• Intégration,
Intégration, chargement
chargement et et stockage
stockage des
des données
données dans
dans la
la BD
BD entrepôt
entrepôt
Extraction,
Extraction, filtrage
filtrage Extraction,
Extraction, filtrage
filtrage
organisée
organisée par
par sujets
sujets Extraction,
Extraction, filtrage
filtrage
effectuées durant
•• Rafraîchissement
Rafraîchissement au
au furlaetetdernière
fur àà mesure
mesure des période
des mises
mises àà jour
jour adaptateur
adaptateur
Extraction, filtrage adaptateur
moniteur
moniteur
adaptateur
adaptateur
adaptateur
Extraction, filtrage
moniteur
moniteur
Niveau
Niveau exploitation
exploitation :: Extraction, filtrage
moniteur
moniteur

} L'adaptateur
•• Rapports,
•• Analyse
Analyse et
dedesource
Rapports, tableaux
tableaux de
et lʼexploration
bords,
lʼexploration des
des données
(source
bords, visualisation
visualisation graphiques
données entreposées
entreposées (OLAP)
(OLAP)
wrapper)
graphiques diverses,
diverses, …
…
: Source
Source
Source
Données
Données externes
externes
BD
BD source
source
BD source
BD
BD source
source
BD source
Données
Données opérationnelles
opérationnelles

composant logiciel traduisant les requêtes et les

• ODS Operational Data Store : regroupe les données intégrées récupérées des sources Données externes Données opérationnelles
•• Requêtes
Requêtes complexes
complexes pour
pour analyse
analyse de
de tendance,
tendance, extrapolation,
extrapolation, découverte
découverte de
de BD
BD légataires
légataires
• CDW Corporate Data Warehouse : regroupe les vues agrégées BD légataires
connaissance,
connaissance, …
… (Fouille
(Fouille de
de données)
données) Niveau
Niveau
Niveau extraction
extraction
extraction

données depuis le modèle d'une source

Introduction au entrepôts de données - Bernard ESPINASSE -
Introduction
Introduction au
au entrepôts
entrepôts de
de données
données -- Bernard
Bernard ESPINASSE
ESPINASSE --
17
19
19
Introduction au entrepôts de données - Bernard ESPINASSE -
Introduction
Introduction au
au entrepôts
entrepôts de
de données
données -- Bernard
Bernard ESPINASSE
ESPINASSE --
18
20
20

d'information locale vers le modèle de lʼED et vice-

versa : Architecture fonctionnelle dʼun entrepôt : 3 niveaux Composants logiciels dʼun ED
Niveau extraction : Niveau exploitation
} Les bases
Extraction locales
de données des
lʼextérieur :
préexistent et sont
BD opérationnelles (SGBD souvent
traditionnel en OLTP) et de
Entrepôt

relationnelles,
• approche « push voire hiérarchiques
» : détection ou
instantanée des mises
opérationnelles pour intégration dans lʼED
réseaux
à jour sur les BD ou
Bd entrepôt
Client décisionnel
Exploration Analyse
parfois des fichiers
• approche « pull » : détection périodique des mises à jour des BD
opérationnelles pour intégration dans lʼED
Niveau fusion médiateur
Niveau fusion :
Transformation, fusion
• Intégration, chargement et stockage des données dans la BD entrepôt
31 organisée par sujets SAGAR Samya
Extraction, filtrage
Extraction, filtrage
Extraction, filtrage

• Rafraîchissement au fur et à mesure des mises à jour adaptateur adaptateur

adaptateur
moniteur moniteur
 Bd entrepôt Client décisionnel
Exploration Analyse

Transformation,
Niveau fusion
fusion

Niveau fusion Extraction, filtrage

Extraction, filtrage
Extraction, filtrage

Source BD source

Médiateur
BD source
• ODS Operational Data Store : regroupe les données intégrées récupérées des sources Données externes Données opérationnelles
• CDW Corporate Data Warehouse : regroupe les vues agrégées BD légataires
Niveau extraction

Le médiateur (mediator) : composant logiciel

Introduction au entrepôts de données - Bernard ESPINASSE - 17 Introduction au entrepôts de données - Bernard ESPINASSE - 18
}
capableEntrepôts
de : et magasins de données (3) Architecture fonctionnelle dʼun ED : 3 niveaux
Architecture fonctionnelle dʼun entrepôt : 3 niveaux Composants logiciels dʼun ED
donner
Niveauune vision intégrée des différentes sources Niveau exploitation Présentation
} extraction : Niveau exploitation
d'information
Extraction de données des BD opérationnelles (SGBD traditionnel en OLTP) et de
lʼextérieur :
Entrepôt
Entrepôt
• approche « push » : détection instantanée des mises à jour sur les BD
} d'extraire par des
opérationnelles requêtes
pour intégration des parties de ces vues
dans lʼED Exploration
Exploration
Bd entrepôt Analyse
Analyse
Client décisionnel
Client décisionnel
• approche « pull » : détection périodique des mises à jour des BD
intégrées :
opérationnelles pour intégration dans lʼED
médiateur
Transformation,
Niveau fusion : Niveaufusion
Niveau fusion
} avant d'être déversées dans lʼED, les données doivent être nettoyées,
• Intégration, chargement et stockage des données dans la BD entrepôt
fusion
Transformation, fusion

transformées, réorganisées et souvent filtrées

organisée par sujets
Extraction, filtrage
Extraction, filtrage
Extraction, filtrage

• Rafraîchissement au fur et à mesure des mises à jour adaptateur

Extraction, filtrage adaptateur adaptateur
Extraction, filtrage
} les données,
Niveau en provenance
exploitation : de sources multiples, doivent moniteur Extraction, filtrage moniteur
moniteur
généralement êtredeintégrées
• Rapports, tableaux ou fusionnées
bords, visualisation graphiques diverses, … Source
Source
BD source
BD source
• Analyse et lʼexploration des données entreposées (OLAP) BD source
BD source
} cette
• ODSfusion enData
Operational
Requêtes général
complexes assurée
Store : regroupe
pour analyse par union
les données
de tendance, ourécupérées
intégrées jointures
extrapolation, dede sources
des sources
découverte
Données externes
Données externes BD légataires
Données opérationnelles
Données opérationnelles
•• CDW Corporate Data Warehouse : regroupe les vues agrégées BD légataires
multiples, des …sélections
connaissance, et agrégats
(Fouille de données) Niveau extraction
Niveau extraction
Introduction au entrepôts de données - Bernard ESPINASSE - 17 Introduction au entrepôts de données - Bernard ESPINASSE - 18
} le médiateur s'appuie principalement sur le SGBD de lʼED
Introduction au entrepôts de données - Bernard ESPINASSE - 19 Introduction au entrepôts de données - Bernard ESPINASSE - 20

Architecture fonctionnelle dʼun entrepôt : 3 niveaux Composants logiciels dʼun ED

Niveau extraction : Niveau exploitation
Extraction de données des BD opérationnelles (SGBD traditionnel en OLTP) et de
Entrepôt
lʼextérieur :
• approche « push » : détection instantanée des mises à jour sur les BD Client décisionnel
opérationnelles pour intégration dans lʼED Exploration Bd entrepôt Analyse
• approche « pull » : détection périodique des mises à jour des BD
opérationnelles pour intégration dans lʼED
Niveau fusion médiateur
Niveau fusion :
Transformation, fusion
• Intégration, chargement et stockage des données dans la BD entrepôt
32 organisée par sujets SAGAR Samya
Extraction, filtrage
Extraction, filtrage
Extraction, filtrage

• Rafraîchissement au fur et à mesure des mises à jour adaptateur adaptateur

adaptateur
moniteur moniteur
 Bd
Bd entrepôt
entrepôt Client
Client décisionnel
décisionnel
Exploration
Exploration Analyse
Analyse

Transformation,
Transformation,
Niveau fusion
fusion
fusion

Niveau fusion Extraction, filtrage

Extraction, filtrage
Extraction,
Extraction, filtrage
filtrage

Source BD
BD source
source

Médiateur
BD source
ODS Operational
•• ODS Operational Data
Data Store
Store :: regroupe
regroupe les données intégrées récupérées des sources Données externes Données
Données opérationnelles
opérationnelles
CDW Corporate
•• CDW Corporate Data
Data Warehouse
Warehouse :: regroupe les vues agrégées BD légataires
Niveau extraction

Le médiateur (mediator) : composant logiciel

Introduction au
au entrepôts
entrepôts de
de données
données -- Bernard
Bernard ESPINASSE
ESPINASSE -- 17 Introduction
Introduction au
au entrepôts
entrepôts de
de données
données -- Bernard
Bernard ESPINASSE
ESPINASSE -- 18
18
}
Introduction

capableEntrepôts
de : et magasins de données (3) Architecture fonctionnelle dʼun ED : 3 niveaux
Architecture fonctionnelle dʼun entrepôt : 3 niveaux
Architecture Composants logiciels dʼun ED
donner
Niveauune vision intégrée des différentes sources Niveau exploitation Présentation
} Niveau extraction
extraction :: Niveau exploitation
d'information
Extraction de
Extraction de données
lʼextérieur ::
lʼextérieur
données des
des BD
BD opérationnelles (SGBD traditionnel en OLTP) et de
Entrepôt
Entrepôt
approche «« push
•• approche push »» :: détection
détection instantanée des mises à jour sur les BD
} d'extraire par des
opérationnelles
opérationnelles requêtes
pour intégration
pour intégration des parties de ces vues
dans lʼED Exploration
Exploration
Bd entrepôt
Bd entrepôt Analyse
Analyse
Analyse
Client
Client décisionnel
décisionnel
Client décisionnel
approche «« pull
pull »» :: détection
détection périodique des mises à jour des BD
intégrées :
•• approche
opérationnelles
opérationnelles pour intégration
pour intégration dans lʼED
Niveaufusion
fusion médiateur
Transformation,
Niveau fusion
Niveau fusion :: Niveau
} avant d'être chargement
déverséeset dans
Intégration, chargement
•• Intégration,
lʼED, les données doivent être nettoyées,
stockage des données dans la BD entrepôt
fusion
Transformation, fusion

transformées,
organisée par
organisée réorganisées et souvent filtrées
par sujets
sujets
Extraction, filtrage
Extraction, filtrage
Extraction,
Extraction, filtrage
filtrage

Rafraîchissement au
au fur
fur et à mesure des mises à jour adaptateur adaptateur
adaptateur
•• Rafraîchissement Extraction, filtrage adaptateur Extraction, filtrage
} les données,
Niveau
Niveau en provenance
exploitation
exploitation : de sources multiples, doivent moniteur Extraction, filtrage moniteur
moniteur
moniteur
généralement êtrede
Rapports, tableaux
•• Rapports, tableaux deintégrées
bords, ou fusionnées
bords, visualisation graphiques diverses, … Source
Source
BD
BD source
source
BD source
Analyse et
•• Analyse et lʼexploration
lʼexploration des données entreposées (OLAP) BD source
BD source
} cette
• ODSfusion
Operational
Requêtes
••• Requêtes enData
général
complexes
complexes assurée
Store : regroupe
pour analyse
pour par union
les données
de tendance, ourécupérées
intégrées jointures
extrapolation, dedesources
des sources
découverte
Données externes
Données externes BD légataires
Données
Données opérationnelles
opérationnelles
Données opérationnelles
CDW Corporate Data Warehouse : regroupe les vues agrégées BD légataires
multiples, des…
connaissance,
connaissance, sélections
… et agrégats
(Fouille de données)
(Fouille Niveau
Niveau extraction
extraction
Introduction au entrepôts de données - Bernard ESPINASSE - 17 Introduction au entrepôts de données - Bernard ESPINASSE - 18
} le médiateur s'appuie principalement sur le SGBD de lʼED
Introduction au
Introduction au entrepôts
entrepôts de
de données
données -- Bernard
Bernard ESPINASSE
ESPINASSE -- 19 Introduction au entrepôts de données - Bernard ESPINASSE
ESPINASSE -- 20
20

Architecture fonctionnelle dʼun entrepôt : 3 niveaux Composants logiciels dʼun ED

Niveau extraction : Niveau exploitation
Extraction de données des BD opérationnelles (SGBD traditionnel en OLTP) et de
Entrepôt
lʼextérieur :
• approche « push » : détection instantanée des mises à jour sur les BD Client décisionnel
opérationnelles pour intégration dans lʼED Exploration Bd entrepôt Analyse
• approche « pull » : détection périodique des mises à jour des BD
opérationnelles pour intégration dans lʼED
Niveau fusion médiateur
Niveau fusion :
Transformation, fusion
• Intégration, chargement et stockage des données dans la BD entrepôt
33 organisée par sujets SAGAR Samya
Extraction, filtrage
Extraction, filtrage
Extraction, filtrage

• Rafraîchissement au fur et à mesure des mises à jour adaptateur adaptateur

adaptateur
moniteur moniteur
 Exploration Analyse

Transformation,
Niveau fusion
fusion

Niveau exploitation
Extraction, filtrage Extraction, filtrage
Extraction, filtrage

Source BD source
BD source
• ODS Operational Data Store : regroupe les données intégrées récupérées des sources Données externes Données opérationnelles

Moteur OLAP et Outils de fouille

• CDW Corporate Data Warehouse : regroupe les vues agrégées

Introduction au entrepôts de données - Bernard ESPINASSE - 17

Niveau extraction
BD légataires

Introduction au entrepôts de données - Bernard ESPINASSE - 18

} Moteur OLAP : composant logiciel permettant sur

les donné es de lʼED ou des Magasins de données :
Architecture fonctionnelle dʼun entrepôt : 3 niveaux Composants logiciels dʼunComposants
ED logiciels d’un ED
} • dʼexé cuter
Niveau des: requêtes interactives complexes
extraction Niveau exploitation
Extraction de données des BD opérationnelles (SGBD traditionnel en OLTP) et de
Entrepôt
} • dʼanalyser interactivement les données selon des axes
lʼextérieur :
• approche « push » : détection instantanée des mises à jour sur les BD Client décisionnel
dʼanalyse et niveauxde détail particuliers : changement de
opérationnelles pour intégration dans lʼED
• approche « pull » : détection périodique des mises à jour des BD
Exploration Bd entrepôt Analyse

points de vue, de niveau de détail

opérationnelles pour intégration dans lʼED
Niveau fusion médiateur
Niveau fusion :
} • visualiser deschargement
• Intégration, résultats de ces
et stockage analyses
des données dans la BD entrepôt
Extraction, filtrage
Transformation, fusion
Extraction, filtrage
organisée par sujets Extraction, filtrage
} • dʼeffectuer les opérations OLTP classiques
• Rafraîchissement au fur et à mesure des mises à jour adaptateur
adaptateur
adaptateur

Niveau exploitation : moniteur moniteur

moniteur
} Outils de fouille de données (Data Mining) :
• Rapports, tableaux de bords, visualisation graphiques diverses, …
• Analyse et lʼexploration des données entreposées (OLAP)
Source
BD source
BD source
Données externes Données opérationnelles
composants logiciels permettant sur les données de
• Requêtes complexes pour analyse de tendance, extrapolation, découverte de
connaissance, … (Fouille de données) Niveau extraction
BD légataires

lʼED ou des Magasins de données :

Introduction au entrepôts de données - Bernard ESPINASSE - 19 Introduction au entrepôts de données - Bernard ESPINASSE - 20

} • lʼextraction automatique de propriétés cachées

} • lʼextraction automatique de connaissances :
connaissances valides,nouvelles, compréh ensibles,
pertinentes, implicites, ...)

34 SAGAR Samya
 Définition d’un DWH

Entrepôt deArchitecture
données du DWH
Architecture Multi-tiers

Data select
Dictionnaire de (requetes)
OLAP SERVER
Méta−données

Oracle Express

MVS (TSO, DB2 ...) Le Dictionnaire de données

- contient des informations ou Business Objects

E(xtract)
des méta-données (rapports, analyses)

T(ransform)
L(oad) DataWareHouse

UNIX (Oracle, ...) Oracle 9i (Olap)

SAS
(Datamining)

Windows (SQL Server, Data Marts

Excel, ...)

Applications en Controle et chargement des données OLAP Outils Front−End

production

35 SAGAR Samya
48/137
Dictionnaire et méta-données
} Le dictionnaire contient des informations (méta
données) sur :
} toutes les données de lʼED.
} sur chaque étape lors de la construction de lʼED;
} sur le passage dʼun niveau de données à un autre lors de
lʼexploitation de lʼED
} Le rôle de ces méta-données est ainsi de permettre :
} la définition des données
} la fabrication des données
} le stockage des données
} lʼaccés aux données
} la présentation des données
36 SAGAR Samya