25/03/2025

Université Mohammed V- Rabat

Ecole Mohammadia d'Ingénieurs
Département Génie Informatique
Filière Génie Informatique et Digitalisation

Fondements du Big Data

Pr. N. EL FADDOULI
nfaddouli@[Link]

2024-2025

CC-BY NC SA

PLAN
q INTRODUCTION

q ARCHITECTURE L'ÉCO-SYSTÈME HADOOP

q HDFS

q MAPRREDUCE/YARN
q PIG

q HIVE
q HBASE

q SQOOP
3
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

1
 25/03/2025

Apache HIVE

Le Data Warehouse de Hadoop

FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA 140

140

Hive: Introduction
• Hive est un projet né au sein de Facebook et repris par la fondation Apache.
• Apache Hive représente une surcouche analytique à Hadoop
• Il représente aussi une couche d’abstraction aux données HDFS sous forme
d’un modèle tabulaire (lignes, colonnes)
• Hive permet de traiter des données structurées (fichiers) dans Hadoop.
• Il est utilisé par différentes entreprises, par exemple, Amazon l'utilise dans
Amazon Elastic MapReduce (outil AWS de traitement et d'analyse de données)
• Il a un langage de requête HiveQL ou HQL proche de SQL (sélection, jointure,
agrégation, union, sous-requêtes,…)
• La principale différence entre HiveQL et SQL est qu'une requête Hive s'exécute
sur Hadoop plutôt que sur une BD relationnelle.
• Hive prend en charge les fonctions et procédures java/scala définies par
l'utilisateur (UDF) pour étendre ses fonctionnalités.
141
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

141

2
 25/03/2025

Hive: Introduction
• Une requête HiveQL est transformée en une série de jobs MapReduce
exécutés sur le cluster Hadoop afin de récupérer un jeu de résultat tabulaire.
• HiveQL décharge l'utilisateur de la complexité de la programmation
MapReduce. Il réutilise les concepts familiers de BD relationnelle (tables,
lignes, colonnes, schémas, etc) pour faciliter l'apprentissage.
• Hive supporte plusieurs formats de fichiers: TEXTFILE,
SEQUENCEFILE, ORC, RCFILE (Record Columnar File), PARQUET,
…etc.
• Les schémas de BDs sont gérés par le MetaStore qui englobe un service qui
permet aux clients (applications clientes) d'avoir les métadonnées des tables
déclarées dans Hive.
• Le metastore persiste ces métadonnées par défaut dans une BD Apache
Derby (SGBD développé en Java).
142
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

142

Hive: Architecture

[Link]

• Clients Hive: Hive supporte toute application (C++, Java, Python, …) utilisant JDBC,
Thrift ou ODBC drivers.
• Services Hive: Cette couche gère les interactions avec l'utilisateur via :
- Une interface de commandes en ligne (CLI): C'est le shell Hive
- Une interface web de Hive, dans Cloudera Quickstart: Hue (Hadoop User Experience )
- Hive Server lorsqu'il s'agit d'applications (JDBC, ODBC ou Thrift).
143
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

143

3
 25/03/2025

Hive: Architecture

• Les requêtes utilisateur sont reçues par le Driver qui inclut :

- Un compilateur (Compiler) : vérifie la syntaxe et la sémantique de la requête en utilisant
les schémas stockés dans le Meta Store. Il génère le plan d'exécution de la requête sous
forme d'un DAG (Directed Acyclic Graph)
- Un optimiseur (Optimizer) qui optimise le plan d'exécution de la requête.
- Un moteur d'exécution (Execution Engine) qui exécute le plan d'exécution sous forme
d'une série de jobs MapReduce.

144
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

144

Hive: Architecture

• Stockage et traitement Hive:

- Le MetaStore est le référentiel central des métadonnées Apache Hive. Il stocke les
métadonnées des tables Hive (schéma, emplacement des fichiers, …) et des partitions dans
une BD relationnelle (Mysql ,Derby, …). Il consiste en deux unités fondamentales:
* Un service qui fournit un accès métastore aux autres services Apache Hive.
* Stockage des métadonnées Hive sur disque (Mysql ou Derby).
- Les données chargées dans les tables Hive et les résultats des requêtes seront stockés dans le
cluster Hadoop (HDFS)
145
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

145

4
 25/03/2025

Hive: Etapes Traitement des données dans Hive

1. La requête utilisateur est soumise au Driver

2. Le Driver envoie la requête au compilateur afin
d'avoir le plan d'exécution.
3.4. Le compilateur interagit avec le MetaStore
pour avoirs les métadonnées des tables utilisées
dans la requête.

5. Le compilateur (+optimiseur) crée le plan d'exécution (sous forme d’un DAG(Directed Acyclic
Graph) où chaque arc représente un job map/reduce job, une opération sur HDFS ou une opération
sur les metadonnées) et le convertit en une série de jobs MapReduce qu'il envoie au Driver.
6. Le Driver envoie série de jobs MapReduce au Moteur d'exécution qui va les exécuter sur
le cluster. Les résultats seront stockés dans HDFS.
7. Le Moteur d'exécution interagit avec le MetaStore lorsqu'il s'agit d'une requête DDL
8-9. L'application cliente récupère les résultats depuis le Driver. Le moteur d'exécution
communique avec les Data Nodes (via le NameNode) afin d'avoir les résultats qu'il passera
ensuite à l'application cliente.

146
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

146

Hive: Configuration
• Les paramètres de configuration de Hive sont dans le fichier [Link]
(/etc/hive/conf/[Link]), par exemple:
Chaîne de connexion JDBC à la BD du Metastore

Le classe du driver JDBC

Utilisateur et mot de passe.

HiveServer/ Driver communique avec le Metastore Service distant via l'API Thrift

147
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

147

5
 25/03/2025

Hive en ligne de commandes

• La commande hive:

Désactiver l'affichage des message Info

• La commande beeline : lors de l'exécution:
$ beeline --silent=true

• La BD utilisée par défaut est default

148
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

148

Hive en ligne de commandes

• hive est un client basé sur Apache-Thrift et Beeline est un client JDBC.
• La commande hive se connecte directement aux pilotes Hive (Driver), ce qui nécessite
l'installation de la bibliothèque Hive sur le poste client.
• beeline se connecte à hiveserver via des connexions JDBC sans installer les bibliothèques
Hive sur le poste client. On peut donc exécuter beeline à distance depuis l'extérieur du cluster.
Opération beeline hive
Se connecter au hiveserver !connect jdbc_url
Lister les tables !table show tables ;
show tables ;
Lister les colonnes !column table_name desc table_name ;
desc table_name ;

Exécuter une requête select * from table_name; select * from table_name ;

Sauvegarder les commandes et leurs résultats dans un fichier. !record result_file.txt
!record
Exécuter une commande shell !sh ls ! ls ;
Exécuter une commande dfs dfs -ls ; dfs -ls ;
Exécuter un script hql !run hql_query_file.hql source hql_query_file.hql ;
Quitter le shell hive !quit quit ;
Choix d'une BD !connect jdbc_url use database_name ;
149
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

149

6
 25/03/2025

Hive: Les types de données dans Hive

150
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

150

Hive: Les types de données dans Hive

151
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

151

7
 25/03/2025

Hive: Les types de données dans Hive

152
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

152

Hive: Créer une BD

• Une BD dans Hive décrit une collection de tables. Si la BD existe, on n'aura pas un message d'erreur.
• On crée une BD avec: CREATE DATABASE [IF NOT EXISTS] db_name ;
• Lorsqu'on crée une nouvelle BD, Hive lui crée un nouveau sous-répertoire dans
/user/hive/warehouse.
• Exemple: hive> CREATE DATABASE emi19; Création de: /user/hive/warehouse/[Link]
• DATABASE a l'alias SCHEMA dans HQL:
CREATE SCHEMA [IF NOT EXISTS] db_name ;
• Exemple:
hive> CREATE SCHEMA IF NOT EXISTS emi19;
• Créer une BD en précisant le chemin du dossier et de la description de la BD:
hive> CREATE DATABASE IF NOT EXISTS db_name
hive > COMMENT ' description '
hive > LOCATION ' hdfs_directory ' ;
153
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

153

8
 25/03/2025

Hive: Description et Suppression de BD

• Afficher les BDs existantes: SHOW DATABASES ;
• Récupérer les meta-données d'une BD: DESCRIBE DATABASE nom_bd ;
• Choisir la BD à utiliser: USE nom_bd ;
• Connaitre la BD courante: SELECT current_database() ;
• Supprimer une BD:
DROP DATABASE IF EXISTS nom_bd ; -- échec si la BB n'est pas vide
DROP DATABASE IF EXISTS nom_bd CASCADE ; --supprime la BD et les tables
• Afficher la liste des tables de la BD courante: SHOW TABLES;
• Afficher l'instruction de création d'une table existante: SHOW CREATE TABLE nom_table;
• Afficher la structure d'une table :
DESCRIBE | DESC [nom_bd .]nom_table ;

DESCRIBE | DESC FORMATTED [nom_bd .]nom_table; -- pour avoir plus de détails

• Supprimer une table: DROP TABLE nom_table ;
• Vider une table: TRUNCATE TABLE nom_table ; -- juste pour une table interne.

154
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

154

HIVE: Les tables

• La BD default est utilisée par défaut lorsqu'on se connecte à hive.

• Chaque table est mappée sur un répertoire qui se trouve par défaut sous /user/hive/warehouse
dans HDFS. Par exemples:

/user/hive/warehouse/empl est créé pour la table empl de la BD default

/user/hive/warehouse/[Link]/empl est créé pour la table empl de la BD emi19

• Toutes les données de la table seront stockées dans ce répertoire

• Ce type de table s'appelle une table interne ou une table gérée (Managed Table)

• Lorsque les données (fichiers) sont déjà stockées dans HDFS, une table externe peut être créée
pour décrire ces données (pointer sur ces données).

• Lorsqu'une table interne est supprimée, ses données et ses métadonnées sont supprimées
ensemble.

• Lorsque la table externe est supprimée, seules ses métadonnées sont supprimées. Les données
ne sont pas supprimées. Ceci est très utile lorsque ces données sont partagées avec d'autre
outils (Pig, …).
155
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

155

9
 25/03/2025

Hive: Création de table

• CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.] table_name
( col_name data_type [COMMENT 'col_comment ' ] , ... )
[COMMENT 'table_comment' ]
[ROW FORMAT row_format]
[STORED AS file_format ]
[PARTITIONED BY (col_name data_type )]
• EXTERNAL: si on supprime la table, ses données ne seront pas supprimées de HDFS.
• IF NOT EXISTS: la table sera créée si elle n'existe pas.
• COMMENT: on associe un commentaire à la table ou à une colonne.
• ROW FORMAT: on précise le format de chaque ligne Par défaut, les champs sont délimités par (^A) '\001'
Exemple: DELIMITED FIELDS TERMINATED BY '|' LINES TERMINATED BY '\n'
• STORED AS: on indique le format du fichier de données relatif à la table.
Exemple: TEXTFILE, SEQUENCEFILE, PARQUET, AVRO, RCFILE, ORC
• PARTITIONED BY: on partitionne les fichiers de données de la table selon une ou plusieurs colonnes.

156
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

156

Hive: Création de table interne

• Exemple 1: Soit [Link] un fichier contenant des mesures de températures
Use emi19;
CREATE TABLE IF NOT EXISTS temperature
( Year int COMMENT 'année de mesure ',
T int COMMENT 'température enregistrée',
C int COMMENT 'Catégorie'
)
COMMENT 'table des températures enregistrées par année et catégorie'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\;'
STORED AS TEXTFILE ;

157
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

157

10
 25/03/2025

Hive: Création de table interne

158
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

158

Hive: Création de table interne

Exemple 2: Le fichier [Link] contient des informations sur des employés:
Amini Saad|Morocco,Algeria|Male,30|DB:80|Product:Developer Lead
Salhi Anas|Morocco|Male,35|Perl:85|Product:Lead,Test:Lead
Faridi Amal|Egypte|Female,27|Python:80|Test:Lead,COE:Architect
Bellal Hafsa|Tunisia|Female,57|Sales:89,HR:94|Sales:Lead

CREATE TABLE IF NOT EXISTS empl

( nom STRING,
lieu_t ARRAY<STRING> COMMENT 'lieu de travail',
sexe_age STRUCT<sexe:STRING,age:INT>,
comp_score MAP<STRING,INT> COMMENT 'compétence et score',
depart_role MAP<STRING,STRING> COMMENT 'département et rôles'
) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':'
STORED AS TEXTFILE;
159
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

159

11
 25/03/2025

Hive: Création de table interne

……………………….
…………………….....

160
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

160

Hive: Chargement de données dans une table

1. LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename ;

Exemple:

LOAD DATA INPATH '/user/cloudera/hive_lab/data/[Link]' INTO TABLE empl;

→ Le fichier HDFS sera supprimé après le chargement (il est déplacé)

N.b: On peut copier (hdfs dfs –cp ) le fichier [Link] directement dans le dossier de la
table /user/warehouse/emsi19/empl

LOAD DATA LOCAL INPATH '/home/cloudera/tp/hive/[Link]' INTO TABLE empl;

LOAD DATA LOCAL INPATH '/home/cloudera/tp/hive/[Link]' OVERWRITE INTO TABLE empl;

→ La table (interne ou externe) sera vidée avant le chargement

2. INSERT OVERWRITE TABLE table_destination SELECT * FROM [db_name.]table_source ;

Exemple: INSERT OVERWRITE TABLE temp1 SELECT year, t FROM temperature WHERE C=1
; 161
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

161

12
 25/03/2025

Hive: Création de table externe

• Exemple 1: Soit [Link] un fichier contenant des mesures de températures
Use emi19;
CREATE EXTERNAL TABLE IF NOT EXISTS temperature
( Year int COMMENT 'année de mesure ',
T int COMMENT 'température enregistrée',
C int COMMENT 'Catégorie'
)
COMMENT 'table des températures enregistrées par année et catégorie'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\;'
LOCATION '/user/cloudera/hive/data/db' ; -- dossier contenant les fichiers de données
-- s'il n'existe pas, il sera créé.
-- Si la clause Location n'est pas indiquée, les fichiers de données seront stockés dans
/user/hive/warehouse/emi19/temperature

162
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

162

Hive: chargement de données dans une table externe

Shell Linux

hdfs dfs -put /home/cloudera/tp/hive/[Link] /user/cloudera/hive/data/db

Shell Hive
LOAD DATA LOCAL INPATH '/home/cloudera/tp/hive/[Link]' INTO TABLE empl;

163
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

163

13
 25/03/2025

Hive: Atelier 1
1. Dans un terminal, lancer la commande: hive
2. Créer la BD analyse: hive> CREATE DATABASE analyse
3. Lister le contenu du dossier HDFS : /user/hive/warehouse
4. Utiliser de la BD analyse : hive> Use analyse
5. Créer la table vol1 (year, month, day, fl, dep, arr, distance)
hive> CREATE TABLE vol1
( year INT, month INT, day INT, fl STRING, dep STRING, arr STRING, distance INT )
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\;'
STORED AS TEXTFILE;
6. Afficher la liste des tables de la BD courante.
7. Consulter le Metastore pour avoir le schéma de la table vol1: hive> DESCRIBE vol1 ;
8. Charger le fichier local [Link] dans la table vol1 en utilisant la commande LOAD
9. Consulter de la table: hive> SELECT year, dep, COUNT(fl)
FROM vol1
GROUP BY dep, year;
N.B: Remarquez les jobs Map-Reduce crées.
164
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

164

Hive: Atelier 1
10. Créer la table externe vol2 (year, month, day, fl, dep, arr, distance) en indiquant son
dossier HDFS de données qu'il faut créer, par exemple: /user/cloudera/hive/data/db

11. Copier le fichier local [Link] dans le dossier HDFS: /user/cloudera/hive/data/db

12. Effectuer une requête HQL sur la table vol2.

13. Charger le fichier local [Link] dans la table vol2 avec LOAD et sans l'option overwrite.
14. Lister le contenu du dossier HDFS: /user/cloudera/hive/data/db
15. Afficher les métadonnées détaillées de la table vol2.
16. Exécuter séparément les deux requêtes: SELECT * FROM vol2;
SELECT year, dep, COUNT(fl)
FROM vol1
GROUP BY dep, year;
Quelle est la différence entre les deux lors de leur exécution?

165
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

165

14
 25/03/2025

Hive: Atelier 1
17. Créer la table interne vol3 (year, month, day, fl, dep, arr, distance).

18. Charger le contenu de la table vol2 dans la table vol3.

19. Effectuer une requête HQL (Select ....) sur la table vol2.
Qu'obtient-on? Pourquoi?
20. Lister le contenu du dossier de la table vol2
Comment il est? Pourquoi?

166
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

166

Hive: Gérer les données avec Apache Hue (Hadoop User Experience)
• Interface web donnant accès aux données stockées dans HDFS.
• Hue est configuré pour répondre sur le port 8888.
• Hue permet de visualiser l’arborescence HDFS et le metastore de Hive.
• L'URL sur la VM Cloudera: [Link]
• Login/mot de passe = cloudera/cloudera
• Le raccourci / Files permet de visualiser l’arborescence HDFS

167
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

167

15
 25/03/2025

Hive: Gérer les données avec Apache Hue (Hadoop User Experience)
• L'éditeur Hive est accéssible via l'URL: [Link]
• Cliquer sur le lien (à gauche de l'interface Hue) plusieurs fois jusqu'à
avoir Sources
• Cliquer sur Hive pour avoir accès aux BD déjà créées.
• Cliquer sur la BD analyse pour avoir ses tables
• Cliquer sur le raccourci + pour créer une nouvelle table.
• Remplir les champs comme suit puis cliquer sur Next:

168
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

168

Hive: Gérer les données avec Apache Hue (Hadoop User Experience)
• Remplir les champs comme suit
Name: [Link]
Format: Text
Fields: year:int , month:int, day:int, flight:string, depart:string,
destination:string, distance:int
• Cliquer sur Submit
• Les détails de la table créée seront affichés:
• Choisir: Query / Editor / Hive
• Saisir la requête suivante puis cliquer sur le petit triangle bleu pour l'exécuter:

• Refaire la même chose pour:

169
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

169

16
 25/03/2025

Hive: Format de fichiers

• Les formats de représentation de données utilisés en Big Data sont très
variés:
Formats de stockage en lignes ou enregistrements:
- Fichiers plats / fichiers texte
- CSV et fichiers délimités
- JSON
- SequenceFile
- Avro
- Autres formats: XML, YAML
Formats de stockage orientés colonnes:
- RC (Record Columnar File) / ORC (Optimized Row Columnar File)
- Parquet
• Librairies de compression des données
170
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

170

Fichier Plat/Fichier texte

• Le processus ETL (Extract-Transform-Load) traditionnel extrait les données
de plusieurs sources, les nettoie, les formate et les charge dans un entrepôt de
données pour des besoins d'analyse.

• Les fichiers plats ou texte doivent être structurés et traités sous forme de
champs (attributs):
Les champs peuvent être à des positions fixées dans des enregistrements
Ou, l'analyse textuelle peut être nécessaire pour extraire le sens.
• Généralement en Big Data, on charge les données dans leur état brut.
171
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

171

17
 25/03/2025

CSV et fichiers délimités

• Format utilisé dans les tableurs (Excel, …):
q Chaque ligne correspond à un enregistrement.
q Les colonnes d'une ligne sont séparées par une virgule (ou autre délimiteur:
tabulation, |, ; , …)
q On peut avoir une ligne d'en-tête avec des noms de colonnes
• Problèmes:
q Des caractères d'échappement peuvent être présents (backslash = \)
q Windows et Linux utilisent différents caractères de fin de ligne
• Python a une bibliothèque standard qui inclut un package CSV
• Le capacités des formats CSV sont limitées:
q Suppose que chaque enregistrement a un nombre fixe d'attributs
q Pas facile de représenter des ensembles, des listes, des maps ou des
structures de données plus complexes
172
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

172

JSON: JavaScript Object Notation

• JSON est un format de sérialisation d'objets en texte brut qui peut représenter
des données assez complexes pouvant être transférées entre
utilisateur/programme ou programme/programme
• Souvent appelé le langage du Web 2.0
• Deux structures de base:
Enregistrements constitués de map (paires clé/valeur), entre accolades:
{nom: "John", âge: 25 ans}
Les listes (tableaux) sont entre crochets: [. . . ]
• Les enregistrements et les tableaux peuvent être imbriqués
{ "firstName": "John", "lastName": "Smith", "phoneNumbers": [ {"type": "home", "number": "212 ….4"},
{ "type": "office", "number": "646 555-4567" } ] ….}

• Les bibliothèques supportant JSON sont disponibles dans R, Python, ...etc

• Il y a beaucoup d'API qui renvoient des données JSON: Google Geocoder,
Twitter, Yahoo Answers, … etc.

173
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

173

18
 25/03/2025

SequenceFile
• Représentation binaire de pairs clé/valeur
• Orienté ligne (enregistrements)
• Utilisé pour le transfert de données entre les jobs Map et Reduce.
• Permet de spliter les données, pour les job Map, même compressées.
• La lecture de données dans le format SequenceFile est plus performante que
celle des fichiers textes plats (pas besoin de structuration d'enregistrements)
• Ce format a une implémentation uniquement en Java où plusieurs classes
permettent de lire, écrire ou trier.
• Il y a trois choix de compression de fichier SequenceFile:
[Link]: Enregistrements clé/valeur non compressés.
[Link]: Enregistrements clé/valeur compressés: seules les valeurs sont
compressées
[Link]: Bloc d'enregistrements clé/valeur compressés: les clés et les valeurs
sont collectées dans des «blocs» séparément et compressées. La taille du 'bloc'
est configurable par [Link] dans [Link] (valeur
par défaut: 1000000 Octets)
174
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

174

Avro
• Le format Avro permet de stocker les fichiers sous format binaire
permettant l'interopérabilité d'applications écrites en différents langages de
programmation àAvro est indépendant des langages de programmations.

• Avro est orienté ligne (enregistrement) dont le schéma est codé en JSON
dans le fichier lui-même.
• Les blocs de fichiers Avro peuvent être compressés et splitables.

• Avro supporte l'évolution de schéma (versioning) : par exemple, si des

colonnes sont ajoutées ou supprimées d'une table, les fichiers de données
précédemment importés peuvent être traités avec les nouveaux.

175
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

175

19
 25/03/2025

Record Columnar File (RC)

• RCFile (Record Columnar File) est le premier format "colonne" adopté par
Hadoop et utilisé initialement dans Hive.
• Objectif: chargement rapide des données, exécution rapide des requêtes et une
utilisation très efficace de l’espace de stockage.
• Colonnes stockées séparément en format binaire.
• Lecture et décompression des colonnes désirées.
• RC applique une compression par colonne sur des groupes de lignes.
• Le format RC est un format tabulaire constitué de lignes et de colonnes.
• Les tables sont stockées dans HDFS: des groupes de lignes sont stockés dans
des blocs HDFS.

176
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

176

Optimized Row Columnar (ORC)

Le format ORC (Optimized Row Columnar) désigné comme
successeur du format RC en proposant une approche
optimisée de compression plus efficace:
q Un fichier ORC contient des bandes (stripes) de
données de ligne
q Taille de bandes par défaut 256 Mo et peut être plus
grande.
q Les données d'index se composent de valeurs minimales
et maximales pour chaque colonne, ainsi que les
positions de ligne dans chaque colonne.
q L'indexation permet de sauter des blocs entiers de
rangées ne répondant pas à une requête.
q Le pied de bande contient l'encodage de chaque colonne.
q À la fin du fichier, un postscript contient les paramètres
de compression.
q Algorithmes ( codecs: Snappy, GZIP, BZIP2, …) de
compression spécifiques pour différents types de
colonnes.
177
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

177

20
 25/03/2025

Parquet
• Apache Parquet est un format de stockage en colonnes compressées (développé par
Cloudera et Twitter)
• Il a les mêmes caractéristiques que ORC:
q Groupement de lignes avec un stockage et compression par colonne
q Supporte les évolutions de schéma.
• Il est compatible avec toutes les interfaces MapReduce comme Java, Hive, Pig et d’autres
moteurs d’exécution comme Impala ou Spark.
• Parquet supporte des structures de données complexes ainsi que la lecture et l’écriture par les
APIs d’Avro.
• Fournit l'un des meilleurs résultats dans divers tests de performance de référence
• Le stockage en colonnes offre les avantages suivants:
ola compression est plus efficace car les données de colonne sont du même type.
oLe traitement des requêtes est plus efficace car les colonnes sont stockées ensemble.
178
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

178

HIVE: Table au format Avro (avant la version 1.0)

• Création d'un fichier JSON sur HDFS contenant le schéma de la table:
{ "type" : "record",
"name" : "nom_schema",
"namespace" : "namespace_schema",
"fields" :[ {"name" : "nom_champ" ,
"type" : "type_champ" ,
"default" : "val_défaut|NONE" ,
"doc" : "comment"} ,
…
]
}
Exemple: Le fichier HDFS ' /user/cloudera/hive_lab/schema_avro/[Link] '
{ "type" : "record",
"name" : "temperature",
"namespace" : "[Link]",
"fields" : [{"name" : "year","type" : "int","default" : "1800", "doc" : "année d'enregistrement"},
{"name" : "T","type" : "int","default" : "999", "doc" : "température enregistrée"},
{"name" : "C","type" : "int","default" : "-1", "doc" : "catégorie"}
]
}
179
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

179

21
 25/03/2025

HIVE: Table au format Avro (avant la version 1.0)

Classe Description Utilisée dans la clause
[Link] La classe Hive SerDe ROW FORMAT SERDE
pour le stockage de
données au format Avro

[Link] Format de données en STORED AS

entrée d'un conteneur
Avro.
[Link] Format de données de STORED AS
sortie d'un conteneur
Avro.

• La clause TBLPROPERTIES de la commande CREATE EXTERNAL TABLE permet de

spécifier le schéma de la table si les données de la table sont stockées au format Avro (ou autre:
ORC, ….).
CREATE EXTERNAL TABLE IF NOT EXISTS nom_table
ROW FORMAT SERDE '[Link]'
STORED AS INPUTFORMAT '[Link]'
OUTPUTFORMAT '[Link]'
TBLPROPERTIES ('[Link]'='hdfs_directory/fichier_sché[Link]');
180
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

180

HIVE: Table au format Avro (avant la version 1.0)

• Exemple:

CREATE EXTERNAL TABLE IF NOT EXISTS temperature_avro

ROW FORMAT SERDE '[Link]'

STORED AS INPUTFORMAT '[Link]'

OUTPUTFORMAT '[Link]'

LOCATION '/user/cloudera/hive_lab/data/db_avro'

TBLPROPERTIES ('[Link]'='/user/cloudera/hive_lab/schema_avro/[Link]') ;

181
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

181

22
 25/03/2025

HIVE: Table au format Avro

• A partir de la version Hive 1.0:

CREATE EXTERNAL TABLE nom_table (………..)

STORED AS AVRO

LOCATION 'hdfs_directory' ;

• Chargement de données (fichiers) au format Avro avec l'instruction LOAD DATA.

N.B: Les fichiers Avro chargés doivent avoir le schéma de la table.

• Importation de données dans une table au format Avro à partir d'une autre table:

INSERT OVERWRITE TABLE table_destination SELECT * FROM [db_name.]table_source ;

Exemple: INSERT OVERWRITE TABLE temperature_avro SELECT * FROM temperature ;

→ Un fichier binaire sera créé dans le dossier de données de la table dont le schéma sera stockée
en format JSON dans l'entête du fichier.

182
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

182

HIVE: Table au format Parquet

• Création d'une table externe au format Parquet
CREATE EXTERNAL TABLE [IF NOT EXISTS] nom_table (…..)
ROW FORMAT SERDE '[Link]'
STORED AS PARQUET
LOCATION 'hdfs_directory' ;
Exemple:
CREATE EXTERNAL TABLE IF NOT EXISTS temperature_parquet
( Year int,
T int,
C int
)
ROW FORMAT SERDE '[Link]'
STORED AS PARQUET
LOCATION '/user/cloudera/hive_lab/data/db_parquet'
• On importe des données dans la table avec INSERT OVERWRITE TABLE
183
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

183

23
 25/03/2025

Hive: Atelier 2
1. Créer les dossiers HDFS suivants:
/user/cloudera/hive_lab/data/bank_txt
/user/cloudera/hive_lab/data/bank_avro
/user/cloudera/hive_lab/data/bank_parquet
N.B: Utiliser mkdir avec l'option p pour créer tous les dossiers avec une seule commande
hdfs dfs -mkdir -p /user/cloudera/hive_lab/data/{bank_txt,bank_avro,bank_parquet}
2. Copier le fichier local [Link] dans le dossier HDFS
/user/cloudera/hive_lab/data/bank_txt
3. Créer la table externe bank_txt stockée au format texte et dont:
• les données sont dans le dossier HDFS /user/cloudera/hive_lab/data/bank_txt
• les colonnes contiennent: id client (texte), âge (entier), sexe (texte), région (texte), revenu
(réel), marié (texte), enfants (entier), voiture(texte), hypothèque (texte).
N.B: Visualiser le contenu du fichier CSV pour avoir le type de chaque colonne.
4. Consulter la table créée par une requête HQL.
184
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

184

Hive: Atelier 2
5. Créer la table externe bank_avro stockée au format Avro et dont le dossier de données est
/user/cloudera/hive_lab/data/bank_avro
6. Importer dans la table bank_avro les données de la table bank_txt.
7. Lister ( avec ls) les fichiers du dossier HDFS /user/cloudera/hive_lab/data/bank_avro
8. Afficher ( avec cat ) le contenu des fichiers de /user/cloudera/hive_lab/data/bank_avro
9. Créer la table externe bank_parquet stockée au format Parquet et dont le dossier de
données est /user/cloudera/hive_lab/data/bank_parquet
10. Importer dans la table bank_parquet les données de la table bank_txt.
11. Lister ( avec ls) les fichiers du dossier HDFS /user/cloudera/hive_lab/data/bank_parquet
12. Afficher ( avec cat ) le contenu des fichiers de /user/cloudera/hive_lab/data/bank_parquet
13. Ecrire des requêtes afin d'avoir à partir des trois tables :
a) La moyenne de revenu par région.
b) Le pourcentage des clients mariés et ayant une hypothèque.
c) Le nombre de clients mariés par région et ayant des enfants et une hypothèque
d) Les identifiants des clients ayant le revenu maximal.
185
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

185

24
 25/03/2025

Hive: Table partitionnée

• Par défaut, une requête HQL analyse toute la table. Cela ralentit les performances lors de
l'interrogation d'une grande table.
• Ce problème pourrait être résolu en créant des partitions similaires à celles dans les SGBDR.
• Dans Hive, le partitionnement est effectué par une ou plusieurs colonnes.
• Chaque partition est mappée vers un sous-répertoire du répertoire de la table dans HDFS.
• Lorsque la table est interrogée, seules les partitions requises (répertoires) des données de la table
sont lues afin de réduire le temps d'exécution de la requête et améliorer les performances.
• Chaque partition a son propre stockage (répertoire) et sa propre sérialisation (format)
• Exemple:
CREATE EXTERNAL TABLE temperature_partition
( -- colonnes régulières
T int , C int
)
-- colonnes de partitionnement
PARTITIONED BY (Year int)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\;'
STORED AS TEXTFILE
LOCATION '/user/cloudera/hive_lab/data/temperature_partition' ;
186
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

186

Hive: Table partitionnée

• La description de la table partitionnée fournit des informations sur le partitionnement effectué
Exemple:

• Par défaut, le partitionnement dynamique n'est pas activé.

• On utilise l'instruction ALTER TABLE ... ADD PARTITION pour ajouter des partitions
statiques (manuellement) à une table.
Exemple:
ALTER TABLE temperature_partition
ADD PARTITION (year=2011) PARTITION (year=2013);

• La commande SHOW PARTITIONS permet d'avoir la liste des partitions actuelles dans une
table partitionnée. Exemple: SHOW PARTITIONS temperature_partition;
187
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

187

25
 25/03/2025

Hive: Table partitionnée

• On utilise l'instruction ALTER TABLE ... DROP PARTITION pour supprimer des partitions.

Exemple: ALTER TABLE temperature_partition

DROP IF EXISTS PARTITION (year=2011) ;
• On utilise l'instruction TRUNCATE TABLE … PARTITION pour vider une partition d'une
table interne.
Exemple: TRUNCATE TABLE temperature_partition PARTITION (year=2011);
• On utilise l'instruction hdfs dfs -rm pour vider une partition d'une table externe.
Exemple:
hdfs dfs -rm -f /user/cloudera/hive_lab/data/temperature_partition/year=2011/*
• On peut activer le partitionnement dynamique afin que les partitions soient créées de manière
dynamique à partir de valeurs de données insérées. [utiliser Hive Shell ou [Link] ]
hive> SET [Link]=true; strict => Charger une partition
(statique ou dynamique) à la fois
hive> SET [Link]=nonstrict;
188
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

188

Hive: Table partitionnée

• On importe les données dans la table partitionnée dont les partitions seront créées
dynamiquement. N.B: Year n'est pas PARTITION (year=2011)
Exemple: indiqué dans SELECT SELECT T, C FROM temperature where Year=2011;
INSERT OVERWRITE TABLE temperature_partition
PARTITION (year) Charger une seule partition à la fois (mode=strict)
SELECT T, C, Year FROM temperature; --Attention à l'ordre des colonnes
N.B: la partition year=__HIVE_DEFAULT_PARTITION__
sera créée pour les enregistrements ayant year=NULL
N.B: Year n'est pas
Création dynamique des partitions
stocké dans les fichiers
selon les données importées
de ces dossiers

• On peut charger des fichiers dans une partition spécifique d'une table partitionnée.
LOAD DATA INPATH '/user/cloudera/data/[Link]' INTO TABLE temperature_partition
Attention à l'ordre des colonnes dans [Link] PARTITION(year=2012);
189
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

189

26
 25/03/2025

Hive: Table partitionnée

Modifier les propriétés d'une partition:

ALTER TABLE temperature_partition PARTITION (year=2011) SET FILEFORMAT ORC;

Les anciennes données avec l'ancien format ne sont plus accessibles avec Select.
Exemple: Select * from temperature_partition ; → exception : Malformed ORC file......... Invalid postscript.)
ALTER TABLE temperature_partition PARTITION (year=2011) SET LOCATION
'/user/hive_lab/data';
ALTER TABLE temperature_partition PARTITION (year=2011) ENABLE NO_DROP;
Empêcher la suppression d'une partition
ALTER TABLE temperature_partition PARTITION (year=2011) DISABLE NO_DROP;
ALTER TABLE temperature_partition PARTITION (year=2011) ENABLE OFFLINE;
L'accès aux données d'une partition offline générera une exception.
Exemple: Select * From temperature_partition ; → exception : Query against an offline table or partition
Table temperature_partition Partition year=2011
ALTER TABLE temperature_partition PARTITION (year=2011) DISABLE OFFLINE;
ALTER TABLE temperature_partition PARTITION (year=2011) CONCATENATE;
La fusion en un seul fichier est possible pour les partitions ayant le format RCFILE ou ORCFILE.
190
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

190

Hive: Table partitionnée

• On peut partitionner une table suivant plusieurs colonnes ce qui engendrera la création de
plusieurs dossiers et sous-dossiers.
Exemple:
CREATE EXTERNAL TABLE temperature_partition2 ( T int )
PARTITIONED BY (Year int, C int)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\;' STORED AS TEXTFILE
LOCATION '/user/cloudera/hive_lab/data/temperature_partition2' ;
INSERT OVERWRITE TABLE temperature_partition2 PARTITION (Year, C)
SELECT T, Year, C FROM temperature; --Attention à l'ordre des colonnes

191
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

191

27
 25/03/2025

Hive: Table partitionnée

• On aura un partitionnement de premier niveau effectué par Year et un deuxième effectué par C.
hdfs dfs -ls -R /user/cloudera/hive_lab/data/temperature_partition2

N
.B e
:
n s fi

Le ont s de
le
se hie
s
r r
va pas ces
c

le
ur sto dos
s
de kée iers
Ye s d
c s

ar a
e t ns
C
192
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

192

Hive: Table partitionnée

Modifier les propriétés d'une partition multi-colonnes:

ALTER TABLE temperature_partition2 PARTITION (year=2011, c=3) SET FILEFORMAT AVRO;

La sous-partition c=3 de la partition year=2011 aura le format AVRO

ALTER TABLE temperature_partition2 PARTITION (year=2011,c=3) ENABLE OFFLINE;

La sous-partition c=3 de la partition year=2011 sera offline.

ALTER TABLE temperature_partition2 PARTITION (c=3) ENABLE OFFLINE;

La sous-partition c=3 de toutes les partitions year sera offline.

193
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

193

28
 25/03/2025

Hive: Bucketed Table

• Le partitionnement fournit un moyen pour séparer les données d'une table Hive en plusieurs
fichiers/répertoires. Cependant, cela ne donne de bonnes performances que dans peu de
scénarios, comme:
o Quand le nombre de partitions est limité.
o Lorsque les partitions sont de taille relativement égale.
• Un grand nombre de partitions engendre un grand nombre de fichiers HDFS ce qui affecte
considérablement les performances du Namenode.
• Hive propose le concept Bucketing qui est une autre technique pour décomposer les données de
tables en parties plus faciles à gérer.
• Contrairement aux partitions, un Bucket (seau, compartiment) correspond à un fichier HDFS.
• Le nombre de Buckets est défini par l'utilisateur lors de la création de la table
• Le Bucketing est effectué selon une colonne (ou plusieurs) dont la valeur sera hachée afin de
déterminer le Bucket dans lequel chaque enregistrement doit être stocké.
• La meilleure façon de choisir les colonnes de Bucketing est d'identifier les colonnes les plus
utilisés pour filtrer les enregistrements ou dans les jointures selon la logique métier.

194
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

194

Hive: Bucketed Table

• Le nombre de buckets dépends du nombre de fichiers qu'on veut avoir et aussi de la taille
des données sachant que la taille d'un fichier doit être supérieure ou égale à celle d'un bloc
HDFS.
• Exemple: Si on a un Bucketing par idclient, les enregistrements ayant le même idclient seront
toujours stockés dans le même Bucket.
• La clause CLUSTERED BY permet de préciser les colonnes de Bucketing et le nombre de
Buckets: CLUSTERED BY (nom_colonne, …) [SORTED BY (col1 [ASC|DESC], …)]
INTO nb_buckets BUCKETS
• Exemple: CREATE EXTERNAL TABLE IF NOT EXISTS temperature_buckets
( Year int,
T int,
C int
)
CLUSTERED BY (year) INTO 2 BUCKETS
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\;'
STORED AS TEXTFILE
LOCATION '/user/cloudera/hive_lab/data/temperature_buckets' ;
195
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

195

29
 25/03/2025

Hive: Bucketed Table

• Activer le Bucketing avant l'importation des données : set [Link] = true;
• Importation de données:
INSERT OVERWRITE TABLE temperature_buckets SELECT * FROM temperature;

N.B: Si la colonne de bucketing est null, l'enregistrement sera stocké dans le premier bucket
000000_0
• Le bucket de chaque enregistrement est déterminé par :
Hash(val_colonne(s)) MOD Nbre_Buckets
Exemple: Si on a Nbre_Buckets =4, on aura quatre fichiers crées 000000_0 , 000001_0,
000002_0 et 000003_0

0 Þ stockage dans le fichier 000000_0

Hash(colonne(s)) MOD 4 = 1 Þ stockage dans le fichier 000001_0
2 Þ stockage dans le fichier 000002_0
3 Þ stockage dans le fichier 000003_0

196
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

196

Hive: Bucketed Table

• Pour pouvoir réaliser les opérations Update et Delete sur une table HIVE, elle doit être une
Bucketed table au format ORCFILE.

• Les paramètres suivants doivent être positionnés dans [Link] ou via le shell Hive:

SET [Link] = true ;

SET [Link] = true ;

SET [Link] = nonstrict ;

SET [Link] = [Link] ;

SET [Link] = true ;

SET [Link] = 1 ;

197
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

197

30
 25/03/2025

Hive: Atelier 3
1. Créer les dossiers HDFS suivants:
/user/cloudera/hive_lab/data/bank_partition
/user/cloudera/hive_lab/data/bank_bucket

/user/cloudera/hive_lab/data/bank_part_bucket
N.B: Utiliser mkdir avec l'option p pour créer tous les dossiers et sous-dossiers avec une seule
commande
hdfs dfs -mkdir -p /user/cloudera/hive_lab/data/{bank_partition,bank_bucked,bank_part_bucket}
2. Créer la table interne temporaire bank_temp stockée au format texte.
CREATE TEMPORARY TABLE bank_temp (id string, age int, sexe string, region
string, revenu double, marie string, enfant int, voiture string, hypotheque string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\;'
STORED AS TEXTFILE;
3. Charger le fichier local [Link] dans la table bank_temp.
Interroger la table bank_temp par une requête HQL
198
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

198

Hive: Atelier 3
4. Créer la table externe bank_partition partitionnée par région et dont le dossier de données
est /user/cloudera/hive_lab/data/bank_partition
5. Créer la table externe bank_bucket ayant deux Buckets par la colonne âge triée dans l'ordre
croissant. Le dossier de données est /user/cloudera/hive_lab/data/bank_bucket
6. Activer le partitionnement et le Bucketing automatique
7. Importer dans les table bank_partition et bank_bucket les données de la table bank_temp.
FROM bank_temp
INSERT OVERWRITE TABLE bank_partition Partition(region) SELECT

id,age,sexe,revenu,marie,enfant,voiture,hypotheque,region
INSERT OVERWRITE TABLE bank_bucket SELECT * ;

8. Lister (avec ls -R) le contenu du dossier HDFS

/user/cloudera/hive_lab/data/bank_partition
9. Mettre hors ligne la partition region=TOWN de la table bank_partition
[Link] la requête: select * from bank_partition;
[Link] en ligne la partition region=TOWN de la table bank_partition
199
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

199

31
 25/03/2025

Hive: Atelier 3
12. Lister (avec ls) le contenu du dossier HDFS /user/cloudera/hive_lab/data/bank_bucket
13. Afficher chacun des deux fichiers de ce dossier.
Y a-t-il une valeur de la colonne âge qui apparaît dans les deux fichiers?
14. Créer la table externe bank_part_bucket partitionnée par région et chaque partition a deux
Buckets par la colonne âge et triés par âge et revenu. Le dossier de données est
/user/cloudera/hive_lab/data/bank_part_bucket
CREATE EXTERNAL TABLE nom_table (……)
PARTIONED BY (….)
CLUSTERED BY (….) SORTED BY (…) INTO … BUCKETS
ROW FORMAT ….
STORED AS …
LOCATION ….;
15. Importer dans le table bank_part_bucket les données de la table bank_temp.
16. Lister (avec ls -R) le contenu du dossier HDFS
/user/cloudera/hive_lab/data/bank_part_bucket
[Link] le contenu de quelques fichiers de données.
200
FONDEMENTS DU BIG DATA \ [Link] FADDOULI CC-BY NC SA

200

32