100% ont trouvé ce document utile (1 vote)

106 vues59 pages

Cours sur le Big Data à l'ENSET

Le cours de Big Data à l'Ecole Normale Supérieure de l'Enseignement Technique vise à maîtriser les concepts, technologies et architectures du Big Data, notamment Hadoop et NoSQL. Il aborde les défis liés à la gestion des données massives, y compris le stockage, le traitement et l'analyse, ainsi que les outils associés. Le document présente également l'écosystème Hadoop et les opérations de lecture et d'écriture dans le système de fichiers HDFS.

Transféré par

HAMZA RABIH

Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.

Formats disponibles

Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

100% ont trouvé ce document utile (1 vote)

106 vues59 pages

Cours sur le Big Data à l'ENSET

Transféré par

HAMZA RABIH

Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.

Formats disponibles

Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

Ecole Normale Supérieure de l'Enseignement Technique

(ENSET)

Cours Big Data

Abdelmajid BOUSSELHAM
Email: bousselham@[Link]
Researchgate : [Link]
Google Scholar: [Link]
Scopus: [Link]
Linkedin: [Link]

1
Objectifs détaillés

➢ Maitriser les fondements du Big Data et les techniques de mise en œuvre des
architectures du Big Data :

▪ Maitriser les concepts du Big Data,

▪ Identifier les besoins et problématiques métiers liés au stockage et à l’exploitation

des données massives,

▪ Maitriser les technologies et architectures implémentées pour le Big Data,

▪ Concevoir et mettre en œuvre des solutions pour un projet Big Data,

▪ Maitriser l’environnement Hadoop: Installer, utiliser et administrer une distribution

Hadoop 2.x

▪ Manipuler des données non relationnelles (NoSQL, technologies Hbase, Cassandra,

MongoDB) et les langages associés.

2
Big data

➢ Explosion de la quantité de données par

▪ Les application: les réseaux sociaux, les application web, les objets connectés, les logs etc..

➢ Il est nécessaire de chercher des moyens qui permettent :

▪ Transmettre et diffuser les données entre les applications distribuées

(brokers: Kafka, ActiveMQ, RabbitMQ)
▪ Stocker et sécuriser les données d’une manière distribué (Hadoop HDFS,
NoSQL: Cassandra, MongoDB, Hbase,Elastik Search, etc… )

▪ Traiter et analyser les données d’une manière distribuée en vue d’en extrairre la
connaissance pour des prises de décisions
• Big data Processing : Batch Processing (Map Reduce, Spark) et Stream processing (Spark,
Kafka Stream, Flink, Storm, Samza)
• Maching learning (TensorFlow, DeapLearning4J, Weka, etc…) pour l’extraction de la
connaissance
▪ Analyser et Visualiser les indicateurs de prises de décisions

• Big Data visualisation Tools

3
Big Data: 5V

➢ Volume :
▪ Quantité de données (l’ordre de PO)

➢ Variété :

▪ Différents formats de données (Structurés: 20% ou non structurées: 80%)

▪ Texte, CSV, XML, JSON, Binaires, BDR, etc..

➢ Vélocité : fréquence de l’arrivée de données

➢ Véracité :
▪ Fiabilité et la crédibilité des données collectées (sources fiables)
➢ Valeur :
▪ Profil et la connaissance que l’on peut extraire de ces données

▪ Transformer les données en valeur

4
Exemple de problème : Campanie aérienne

5
Ordre de mesure de stockage de données

6
Le big data dans la vie courante: un cuisinier pour traiter les commandes

7
Le big data dans la vie courante: un cuisinier pour traiter les commandes

8
Le big data dans la vie courante: distribuer les tâches et le stockage

9
Eco-système Hadoop

➢ Hadoop est un Framework qui permet de stocker et traiter une grande quantité de
données d’une manière parallèle et distribuée.

10
Eco-système du Big Data: Apache Hadoop

➢ Hadoop est un Framework libre et Open source écrit en java, destiné à faciliter la création
d’applications massivement distribuées avec des milliers de nœuds.

▪ Au niveau de stockage distribué de données( des PO de données): HDFS

▪ Au niveau de traitement de données : Map Reduce
▪ Avec la prise en charge de caractéristiques fondamentales :
o Haute disponibilité, Scalabilité, Tolérance aux pannes,
reprise après échec, sécurité.
▪ Le Framework Hadoop de base se compose des modules suivants :

o Hadoop Distributed File System (HDFS):

le système de fichier distribué.
o Hadoop YARN (Yet Another Resource Negociator):
Système de gestion des ressources de cluster
o Hadoop Map Reduce: Traitement distribué de données

11
Eco-système du Big Data: Apache Hadoop

12
Ecosystème du Big Data

➢ L’écosystème du Big data s’est élargi avec beaucoup d’outils comme :

▪ Stream Processing :
o Apache Storm : Framework de calcul et de traitement distribué de flux de données (Stream Processing)
o Apache Flink : Framework de calcul et de traitement distribué de flux de données (Stream Processing)
o Apache Spark : Framework de calcul et de traitement distribué de de données Big data (Alternative de
Map Reduce) et de Stream Processing
o Apache Kafka Streams : Framework de Streaming de données en temps réel entre les applications
distribuées et système de Messagerie applicative.
▪ Apache Zookeeper : Système de gestion de configuration des systèmes distribués pour assurer la
coordination entre les nœuds.
▪ SGBD NoSQL :
o Apache Hbase : SGBD NoSQL distribué (Stockage structuré pour les grandes tables).
o MongoDB : SGBD NoSQL : les données sont stockées d’une manière distribuée dans plusieurs nœuds
sous forme de documents au format JSON.
o Cassandra : SGBD NoSQL : les données sont stockées d’une manière distribuée dans plusieurs nœuds
sous forme de documents au format JSON.
o ElasticSearch : Moteur de recherche distribué et multi-entité à travers une interface REST.

▪ Hazelcast : Cache mémoire distribué, SGBD NoSQL en mémoire, Système de Messagerie applicative.

15
Ecosystème du Big Data

▪ Apache Pig: Plateforme de haut niveau de création d’applications Map Reduce (Langage Pig latin qui
ressemble à SQL) au lieu d’écrire du code Java.
▪ Apache Hive: Infrastructure d’entrepot de données pour l’analyse et le requêtage avec un langage de SQL.

▪ Apache Phoenix: Moteur de base de données relationnel qui se repose sur Hbase.
▪ Apache Impala: Moteur de requêtes SQL de cloudera pour un système basé sur HDFS et Hbase

▪ Apache Flume: Système de collecte et d’analyse des fichiers logs.

▪ Apache Sqoop: Outils sur ligne de commandes pour transférer les données entre les SGBD relationnels et
Hadoop.
▪ Apache Oozie: Outil d’ordonnancement des flux Hadoop.

16
Zookeeper
Coordination

Flume
Log data collector

HDFS
Impala
SQL
Ecosystème du Hadoop

Spark
Large scale data proceesing

YARN

Hadoop Distributed File System

Mahout
Machine learning

Oozie
Cluster resource manager Workflow manager

Sqoop
Data exchange with RDBMS
MapReduce

Pig
Scripting

Hive
SQL
17

HBase
NoSql columnar store
HDFS: Hadoop File System

➢ Solution de stockage de données massives (des PO) d’une manière distribuée

➢ Tolérant aux pannes avec la réplication des données.

Année Universitaire 2021/2022 19

Système de fichiers classique

➢ Un système de fichiers permet de

▪ Gérer les répertoires et fichiers

o Gréer, copier, supprimer, renommer, déplacer
o Gréer les droits d’accès
▪ Les fichiers sont organisés dans une structure hiérarchique
dans des répertoires.

▪ Les dossiers et les fichiers sont stockés dans des unités de

stockage (Disque dur, disque amovibles, etc.) locales
organisés en partitions.

▪ Chaque OS dispose de son propre système de fichiers.

▪ Quand la quantité de données gérées atteint les limites de

stockage de la machine, on cherche à étendre les capacités en
ajoutant d’autres disques durs supplémentaires : Vertical
Scaling (Scalabilité Verticale).

Année Universitaire 2021/2022 20

HDFS

➢ HDFS est un système de fichiers

➢ Système de fichier distribué

➢ HDFS permet de combiner les capacités de

plusieurs machines distribués sous forme
d’un unique système très large.

➢ HDFS permet de combiner les capacités de

plusieurs machines distribués sous forme
d’un unique système très large. Horizontal scaling
➢ Il permet de créer des répertoires et stocker les
données dans des fichiers d’une manière
distribuée dans plusieurs machines.

➢ Caractéristiques de HDFS:
▪ Distribué
▪ Scalable Horizontalement
▪ Cost effective (Commencer par de simple machines)

▪ Faut Tolérant (Tolérant aux panes)

Année Universitaire 2021/2022 21

Architecture cluster Hadoop – Topologie maître esclave

▪ NameNode (Master Server)

▪ Resource Manager (Master server)

▪ DataNode (Slave Agent )

▪ Node Manager (Slave Agent)

Année Universitaire 2021/2022 22

Architecture cluster Hadoop – Topologie maître esclave

Année Universitaire 2021/2022 23

Architecture cluster Hadoop – Topologie maître esclave

➢ NameNode
▪ Maintient et gère les DataNodes Central machine
▪ Gère les métadonnées, par ex. les emplacements des blocs stockés, NameNode
la taille du fichier, les autorisations, la hiérarchie, etc.
▪ Reçoit périodiquement Heartbeat et blockreport de tous les DataNodes.

Metadata :
NameNode(Filename,NumReplicas,Block-ids,…)
e.g.
/users/orders/data/part-0, r:2, {1,3}
/users/orders/data/part-1, r:3, {2,4,5}
➢ DataNode
▪ Stocke les données,
▪ Envoie périodiquement un HeartBeat au NameNode pour
pour signaler sa présence ou de tout changement dans les blocs,
▪ Répondre aux demandes de lecture et d'écriture des clients

Rack1 Rack2 Rack3 Rack4

DataNodes (Commodity hardware)

Année Universitaire 2021/2022 24

Comment les données sont stockées dans HDFS ?

➢ HDFS est conçu pour stocker de manière fiable des fichiers très volumineux sur des
machines dans un grand cluster.

➢ Il stocke chaque fichier sous la forme d'une séquence de blocs ;

➢ Tous les blocs d'un fichier à l'exception du dernier bloc ont la même taille.

➢ La taille par défaut de chaque bloc (sauf le dernier) est de 128 Mo dans Hadoop 2.x
(64 Mo dans Hadoop 1.x)

➢ Exemple - Considérons le fichier « [Link] » de taille 356 Mo. Ci-dessous la

représentation de la façon dont il sera stocké sur HDFS :

[Link] split BLK 1 BLK 2 BLK 3

128 MB 128 MB 100 MB
356 MB

Année Universitaire 2021/2022 25

La réplication des blocs

➢ Les blocs d'un fichier sont répliqués pour la tolérance aux pannes.

➢ La taille de bloc et le facteur de réplication sont configurables par l’utilisateur.

➢ Une application peut spécifier le nombre de réplications d'un fichier.

➢ Le facteur de réplication peut être spécifié au moment de la création du fichier et

peut être modifié ultérieurement.

➢ La taille du bloc et le nombre de réplications sont configurables dans le fichier [Link].

Année Universitaire 2021/2022 26

La réplication des blocs

NameNode (Filename, NumReplicas, Block-idS, …)

/users/sales/data/ordes-0, r:2, {1,3}…
/users/sales/data/ordes-1, r:3, {2,4,5}…
Namenode

1 3 4 2 4 1 5 3 5

2 5 4 2

Datanodes Datanodes

Rack1 Rack2

Année Universitaire 2021/2022 27

Opérations d'écriture de données HDFS

HDFS Data Write Operations

Année Universitaire 2021/2022 28

HDFS

1. Le client Hadoop envoie une requête au NN pour demander de créer un fichier

2. Le NN procède quelques vérification: Existence, droits d’accès en utilisant le fichier FS Image

4. Le client écrit les données dans FSDataOutputStream

4. Pour chaque block de 128 MB, le client HDFS demande au NN l’allocation du block.

5. Le NN assigne un DN pour ce block.

6. Le streamer envoie les données du block au DN.

7. Une fois toutes les données sont écrites, le NN commit les modifications dans le
Système de fichier.

Année Universitaire 2021/2022 29

Opérations de lecture de données HDFS

HDFS Data Read Operations

Année Universitaire 2021/2022 30

Opérations de lecture de données HDFS

1. Le client contacte NN pour obtenir l'emplacement des blocs de données du fichier

qu'il veut lire.
2. Le NN renvoie la liste des adresses des DN pour les blocs de données.

3. Pour toute opération de lecture, HDFS tente de renvoyer le nœud avec le bloc de
données le plus proche du client. Ici, le plus proche fait référence à la proximité du réseau
entre le DN et le client.

4. Une fois que le client a la liste, il se connecte au DN le plus proche et commence à lire
le bloc de données à l'aide de Stream.

5. Une fois le bloc lu complètement, la connexion à DN est terminée et le DN qui

héberge le bloc suivant dans la séquence est identifié et le bloc de données est diffusé
en continu. Cela continue jusqu'à ce que le dernier bloc de données de ce fichier soit lu.

Année Universitaire 2021/2022 31

Hadoop: Les commandes shell

➢ Pour exécuter les commandes shell du Hadoop pour le système de fichier en utilise les
commandes suivantes :
▪ hadoop fs –commande ou hdfs dfs -commande

➢ La commande « hdfs dfs » est utilisée uniquement pour la manipulation du système de fichier
hadoop HDFS.
➢ « hadoop fs » couvre également une plus grande variété de données présentes sur les
plateformes externes. Ces plateformes externes inclues également les données du système de
fichier local.

Année Universitaire 2021/2022 32

Hadoop: Les commandes shell

➢ jps
▪ Commande pour afficher les processus Hadoop.

➢ hadoop version

▪ Affiche la version du Hadoop.

➢ hadoop fs –help cat
▪ Affiche l’aide sur une commande.

➢ hdfs dfs -put <localsrc> ... <HDFS dst>

➢ hdfs dfs -copyFromLocal [-f] <localsrc> <HDFS dst>
▪ Permet de copier une seule src ou plusieurs srcs du système de fichiers local vers le système de
fichiers de destination. Lit également l'entrée de stdin et écrit dans le système de fichiers de
destination.

Année Universitaire 2021/2022 33

Hadoop: Les commandes shell

➢ hdfs dfs -get <HDFS src> <localdst>

➢ hdfs dfs -copyToLocal <HDFS src> <localdst>
▪ Copier les fichiers dans le système de fichiers local.

➢ hdfs dfs -moveFromLocal <localsrc> <HDFS dst>

▪ Similaire à la commande put, sauf que la source localsrc est supprimée après sa copie.

➢ hdfs dfs -cat <path_file>

▪ Affiche le contenu du fichier.

Année Universitaire 2021/2022 34

Hadoop: Les commandes shell

➢ hdfs dfs -cp [-f] <HDFS src> <HDFS dest>

▪ Copie les fichiers de la source vers la destination. Cette commande autorise également plusieurs
sources, auquel cas la destination doit être un répertoire.

➢ hdfs dfs -mv <HDFS src> <HDFS dest>

▪ Déplace les fichiers de la source à la destination. Cette commande autorise également plusieurs
sources, auquel cas la destination doit être un répertoire. Le déplacement de fichiers entre les
systèmes de fichiers n'est pas autorisé.

➢ hdfs dfs -rm [-skipTrash] <Path>

▪ Supprimer les fichiers et les répertoires non vides

▪ Si l'option -skipTrash est spécifiée, la corbeille, si elle est activée, sera ignorée et le ou les fichiers
spécifiés seront immédiatement supprimés.

Année Universitaire 2021/2022 35

Hadoop: Les commandes shell

➢ hdfs dfs –rmr [-skipTrash] <path>

▪ Version récursive de rm. Si l'option -skipTrash est spécifiée, la corbeille, si elle est activée, sera
ignorée et le ou les fichiers spécifiés seront immédiatement supprimés.

➢ hdfs dfs -rmdir <path>

▪ Supprimer un répertoire vide

➢ hdfs dfs -mkdir [-p] <path>

▪ Crée des dossiers dans HDFS

➢ hdfs dfs -ls <arg>

▪ Affiche le contenu d’un répertoire

Année Universitaire 2021/2022 36

Hadoop: Les commandes shell

➢ hdfs dfs -touchz <path_file>

▪ Créé un fichier vide.

➢ hdfs dfs -expunge

▪ Vider la corbeille.