Scribd
Importer
18 vues3 pages

Configuration d'un Cluster Hadoop avec Docker

Le document décrit un examen pratique pour les étudiants en informatique, axé sur la configuration et la manipulation d'un cluster Hadoop à l'aide de Docker. Les tâches incluent la configuration du cluster, la manipulation du système de fichiers HDFS, l'analyse des services HDFS, et l'accès à l'interface web du Namenode. Les critères d'évaluation et des bonus pour des tâches supplémentaires sont également fournis.

Transféré par

Molka Hamouda
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd
18 vues3 pages

Configuration d'un Cluster Hadoop avec Docker

Le document décrit un examen pratique pour les étudiants en informatique, axé sur la configuration et la manipulation d'un cluster Hadoop à l'aide de Docker. Les tâches incluent la configuration du cluster, la manipulation du système de fichiers HDFS, l'analyse des services HDFS, et l'accès à l'interface web du Namenode. Les critères d'évaluation et des bonus pour des tâches supplémentaires sont également fournis.

Transféré par

Molka Hamouda
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

Ministère de Enseignante :

Examen TP
l’Enseignement Supérieur Takwa Ben Aïcha

et de la Recherche Gader Année

Scientifique, université de universitaire :

Monastir, ISIMA 2024/2025

Objectif

Tester la capacité des étudiants à configurer et manipuler un cluster Hadoop à 4 nœuds (1 master et
3 slaves) en utilisant Docker, ainsi que leur aptitude à interagir avec le système de fichiers
distribué HDFS.

Tâches à Réaliser

1. Configuration du Cluster Hadoop

1. Téléchargez l’image Docker nécessaire pour Hadoop :

2. Créez un réseau Docker nommé hadoop_cluster.

3. Configurez les conteneurs comme suit :

o Nœud maître (namenode) :

▪ Nom : hadoop-master

▪ Ports exposés : 50070, 8088

o Nœuds esclaves (datanodes) :

▪ hadoop-slave1

▪ hadoop-slave2

▪ hadoop-slave3

o Connectez tous les conteneurs au réseau hadoop_cluster.

2. Manipulation HDFS

1. Démarrez HDFS sur le cluster.

2. Effectuez les tâches suivantes sur le système HDFS :

▪ Créez un répertoire /exam dans HDFS.

▪ Copiez le fichier texte “[Link]” depuis votre système local vers le répertoire
/exam dans HDFS.
▪ Affichez le contenu du fichier copié sur HDFS.
1

▪ Renommez le fichier dans HDFS.

▪ Copiez le fichier renommé vers un autre répertoire /exam_backup dans HDFS. ▪

Supprimez le fichier original dans le répertoire /exam.

▪ Listez les contenus de /exam et /exam_backup.

3. Analyse et Configuration

1. Identifiez et expliquez les rôles des services principaux de HDFS (Namenode, Datanode,
Secondary Namenode).

2. Configurez et testez un facteur de réplication différent sur un fichier spécifique dans HDFS.

4. Interfaces Web

1. Accédez à l'interface web du Namenode ([Link] et prenez une capture


d’écran montrant l’état du cluster.

Critères d'Évaluation

1. Configuration correcte du cluster Docker : 7 points.

2. Manipulation HDFS (commandes et résultats) : 7 points.

3. Analyse et modification des configurations : 2 points.

4. Présentation et clarté du rapport : 4 points.

Bonus

1. Implémentez une tâche MapReduce simple (comme un compte des mots) sur le cluster créé
: +3 points.

Annexe (commandes) :

▪ Créer et lancer un conteneur Docker

➢ docker run -itd --net=<network_name> -p <host_port>:<container_port> --name


<container_name> --hostname <hostname> <image_name>

▪ Démarrer les services HDFS

➢ [Link]

▪ Modifier le facteur de réplication :

➢ hadoop fs -setrep -w <replication_factor> <file_path>


2

Vous aimerez peut-être aussi