Scribd
Importer
11 vues1 page

Exécution d'un Job MapReduce sur Hadoop

Ce document décrit comment lancer un job MapReduce complet sur Hadoop en spécifiant les mappers, les reducers, les fichiers d'entrée et de sortie.

Transféré par

edsoftad edsoftad
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats DOCX, PDF, TXT ou lisez en ligne sur Scribd
11 vues1 page

Exécution d'un Job MapReduce sur Hadoop

Ce document décrit comment lancer un job MapReduce complet sur Hadoop en spécifiant les mappers, les reducers, les fichiers d'entrée et de sortie.

Transféré par

edsoftad edsoftad
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats DOCX, PDF, TXT ou lisez en ligne sur Scribd

TP3 Map REDUCE

Partie III : Job MapReduce


Pour lancer un job entier sur Hadoop, il faut faire appel au mapper puis au reducer sur un fichier donne
en entrée, et obtenir à la fin un resultat, directement sur HDFS. Pour faire cela, l'instruction à exécuter est
:

hadoop jar Training/CDH4/hadoop-2.0.0-cdh4.0.0/share/hadoop/tools


/lib/[Link] -mapper [Link] -reducer
[Link] -file [Link] -file [Link] -input myinput -output
joboutput

hadoop jar
Training/CDH4/hadoop-2.0.0-cdh4.0.0/share/hadoop/tools/li
b/[Link] -mapper
[Link] -reducer [Link] -file [Link] -file
[Link] -input [Link] -output joboutput
il faut changer le numéro de job. S’il existe le job ça ne se lance pas

Cette instruction donne en parametres les fichiers correspondant aux Mappers et Reducers, aussi bien
que les repertoires contenant le fichier d'entree (myinput) et la sortie a generer (joboutput). Le
repertoire de sortie, apres execution, contiendra un fichier appele part-00000, representant la sortie
desiree.

Vous aimerez peut-être aussi