Scribd
Importer
55 vues2 pages

Installation de PySpark avec Docker

Le document décrit les étapes pour installer et configurer PySpark dans un conteneur Docker, copier des fichiers vers et depuis le conteneur, et arrêter le conteneur une fois le travail terminé.

Transféré par

haddoumi imane
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd
55 vues2 pages

Installation de PySpark avec Docker

Le document décrit les étapes pour installer et configurer PySpark dans un conteneur Docker, copier des fichiers vers et depuis le conteneur, et arrêter le conteneur une fois le travail terminé.

Transféré par

haddoumi imane
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

TP : Hadoop

Iyad LAHSEN-CHERIF
lahsencherif@[Link]
INE 2

1 Installation de PySpark
Depuis votre terminal (CMD), installer pyspark en utilisant la commande
docker run -it -p 8888:8888 jupyter/pyspark-notebook
docker run est une commande docker qui permet de créer un conteneur à
partir d’une image et de le lancer par la suite.
Une fois le téléchargement terminer,

• Vérifiez sur Docker Desktop que :

– Une image de pyspark est créée avec le nom jupyter/pyspark-


notebook
– Un conteneur de pyspark est lancé.

• Copiez le dernier lien ([Link]:8888/lab?token xxx) sur votre naviga-


teur. Ceci va vous permettre de lancer le Jupyter-notebook et pouvoir
expérimenter pyspark. Note : vous devez garder votre terminal ouvert
avant de quitter votre environnement Jupyter.

Vous avez maintenant un environnement Jupyter Lab avec PySpark pré-


configuré, fonctionnant dans un conteneur docker.

Copiez le Jupyter Notebook (ipynb) et Dataset (csv) depuis votre PC lo-


cal vers le container. Depuis un autre terminal (CMD), utilisez la commande :
docker cp dossier local pc nom container:chemin/dossier/dans/le/container

1
Exemple :
docker cp [Link] hardcore elbakyan:/home/jovyan/work
docker cp [Link] hardcore elbakyan:/home/jovyan/work

• Pour trouvez le nom du container, ouvrez Docker Desktop, et checker


le nom affecté à votre container pyspark.

• Pour trouvez le chemin ou mettre les fichiers sur le container, connectez


vous au niveau du container depuis terminal avec la commande docker
exec -it nom container bash. Puis, à l’aide de la commande pwd depuis
le bash du container. Ceci vous donnera le chemin (le nom affecté à
votre home). Exemple :
docker cp [Link] hardcore elbakyan:/home/jovyan/work

2 A la fin du TP
A la fin du TP, enregistrez le travail effectué dans le container sur votre PC
(en local). Pour récupérer, en local sur votre PC, les fichiers que vous avez
créé sur votre container, utilisez la commande (depuis CMD).
docker cp nom container:chemin/dossier/dans/le/container dossier local pc
Exemple : docker cp hardcore elbakyan:/home/jovyan/ TP spark

Vous aimerez peut-être aussi