Scribd
Carregar
6 visualizações2 páginas

Guia de Instalação do Apache Spark

O documento é um tutorial sobre como configurar o Apache Spark, incluindo pré-requisitos como Java JDK, Python e Scala. Ele detalha o processo de instalação do Java, download do Apache Spark, configuração de variáveis de ambiente e teste da instalação. Além disso, fornece um exemplo de execução de um script PySpark.

Enviado por

mbs38
Direitos autorais
© All Rights Reserved
Levamos muito a sério os direitos de conteúdo. Se você suspeita que este conteúdo é seu, reivindique-o aqui.
Formatos disponíveis
Baixe no formato PDF, TXT ou leia on-line no Scribd
6 visualizações2 páginas

Guia de Instalação do Apache Spark

O documento é um tutorial sobre como configurar o Apache Spark, incluindo pré-requisitos como Java JDK, Python e Scala. Ele detalha o processo de instalação do Java, download do Apache Spark, configuração de variáveis de ambiente e teste da instalação. Além disso, fornece um exemplo de execução de um script PySpark.

Enviado por

mbs38
Direitos autorais
© All Rights Reserved
Levamos muito a sério os direitos de conteúdo. Se você suspeita que este conteúdo é seu, reivindique-o aqui.
Formatos disponíveis
Baixe no formato PDF, TXT ou leia on-line no Scribd

Tutorial de Configuração do Apache Spark

Tutorial de Configuração do Apache Spark

1. PRÉ-REQUISITOS
- Java JDK 8 ou superior
- Python 3 (opcional, se fores usar PySpark)
- Scala (opcional, se fores usar Spark com Scala)
- Hadoop (opcional)
- Ambiente UNIX-like (Linux/macOS/WSL no Windows)

2. INSTALAR O JAVA
Verifica se tens o Java instalado:
java -version
Se não tiveres, instala-o (Ubuntu):
sudo apt update
sudo apt install openjdk-11-jdk

3. DOWNLOAD DO APACHE SPARK


1. Vai a: [Link]
2. Escolhe a versão estável.
3. Exemplo de download:
wget [Link]
tar -xvzf [Link]
mv spark-3.5.0-bin-hadoop3 ~/spark

4. CONFIGURAÇÃO DAS VARIÁVEIS DE AMBIENTE


Adiciona ao ficheiro ~/.bashrc ou ~/.zshrc:
export SPARK_HOME=~/spark
export PATH=$SPARK_HOME/bin:$PATH
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
Depois aplica:
source ~/.bashrc
5. TESTAR A INSTALAÇÃO
spark-shell # Para Scala
pyspark # Para Python

6. EXECUTAR UM EXEMPLO COM PYSPARK


Cria um ficheiro [Link]:
from [Link] import SparkSession

spark = [Link]("Exemplo").getOrCreate()
dados = [Link](1, 100).toDF("número")
[Link]()

Corre com:
spark-submit [Link]

Para mais informações: [Link]

Você também pode gostar