0% acharam este documento útil (0 voto)
2 visualizações12 páginas

Roadmap Data Engineer

O documento apresenta um roadmap detalhado para a transição de carreira de Analista MIS para Data Engineer, com duração estimada de 18 a 22 meses e investimento de aproximadamente R$ 600. Ele inclui fases de aprendizado em Python, SQL, AWS, e ferramentas de engenharia de dados como Airflow e DBT, além de requisitos de hardware e entregáveis específicos para cada fase. O plano é dividido em etapas que abrangem desde a consolidação de conhecimentos básicos até a orquestração de pipelines de dados.

Enviado por

halsoares
Direitos autorais
© All Rights Reserved
Levamos muito a sério os direitos de conteúdo. Se você suspeita que este conteúdo é seu, reivindique-o aqui.
Formatos disponíveis
Baixe no formato DOCX, PDF, TXT ou leia on-line no Scribd
0% acharam este documento útil (0 voto)
2 visualizações12 páginas

Roadmap Data Engineer

O documento apresenta um roadmap detalhado para a transição de carreira de Analista MIS para Data Engineer, com duração estimada de 18 a 22 meses e investimento de aproximadamente R$ 600. Ele inclui fases de aprendizado em Python, SQL, AWS, e ferramentas de engenharia de dados como Airflow e DBT, além de requisitos de hardware e entregáveis específicos para cada fase. O plano é dividido em etapas que abrangem desde a consolidação de conhecimentos básicos até a orquestração de pipelines de dados.

Enviado por

halsoares
Direitos autorais
© All Rights Reserved
Levamos muito a sério os direitos de conteúdo. Se você suspeita que este conteúdo é seu, reivindique-o aqui.
Formatos disponíveis
Baixe no formato DOCX, PDF, TXT ou leia on-line no Scribd

ROADMAP DE TRANSIÇÃO DE CARREIRA · Analista MIS → Data Engineer

ROADMAP COMPLETO
Analista MIS → Data Engineer
Transição de carreira · Do zero ao mercado · ~18–22 meses · ~R$ 600

✅ SUA BAGAGEM ATUAL


Habilidades sólidas: Power BI · ETL · Power Query · Excel Profissional · Lógica de Dados · Modelagem básica
Em andamento: SQL · Python · Linux/SSH (lab ativo)
Já adquirido: 6 cursos DSA pagos · 3 notebooks configurados · biblioteca técnica completa
Investimento restante: ~R$ 600 (exame AWS) + tempo e disciplina

Confidencial · uso pessoal Página PAGE


ROADMAP DE TRANSIÇÃO DE CARREIRA · Analista MIS → Data Engineer

💻 Sua Estação de Trabalho — Funções por Máquina


Máquina Função Principal Ferramentas
WSL2, VirtualBox, VS Code, Python,
🖥 Dell Vostro i7 13a Lab principal · desenvolvimento · VMs
PostgreSQL, Airflow, DBT, Terraform,
· 16GB · Win11 · prática pesada
AWS Free Tier

🐧 HP Pavilion AMD · Servidor SSH local · alvo de prática de OpenSSH Server, cron jobs, scripts
4GB · Linux Mint sysadmin Python remotos, monitoramento

Coursera, DSA, AWS Skill Builder,


🍎 MacBook M1 8GB Estudo teórico · videoaulas · simulados
Obsidian, simulados CompTIA, leitura
· 512GB · macOS · mobilidade
de livros

Confidencial · uso pessoal Página PAGE


ROADMAP DE TRANSIÇÃO DE CARREIRA · Analista MIS → Data Engineer

📊 Visão Geral — Cronograma Completo


# Conteúdo Livro Paralelo Máquina Duração Custo
Python para
Consolidar Base
Análise de Dados
Python Pandas + Dell WSL2 +
0 (McKinney) Shell 4–6 sem R$ 0
SQL avançado + Mac (leitura)
Script Profissional
Linux
(caps. 1–7)

Dell WSL2
SQL para Análise de SQL para Análise
(prática) Mac
1 Dados e Data de Dados 6–8 sem Já pago
(videoaulas
Science — DSA (O'Reilly)
DSA)

Nenhum — AWS
AWS Cloud Dell (labs Free
Skill Builder +
2 Practitioner Tier) Mac (Skill 6–8 sem ~R$ 600
Free Tier na
Certificação oficial Builder)
prática
Dell WSL2
Engenharia de Dados Desenvolvendo
(pipeline) HP
3 Airbyte + DBT + SQL SQL Moderno 8–10 sem Já pago
(servidor alvo)
— DSA (O'Reilly/Novatec)
Mac (videoaulas)

Nenhum — Dell WSL2 +


Infraestrutura Como
documentação Free Tier Mac
4 Código Terraform + 6–8 sem Já pago
oficial Terraform + (videoaulas
AWS + Azure — DSA
AWS DSA)

Dell WSL2
Orquestração com Python Fluente
(DAGs) HP
5 Apache Airflow — (O'Reilly) caps. 6–8 sem Já pago
(executor) Mac
DSA avançados
(videoaulas)

Banco de Dados Dell (integração)


Plataforma de Dados
6 (modelagem Mac (videoaulas 8–10 sem Já pago
Snowflake — DSA
dimensional) DSA)

Stack completa de 7 livros da sua 3 máquinas ~18–22


Total ~R$ 600
Data Engineering estante integradas meses

Confidencial · uso pessoal Página PAGE


ROADMAP DE TRANSIÇÃO DE CARREIRA · Analista MIS → Data Engineer

FASE 0 — Consolidar a Base


⏱ 4–6 semanas · Paralelo ao trabalho atual · R$ 0
Antes de entrar nos cursos da DSA você precisa chegar com Python e SQL em nível que permita absorver
Terraform, DBT e Airflow de verdade. Entrar nesses cursos sem essa base é garantia de retrabalho.

📘 Curso / Estudo
Componente O quê Onde / Máquina Entregável / Meta
Kaggle Learn — Pandas
🖥 Dell WSL2 VS Code + Repositório GitHub python-
Python DataFrames, merge,
Jupyter Execução de studies com notebooks
(Pandas) groupby, reshape, leitura
scripts comentados
CSV/JSON/API

Mode Analytics SQL


Tutorial CTEs, Window Repositório GitHub sql-
SQL 🖥 Dell WSL2 PostgreSQL
Functions, studies com queries por
Avançado local DBeaver ou psql
ROW_NUMBER, LAG, tópico
EXPLAIN

The Linux Command


🖥 Dell WSL2 (prática) 🐧
Line (Shotts) gratuito Lab SSH Dell→HP Script
Linux Shell HP via SSH (alvo) 🍎 Mac
online caps. 1–7, 9, 10, [Link] funcionando
(leitura PDF)
17, 24–25

GitHub Skills 🖥 Dell WSL2 Todos os Perfil GitHub com primeiros


Git GitHub
[Link] gratuito commits partem daqui repositórios públicos

📚 Livros em Paralelo
Componente O quê Onde / Máquina Entregável / Meta
Python para Análise de
Dados Wes McKinney 🍎 Mac (leitura) 🖥 Dell Capítulos 5–10 (Pandas core)
Livro 1
(O'Reilly) — da sua (prática dos exemplos) Exercicios no Jupyter
estante —
Shell Script Profissional
🍎 Mac (leitura) 🐧 HP Capítulos 1–8 Scripts básicos
Livro 2 Aurério Marinho Jargas
(execução dos scripts) no HP via SSH
— da sua estante —

🎯 Entregáveis da Fase 0
• Repositório [Link]/seu-usuario/python-studies com notebooks Pandas comentados
• Repositório [Link]/seu-usuario/sql-studies com queries avançadas por tópico
• Lab SSH Dell→HP funcionando com script [Link] coletando métricas do HP
• Perfil GitHub com README profissional apresentando seus objetivos de carreira

Confidencial · uso pessoal Página PAGE


ROADMAP DE TRANSIÇÃO DE CARREIRA · Analista MIS → Data Engineer

FASE 1 — SQL Para Análise de Dados e Data


Science
⏱ 6–8 semanas · 96 horas · Já pago (DSA)
SQL sólido é pré-requisito real para todos os outros cinco cursos. DBT é essencialmente SQL com
versionamento. Airflow orquestra queries SQL. Snowflake é um data warehouse movido a SQL. Você não
aproveita nenhum deles sem SQL avançado.

📘 Curso Principal
Componente O quê Onde / Máquina Entregável / Meta
Data Science Academy
🍎 Mac Videoaulas + Conclusão do curso
Plataforma [Link]
slides do curso DSA certificado DSA em mãos
SQL para Análise de Dados

PostgreSQL local Replicar Queries do curso


🖥 Dell WSL2 psql /
Prática todos os exercícios do curso executadas e salvas no
DBeaver bancos locais
localmente GitHub

Kaggle — dataset público 🖥 Dell WSL2 PostgreSQL


Mini projeto de análise
Dataset Real de sua escolha (negócios, + Python Jupyter
exploratória com SQL puro
logística, RH, finanças) Notebook

📚 Livro em Paralelo
Componente O quê Onde / Máquina Entregável / Meta
SQL para Análise de
Capítulos completos
Dados Cathy Tanimura 🍎 Mac (leitura) 🖥 Dell
Livro Exercicios no PostgreSQL
(O'Reilly/Novatec) — da (prática de cada capítulo)
local
sua estante —

🎯 Entregáveis da Fase 1
• Repositório sql-portfolio com queries organizadas por complexidade crescente
• Projeto de análise: dataset real, perguntas de negócio, respostas em SQL puro
• README documentando técnicas usadas: CTEs, Window Functions, subqueries
• Certificado DSA de SQL para Análise de Dados

Confidencial · uso pessoal Página PAGE


ROADMAP DE TRANSIÇÃO DE CARREIRA · Analista MIS → Data Engineer

FASE 2 — AWS Cloud Practitioner


⏱ 6–8 semanas · Exame online · ~R$ 600 (único custo do roadmap)
O curso de Terraform da DSA provisiona S3, RDS, EC2, IAM e VPC. Sem entender esses serviços antes,
você vai decorar sintaxe sem entender o que está construindo. Com a certificação, cada bloco Terraform
fará sentido imediato.

📘 Estudo e Laboratório
Componente O quê Onde / Máquina Entregável / Meta
AWS Skill Builder Cloud
Conclusão de todos os
Practitioner Essentials 🍎 Mac Navegador +
Teoria módulos do Cloud
[Link] — módulos interativos
Practitioner
gratuito
AWS Free Tier — 12
meses S3 bucket · RDS 🖥 Dell Navegador + AWS Script Python boto3 lendo
Lab Prático
PostgreSQL EC2 · IAM CLI no WSL2 CSV e salvando no S3
roles · VPC

ExamTopics + AWS
🍎 Mac Navegador 3 Score acima de 80% antes de
Simulados Official Practice
simulados completos agendar o exame
Questions gratuitos

Pearson VUE — online


🖥 Dell Ambiente silencioso Certificação AWS Cloud
Exame em casa CLF-C02 · ~90
câmera ligada Practitioner no LinkedIn
minutos [Link]

📚 Livro em Paralelo
Componente O quê Onde / Máquina Entregável / Meta
Nenhum livro físico 🍎 Mac: AWS Skill Builder Portfolio: repositório aws-labs
Livro nesta fase Foco total na 🖥 Dell: Free Tier labs com scripts boto3
prática AWS boto3 + Python documentados

🎯 Entregáveis da Fase 2
• Certificação AWS Cloud Practitioner (CLF-C02) — adicionada ao LinkedIn
• Repositório aws-labs: scripts Python com boto3 interagindo com S3, RDS e EC2
• Conta AWS Free Tier com infra básica provisionada manualmente via console
• AWS CLI configurada no WSL2 do Dell

Confidencial · uso pessoal Página PAGE


ROADMAP DE TRANSIÇÃO DE CARREIRA · Analista MIS → Data Engineer

FASE 3 — Engenharia de Dados: Airbyte + DBT +


SQL
⏱ 8–10 semanas · 96 horas · Já pago (DSA)
Esta é a fase central do roadmap. Aqui você para de ser analista e começa a pensar como engenheiro de
dados. Airbyte faz industrialmente o que você faz hoje no Power Query. DBT transforma o SQL avançado
em modelos versionados e testáveis.

📘 Curso Principal
Componente O quê Onde / Máquina Entregável / Meta
Engenharia de Dados
🍎 Mac (videoaulas) 🖥 Dell
Airbyte DSA Módulo Airbyte Connector funcionando
WSL2 (Airbyte local
Ingestão Extração de APIs + extração de API pública real
Docker)
bancos

Engenharia de Dados
DBT DSA Módulo DBT 🖥 Dell WSL2 DBT + Modelos DBT com testes e
Transformação Modelos, testes, PostgreSQL local documentação gerada
documentação

Integração completa
Airbyte → PostgreSQL 🖥 Dell WSL2 🐧 HP como Repositório elt-pipeline
Pipeline ELT
→ DBT Fluxo de ponta a servidor alvo de destino funcionando end-to-end
ponta

📚 Livros em Paralelo
Componente O quê Onde / Máquina Entregável / Meta
Desenvolvendo SQL
Moderno 🍎 Mac (leitura) 🖥 Dell Modelagem analítica Star
Livro 1
(O'Reilly/Novatec) — da (aplicação no DBT) schema no projeto ELT
sua estante —

Web Scraping com Connector customizado no


🍎 Mac (leitura) 🖥 Dell
Livro 2 Python (O'Reilly) — da Airbyte usando Python +
(scripts de extração)
sua estante — scraping

🎯 Entregáveis da Fase 3
• Repositório elt-pipeline: Airbyte + DBT + PostgreSQL documentados com diagrama de arquitetura
• Modelos DBT com testes automatizados e documentação gerada (dbt docs generate)
• Connector Airbyte extraindo dados reais de uma API pública gratuita
• README profissional explicando decisões de arquitetura — nível de portfólio pleno

Confidencial · uso pessoal Página PAGE


ROADMAP DE TRANSIÇÃO DE CARREIRA · Analista MIS → Data Engineer

FASE 4 — Infraestrutura Como Código: Terraform +


AWS + Azure
⏱ 6–8 semanas · 72 horas · Já pago (DSA)
Data Engineers que sabem Terraform são raros. A maioria sabe construir pipelines mas depende do time
de infra para provisionar recursos. Você vai conseguir fazer os dois — o mercado chama isso de Data
Engineer full-cycle.

📘 Curso Principal
Componente O quê Onde / Máquina Entregável / Meta
IaC com Terraform DSA 🍎 Mac (videoaulas) 🖥 Dell
Terraform Infra AWS provisionada por
Provedores, resources, WSL2 Terraform + AWS
Core código: S3 + RDS + IAM
variables, outputs, state CLI

Módulo AWS do curso 🖥 Dell WSL2 AWS Free


AWS terraform apply cria tudo ·
EC2, S3, RDS, VPC, Tier terraform
Terraform destroy destrói reproducível
IAM com Terraform apply/destroy

Módulo Azure +
Compreensão do
Azure + Databricks exposure à 🍎 Mac (videoaulas) 🖥 Dell
ecossistema Databricks no
Databricks segunda nuvem e (Azure free credits)
contexto de dados
processamento

📚 Livro em Paralelo
Componente O quê Onde / Máquina Entregável / Meta
Documentação oficial
🍎 Mac (leitura) 🖥 Dell Repositório terraform-data-
Referência Terraform + AWS
(aplicação imediata) infra no GitHub
[Link]

🎯 Entregáveis da Fase 4
• Repositório terraform-data-infra: código IaC provisionando S3 + RDS + IAM na AWS
• README com terraform apply / terraform destroy funcionando do zero
• Pipeline da Fase 3 (Airbyte + DBT) rodando na infra provisionada pelo Terraform
• Compreensão de Databricks como ambiente de processamento distribuído

Confidencial · uso pessoal Página PAGE


ROADMAP DE TRANSIÇÃO DE CARREIRA · Analista MIS → Data Engineer

FASE 5 — Orquestração com Apache Airflow


⏱ 6–8 semanas · 84 horas · Já pago (DSA)
Com o pipeline Airbyte+DBT da Fase 3, agora você precisa orquestrar: quando rodar, em que ordem, o que
fazer se falhar, como monitorar. Airflow é o maestro de todo o pipeline. DAGs são escritas em Python — é
aqui que o Python se torna trabalho real.

📘 Curso Principal
Componente O quê Onde / Máquina Entregável / Meta
Orquestração DSA
DAGs, Operators, 🍎 Mac (videoaulas) 🖥 Dell DAG básica rodando no
Airflow Core
Sensors Connections, WSL2 Airflow local Docker Airflow local
XComs
Escrita de DAGs reais 🖥 Dell WSL2 🐧 HP como DAG completa com
DAGs Python orquestrando Airbyte e executor de tarefas tratamento de erros e logs
DBT end-to-end remotas estruturados

Airflow UI · alertas SLAs


Monitor 🖥 Dell (Airflow UI no Pipeline monitorado com
· retries notificações de
amento navegador) 🐧 HP (worker) alertas configurados
falha

📚 Livro em Paralelo
Componente O quê Onde / Máquina Entregável / Meta
Python Fluente Luciano
🍎 Mac (leitura nos DAGs escritas com Python
Ramalho (O'Reilly) — da
Livro intervalos) 🖥 Dell idiomático qualidade de
sua estante — caps.
(aplicação nas DAGs) produção
avançados

🎯 Entregáveis da Fase 5
• DAG do Airflow orquestrando o pipeline completo: Airbyte → DBT → notificação
• Tratamento de falhas com retries, alertas e logs estruturados
• Repositório airflow-dags com DAGs documentadas e testadas
• Pipeline agendado rodando automaticamente no Dell com o HP como worker remoto

Confidencial · uso pessoal Página PAGE


ROADMAP DE TRANSIÇÃO DE CARREIRA · Analista MIS → Data Engineer

FASE 6 — Plataforma de Dados com Snowflake


⏱ 8–10 semanas · 96 horas · Já pago (DSA)
Snowflake é o data warehouse cloud-native mais adotado em empresas enterprise no Brasil. Ao substituir o
PostgreSQL local pelo Snowflake, seu pipeline atinge a stack exata usada em produção nas maiores
empresas de dados do país.

📘 Curso Principal
Componente O quê Onde / Máquina Entregável / Meta
Plataforma de Dados
🍎 Mac (videoaulas) 🖥 Dell Conta Snowflake com dados
Snowflake DSA Arquitetura, Virtual
(Snowflake free trial 30 carregados e queries
Core Warehouses Stages,
dias) rodando
Streams, Tasks
DBT + Snowflake
🖥 Dell WSL2 DBT
Integração Substituir PostgreSQL Modelos DBT rodando no
[Link] apontando pro
DBT pelo Snowflake no Snowflake
Snowflake
pipeline

Stack final integrada 🖥 Dell (orquestração) 🐧


Pipeline Data platform completa ·
Airbyte→Snowflake→DBT HP (workers) 🍎 Mac
Completo portfólio de nível pleno
→Airflow→Terraform (monitoramento)

📚 Livro em Paralelo
Componente O quê Onde / Máquina Entregável / Meta
Banco de Dados
(modelagem 🍎 Mac (leitura) 🖥 Dell Modelagem star schema no
Livro
dimensional) — da sua (aplicação no Snowflake) Snowflake com DBT
estante —

🎯 Entregáveis da Fase 6 — Portfólio Final


• Repositório data-platform: stack completa documentada e reproduzível
• Pipeline end-to-end: Airbyte → Snowflake → DBT → Airflow → Terraform provisionando tudo
• Diagrama de arquitetura profissional no README
• Este projeto é o que você apresenta em qualquer entrevista de Data Engineering

Confidencial · uso pessoal Página PAGE


ROADMAP DE TRANSIÇÃO DE CARREIRA · Analista MIS → Data Engineer

🏆 Portfólio e Estratégia de Mercado


Repositórios GitHub — Progressão por Fase
Fase Repositório O que demonstra Nível de mercado
Python Pandas, SQL
0 python-studies + sql-studies Estudante disciplinado
avançado, Git

Análise com SQL puro,


1 sql-portfolio Analista de dados
documentação

Python + boto3 + cloud


2 aws-labs Cloud fundamentals
AWS

Airbyte + DBT +
3 elt-pipeline Data Engineer Jr.
PostgreSQL
IaC, provisionamento,
4 terraform-data-infra Data Engineer Jr./Pleno
reproducibilidade

Orquestração, Python
5 airflow-dags Data Engineer Pleno
avançado, resiliência

6 data-platform Stack completa end-to-end Data Engineer Pleno

💼 Onde se Candidatar
Empresas que contratam Data Engineers com esse perfil no Brasil:
• Consultorias tech: Accenture, IBM, Capgemini, Atos, Stefanini — contratam muito e valorizam certificações
• Scale-ups: Nubank, iFood, Mercado Livre, Loft, QuintoAndar — valorizam portfólio prático
• Empresas de dados: dbt Labs partners, Snowflake partners, consultorias de BI
• Multinacionais com CDO (Chief Data Officer): Ambev, Itaú, BTG, Magazine Luiza

💰 Faixa Salarial Realista — São Paulo 2025


Nível Faixa SP (CLT) Faixa Remoto BR Quando acessível
Analytics Engineer Jr. R$ 5.000–8.000 R$ 6.000–10.000 Após fases 0–3

Data Engineer Jr. R$ 6.000–9.000 R$ 7.000–12.000 Após fases 0–4

Data Engineer Pleno R$ 12.000–20.000 R$ 15.000–25.000 Após fases 0–6

Data Engineer Sênior R$ 22.000–40.000+ USD 60k–120k/ano 2–3 anos de experiência

Confidencial · uso pessoal Página PAGE


ROADMAP DE TRANSIÇÃO DE CARREIRA · Analista MIS → Data Engineer

📌 Regras para Não Perder o Rumo


As 5 regras inegociáveis
• Cada fase tem um entregável. Não avance para a próxima fase sem o entregável estar no GitHub.
• Estude no mínimo 1 hora por dia nos dias úteis e 3 horas em cada dia de fim de semana.
• Nunca assista a uma videoaula sem abrir o terminal em paralelo. Aprendizado ativo, não passivo.
• Todo código vai para o GitHub no mesmo dia. Commit pequeno e frequente é hábito de engenheiro.
• O MacBook é para estudo e leitura. O Dell é para prática. O HP é para ser seu servidor. Não misture.

Sinais de que você está no caminho certo


• Você consegue explicar a diferença entre ELT e ETL com exemplos práticos
• Você consegue criar um modelo DBT do zero com testes e documentação
• Você consegue provisionar um bucket S3 com Terraform e destruir sem resíduos
• Você consegue escrever uma DAG do Airflow que trata falhas e envia alertas
• Seu GitHub tem commits regulares nas últimas 12 semanas

Sinais de alerta — pause e reavalie


• Você está assistindo às videoaulas sem executar nada — pare e abra o terminal
• Você travou numa fase por mais de 3 semanas — peça ajuda, não pule
• Você está acumulando cursos sem entregar projetos — entregáveis primeiro
• Você não tem nenhum repositório público depois de 30 dias de estudo

Você não está começando do zero.


Está redirecionando o que já construiu.
~R$ 600 · ~18 meses · uma carreira completamente diferente.

Confidencial · uso pessoal Página PAGE

Você também pode gostar