Scribd
Importer
28 vues2 pages

Devenir Data Engineer : Guide Complet

Le document décrit le parcours et les compétences nécessaires pour devenir Data Engineer, en détaillant les étapes de formation sur une période de 12 mois. Les étapes incluent l'apprentissage des fondations techniques, des bases de données, du traitement des données, des pipelines Big Data, et des compétences en cloud et DevOps. Il souligne également l'importance de projets pratiques pour construire un portfolio.

Transféré par

coulibaly adama
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd
28 vues2 pages

Devenir Data Engineer : Guide Complet

Le document décrit le parcours et les compétences nécessaires pour devenir Data Engineer, en détaillant les étapes de formation sur une période de 12 mois. Les étapes incluent l'apprentissage des fondations techniques, des bases de données, du traitement des données, des pipelines Big Data, et des compétences en cloud et DevOps. Il souligne également l'importance de projets pratiques pour construire un portfolio.

Transféré par

coulibaly adama
Copyright
© All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

Parcours et Compétences pour Devenir Data Engineer

Objectif final

Concevoir, construire et maintenir des systemes de traitement de donnees (pipelines, bases de

donnees, infrastructures Big Data, etc.).

Parcours etapes

1. Fondations techniques (0-2 mois)

- Python (ou Scala/Java)

- Commandes Linux/Unix

- SQL (langage de requete sur les bases de donnees)

2. Bases de donnees (2-4 mois)

- Bases relationnelles : PostgreSQL, MySQL

- Bases NoSQL : MongoDB, Cassandra

- Modelisation de donnees

3. Traitement des donnees (4-6 mois)

- Manipulation avec Pandas

- Automatiser avec Python + cron jobs

- ETL : traitement fichiers CSV, JSON, API

4. Stockage et pipelines Big Data (6-9 mois)

- Apache Airflow

- Spark (Big Data distribue)

- Hadoop (optionnel)

- Kafka, Flink (temps reel, avance)

5. Cloud et DevOps (9-12 mois)


- Docker

- AWS/GCP/Azure : S3, Redshift, Glue

- Infrastructure as code : Terraform (optionnel)

6. Projets pratiques + Portfolio

- Airflow : pipeline meteo

- Kafka + Spark : transactions bancaires

- Projet cloud : S3 -> Glue -> Redshift

Competences cles du Data Engineer

- Langages : Python, SQL, Bash

- BDD : PostgreSQL, MongoDB

- Traitement : Pandas, Spark, Airflow

- Cloud : AWS, GCP

- DevOps : Docker, Git

- APIs, JSON, ETL

Vous aimerez peut-être aussi