Big Data

Introduction au Big Data

Algassimou DIALLO

November 10, 2023

 Big Data

Présentation
• Ingénieur informatique
• Diplomé de l’Université de Nantes
• Plus de 10 ans d’expérience en architecture et development logiciel

Algassimou DIALLO 2
Introduction
 Big Data
Introduction

Définition
Le Big Data fait référence à de vastes ensembles de données, souvent
massifs et complexes, qui dépassent les capacités de traitement des
outils de gestion de données traditionnels.

Algassimou DIALLO 4
 Big Data
Introduction

Définition
Le Big Data fait référence à de vastes ensembles de données, souvent
massifs et complexes, qui dépassent les capacités de traitement des
outils de gestion de données traditionnels.
Cette quantité massive de données peut provenir de diverses sources
telles que :
• les réseaux sociaux
• les appareils connectés (Internet des objets)

Algassimou DIALLO 4
 Big Data
Introduction

• les transactions commerciales

• les capteurs
• les systèmes informatiques
• etc

Algassimou DIALLO 4
 Big Data
Introduction

Avantages
Les avantages du Big Data sont nombreux et touchent divers domaines,
des entreprises aux services publics en passant par la recherche:
• Prise de décisions plus informées
• Optimisation des performances
• Amélioration de la personnalisation
• Découverte de tendances
• Innovation et développement de produits

Algassimou DIALLO 5
 Big Data
Introduction

• Amélioration de la santé et des soins médicaux

• Sécurité et détection de la fraude
• Durabilité et smart cities

Algassimou DIALLO 5
Les 3V du Big Data
 Big Data
Les 3V du Big Data

Les 3V du Big Data

Les 3V du Big Data sont un concept clé pour décrire les caractéristiques
fondamentales des données massives. Ces 3V représentent les principales
dimensions du Big Data :
1. Volume
2. Variété
3. Vélocité

Algassimou DIALLO 7
 Big Data
Les 3V du Big Data

Algassimou DIALLO 7
 Big Data
Les 3V du Big Data

Volume
Ce V fait référence à la quantité de données :
• générées
• collectées
• stockées.
Les données massives impliquent des volumes massifs, allant de
téraoctets à pétaoctets voire plus.

Algassimou DIALLO 8
 Big Data
Les 3V du Big Data

Cette caractéristique met en évidence l’ampleur des données, qui peut

dépasser les capacités de stockage et de traitement des systèmes
traditionnels

Algassimou DIALLO 8
 Big Data
Les 3V du Big Data

Algassimou DIALLO 8
 Big Data
Les 3V du Big Data

Variété
La variété concerne la diversité des types de données. Ces données
peuvent être
• structurées
• semi-structurées
• non structurées.

Algassimou DIALLO 9
 Big Data
Les 3V du Big Data

• Les données structurées, organisées dans des modèles préétablis,

peuvent être des informations dans des bases de données
relationnelles.
• Les données non structurées incluent des médias sociaux, des vidéos,
des images, des textes non formatés, des enregistrements audio, etc.

Algassimou DIALLO 9
 Big Data
Les 3V du Big Data

Algassimou DIALLO 9
 Big Data
Les 3V du Big Data

Vélocité
• La vélocité se réfère à la vitesse à laquelle les données sont:
• générées
• collectées
• analysées.
• Avec l’avènement d’Internet, des appareils connectés, les données sont
produites à une vitesse considérable.

Algassimou DIALLO 10
 Big Data
Les 3V du Big Data

• La capacité de traiter ces données en temps réel est essentielle pour de

nombreuses applications.

Algassimou DIALLO 10
 Big Data
Les 3V du Big Data

Algassimou DIALLO 10
Exemples de Sources de Données
Réseaux sociaux
 Big Data
Réseaux sociaux

Réseaux sociaux
Les réseaux sociaux sont parmi les plus grandes sources de données non
structurées dans le monde. Ils génèrent une quantité massive de données
chaque seconde sous différentes formes.

Algassimou DIALLO 13
 Big Data
Réseaux sociaux

Volume de données
Les réseaux sociaux:
• Facebook, Instagram
• Twitter
• etc
produisent une quantité énorme de données chaque jour.

Algassimou DIALLO 14
 Big Data
Réseaux sociaux

Variété des données

Ces plateformes engendrent divers types de données,
• des simples posts de texte, images, vidéos, émoticônes
• des likes, partages
• des informations de géolocalisation
• etc
La variété de ces données nécessite des techniques avancées de
traitement et d’analyse.

Algassimou DIALLO 15
 Big Data
Réseaux sociaux

Vélocité des données

• Les interactions sur les réseaux sociaux se produisent en temps réel:
• Les mises à jour de statut
• les retweets
• les partages sont continus
• Necessite des capacités de traitement de données en temps réel.

Algassimou DIALLO 16
Les capteurs IoT
 Big Data
Les capteurs IoT

Les capteurs IoT

Les capteurs IoT (Internet des objets) sont des appareils connectés qui
recueillent et transmettent des données:
• température
• humidité
• pression
• consommation d’énergie
• etc

Algassimou DIALLO 18
 Big Data
Les capteurs IoT

Algassimou DIALLO 18
 Big Data
Les capteurs IoT

Volume des données

Les capteurs IoT produisent d’énormes quantités de données en continu.
Des milliards de capteurs dans:
• des industries variées
• des villes intelligentes
• dans la nature (ocean, forêt , etc)
génèrent des flux de données massifs.

Algassimou DIALLO 19
 Big Data
Les capteurs IoT

Variété des données

• Ces données varient en nature:
• Des données de metéo (temperature, hummidité, pression, etc)
• Des images, audios, vidéos.
• Elles sont souvent de nature hétérogène, nécessitant des méthodes de
traitement adaptées.

Algassimou DIALLO 20
 Big Data
Les capteurs IoT

Vélocité des données

Les capteurs IoT envoient des données en temps réel, ce qui crée des défis
de traitement et d’analyse en temps réel. La vitesse à laquelle ces
données sont générées et transmises exige des solutions de stockage et
d’analyse rapides.

Algassimou DIALLO 21
 Big Data
Les capteurs IoT

Avantage
L’utilisation du Big Data pour les données IoT permet d’obtenir des
informations exploitables.
• Dans les villes intelligentes, les données des capteurs peuvent aider
• à gérer la circulation
• surveiller la qualité de l’air
• optimiser l’éclairage public
• etc

Algassimou DIALLO 22
 Big Data
Les capteurs IoT

• Dans le secteur industriel, ces données peuvent être utilisées pour

• la maintenance prédictive
• la gestion de la chaîne d’approvisionnement
• l’optimisation des processus de production
• etc

Algassimou DIALLO 22
Données transactionnelles
 Big Data
Données transactionnelles

Données transactionnelles
Les données transactionnelles:
• achats, ventes
• échanges financiers
• ou toute interaction impliquant une transaction
constituent une composante majeure du Big Data.

Algassimou DIALLO 24
 Big Data
Données transactionnelles

Volume des données

Les données transactionnelles générées par les entreprises sont
considérables. Elles incluent les informations relatives:
• aux clients
• aux produits
• aux services
• aux paiements
• etc.

Algassimou DIALLO 25
 Big Data
Données transactionnelles

Variété des données

• Elles peuvent être:
• structurées
• semi-structurées
• non structurées,
• Elles sont souvent plus structurées que d’autres types de données
(tableaux de base de données ou systèmes similaires).

Algassimou DIALLO 26
 Big Data
Données transactionnelles

Vélocité des données

• Ces données sont produites en continu
• à mesure que les transactions ont lieu
créant des flux de données continus nécessitant un traitement et une
analyse en temps réel ou proche du temps réel.

Algassimou DIALLO 27
 Big Data
Données transactionnelles

Avantages
L’analyse des données transactionnelles via le Big Data permet de
• comprendre les comportements des clients
• de prévoir les tendances du marché
• d’optimiser les processus d’entreprise
• de détecter la fraude
• d’améliorer l’expérience client.
Ces données sont cruciales pour prendre des décisions stratégiques.

Algassimou DIALLO 28
Les technologies du Big Data
 Big Data
Les technologies du Big Data

Les technologies du Big Data

Un ensemble d’outils, de techniques et de plateformes conçus pour:
• gérer
• stocker
• traiter
• analyser
de vastes ensembles de données et pour répondre aux défis spécifiques
posés par le Big Data.

Algassimou DIALLO 30
 Big Data
Les technologies du Big Data

Hadoop
Hadoop est un framework open source qui permet le traitement distribué
de données massives sur des clusters de serveurs.
Il inclut
• le système de fichiers HDFS pour le stockage distribué
• MapReduce pour le traitement parallèle.

Algassimou DIALLO 31
 Big Data
Les technologies du Big Data

Apache Spark
Spark est une autre plateforme de traitement distribué conçue pour offrir
une vitesse supérieure à Hadoop.
Il supporte une variété d’opérations y compris
• le traitement de flux
• l’apprentissage machine
• le traitement de graphes.

Algassimou DIALLO 32
 Big Data
Les technologies du Big Data

Bases de données NoSQL

Ces bases de données sont conçues pour gérer des données non
structurées ou semi-structurées. Elles comprennent des solutions telles
que:
• MongoDB
• Cassandra
• Couchbase
• etc

Algassimou DIALLO 33
 Big Data
Les technologies du Big Data

Systèmes de stockage distribué

Des systèmes comme:
• Amazon S3
• Google Cloud Storage
• Azure Data Lake Storage
• etc
offrent des solutions de stockage distribué pour des volumes massifs de
données.

Algassimou DIALLO 34
 Big Data
Les technologies du Big Data

Frameworks d'apprentissage machine

• Des bibliothèques et des outils comme:
• TensorFlow
• scikit-learn
• PyTorch
• etc
• Utilisées pour:
• l’analyse prédictive
• l’apprentissage automatique

Algassimou DIALLO 35
 Big Data
Les technologies du Big Data

Outils de visualisation
Des logiciels comme
• Tableau
• Power BI,
• Python (Matplotlib, Plotly)
• etc
permettent de créer des visualisations à partir de ces données massives.

Algassimou DIALLO 36
Application et Avantages
 Big Data
Application et Avantages

Application et Avantages
Les avantages du Big Data sont nombreux et touchent divers domaines
• Des entreprises
• Services publics
• La recherche

Algassimou DIALLO 38
 Big Data
Application et Avantages

Prise de décision basée sur les données

Des volumes massifs de données, permettent aux entreprises:
• de dégager des tendances, des modèles pour orienter leurs actions.
• de prendre des décisions plus éclairées, basées sur des preuves plutôt
que sur des intuitions
• d’améliorer l’efficacité opérationnelle
• de réduire les coûts
• d’optimiser les processus
• de prévoir les besoins futurs

Algassimou DIALLO 39
 Big Data
Application et Avantages

Amélioration des produits et des services

Les entreprises utilisent le big data pour:
• Comprendre les besoins des clients
• Personnaliser leurs offres.
• comprendre les besoins du marché
• Innover en conséquence,
• Créer de nouveaux produits et services plus adaptés

Algassimou DIALLO 40
 Big Data
Application et Avantages

Santé et recherche
• Le big data est crucial pour:
• la recherche
• la découverte de médicaments
• la personnalisation des soins de santé.
• Il permet une analyse approfondie
• des données génomiques
• des dossiers médicaux
• des tendances de santé publique.

Algassimou DIALLO 41
 Big Data
Application et Avantages

Sécurité et prévention de la fraude

Les secteurs financiers et gouvernementaux utilisent le big data pour:
• détecter les schémas de fraude
• améliorer la sécurité des transactions
• prévenir les activités malveillantes.

Algassimou DIALLO 42
 Big Data
Application et Avantages

Smart cities et durabilité

Le big data est utilisé pour
• améliorer l’efficacité des ressources
• réduire la consommation d’énergie
• améliorer la gestion des déchets
• améliorer la qualité de vie
• etc

Algassimou DIALLO 43
Défis et Préoccupations
 Big Data
Défis et Préoccupations

Défis et Préoccupations
Le Big Data apporte de nombreux avantages, mais il s’accompagne
également de défis et de préoccupations qui doivent être adressés pour
son utilisation optimale

Algassimou DIALLO 45
 Big Data
Défis et Préoccupations

Sécurité et confidentialité des données

• Sécurité des données : Avec l’ampleur des données collectées, le risque
de cyberattaques et de violations de données augmente. Il est crucial de
mettre en place des mesures de sécurité robustes pour protéger ces
informations sensibles.
• Protection de la vie privée : L’utilisation de grandes quantités de
données personnelles soulève des inquiétudes concernant la
confidentialité et la protection des données des individus. Les

Algassimou DIALLO 46
 Big Data
Défis et Préoccupations

entreprises doivent s’assurer de respecter les réglementations en

matière de protection des données.
• Éthique dans l’utilisation des données : L’analyse de grandes quantités
de données soulève des questions éthiques sur l’utilisation des
informations, notamment en ce qui concerne les décisions
automatisées, la discrimination potentielle et la manipulation des
consommateurs.

Algassimou DIALLO 46
 Big Data
Défis et Préoccupations

Gestion de la qualité des données

La variété et la vélocité des données peuvent compromettre leur qualité.
• Les erreurs,
• les doublons
• les incohérences
peuvent avoir un impact sur la fiabilité des analyses

Algassimou DIALLO 47
 Big Data
Défis et Préoccupations

Compétences et Infrastructure
• Manque de compétences : Les technologies du Big Data exigent des
compétences spécialisées en analyse de données, en science des
données et en ingénierie logicielle. Le manque de professionnels
qualifiés constitue un défi majeur.
• Infrastructure et coûts : La mise en place et la maintenance
d’infrastructures capables de gérer et d’analyser de grandes quantités

Algassimou DIALLO 48
 Big Data
Défis et Préoccupations

de données peuvent être coûteuses, en particulier pour les petites

entreprises.
• Complexité et interprétation des données : L’interprétation de données
massives peut être complexe. Trouver des modèles significatifs au sein
de ces ensembles de données nécessite des outils et des compétences
appropriés.

Algassimou DIALLO 48
Conclusion
 Big Data
Conclusion

Conclusion
Le Big Data a révolutionné la manière dont les entreprises, les
gouvernements et même les particuliers interagissent avec l’information.
Cette masse de données volumineuses, variées et générées à une vélocité
impressionnante offre un potentiel immense, mais s’accompagne
également de défis significatifs.
Les avantages du Big Data sont indéniables :
• des décisions plus informées

Algassimou DIALLO 50
 Big Data
Conclusion

• des services personnalisés

• des innovations technologiques
• une meilleure compréhension des tendances et des besoins
• des améliorations dans divers secteurs, de la santé à la durabilité.
Cependant, il est essentiel de relever les défis liés à:
• la protection de la vie privée
• la sécurité des données
• la qualité des données
• l’éthique

Algassimou DIALLO 50
 Big Data
Conclusion

• la compétence des professionnels.

Il est impératif de développer des politiques, des réglementations et des
infrastructures capables de garantir l’utilisation éthique et sécurisée du
Big Data.

Algassimou DIALLO 50