ISET Djerba
Big Data
Enseignant : Abdelhakim TRAOULI
Activité 01
Donner une solution permettant de suivre vos dépenses
journalières.
Activité 01
Utiliser une feuille d’un
tableur (Excel exemple) =
Un petit fichier
Activité 02
Donner une solution permettant de suivre les dépenses
journalières de tous les étudiants de l’iset.
Activité 02
Une petite base de données =
plusieurs fichiers
Mise en situation
Croissance de la quantité des données exponentielle
Mise en situation
La quantité de données digitales produites double tous les 2 ans.
Mise en situation
“There was 5 exabytes of information created between the
dawn of civilization through 2003, but that much
information is now created every 2 days, and the pace is
increasing.”
-- Eric Schmidt, PDG Google, 2010
Mise en situation
Quels sont les problèmes engendrés par ce volume de données
Mise en situation
1. Stockage : cette quantité de données nécessitent des espaces de
stockage importants et peuvent rapidement remplir les disques durs
des serveurs.
2. Traitement : Le traitement peut s'avérer très complexe et peut
nécessiter des outils spécifiques. Les temps de traitement peuvent
également être très longs, ce qui peut impacter la réactivité des
systèmes.
Mise en situation
3. Qualité : Les données peuvent être de qualité variable, avec des
erreurs, des incohérences et des doublons. Ce que rend difficile
l'utilisation des données et leur analyse..
4. Sécurité : Les données peuvent contenir des informations sensibles
sur les personnes ou les entreprises, et leur accès non autorisé peut
entraîner des violations de la vie privée et des atteintes à la sécurité.
en résulte
1. Données hétérogènes, complexes et souvent liées
produites par des applications parfois différentes.
par des utilisateurs différents.
avec des liens explicites (par exemple citations, ancres url, etc) ou implicites (à extraire ou à
apprendre)
2. Nombreux serveurs/clusters
un serveur unique ne peut stocker cette quantité d'information, garantir des temps d'accès pour grand
nombre d'utilisateur, faire des calculs rapides, …
3. Besoin de distribuer les calculs et les données
comme plusieurs serveurs/clusters, besoin d'algorithmes permettant le calcul et la distribution des
données à large échelle
Définition Big Data
Il s’agit d’un ensemble de technologies, d’architecture, d’outils
et de procédures permettant à une organisation de très
rapidement capter, traiter et analyser de larges quantités et
contenus hétérogènes et changeants, et d’en extraire les
informations pertinentes à un coût accessible.
BIG DATA: Caractéristiques
Généralement faite selon 3 « V » : Volume, Variété́ et Vélocité́
Auxquels s’ajoutent 2 autres « V » complémentaires : Valeur et Véracité́/Validité
Gartner (2001) – 3Vs
IBM (2012) – 4Vs
2015 : 5 V
BIG DATA: Caractéristiques
Volume
Croissance sans cesse des données à gérer de tout type, souvent en teraoctets voir
en petaoctets.
Chaque jour, 2.5 trillions d’octets de données sont générées.
Le développement de l’IoT (Internet des objets) et la généralisation de la
géolocalisation ou de l’analytique ont engendré une explosion du volume de
données collectées,
en 2020, 43 trillions de gigabytes ont été générés, soit 300 fois plus qu’en 2002.
BIG DATA: Caractéristiques
Variété
Traitement des données sous forme structurée (bases de données structurée,
feuilles de calcul venant de tableur, …) et non structurée (textes, sons, images,
vidéos, données de capteurs, fichiers journaux, medias sociaux, signaux,…) qui
doivent faire l’objet d’une analyse collective.
BIG DATA: Caractéristiques
Vitesse (Velocity)
Utilisation des données en temps réel (pour la détection de fraudes, analyse des
données, …).
Fait référence à la vitesse à laquelle de nouvelles données sont générées et la
vitesse à laquelle les données sont traitées par le système pour être bien analysées.
La technologie nous permet maintenant d'analyser les données pendant qu’elles
sont générées, sans jamais mettre en bases de données.
BIG DATA: Caractéristiques
Véracité
Fait référence à la qualité́ des données et/ou aux problèmes éthiques liés à leur
utilisation,
comprend les problèmes de valeurs aberrantes ou manquantes (ces problèmes
pouvant être résolus par le volume de données),
fait référence aussi au niveau de la confiance que l’on peut avoir dans les
données.
BIG DATA: Caractéristiques
Valeur :
Associé à l’usage qui peut être fait de ces mégadonnées, de leur
analyse, notamment d’un point de vue économique.
L’analyse de ces mégadonnée ́ demande une certaine expertise tant liée
à des métro ́ des et techniques en statistique, en analyse de données,
que de domaine pour l’interprétation de ces analyses.
BIG DATA: Caractéristiques
BIG DATA: clefs d’usage
BIG DATA: Large variété des analyses