BIG data

Introduction

Nous sommes actuellement dans l'ère de la production massive de données. D'une part, les
applications génèrent des données issues des logs, des réseaux de capteurs, des rapports de
transactions, des traces de GPS, etc. et d'autre part, les individus produisent des données telles que
des photographies, des vidéos, des musiques ou encore des données sur l'état de santé (rythme
cardiaque, pression ou poids).

Les systèmes classiques de gestion de données ont été conçus et construits avec une échelle à
l’esprit c-à-d limité et donc il fallait inventer de nouveaux systèmes avec de nouvelles technologies
pour rependre aux besoins du marché, la solution et belle et bien le Big Data

Les 5v: les caractéristiques que des données doivent avoir pour leur attribuer le terme big data

Volume : fait référence aux énormes quantités de données générées chaque seconde qui peuvent
être traitées.

Vélocité : fait référence à la fréquence à laquelle les données sont à la fois générées, capturées,
partagées et mises à jour, ça nous permet de traiter les données massives en temps réel.

Variété : fait référence aux différents types de données que nous pouvons utiliser, c’est-à-dire
qu’avec le Big data on peut traiter les données structurées ainsi que les données non structurées.

Véracité : fait référence à la fiabilité de la donnée, Big Data et l’analytique nous permettent de
produire (traiter et en tirer du sens) avec des données qui ne sont pas forcément exactes précises et
de qualités.

Valeur : fait référence au gros volume de données qui ont certainement une valeur

Définition du big data :

Grosses données en anglais, les mégadonnées ou les données massives, désigne les
ressources d’informations dont les caractéristiques en termes de volume, de vélocité et de variété
imposent l’utilisation de technologies et de méthodes analytiques particulières pour générer de la
valeur.

Sa naissance est liée aux progrès des systèmes de stockage, de fouille et d'analyse de
l'information numérisée

BIG DATA est une démarche (ou un ensemble de technologies, d’architectures, d’outils et de
procédures) qui consiste à collecter puis à traiter en temps réel des énormes volumes proviennent de
sources, diverses structurées et non structurées, difficilement gérables avec des solutions classiques
de stockage et de traitement.

Il s’agit donc d’un ensemble de technologies, d’architecture, d’outils et de procédures permettant à

une organisation de très rapidement capter, traiter et analyser de larges quantités et contenus
hétérogènes et changeants, et d’en extraire les informations pertinentes à un coût accessible
TECHNOLOGIES DES BIG DATA tableaux des technologies
• Processing
– Hadoop, Hive, Pig, mrjob, Caffeine
• NoSQL Databases
– Hbase, MongoDB, Vertica, Cassandra, Neo4j, etc.
• Servers
– EC2, Google App Engine, Elastic, Beanstalk, Heroku
• Analytics
– R, SAS, Python scikit-learn, Spark MLLib, Apache Mahout
• Search
– Solr/Lucene, ElasticSearch

Plusieurs solutions, inspirées des solutions de Google, ont été proposées. Hadoop est la solution la
plus répondue au monde de BigData.

Hadoop :

Emblème par excellence du BIG DATA, Hadoop est une architecture spécifique de bases de données,
permettant de traiter en grand nombre tous types de données « compris les données non
structurées ».

elle est organisée sur un mode non-relationnel,

Elle constitue en quelque sorte la librairie à partir de laquelle on pourra effectuer des calculs
parallèles « via MapReduce », sachant que ces données sont distribuées c’est-à-dire qu’Hadoop les «
récupère »

Hadoop désigne un framework Java libre ou un environnement d'exécution distribuée, performant et

scalable, dont la vocation est de traiter des volumes des données considérables.

Les composants de l’écosystème Hadoop La version courante du projet Apache Hadoop inclut ces
modules :

 Hadoop Common : Les utilitaires communs qui supportent les autres modules d’Hadoop.

 Hadoop Distributed File System (HDFS): Un système de fichiers distribués qui fournit un accès
haut-débit aux données de l’application et permet la gestion du stockage des données d’une
architecture hadoop.

 Hadoop YARN : Un Framework pour la planification des tâches et la gestion des ressources du
cluster. (4)

 Hadoop MapReduce : Un système basé sur YARN pour le traitement parallèle des gros volumes de
données.
Cependant, l'écosystème Hadoop ne contient pas uniquement Hadoop, mais beaucoup d’autres
projets Apache tels que : Pig, Hive, Hbase, Sqoop, Flume, Zookeeper et bien d’autres.

MAPREDUCE

Couplé à Hadoop (qui est en fait son implémentation principale), MapReduce est le mode de calcul
permettant de traiter les BIG DATA. Il présente une fonction Map (distribution des données sur
plusieurs clusters parallèles où les calculs intermédiaires seront effectués) et une fonction Reduce
(les résultats des calculs intermédiaires distribués sont recentralisés en vue du calcul final).

NOSQL

(Littéralement : « au-delà du SQL »). Pour autant il est quasiment impossible de définir le NoSQL
selon un corpus de règles puisqu’il représente précisément l’affranchissement par rapport à un ordre
établi,

On parle de NoSQL lorsque des requêtes sont effectuées dans un langage de programmation qui
n’est pas limité au SQL

IN-MEMORY

On parle de traitement in-memory pour évoquer les traitements qui sont effectués dans la mémoire
vive de l’équipement informatique, plutôt que sur des serveurs externes. L’avantage du traitement
in-memory est celui de la vitesse puisque les données sont immédiatement accessibles. En revanche,
ces données ne sont pas stockées sur le long terme, ce qui peut poser des problèmes d’historisation.

Architectures de la technologie de BIG DATA :

Les Etapes de passages sont :
La collecte de données
Stockage de données
Traitement des données
Gestion et organisation de données
Analyse de données
Cloud computing :

le Big Data est en quelque sorte dépendant du Cloud pour la flexibilité qu’il
fournit. Les traitements des outils Big Data se trouvent alors facilités dans un
environnement adaptable à volonté pour optimiser les opérations
d’analytiques.

De fait, l’union entre le Cloud Computing et le Big Data devient une bonne
pratique dans la gestion des systèmes d’information.
Les avantages du Cloud Computing
Le Cloud Computing permet de gagner en flexibilité. Les infrastructures
allouées sont ajustables à la hausse comme à la baisse. Les délais
d’approvisionnement sont maîtrisés. Il est donc possible d’anticiper les pics
d’activité plus facilement. Cela permet d’identifier quand adapter la bande
passante et la capacité de stockage.

La virtualisation présente dans les infrastructures Cloud est l’élément

indispensable pour déployer les architectures des solutions de Big Data.

Le traitement et l’analyse des données sont répartis sur les nœuds de calcul
facilement maîtrisables sur le Cloud. Y compris les bases de données non
structurées (NoSQL)

Le traitement de la Data nécessite deux capacités

prédominantes
 La flexibilité de la fourniture de puissance et de stockage de
données, pour adapter les performances en fonction des traitements
de données souhaités.
 Un framework d’analytique capable de traiter les données avec
une flexibilité et une certaine tolérance aux erreurs.

Le terme BDaaS désigne les services d’analyse de mégadonnées utilisant l’hébergement Cloud.

Il couvre l’ensemble des offres Cloud computing traditionnelles : IaaS, PaaS, SaaS

LES PRINCIPAUX CAS D’USAGE DU BDAAS

3 cas d’usage sont moteurs dans l’adoption du BDaaS :

 Le POC (Proof Of Concept) : le Big data poursuit son émergence, les entreprises

continuent les expérimentations. Il n’est pas toujours évident d’une part de dimensionner
son infrastructure et d’autre part  de parier sur l’atteinte des objectifs. Le Cloud permet de
se lancer sans engagement.
 La gestion de pics de charge : l’entreprise utilise des clusters temporaires pour des
besoins ponctuels et les détruit ou éteint lorsque le pic de charge est passé (un traitement
sur des milliers de nœuds pour valider une hypothèse par exemple). Mais l’immédiateté a
 ses limites : le traitement s’exécute sur des volumes de données qu’il faut évidemment
provisionner.
 Le Plan de reprise d’activité (PRA) : l’entreprise synchronise les données de la
production vers une plateforme Cloud public prête à démarrer à tout moment en cas de
problèmes. Ce qui lui évite un nouvel investissement pour sa plateforme de PRA.