Les Bases de données NoSQL
Enjeux et Solutions
DR Narjes Hachani
Plan
1 Les BD NoSQl: Contexte et Motivations
2 Les BD NoSQL: Concepts et types
3 BD NoSQL: MongoDB
4 BD NoSQL: Cassandra
Chapitre I
Les BD NoSQL: Contexte et Motivations
Big DATA Limites des BD
Relationnelles
Big Data
« LES DATA SONT LE PÉTROLE
DU XXIe SIÈCLE »
GILLES BABINET
L'Ère numérique, un nouvel
âge de l’Humanité (2014).
• Croissance exponentielle de
la quantité des données.
• 100 milliards d’adresses IP
seront utilisées en 2025 (cent
fois plus qu’en 2003).
Big Data
• Le volume de données générées dans le monde devrait
dépasser 2142 zettaoctets à l'horizon de 2035.
Big Data
• Ces données sont appelées BIG DATA ou données massives.
• “Le Big Data est une forte Volumétrie, haute Vélocité et grande Variété
de données qui exigent des techniques innovantes et rentables de
traitement d’information pour une meilleure prise de décision“.
• Le Big Data est composé de jeux de données complexes,
provenant essentiellement de nouvelles sources.
• Les techniques traditionnelles de gestion des données ne peuvent pas
les contrôler et les traiter en raison de la complexité et de la taille de
ces données.
Big Data
Big Data
Data centers:
• Un data center ou centre de données est un site physique regroupant des
installations informatiques (serveurs, routeurs, commutateurs, disque durs, etc.).
chargées de stocker et de distribuer des données à travers un réseau interne ou
via un accès Internet.
Big Data
Data centers de quelques grands acteurs du Big Data
• Google Data Center : 70000 servers/data center et 16 data centers,
• Facebook : 5 data centers
• Amazon : 7 data centers, 450 000 serveurs
• Microsoft : ~1M serveurs
Big Data : Caractéristiques
• Extraction d’informations et décisions à partir de données
caractérisées par les 5 V:
➢ Volume (Volume )
➢ Variété ( Variety )
➢ Vitesse ( Velocity )
➢ Véracité (Veracity )
➢ Valeur (Value)
Big Data: Caratéristiques
Volume
• Le prix de stockage des données a beaucoup diminué ces 30 dernières
années
• De $100,000 / Go (1980) à $0.10 / Go (2013)
• Traitement de volumes de données de plus en plus gigantesques.
Vitesse
• Rapidité d’arrivée des données.
• Vitesse de traitement.
• Les données doivent être stockées à l’arrivée, parfois même des Téraoctets
par jour.
Big Data: Caractéristiques
Variété
• Les données sont complexes.
• La plupart des données existantes sont non structurées (audio, vidéo,etc)
ou semi-structurées (XML, JSON, etc).
• Données sous plusieurs formats et types.
Véracité
• Elle représente la fiabilité des données.
• Avec l’augmentation de la quantité, la qualité et la précision se perdent
(abréviations, source peu fiable, etc.)
• Nécessité d’une (très) grande rigueur dans l’organisation de la collecte et
l’enrichissement des données pour lever l’incertitude et la nature imprévisible
des données.
Big Data: Caractéristiques
Valeur
• Le traitement des jeux de données doivent représenter une
véritable valeur pour l’entreprise.
• Ces données doivent atteindre des objectifs stratégiques de
création de valeur pour les clients et pour l’entreprise dans tous
les domaines d’activité.
Big Data: Les métiers en émergence
Trois profils
• Le Data Architect: responsable des infrastructures
• Le Data Scientist: informaticien spécialisé dans l'analyse des
données.
• Le Data Analyst : responsable des opérations de bases de
données et appui analytique à l'exploration de données.
Big Data: Les métiers en émergence
Big Data: Utilisation
• Détecter les sentiments et les réactions des clients.
• Détecter les conditions critiques ou potentiellement mortelles dans
les hôpitaux, et à temps pour intervenir .
• Découverte d’un effet secondaire dû à la prise de deux médicaments
par analyse des requêtes d’internautes (Yahoo)
• Identifier les criminels et les menaces à partir de vidéos, sons et flux
de données
• Étudier les réactions des étudiants pendant un cours, prédire ceux qui vont
réussir, d’après les statistiques et les modèles réunis au long des années.
Limites des BDR: Rigidité du Modèle Relationnel
• Structuration forte des données, colonnes des tables normalisées, contraintes
d’intégrité, jointures entre les tables, etc.
• Nécessité de bâtir autant que possible toute la structure avant de pouvoir
travailler avec le contenu.
Réflexion préliminaire (modélisation) dont dépend largement
le système qui sera bâti autour de la BD.
Problèmes d’évolutivité et de performance en gérant de grands volumes
de données
Limites des BDR: Distribution des Données
• Les données liées entre elles (existence de jointures) sont généralement
placées sur le même nœud du serveur.
• Si le nombre de liens est important, il est de plus en plus difficile de placer les
données sur des nœuds différents.
• SGBD Relationnels sont généralement transactionnels.
• Une transaction est une unité d’action qui doit respecter quatre critères,
résumés par l’acronyme ACID.
ACID: Atomicité, Cohérence (Consistance), Isolation et Durabilité
Limites des BDR: Distribution des Données
.
Limites des BDR: Distribution des Données
• La cohérence est très difficile à mettre en place dans un environnement
distribué (plusieurs serveurs) car pour que celle-ci soit respectée tous
les serveurs doivent être des miroirs les uns des autres.
• Deux problèmes apparaissent :
✓ Le coût en stockage est énorme car chaque donnée est présente sur
chaque serveur.
✓ Le coût d’insertion/modification/suppression est très grand, car on ne
peut valider une transaction que si on est certain qu’elle a été effectuée
sur tous les serveurs et le système fait patienter l’utilisateur durant ce
temps.
.
Limites des BDR: Distribution des Données
Limites des BDR: Distribution des Données
• Brewer énonce le théorème CAP, destiné à évaluer les systèmes de stockage
distribué.
• CAP est une abréviation de trois propriétés :
Consistency, Availability, Partition tolerance.
• Consistance (cohérence): Même copie d’une donnée sur tous les nœuds.
Si j’écris une donnée dans un nœud et que je la lis à partir d’un autre nœud
dans un système distribué, je retrouve ce que j’ai écris sur le premier.
• Haute disponibilité:elle garantie que toutes les requêtes reçoivent une
réponse
• Tolérance au partitionnement :le système continue à fonctionner même si une
partie du système est perdue ou tombe en panne.
Limites des BDR: Distribution des Données
Pourquoi est-il impossible de satisfaire les 3 propriétés CAP
en même temps?
• Soit un système distribué. On est entrain de modifier une donnée sur le nœud
N1 et d’essayer de la lire à partir du nœud N2.
N2 peut retourner la dernière bonne valeur dont il dispose,
violation de la Consistance.
• N2 attend que la nouvelle valeur lui parvienne. Comme c’est un système
distribué, les chances d’un échec de transmission sont assez importantes,
ce qui provoquera une attente infinie de N2.
D’où une violation de la Disponibilité.
• Si on veut satisfaire à la fois la consistance et la disponibilité, le système de
stockage ne doit pas être partitionné.
D’où violation de la Tolérance au partitionnement.
Limites des BDR: Distribution des Données
• Les bases de données relationnelles traditionnelles réussissent en matière
de cohérence et de support du partitionnement, mais pas en matière de dispo
nibilité.
• Si vous faites une recherche sur Google ou sur Facebook et vous n’avez
pas exactement la même réponse qu’un autre utilisateur cela paraît moins
important que de ne pas avoir de résultats de recherche du tout
(nécessité d’une haute disponibilité)
• La société Amazon a constaté qu’un dixième de seconde de latence diminue
les ventes de 1% et Google a remarqué qu’une demi seconde de latence
fait chuter le trafic d’un cinquième.
Limites des BDR: Gestion des Objets Hétérogènes
• Les structures de données manipulées par les systèmes sont
devenues de plus en plus complexes
• Difficulté de gérer des structures de données complexes
➢ Données multimédia: photos, vidéo, sons
➢ Autre données semi et non structurées: e-mails, commentaires,
tweets, etc.
Limites des BDR: Gestion des NULL
• Un SGBD Relationnel indique l’absence d’une valeur d’un attribut par
le marqueur NULL, qui signifie une valeur inconnue.
• Ce marqueur coûte un peu en stockage.
• Sa gestion est compliquée dans le langage SQL.
• Il ne s'agit pas d'une valeur, le marqueur NULL ne peut pas être
comparé.
• Il impose la gestion d'une logique à trois états : vrai, faux et inconnu
Select * from personne
where nom = ’Gharbi’ OR nom <> ‘Gharbi’ ;
Cette requête ne retourne pas les lignes dont le nom est null
Limites des BDR: Gestion des NULL
Select avg(sal + comm) as salaire_ moyen from employe;
• Cette requête permet de déterminer la moyenne en considérant uniquement
les lignes dont la commission est non nulle.
• Pour résoudre ce problème avec le langage SQL:
Select avg(sal +nvl(comm,0)) as salaire_ moyen from employe;
• La fonction nvl permet de transformer la commission en 0 si elle est
nulle.