AU : 2018-2019
Section : RT4-Emb
DS - Big Data
Date : Mars 2019 Durée : 1h30 Nombre de pages : 3 Documents AUTORISÉS
Responsable du cours : Dr. Lilia Sfaxi
1 Exercice I : Big Data et Systèmes Embarqués [10pts]
Une certaine Laëtitia a écrit un article 1 intitulé : Puces électroniques, systèmes embarqués... et big
data !, dans lequel elle présente de façon très sommaire la relation entre ces trois notions. Son article
commence comme suit :
Pour de nombreux professionnels – professionnels de santé inclus –, la connectivité
“ en voiture est déjà une réalité. Libérés en partie de la conduite grâce au régulateur de
vitesse adaptatif et son radar anticollision, ils peuvent échanger directement avec leur
environnement de travail ou de loisirs : envoi de textos dictés, prise d’appels via le
réseau de connectivité mains libres Bluetooth, gestion de leur agenda et même, une fois
la voiture à l’arrêt, participation à des vidéoconférences avec des confrères ou envoi
d’e-mails...
Concrètement, toutes ces actions sont possibles grâce à l’intégration dans les voitures de
puces électroniques du même type que celles de nos smartphones. La vitesse à laquelle
nous adopterons ces nouvelles technologies de communication nomades dépend aussi
de la règlementation. En effet, celle-ci stipule que le conducteur doit rester maître de
son véhicule. Les usages de ces technologies doivent donc être impérativement liés et
subordonnés à la sécurité de roulage du véhicule. Ce n’est pas un frein, au contraire.
Ainsi, l’obligation faite, dès mars 2018, d’équiper les nouveaux modèles commercialisés
en Europe de l’e-call – l’appel d’urgence géolocalisé et automatique en cas d’accident –
va permettre de se connecter à d’autres services en ligne, grâce à la puce téléphonique
qui servira de support de communication.
Elle rajoute ensuite :
Blog ACMF
”
Le "big data" pour simplifier les déplacements
“ Toutes les voitures neuves seront donc communicantes, comme chacun d’entre nous
lorsque nous nous équipons d’un smartphone 4G. Sauf qu’à bord de la voiture connec-
tée, la quantité d’informations à échanger impliquera forcément une capacité de com-
munication encore plus grande. À ce titre, l’arrivée de la 5G en 2020 changera la donne.
Car les capteurs, radars et autres caméras embarquées seront en mesure d’échanger
leurs données avec d’autres véhicules, mais aussi avec les infrastructures routières de-
venues intelligentes, pour adapter la vitesse de votre voiture à la météo, aux feux rouges,
1. http ://[Link]/[Link]/voitures_connectees
1
au trafic ou à votre agenda de la journée. Si elle est bien maîtrisée, cette nouvelle étape
aboutira à une simplification de nos déplacements. L’adoption de ces nouvelles tech-
nologies par le plus grand nombre dépendra surtout de la capacité des firmes infor-
matiques et des constructeurs automobiles à rendre leurs outils simples à utiliser au
quotidien. Ce n’est pas toujours le cas, même s’ils y travaillent d’arrache-pied, comme
le montre la sélection qui suit : six systèmes embarqués et connectés qui tous, à leur fa-
çon, apportent un service qui simplifie la conduite ou apportent un surcroît de sécurité.
Blog ACMF
”
1. Tout ceci semble bien beau, mais malgré le titre du paragraphe, le lien avec les Big Data n’est
pas très clair.. expliquer avec vos propres mots comment est-ce que les technologies big data
pourront contribuer dans ce domaine (voitures connectées). (2 pts)
Vous êtes sollicité(e) pour concevoir un système entrant dans la rubrique voiture connectée, et
qui aura pour objectif de simplifier la vie du conducteur. Ce système aura comme contraintes de
générer des données respectant les contraintes des 3V du Big Data.
2. Présenter votre système, en expliquant son utilité, son objectif, et en justifiant le fait qu’il
respecte les 3V demandés. (2 pts)
3. Lister les différents traitements qui doivent être réalisés par le système Big Data en backend.
(1 pt)
4. Dessiner l’architecture de votre système Big Data, en justifiant vos choix. (3 pts)
5. Quelles technologies choisirez-vous pour chacune des couches de votre architecture, et pour-
quoi ? (2 pts)
2 Exercice II : Hadoop et Cie [10pts]
La carte heuristique 2 présentée dans la Figure 1 montre les principales technologies de l’éco-
système Hadoop.
Figure 1 – Ecosystème Hadoop
2. https ://[Link]/tutoriels/initiation-ecosysteme-hadoop/
2
1. Citez celles que vous connaissez en expliquant brièvement leur utilité. (2 pts)
2. Quelle est la différence entre "Ingestion Streaming" et "Traitement Streaming" ? (1 pt)
Il est bien connu que l’apport principal de Hadoop v2 par rapport de Hadoop v1, c’est l’utilisation
de YARN pour la gestion des ressources.
3. Montrer comment est-ce que YARN permet :
— La gestion centralisée des ressources (1 pt)
— L’indépendance des applications (1 pt)
— La répartition de charge (1 pt)
Cependant, dans Hadoop v3, d’autres améliorations ont vu le jour, notamment, tel qu’indiqué
par Hortonworks 3 :
Scalability Availability
“ Hadoop 2 and Hadoop 1 only use a single NameNode to manage all Namespaces. Ha-
doop 3 has multiple Namenodes for multiple namespaces for NameNode Federation
which improves scalability.
In Hadoop 2, there is only one standby NameNode. Hadoop 3 supports multiple standby
NameNodes. If one standby node goes down over the weekend, you have the benefit
of other standby NameNodes so the cluster can continue to operate. This feature gives
you a longer servicing window.
(...)
Roni Fontaine
4. Quelle est la différence entre l’utilisation de multiples NameNodes et celle d’un Standby Na-
”
meNode ? (2 pt)
5. Quelle est la différence entre un Standby NameNode et un Secondary NameNode ? (1 pt)
6. Quel est l’intérêt d’un Journal Node ? (1 pt)
PS : Voici la traduction (sur Google Translate) de la quotation précédente.
Évolutivité et disponibilité
Hadoop 2 et Hadoop 1 n’utilisent qu’un seul NameNode pour gérer tous les namespaces. Hadoop
3 possède plusieurs Namenodes pour plusieurs espaces-noms pour la fédération NameNode, ce qui
améliore l’évolutivité.
Dans Hadoop 2, il n’y a qu’un seul NameNode en veille. Hadoop 3 prend en charge plusieurs
NameNodes en veille. Si un noeud de secours tombe en panne au cours de la fin de semaine, vous
bénéficiez des autres NameNodes de secours afin que le cluster puisse continuer à fonctionner. Cette
fonctionnalité vous donne une fenêtre de maintenance plus longue.
♣ Bon travail
3. https ://[Link]/blog/hadoop-3-adds-value-hadoop-2/