1

MODUL PERKULIAHAN

W182100018
– Data
Warehouse
& Big Data
Framework Big Data
Lifecycle, Mengenal Data
Explosion, Data Volume,
Data Velocity, Dan Data
Variety

Abstrak Sub-CPMK

Dalam modul ini akan  Mengetahui framework big data

dibahas apa itu big data, lifecycle
untuk apa big data.  Mengenal data explosion, data
volume, data velocity, dan data variety
 Mengenal studi kasus pada data
Fakultas Program Studi Tatap Muka Disusun
explosion, Oleh data velocity,
data volume,
dan dataDwi
variety
02
Ade Handayani Capah
Ilmu Komputer Sistem Informasi
 Introduction

Banyak perdebatan yang signifikan tentang apa itu Big Data dan apa jenis
keterampilan yang diperlukan untuk penggunaan terbaik dari Big Data tersebut.
Banyak yang menulis tentang Big Data dan kebutuhan untuk analisis yang canggih
dalam industri, akademisi, dan pemerintah, maupun lainnya. Ketersediaan sumber
data baru dan munculnya peluang analitis yang lebih kompleks telah menciptakan
kebutuhan untuk memikirkan kembali arsitektur data yang ada untuk memungkinkan
analisis yang dapat dengan optimal memanfaatkan Big Data.

Bab ini menjelaskan beberapa konsep utama Big Data, mengapa analisis
canggih diperlukan, perbedaan Data Science vs Business Intelligence (BI), dan apa
peran baru yang diperlukan untuk ekosistem Big Data. Berikut berbagai
perkembangan data dan munculnya sumber data yang besar dari tahun ke tahun
yang ditunjukan oleh Gambar 1 berikut:

Gambar 1. Perkembangan data

202 Datawarehouse & Big Data
5 2 Dwi Ade Handayani Capah
Biro Bahan Ajar E-learning dan MKCU
[Link]
Untuk gambaran perbedaan Data Science dan Business Intelligence (BI) ditunjukan
pada Gambar 2 berikut:

Gambar 2. Data Science vs Business Intelligence

Sebuah penelitian eksplanatori (Explanatory Research) menurut Singarimbun dalam

Singarimbun dan Effendi (Ed 1995) merupakan penelitian yang menjelaskan
hubungan kausal (sebab akibat) antara variabel penelitian dengan pengujian
hipotesa (menguji suatu teori atau hipotesis guna memperkuat atau bahkan menolak
teori atau hipotesis hasil penelitian yang sudah ada sebelumnya). Di dalam penelitian
eksplanatori, pendekatan yang dipakai dalam penelitian ini adalah metode survey,
yaitu penelitian yang dilakukan untuk memperoleh fakta-fakta mengenai fenomena-
fenomena yang ada di dalam obyek penelitian dan mencari keterangan secara aktual
dan sistematis.

Pengertian riset eksploratori adalah riset yang ditujukan untuk mengeksplor atau
untuk mengumpulkan pemahaman mendalam (penyelidikan) mengenai suatu
masalah, bukan untuk menguji variabel karena variabel-tersebut biasanya belum
diketahui dan baru akan diketahui melalui riset. Riset eksploratori bersifat fleksibel
dan tidak terstruktur. Umumnya riset ini berbentuk riset kualitatif dengan metode
pengumpulan data yang lazim digunakan yaitu wawancara dan diskusi kelompok.

202 Datawarehouse & Big Data

5 3 Dwi Ade Handayani Capah
Biro Bahan Ajar E-learning dan MKCU
[Link]
ad-hoc reporting adalah model dari BI di mana laporan yang dibangun dan
didistribusikan oleh pengguna akhir yang tidak begitu mengerti teknis (non teknis).
Dan software untuk Business Intelligence (BI) atau disebut juga dengan dashboard.

Gambaran Umum Big Data

Dari sudut pandang ilmu pengetahuan, media penyimpanan pada hardware yang
dapat digunakan adalah HDD, FDD, dan yang sejenisnya. Sedangkan media
penyimpanan pada jaringan biologi, pada diri kita dikaruniai Otak oleh Sang Creator
atau Sang Pencipta. Seberapa penting mengolah data-data yang kecil kemudian
berkumpul menjadi data yang besar (Big Data) tersebut. Berikut gambaran umum
Big Data yang ditunjukkan oleh Gambar 3.

Gambar 3. Gambaran Umum Big Data

Dari gambar 3 diatas dapat dilihat beberapa elemen penting dalam big data
diantaranya:

 Data (Facts, a description of the World)

 Information (Captured Data and Knowledge): Merekam atau mengambil Data
dan Knowledge pada satu waktu tertentu (at a single point). Sedangkan Data dan
Knowledge dapat terus berubah dan bertambah dari waktu ke waktu.
 Knowledge (Our personal map/model of the world): apa yang kita ketahui (not the
real world itself) Anda saat ini tidak dapat menyimpan pengetahuan dalam diri
202 Datawarehouse & Big Data
5 4 Dwi Ade Handayani Capah
Biro Bahan Ajar E-learning dan MKCU
[Link]
 anda dalam apa pun selain otak, dan untuk membangun pengetahuan perlu
informasi dan data.

Menurut McKinsey Global (2011), Big Data dapat didefinisikan dengan data yang
memiliki skala (volume), distribusi (velocity), keragaman (variety) yang sangat besar,
dan atau abadi, sehingga membutuhkan penggunaan arsitektur teknikal dan metode
analitik yang inovatif untuk mendapatkan wawasan yang dapat memberikan nilai
bisnis baru (informasi yang bermakna). Dan pada pengembangannya ada yang
menyebut (7V) termasuk Volume, Velocity, Variety, Variability, Veracity, Value,
dan Visualization, atau 10V bahkan lebih dari itu.

Gambar 4 Big Data dengan 6V+ 1V(Visualization)=7V

Big data merupakan istilah untuk sekumpulan data yang begitu besar atau kompleks
dimana tidak bisa ditangani lagi dengan sistem teknologi komputer konvensional
(Hurwitz, et al., 2013). Kapan suatu data dapat dikatakan sebagai “Big Data”?

202 Datawarehouse & Big Data

5 5 Dwi Ade Handayani Capah
Biro Bahan Ajar E-learning dan MKCU
[Link]
 Gambar 5. Big Data dengan 10V

Karakteristik Big Data

1. Volume
 Facebook menghasilkan 10TB data baru setiap hari, Twitter 7TB
 Sebuah Boeing 737 menghasilkan 240 terabyte data penerbangan selama
penerbangan dari satu wilayah bagian AS ke wilayah yang lain
 Microsoft kini memiliki satu juta server, kurang dari Google, tetapi lebih dari
Amazon, kata Ballmer (2013).
Catatan: Kita dapat menggunakan semua data ini untuk memberitahu kita sesuatu,
jika kita mengetahui pertanyaan yang tepat untuk bertanya.

202 Datawarehouse & Big Data

5 6 Dwi Ade Handayani Capah
Biro Bahan Ajar E-learning dan MKCU
[Link]
 Gambar 6. Tradisional vs Big Data

Kata Big Data mengarah kepada managemen informasi skala besar (large-scale) dan
teknologi analisis yang melebihi kapabilitas teknologi data secara tradisional.
Terdapat perbedaan yang paling utama dalam tiga hal antara Tradisional dengan Big
Data, yaitu amount of data (vol-ume), the rate of data generation and transmission
(velocity), dan the types of structured and unstructured data (variety).

202 Datawarehouse & Big Data

5 7 Dwi Ade Handayani Capah
Biro Bahan Ajar E-learning dan MKCU
[Link]
 Gambar 7. Bentuk Infrastruktur Data Center Gambar 8. Google Cloud Platform

Berikut gambaran traditioonal approach dan big data approach yang ditunjukkan oleh
Gambar 7 dan 8.

Traditional Approach Big Data Approach

Gambar 9. Analyze small subsets of data Gambar 10. Analyze all data

Teknologi Big Data dibagi menjadi 2 kelompok: batch processing yang mana
digunakan untuk menganalisis data yang sudah settle (data at rest) pada satu waktu
tertentu. Dan streaming processing yang mana digunakan untuk menganalisis data
yang terus menerus ter-update setiap waktu (data in motion).

202 Datawarehouse & Big Data

5 8 Dwi Ade Handayani Capah
Biro Bahan Ajar E-learning dan MKCU
[Link]
 Gambar 11. Batch dan stream processing

2. Velocity

Velocity adalah Kecepatan data yang masuk (per jam, per detik, etc). Clickstreams
(web log) dan transfer data asynchronous yang dapat menangkap apa saja yang
dilakukan oleh jutaan atau lebih pengguna yang lakukan saat ini. Dimana clickstream
atau web log merupakan salah satu sumber data yang menarik. Sebuah clickstream
meliputi suatu rekaman untuk setiap permintaan halaman dari setiap pengunjung
website. Jadi, suatu clickstream merekam setiap gesture yang dibuat oleh
pengunjung dan gesture ini memiliki potensi untuk memberikan deskripsi mengenai
kebiasaan dari pengunjung yang bersangkutan. Diharapkan bahwa clickstream akan
mengidentifikasi sesi yang berhasil dan tidak berhasil, menentukan apakah
pengunjung puas atau tidak puas, dan menemukan bagian dari website yang secara
efektif menarik perhatian pengunjung
202 Datawarehouse & Big Data
5 9 Dwi Ade Handayani Capah
Biro Bahan Ajar E-learning dan MKCU
[Link]
 Traditional Approach Start with hypothesis and test against selected data

Gambar 12. Traditional Approach

Big Data Approach Explore all data and identify correlations

Gambar 13. Big Data Approach

3. Variety
Variety merupakan kumpulan dari berbagai macam data, baik data yang terstruktur, semi
terstruktur maupun data tidak terstruktur (bisa dipastikan lebih mendominasi). Tampilan
data semakin komprehensif (lengkap dan menyeluruh).

202
5 1 Datawarehouse & Big Data
Biro Bahan Ajar E-learning dan MKCU

0 Dwi Ade Handayani Capah [Link]

 Gambar 14. Variety Data

4. Rangkuman 3V dan Veracity

Gambar 15. Rangkuman 3V dan Veracity

Ekosistem Big Data Analytics

Berikut gambaran dari Ekosistem Big Data yang ditunjukkan oleh Gambar 16:

Gambar 16. Gambaran Ekosistem Big Data

Keterangan:
1. Data Devices
202
5 1 Datawarehouse & Big Data
Biro Bahan Ajar E-learning dan MKCU

1 Dwi Ade Handayani Capah [Link]

2. Data Collectors
3. Data Aggregators: kompilasi informasi dari database dengan tujuan untuk
mempersiapkan dataset gabungan untuk pengolahan data.
4. Data Users/ Buyers

Apa yang dimasud dengan Analytics? Sebuah titik awal untuk memahami Analytics
adalah Cara untuk mengeksplorasi/ menyelidiki/ memahami secara mendalam suatu
objek sampai ke akar-akarnya. Hasil analytics biasanya tidak menyebabkan banyak
kebingungan, karena konteksnya biasanya membuat makna yang jelas. Perkembangan
analytics dimulai dari DSS kemudian berkem-bang menjadi BI (Bussines Intelligence)
baru kemudian menjadi ana-lytics yang ditunjukkan oleh Gambar 17 berikut:

Gambar 17. Perkembangan Analytics

BI dapat dilihat sebagai istilah umum untuk semua aplikasi yang mendukung DSS, dan
bagaimana hal itu ditafsirkan dalam industri dan semakin meluas sampai di kalangan
akademisi. BI berevolusi dari DSS, dan orang dapat berargumentasi bahwa Analytics
berevolusi dari BI (setidaknya dalam hal peristilahan). Dengan demikian, Analytics
merupakan istilah umum untuk aplikasi analisis data.

Big Data Analytics merupakan Alat dan teknik analisis yang akan sangat membantu
dalam memahami big data dengan syarat algoritma yang menjadi bagian dari alat-alat ini
harus mampu bekerja dengan jumlah besar pada kondisi real-time dan pada data yang
berbeda-beda.

Bidang Pekerjaan baru Big Data Analytics

Deep Analytical Talent / Data scientists (Memiliki bakat analitik yang mendalam/ Ilmuwan
Data): orang-orang dengan latar belakang yang kuat dalam algoritma-algoritma sistem

202
5 1 Datawarehouse & Big Data
Biro Bahan Ajar E-learning dan MKCU

2 Dwi Ade Handayani Capah [Link]

cerdas, atau matematika terapan, atau ekonomi, atau ilmu pengetahuan lainnya melalui
inferensi data dan eksplorasi.
Data Savvy Professionals (Para profesional Data Cerdas): Mereka tahu bagaimana untuk
berpikir tentang data, bagaimana mengajukan jenis pertanyaan (goal) yang tepat sesuai
dengan kebutuhan lembaga/perusahaan/lainnya dan mampu memahami dan
mengklarifikasi jawaban (hasil analisis) yang mereka terima.
Technology and data enablers: Mampu memberikan dukungan integrasi antara data
dengan teknologi yang sesuai, dan yang paling berkembang saat ini.

Contoh perusahaan atau developer yang menggunakan analisis Big Data

Starbucks (Memperkenalkan Produk Coffee Baru). Pagi itu kopi itu mulai dipasarkan,
pihak Starbucks memantau melalui blog, Twitter, dan kelompok forum diskusi kopi lainnya
untuk menilai reaksi pelanggan. Pada pertengahan-pagi, Starbucks menemukan hasil dari
analisis Big Data bahwa meskipun orang menyukai rasa kopi tersebut, tetapi mereka
berpikir bahwa harga kopi tersebut terlalu mahal. Maka dengan segera pihak Starbucks
menurunkan harga, dan menjelang akhir hari semua komentar negatif telah menghilang.
Bagaimana jika menggunakan analisis tradisional?

Contoh tersebut menggambarkan penggunaan sumber data yang berbeda dari Big Data
dan berbagai jenis analisis yang dapat dilakukan dengan respon sangat cepat oleh pihak
Starbucks.

Pemilihan Presiden atau walikota atau lainnya di suatu Negara atau kota melalui analisis
tweet dengan Apache HDF/NiFi, Spark, Hive dan Zeppelin.
 Apache NiFi, get filtered tweets yang berhubungan dengan Pemilihan Presiden atau
walikota, misal di Indonesia atau di kota tertentu.
 Apache Spark, get the stream of tweets dari Apache NiFi.
 Spark streaming, untuk mentransformasi dan menyimpan data ke dalam suatu tabel
pada Apache Hive.
 Apache Zeppelin notebook, untuk menampilkan data hasil secara real-time.

Hasil analytics:

202
5 1 Datawarehouse & Big Data
Biro Bahan Ajar E-learning dan MKCU

3 Dwi Ade Handayani Capah [Link]

o Frekuensi dari tweets sepanjang waktu per kandidat
o Persentase tweet negatif, positive dan neutral per kandi-dat
o Tren opini sepanjang waktu untuk tiap kandidat

Ekosistem Tool Big Data Analytics

Berikut gambaran dari Ekosistem Tool Big Data, menggunakan salah satu variasi dari
susunan Ekosistem Hadoop (Apache Hadoop Ecosystem) yang ditunjukkan oleh Gambar
18 berikut:

Gambar 18. Contoh Ekosistem Hadoop ke-1

Berdasarkan dari Ekosistem Big Data yang begitu kompleks pada bab sebelumnya, maka
hal yang sangat penting dilakukan pertama kali sebagai kunci sukses untuk membangun
Ekosistem Hadoop adalah mengidentifikasi kegunaan dan bagaimana interaksi antara,
atau dari masing-masing Tool Big Data, serta apa saja yang nantinya akan digunakan
dalam melakukan pembuatan implementasi pada lingkungan Hadoop. Gambar 1.17
memberikan contoh gambaran umum tentang interaksi aplikasi, tool dan interface yang
ada di ekosistem Hadoop yang dibangun, misal berdasarkan kategori atau spesifikasi dari
setiap produk-produk Apache berdasarkan fungsinya, mana yang spesifik digunakan
untuk; (Storage, Processing, Querying, External Integration & Coordination), dan
bagaimana kecocokan interaksi diantara mereka.
202
5 1 Datawarehouse & Big Data
Biro Bahan Ajar E-learning dan MKCU

4 Dwi Ade Handayani Capah [Link]

Pada Gambar 19 berikut adalah contoh Ekosistem Hadoop yang lain dengan
menggunakan beberapa Tool Big Data yang berbeda dengan Ekosistem sebelumnya,
Fokus dari adanya visualisasi ekosistem dari Tool Big Data adalah terkait suatu gambaran
sistem yang mempelajari interaksi antara satu Tool Big Data satu dengan lainnya,
maupun interakti suatu Tool Big Data yang ada dengan Lingkungannya (misal Data,
Kondisi Kasusnya, dll), sedangkan fokus dari pembuatan arsitektur Tool Big Data (akan
dibahas lebih detil pada bab selanjutnya) adalah lebih ke arah seni dan ilmu yang
digunakan untuk merancang, mendesain dan membangun produk dari
mengkombinasikan dari banyaknya pilihan Tool -Tool Big Data yang ada sesuai dengan
seberapa komplek kasus yang ditangani untuk projek analitik dalam Scope Big Data, dan
memungkinkan akan adanya modifikasi atau perbaikan kembali arsitektur yang ada
sebelumnya dari waktu ke waktu, misal dalam beberapa bulan atau tahun produk
arsitertur tersebut mungkin akan menjadi usang dan harus diganti dengan arsitektur yang
lain yang lebih baik dan optimal.

Gambar 19. Contoh Ekosistem Hadoop ke-2

Selain dari kedua contoh Ekosistem Hadoop sebelumnya, contoh pada Ekosistem
Hadoop yang lain lebih ke arah “Industrial Best Practices” untuk diterapkan dalam bidang

202
5 1 Datawarehouse & Big Data
Biro Bahan Ajar E-learning dan MKCU

5 Dwi Ade Handayani Capah [Link]

apapun, missal kesehatan (Healthcare), dsb bisa menggunakan Hadoop Distribution (HD)
dari hasil karya terbaik beberapa perusahaan berikut,
1. Cloudera: didirikan orang-orang yang berkontribusi di project Hadoop di Apache,
Memiliki pangsa pasar paling besar, membuat HD versi gratis dan juga versi
enterprise yang tidak gratis, menambahkan software khusus milik mereka yang
disebut Impala (Query Engine diatas HDFS, seperti Map Reduce yang bisa dijalankan
dengan low-latency atau dengan waktu yang lebih pendek dibanding Map Reduce).
2. HortonWorks: didirikan orang-orang yang berkontribusi di project Hadoop juga,
diadopsi di Microsoft Azure dan menjadi Microsoft HD Insight. Partnership ini yang
membuat Hortonworks sampai saat ini satu-satunya Hadoop yang compatible dan
mudah dijalankan di Microsoft Windows, HD versi enterprise dari Hortonworks adalah
gratis. Hortonworks mendapatkan keuntungan dari support dan training.
3. MapR Technologies: seperti Hortonworks, memberikan gratis untuk versi
enterprisenya dan mendapat keuntungan dari support dan training, digunakannya oleh
dua perusahaan cloud computing yang besar Amazon dan Google, maka MapR
banyak digunakan oleh pengguna cloud computing.
4. Dll.

Hadoop yang dari Apache memiliki kemiripan dengan Linux dari segi komposisi,
konfigurasi dan distribusinya, namun bukan dalam hal fungsionalitas. Hadoop
komposisinya dibangun dengan menggunakan software open source dibawah lisensi
Apache Fundation. Hadoop Distribution adalah Perusahaan yang membuat sebuah paket
Hadoop siap pakai dan menjualnya, dari hasil konfigurasi Hadoop standard dengan tool-
tool Big Data lain yang sesuai dengan desain konfigurasi komposisi yang menurut mereka
terbaik, yang didalamnya ada Ekosistem Hadoop dan juga Arsitekturnya. Anda pun
secara mandiri dapat membuat Hadoop Distribution juga, namun yang harus diperhatikan
adalah tentang keahlian dan penguasaan tingkat dasar sampai tingkat lanjut terkait
konsep Big Data, dan Tool-tool yang berkembang untuk Big Data tersebut, jika belum
maka anda dapat mempelajarinya secara bertahap dengan fokus pada beberapa core
dari Tool pengolahan Big Data, misal untuk awalan cukup menguasai Hadoop dan Spark,
kemudian disusul Tool yang lainnya , hal ini akan memudahkan anda belajar untuk
menjadi sangat ahli dalam bidang Big Data dan Tool-nya, sehingga setelah mahir, anda
akan merasa sangat mudah dalam membuat Hadoop Distribution secara mandiri.

202
5 1 Datawarehouse & Big Data
Biro Bahan Ajar E-learning dan MKCU

6 Dwi Ade Handayani Capah [Link]

 Gambar 20. Cloudera vs Hortonworks vs MapR

202
5 1 Datawarehouse & Big Data
Biro Bahan Ajar E-learning dan MKCU

7 Dwi Ade Handayani Capah [Link]

Daftar Pustaka
1. Big Data Analytics, 1st Edition. Editor(s): Govindaraju, Raghavan, and
Rao. Release Date: 07 Jul 2015. Imprint: Elsevier.
2. Big Data Working Group. Big Data Administrator. Yogyakarta:
Universitas Gajah Mada.
3. (2013, Oktober). Diambil kembali dari Apache TM Hadoop @ homepage:
[Link]
4. Big Data Working Group, 2013. Big Data Analytics for Security
Intelligence. Cloud Security Alliance – All Rights Reserved.
5. Brammer, 2007. Principles of Data Mining. UK: University of Portsmouth.
6. Bustami. 2013. Penerapan Algoritma Naive Bayes untuk Mengklasifikasi
Data Nasabah Asuransi.
7. Çakir, M. U. & Güldamlasioglu, S., 2016. Text Mining Analysis in Turkish
Language Using Big Data Tools. Computer Software and Applications
Conference (COMPSAC), IEEE 40th Annual. IEEE, 614-618.
8. Chitta, Radha, Rong Jin, Timothy C. Havens, dan Anil K. Jain.
[Link] kernel k-means: solution to large scale kernel
clustering. In KDD, pp. 895-903.
9. Cossalter, V., 2016. Motorcycle Dynamics.
10.C. W. Hsu and C. J. Lin, 2002. A Comparison of Methods for Multiclass
Support Vector Machines, Neural Networks, IEEE Transactions Vol. 13
No. 2, pp. 415-425.
[Link], M. Y. 2013. Menakar Tingkat Akurasi Support Vector Machine
Studi Kasus Kanker Payudara. Statistika, Vol 1 No 1.
[Link], J., & Ghemawat, S., 2004. MapReduce: Simplified Data Processing
on Large Clusters. Google Corp.
[Link], D., Heller, B., dan Yang, B., 2015. Data Science and Big Data
Analytics: Discovering, Analyzing, Visualizing and Presenting Data.
Editor: EMC Education Services.
[Link], Agata. 2014. Recommendation System [Online]. Di-akses pada
26 Desember 2017.
[Link], K. M. & Kamel, M. S., 2003. Incremental docu-ment
clustering using cluster similarity histograms. Web Intelligence. WI 2003.
Proceedings. IEEE/WIC Interna-tional Conference on, 2003. IEEE, 597-
601.

202
5 1 Datawarehouse & Big Data
Biro Bahan Ajar E-learning dan MKCU

8 Dwi Ade Handayani Capah [Link]