BIG DATA
ANALYTICS
Dr. Alfatihah Reno Maulani NSPM, SST, [Link]
Alfatihah Reno
BACKGROUND
Born to be a statistician, but with the help
of programming skills, now a data
scientist.
EXPERIENCE
Data Management, Collection Systems,
Big Data and Analytics
CONTACT ME
alfa@[Link]
+62 8111 012 582
AGENDA
Berkenalan dengan big
Pengumpulan Data Pemrosesan Data
data
Analisis Data Visualisasi Data Story Telling
Berkenalan dengan Big Data
Karakteristik
Big
Data
Keuntungan Big Data
data yang
terjadi dengan
sendirinya
tepat waktu
banyak
informasi
SUMBER DATA
social media
[Link]
mobile devices
[Link]
should-not-make-time-social-media market-demand-fuels-mobile-id-fraud/
sensors digital
[Link]
products_id=e3mini-sensor
transactions
[Link]
demonetisation-digital-transactions-fail-to-gather-steam-
after-initial-surge/
INFRASTRUKTUR BIG DATA
SIAPA SAJA YANG BEKERJA DENGAN BIG DATA
APA YANG ORANG LAKUKAN
DENGAN BIG DATA?
deskripsi prediksi
CONTOH DESKPRIPSI
Teknik Pengumpulan Data
BUSINESS PROBLEM - identifikasi masalah apa
yang ingin dipecahkan
DEFINITION - identifikasi apa yang
diharapkan dari
penggunaan big data
- evaluasi anggaran yang
tersedia
Sumber
Data
Big Data and Official Statistics: The UN Global Working Group
[Link]
SUMBER DATA
social media
[Link]
mobile devices
[Link]
should-not-make-time-social-media market-demand-fuels-mobile-id-fraud/
sensors digital
[Link]
products_id=e3mini-sensor
transactions
[Link]
demonetisation-digital-transactions-fail-to-gather-steam-
after-initial-surge/
Crawling/ Scrapping dari
website
Perangkat yang
TEKNIK
terhubung ke IoT
PENGUMPULAN
Consent untuk DATA
perekaman data
Database yang sudah
ada
WEB SCRAPPING AND WEB CRAWLING
Internet
of
Things
Adapted from the ITU Draft GSR Discussion Paper 2015,
“Regulation and the Internet of Things”
CONSENT
Loyalty card Aplikasi pada ponsel Social media
JENIS DATA YANG DIKUMPULKAN
Network data Real-time data Transactional data
Geographic data Natural language data Time series data
EXPLORATORY DATA ANALYSIS
[Link]
Pemrosesan Data
MENGAPA PERLU
STRATEGI KHUSUS?
Salah satu karakteristik BigData adalah Volume,
data yang akan diproses berukuran sangat besar.
Cpntoh misalkan data pelanggan telepon selular,
Jika operator memiliki 100 juta pelanggan,
dan masing-masing pelanggan paling tidak menciptakan 1 data
saja per jamnya dari aktivitas selularnya, maka dalam satu hari
saja terbentuk 2,4 milyar baris data. Berapa banyak dalam
seminggu? Sebulan? Setahun?
Sementara Microsoft Office versi terbaru, tools yang cukup populer
untuk digunakan dalam mengolah data sederhana, baru mampu
menyediakan worksheet untuk mengolah 1 juta baris data saja.
(sumber: [Link]
Mobile Electronics market
"TSUNAMI" • 4.43 B mobile phone user s in 201 5
DATA • 7B mobile phone subscriptions in 201 5
Web and Social Networks generates
amount of data
• Google processes 100 PB per day , 3 million
servers
• Facebook has 300 PB of user data per day
• Youtube has 1000PB video storage
• 235 TBs data collected by the US Library of
Congress
• 15 out of 17 sectors in the US have more data
stored per company than the US Library of Congress
BIG DATA FUNCTIONALITY - AN ALTERNATIVE
BIG DATA ANALYTICS - AN ALTERNATIVE
KARAKTERISTIK DATA
Bagaimana data itu terbentuk?
APA
Ada metadatanya?
Bagaimana ketersediaan data? YANG
Bagaimana kelengkapan isian data? PERLU
Data terstruktur atau tidak terstruktur? DIPERHATIKAN
dll
R: OPENSOURCE SOFTWARE FOR BIG DATA
Tersedia R Studio
Opensource Supporting Page
R Studio hadir dengan
Baik program dan package Setiap package R tersedia
antarmuka yang lebih baik.
nya dapat diunduh secara petunjuk penggunaannya
lebih mudah untuk
gratis yang juga gratis
dimengerti
TAHAPAN
DATA PROCESSING
Data Cleaning
Tahapan ini, data
diperiksa kelengkapan dan Data Tabulation
kewajarannya.
Tahapan ini, data
ditabulasikan per variabel,
juga disajikan statistik Data Visualization
dasar untuk memahami
masing-masing variabel. Dibuat visualisasi untuk
Apakah terdapat outlier? memudahkan
mendapatkan insight dari
data.
Analisis Data
METODOLOGI BIG DATA
TEXT MINING DATA MINING
Mengolah data tidak terstruktur dalam Mengolah data terstruktur dalam bentuk
bentuk text, web, social media, dsb tabel yang memiliki atribut dan kelas
Menggunakan metode text processing Menggunakan metode data mining,
untuk mengkonversi data tidak terbagi menjadi metode estimasi,
terstruktur menjadi terstruktur, kemudian forecasting , klasifikasi, klastering atau
diolah dengan data mining asosiasi
CONTOH TEXT MINING
CONTOH ESTIMASI
CONTOH FORECASTING
CONTOH KLASIFIKASI
CONTOH KLASTERING
CONTOH ASOSIASI
BIG DATA USECASE
• MARKETING PRODUCT RECOMMENDATION , MARKET BASKET ANALYSIS, PRODUCT
TARGETING CUSTOMER RETENTION
• FINANCE : INVESTMENT SUPPORT , PORTFOLIO MANAGEMENT, PRICE FORECASTING
• BANKING AND INSURANCE : CREDIT AND POLICY APPROVAL, MONEY LAUNDRY DETECTION
• SECURITY : FRAUD DETECTION , ACCESS CONTROL , INTRUSION DETECTION, VIRUS
DETECTION
• MANUFACTURING : PROCESS MODELING, QUALITY CONTROL RESOURCE ALLOCATION
• WEB AND INTERNET : SMART SEARCH ENGINES , WEB MARKETING
• SOFTWARE ENGINEERING : EFFORT ESTIMATION , FAULT PREDICTION
• TELECOMMUNICATION : NETWORK MONITORING, CUSTOMER CHURN PREDICTION , USER
BEHAVIOR ANALYSIS
BIG DATA USECASE
• FINANCE : EXCHANGE RATE FORECASTING , SENTIMENT ANALYSIS
• TAXATION : ADAPTIVE MONITORING , FRAUD DETECTION
• MEDICINE AND HEALTH CARE : HYPOTHESIS DISCOVERY DISEASE PREDICTION AND
CLASSIFICATION , MEDICAL DIAGNOSIS
• EDUCATION : STUDENT ALLOCATION, RESOURCE FORECASTING
• INSURANCE WORKER’S COMPENSATION ANALYSIS
•SECURITY BOMB , ICEBERG DETECTION
• TRANSPORTATION SIMULATION AND ANALYSIS , LOAD ESTIMATION
• LAW : LEGAL PATENT ANALYSIS, LAW AND RULE ANALYSIS
• POLITIC : ELECTION PREDICTION
Visualisasi Data
one picture
worth
a thousand
words
Albert Einstein
VISUALISASI INFORMASI
Grafik apa yang cocok untuk data saya?
Bagaimana membuatnya?
Bagaimana cara menganalisa grafiknya?
Bagaimana membuatnya menarik untuk publikasi/presentasi?
KEGUNAAN
VISUALISASI
Eksplorasi Data Konfirmatori Presentasi
pengelompokkan kesesuaian sebaran jenis informasi
trends kesesuaian pola jenis grafik
anomali/outlier design
ALUR PEMBUATAN VISUALISASI
data tabulasi struktur visualisasi visualisasi
data/ pemetaan hasil
alur transformasi visual visualisasi
DATA Data cleaning
Normalization (konversi ke
PREPROCESSING rentang [0,1]), sangat
berguna untuk pemetaan
warna
Segmentasi data
Reduksi dimensi data
Agregasi data
Smoothing dan filtering
data
ASPEK VISUALISASI: WARNA
Perhatikan tema warna
8% pria buta warna
3 komponen dalam warna yang harus
diperhatikan: hue, saturation, value
ASPEK VISUALISASI: ILUSI
ilusi adalah interpretasi yang salah dari
suatu rangsangan pada panca indera
Ilusi visual didefinisikan sebagai
hubungan yang terputus antara ilusi dan
realitas fisik sebenarnya.
ASPEK VISUALISASI: ILUSI
Demonstrasi kemarin dihadiri oleh 1 juta orang demonstran.
ASPEK VISUALISASI: ILUSI
Demonstrasi kemarin dihadiri oleh 1 juta orang demonstran.
1 juta orang setara dengan 20
stadion GBK.
ASPEK VISUALISASI:
PREATTENTIVE PROCESSING
ASPEK VISUALISASI:
PREATTENTIVE PROCESSING
1.740.000 orang menonton serial "Emily in Paris" di Netflix pada hari pertama
penayangannya. 1.119.000-nya adalah perempuan..
Serial "Emily in Paris" ditonton oleh Serial "Emily in Paris" ditonton oleh
1,7juta orang di hari pertama 1,7juta orang di hari pertama
penayangannya. 64,31% penontonnya penayangannya. 2 dari 3 penontonnya
adalah perempuan. adalah perempuan.
KOMERSIAL
SAS
Tableau
SOFTWARE Power BI
UNTUK
VISUALISASI GRATIS
R
DATA Plotly
Shiny
Graphvis
Jigsaw
STORY TELLING
Data don't speak for it self,
Tidak semua orang memiliki
MENGAPA
literasi yang baik terkait data, KEMAMPUAN
"apa" nya sudah diketahui dari
BERCERITA
data, tapi "mengapa"? PENTING?
7 ALASAN #1 – Bercerita merupakan metode paling cepat untuk
menjelaskan dari 'apa' menjadi 'mengapa'
PENTINGNYA #2 – Narasi dan data adalah pemikat untuk perubahan
#3 – Bercerita dengan data membantu menciptakan
STORY budaya berbasis data
#4 – Cerita data secara otomatis melengkapi data
TELLING #5 – Narasi membantu membangun kepercayaan
DALAM pada penemuan Anda
#6 – Meningkatkan keterlibatan dan dukungan
MENJELASKAN pemangku kepentingan
#7 – Mempermudah audiens untuk mendapatkan
DATA insight dari data
CONTOH KASUS STORY TELLING
SOCIAL MEDIA INTELLIGENCE
Apakah Social Media Intelligence itu?
Social Media Listening:
Social Media Monitoring:
Cakupan lebih luas,
Fokus pada satu
termasuk topik yang
permasalahan, cenderung
relevan, kompetitor, dan
reaktif.
lain-lain.
CONTOH KASUS STORY TELLING
SOCIAL MEDIA INTELLIGENCE
Apakah Social Media Intelligence itu?
WHY? WHAT'S NEXT?
CONTOH KASUS STORY TELLING
SOCIAL MEDIA INTELLIGENCE
Apakah Social Media Intelligence itu?
Social Media Monitoring/Listening menunjukkan gejala,
dengan menanyakan kenapa, kita mencari penyebabnya
Menemukan faktor terkait dan apakah faktor terkait ini
WHY?
saling mempengaruhi, kemudian apakah perlu
ditindaklanjuti
Why, adalah proses menggali insight, yang memerlukan
kemampuan: data cleaning, analisis deskriptif, analisis
statistik. akses ke database issue, dan pemanfaatan big
data.
CONTOH KASUS STORY TELLING
SOCIAL MEDIA INTELLIGENCE
Apakah Social Media Intelligence itu?
Setelah mendapatkan insight, perlu dibentuk menjadi
WHAT'S NEXT?
actionable insight. Bisa melalui membandingkan dengan
insight daari sumber data lain, atau referensi pengalaman
Ini mengapa Social Media Intelligence lebih dari
Monotoring/Listening, lebih dari medsos/ranah digital.
CONTOH KASUS STORY TELLING
SOCIAL MEDIA INTELLIGENCE
Apakah Actionable Insight itu?
Alignment Context Relevance Specificity Novelty Clarity
CONTOH KASUS STORY TELLING
SOCIAL MEDIA INTELLIGENCE
Alignment
Insight yang didapat terkait erat dengan
berbagai hal yang bisa dikontrol oleh para
stakeholders
Context
Dilengkapi konteks, mengapa insight menjadi
penting. Biasanya dalam bentuk perbandingan
CONTOH KASUS STORY TELLING
SOCIAL MEDIA INTELLIGENCE
Relevance
Sesuai dengan kepentingan/ kebutuhan/ agenda
para stakeholders
Specificity
Spesifik, tidak hanya di permukaan.
CONTOH KASUS STORY TELLING
SOCIAL MEDIA INTELLIGENCE
Novelty
Ada temuan baru, baik yang sejalan dengan
pengetahuan maupun anomali.
Clarity
Memberikan kejelasan terhadap berbagai hal
yang sebelumnya dianggap membingungkan
atau misterius.
CONTOH KASUS STORY TELLING
SOCIAL MEDIA INTELLIGENCE
Bentuk dari Wait and see. Untuk temuan atau issue yang
belum perlu ditindaklanjuti namun berpotensi
Actionable mengalami eskalasi. Perlu ditentukan parameter
Insight apa saja yang perlu diperhatikan sebelum
merespon issue.
Further data required. Wait and see dalam
bentuk lebih aktif, dengan mencari info
tambahan untuk membentuk hipotesa riset.
Policy recommendation. Memberikan
rekomendasi kepada pengambil kebijakan.
CONTOH KASUS STORY TELLING
SOCIAL MEDIA INTELLIGENCE
Bentuk dari Adaptive recommendation. Terkait kegiatan,
Actionable pernyataan, atau aktivitas yang sudah berjalan,
bagaimana cara menyesuaikan dengan kondisi
Insight terkini?
Rekomendasi strategis lainnya. Berbagai temuan
yang relevan secara internal ataupun pihak lain
(diperlukan kerjasama dengan lintas bagian/
lintas organisasi untuk menindaklanjuti
rekomendasi ini)
Mauliate