PERTEMUAN 11

Visualisasi Data
Visualisasi
Visualisasi berperan peran penting dalam bidang
machine learning dan data science. Seringkali kita
perlu menyaring informasi kunci yang ditemukan
dalam sejumlah data data menjadi bentuk yang
bermakna dan mudah dicerna.

Visualisasi yang baik dapat menceritakan sebuah

cerita tentang data Anda dengan cara yang tidak
dapat dilakukan oleh sebuah kalimat
Pie Chart
Pie chart digunakan untuk
menunjukkan seberapa banyak
dari setiap jenis kategori dalam
dataset berbanding dengan
keseluruhan.
Variabel label berisi tupel rasa es
krim
Variabel voting berisi tupel voting.
Data tersebut mewakili jumlah
voting rase es krim favorit
Bar Chart
Bar Chart adalah merupakan tools
visualisassi yang dapat digunakan
untuk membandingkan data
kategorikal.

Mirip dengan diagram lingkaran,

diagram ini dapat digunakan untuk
membandingkan kategori data satu
sama lain.

Diagram batang dapat menampilkan

lebih banyak kategori data daripada
diagram lingkaran.
 Line Graph
Line Graph adalah bentuk
visualisasi lainya selain diagram
lingkaran dan diagram batang.
• Diagram garis lebih berguna
untuk menunjukkan
bagaimana kemajuan data
selama beberapa periode.
• Misalnya, grafik garis dapat
berguna dalam membuat
grafik temperatur dari waktu
ke waktu, harga saham dari
waktu ke waktu, berat
menurut hari, atau metrik
berkelanjutan lainnya.
 Scatter Plot
Scatter plot berfungsi baik untuk
data dengan dua komponen
numerik.
Scatter plot dapat memberikan
informasi yang berguna terutama
mengenai pola atau pencilan.
Pada contoh di bawah ini, kita
memiliki data yang terkait dengan
perbedaan lemon dan lime
berdasarkan karakteristik
fisiologis.
• Berat (g)
• Diameter (cm)
Heatmap
Heatmap adalah jenis
visualisasi yang
menggunakan kode warna
untuk mewakili nilai /
kepadatan relatif data di
seluruh permukaan.
Warna-warna ini kemudian
dapat digunakan untuk
memeriksa data secara
visual guna menemukan
kelompok dengan nilai
serupa dan mendeteksi
tren dalam data
Histogram
Histogram adalah salah satu
visualisasi yang cukup penting
dalam memahami distribusi pada
data kita.
Histogram menyediakan method
yang memudahkan kita untuk
membuat histogram.
Plot histogram secara tradisional
hanya membutuhkan satu dimensi
data.
Ini dimaksudkan untuk
menunjukkan jumlah nilai atau
kumpulan nilai secara serial.
 Correlation & Causation
Korelasi merupakan suatu
pengukuran sejauh mana
nilai saling ketergantungan
antar variabel.
Causation merupakan
hubungan antara sebab dan
akibat antara dua variable
Penting untuk mengetahui
perbedaan antara keduanya
dan bahwa korelasi tidak
mendeskripsikan sebab-
akibat.
Menentukan korelasi jauh
lebih sederhana menentukan
sebab memerlukan analisis
lebih lanjut
 Correlation & Causation
P-Value: Dengan konvensi, Ketika
Berapa nilai P ini? Nilai P • nilai p adalah $<$ 0,001:
kami katakana ada bukti
adalah nilai probabilitas kuat bahwa korelasinya
bahwa korelasi antara signifikan. nilai p adalah $<$
kedua variabel ini 0,05: terdapat bukti moderat
bahwa korelasi tersebut
signifikan secara statistik. signifikan.
Biasanya, kita memilih • nilai p adalah $<$ 0,1: ada
tingkat signifikansi 0,05, bukti lemah bahwa
yang berarti bahwa kami korelasinya signifikan.
yakin bahwa 95% • nilai p adalah $>$ 0,1: tidak
korelasi antar variabel ada bukti bahwa korelasi
tersebut signifikan.
signifikan.
PERTEMUAN 12

Teknik Sampling
Pengertian Sampling

Sebelum melakukan tahapan dalam data

preparation, terlebih dahulu adalah
pemilihan/penentuan objek yang dapat dilakukan
dengan menggunakan

Penentuan: Populasi
Teknik Sampling
Populasi Sample Sample

Sampel
 Metode Sampling
Kategori Metode Sampling

Simple Convenie • Probability Sampling:

random nce
sampling Sampling • Populasi diketahui
Jugdeme • Randomisasi/keteracakan: Ya
Cluster
Sampling ntal or • Conclusiver
pusposiv
e
• Hasil: Unbiased
Probability Non- Sampling • Kesimpulan: Statistik
sampling Metode Probability
Methods Sampling sampling
Non-Probability Samplimg
Systemat Methods
ic • Populasi tidak diketahui
Snowball
Sampling
Sampling • Keterbatasan penelitian
• Randomisasi/keteracakan:
Stratified
Random
Quota Tidak
Sampling
Sampling • Exploratory
• Hasil: Biased
• Kesimpulan: Analitik
Non-Probability Methods
•Based On ease of •Delibrately select
accesibility sample to conform to
some criteria

Convenience Judgemental

Quota Snowball

•Relevan characteristic •Refered by current

are used to segregare sample elements
the sample to improve
its representativness
 Tahapan Sampling

Identify and Select Choose

define target Sampling Sampling
population Frame methods

Collect the Determine

required data sample size
 Resampling
Ini dilakukan setelah proses pemilihan, pembersihan dan
rekayasa fitur dilakuan atas pertanyaan:
Tanya: apakah kelas target data yang kita inginkan telah
secara sama terdistribusi di seluruh dataset?

Jawab: Di banyak kasus tidak/belum tentu. Biasanya terjadi

imbalance (ketidakseimbangan) antara dua kelas. Misal utk
dataset tentang detekis fraud di perbankan, lelang real-time,
atau deteksi intrusi di network! Biasanya data dari dataset
tersebut berukuran sangat kecil atau kurang dari 1%, namun
sangat signifikan. Kebanyakan algoritma ML tidak bekerja baik
utk dataset imbalance tsb.
 Resampling (Lanjut)
Berikut adalah bbrp cara utk mengatasi imbalance dataset:
Gunakan pengukuran (metrik) yang tepat, misal dengan menggunakan:
• Precision/Spesikasi: berapa banyak instance yang relevan
• Recall/Sensitifitas: berapa banyak instance yang dipilih
• F1 score: harmonisasi mean dari precision dan recall
• MCC: koefisien korelasi antara klasifikasi biner antara observasi vs
prediksi
• AUC: relasi antara tingkat true-positive vs false-positive
Resample data training, dengan dua metode:
• Undersampling: menyeimbangkan dataset dengan mereduksi ukuran
kelas yang melimpah. Dilakukan jika kuantitas data mencukupi
• Oversampling: Kebalikan dari undersampling, dilakukan jika kuantitas
data tidakmencukupi
 Pemilihan (Seleksi Fitur) Data
• Setelah menentukan sampling atas data yang
akan diambil nanti, selanjutnya adalah
melakukan seleksi fitur (feature selection) atas
data sampling tsb

• Seleksi fitur merupakan konsep inti dalam ML

yang berdampak besar bagi kinerja model
prediksi
 Pemilihan (seleksi fitur) data
• Fitur data yang tidak/sebagian saja relevan
damapak berdampak negatif thdp kinerja model

• Definisi Seleksi Fitur: proses otomatis atau manual

memilih fitur data yang paling berkontribusi thdp
variabel prediksi atau output yang diinginkan
 Manfaat dan jenis seleksi Fitur
Manfaat:
Reduksi Overfitting: semakin kecil data redundant maka keputusan
berdasarkan noise semakin berkurang Meningkatkan Akurasi:
semakin kecil data misleading maka akurasi model lebih baik
Reduksi Waktu Training: semakin kecil titik data (data point) maka
kompleksitas algortima berkurang dan latih algoritma lebih cepat

Jenis:
Unsupervised: metode yang mengabaikan variabel target, seperti
menghapus variabel yang berlebihan menggunakan korelasi
Supervised: metode yang menggunakan variabel target, seperti
menghapus variabel yang tidak relevan
 Membedakan Jenis Data
Numerik vs Kategorik

Kualitatif/Kategoris Kuantitatif/Numerik

Nominal contoh : Interval

nim,[Link],jenis kelamin Tanggal,suhu

Ordinal
[order <,<=,>,>=]
Contoh tk kelulusan Rasio
:[cumlaude,sangat memuaskan, Contoh: Umur,Panjang, Tinggi
memuaskan,}
Suhu:[panas,dingin,normal]
 Validasi data
Verifikasi vs Validasi
• Verifikasi: Benar vs Salah
• Validasi: Kuat vs Lemah
Validasi merupakan tahapan kritikal yang sering diabaikan DS-tist pemula,
karena memeriksa, diantaranya sbb:
• Tipe Data (mis. integer, float, string)
• Range Data
• Uniqueness (mis. Kode Pos)
• Consisten expression (mis. Jalan, Jl., Jln.)
• Format Data (mis. utk tgl “YYYY-MM-DD”VS “DD-MM-YYYY.”)
• Nilai Null/Missing Values
• Misspelling/Type
• Invalid Data (gender: L/P: L; Laki-laki; P: Pria/Perempuan? )
 Teknik validasi data dan model
Teknik Validasi Data dan Model:
• Akurasi
• Kelengkapan
• Konsistensi
• Ketepatan Waktu
• Kepercayaan
• Nilai Tambah
• Penafsiran
• Kemudahan Akses
 PERTEMUAN 13

Case : Prediksi dengan regresi

Studi Kasus Regresi linier
Bayangkan kita mempunyai sebuah pabrik. dan kita
ingin mengetahui ketika suhu X ada berapa produk
yang diprediksi cacat? . Disini kita dapat
menggunakan regresi linear untuk melakukan analisa.
Pada contoh ini terdapat sebuah dataset yang terdiri
dari dua variabel rata-rata ruangan suhu(X) sebagai
variabel penyebab dan jumlah cacat(Y) sebagai
variabel akibat. agar dapat mempermudah
perhitungan pertama-tama cari nilai sum(X),sum(X .
X),sum(Y),sum(Y. Y) dan sum (X . Y).
langkah selanjutnya adalah mencari nilai a dan
b menggunakan rumus berikut.

rumus mencari nilai a

rumus mencari nilai b

Setelah didapatkan nilai a dan b maka kita

masukan kembali ke rumus utama
• persamaan regresi linear telah kita dapatkan. lalu
bagaimana untuk melakukan prediksi. misalnya
ingin mengetahui prediksi jumlah yang cacat ketika
suhu = 90 derajat. maka lakukan perhitungan -
24.3809+1.449825 *(30).
 PERTEMUAN 14

Case Lanjutan : Prediksi dengan regressi

Ouline
Lakukan, analisa, pengukuran dan menjelaskan
model prediksi dengan regressi yang telah dibangun

Pengerjaan dalam bentuk tugas berkelompok setiap

kelompok terdiri dari 3 -4 Orang mahasiswa
PERTEMUAN 6

Tools Sains Data

Tools sains data

Selain kemampuan seperti matematika, statistic dan

yang terkait lainnya
Tools sains data
Microsoft Excel
Aplikasi ini biasanya digunakan untuk penolahan
data numerik, fungsi statistika sampai dengan
melakukan visualisasi data

SAS (Statistical Analysis System)

Aplikasi ini biasanya digunakan khusus untuk
pengolahan data statistik
Tools sains data
MATLAB
MATLAB dikembangkan oleh The MathWorks yang
mendukung data science khususnya statistik hingga
pengembangan user interface. Tools ini unggul dalam
melakukan analisis data, komputasi aljabar linear atau
matriks, dan pembuatan grafik atau plot untuk visualisasi
data yang sangat mendukung. MATLAB juga mudah
diintegrasikan ke dalam enterprise dan embedded system
yang dapat membantu automatisasi berbagai tugas dalam
data science
Tools Proyek data science
Python
Python didesain oleh Guido van Rossum2 pada 1991
sebagai general-purpose language dan bersifat open-
source. Python merupakan bahasa pemrograman
populer tetapi juga memiliki properti yang sangat
baik untuk programmer pemula, sehingga ideal
untuk orang yang belum pernah memprogram
sebelumnya. Python juga bersifat cross-platform,
artinya bisa digunakan pada sistem operasi Windows,
Mac OS, dan Linux. Beberapa kelebihan dari properti
tersebut adalah kode yang mudah dibaca, pengetikan
Python
Bahasa pemrograman tingkat tinggi Penulisan
kode/sintaks lebih sederhana dan tersedia banyak library
Bersifat open-source dan cross-platform
Python Biasa digunakan oleh:
• Data Analyst
• Data Engineer
• Data Scientist
• Business Intelligence
• ML Engineer
Python (Lanjutan..)
10 In demand data science skill in 2021
Penerapan Python pada Proyek data
Science
• Scraping, crawling, data mining
Data • Coding, query
Exploration

• Seleksi fitur, statistika deskriptif, class balancing, visualisasi data

Data • Transformasi fitur: Categorical encoding, binning
Preprocessing

• Menangani nilai kosong (missing values), menghapus baris

terduplikasi
Data Cleansing • Data formating, menangani data pencilan (outliers)

• Melatih data dengan algoritma machine learning

Data Modeling
• Melakukan klasifikasi, regresi, prediksi, klasterisasi
 Rapidminer
Rapidminner merupakan sebuah
tools data science yang
dikembangkan oleh perusahaan
dengan nama yang sama yang
menyediakan lingkungan
terintegrasi untuk persiapan data,
pembelajaran mesin, pembelajaran
mendalam, penambangan teks, dan
analitik prediktif. Ini digunakan
untuk aplikasi bisnis dan komersial
serta untuk penelitian, pendidikan,
pelatihan, pembuatan prototipe
cepat, dan pengembangan aplikasi
dan mendukung semua langkah
proses pembelajaran mesin
termasuk persiapan data, visualisasi [Link]
hasil, validasi model, dan
pengoptimalan.
 Penerapan Rapidminer Dalam
Datascience

[Link]
 KNIME
KNIME atau kepanjangan dari Konstanz
Information Miner, merupakan sebuah
software analisis, pelaporan, dan
integrasi data sumber terbuka dan
gratis. KNIME mengintegrasikan
berbagai komponen untuk [Link]
pembelajaran mesin dan penambangan
data melalui konsep "Building Blocks of
Analytics" perpipaan data modular.
Antarmuka pengguna grafis dan
penggunaan JDBC memungkinkan
perakitan node yang memadukan
berbagai sumber data, termasuk pra-
pemrosesan (ETL: Extraction,
Transformation, Loading), untuk
pemodelan, analisis data, dan
visualisasi tanpa, atau hanya dengan
pemrograman minimal
Workflow KNIME Untuk data
science
 PERTEMUAN 6

Teknik Pemrosesan Data

Data Processing
Data preprocessing merupakan sekumpulan teknik
yang diterapkan pada database untuk menghapus
noise, missing value, dan data yang tidak konsisten
atau dalam istilah lain adalah Data Pre-processing,
Data Manipulation, Data Cleansing/ Normalization.
Fakta Terkait Data Preparation

[Link]
survey-says/?sh=690c8f796f63
Fakta Terkait Data Preparation

60-80% porsi kegiatan data saintis berfokus pada

data preparation (forbes, crowdflower 2016) data
yang ada saat ini dari banyak sumber data dan
format yang beragam (terstruktur, semi, dan tidak
terstruktur) kualitas model prediktif bergantung
pada kualitas data (GIGO)
 Pentingnya Data Preparation
Data perlu diformat sesuai dengan software yang
digunakan
data perlu disesuaikan dengan metode data sains
yang digunakan
data real-world cenderung ‘kotor’:
tidak komplit: kurangnya nilai attribute, kurangnya
atribut tertentu/penting, hanya berisi data agregate.
misal: pekerjaan=”” (tidak ada isian)
noisy: memiliki error atau outlier. misal: Gaji=“-10”,
Usia=“222
Pentingnya Data Preparation (lanjut)
Data real-world cenderung ‘kotor’:
tidak konsisten: memliki perbedaan dalam kode dan nama. misal : Usia=
“32” TglLahir=”03/07/2000”; rating “1,2,3” -- > rating “A, B, C”
kolom dan baris yang saling bertukar banyak variabel dalam satu kolom
yang sama

Inkonsistensi
Missing Data Data Noisy
Diabaikan Clustering data

Referensi external
Di isi secara manual Manual remove

Diisi dengan hasil

Machine Learning
perhitungan
Algoritmh
Manfaat Data Preparation
Kompilasi Data menjadi Efisien danEfektif
(menghindari duplikasi)
Identifikasi dan Memperbaiki Error
Mudah Perubahan Secara Global
Menghasilkan Informasi yang Akurat utk
Pengambilan Keputusan
Nilai Bisnis dan ROI (Return on Ivestment) akan
Meningkat
[Link]
Tantangan Data Preparation

• Memakan Waktu Lama

• Porsi Teknis yang Dominan
• Data yang Tersedia Tidak Akurat atau
Jelas/Tidak Langsung Pakai
• Data tidak Balance Saat Pengambilan Sampel
• Rentan akan Error
 Data Preparation dalam CRISP-DM
Akronim dari: CRoss
Industry Standard
Process Data Mining
Metodologi umum
untuk data mining,
analitik, dan proyek
data sains, berfungsi
menstandarkan
proses data mining
lintas industry
Digunakan untuk
semua level dari
pemula hingga pakar
[Link]
 Data Preparation Versi Sederhana

Data Collection Data Preprocessing Data Transformation

• Articulating the problem • Formating • Sclaing/Normalizing

• Defining data required • Cleaning • Decomposition
• Gathering and combining data • Sampling • Aggregation
from difernet source
Pemilihan, Pembersihan & Validasi
Pilih/ Select Data
• Pertimbangkan apemilihan data
• Tentukan dataset yang akan digunakan
• Kumpulkan data tambahan yang sesuai (internal
atau eksternal)
• Pertimbangkan penggunaan teknik pengambilan
sampel
• Jelaskan mengapa data tertentu dimasukkan atau
dikecualikan
Pemilihan, Pembersihan & Validasi
Bersihkan/ Clean Data
• Perbaiki, hapus atau abaikan noise
• Putuskan bagaimana menangani nilai-nilai khusus
dan maknanya
• Tingkat agregasi, nilai yang hilang (missing value),
dll
• Bersihkan atau manipulasi outlier
Pemilihan, Pembersihan & Validasi
Validasi Data
• Periksa/Nilai Kualitas Data
• Periksa/Nilai Tingkat Kecukupan Data
Rincian Tahapan Data Preparation
Bangun/ Construct Data
1. Atribut turunan.
2. Latar belakang pengetahuan.
3. Bagaimana atribut yang hilang dapat dibangun
atau diperhitungkan
Integrasi/ Integrate Data
Mengintegrasikan sumber dan menyimpan hasil
(tabel dan catatan baru)
Bentuk/ Format Data
PERTEMUAN 10

Penelaahan Data
Analisis dan Penafsiran data
Analisis dan penafsiran data dalam penelitian kualitatif memiliki ciri
diantaranya :
• Natural setting (latar alamiah),
• Pengungkapan makna dari sudut pandang subyek penelitian,
• holistik dan tidak dapat diisolasi sehingga terlepas dari konteknya,
Peneliti sebagai instrumen utama untuk mengungkapkan makna
yang terikat nilai dan konteks,
• Data kualitatif diungkapkan melalui hubungan alamiah antara
peneliti dengan informan,
• Sample dipilih didasarkan oleh tujuan penelitian (purposive
sampling) dan bukan menggunakan sampel random,
• Analisis Data data dilakukan secara induktif, serta Mengarahkan
penyusunan teori dari data lapangan.
Analisis Data dalam Pengumpulan
Data
Analisis data selama proses pengumpulan
data dilakukan untuk mengumpulkan data
yang ada serta memikirkan data baru yang
akan dikumpulkan, mencari kebenaran
informasi yang masih kabur serta
mengarahkan analisis yang sedang berjalan
Analisis Data Setelah Pengumpulan
Data
Laporan penelitian kualitatif sebagian
besar menyusun teks naratif yang
disusun secara sistematis, sehingga
akhir pengumpulan data peneliti
disibukan oleh penyajian data yang telah
dikumpulkan serta dianalisis
sebelumnya
Model Analisis Data
Analisis Kawasan
Analisis ranah (kawasan) merupakan proses
menemukan bagian-bagian, unsur-unsur, kawasan-
kawasan dari makna kultural yang mengandung
kategori-kategori lebih kecil. Berkaitan dengan hal
itu, Spradley (1972:88-91) mengemukakan bahwa
suatu kawasan kultural adalah suatu kategori dari
makna kultural yang meliputi kategotir-ketegori yang
lebih kecil
Model Analisis Data(Lanjut..)
Observasi Terfokus
Prasyarat untuk mememilih fokus adalah
daftar ranah secara lengkap. Melalui daftar
peneliti tersebut peneliti dapat memilih satu
atau sejumlah ranah untuk dilakukan studi
terfokus
Model Analisis Data(Lanjut..)
Analisis Taksonomi
Setelah analisis kawasan (ranah) dan observasi
terfokus peneliti sudah dapat mengidentifikasi ranah-
ranah yang akan dipelajari secara mendalam.

Analisis Komponensial
Analisis komponensial merupakan suatu usaha
mencari secara sistematis atribut-atribut yang
berhubungan dengan kategori budaya
Model Analisis Data(Lanjut..)
Analisis Tema
Analisis tema didasarkan pada asumsi, bahwa
setiap budaya tidak lebih dari penjulahan adegan-
adegan yang merupakan suatu sistem arti yang
teintegrasi ke dalam pola-pola yang lebih besar.
 PERTEMUAN 4

Sains data Dan Machine Learning

Hubungan data science dan Machine
learning

Analisis data dan proses bisnis dilakukan oleh

datascience
Pemodelan menggunakan learning machine
Kategori Machine Learning

Supervised Learning
Unsupervised Learning
Reinforcement Learning
 Supervised Learning
Supervised Learning adalah adalah subkategori
pembelajaran mesin (Machine Learning) dan
kecerdasan buatan (AI).

Model ini ditentukan oleh penggunaan kumpulan

data berlabel untuk melatih algoritma yang
mengklasifikasikan data atau memprediksi hasil
secara akurat.
Konsep Kerja Supervised Learning
Supervisor

Training Output
Data Set yang diiginkan Output

Data Input

Algorithm Processing

Sumber : [Link]
 Konsep Kerja Suppervised Learning
(lanjutan)
• Saat data input dimasukkan ke dalam model, ia
menyesuaikan bobotnya hingga model dipasang
dengan tepat, yang terjadi sebagai bagian dari
proses validasi silang
 Cara Kerja Supervised Learning
• Supervised Learning menggunakan satu set data
training untuk melakukan learning model, guna
menghasilkan output yang diinginkan.
• Dataset pada data training mencakup input dan
output yang benar, yang memungkinkan model
untuk belajar dari waktu ke waktu.
• Algoritma nantinya mengukur akurasinya melalui
fungsi kerugian (Loss Function), lalu menyesuaikan
hingga kesalahan cukup diminimalkan.
 Jenis supervised learning
Supervised Learning dapat dibagi kedalam 2 jenis berdasarkan
cara pemecahan masalahnya.
Klasifikasi (Classification)
Menggunakan algoritma, untuk
menetapkan data uji secara akurat
menetapkan ke dalam kategori
tertentu. Jenis ini mengenali entitas
tertentu dalam kumpulan data dan
mencoba menarik beberapa
kesimpulan tentang bagaimana
entitas tersebut harus diberi label
atau didefinisikan. Algoritma umum
yang digunakan, SVM, Decission Tree,
CNN, linear classifier dll
Jenis supervised learning (lanjutan)

Regresi (Regression)
digunakan untuk mengetahui
hubungan antara variabel
dependen dan variabel bebas.
Jenis Ini biasanya digunakan untuk
membuat proyeksi, seperti untuk
pendapatan penjualan untuk
bisnis tertentu. Regresi yang
paling umum digunakan saat ini
adalah : Regresi Linier, Polinominal
dan logistic regression
 Model UnSupervised
Learning/Descriptive
• Unsupervised Learning menggunakan algoritma
pembelajaran mesin (machine learning) untuk menganalisis
dan mengelompokkan kumpulan data yang tidak berlabel.
• Algoritma ini menemukan pola tersembunyi atau
pengelompokan data tanpa perlu campur tangan manusia,
berbanding terbalik dengan Supervised Learning yang erat
dengan campur tangan manusia.
• Kemampuan Unsupervised Learning menemukan
persamaan dan perbedaan informasi menjadikannya solusi
ideal untuk analisis data eksplorasi, strategi penjualan
silang, segmentasi pelanggan, dan pengenalan gambar
• Contoh algoritma yang digunakan di model ini: K-Means
Clustering Algorithm.
Konsep Kerja unpervised Learning
Output

• Tidak ada Training Data Set

• Output tidak diketahui
Data Input

Interpretasi Algorithm Processing

 Jenis-jenis Unsupervised Learning
Clustering
Clustering adalah teknik
data mining yang
mengelompokkan data
yang tidak berlabel
berdasarkan persamaan
atau Cluster
perbedaannya. Algoritma System
pengelompokan digunakan
untuk memproses objek
data mentah yang tidak
diklasifikasikan ke dalam
kelompok yang diwakili
oleh struktur atau pola
dalam informasi.
 Jenis-jenis Unsupervised Learning
Hierarchical Clustering Cluster Konsumen

Hierarchical Clustering 100

adalah algoritma
80 Cluster 1
pengelompokan tanpa
Skor Pengeluaran
Cluster 2
pengawasan yang 60 Cluster 3
dapat dikategorikan Cluster 4
dalam dua cara, yakni 40
Cluster 5
bisa menjadi 20
aglomerat atau 0
memecah belah. 20 40 60 80 100 120 140
Pendapatan Tahunan
 Jenis-jenis Unsupervised Learning
Probabilistik Clustering
Model probabilistik adalah teknik Unsupervised Learning yang memecahkan
estimasi kepadatan atau masalah pengelompokan lunak. Dalam
pengelompokan probabilistik, titik data dikelompokkan berdasarkan
kemungkinan bahwa mereka termasuk dalam distribusi tertentu. Model
Campuran Gaussian (GMM) adalah salah satu metode pengelompokan
probabilistik yang paling umum digunakan

Data Input Output

• Tidak ada Training Data Set

• Output tidak diketahui

Interpretasi Algorithm Processing

Model Training Model Trained

 Jenis-jenis Unsupervised Learning
Association Rule
Association Rules adalah
metode berbasis aturan Transaksi 1
untuk menemukan Transaksi 2
hubungan antara variabel Transaksi 3
dalam kumpulan data yang
diberikan. Transaksi 4
Metode ini sering digunakan Transaksi 5
untuk analisis keranjang Transaksi 6
belanja, memungkinkan
perusahaan untuk lebih Transaksi 7
memahami hubungan Transaksi 8
antara produk yang
berbeda.
Jenis-jenis Unsupervised Learning
Apriori Algoritm
Apriori Algorithms dipopulerkan melalui analisis
keranjang belanja yang mengarah ke berbagai mesin
rekomendasi untuk platform musik dan toko
online. Mereka biasa digunakan dalam kumpulan data
transaksional untuk mengidentifikasi kumpulan barang
yang sering, atau kumpulan barang, untuk
mengidentifikasi kemungkinan mengkonsumsi suatu
produk mengingat konsumsi produk lain
 Reinforcement Learning
Reinforcement learning (RL) bekerja melalui sebuah
proses feedback, dan akan terus melakukan
aktivitasnya sampai ia mencapai tujuannya. Jika ia
mencapai tujuan maka ia akan mendapatkan reward.
Proses ini akan terus berlangsung dengan tujuan
besarnya adalah memaksimalkan reward yang didapat
 Reinforcement Learning (lanjut)
Melalui gambar di atas bisa dilihat bahwa agen
melakukan sebuah aksi, yang kemudian aksi itu akan
diterapkan di lingkungannya (baik dunia luar atau berupa
simulasi).
Kemudian akan dilihat apakah tujuannya tercapai atau
tidak.
Jika tercapai maka ia akan mendapat reward, jika tidak
maka ia mendapat hukuman (punishment) atau bisa juga
disetting tidak terjadi apa-apa.
Setiap keputusan (aksi) yang ia ambil, maka ia berada di
kondisi (state) yang baru. Begitu seterusnya sampai
reward yang didapat maksimal.
 Reinforcement Learning (lanjut)
• Dalam aplikasi nyata misalnya bermain mario bros,
maka tujuan besarnya adalah mencapai skor tertinggi.
• Tentunya dengan tetap berusaha agar mario bros tidak
pernah mati saat bermain.
• Atau jika kita mendesain robot yang bisa berjalan, maka
tujuan besarnya adalah ia mencapai skor (reward)
tertinggi juga. Setiap ia bisa berjalan normal (kriteria
berjalan normal sudah kita tentukan), maka ia akan
mendapat skor. Jika berjalannya sempurna, skornya
sempurna, jika jatuh maka skornya minus. Perhitungan
skor bersifat akumulatif. Begitu seterusnya.
 PERTEMUAN 5

Pemahaman Bisnis Proses Data

Tujuan Objectif AI dalam Bisnis

AI meniru keputusan dan tindakan kecerdasan manusia

Contoh
Autonomous Vehicle
Stock Price Prediction

Otomatisasi berfokus pada penyederhanaan tugas instruktif

yang berulang
Contoh
Menyalakan lampu menggunakan
smartphone setiap jam 18:00
Alat otomatis pemberi makan hewan peliharaan
Identifikasi Problem Machine Learning

Terdapat beberapa sistem pengolahan data, atau sistem

pembelajaran yang
memerlukan beberapa tahapan pengolahan yang masing-
masing memiliki
keterikatan satu sama lain untuk menghasilkan output.
 Tahapan-tahapan Business
Understanding di dalam AI

Bussines System
Component
Case Flow Design

Solutions Issues
 Rencana Proyek Data Science

• Setiap proyek dimulai dengan pemahaman bisnis.

• Proyek Data Science merupakan proyek Bisnis,
sehingga harus selalu berorientasi pada pencapaian
hasil yang berfokus pada bisnis
• Proyek Data Science harus memiliki visi global yang
selaras dengan strategi bisnis.
• Sponsor bisnis membutuhkan solusi analitik.
 Tahapan Proyek Data Science
Solusi dari
Penentuan Tujuan Instrument
perspektif
Masalah Proyek Pengukuran
bisnis

Analytical Approach

Contoh bussines understanding:

Autonomous Vehicle Problem: Kendaraan autonomous yang belum aman

Clear question:
Bagaimana cara agar kendaraan autonomous dapat secara aman
beroperasi?

Measurable outcomes:
40% mengurangi kecelakaan lalu lintas yang diakibatkan oleh human error
 Analytic Approach

• Setelah masalah bisnis dinyatakan dengan

jelas, data scientist dapat menentukan
pendekatan analitik untuk memecahkan
masalah
• Tahap ini mencakup pengungkapan
masalah dalam konteks teknik statistik dan
pembelajaran mesin.
• Tahap ini dapat membantu organisasi
dalam mengidentifikasi solusi yang paling
tepat
Contoh Analytic approach

"Memprediksi pendapatan perusahaan di kuartal

berikutnya?” (Regressi)

“Apakah pasien ini menderita kanker A, kanker B, atau

mereka sehat?” (Klasifikasi)

"Apakah ada kelompok pengguna yang tampaknya

memiliki kesamaan satu sama lain?“ (Clustering)

“Bagaimana saya bisa menargetkan diskon untuk

pelanggan tertentu?” (rekomendasi/Personalisasi)
 Analytical Approach

• Pendekatan analitik yang dipilih akan

menentukan kebutuhan data.

• Secara khusus, metode analitik yang akan

digunakan memerlukan konten, format, dan
representasi data tertentu, hal ini juga
dipengaruhi oleh problem domain yang
dipilih.
 Data Collection
Pada tahap pengumpulan data awal, data scientist
dapat melakukan
1. Mengidentifikasi dan mengumpulkan sumber data
yang tersedia—
• Terstruktur
• tidak terstruktur
• semi-terstruktur—yang relevan
• dengan domain masalah
Gathering Data
Data dapat dikumpulkan melalui beberapa sumber,
seperti
• Data internal perusahaan (excel,database internal,
dll)
• Web API, Web scraping
• Kumpulan data melalui data publik
• Kumpulan data melalui data terbuka
 Studi Kasus (Prediksi Harga Saham)
• Pasar saham dikenal sebagai tempat di mana
orang dapat berinvestasi dan mendapatkan
margin dari investasi tersebut
denganmemprediksi harga saham.
• Meskipun sangat sulit untuk memprediksi harga
secara tepat.
• Bagaimana kita bisa membuat mesin memilki
kecerdasan untuk dapat memprediksi nilai
saham seperti halnya broker di pasar saham?
 System Flow (Prediksi Harga Saham)
Machine
Tabular, SQL, CSV Hasil
Learning
API Prediksi
Algoritm

Sumber Data

• Pada system ini dibutuhkan source data dalam berbagai

tipe sumber, tabular, sql, csv, atau API
• Machine learning dibutuhkan untuk mempelajari nilai
numerik data-data tersebut
• Hasil prediksi harga saham pada waktu yang ditentukan
dapat ditampilkan oleh system berdasarkan data-data
lampau
 Permasalahan

• Bagaimana cara agar data dapat di consume oleh

algoritma machine learning ? Solution : Data
Cleansing, Data Pre-Processing, Data Understanding

• Algoritma / solusi machine learning yang perlu

diterapkan agar kita bisa mendapatkan prediksi
harga saham yang akurat Solution : Pemilihan
algoritma machine learning dengan akurasi terbaik
dengan metrik yang sesuai
 Komponen-Komponen Pendukung
Data Cleansing, Data Pre-processing, Data
Understanding

Pilihan Machine Learning Algorithm sebagai predictor

(Regression)
• Auto Regressive Moving Average
• Linear Regression
• K Nearest Neighbor
• Recurrent Neural Network (Long Short Term Memory)
 Solution : Data cleansing, Data Pre-
processing, Data Understanding
Biasanya suatu data saham memiliki kolom sebagai berikut

• Date, High, low, open, close, Trade Quantity, Turnover

• Date' sebagai fitur indeks. ‘
• High menunjukkan nilai tertinggi hari itu.
• Low menunjukkan yang terendah.
• Open adalah Harga pembukaan
• Close adalah penutupan untuk Tanggal tersebut.
• Trade Quantity adalah jumlah Saham perusahaan yang diperdagangkan pada tanggal tersebut.
• Turnover adalah omset perusahaan tertentu pada tanggal tersebut
Harga Saham Data Understanding (Visualisasi)

Waktu
Algoritma Regresi
● Auto Regressive Moving Average
● Linear, Lasso, Ridge Regression
● Decision Tree Regression, Adaboost Regression,
● Recurrent Neural Network
 Pengukuran Error
Regression Metrics :
MSE (Mean Square Error)
RMSE (Root Mean Square Error)
R2 Score
 Studi Kasus (Autonomous Vehicle)
Bagaimana menyediakan kendaraan tanpa
pengemudi yang aman, ekonomis, dan praktis ?

[Link]
System Flow Autonomous Vehicle
Sistem Sensor Machine Learning Output(actuator)
Kamera
LIDAR
Sensor jarak Object Detection Motor/Engine Throttle
Peripheral Sensor Driver Condition Steering Angle
system(oil, temperature) Detection Breaking Angel

Pada system ini dibutuhkan system sensor sebagai indra untuk mendeteksi
lingkungan disekitar kendaraan.

Machine learning dibutuhkan untuk menangkap hasil pengindraan sensor dan

menentukan actuator untuk bekerja.
Komponen-Komponen Pendukung
• Deteksi dan Klasifikasi Objek
• Pengenalan Pengemudi
• Sensor Fusion
• Aktuator
• Privacy
 Deteksi dan Klasifikasi Objek
Pembelajaran mesin digunakan
untuk membantu decision
making bagi pengemudi, seperti
persepsi dan pemahaman visual
disekitar kendaraan.

Hal ini melibatkan penggunaan

system berbasis kamera untuk
mendeteksi dan
mengklasifikasikan objek, tetapi
ada juga yang mengembangkan
menggunakan LiDAR dan radar

[Link]
 Deteksi dan Klasifikasi Objek
(problems)
• Salah satu masalah terbesar
dalam problem mobil otonom
adalah salah klasifikasi objek
atau keterlambatan dalam
klasifikasi objek dan
memberikan reaksi.

• Data yang dikumpulkan oleh

berbagai sensor kendaraan
dikumpulkan dan kemudian
diinterpretasikan oleh sistem
kendaraan [Link]
/10/03/aaa-automatic-braking-
pedestrians/
Deteksi dan Klasifikasi Objek
(possible solution)
Melalui pelatihan model ML yang lebih baik dan data
yang lebih umum, sistem dapat meningkatkan
persepsi dan mengidentifikasi objek dengan akurasi
yang lebih baik.

Melatih sistem dengan memberikan input yang lebih

bervariasi pada parameter utama untuk dapat
digunakan membuat keputusan.
 Pengenalan Pengemudi
(problems)
Machine learning dapat mengenali
pola, sehingga dapat digunakan di
dalam kendaraan untuk memantau
pengemudi.
Misalnya, pengenalan wajah dapat
digunakan untuk mengidentifikasi
pengemudi dan memverifikasi
apakah dia memiliki hak tertentu,
misalnya izin untuk menyalakan
mobil, yang dapat membantu
mencegah penggunaan dan
pencurian.
Pengenalan kondisi pengemudi [Link]
(mengantuk atau siap berkendara) drowsiness-detection-system-market-2017-analysis-and-forecast-
[Link]
 Pengenalan Pengemudi (possible
solutions)
Pengenalan wajah (face
recognition) system perlu
diimplementasikan untuk
mengenali wajah pengendara.
Selain itu untuk mendeteksi tingkat
kelelahan kita memerlukan definisi
dari face landmarks untuk
membantu menentukan status
kelelahan dari pengemudi.
Dengan menggunakan fitur-fitur
yang berada pada face landmarks,
kita bisa melihat lebih detail kondisi
mata, kondisi mulut, hidung,dan
dahi dari pengemudi. [Link]
projects/driver-drowsiness-detector-using-raspberry-
pi-and-opencv
 Privacy (problems)
Dengan semua data yang diambil
dari sensor, muncul kekhawatiran
yang dalam hal pengumpulan
data . Hal ini perlu diatur agar
diproses dilakukan secara legal
dan benar

Dibutuhkan aturan yang

meregulasi penggunaan data
khusus untuk kendaraaan
otonom [Link]
[Link]/en/solutions/interior/interior-
monitoring-systems/
 PERTEMUAN 2
Metodologi Data Science
Metodologi data Science
• Metodologi data science adalah langkah-langkah
digunakan dalam proyek data science agar dapat
menghasilkan hasil yang optimal yang dapat
menjawab pertanyaan dari suatu masalah yang
ingin diselesaikan. Metodologi ini tidak bergantung
pada teknologi atau tools tertentu.
Metodologi data science yang dibahas disini adalah
metode CRISP-DM yang dikemukakan oleh John
Rollins yang merupakan seorang senior Data
Scientist di IBM
 Metodologi Data Science
Bussiness Analytic
Understanding Approach

Data
Feedback Requirment

Data
Deployment Collection

Data
Evaluation Understanding

Data
Modeling Preparation

Metodologi Data Science CRISP-DM. Pic Source: [Link]

 Tahap Metodologi Data science
• Bussiness Understanding
• Analitic Approach
• Data Requirment
• Data Collection
• Data Understanding
• Data Preparation
• Modeling
• Evaluation
• Deployment
• Feedback
 Bussines Understanding
Fase ini mendefinisikan masalah, tujuan, dan
persyaratan solusi dari perspektif bisnis.

Misalnya, perusahaan asuransi ingin

menggunakan data science untuk menyelesaikan
masalah, katakanlah pertanyaannya: “Bagaimana
cara terbaik untuk mengalokasikan dana kesehatan
yang terbatas agar dapat memaksimalkan
penggunaannya dalam memberikan layanan yang
berkualitas?”
 Bussines Understanding (Lanjut..)
Sebelum memulai mengumpulkan data, target dan
tujuan dari pertanyaan tersebut perlu didefinisikan
terlebih dahulu. Kita memerlukan penjelasan dari si
pemberi pertanyaan untuk dalam mengetahui lebih
detail target dan tujuannya. Misalnya dalam kasus
ini, targetnya adalah menyediakan layanan kesehatan
tanpa menaikkan biaya, sedangkan tujuannya adalah
meninjau kembali proses yang sudah berjalan untuk
mengidentifikasi ketidakefektifan (inefficiencies).
 Bussines Understanding(Lanjut..)
Setelah target dan tujuan ditentukan, misalnya
tim data scientist memprioritaskan “perawatan
kembali pasien” sebagai area yang efektif untuk
ditinjau ulang. Dengan bekal target dan tujuan yang
sudah ditentukan, ditemukan bahwa 25-35% pasien
yang telah selesai menjalani perawatan akan kembali
menjalani perawatan dalam waktu satu tahun,
sementara 50% pasien akan kembali menjalani
perawatan dalam waktu lima tahun. Dan pasien gagal
jantung merupakan pasien terbanyak yang kembali
menjalani perawatan.
 Bussines Understanding(Lanjut..)
Setelah memahami permasalahan bisnis, selanjutnya adalah
mengidentifikasi business requirement. Dalam kasus
ini business requirement-nya disimpulkan sebagai berikut:
• Memprediksi kemungkinan pasien gagal jantung menjalani
perawatan kembali.
• Memprediksi kemungkinan pasien (apapun penyakitnya)
menjalani perawatan kembali.
• Memahami secara eksplisit hal apa saja yang menyebabkan
pasien menjalani perawatan kembali atau tidak.
• Mengaplikasikan prediksi kemungkinan pada pasien baru
apakah akan menjalani perawatan kembali atau tidak.
 Analitic Approach
Tahap metodologi data science selanjutnya yang
dilakukan adalah menentukan pendekatan analitik
untuk menyelesaikan masalah. Dalam tahap ini
dilakukan pendefinisian masalah dalam konteks
statistik atau machine learning untuk memperoleh
hasil yang diinginkan.
 Data Requirment
Tahap Berikutnya metodologi data science adalah
data requirements. Pemilihan pendekatan analitik
menentukan data requirements atau data apa saja
yang dibutuhkan agar permasalahan dapat terjawab.

Sama halnya ketika kita ingin memasak jenis

makanan tertentu, kita tentu harus menyiapkan
bahan-bahan yang dibutuhkan yang sesuai dengan
makanan tersebut. Penggunaan bahan-bahan yang
tidak sesuai tentunya akan mengakibatkan rasa atau
hasil yang kurang memuaskan.
 Data Requirment (Lanjutan)
• Dalam tahap ini, asumsikan kita akan “memasak”
dengan data. Misalnya masalah yang perlu
diselesaikan adalah resepnya dan data adalah
bahan-bahannya, maka yang perlu kita identifikasi
adalah data apa saja yang diperlukan, bagaimana
mengumpulkan data tersebut, bagaimana
mengolah data tersebut, dan bagaimana
menyiapkan data tersebut agar sesuai dengan hasil
yang diinginkan.
 Data Collection
• Setelah menentukan data requirements, selanjutya
mengidentifikasi dan mengumpulkan data yang
relevan dengan domain masalah. Tahap ini
merupakan tahap ke empat di metodologi data
science.
• Dalam tahap ini, data yang kita butuhkan tidak
tersedia. Maka saat menemukan kendala seperti
ini, sangat mungkin bagi kita untuk merevisi
kembali data requirement dan memutuskan apakah
akan mengumpulkan lebih banyak atau lebih sedikit
data.
 Data Undestanding
• Pada tahap ke lima dari metodologi data science
ini, kita akan mengecek apakah ada missing values,
data yang imbalanced, outlier, salah format, dan
sebagainya yang harus diperbaiki terlebih dahulu.

• Proses data understanding yang populer adalah

dengan menggunakan statistik deskriptif dan teknik
visualisasi. Teknik ini membantu data
scientist memahami isi data, menilai kualitas data,
dan menemukan insight awal dari data tersebut.
 Data Preparation
• Pada tahapan ini dilakukan pembersihan data,
menggabungkan data, dan mengubah data menjadi
variabel yang lebih berguna. Agar data dapat
diproses secara efektif pada tahap pemodelan, data
harus dipersiapkan dengan baik dengan
membersihkannya dari missing values, invalid
values, dan data duplikat serta memastikan bahwa
seluruh data telah memiliki format yang benar.
 Data Preparation(Lanjutan)
Feature engineering
Feature engineering adalah proses transformasi data
menjadi fitur-fitur yang lebih representatif dan dalam
membantu menyelesaikan masalah dengan lebih
baik.

Tahapan ini memakan banyak waktu. Tahap ini bisa

menghabiskan sekitar 70% atau bahkan 80% dari
keseluruhan proses dalam projek data science.
 Modeling
Modeling atau pemodelan adalah tahap dalam
metodologi data science dimana data scientist membuat
model untuk menjawab permasalahan.

Pemodelan data berfokus pada mengembangkan model, baik

itu model deskriptif atau prediktif.

Model ini bergantung pada analytical approach yang telah

ditentukan sebelumnya, apakah menggunakan pendekatan
statistik atau machine learning.

Proses pemodelan untuk model prediktif menggunakan data

training.
 Evaluation
Pengujian terhadap kualitas model apakah model
yang dirancang sebelumnya tersebut dapat
mengatasi permasalahan bisnis dengan
tepat. Evaluasi model memiliki dua fase yaitu:
1. Fase diagnostic measures
2. Fase statistical significance testing.
 Evaluation (Lanjutan..)
Diagnostic measures digunakan untuk memastikan
model bekerja dengan baik sesuai yang diharapkan.

Statistical significance testing dapat digunakan untuk

memastikan bahwa data yang digunakan telah
ditangani dan diinterpretasikan dengan benar di
dalam model.
 Deployment
Setelah mengasumsikan bahwa model yang
dikembangkan menghasilkan hasil yang memuaskan
dan disetujui oleh pemangku kepentingan, model
tersebut dapat diterapkan atau digunakan dalam
lingkungan bisnis.
 Feedback
Umpan balik dari stackholder tentang kinerja model
yang telah dibangun oleh data scientist, sehingga
dapat meningkatkan akurasi dan kegunaan modelnya
 PERTEMUAN 3
Teknologi AI Berbasis Data
 Artificial Intelligence VS Data Science
Data Science Artificial Intelligence

Data Science adalah teknik kurasi data Artificial Intelligence adalah seni
massa untuk visualisasi dan analitik. menerapkan data di mesin.

Teknik statistik desain dan Teknik algoritma desain dan

pengembangan pengembangan

Ilmu data dianggap sebagai teknik analisis Dikenal sebagai teknik pembelajaran
data. mesin

Teknologi Data Science menggunakan Kecerdasan buatan menggunakan

pembelajaran statistik untuk analisis pengetahuan machine learning
 Artificial Intelligence VS Data Science
(Lanjutan)
Data Science Artificial Intelligence
Data Science mengamati pola dalam data AI menggunakan kecerdasan dalam data
untuk keputusan untuk keputusan
Teknologi ini cenderung memanfaatkan Teknologi AI merepresentasikan loop
berbagai bagian loop untuk memecahkan persepsi dan perencanaan dengan
suatu masalah tertentu Tindakan
Data sains adalah pengolahan data tingkat Artificial intelligence tingkat tinggi
menengah untuk manipulasi data pengolahan data ilmiah untuk
manipulasi
Teknologi Data Science terutama Teknologi kecerdasan buatan
melibatkan representasi data dalam format melibatkan representasi node jaringan
grafis yang berbeda. algoritma
Data Science adalah tentang kontrol dan Kecerdasan buatan adalah tentang
manipulasi data dengan berbagai teknik. kontrol dengan AI dan teknik machine
learning
 Artificial Intelligence VS Data Science
(lanjut)
Sepintas data science dan AI telihat mirip
Namun, AI merupakan penerapan secara luas
dari data science
Datascince lebih penerapan metode dan proses
pengolahan data untuk di temukan insight dari
data tersebut, biasanya menggunakan metode
statistik
 Aplikasi Data Science
Dalam Bidang Olahraga
Contoh sebuah klub sepakbola ingin
menentukan pemain-pemain terbaiknya untuk
line up pada sebuah pertandingan, berdasarkan
data histori performa masing-masing pemain

Contoh data yang dapat digunakan untuk

Analisa data dalam dunia olahraga :
[Link]
 Aplikasi Data Science (Lanjutan)

Dalam Bidang E-commerce

Memberikan rekomendasi produk yang sesuai dengan
kebutuhan berdsarkan data history pencarian atau
pembelian barang sebelumya

Contoh data yang dapat digunakan untuk Analisa data

[Link]
association-rules-grocery-store.
 Aplikasi Data Science (lanjutan)

Dalam Bidang Industri

Melakukan prediksi harga komoditas dan
permintaan komoditas

contoh data yang dapat digunakan

[Link]
dity
 Aplikasi Data Science(lanjutan)
Dalam aplikasi pendeteksi penggunaan masker mesin
dapat mengenali orang yang mengenakan masker
dan tidak
 Lalu Peranan datascience dalam AI ?
Dalam kasus deteksi masker, datascience berperan
dalam proses identifikasi data sperti melakukan
Analisa ciri dari wajah seperti:
• Mata
• Alis
• Hidung
• Mulut
• Janggung/kumis
 PERTEMUAN 1

Pengenalan Data Science

Why, Where, What, How, Who
 Datascience telah ada sejak…
R.A. Fisher W.E. Deming Peter Luhn

Howard
Dresner
Data Science
Data science adalah ilmu yang menggabungkan
matematika, statisika dengan ilmu komputer dengan
tujuan analisa data (data analysis) dari suatu
himpunan data baik skala kecil (sampel) maupun
besar (populasi) dengan mengaplikasikan algoritma
tertentu untuk tujuan menggali data (data mining)
dan mendapatkan pola data serta dapat melakukan
prediksi data (prediction) dengan cukup akurat yang
dapat membantu dalam pengambilan keputusan dan
dapat digunakan untuk membuat sistem yang cerdas
(AI) yang dapat terus belajar dengan sendirinya
(machine learning).
Irisan Bidang Ilmu dalam data Science

Machine
Learning
Ilmu Matematika
Komputer/IT dan Statistik
Data
Science
Software Traditional
Development Research

Domain/Bussines
Knowlegde

[Link]
Irisan Bidang Ilmu dalam data Science
Matematika dan Statistika.
Pemrograman (R, Python, dan lainnya)
Database dan Query (SQL dan lainnya) dan
pengolahan data.
Analisa data dan visualisasi data.
Pemahaman masalah terkait bisnis atau
suatu bidang lainnya
 Proses Yang Terlibat dalam Data
Science
Data Mining adalah proses pengambilan informasi
dari pola data dari himpunan data yang sebelumnya
tidak diketahui, kadang disebut juga Data Discovery.
Data Mining fokus pada mengekstrak pola
menggunakan metode statistik untuk dianalisa dan
dapat juga melakukan prediksi.
Machine learning adalah bidang yang merupakan
bagian dari Artificial Intelligence (AI) yang digunakan
agar sistem komputer secara otomatis dapat belajar
dengan sendirinya tanpa diberi instruksi
pemrograman dan dapat meningkatkan prediksi yang
akurat dan pengunaannya biasanya sifatnya realtime.
Hubungan AI, Machine Learning Deep
Learning dan DataScience
AI mensimulasikan Kecerdasan manusia manusia kedalam mesin,
khususnya kedalam komputer

Artificial ML adalah sebuah algortima dalam computer yang

Inteligent mampu belajar secara otomatis berdasakan
pengalaman

Machine DL merupakan salah satu bagian dari dari machine

Learning learning, yang berbasis pada artificial neural
network, dengan cara kerja mengikuti pola saraf
otak manusia

DS adalah sebuah bidang lintas disiplin ilmu yang didalamnya

metodologi scientific, process, algoritma dan system yang
Data mengekstraksi pengetahuan untuk mencari pengetahuan
Science baru dari sebuah data baik terstruktur maupun tidak
terstruktur. DS berhubungan dengan datamining, deep
learning dan big data
Deep
Learning
Source : @ingliguori
Kenapa datascience begitu menarik
Lebih efektif untuk analisis data

Contoh Implementasi
Google Flu Trends:

Detecting outbreaks
two weeks ahead
of CDC data

New models are estimating

which cities are most at risk
for spread of the Ebola virus.

Prediction model is built on

Various data sources,
types and analysis.
 Contoh penerapan datascience
Dynamic Pricing
Prediksi
Keterlambatan TRAVEL Uppselling
Penerbangan Cross Selling
Predictive lifetime
MARKETING
Diseas Value of Customer
Prediction Churn
Medication KESEHATAN
Effectiveness Sentiment
SOCIAL
Analysis.
Discount MEDIA Digital Marketing
Offering
Demand SALES
Forecasting Self Driving Cars
AUTOMATION Pilotless Aircrafts
Claim
Drones
Prediction CREDIT &
Raud & Risk ASURANSI
Detection
Source : [Link]
Darimana data itu berasal

Saat ini data dihasilkan media digital, dalam 1 hari

total data yang dihasilkan diperkirakan sebesar
[Link].000.000.000 byte atu 2,5 quintillion
byte.

Seditadaknya, dibutuhkan 2.500 buah hardisk

berkapasitas 1 Terra Byte untuk menampung data
tersebut DALAM 1 Hari
 Darimana itu berasal
Google memproses 24 Petabyte data setiap harinya
3,5 miliar pencarian setiap harinya
selain search engine google terdapat 5,5 miliar
percarian perhari

Perangkat seluler mengirimkan 1,3 Exabyte setiap

harinya (1,3 Exabyte =1.300.000 TB)
 Darimana itu berasal Lanjut…

156 Juta email terkirim setiap harinya, 103.447.520 e-

mail spam setiap menit

Netflix di tonton sebanyak 64.444 jam per menit

Spotify 18.720 lagu baru telupload setiap hari

 Darimana itu berasal Lanjut…
Twitter 456.000 tweets setiap harinya

Instagram 95 juta post foto dan video 100juta orang

menggunakan fitur stories setiap hari

Youtube 4.146.000 tontonan setiap harinya

Facebook 510.000 komentar dan 293.000 status per

menit
 Hubungan Big Data & Data Science

Big Data : lebih basis data/source data

Data science : proses pengolahan data yang terdapat

dalam basis data tersebut
Five-V BIG DATA

Volume Velocity

Variety
Veracity

Value

Sumber : [Link]
 Istilah dalam Big Data
Volume
Mengacu pada sejumlah big data yang dihasilkan setiap detik
nya. Artinya sekumpulan data dalam jumlah dan volumeyang
sangat besar dan kadang tidak terstruktur. Contohnya feed
Twitter, feed Istagram, data teks chat dan status Whatsapp,
alur klik user dari halaman web. Arus data-data tersebut bisa
berukuran hingga ribuan Terrabyte (TB) per detiknya.

Velocity
Data dapat diakses dengan kecepatan yang sangat cepat
sehingga dapat langsung digunakan pada detik itu juga (lebih
real time). Salah satu buktinya antara lain, adanya sistem
operasi onlineberbasis Microsoft Silverlight, aplikasi
perkantoran (office) berbasis web seperti Office365, cloud
storage seperti Dropbox dan GDrive
 Istilah dalam Big Data
Variety
Data bisa disebut sebagai big datajika memiliki
karakteristik yang bermacam-macam dan tidak homogen,
tetapi memiliki banyak sekali variabel dan sangat
beragam meliputi berbagai jenis data baik data yang
telah terstruktur dalam suatu database maupun data
yang tidak terorganisir dalam suatu database. Analisis
terhadap data yang tidak terstruktur akan memerlukan
algoritma yang agak berbeda, seperti data teks, gambar,
suara, dan video. Untuk data-data semacam itu akan
memerlukan waktu lebih untuk memprosesnya, karena
bisa jadi di dalam data yang tidak terstruktur tersebut
masih ada data lain atau data baru yang bisa digali.
 Istilah dalam Big data
Veracity
Big datamemiliki kerentanan dari sisi keakuratan dan kevaliditasan
sehingga memerlukan kedalaman untuk menganalisis big data agar
bisa menghasilkan keputusan yang tepat.
Karakter veracity mengarah kepada seberapa akurat dan dapat
dipercaya suatu data.

Value
Valueberarti big data memiliki nilai yang sangat tinggi apabila diolah
dengan cara yang tepat guna atau dapat juga dikatakan seberapa
bernilainya atau bermaknanya suatu data. Contohnya, biodata
karyawan suatu perusahaan penjualan bahan baku makanan tidak
akan bernilai untuk kepentingan analisis prediksi penjualan bahan
baku ke customer. Data tersebut mungkin tidak penting dan tidak
bernilai untuk satu hal, namun bisa sangat penting dan sangat
bernilai untuk hal lain. Data yang tidak memiliki nilai di bagian mana
pun tidak akan terfilter di sistem aplikasi analisis Big data.

Thomas Connolly and Carolyn Begg. 2015.

• Dari data yang ada tersebut apakan kita dapat
memanfaatkannya..?

• Maka lahirlah sebuah profesi datascientist