Exploratory Data Analysis
with Python
Use Case COVID-19 in Indonesia
by Felix Aristo, Senior Developer Web & Mobile Application at ONE GML Digital Learning Solutions
Learning Journey
Pengenalan Analisis Data
Pemodelan Analisis
Beragam Macam Deskriptif dan
Prediktif
Data Visualisasi Data
Part 2 Part 4
Part 1 Part 3 Part 5
Preprocessing Visualisasi
Data Data Spasial
Part 2:
Preprocessing Data
Preprocessing ?
➢ Adanya data yang Incomplete (Kurangnya atribut nilai pada
suatu fitur tertentu atau atribut lainnya).
➢ Memiliki Noisy (Mengandung kesalahan, nilai outlier yang
menyimpang dari yang diharapkan).
➢ Incosistent Data (Ketidak konsistenan pada data, seperti
perbedaan kode yang digunakan dalam pengkategorian item).
➢ Adanya data yang Incomplete
X Y Z
• Incomplete Data, bisa terjadi karena
banyak hal, seperti tidak semua informasi
yang ingin diketahui dapat kita peroleh.
Misalnya informasi customer untuk data
transaksi penjualan.
• Penyebab Incomplete Data, biasanya
disebabkan oleh kesalahpahaman atau
terjadinya kerusakan pada alat / sistem
yang digunakan
Missing Values
➢ Memiliki Noisy (Outlier)
• Noisy Data, merupakan kesalahan pada
suatu variabel data yang memiliki nilai
jauh berbeda dibandingkan dengan X Y Z
angka di sekitarnya (menyimpang dari
angka yang diharapkan). 50 2 122
• Penyebab Noisy Data: 1302 4 150
• Sistem untuk pengumpulan data
terjadi kerusakan. 57 2 131
• Terjadinya Human Error pada saat
penginputan data. 49 500 1
• Kesalahan pada transmisi data, atau
keterbatasan teknologi yang 20 3 150
digunakan.
Outliers
➢ Incosistent Data
• Incosistent Data, merupakan ketidak konsistenan pada data,
seperti perbedaan kode yang digunakan dalam pengkategorian
item.
• Penyebab Incosistent Data:
• Proses historis pencatatan data atau modifikasi pada data yang
terabaikan.
• Terjadinya perbedaan dengan data yang dicatat mungkin telah
terhapus.
Preprocessing Goals
Tujuan utama dari Pre processing adalah untuk
mengatasi Incomplete Data, Noisy Data, dan
Incosistent Data.
Preprocessing Step
Data Cleaning Data Integration Data Selection Data Transformation
Data Cleaning
Tugas utama pada Data Cleaning:
• Menangani nilai Missing Values.
• Mengidentifikasi atau menghapus nilai Outliers.
• Menangani kasus Incosistency Data.
11
Data Cleaning
➢ Menangani nilai Missing Values.
Terdapat beberapa cara untuk menangani nilai Missing Values:
• Mean
• Median
• Most Frequent (Modus)
Mengisi dengan nilai frekuensi terbanyak.
• Delete / Drop Row
Menghapus langsung row yang kosong.
• Abaikan nilai kosong atau isi dengan inisial dan angka tertentu. 12
Data Cleaning
➢ Menangani nilai Missing Values dengan nilai Mean.
Setelah perhitungan didapatkan =
Mean X: 163
X Y Z Mean Y: 52
Mean Z: 304
120 50 205
X Y Z
170 Null 202
120 50 205
200 70 Null
170 52 202
Null 59 312
200 70 304
Null 32 500
163 59 312
163 32 500 13
Data Cleaning
➢ Menangani nilai Missing Values dengan nilai Median.
Setelah perhitungan didapatkan =
Median X: 170
X Y Z Median Y: 54,5
Median Z: 258,5
120 50 205
X Y Z
170 Null 202
120 50 205
200 70 Null
170 54,5 202
Null 59 312
200 70 258,5
Null 32 500
170 59 312
170 32 500 14
Data Cleaning
➢ Menangani nilai Missing Values dengan Most Frequent (Modus).
Setelah perhitungan didapatkan =
Most Frequent X: 200
X Y Z Most Frequent Y: 59
Most Frequent Z: 205
200 59 205
X Y Z
170 Null 202
120 50 205
200 70 Null
170 59 202
Null 59 205
200 70 205
Null 59 300
200 59 312
200 32 500 15
Data Cleaning
➢ Menangani nilai Missing Values dengan Delete / Drop Row.
X Y Z
200 59 205
170 Null 202 X Y Z
200 70 Null 120 50 205
Null 59 205
Null 59 300
16
Data Cleaning
Pemilihan cara penanganan Missing Values
diambil berdasarkan kebijakan penelitinya
dan tergantung kasus yang sedang dihadapi.
17
Data Cleaning
➢ Handling Outliers.
18
Data Cleaning
Five Number Summary
➢ Handling Outliers.
• The Minimum
• Q1 (Kuartil pertama atau 25%)
• The Median (50%)
• Q3 (Kuartil ketiga atau 75%)
• The Maximum
19
Data Cleaning
➢ Handling Outliers.
20
Data Cleaning
➢ Handling Outliers.
Penanganan Outliers biasanya nilai outliers / pencilan
akan dihapus karena akan mengganggu model yang akan
dibangun atau diabaikan jika menurut peneliti tidak terlalu
signifikan.
Akan tetapi terdapat pengecualian dalam data medis,
biasanya nilai outliers akan dipelajari lebih lanjut oleh tim
kesehatan, yang ditakutkan nilai itu mengandung informasi
kelainan genetik atau hal lainnya dari pasien yang diteliti.
21
Data Integration
• Menggabungkan dari berbagai macam sumber data. Terdapat
pengubahan data ke dalam bentuk yang sesuai.
• Bertujuan agar data mudah dipahami dan menggali data menjadi lebih
mudah.
22
Data Selection
Proses untuk mengurangi data yang kompleks / besar ke dalam
bentuk yang lebih kecil.
Metode:
• PCA (Principle Component Analysis)
• Variance Threshold
• Etc..
23
Data Transformation
• Proses untuk mengubah struktur atau informasi dalam data.
• Seperti contoh berikut ini, suatu variabel nama_jalan dapat dipecah
atau diubah ke struktur yang lebih tinggi, menjadi variabel kota atau
negara.
24
POINTS OF REFLECTIONS PREPROCESSING
DATA
Data
Cleaning
1
Data
Transformation
4
2
Data 3
Integration Data
Selection
25
Daftar Pustaka
• Jiawei Han and Micheline Kamber, Data Mining:
Concepts and Techniques Third Edition, Elsevier, 2012
• Jullend Gatc, Data Descriptive, Kalbis Institute
26
Coding Time !
27
Asset File
[Link]
WRBDzcZoX/view?usp=sharing
28
29