Praproses Data

PERTEMUAN - 3
Dr. Karbito, [Link]., [Link].
NOVIANDI
PRODI MIK | FAKULTAS ILMU-ILMU KESEHATAN
 Kemampuan Akhir Yang Diharapkan

Mahasiswa mengetahui
preprocessing data,
melakukan proses
cleaning data, mampu
menjelaskan konsep data
integrasi, transformasi,
reduksi, dan diskritisasi
 Latar Belakang Praproses Data

Tidak komplit
• Terdapat artribut yang kosong dikarenakan atribut tersebut tidak dapat
diaplikasikan untuk semua kasus
• Human/Hardware/Software problems

Noisy
• Data mengandung error atau outlier karena terdapat kesalahan dalam
penggunaan alat, kesalahan manusia atau komputer pada saat
memasukkan data, eror dalam transmisi data

Tidak konsisten
• Format data berubah-ubah dikarenakan berasal dari sumber data yang
berbeda. Contoh: Format tanggal
 Tujuan Praproses

• Menghasilkan data mining (proses pencarian informasi

penting) yang berkualitas
• Data warehouse (gudang/kumpulan data) membutuhkan
integrasi yang konsisten
• Data extraction, cleaning, and transformation merupakan salah
satu tahapan untuk membangun gudang data
Tahapan Praproses Data

Pembersihan
Data

Integrasi Diskritisasi
Data Data

Transformasi
Reduksi Data
Data
Ilustrasi Praproses Data
 PEMBERSIHAN DATA

Mengisi missing Meminimumkan

value Noise

Membetulkan Mengindentifikasi
data yang tidak /membuang
konsisten outlier
 Mengisi Missing Value

• Mengabaikan record
• Menggunakan mean/median/modus dari
atribut yang mengandung missing value
• Menggunakan nilai termungkin (menerapkan
regresi/interpolasi)
 Noisy Data (Data Rusak)
Cara mengetahui outlier : Clustering, Regresi Linear

Binning
• Smoothing menggunakan Bin Means (nilai rata-rata)
• Smoothing menggunakan Bin Medians (nilai tengah)
• Smoothing menggunakan Bin Boundaries (nilai tengah
antara batas bawah dan batas atas)

* Binning adl sebuah proses untuk mengelompokkan data ke dlm bagian2 yg lbh kecil

* Smoothing adl salah satu cara menghilangkan noise pd data fluktuatif

Mendeteksi Outlier Dengan Clustering
Mendeteksi Outlier dengan Regresi Linear
 Metode Bining

Metode yang dilakukan untuk mengelompokkan data

Salah satu pendekatan diskritisasi

Urutan proses:
1. Urutkan data dari kecil ke besar (ascending)
2. Melakukan partisi data dalam bins menggunakan equal-width
atau equal-depth (frekuensi)
3. Dapat di-smoothing menggunakan rata-rata, median, batasan,
dsb.
 Metode Bining

 Partisi Equal-Width (jarak)

Langkah-langkah membagi data ke dalam k
interval ukuran yang sama. Lebar interval adalah
w= (max-min)/k

 Partisi Equal- depth (frekuensi)

Membagi data ke dalam k kelompok dimana tiap
k kelompok berisi jumlah yang sama
 Contoh Partisi Binning

Data: 0, 4, 12, 16 16, 18, 24, 26, 28

 Equal Width Smoothing berdasarkan rata-rata:

BIN 1= 0, 4 Semua nilai tiap bin diganti dengan
BIN 2= 12, 16, 16, 18 rata-rata nilai tiap bin
BIN 3= 24, 26, 28
Smoothing berdasarkan batasan:
Setiap nilai bin diganti dengan nilai
 Equal Depth yang paling dekat dari batasan
BIN 1= 0, 4, 12 nilai. Batasan nilai terbentuk dari
BIN 2= 16, 16, 18 [min, max] tiap bin
BIN 3= 24, 26, 28
 Integrasi Data

• Data dapat bersumber dari beberapa sumber

• Teknik-teknik:

ANALISIS
KORELASI

ATRIBUT REDUDAN

DUPLIKASI
Mengatasi Redundasi Pada Integrasi Data

Dapat dideteksi
Penyebab Redudansi Data :
menggunakan
• Atribut yang sama mempunyai nama analisis korelasi
yang berbeda pada database yang
berbeda Berhati-hati dalam
menggabungkan data
• Satu atribut merupakan turunan dari dari berbagai sumber
atribut lainnya untuk mengurangi
redundasi
 Mengatasi Redudansi Pada Integrasi Data

Redudancy/Duplicate :
Hubungan korelasi antar variabel dapat dilihat
menggunakan rumus korelasi. Jika data numerik, hubungan
korelasinya seperti dibawah ini:

Semakin besar hasil perhitungan tersebut, semakin tinggi

korelasi. Jika hasil perhitungan tersebut =0 berarti independen.
Jika kurang dari nol tidak independen
 Mengatasi Redundasi Pada Integrasi Data

Jika data kategorik, hubungan korelasinya seperti dibawah ini

menggunakan chi-square:

Semakin besar chi-square, semakin tinggi korelasi. Jika hasil

perhitungan tersebut = 0 berarti independen. Jika kurang dari nol
tidak independen
Contoh Soal Menggunakan Chi-square
 Transformasi Data
Normalization

a. Min-max normalization: menghasilkan [new_min,new_max]

Contoh soal:
Penghasilan berkisar dari $10,000 sampai $98,000
dinormalisasikan dari [0,1]. Sehingga untuk penghasilan sebesar
$73,000 dipetakan ke (1-0)+0=0.716
 Transformasi Data
Normalization

b. Min-max Z-score normalization : μ: mean, σ: standard deviation

Contoh soal:
Misal μ = 55,000, σ = 20,000. Maka, = 0.9
 Transformasi Data
Normalization
c. Normalisasi pada skala desimal

Dimana j adalah bilangan bulat terkecil sehingga Max(|ν’|) < 1

 Reduksi Data

Memperkecil volume tapi menghasilkan analasis data yang

sama. Strategi- strategi data reduksi: Data cube
aggregation, reduksi dimensi (menghapus atribut yang
tidak penting), kompresi data, dsb.

Menggunakan
DATA CUBE Mengurangi
AGGREGATION
representasi
ukuran data
yang singkat
 Reduksi Data
DATA CUBE
AGGREGATION
 Diskritisasi Data

Terdapat tiga tipe atribut:

• Nominal = Nilai dari sekumpulan data yang tidak beraturan. Contoh:

Warna, Profesi
• Ordinal = Nilai dari sekumpulan data yang terurut..
Contoh: IP, nomor antrian
• Kontinu = Nilai real seperti integer atau real number

Diskritisasi
Metode disktritisasi bisa dilakukan pada data [Link] pertama, kita
mengelompokkan nilai ke dalam interval. Setelah itu kita menggantikan nilai
atribut dengan label atau interval.

Contoh:
Dataset (age, salary): (26; 56,000),(28; 70,000),(89; 99,000)
Sekian - Terima Kasih 