Data Mining
Data Preprocessing
Tutik Khotimah, [Link], [Link]
Materi Hari ini
Data Preprocessing
Tutik Khotimah, [Link], [Link] 2
1 Data dan Variabel
Memberi penjelasan tentang konsep data dan variabel
2 Data Preprocessing
Memberi ilustrasi pentingnya data preprocessing
3 Data Cleaning
Tujuan Memberi gambaran tentang data cleaning
Instruksional 4 Data Integration
Memberi gambaran tentang data integration
5 Data Transformation
Memberi gambaran tentang data transformation
6 Data Reduction
Memberi gambaran tentang data reduction
Tutik Khotimah, [Link], [Link] 3
1
Data dan Variabel
Data & Variabel
Data
Dapat berupa hasil pengukuran (numerik) atau
penghitungan (kategori)
Variabel
Berfungsi sebagai placeholder untuk data
Tutik Khotimah, [Link], [Link] 5
Macam-macam Variabel
Variabel Variabel
Numerik
Interval
Kategori
Variabel berbentuk angka Variabel non angka
1. Interval 1. Nominal
2. Ordinal
2. Rasio
Tutik Khotimah, [Link], [Link] 6
Macam-macam Variabel
Interval Nominal
Variabel yang nilainya bisa diurutkan dan diukur Variabel yang nilainya berupa simbol tetapi tidak
dengan tetap dan nilai yang sama. dapat diurutkan atau diukur jaraknya.
Nilai nol tidak didefinisikan secara mutlak Contoh: jenis kelamin: pria dan wanita
Contoh: temperatur
Rasio Ordinal
Variabel yang mempunyai nilai nol yang mutlak Variabel yang nilainya berupa simbol tetapi dapat
diurutkan atau diukur jaraknya.
Semua operasi matematika dapat dilakukan pada
variabel ini Contoh: jarak (dekat, sedang, jauh)
Contoh: jarak
Tutik Khotimah, [Link], [Link] 7
Data Set
Dataset adalah kumpulan data yang
biasanya disajikan dalam bentuk tabel
Columns, Fields, Attributes, Variables,
Fiturs
Rows, Records, Objects, Cases,
Instances, Examples, Vectors
Values, Data
Tutik Khotimah, [Link], [Link] 8
2
Data
Preprocessing
Data
Disebut juga Data Preparation
Preprocessing Langkah yang dilakukan agar data
mentah menjadi data yang berkualitas
Tutik Khotimah, [Link], [Link] 10
Perlunya Data
Preprocessing
Raw data banyak yang tidak lengkap
(incomplete), terdapat missing values,
redudansi, mengandung nois, inconsistent
Untuk meminimalisasi data sampah
Untuk mempercepat proses mining data
Tutik Khotimah, [Link], [Link] 11
Data Preprocessing
Macam-macam Data Preprocessing
1 Data Cleaning
Membersihkan data
2 Data Integration
Menggabungkan data
3 Data Transformation
Mengubah data
4 Data Reduction
Mereduksi data
Tutik Khotimah, [Link], [Link] 12
3
Data Cleaning
Data Cleaning
Dalam data cleaning yang akan kita lakukan antara lain mengisi missing value,
mengidentifikasi outlier, menangani data noise, mengoreksi data yang tidak konsisten,
dan menyelesaikan masalah redudansi data akibat integrasi data.
Tutik Khotimah, [Link], [Link] 14
Data Cleaning
Missing Values
Menghapus record
Mengisi data yang kosong secara manual
Menggunakan konstanta global
Menggunakan atribut rata-rata
Tutik Khotimah, [Link], [Link] 15
4
Data Integration
Data Integration
Data integration adalah suatu langkah untuk menggabungkan data dari beberapa sumber. Data integration
hanya dilakukan jika data berasal dari tempat yang berbeda-beda (sumber data tidak hanya dari 1 tempat).
Langkah yang dilakukan antara lain mengintegrasikan skema, mengidentifikasi masalah entitas, dan
mendeteksi sekaligus menyelesaikan konflik pada nilai data.
Tutik Khotimah, [Link], [Link] 17
5
Data
Transformation
Data Transformation
Data transformation yaitu mengubah suatu data supaya diperoleh data yang
lebih berkualitas. Yang akan dilakukan antara lain meng-agregasi data,
binerisasi, diskritisasi, normalisasi
Tutik Khotimah, [Link], [Link] 19
Agregation
Mengkombinasi 2 atau lebih objek ke dalam objek
Cabang IDT Tanggal Total tunggal
Gresik 102 18-09-2018 250.000 Agregasi yang dapat dilakukan: sum (jumlah),
Gresik 103 18-09-2018 300.000 average (rata-rata), min (terkecil), max (terbesar)
Surabaya 201 18-09-2018 500.000
Id sed error insolens, augue tollit vis ea. Animal lucilius necessitatibus his an.
Surabaya 202 18-09-2018 450.000
Surabaya 203 18-09-2018 350.000
Cabang Tanggal Total
Gresik 18-09-2018 550.000
Surabaya 18-09-2018 1.300.000
Tutik Khotimah, [Link], [Link] 20
Binarization
Nilai Kategori x1 x2 x3 x4 X5
Rusak 1 0 0 0 0
Jelek 0 1 0 0 0
Sedang 0 0 1 0 0
Bagus 0 0 0 1 0
Sempurna 0 0 0 0 1
Mengubah data dari tipe kategori ke atribut biner
Tutik Khotimah, [Link], [Link] 21
Discretization Mengubah data dari tipe numerik ke atribut kategori
Tutik Khotimah, [Link], [Link] 22
0.10
Close BB Close Min-Max
1289.12 0.90
0.22 Normalization
BA
1285.33 0.10
1307.28 0.77 BA = Batas Atas
1309.93 0.85 BB = Batas Bawah
1285.33 Xmax = nilai maksimum
1311.46 0.90 Xmin = nilai minimum
Xmin
1311.28 0.89
1311.46
Xmax
Tutik Khotimah, [Link], [Link] 23
6
Data Reduction
Data Reduction
Web Designer Writer Photographer
Data Reduction yaitu langkah untuk mereduksi dimensi, atribut ataupun
jumlah data.
[Link] [Link] [Link]
Life can only be understood backwards;
but it must be lived forwards.
Terima Kasih
Tutik Khotimah, [Link], [Link]