DATA
PREPROCESSING
Ridwan Gunawan [Link]
DATA PREPROCESSING ?
Data preprocessing adalah tahapan untuk menghilangkan beberapa
permasalahan yang bisa mengganggu saat pemrosesan data.
TUJUAN PREPROCESSING DATA
• Mempermudah memahami data sehingga mempermudah
pemilihan teknik dan metode data analisis yang tepat
• Meningkatkan efisiensi dan kemudahan proses
penambangan data (Pengurangan waktu komputasi
terutama untuk large-scale problem)
• Meningkatkan kualitas data sehingga hasil dari analisis
data lebih baik
TUGAS UTAMA DALAM PRAPEMROSESAN DATA
1. Data Cleaning
Tahap pertama preprocessing data adalah membersihkan data terlebih dahulu atau data cleaning.
Proses ini mencakup penyeleksian data-data mentah yang masuk. Penyeleksian ini maksudnya
menghilangkan dan menghapus data-data yang tidak lengkap, tidak relevan, dan tidak akurat.
Ketika melakukan data cleaning, pastikan bahwa tidak ada missing values dalam data-data yang
dikumpulkan. Kemudian pastikan juga data tersebut adalah data yang benar-benar dibutuhkan oleh
bisnis agar waktu dan tenaga yang dikeluarkan tidak sia-sia.
STRUKTUR DATA PADA R STUDIO
• Teks character
Contoh: alamat, nama, nomor telepon
• Integer (Bilangan Bulat)
Contoh: jumlah mobil, jumlah penonton, jumlah karyawan
• Decimal (Bilangan desimal) numeric
Contoh: suhu, kurs mata uang, volume
• Bilangan biner-> logical
Contoh: Ya/ tidak, Kawin/ tidak kawin, asli/ palsu
• Kategori-> factor
Contoh: Warna, tingkat pendidikan, status ekonomi
• Tanggal -> Date
contoh: tanggal lahir, tanggal menikah
TUGAS UTAMA DALAM PRAPEMROSESAN DATA
2. Data Integration
Tahap kedua ada integrasi data. Tahap ini adalah penggabungan beberapa data dalam suatu
dataset. Karena ini menggabungkan beberapa data maka harus memastikan bahwa setiap data
memiliki format yang sama.
TUGAS UTAMA DALAM PRAPEMROSESAN DATA
3. Data Transformation
Seperti yang dikatakan di atas, data-data yang dikumpulkan pasti sebagian besar formatnya tidak
sama. Langkah ini dilakukan agar data yang terkumpul dari berbagai sumber tersebut menjadi
seragam. Dalam tahapan ini bisa mengubah struktur data, format data, atau nilai data sehingga bisa
sehingga menghasilkan data set yang sesuai.
TUGAS UTAMA DALAM PRAPEMROSESAN DATA
4. Data Reduction
Tahap terakhir adalah pengurangan jumlah data atau data reduction. Tujuannya tentu
saja mengurangi jumlah sampel data yang diambil. Contohnya misal data yang dibutuhkan
berupa teks dari ucapan manusia. Jika ucapan yang menjadi sampel data jumlahnya
kelebihan, maka fokuskan saja pada data apa yang paling relevan dan buang sisanya.
Tahap terakhir adalah pengurangan jumlah data atau data reduction. Tujuannya tentu saja
mengurangi jumlah sampel data yang diambil. Contohnya misal data yang dibutuhkan
berupa teks dari ucapan manusia. Jika ucapan yang menjadi sampel data jumlahnya
kelebihan, maka fokuskan saja pada data apa yang paling relevan dan buang sisanya.