KAPITA SELEKTA INFORMATIKA

(CIK415)

MODUL SESI V
DATA SCIENCE

DISUSUN OLEH
NOVIANDI, [Link], [Link]

UNIVERSITAS ESA UNGGUL

2020

Universitas Esa Unggul

[Link] 0 / 22
 BAB V
Data Science

Tujuan

1. Menjelaskan proses data science

2. Menjelaskan prior knowledge
3. Menjelaskan perbedaan causation dan correlatio
4. Menjelaskan proses data preparation
5. Menjelaskan apa itu modeling
6. Menjelaskan perbedaan data training dan data testing

Teori

Proses Data Science

Penemuan metodis dari hubungan dan pola yang berguna dalam data dimungkinkan
oleh serangkaian aktivitas berulang yang secara kolektif dikenal sebagai proses
sains data.

Proses standar data science melibatkan;

1. memahami masalah,
2. menyiapkan sampel data,
3. mengembangkan model,
4. menerapkan model pada dataset untuk melihat bagaimana model dapat bekerja
di dunia nyata, dan
5. menyebarkan dan memelihara model.

Selama bertahun-tahun evolusi praktik data science, framework yang berbeda untuk
proses tersebut telah dikemukakan oleh berbagai badan akademik dan komersial.
Framework yang dikemukakan dalam bab ini disintesis dari beberapa data science
framework dan dijelaskan menggunakan contoh dataset sederhana.

Universitas Esa Unggul

[Link] 1 / 22
Salah satu proses framework data science yang paling populer adalah Cross
Industry Standard Process for Data Mining (CRISP-DM), yang merupakan singkatan
dari Proses Standar Lintas Industri untuk Data Mining.

Framework ini dikembangkan oleh konsorsium perusahaan yang terlibat dalam data
mining (Chapman et al., 2000). Proses CRISP-DM adalah framework yang paling
banyak diadopsi untuk mengembangkan solusi data science. Gambar 2.1
memberikan gambaran visual tentang kerangka CRISP-DM.

Gambar 2.1 CRISP Data Mining

Framework data sciece lainnya adalah:

1. SEMMA, singkatan dari Sample, Explore, Modify, Model, dan Assessment,
yang dikembangkan oleh SAS Institute (SAS Institute, 2013);
2. DMAIC, adalah singkatan dari Define, Measure, Analyze, Improvement, and
Control, digunakan dalam praktek Six Sigma (Kubiak & Benbow, 2005); dan
3. Framework Seleksi, Preprocessing, Transformasi, Data Mining, Interpretation,
dan Evaluation yang digunakan dalam knowledge discovery dalam proses
database (Fayyad, Piatetsky-Shapiro, & Smyth, 1996).

Universitas Esa Unggul

[Link] 2 / 22
Semua framework ini menunjukkan karakteristik umum, dan karenanya, framework
umum yang sangat mirip dengan proses CRISP akan digunakan. Seperti halnya
kerangka proses apa pun, proses data science merekomendasikan pelaksanaan
serangkaian tugas tertentu untuk mencapai keluaran yang optimal.

Namun, proses extracting informasi dan pengetahuan dari data bersifat iteratif.
Langkah-langkah dalam proses data science tidak linier dan harus mengalami
banyak putaran, bolak-balik antar langkah, dan terkadang kembali ke langkah
pertama untuk mendefinisikan ulang pernyataan masalah data science. Proses data
science yang disajikan pada Gambar 2.2 merupakan serangkaian langkah umum
yaitu masalah, algoritma, dan, alat data science agnostik.

Tujuan mendasar dari setiap proses yang melibatkan data science adalah untuk
menjawab pertanyaan analisis.

Gambar 2.2 Data Science Process

Masalah yang dihadapi dapat berupa segmentasi pelanggan, prediksi pola iklim,
atau eksplorasi data sederhana. Algoritme pembelajaran yang digunakan untuk

Universitas Esa Unggul

[Link] 3 / 22
menyelesaikan pertanyaan bisnis dapat berupa pohon keputusan, jaringan saraf
tiruan, atau scatterplot. Alat perangkat lunak untuk mengembangkan dan
mengimplementasikan algoritma ilmu data yang digunakan dapat berupa
pengkodean khusus, RapidMiner, R, Weka, SAS, Oracle Data Miner, Python, dll.,
(Piatetsky, 2018).

Data science, khususnya dalam konteks big data, telah menjadi penting dalam
beberapa tahun terakhir. Mungkin bagian yang paling terlihat dan dibahas dari data
science adalah langkah ketiga: pemodelan.

Ini adalah proses membangun model perwakilan yang dapat disimpulkan dari
dataset sampel yang dapat digunakan untuk memprediksi (pemodelan prediktif) atau
mendeskripsikan pola yang mendasari dalam data (pemodelan deskriptif atau
penjelasan). Namun, penekanan harus ditempatkan pada mempertimbangkan data
science sebagai proses berulang, multi-langkah, dan ujung-ke-ujung, bukan hanya
langkah membangun model.

Ada banyak tool data science, baik open source maupun komersial, tersedia di pasar
yang dapat mengotomatiskan pembuatan model.
 Mengajukan pertanyaan bisnis yang tepat,
 Memperoleh pemahaman bisnis yang mendalam,
 Mencari sumber dan menyiapkan data untuk tugas data science,
 Mengurangi pertimbangan implementasi,
 Mengintegrasikan model ke dalam proses bisnis, dan, yang paling berguna
dari semuanya,
 Memperoleh pengetahuan dari dataset, tetap penting untuk keberhasilan
proses data science.

Saatnya untuk memulai Langkah 1: Membingkai pertanyaan ilmu data dan

memahami konteksnya.

2.1. Prior Knowledge

Pengetahuan sebelumnya mengacu pada informasi yang sudah diketahui tentang
suatu subjek. Masalah data science tidak muncul secara terpisah; ia selalu
Universitas Esa Unggul
[Link] 4 / 22
berkembang di atas materi pelajaran yang ada dan informasi kontekstual yang sudah
diketahui. Langkah pengetahuan sebelumnya dalam proses data science membantu
untuk menentukan masalah apa yang sedang dipecahkan, bagaimana hal itu sesuai
dengan konteks bisnis, dan data apa yang dibutuhkan untuk menyelesaikan masalah.

Objective
 Proses data science dimulai dengan kebutuhan akan analisis, pertanyaan,
atau tujuan bisnis. Ini mungkin langkah terpenting dalam proses data science
(Shearer, 2000).
 Tanpa pernyataan masalah yang terdefinisi dengan baik, tidak mungkin
menghasilkan dataset yang tepat dan memilih algoritme data science yang
tepat.
 Sebagai proses iterative, adalah umum untuk kembali ke langkah-langkah
proses data science sebelumnya, merevisi asumsi, pendekatan, dan taktik.
Namun, sangatlah penting untuk mendapatkan langkah pertama — tujuan dari
keseluruhan proses — dengan benar.
 Proses data science akan dijelaskan menggunakan kasus penggunaan
hipotetis.
o Contoh bisnis pinjaman konsumen, dimana pinjaman diberikan kepada
individu dengan agunan aset seperti rumah atau mobil, yaitu hipotek
atau pinjaman mobil.
o Seperti yang diketahui banyak pemilik rumah, komponen penting dari
pinjaman, bagi peminjam dan pemberi pinjaman, adalah tingkat bunga
di mana peminjam membayar kembali pinjaman di atas pokok
pinjaman.
o Suku bunga pinjaman bergantung pada keseluruhan variabel seperti
tingkat dana federal saat ini seperti yang ditentukan oleh bank sentral,
nilai kredit peminjam, tingkat pendapatan, nilai rumah, jumlah uang
muka awal, aset dan kewajiban saat ini dari peminjam, dll.
o Faktor kuncinya di sini adalah apakah pemberi pinjaman melihat cukup
hadiah (bunga atas pinjaman) terhadap risiko kehilangan pokok
pinjaman (gagal bayar peminjam). Dalam kasus individu, status gagal
bayar pinjaman adalah Boolean; salah satu gagal bayar atau tidak,
selama periode pinjaman.
Universitas Esa Unggul
[Link] 5 / 22
 o Namun, dalam kelompok yang terdiri dari puluhan ribu peminjam,
tingkat gagal bayar dapat ditemukan — variabel numerik berkelanjutan
yang menunjukkan persentase peminjam yang gagal membayar
pinjaman mereka.
o Semua variabel yang terkait dengan peminjam seperti skor kredit,
pendapatan, kewajiban lancar, dll., Digunakan untuk menilai risiko
gagal bayar dalam grup terkait; berdasarkan ini, tingkat bunga
pinjaman ditentukan.
o Tujuan bisnis dari kasus hipotetis ini adalah: Jika tingkat bunga
peminjam masa lalu dengan kisaran skor kredit diketahui, dapatkah
tingkat bunga untuk peminjam baru diprediksi?

Subject Area
 Proses data science mengungkap pola tersembunyi dalam dataset dengan
mengungkap hubungan antar atribut. Tetapi masalahnya adalah ia
menemukan banyak pola.
 False atau spurious signals adalah masalah utama dalam proses data
science. Terserah praktisi untuk menyaring pola yang terbuka dan menerima
pola yang valid dan relevan dengan jawaban dari pertanyaan objektif. Oleh
karena itu, penting untuk mengetahui materi pelajaran, konteks, dan proses
bisnis yang menghasilkan data.

Bisnis peminjaman adalah salah satu bisnis tertua, paling umum, dan kompleks dari
semua bisnis. Jika tujuannya adalah untuk memprediksi suku bunga pinjaman, maka
penting untuk mengetahui cara kerja bisnis peminjaman, mengapa prediksi itu
penting, apa yang terjadi setelah suku bunga diprediksi, poin data apa yang dapat
dikumpulkan dari peminjam, poin data apa yang tidak dapat dikumpulkan
dikumpulkan karena peraturan eksternal dan kebijakan internal, faktor eksternal lain
apa yang dapat mempengaruhi tingkat bunga, bagaimana memverifikasi keabsahan
hasil, dan sebagainya. Memahami model dan praktik bisnis saat ini meletakkan
dasar dan membangun pengetahuan yang diketahui. Analisis dan penambangan
data memberikan pengetahuan baru yang dapat dibangun di atas pengetahuan yang
ada (Lidwell, Holden, & Butler, 2010).

Universitas Esa Unggul

[Link] 6 / 22
Data
 Mirip dengan pengetahuan sebelumnya di bidang subjek, pengetahuan
sebelumnya dalam data juga dapat dikumpulkan. Memahami bagaimana data
dikumpulkan, disimpan, diubah, dilaporkan, dan digunakan adalah penting
untuk proses ilmu data.
 Bagian dari langkah ini mensurvei semua data yang tersedia untuk menjawab
pertanyaan bisnis dan mempersempit data baru yang perlu diambil.
 Ada cukup banyak faktor yang perlu dipertimbangkan:
o kualitas data,
o kuantitas data,
o ketersediaan data,
o kesenjangan dalam data,
o apakah kurangnya data memaksa praktisi untuk mengubah pertanyaan
bisnis, dll.
 Tujuan dari langkah ini adalah menghasilkan kumpulan data untuk menjawab
pertanyaan bisnis melalui proses data science. Sangat penting untuk
mengetahui bahwa model yang disimpulkan hanya sebaik data yang
digunakan untuk membuatnya.

Untuk contoh pinjaman, sampel dataset dari sepuluh poin data dengan tiga atribut
telah disatukan: pengidentifikasi, skor kredit, dan suku bunga. Pertama, beberapa
terminologi yang digunakan dalam proses ilmu data dibahas.
 Dataset (example set)
adalah kumpulan data dengan struktur yang ditentukan.
Tabel 2.1 menunjukkan dataset. Ini memiliki struktur yang ditentukan dengan
baik dengan 10 record dan 3 coloumn sepanjang dengan coloumn header.
Struktur ini terkadang juga disebut sebagai "data frame".

Universitas Esa Unggul

[Link] 7 / 22
  Data point (record, object or example)
adalah satu contoh dalam dataset. Setiap baris pada Tabel 2.1 adalah data
point. Setiap instance berisi struktur yang sama dengan dataset.
 Attribute (feature, input, dimension, variable or predictor)
adalah roperty tunggal dari kumpulan data. Setiap kolom pada Tabel 2.1
adalah atribut. Atribut dapat berupa tipe data numerik, kategorikal, tanggal-
waktu, teks, atau Boolean. Dalam contoh ini, nilai kredit dan suku bunga
merupakan atribut numerik.
 Label (class label, output, prediction, target or response)
adalah atribut khusus untuk diprediksi berdasarkan semua atribut masukan.
Pada Tabel 2.1, tingkat bunga adalah variabel output.
 Indetifiers
adalah atribut khusus yang digunakan untuk mencari atau memberikan
konteks ke rekaman individu.
o Misalnya, atribut umum seperti nama, nomor akun, dan nomor ID
karyawan adalah atribut pengenal.
o Pengidentifikasi sering digunakan sebagai kunci pencarian untuk
menggabungkan beberapa dataset. Mereka tidak memuat informasi
yang cocok untuk membangun model datascience dan karenanya,
harus dikecualikan untuk langkah pemodelan yang sebenarnya. Pada
Tabel 2.1, ID atribut adalah identifier.
Universitas Esa Unggul
[Link] 8 / 22
Causation vs Correlation
Misalkan pertanyaan bisnis dibalik: Berdasarkan data pada Tabel 2.1, dapatkah skor
kredit peminjam diprediksi berdasarkan tingkat suku bunga?
Jawabannya adalah ya — tetapi ini tidak masuk akal secara bisnis. Dari keahlian
domain yang ada, diketahui bahwa skor kredit mempengaruhi tingkat bunga
pinjaman. Memprediksi skor kredit berdasarkan suku bunga berbanding terbalik
dengan arah hubungan sebab akibat.

Pertanyaan ini juga mengungkap salah satu aspek kunci dari pembangunan model.
Korelasi antara atribut input dan output tidak menjamin penyebab. Oleh karena itu,
pertanyaan tentang data science perlu dibingkai dengan benar menggunakan
domain dan data knowledge yang ada. Dalam contoh ilmu data ini, tingkat bunga
peminjam baru dengan tingkat bunga yang tidak diketahui akan diprediksi (Tabel 2.2)
berdasarkan pola yang dipelajari dari data yang diketahui pada Tabel 2.1.

2.2. Data Preparation

 Mempersiapkan dataset agar sesuai dengan tugas data science adalah
bagian proses yang paling memakan waktu. Sangat jarang dataset tersedia
dalam bentuk yang disyaratkan oleh algoritme data science.
 Sebagian besar algoritme data science akan membutuhkan data untuk
disusun dalam format tabel dengan record pada baris dan atribut pada kolom.
 Jika data dalam format lain, data perlu diubah dengan menerapkan fungsi
pivot, konversi tipe, penggabungan, atau transposisi, dll., Untuk
mengkondisikan data ke dalam struktur yang diperlukan.

Beberapa tahapan yang dilakukan dalam data preparation, yaitu:

1. Data Exploration
 Data preparation dimulai dengan eksplorasi data yang mendalam dan
mendapatkan pemahaman yang lebih baik tentang kumpulan data.
 Eksplorasi data, juga dikenal sebagai analisis data eksplorasi,
menyediakan seperangkat alat sederhana untuk mencapai
pemahaman dasar tentang data.

Universitas Esa Unggul

[Link] 9 / 22
  Pendekatan eksplorasi data melibatkan komputasi statistik deskriptif
dan visualisasi data. Mereka dapat mengekspos struktur data,
distribusi nilai, keberadaan nilai ekstrim, dan menyoroti hubungan antar
dataset.
 Statistik deskriptif seperti mean, median, mode, deviasi standar,
dan range untuk setiap atribut memberikan ringkasan karakteristik
utama distribusi data yang mudah dibaca.
 Di sisi lain, plot visual dari titik data memberikan pemahaman instan
tentang semua titik data yang diringkas menjadi satu bagan. Gambar
2.3 menunjukkan scatterplot dari skor kredit vs. suku bunga pinjaman
dan dapat diamati bahwa dengan meningkatnya skor kredit, tingkat
bunga menurun.

Gambar 2.3 Scatterplot for interest rate dataset

2. Data Quality
 Kualitas data adalah perhatian yang berkelanjutan di mana pun data
dikumpulkan, diproses, dan disimpan.
 Dalam kumpulan data suku bunga (Tabel 2.1), bagaimana cara
mengetahui apakah skor kredit dan data suku bunga akurat?
Universitas Esa Unggul
[Link] 10 / 22
 Bagaimana jika skor kredit memiliki nilai tercatat 900 (di luar batas
teoritis) atau jika ada kesalahan entri data? Kesalahan dalam data akan
mempengaruhi keterwakilan model.
 Organisasi menggunakan teknik data alerts (peringatan), cleansing,
dan transformasi data untuk meningkatkan dan mengelola kualitas
data dan menyimpannya di repositori seluruh perusahaan yang disebut
data warehouse.
 Data yang bersumber dari data warehouse yang terpelihara dengan
baik memiliki kualitas yang lebih tinggi, karena terdapat kontrol yang
tepat untuk memastikan tingkat akurasi data untuk data baru dan yang
sudah ada.
 Praktik pembersihan data mencakup penghapusan duplikat record,
quarantining outlier records yang melebihi batas, standarisasi nilai
atribut, penggantian nilai yang hilang/missing, dll.
 Terlepas dari itu, sangatlah penting untuk memeriksa data
menggunakan teknik eksplorasi data selain menggunakan
pengetahuan sebelumnya tentang data dan bisnis sebelum
membangun model.

3. Missing Value
Salah satu permasalahan kualitas data secara umum adalah beberapa record
mempunyai nilai atribut yang missing.
Contoh,
Skor kredit yang missing dalam satu record.

Ada beberapa metode mitigasi yang berbeda untuk mengatasi masalah ini,
tetapi masing-masing metode memiliki pro dan kontra.
 Langkah pertama dalam mengelola nilai yang missing adalah
memahami alasan di balik missing value.
 Melacak sumber data dapat mengarah pada identifikasi masalah
sistemik selama pengambilan data atau kesalahan dalam transformasi
data.
 Mengetahui sumber dari missing value seringkali akan memandu
metodologi mitigasi yang akan digunakan.
Universitas Esa Unggul
[Link] 11 / 22
  Missing value dapat diganti dengan berbagai data buatan sehingga
masalah tersebut dapat dikelola dengan dampak marginal pada
langkah-langkah selanjutnya dalam proses data science.
 Missing value dari skor kredit dapat diganti dengan skor kredit yang
diperoleh dari dataset (rata-rata, nilai minimum, atau maksimum,
tergantung pada karakteristik atribut).
 Metode ini berguna jika Missing value terjadi secara acak dan frekuensi
kemunculannya cukup jarang.
 Alternatifnya, untuk membangun model perwakilan, semua record data
dengan missing value atau record dengan kualitas data yang buruk
dapat diabaikan.
 Metode ini mengurangi ukuran dataset. Beberapa algoritme data
science sangat baik untuk menangani record yang missing value.
Misalnya, algoritme k-Nearest Neighbor (k-NN) untuk klasifikasi sering
kali digunakan untuk kasus missing value.
 Model neural network untuk tugas klasifikasi tidak bekerja dengan baik
dengan atribut yang missing, dan dengan demikian, langkah persiapan
data sangat penting untuk mengembangkan model neural network.

4. Jenis Data dan Perubahan/Konversi

 Atribut dalam dataset dapat berbeda jenis, seperti numerik kontinu
(suku bunga), integer (skor kredit), atau kategorikal.
 Misalnya, skor kredit dapat dinyatakan sebagai nilai kategorik (buruk,
baik, sangat baik) atau skor numerik.
 Algoritme data science yang berbeda menerapkan batasan yang
berbeda pada tipe data atribut.
o Dalam kasus model regresi linier, atribut masukan harus berupa
numerik.
o Jika data yang tersedia bersifat kategorikal, data tersebut harus
dikonversi ke atribut numerik kontinu.
Skor numerik tertentu dapat dikodekan untuk setiap nilai
kategori, seperti poor5400, good5600, excellent5700, dll.
o Nilai numerik dapat diubah menjadi tipe data kategorikal dengan
teknik yang disebut binning, di mana rentang nilai ditentukan
Universitas Esa Unggul
[Link] 12 / 22
 untuk setiap kategori, misalnya, skor antara 400 dan 500 dapat
dikodekan sebagai "rendah" dan seterusnya.

5. Transformation
 Dalam beberapa algoritme data science seperti k-NN, atribut input
diharapkan berupa angka dan dinormalisasi, karena algoritme
membandingkan nilai atribut yang berbeda dan menghitung jarak antar
titik data.
 Normalisasi dapat mencegah hasil jarak satu atribut yang mendominasi
karena nilainya yang besar.
Misalnya, pertimbangkan pendapatan (dinyatakan dalam USD,
dalam ribuan) dan nilai kredit (dalam ratusan). Penghitungan
jarak akan selalu didominasi oleh sedikit variasi pendapatan.
 Salah satu solusinya adalah mengubah rentang pendapatan dan skor
kredit ke skala yang lebih seragam dari 0 menjadi 1 dengan
normalisasi. Dengan cara ini, perbandingan yang konsisten dapat
dibuat antara dua atribut yang berbeda dengan unit yang berbeda.

6. Outliers
 Outliers adalah anomali dalam dataset tertentu. Outliers dapat terjadi
karena pengambilan data yang benar (beberapa orang dengan
pendapatan puluhan juta) atau pengambilan data yang salah (tinggi
manusia 1,73 cm, bukan 1,73 m).
 Terlepas dari itu, keberadaan outliers perlu dipahami dan akan
membutuhkan penanganan khusus.
 Tujuan dari membuat model representatif adalah untuk
menggeneralisasi pola atau hubungan dalam dataset dan keberadaan
outlier mengubah keterwakilan model yang disimpulkan.
 Mendeteksi outliers mungkin merupakan tujuan utama dari beberapa
aplikasi data science, seperti fraud atau intrusion (gangguan) detektion.

7. Feature Selection
 Contoh dataset yang ditunjukkan pada Tabel 2.1 memiliki satu atribut
atau fitur — skor kredit — dan satu label — tingkat bunga.
Universitas Esa Unggul
[Link] 13 / 22
  Dalam praktiknya, banyak masalah data science melibatkan dataset
dengan ratusan hingga ribuan atribut.
 Dalam aplikasi text mining, setiap kata berbeda dalam dokumen
membentuk atribut berbeda dalam dataset. Tidak semua atribut sama
pentingnya atau berguna dalam memprediksi target. Kehadiran
beberapa atribut mungkin kontraproduktif.
 Beberapa atribut mungkin sangat berkorelasi satu sama lain, seperti
pendapatan tahunan dan pajak yang dibayarkan. Sejumlah besar
atribut dalam kumpulan data secara signifikan meningkatkan
kompleksitas model dan dapat menurunkan kinerja model karena
kutukan dimensionalitas.
 Secara umum, keberadaan informasi yang lebih rinci diinginkan dalam
data science karena menemukan segumpalan pola dalam data
merupakan salah satu daya tarik penggunaan teknik data science.
Namun, seiring bertambahnya jumlah dimensi dalam data, data
menjadi jarang dalam ruang dimensi tinggi.
 Kondisi ini menurunkan keandalan model, terutama dalam kasus
clustering dan klasifikasi (Tan, Steinbach, & Kumar, 2005).
 Mengurangi jumlah atribut, tanpa kehilangan performa model secara
signifikan, disebut pemilihan fitur (feature selection). Ini mengarah ke
model yang lebih disederhanakan dan membantu untuk mensintesis
penjelasan yang lebih efektif dari model.

8. Data Sampling
 Sampling adalah proses memilih subset record sebagai representasi
dari dataset asli untuk digunakan dalam analisis atau pemodelan data.
 Data sampel berfungsi sebagai perwakilan dari dataset asli dengan
properti serupa, seperti mean yang serupa.
 Sampling mengurangi jumlah data yang perlu diproses dan
mempercepat proses pembuatan pemodelan.
 Dalam kebanyakan kasus, untuk mendapatkan wawasan, mengekstrak
informasi, dan membangun model prediktif yang representatif, cukup
bekerja dengan sampel.

Universitas Esa Unggul

[Link] 14 / 22
  Secara teoritis, kesalahan yang disebabkan oleh pengambilan sampel
berdampak pada relevansi model, tetapi manfaatnya jauh lebih besar
daripada risikonya.
 Dalam proses build untuk aplikasi data science, perlu dilakukan
segmentasi dataset menjadi sampel pelatihan dan pengujian.
 Dataset training diambil sampelnya dari dataset asli menggunakan
pengambilan sampel sederhana atau pengambilan sampel khusus
label kelas.
 Pertimbangkan contoh kasus untuk memprediksi anomali dalam
dataset (misalnya, memprediksi transaksi kartu kredit yang curang).
 Tujuan dari deteksi anomali adalah untuk mengklasifikasikan pencilan
dalam data. Ini adalah peristiwa langka dan seringkali dataset tidak
memiliki cukup contoh kelas pencilan.
 Stratified sampling adalah proses pengambilan sampel di mana setiap
kelas diwakili secara merata dalam sampel; ini memungkinkan model
untuk fokus pada perbedaan antara pola setiap kelas yaitu, normal dan
outlier record.
 Dalam aplikasi klasifikasi, pengambilan sampel digunakan untuk
membuat beberapa model dasar, masing-masing dikembangkan
menggunakan sekumpulan sampel data pelatihan yang berbeda.
 Model dasar ini digunakan untuk membangun satu model meta, yang
disebut model ensemble, di mana tingkat kesalahan ditingkatkan jika
dibandingkan dengan model dasar.

Modeling
Model adalah representasi abstrak dari data dan hubungan dalam dataset tertentu.
 Sebuah aturan praktis sederhana seperti "suku bunga hipotek berkurang
dengan peningkatan nilai kredit" adalah sebuah model; meskipun tidak ada
informasi kuantitatif yang cukup untuk digunakan dalam skenario produksi,
skenario ini memberikan informasi terarah dengan mengabstraksi hubungan
antara skor kredit dan tingkat bunga.

Universitas Esa Unggul

[Link] 15 / 22
Ada beberapa ratus algoritme data science yang digunakan saat ini, yang berasal
dari statistik, machine learning, pattern recognition, dan kumpulan pengetahuan yang
terkait dengan ilmu komputer.

Untungnya, ada banyak alat sains data komersial dan sumber terbuka yang layak di
pasaran untuk mengotomatiskan eksekusi algoritme pembelajaran ini.

Sebagai seorang praktisi data science, cukup dengan gambaran tentang algoritma
pembelajaran, cara kerjanya, dan menentukan parameter apa yang perlu
dikonfigurasi berdasarkan pemahaman bisnis dan data.

Tugas klasifikasi dan regresi adalah teknik prediksi karena mereka

memprediksi variabel hasil berdasarkan satu atau lebih variabel input.

Algoritme prediktif membutuhkan kumpulan data yang diketahui sebelumnya untuk

mempelajari model. Gambar 2.4 menunjukkan langkah-langkah dalam fase
pemodelan ilmu data prediktif.

Gambar 2.4 Langkah-langkah Modeling

Analisis asosiasi dan clustering adalah teknik sains data deskriptif dimana tidak
ada variabel target untuk diprediksi; karenanya, tidak ada set data pengujian.
Namun, baik model prediktif maupun deskriptif memiliki langkah evaluasi.

Training dan Testing Dataset

Universitas Esa Unggul

[Link] 16 / 22
  Langkah pemodelan membuat model representatif yang disimpulkan dari
data.
 Dataset yang digunakan untuk membuat model, dengan atribut dan target
yang diketahui, disebut dataset training.
 Validitas model yang dibuat juga perlu diperiksa dengan dataset lain yang
dikenal yang disebut dataset test atau dataset validasi.
 Untuk memfasilitasi proses ini, dataset yang diketahui secara keseluruhan
dapat dipecah menjadi dataset training dan dataset testing.
 Aturan praktis standar adalah dua pertiga dari data akan digunakan
sebagai training dan sepertiga sebagai dataset testing.
 Tabel 2.3 dan 2.4 menunjukkan pemisahan acak data training dan testing,
berdasarkan contoh dataset yang ditunjukkan pada Tabel 2.1. Gambar 2.5
menunjukkan sebar dari seluruh contoh dataset dengan pelatihan dan
pengujian dataset ditandai.

Algoritma Pembelajaran
 Pertanyaan bisnis dan ketersediaan data akan menentukan tugas data
science (asosiasi, klasifikasi, regresi, dll.,) Yang dapat digunakan.
 Praktisi menentukan algoritme data science yang sesuai dalam kategori yang
dipilih.

Universitas Esa Unggul

[Link] 17 / 22
 Misalnya, dalam tugas klasifikasi, banyak algoritme dapat dipilih dari:
decision trees, rule induction, neural network, model Bayesian, k-NN,
dll.
 Demikian pula, dalam teknik decision trees, terdapat cukup banyak variasi
algoritma pembelajaran seperti pohon klasifikasi dan regresi (CART), CHi-
squared Automatic Interaction Detector (CHAID) dll.

Gambar 2.5 Scatterplot of training and test data

 Prediksi suku bunga adalah masalah regresi. Teknik regresi linier sederhana
akan digunakan untuk memodelkan dan menggeneralisasi hubungan antara
skor kredit dan tingkat bunga. Set training yang terdiri dari tujuh record
digunakan untuk membuat model dan set testing dari tiga record digunakan
untuk mengevaluasi validitas model.
 Tujuan dari regresi linier sederhana dapat divisualisasikan sebagai
pemasangan garis lurus melalui titik-titik data dalam sebar (Gambar. 2.6).
Garis harus dibangun sedemikian rupa sehingga jumlah kuadrat jarak dari titik
data ke garis minimal. Garis dapat dinyatakan sebagai:
y = a * x +b (2.1)
dimana:
Universitas Esa Unggul
[Link] 18 / 22
 y adalah output atau variabel dependen
x adalah input atau variabel independen
b adalah perpotongan y dan
a adalah koefisien dari x.
Nilai a dan b dapat ditemukan sedemikian rupa untuk meminimalkan jumlah
kuadrat sisa garis.

Gambar 2.6 Model Regresi

 Garis yang ditunjukkan pada Persamaan. (2.1) berfungsi sebagai model untuk
memprediksi hasil dari dataset baru yang tidak berlabel.
6
𝑦 = 0.1 + 𝑥
100.000

6 𝑥 𝑐𝑟𝑒𝑑𝑖𝑡 𝑠𝑐𝑜𝑟𝑒
𝐼𝑛𝑡𝑒𝑟𝑒𝑠𝑡 𝑟𝑎𝑡𝑒 = 10 −
1000
 Dengan menggunakan model ini, tingkat suku bunga untuk peminjam baru
dengan skor kredit tertentu dapat dihitung.

Evaluasi Model

Universitas Esa Unggul

[Link] 19 / 22
  Model yang dihasilkan dalam bentuk persamaan digeneralisasikan dan
disintesis dari tujuh training record.
 Skor kredit dalam persamaan dapat diganti untuk melihat apakah model
memperkirakan tingkat bunga untuk masing-masing dari tujuh record training.
 Estimasi tersebut mungkin tidak persis sama dengan nilai dalam record
training. Model tidak boleh menghafal dan mengeluarkan nilai yang sama
dengan yang ada di catatan pelatihan. Fenomena model menghafal data
training disebut overfitting.
 Model overfitted hanya menghafal record training dan akan berkinerja buruk
pada data baru yang sebenarnya tidak berlabel. Model tersebut harus
menggeneralisasi atau mempelajari hubungan antara skor kredit dan tingkat
bunga.
 Untuk mengevaluasi hubungan ini, validasi atau set data pengujian, yang
sebelumnya tidak digunakan dalam membangun model, digunakan untuk
evaluasi, seperti yang ditunjukkan pada Tabel 2.5.

Universitas Esa Unggul

[Link] 20 / 22
Latihan

Universitas Esa Unggul

[Link] 21 / 22