NAMA : NUR AINI MANEKING

NIM : 19208134

MK : Kecerdasan Buatan

STATISTICAL DATA ANALYSIS

RANGKUMAN

 Pengambilan Data

Sebelum menggunakan machine learning, anda sebaiknya memahami data yang akan
gunakan terlebih dahulu.

Analisis data adalah proses pengumpulan (collecting), pembersihan (learning),

transformasi (transformation), dan pemodelan (modeling) data dengan tujuan untuk
menemukan informasi yang penting, menginformasikan kesimpulan, dan mendukung
pengambilan keputusan.

 Dataset

Data yang menjadi input untuk machine atau deep learning disebut dengan data set
atau dataset. Dataset adalah sekumpulan data yang disusun secara terstruktur. Biasanya,
dataset dipresentasikan dalam bentuk tabel, alias baris dan kolom. Berikut ini beberapa
istilah yang berkaitan dengan data :

1) Instance : Setiap baris dari tabel disebut instance (instan) yang menunjukan sebuah
pengamatan dari permasalahan;
2) Feature : Setiap kolom dari tabel disebut feature atau atribut dari instance yang
digunakan untuk input data pada proses klasifikasi, klasterisasi, maupun regresi, dan
atributnya yang sama dengan data yang lain;
3) Data Type : Masing-masing feature memiliki tipe data;
4) Data Ordinal : Data yang memiliki penomoran obyek atau kategorinya disusun
menurut besarnya yaitu dari tingkat terendah ke tertinggi (diurutkan);
5) Data Cardinal : Data yang berupa nilai angka dalam bilangan bulat;
6) Kelas : Label atau target. Label kelas seringkali berupa nilai string, contohnya “
sehat’’, “sakit’’, dan harus dipetakan ke nilai numeric sebelum diberikan ke lgoritma
untuk pemodelan. Ini sering disebut sebagai pengkodean label, di mana bilangan bulat
unit diberikan ke setiap label kelas, contohnya “sehat’’ = 0, “sakit’’ = 1;
7) Binary – Class : dua kelas;
8) Multi-Variabel : lebih dari dua kelas;
9) Multi-Class : lebih dari dua kelas;
10) Data Training : dataset yang digunakan computer untuk melakukan proses belajar
(training);
11) Data Testing : dataset yang digunakan computer untuk menguji model yang terbentuk
dari hasil training;
12) Data Validation : sebagian dataset yang digunakan untuk memvalidasi atau
mengevaluasi model yang digunakan.

 Data Vasualization

Visualisasi data adalah represensi grafis dari informasi dan data dengan menggunakan
elemen visual seperti bangan, grafik, dan peta untuk membuat data lebih mudah dipahami
dan diambil oleh otak manusia. Tujuan utama dari visualisasi data adalah untuk
meudahkan dalam mengidentifikasi pola, tren, dan outlier dalam kumpulan data yang
besar. Istilah ini sering digunakan secara bergantian dengan yang lain, termasuk grafik
informasi, visualisasi informasi, dan grafik statistik.

 Line Charts;
 Pie charts;
 Area charts;
 Scatter Plots;
 Radar Charts;
 Treemaps;
 Histograms;
 Heat Map;
 Matplotlib.
  Data dan Fitur Engineering

Data, menurut Kamus Besar Bahasa Indonesia (KBBI), merupakan keterangan yang benar
dan nyata. Data biasa berasal dari berbagai macam sumber dan dengan menggunakan
metode-metode tertentu. Data juga masih bersifat universal, dimana ketika belum diolah, data
cenderung masih belum terlihat secara jelas bahwa data tersebut akan menghasilkan
informasi.

 Ekstraksi Fitur

Dalam machine learning dan deep learning, keberadaan data adalah perihal yang harus ada
dan sesuai dengan peruntukannya. Untuk mengolah data-data yang ada perlu dilakukan
proses ekstraksi fitur yang tujuan utamanya adalah menemukan data-data yang paling baik
dan berguna dalam proses learning yang akan dilakukan. Ekstraksi fitur jua bisa diistilahkan
sebagai “mencari butiran emas di tumpuhkan pasir’’ yang mana jika proses ekstraksi fitur ini
berhasil, maka proses learning-pun akan semakin baik.

 Seleksi Fitur

Dalam dunia machine learning, proses seleksi fitur menjadi salah satu proses yang terpenting.
Ada beberapa alas an mengapa seleksi fitur sangat dibutuhkan, diantaranya:

 Mereduksi dimensi
 Membuat data yang sederhana
 Garbage in, garbage out.

 Pres-processing

Sebelum melakukan data mining atau pembuatan model klasifikasi ataupun regresi, ada
satu tahap yang perlu dilakukan yaitu proses cleaning pada data. Proses pembersihan data
atau sering disebut tahapan preprocessing ini seperti membuang data duplikasi,
memperbaiki kesalahan pada data dan memeriksa data yang tidak konsisten. Selain itu,
proses enrichment juga perlu dilakukan untuk menambah informasih pada data yang akan
diolah seperti data eksternal lainnya yang berkaitan. Secara definisi data preprocessing
adalah proses yang mengubah data mentah ke dalam bentuk yang lebih mudah dipahami.
Hal ini dikarenakan seringnya data tidak memiliki format yang teratur. Selain itu, data
mining juga tidak dapat memproses data mentah, sehingga proses preprocessing ini
sangat penting dilakukan untuk mempermudah proses berikutnya, yaitu analisis data.

 Standardization

Standardization atau Sandarisasi adalah pengkalaan ulang distribusi nilai sehingga

rata-rata nilai yang diamati adalah 0 dan standar devinisinya adalah 1. Ini dapat dianggap
sebagai pengurangan nilai rata-rata atau pemusatan data. Seperti normalisasi, standarisasi
dapat berguna, dan bahkan diperlukan dalam beberapa algoritma machine learning ketika
data anda memiliki nilai input dengan skala yang berbeda.

 Aggregation

Dalam analisis data ada kalanya anda melakukan agregrasi data seperti mencari
jumlah data, mencari rata-rata atau total nilai. Seperti contoh, terdapat data mahasiswa
yang memiliki atribut nama, alamat,jenis kelamin dan nilai. Dari data ini anda dapat
mencaritahu total nilai atau rata-rata nilai berdasarkan alamat dan jenis kelamin.

 Min Max Normalization

Model machine learning mempelajari pemetaan dari variable input ke variable output.
Dengan demikian, skala dan distribusi data yang di ambil dari domain mungkin berbeda
untuk setiap variable.

Normalisasi adalah penskalaan ulang data dari rentang asli sehingga semua nilai
berbeda dalam rentang baru 0 dan 1. Normalisasi mengharuskan anda mengetahui atau
mampu memperkirakan secara akurat nilai minimum dan maksimumyang dapat diamati.
Anda mungkin dapat memperkirakan nilai ini dari data yang tersedia. Normalisasi dapat
diimplementasikan dengan menggunakan persamaan 2.13.

 Fast Fourier Transform (FFT)

 Fast Fourier Transform (FFT) adalah algoritma yang dilakukan untuk merepresentasikan
sinyal dalam domain waktu diskrit dan domain frekuensi. Sementara itu, IFFT adalah
singkatan dari Inverse Fast Fourier Transform. FFT dan IFFT merupakan pengembangan
dari konsep Discrete Fourier Transform (DFT). DFT merupakan metode transformasi
matematis untuk sinyal waktu diskrit, sedangkan FFT merupakan algoritma yang digunakan
untuk melakukan transformasi tersebut (Heckbert, 1995).

 Discrate Wavelet Transform (DWT)

Transformasi wafelet diskrit atau Discrate Wavelet Transform (DWT) secara umum
merupakan proses dekomposisi sinyal pada frekuensi sub-band sinyal tersebut. Komponen
sub-band transformasi wavelet dilakukan dengan cara penurunan level dekomposisi. Secara
garis besar proses dalam teknik ini adalah dengan melewatkan sinyal yang akan dianalisi
pada filter dengan frekuensi dan skala yang berbeda (Veterlli dan Herley, 1992). Gambar 2.6
merupakan contoh penerapan dari DWT untuk menghilangkan kebisingan dari sinyal asli
(noise). Gambar (a) merupakan sinyal asli dari sensor Electronic Nose, sedangkan (b)
merupakan hasil penggunaan DWT.

 Dimensionality Reduction

Setelah mengetahui beberapa langkah utama untuk melakukan penyimpanan data atau disebut
dengan istilah preprocessing maka data siap untuk diolah lebih lanjut. Namun dalam
beberapa kasus, data yang digunakan memiliki dimensi yang tinggi. Data seperti ini
umumnya muncul ketika objek pengamatan merupakan kejadian langka atau memerlukan
biaya besar dan waktu yang [Link] contoh di antaranya adalah data ekspresi ganda
antara kovariatnya tidak bisa dihindari. Hasil dugaannya memiliki ragam yang cenderung
besar jika metode etimasi kuadrat terkecil digunakan. Akibatnya, hasil pendugaan cenderung
tidak stabil dan model prediksi yang diperoleh tidak akurat. Oleh karenanya dibutuhkan
proses tambahan yanki reduksi dimensi. Reduksi dimensi merupakan proses pengurangan
dimensi suatu dataset dengan pertimbangan bahwa informasi-informasi penting tetap
dipertahankan.

 Principal Component Analysis (PCA)

 Proses klasifikasi, klasterisasi, regresi dan lainnya membutuhkan jumlah waktu
berbanding lurus dengan banyaknya variable atau atribut yang ada pada data. Semakin
banyak atribut, semakin lama waktu yang dibutuhkan untuk melatih model.

Feature selection. Proses yang bertujuan untuk memiliki feature yang berpengaruh dalah
suatu kegiatan pemodelan atau penganalisaan data. Terdapat banyak alternative yang bisa
digunakan dan harus dilakukan percobaan untuk mencari yang sesuai. Secara garis besar ada
dua kelompok besar dalam pelaksanaan feature selection, yaitu ranking selection dan subset
selection.

Feature extraction. PCA merupakan teknik untuk ekstrasi fitur dengan menggabungkan
variable input dengan cara tertentu, lalu menghapus variable yang “paling tidak penting’’
namun tetap mempertahankan bagian paling berharga dari semua variabel.

Kriteria dalam PCA

 Kriteria Apriori
 Kriteria Nilai Eigen
 Kriteria Presentase Varian

 Linear Discriminant Analysis (LDA)

Linear Discriminant Analysis (LDA) atau analisis diskriminan linier merupakan metode
statistika yang digunakan untuk reduksi dimensi. LDA memisahkan kelas-kelas dalam suatu
dataset dan meminimalkan varian di masing-masing kelas dengan tujuan mencari kombinasi
atribut terbaik. Sangat berbeda dengan PCA yang bekerja dengan mencari atribut komponen
yang memiliki varian tertinggi. Perbedaan mendasar lainnya yang menjadi pembeda antara
PCA dan LDA yakni, PCA adalah teknik unsupervised karena metode ini memperhatikan
bagaimana kelas pada dataset dapat dipisahkan dengan baik. LDA menggunakan fitur dari
kedua sumbu (X dan Y) untuk membuat sumbu baru, lalu diproyeksikan ke sumbu baru
dengan cara memaksimalkan jarak antara dua kategori dan meminimalkan varian.

 T-Distributed Stochastic Neighbor Embedding

 Metode berikutnya untuk melakukan reduksi dimensi yaitu T-Distributed Stochastic
Neighbor Embedding (T-SNE). Metode ini merupakan teknik reduksi dimensi, eksplorasi
data, dan visualiasi data nonlinear unsurpervised berdimensi tinggi. Teknik T-SNE ini
dikembangkan oleh Geoffrey Hinton dan Laurens Van Der Maaten pada tahun 2008.

 Data Validation

Pengoperasian sebuah model machine learning pada tahap produksi membutuhkan lebih
dari sekedar memuat dan memvalidasi seperti pada bangku perkuliahan atau penelitian.
Sebuah aplikasi machine learning pada stage production dapat menjadi sebuah cabang dari
beberapa komponen yang berjalan secara konsekutif atau berurutan.

 Data Splitting

Pemisahan data adalah ketika data dibagi menjadi dua atau lebih subset. Biasanya, dengan
pemisahan dua bagian satu bagian digunakan untuk mengevaluasi atau menguji data dan yang
lainnya untuk melatih model. Pemisahan data merupakan aspek penting dari ilmu data,
terutama untuk membuat model berdasarkan data. Teknik ini membantu memastikan
pembuatan model data dan proses yang diggunakan model data seperti machine learning
akurat.

 Cross-validation

Cross-validation (CV) adalah teknik untuk menilai kinerja model prediksi statistic pada
kumpulan data independen. Tujuannya adalah untuk memastikan model dan data bekerja
sama dengan baik. Validasi silang dilakukan selama fase pelatihan di mna pengguna akan
menilai apakah model rentan terhadap underfitting atau overfitting terhadap data. Data yang
akan digunakan untuk validasi silang harus dari distribusi yang sama untuk variabel targer
atau hal tersebut akan membuat anda tersesat tentang bagaimana model akan tampil dalam
kehidupan nyata.

 Overfitting & Underfitting

 Mari pertimbangkan bahwa anda sedang merancang model machine learning. Sebuah
model dikatakan sebagau model machine learning yang baik jika ia menggeneralisasikan data
masukan baru dari domain masalah dengan cara yang tepat. Hal ini sangat membantu untuk
membuat prediksi di masa depan data, bahwa model data belum pernah terlihat. Sekarang,
misalnka ingin memeriksa seberapa baik model machine learning perlu dilatih dan
menggeralisasi ke data baru. Untuk itu, terdapat overfitting dan underfitting, yang sebagai
bear bertanggung jawab atas buruknya kinerja algoritm machine learning.

 Evaluasi Kinerja Model

Performance metrics adalah bagaian dari setiap alur machine learning yang digunakan
untuk mengevaluasi kinerja model. Semua mode machine learning, apakah itu regresi linier,
atau teknik state-of-the-art seperti Bidirectional Encoder Representations Form
Transformers (BERT), merupakan metric untuk menilai kinerja.

 Metrik Regresi

Model regresi memiliki keluaran yang kontinu. Jadi, anda membutuhkan metric
berdasarkan penghitungan semacam jarak antara prediksi dan kebenaran dasar. Untuk
mengevaluasi model regresi terhadap beberapa metric yang bisa digunakan:

 Mean Square Error (MSE);

 Mean Absolute Error (MAE);
 Root Mean Squared Error (RMSE);
 R-Squered (R2).

 Metric Klasifikasi

Masalah klasifikasi adalah satu bidang yang paling banyak diteliti di dunia. Kasus
penggunaan hadir di hamper semua lingkungan produksi dan industry. Engenalan ucapan,
pengenalan wajah, klasifikasi teks dan lain sebagainya.
 Model klasifikasi memiliki keluaran diskrit, sehingga dibuthkan metrik yang
membandingkan kelas diskrit dalam beberapa bentuk. Mertik klasifikasi mengevaluasi
kinerja model dan memberi tahu seberapa baik atau buruk klasifikasi tersebut, tetapi masing-
masing dari mereka mengevaluasinya dengan cara yang berbeda. Jadi untuk mengevaluasi
model klasifikasi, bab ini akan membahas metric berikut secara rinci:

 Accuracy;
 Sensitivity, Specificity, dan Precision;
 FI-Score;
 Area Under Receiver Operating Characteristics Curve (AU-ROC).