Scribd
Unggah
4 tayangan2 halaman

Formulasi Matematis SVM dan Kernel

Dokumen ini membahas formulasi matematis dari algoritma Support Vector Machine (SVM), termasuk definisi dataset, klasifikasi linear sempurna, dan soft margin SVM. Selain itu, dijelaskan tentang dualisasi dan kernel trick serta fungsi keputusan untuk prediksi. Modifikasi untuk regularisasi adaptif juga diperkenalkan untuk mengurangi risiko overfitting.

Diunggah oleh

Isnen Hadi
Hak Cipta
© All Rights Reserved
Kami menangani hak cipta konten dengan serius. Jika Anda merasa konten ini milik Anda, ajukan klaim di sini.
Format Tersedia
Unduh sebagai DOCX, PDF, TXT atau baca online di Scribd
4 tayangan2 halaman

Formulasi Matematis SVM dan Kernel

Dokumen ini membahas formulasi matematis dari algoritma Support Vector Machine (SVM), termasuk definisi dataset, klasifikasi linear sempurna, dan soft margin SVM. Selain itu, dijelaskan tentang dualisasi dan kernel trick serta fungsi keputusan untuk prediksi. Modifikasi untuk regularisasi adaptif juga diperkenalkan untuk mengurangi risiko overfitting.

Diunggah oleh

Isnen Hadi
Hak Cipta
© All Rights Reserved
Kami menangani hak cipta konten dengan serius. Jika Anda merasa konten ini milik Anda, ajukan klaim di sini.
Format Tersedia
Unduh sebagai DOCX, PDF, TXT atau baca online di Scribd

\documentclass{article}

\usepackage{amsmath, amssymb}
\usepackage{bm}
\usepackage{geometry}
\geometry{a4paper, margin=1in}

\title{Formulasi Matematis Algoritma Support Vector Machine (SVM)}


\author{}
\date{}

\begin{document}

\maketitle

\section*{1. Definisi Dataset}

Misalkan himpunan data pelatihan terdiri dari $N$ pasangan input-label:

\[
\mathcal{D} = \{(\mathbf{x}_i, y_i)\}_{i=1}^N,\quad \mathbf{x}_i \in \
mathbb{R}^d,\quad y_i \in \{-1, +1\}
\]

\section*{2. Klasifikasi Linear Sempurna (Linearly Separable)}

SVM bertujuan menemukan hyperplane optimal:

\[
\mathbf{w}^\top \mathbf{x} + b = 0
\]

dengan kondisi batas:

\[
y_i(\mathbf{w}^\top \mathbf{x}_i + b) \geq 1,\quad \forall i
\]

dan fungsi objektif sebagai:

\[
\min_{\mathbf{w}, b} \quad \frac{1}{2} \|\mathbf{w}\|^2
\]

\section*{3. Soft Margin SVM (Kasus Non-Separable)}

Untuk mengakomodasi pelanggaran margin, digunakan variabel slack $\xi_i \


geq 0$:

\[
\min_{\mathbf{w}, b, \boldsymbol{\xi}} \quad \frac{1}{2} \|\mathbf{w}\|^2
+ C \sum_{i=1}^N \xi_i
\]

dengan syarat:
\[
y_i(\mathbf{w}^\top \mathbf{x}_i + b) \geq 1 - \xi_i,\quad \xi_i \geq 0
\]

\section*{4. Dualisasi dan Kernel Trick}

Transformasi dual dari problem di atas menghasilkan:

\[
\max_{\boldsymbol{\alpha}} \quad \sum_{i=1}^N \alpha_i - \frac{1}{2} \
sum_{i=1}^N \sum_{j=1}^N \alpha_i \alpha_j y_i y_j K(\mathbf{x}_i, \
mathbf{x}_j)
\]

dengan kendala:

\[
0 \leq \alpha_i \leq C,\quad \sum_{i=1}^N \alpha_i y_i = 0
\]

dan kernel didefinisikan sebagai:

\[
K(\mathbf{x}_i, \mathbf{x}_j) = \langle \phi(\mathbf{x}_i), \phi(\
mathbf{x}_j) \rangle
\]

\section*{5. Fungsi Keputusan}

Setelah mendapatkan $\alpha_i$, prediksi untuk sampel baru $\mathbf{x}$


adalah:

\[
f(\mathbf{x}) = \text{sign} \left( \sum_{i=1}^N \alpha_i y_i K(\
mathbf{x}_i, \mathbf{x}) + b \right)
\]

\section*{6. Modifikasi: Regularisasi Adaptif}

Untuk mengurangi risiko overfitting, diperkenalkan nilai regularisasi


yang bervariasi terhadap norma fitur:

\[
C_i = \ln\left(1 + \frac{C_0}{\|\mathbf{x}_i\| + \epsilon} \right)
\]

dengan $C_0$ sebagai koefisien dasar, dan $\epsilon > 0$ konstanta


numerik kecil untuk menghindari pembagian nol.

\end{document}

Anda mungkin juga menyukai