JINACS: Volume 06 Nomor 02, 2024

(Journal of Informatics and Computer Science) ISSN : 2686-2220

Klasifikasi Emosi Ulasan Produk E- Commerce

Menggunakan Support VectorMachine
Natasha Isnaeni Raharko1, Yuni Yamasari 2
1,2
Teknik Informatika, Fakultas Teknik, Universitas Negeri Surabaya
1natasha.19040@[Link]

2yuniyamasari@[Link]

Abstrak— Ulasan pada e-commerce dapat mempengaruhi juta pengguna hingga akhir 2023 [4]. Semakin besar
keputusan pembeli dan menunjukkan emosi pembeli terhadap pengguna suatu e-commerce, maka semakin banyak pula
produk yang mereka beli. Namun, analisis terhadap ulasan ulasan yang ada. Dapat disimpulkan bahwa jumlah ulasan
dalam e-commerce tersebut tidak mudah jika dilakukan secara
yang ada di e-commerce tidak memungkinkan peninjauan
manual. Oleh karena itu, penelitian ini memfokuskan domain
tersebut dengan Support Vector Machine (SVM). Lebih lanjut,
secara manual.
penelitian ini mengeksplorasi kernel dari SVM, yaitu: linear, Data Mining adalah sebuah proses yang bertujuan untuk
polynomial, RBF, dan sigmoid. Nilai evaluasi tertinggi yang mendapatkan informasi dari data dan menyajikan informasi
SVM tanpa data resampling untuk accuracy diraih oleh SVM tersebut kepada pengguna secara komprehensif [5]. Salah
kernel Linear dan Sigmoid sebesar 66.30. Precision, recall, dan satu pengembangan dari data mining adalah Text Mining,
f1-score diraih oleh SVM kernel Sigmoid dengan masing-masing sebuah pengembangan data mining yang bertujuan untuk
66.00, 62.12, dan 62.91. Untuk data resampling, accuracy dan menemukan informasi yang berguna dari data-data berupa
precision tertinggi dicapai oleh SVM kernel RBF dengan nilai tulisan, dokumen, atau teks dalam bentuk klasifikasi,
61.97 dan 62.04. Sedangkan, nilai recall dan f1-score dengan penentuan, maupun clustering [6]. Salah satu aplikasi text
data resampling diraih oleh SVM kernel Linear dengan nilai
mining dalam cabang klasifikasi adalah klasifikasi emosi.
65.19 dan 64.46. Berdasarkan kinerja secara kesesluruhan,
accuracy tertinggi diraih oleh SVM kernel Linear dan Sigmoid, Klasifikasi emosi mengacu pada tugas mengenali emosi
yaitu 66,30, precision tertinggi oleh SVM kernel RBF, yaitu seseorang dan mengklasifikasikannya menurut reaksi dan
67,25, recall tertinggi oleh SVM kernel Sigmoid, yaitu 62,12, dan respons mereka. Klasifikasi emosi didefinisikan sebagai
f1-score tertinggi oleh SVM kernel Sigmoid, yaitu 62,91. pengkategorian emosi dan upaya membedakan satu emosi
dengan emosi lainnya [7]. Metode tersebut dapat
Kata Kunci— Klasifikasi, Support Vector Machine, kernel, diaplikasikan pada ulasan pada e-commerce untuk
emosi, ulasan mendapatkan informasi kepuasan konsumen secara cepat.
Untuk mendapatkan hasil klasifikasi emosi yang baik,
I. PENDAHULUAN dibutuhkan penentuan algoritma yang mampu menjalankan
Menurut Laudon, E-Commerce atau electronic commerce tugas tersebut dengan baik. Algoritma yang kerap digunakan
merupakan suatu proses membeli dan menjual produk- dalam melakukan tugas klasifikasi emosi adalah Support
produk secara elektronik oleh konsumen dan dari perusahaan Vector Machine (SVM). Dalam [8], dikatakan bahwa SVM
ke perusahaan dengan komputer sebagai perantara bisnis [1]. efektif untuk melakukan beberapa tugas seperti
Pada umumnya, konsumen yang telah membeli produk akan pengkategorian artikel berita dan prediksi sentimen karena
diminta untuk memberi ulasan terkait produk tersebut. mampu mengatasi dimensionalitas tinggi dengan baik
Konsumen akan menyatakan opini mereka terkait produk [9]serta mengenali hyperplane yang membagi batas diantara
yang didapatkan. Isi ulasan tersebut dapat mempengaruhi dua kelas. Selain itu, dikatakan juga bahwa SVM juga tidak
keputusan pembelian konsumen lainnya [2]. Kepastian rentan overfitting. Pada [10], SVM mencapai akurasi dengan
produk dan ulasan yang ada dapat mencerminkan level rerata 97.01, daripada NB yang hanya memiliki rerata akurasi
kepuasan seorang konsumen tentang produk yang mereka 90.86, menjadikan SVM lebih baik dalam tugas klasifikasi
beli [3]. Seorang konsumen yang puas juga akan jalur minat SMA daripada NB. Pada [11], SVM dan Logistic
meninggalkan ulasan yang positif dan memengaruhi Regression yang digabungkan pun memiliki nilai akurasi
keputusan pembelian konsumen lainnya. Maka dari itu, tertinggi diantara metode-metode lainnya. Pada [12], SVM
penjual perlu untuk meninjau ulasan-ulasan yang ada untuk dengan seleksi fitur Chi-Square dan stemming mencapai nilai
dapat memajukan usaha mereka pada e-commerce tersebut. accuracy 80%, precision 95, recall 95, dan f1-score 95,05.
Salah satu hal yang dapat diperhatikan dalam meninjau Peninjauan ulasan produk pada e-commerce dalam skala
ulasan adalah emosi ulasan. Ulasan yang dibuat konsumen besar perlu dilakukan klasifikasi emosi sebagai bagian dari
pasti melibatkan emosi mereka terkait produk yang dibeli. proses text mining untuk mendapatkan informasi kepuasan
Namun, berdasarkan data Statista Market Insights, jumlah konsumen dengan cepat. Namun, algoritma yang dipilih
pengguna e-commerce di Indonesia mencapai 178,94 juta untuk tugas tersebut juga harus dapat melakukan tugas
orang pada 2022 dan diproyeksikan akan mencapai 196,47 dengan baik. Maka dari itu, untuk menemukan algoritma

606
JINACS: Volume 06 Nomor 02, 2024
(Journal of Informatics and Computer Science) ISSN : 2686-2220

yang optimal, akan dilakukan perbandingan performa Berikut merupakan berbagai kebutuhan yang dibutuhkan
algoritma Support Vector Machine (SVM) dalam melakukan untuk keberlangsung penelitian ini, yaitu:
tugas klasifikasi emosi pada data ulasan produk pada e- 1) Kebutuhan Perangkat Keras (Hardware)
commerce. Support Vector Machine dipilih karena Perangkat keras yang digunakan dalam penelitian guna
keunggulannya dalam mengatasi data dengan mewujudkan tujuan penelitian yaitu perangkat laptop
dimensionalitas tinggi serta tidak rentan overfitting. sebagai uji coba dengan spesifikasi berikut :
Prosesor : Intel(R) Core(TM) i7-9750H
II. METODE PENELITIAN CPU @ 2.60GHz (12 CPUs), ~2.6GHz
Penelitian ini menggunakan metode Support Vector RAM : 16.00 GB
Machine. Tahapan-tahapan dalam penelitian digambarkan
pada Gbr.1. 2) Kebutuhan Perangkat Lunak (Software)
Sistem Operasi : Windows 10 Enterprise 64-bit
Software : Python
Opera GX 104.0.4944.85

D. Perancangan Sistem
Dalam setiap penelitian, diperlukan perancanaan sistem
yang baik agar misi dan visi penelitian dapat tercapai dengan
baik. Perencanaan sistem ini dapat disajikan dalam berbagai
bentuk, seperti flowchart, tabel, dan sebagainya untuk
mempermudah pembaca memahami cara sistem dalam
penelitian bekerja.
Dalam penelitian ini, sistem yang akan dirancang
digambarkan oleh Gbr. 2, yang terdiri dari perolehan dataset,
pra-pemrosesan dataset, ekstraksi fitur, pembagian data
menjadi data latih dan uji, penyeimbangan dataset, pelatihan
model, pengujian model, dan evaluasi model.

Gbr. 1 Tahapan Metode Penelitian

A. Perolehan Dataset
Masalah yang berusaha diselesaikan dalam penelitian ini
adalah fakta bahwa ulasan pembeli lainnya dapat
mempengaruhi keputusan pembeli lainnya untuk membeli
suatu produk dan mencerminkan level kepuasan pembeli
tersebut terhadap produk. Karena itulah, menggunakan
teknik Natural Language Processing (NLP), bermacam
pengklasifikasi dibuat untuk mencoba memisahkan ulasan
produk dalam e-commerce dengan memperhatikan emosi
dari pembeli tersebut serta mencari algoritma yang lebih
unggul diantara Support Vector Machine (SVM). Penelitian
ini juga merupakan kontribusi dalam bidang Natural
Language Processing (NLP) bahasa Indonesia.

B. Studi Literatur
Studi literatur untuk penelitian yang dilakukan adalah
topik-topik yang terkait dengan e-commerce, emosi, data
mining, text mining, langkah-langkah untuk melakukan
klasifikasi, algoritma Support Vector Machine (SVM),
confusion matrix, dan metrik pengukur performa model.

C. Analisis Kebutuhan Gbr. 2 Tahapan Pembuatan Model Klasifikasi

607
JINACS: Volume 06 Nomor 02, 2024
(Journal of Informatics and Computer Science) ISSN : 2686-2220

Berdasarkan Gbr.2, rincian perancangan sistem adalah

sebagai berikut:

E. Perolehan Dataset
Dataset yang digunakan dalam penelitian ini adalah
dataset dari artikel “PRDECT-ID Indonesian Product
Reviews Dataset for Emotions Classification Tasks” oleh
[13].Dataset ini memiliki 5400 ulasan produk yang tersebar
di 29 kategori dari e-commerce Tokopedia dan telah
dilakukan anotasi emosi oleh seorang ahli psikologi klinis
sehingga siap digunakan untuk tugas klasifikasi emosi.
Rincian dataset digambarkan pada Gbr. 3.

Gbr. 5 Tahapan Pra-Pemrosesan Set Data

Gbr. 3 Rincian Dataset
Proses-proses yang digambarkan pada Gbr. 5 memiliki
Untuk melakukan klasifikasi emosi, tidak semua atribut rincian sebagai berikut:
akan digunakan. Atribut yang digunakan dari dataset tersebut 1) Normalisasi dan Pembersihan Teks:Menyetarakan
adalah atribut ‘Customer Review’ dan ‘Emotion’. ‘Customer istilah-istilah dalam teks agar sederajat dengan
Review’ merupakan atribut yang berisi ulasan produk yang mengubah istilah-istilah menjadi huruf kecil,
diberikan oleh pembeli produk, sedangkan ‘Emotion’ menghapus tanda baca, angka, simbol-simbol tidak
merupakan label emosi yang terdiri dari Anger, Fear, Happy,
relevan, serta spasi ekstra.
Love, dan Sadness. Atribut ‘Customer Review’ akan
2) Tokenisasi: Memilih dan memisahkan unit teks baik
diklasifikasikan menurut atribut ‘Emotion’. Distribusi emosi dalam bentuk satu kata, kumpulan kata, ataupun per
pada dataset dapat dilihat pada Gbr. 4. kalimat.
3) Lematisasi: Menghapus imbuhan istilah-istilah dalam
teks dan memastikan hasil akhirnya adalah bentuk dasar
dari istilah tersebut. Teknik ini bertujuan untuk
mengurangi token unik yang ada dalam dataset.
Proses-proses tersebut hanya akan diberlakukan pada
atribut ‘Customer Review’. Hasil akhir dari proses ini
adalah token teks yang bersih dari tanda baca, angka,
simbol-simbol, dan spasi serta telah berubah ke bentuk awal
token teks tersebut.

G. Ekstraksi Fitur
Setelah dilakukan pra-pemrosesan dataset, fitur-fitur
dalam dataset tersebut akan direpresentasikan dalam bentuk
vektor. Teknik TF-IDF akan digunakan untuk
merepresentasikan atribut ‘Customer Review’ terhadap
keseluruhan dokumen dengan langkah-langkah yang
digambarkan oleh Gbr 6.
Gbr. 4 Distribusi Isi Kelas dalam Set Data

Sebelum diolah lebih lanjut, serangkaian proses akan

dilakukan untuk menyiapkan dataset sehingga
pengembangan model dapat dilakukan.

F. Normalisasi dan Pembersihan Teks

608
JINACS: Volume 06 Nomor 02, 2024
(Journal of Informatics and Computer Science) ISSN : 2686-2220

Sebagaimana yang digambarkan oleh Gbr. 5, distribusi

data dalam dataset tidak merata sehingga dapat
mempengaruhi algoritma klasifikasi untuk bias terhadap
label tertentu. Untuk menanggulangi hal ini, akan dilakukan
penyeimbangan data pada atribut ‘Customer Review’
menggunakan metode resampling pada data latih sebelum
melakukan pelatihan model.

J. Pelatihan Model
Langkah ini lebih jelasnya digambarkan pada Gbr. 7.

Gbr. 6 Tahapan Ekstraksi Fitur

Tahapan ekstraksi fitur menggunakan TF-IDF adalah

sebagai berikut:
1) Menghitung Term Frequency (TF): Menghitung
frekuensi kemunculan suatu istilah atribut
‘Customer Review’ dalam satu dokumen
𝑓𝑖,𝑗
𝑡𝑓𝑖,𝑗 = (1)
∑𝑖∈𝑗 𝑓𝑖,𝑗

Dengan keterangan bahwa i adalah kata, j adalah

dokumen. Frekuensi kata dalam suatu dokumen
tersebut dibagi oleh jumlah kata yang ada dokumen
tersebut.
2) Menghitung frekuensi kemunculan suatu istilah
atribut ‘Customer Review’ dalam keseluruhan
dokument. Hal ini disebut Document Frequency
(DF).
3) Menghitung Inverse Document Frequency suatu
istilah
|𝑁𝑗|
𝐼𝐷𝐹𝑖,𝑗 = log (2)
|𝐷𝐹𝑖,𝑗|

Dimana N adalah keseluruhan kata dalam dokumen

sedangkan 𝐷𝐹𝑖,𝑗 adalah document frequency kata i
dalam dokumen besar j.
4) Menghitung TF-IDF.
Hasil akhir dari proses ini adalah representasi tiap
istilah yang ada pada atribut ‘Customer Review’
dalam bentuk vektor numerik. Nilainya dihitung
dengan mengalikan TF dengan IDF.

H. Pembagian Dataset
Selanjutnya, dataset akan dibagi menjadi sepuluh
kombinasi data latih dan data uji untuk melatih dan
menguji performa kedua algoritma menggunakan
kombinasi-kombinasi data tersebut. Sepuluh kombinasi Gbr. 7 Tahapan Pembuatan Model Klasifikasi
yang dimaksudkan adalah 0.05: 0.95, 0.10:0.90, 0.15:0.85,
Langkah-langkah pelatihan model adalah sebagai berikut:
0.20:0.80, 0.25:0.75, 0.30:0.70, 0.35:0.65, 0.40:0.60,
1) Langkah pertama adalah menyiapkan dataset yang
0.45:0.55, dan 0.50:0.50 dari data yang ada.
akan melalui pra-pemrosesan untuk langkah-langkah
selanjutnya
I. Penyeimbangan Dataset

609
JINACS: Volume 06 Nomor 02, 2024
(Journal of Informatics and Computer Science) ISSN : 2686-2220

2) Selanjutnya, dataset akan melalui berbagai proses

pra-pemrosesan sebelum melalui proses ekstraksi Alhamdulillah berfungsi
alhamdulillah berfungsi
fitur dengan baik packaging
dengan baik. Packaging aman.
aman respon cepat dan
3) Dataset akan melalui proses ekstraksi fitur Respon cepat dan ramah.
ramah seller dan kurir
4) Selanjutnya, dataset akan dibagi menjadi data latih Seller dan kurir amanah
amanah
dan data uji. Data latih digunakan untuk melatih
algoritma, sedangkan data uji digunakan untuk
menguji ketepatan algoritma dalam melakukan Ini pembelian ke 5 krupuknya
ini pembelian ke
klasifikasi krupuknya mantap
mantap, pengirimannya cepat
pengirimannya cepat dan
5) Langkah selanjutnya adalah penyeimbangan data. dan tidak ada yang rusak.
tidak ada yang rusak
Akan terdapat dua data yang akan digunakan oleh Terima kasih kepada penjual
terima kasih kepada
dan kurir sicepat
algoritma, data dengan jumlah data yang seimbang penjual dan kurir sicepat
diantara kelas dan data dengan jumlah yang tidak
seimbang. Langkah ini dilakukan untuk
TABEL II
mengeksplorasi performa algoritma dalam HASIL TOKENISASI TEKS
melakukan klasifikasi dataset tersebut.
6) Dataset kemudian akan dilakukan untuk melatih Data Normalisasi Hasil Tokenisasi
alhamdulillah berfungsi [ 'alhamdulillah', 'berfungsi',
algoritma. Support Vector Machine memiliki alur dengan baik packaging 'dengan', 'baik', 'packaging',
kerja sebagai berikut: aman respon cepat dan 'aman', 'respon', 'cepat', 'dan',
1. Langkah pertama adalah menyiapkan dataset hasil ramah seller dan kurir 'ramah', 'seller', 'dan', 'kurir',
pra-pemrosesan untuk digunakan sebagai bahan amanah 'amanah']
['ini', 'pembelian', 'ke',
pelatihan SVM. ini pembelian ke
'krupuknya', 'mantap',
2. Langkah selanjutnya adalah untuk memilih kernel krupuknya mantap
'pengirimannya', 'cepat', 'dan',
pengirimannya cepat dan
dan parameter yang sesuai untuk merepresentasikan tidak ada yang rusak
'tidak', 'ada', 'yang', 'rusak',
dataset ke ruang fitur dan melakukan klasifikasi. 'terima', 'kasih', 'kepada',
terima kasih kepada
'penjual', 'dan', 'kurir',
3. Dengan bantuan trik kernel, SVM penjual dan kurir sicepat
'sicepat']
merepresentasikan fitur dari dataset ke ruang fitur.
4. SVM berusaha menemukan ruang yang paling TABEL III
UKURAN HASIL LEMATISASI TEKS
sesuai untuk memisahkan data pada masing-masing
kelas.
5. Setelah ruang tersebut ditemukan, SVM membuat Data Tokenisasi Hasil Lematisasi
batas non-linear pada dimensi rendah sebagai akhir [ 'alhamdulillah',
dari klasifikasi. [ 'alhamdulillah', 'fungsi',
'berfungsi', 'dengan',
'dengan', 'baik', 'packaging',
'baik', 'packaging', 'aman',
'aman', 'respon', 'cepat', 'dan',
K. Evaluasi Model 'respon', 'cepat', 'dan',
'ramah', 'seller', 'dan', 'kurir',
'ramah', 'seller', 'dan',
Setelah melakukan pelatihan kedua algoritma, performa 'kurir', 'amanah']
'amanah' ]
tiap algoritma akan dievaluasi Performa model akan ['ini', 'pembelian', 'ke',
dievaluasi untuk melihat nilai-nilai dalam confusion matrix, 'krupuknya', 'mantap', ['ini', 'beli', 'ke', 'krupuknya',
yaitu accuracy, precision, recall, dan f1-score. Evaluasi 'pengirimannya', 'cepat', 'mantap', 'kirim', 'cepat', 'dan',
model akan dilakukan dengan membagi dataset menjadi 'dan', 'tidak', 'ada', 'yang', 'tidak', 'ada', 'yang', 'rusak',
'rusak', 'terima', 'kasih', 'terima', 'kasih', 'kepada', 'jual',
sepuluh bagian dan mengevaluasi model masing-masing 'kepada', 'penjual', 'dan', 'dan', 'kurir', 'sicepat']
untuk menemukan model dengan performa yang terbaik. 'kurir', 'sicepat']

III. HASIL DAN PEMBAHASAN

3) Ekstraksi Fitur: mengubah kata menjadi vektor di
A. Implementasi ruang dimensi tinggi. Teknik ini diperlihatkan
1) Pengambilan dataset: dari keseluruhan dataset, prosesnya oleh Tabel IV, V, VI, VII, dan VIII.
diambil kolom ’Customer Review’ dan ’Emotion’.
TABEL IV
2) Pra-pemrosesan Dataset: Dilakukan normalisasi dan CONTOH DATA PRA-PEMROSESAN
pembersihan teks, tokenisasi, serta lematisasi pada
dataset. Pra-pemrosesan ditunjukkan oleh Tabel I, II, Data Mentah Data Olah
dan III. ['barang', 'bagus',
barang bagus, berfungsi
'fungsi', 'dengan', 'baik',
TABEL I D1 dengan baik, seler ramah,
'seler', 'ramah', 'kirim',
pengiriman cepat
UKURAN FONT UNTUK MAKALAH 'cepat']
['bagus', 'suai', 'harap',
bagus sesuai harapan
Data Mentah Hasil Konversi 'jual', 'nya', 'juga',
D2 penjual nya juga ramah.
'ramah', 'trimakasih',
trimakasih pelapak ??
'pelapak']

610
JINACS: Volume 06 Nomor 02, 2024
(Journal of Informatics and Computer Science) ISSN : 2686-2220

Saing 0 0 0,1
['barang', 'bagus', 'dan', Yg 0 0 0,1
barang bagus dan respon Lain 0 0 0,1
'respon', 'cepat', 'harga',
D3 cepat, harga bersaing
'saing', 'dengan', 'yg',
dengan yg lain.
'lain'] 𝑓𝑖,𝑗
𝑡𝑓𝑖,𝑗 = (3)
∑𝑖∈𝑗 𝑓𝑖,𝑗
TABEL V
HASIL PERHITUNGAN TERM-FREQUENCY 1
Dengan keterangan bahwa i adalah kata, j adalah
Term Frequency (TF) dokumen. Frekuensi kata dalam suatu dokumen
Kata
D1 D2 D3 tersebut dibagi oleh jumlah kata yang ada dokumen
Barang 1 0 1 tersebut
Bagus 1 1 1 TABEL VII
HASIL PERHITUNGAN DOCUMENT-FREQIUENCY
Fungsi 1 0 0
Dengan 1 0 1 Term Frequency (TF) Document
Baik 1 0 0 Kata Frequency
D1 D2 D3
(DF)
Seler 1 0 0 Barang 0,11 0 0,1 2
Ramah 1 1 0 Bagus 0,11 0,11 0,1 3
Kirim 1 0 0 Fungsi 0,11 0 0 1
Dengan 0,11 0 0,1 2
Cepat 1 0 1 Baik 0,11 0 0 1
Suai 0 1 0 Seler 0,11 0 0 1
Ramah 0,11 0,11 0 2
Harap 0 1 0
Kirim 0,11 0 0 1
Jual 0 1 0 Cepat 0,11 0 0,1 2
Nya 0 1 0 Suai 0 0,11 0 1
Harap 0 0,11 0 1
Juga 0 1 0
Jual 0 0,11 0 1
Trimakasih 0 1 0 Nya 0 0,11 0 1
Pelapak 0 1 0 Juga 0 0,11 0 1
Trimakasih 0 0,11 0 1
Dan 0 0 1
Pelapak 0 0,11 0 1
Respon 0 0 1 Dan 0 0 0,1 1
Harga 0 0 1 Respon 0 0 0,1 1
Harga 0 0 0,1 1
Saing 0 0 1 Saing 0 0 0,1 1
Yg 0 0 1 Yg 0 0 0,1 1
Lain 0 0 1 Lain 0 0 0,1 1

|𝑁𝑗|
TABEL VI 𝐼𝐷𝐹𝑖,𝑗 = log (2)
HASIL PERHIITUNGAN TERM-FREQUENCY 2 |𝐷𝐹𝑖,𝑗|
Term Frequency (TF) Dimana N adalah keseluruhan kata dalam dokumen
Kata D1 D2 D3 sedangkan 𝐷𝐹𝑖,𝑗 adalah document frequency kata i
Barang 0,11 0 0,1 dalam dokumen besar j.
Bagus 0,11 0,11 0,1
Fungsi 0,11 0 0 TABEL VIII
Dengan 0,11 0 0,1 HASIL PERHITUNGAN INVERSE DOCUMENT-FREQUENCY
Baik 0,11 0 0
Seler 0,11 0 0 TF
Kata DF IDF
Ramah 0,11 0,11 0 D1 D2 D3
Kirim 0,11 0 0
Barang 0,11 0 0,1 2 0,176
Cepat 0,11 0 0,1
Suai 0 0,11 0 Bagus 0,11 0,11 0,1 3 0
Harap 0 0,11 0 Fungsi 0,11 0 0 1 0,477
Jual 0 0,11 0
Dengan 0,11 0 0,1 2 0,176
Nya 0 0,11 0
Juga 0 0,11 0 Baik 0,11 0 0 1 0,477
Trimakasih 0 0,11 0 Seler 0,11 0 0 1 0,477
Pelapak 0 0,11 0
Ramah 0,11 0,11 0 2 0,176
Dan 0 0 0,1
Respon 0 0 0,1 Kirim 0,11 0 0 1 0,477
Harga 0 0 0,1 Cepat 0,11 0 0,1 2 0,176

611
JINACS: Volume 06 Nomor 02, 2024
(Journal of Informatics and Computer Science) ISSN : 2686-2220

Suai 0 0,11 0 1 0,477 Untuk mengatasi hal ini, digunakan teknik resampling
Harap 0 0,11 0 1 0,477 yaitu oversampling. Oversampling yang digunakan
Jual 0 0,11 0 1 0,477 adalah Random Oversampling. Teknik ini mengisi
kelas minoritas lainnya secara acak.
Nya 0 0,11 0 1 0,477
6) Pelatihan Model SVM tanpa resampling: keempat trik
Juga 0 0,11 0 1 0,477
kernel SVM digunakan untuk membandingkan
Trimakasih 0 0,11 0 1 0,477 performa, yaitu linear, poly, rbf, dan sigmoid.
Selain linear, ketiga kernel lainnya menggunakan trik
Pelapak 0 0,11 0 1 0,477 kernel untuk memetakan vektor dataset ke ruang fitur.
Dan 0 0 0,1 1 0,477 Sebelum pelatihan, tidak dilakukan resampling
Respon 0 0 0,1 1 0,477 dataset.
Harga 0 0 0,1 1 0,477
7) Pelatihan Model SVM dengan resampling: keempat
trik kernel SVM digunakan untuk membandingkan
Saing 0 0 0,1 1 0,477
performa, yaitu linear, poly, rbf, dan sigmoid.
Yg 0 0 0,1 1 0,477 Sebelum pelatihan, dilakukan resampling dataset.
Lain 0 0 0,1 1 0,477 Selain linear, ketiga kernel lainnya menggunakan trik
kernel untuk memetakan vektor dataset ke ruang fitur.
Setelah nilai Inverse Document Frequency (IDF) telah Sebelum pelatihan, dilakukan resampling dataset.
ditemukan, nilai tersebut dikalikan dengan Term B. Evaluasi Model
Frequency (TF) untuk membuat nilai Term 1) Support Vector Machine tanpa resampling
Frequency-Inverse Document Frequency (TF-IDF). TABEL X
Hasinya dapat dilihat pada Tabel IX. SVM LINEAR TANPA RESAMPLING
TABEL IX F1-
HASIL PERHITUNGAN TERM FREQUENCY-INVERSE DOCUMENT Uji:Latih Accuracy Precision Recall Score
FREQUENCY
95:5 66.30 65.62 61.88 62.72
TF-IDF 90:10 64.81 64.20 59.38 60.37
Kata D1 D2 D3 85:15 62.35 60.99 56.96 57.84
Barang 0,01936 0 0,0176 80:20 62.22 60.33 56.30 57.00
Bagus 0 0 0 75:25 62.37 60.60 56.71 57.47
Fungsi 0,05247 0 0 70:30 62.35 60.65 56.88 57.65
Dengan 0,01936 0 0,0176 65:35 62.54 60.75 56.88 57.65
Baik 0,05247 0 0
60:40 62.18 60.24 56.21 57.02
Seler 0,05247 0 0
Ramah 0,01936 0,01936 0 55:45 60.66 58.18 54.91 55.60
Kirim 0,05247 0 0 50:50 60.30 58.06 54.09 54.82
Cepat 0,01936 0 0,0176
Suai 0 0,05247 0 Tabel X menggambarkan hasil evaluasi SVM kernel
Harap 0 0,05247 0
linear. Pada baris pertama, 95 data latih digunakan untuk
Jual 0 0,05247 0
Nya 0 0,05247 0 melatih algoritma dan 5 data digunakan untuk menguji
Juga 0 0,05247 0 performa model. Menurut tabel tersebut, nilai accuracy,
Trimakasih 0 0,05247 0 precision, recall, dan f1-score konsisten menurun seiring
Pelapak 0 0,05247 0 menurunnya data latih yang digunakan untuk melatih
Dan 0 0 0,0477 algoritma dan menaiknya data uji yang digunakan untuk
Respon 0 0 0,0477
Harga 0 0 0,0477
mengevaluasi model. Dari tabel ini, model terbaik dicapai
Saing 0 0 0,0477 oleh baris pertama, model dengan 95 data latih dan 5 data
Yg 0 0 0,0477 uji dengan nilai accuracy 66,30, nilai precision 65,62,
Lain 0 0 0,0477 nilai recall 61,88, dan nilai f1-score 62,72.
TABEL XI
SVM POLYNOMIAL TANPA RESAMPLING
2) Pembagian Dataset: melakukan pembagian pasangan
F1-
data untuk menemukan dimanakah keoptimalan Uji:Latih Accuracy Precision Recall
Score
algoritma untuk melakukan klasifikasi dengan 95:5 54.07 59.93 42.64 37.51
menggunakan pasangan data tersebut. Pasangan data 90:10 53.33 58.51 41.78 35.02
yang dimaksudkan adalah 0.05: 0.95, 0.10:0.90, 85:15 51.98 55.98 40.37 33.83
0.15:0.85, 0.20:0.80, 0.25:0.75, 0.30:0.70, 0.35:0.65, 80:20 52.22 55.83 40.16 33.09
0.40:0.60, 0.45:0.55, dan 0.50:0.50 dari data yang ada. 75:25 51.04 56.74 39.41 31.67
70:30 50.99 56.63 39.34 31.86
5) Melakukan resampling: datsaet yang tidak seimbang 65:35 50.16 55.67 37.98 30.70
dapat menyebabkan bias pada algoritma yang dipilih. 60:40 50.88 54.83 38.32 31.04

612
JINACS: Volume 06 Nomor 02, 2024
(Journal of Informatics and Computer Science) ISSN : 2686-2220

55:45 49.75 54.55 37.08 30.79

50:50 47.19 55.20 34.54 28.68
2) Support Vector Machine dengan resampling
TABEL XIV
Tabel XI menggambarkan hasil evaluasi SVM kernel SVM LINEAR DENGAN RESAMPLING
polynomial. Menurut tabel tersebut, nilai accuracy,
precision, recall, dan f1-score konsisten menurun seiring F1-
Uji:Latih Accuracy Precision Recall Score
menurunnya data latih yang digunakan untuk melatih
5:95 64.44 62.51 61.97 62.04
algoritma dan menaiknya data uji yang digunakan untuk 10:90 63.33 60.76 60.31 60.39
mengevaluasi model. Dari tabel ini, model terbaik dicapai 15:85 61.73 59.16 58.89 58.80
oleh baris pertama, model dengan 95 data latih dan 5 data 20:80 60.56 57.59 57.44 57.11
uji dengan nilai accuracy 54,07, nilai precision 59,9, nilai 25:75 62.96 59.91 59.86 59.73
recall 42,64, dan nilai f-score 37,51. 30:70 62.35 59.35 58.89 58.90
35:65 62.28 58.96 59.16 58.97
TABEL XII 40:60 61.76 58.83 58.95 58.66
SVM RBF TANPA RESAMPLING 45:55 60.58 57.42 57.18 57.14
50:50 61.00 57.97 57.49 57.59
F1-
Uji:Latih Accuracy Precision Recall Score
95:5 65.19 67.25 59.36 59.61 Tabel XIV menggambarkan hasil evaluasi SVM kernel
90:10 62.96 63.32 56.02 56.44 linear. Menurut tabel tersebut, nilai accuracy, precision,
85:15 59.63 59.56 52.10 52.37 recall, dan f1-score konsisten menurun seiring
80:20 61.11 61.40 52.99 53.16 menurunnya data latih yang digunakan untuk melatih
75:25 60.00 61.55 52.16 52.38
70:30 60.19 61.59 52.31 52.42 algoritma dan menaiknya data uji yang digunakan untuk
65:35 60.48 61.42 52.32 52.48 mengevaluasi model. Dari tabel ini, model terbaik dicapai
60:40 60.05 60.42 51.38 51.31 oleh baris pertama, model dengan 9 data latih dan data uji
55:45 59.22 59.50 50.54 50.65 dengan nilai accuracy 64,44 , nilai precision 62,51, nilai
50:50 58.22 58.44 48.95 48.53 recall 61,97 , dan nilai f-score 62,04
TABEL XV
Tabel XII menggambarkan hasil evaluasi SVM kernel SVM POLYNOMIAL DENGAN RESAMPLING
RBF. Menurut tabel tersebut, nilai accuracy, precision,
recall, dan f1-score konsisten menurun seiring F1-
menurunnya data latih yang digunakan untuk melatih Uji:Latih Accuracy Precision Recall
Score
algoritma dan menaiknya data uji yang digunakan untuk 5:95 51.85 57.88 42.58 37.78
mengevaluasi model. Dari tabel ini, model terbaik dicapai 10:90 52.41 56.10 42.15 38.52
oleh baris pertama, model dengan 95 data latih dan 5 data 15:85 52.59 54.24 40.77 36.25
uji dengan nilai accuracy 65,19, nilai precision 67,25, 20:80 53.52 52.62 40.52 36.76
nilai recall 59,36%, dan nilai f-score 69,61 25:75 54.30 55.70 41.63 38.28
TABEL XIII 30:70 53.09 54.00 40.50 36.37
SVM SIGMOID TANPA RESAMPLING 35:65 53.92 57.46 40.99 37.26
F1- 40:60 53.15 56.16 40.23 36.87
Uji:Latih Accuracy Precision Recall Score 45:55 51.73 54.99 38.76 34.86
95:5 66.30 66.00 62.12 62.91
50:50 50.93 53.30 37.70 33.66
90:10 64.07 63.20 58.37 59.20
85:15 61.23 59.58 55.42 56.18
80:20 61.67 59.54 55.48 56.11 Tabel XV menggambarkan hasil evaluasi SVM kernel
75:25 61.63 60.08 56.16 56.94 polynomial. Menurut tabel tersebut, nilai tertinggi
70:30 62.10 60.24 56.50 57.18 accuracy, precision, recall, dan f1-score ada pada model
65:35 62.28 60.76 56.53 57.34
60:40 61.76 59.75 55.70 56.42
yang berbeda-beda. Accuracy tertinggi pada 25:75,
55:45 60.86 58.32 54.90 55.56 precision pada 95:5, recall pada 95:5, dan f1-score pada
50:50 60.41 58.16 53.95 54.62 10:90
TABEL XVI
SVM RBF DENGAN RESAMPLING
Tabel XIII menggambarkan hasil evaluasi SVM kernel
Sigmoid. Menurut tabel tersebut, nilai accuracy, F1-
Uji:Latih Accuracy Precision Recall
precision, recall, dan f1-score konsisten menurun seiring Score
menurunnya data latih yang digunakan untuk melatih 5:95 65.19 64.46 61.16 61.39
algoritma dan menaiknya data uji yang digunakan untuk 10:90 64.07 62.62 59.45 59.66
mengevaluasi model. Dari tabel ini, model terbaik dicapai 15:85 62.35 59.94 57.10 57.35
oleh baris pertama, model dengan 95 data latih dan 5 data 20:80 63.52 60.69 57.66 57.81
uji dengan nilai accuracy 66,30, nilai precision 66, nilai 25:75 63.11 60.58 57.11 57.74
recall 62,12, dan nilai f-score 62,91

613
JINACS: Volume 06 Nomor 02, 2024
(Journal of Informatics and Computer Science) ISSN : 2686-2220

30:70 62.35 59.97 56.51 56.90 Melihat Tabel XVIII, model yang melakukan performa
35:65 63.60 60.87 57.71 58.39 klasifikasi terbaik secara keseluruhan dalam kasus ini adalah
40:60 63.29 60.84 57.73 58.48 SVM sigmoid dengan nilai accuracy, precision, recall, dan
45:55 63.33 61.23 57.43 58.15 f1-score, 66.30, 66.00, 62.12, dan 62.91 pada rasio data latih
50:50 62.70 61.16 56.55 57.37 dan uji 95:5.

Tabel XVI menggambarkan hasil evaluasi SVM kernel rbf. Nilai terdekat dengan model SVM sigmoid adalah model
Menurut tabel tersebut, nilai accuracy, precision, recall, SVM linear, dengan nilai accuracy yang sama, selisih nilai
dan f1-score sempat menurun dan stabil naik turun dari precision 0,39 dengan SVM sigmoid bernilai 66 dan nilai
data latih 85 dan 50. Hasil evaluasi tertinggi dicapai oleh SVM linear 65,62, selisih nilai recall 0,24 dengan SVM
data latih 95 dan data uji 5 dengan nilai accuracy 65,19 %, sigmoid bernilai 62,12 dan SVM linear bernilai 61,99, serta
nilai precision 64,46, nilai recall 61,16, dan nilai f-score selisih nilai f1-score 0,2 dengan SVM sigmoid bernilai 62,19
61,39 dan SVM linear 62,72.
TABEL XVII TABEL XIX
SVM SIGMOID DENGAN RESAMPLING PERBANDINGAN PERFORMA MODEL-MODEL DENGAN DATA RESAMPLING

F1- Rasi
Uji:Latih Accuracy Precision Recall
F1- Jenis Accurac Precis
Score Recall Scor o
Algoritma y ion
e Data
5:95 61.85 60.10 59.76 59.62
Linear 64.44 62.51 61.97 62.04 5:95
10:90 62.22 59.32 59.31 59.23 Polyno
54.30 55.70 41.63 38.28 25:75
15:85 61.60 59.32 59.21 58.99 SV mial
20:80 59.54 56.96 57.16 56.44 M RBF 65.19 64.46 61.16 61.39 5:95
25:75 62.22 59.22 60.06 59.36 Sigmoi
62.22 59.22 60.06 59.36 25:75
d
30:70 61.79 58.85 58.97 58.71
35:65 61.32 58.43 59.15 58.47
Tabel XIX membandingkan nilai hasil evaluasi klasifikasi
40:60 60.93 58.34 58.86 58.13
model dilatih oleh data yang telah di-resample. Dari
45:55 60.62 57.73 58.22 57.70 keseluruhan model, tidak ada model yang memiliki nilai
50:50 60.37 57.42 57.52 57.26 evaluasi tertinggi secara keseluruhan. SVM rbf memiliki nilai
tertinggi dalam accuracy dan precision, yaitu 65,19 dan
Tabel XVII menggambarkan hasil evaluasi SVM kernel 64,46, namun SVM linear memiliki nilai tertinggi dalam
sigmoid. Menurut tabel tersebut, nilai accurary sempat recall dan f1-score, yaitu 61,97 dan 62,04. Kedua model ini
naik turun di angka 61-59. Accuracy tertinggi dicapai oleh memiliki nilai yang saling menyaingi. Terdapat selisih
model 10:90 dan 25:75. Precision stabil menurun dari accuracy 0,75, dengan SVM rbf bernilai 65,19 dan SVM
model dengan data latih tertinggi. Nilai recall tertinggi linear bernilai 64,44, selisih precision 1,95 dengan SVM rbf
ada pada model 25:65. F1-score tidak stabil di semua bernilai 64,46 dan SVM linear bernilai 62,51, selisih recall
jenis model dan mencapai nilai tertinggi pada 5:95. 0,81 dengan SVM linear bernilai 62,04 dan SVM rbf bernilai
61,16, serta selisih f1-score 0,65 dengan SVM linear bernilai
Dari kompilasi hasil evaluasi model-model di atas,Tabel 62,04 dan SVM rbf bernilai 61,39.
XVIII menunjukkan nilai-nilai terbaik dari masing-
masing jenis model yang dilatih dengan data yang tidak Setelah menampilkan nilai hasil evaluasi tiap algoritma dan
di resample. jenisnya secara terpisah, yaitu baik dengan pelatihan model
TABEL XVIII yang menggunakan dataset tanpa resampling atau pelatihan
PERBANDINGAN PERFORMA MODEL-MODEL TANPA DATA RESAMPLING model menggunakan dataset dengan resampling, Tabel
XXVI menampilkan kompilasi nilai hasil evaluasi model dari
Jenis Accur Precis F1- Rasio
Recall seluruh jenis algoritma dan jenis-jenisnya untuk melakukan
Algoritma acy ion Score Data
klasifikasi dalam kedua skenario.
Linear 66.30 65.62 61.88 62.72 5:95 TABEL XX
PERBANDINGAN PERFORMA KESELURUHAN JENIS MODEL
Polyno
mial
54.07 59.93 42.64 37.51 5:95 F1- Rasi
Accurac Precisio Recal o
SVM Jenis Algoritma Scor
y n l Data
e
RBF 65.19 67.25 59.36 59.61 5:95
Linear 66,30 65.62 61.88 62.72 5:95
Sigmoi
66.30 66.00 62.12 62.91 5:95 SV
d Linear
M
Resamplin 64.44 62.51 61.97 62.04 5:95
g

614
JINACS: Volume 06 Nomor 02, 2024
(Journal of Informatics and Computer Science) ISSN : 2686-2220

Polynomi
54.07 59.93 42.64 37.51 5:95
al
Polynomi
al
54.30 57.88 42.58 38.52 -
Resamplin
g

RBF 65.19 67.25 59.36 59.61 5:95

RBF
Resamplin 65.19 64.46 61.16 61.39 5:95
g

Sigmoid 66.30 66.00 62.12 62.91 5:95

Sigmoid
Resamplin 62.22 60.10 60.06 59.62 -
g Gbr. 8 Perbandingan Nilai Evaluasi Model SVM Linear

Menurut Tabel XX, dari keseluruhan model yang ada, nilai

tertinggi untuk accuracy adalah SVM kernel Sigmoid dan
Linear, dengan nilai 66,3. Nilai terbesar precision adalah
oleh SVM kernel RBF, dengan nilai 67,25. Nilai terbesar
recall adalah olejh SVM kernel Sigmoi dengan nilai 62,12.
Dan nilai terbesar untuk F1-Score adalah SVM kernel
Sigmoid, dengan nilai 62,1. SVM memiliki performa baik
dalam penlitian ini, kecuali untuk model SVM Polynomial.
Model SVM Polynomial baik dengan data resampling,
memiliki nilai yang menduduki posisi terendah ketiga. SVM
Polynomial tanpa data resampling menduduki posisi
terendah ketiga dalam accuracy dan f1-score, sedangkan
model SVM Polynomial dengan data resampling menduduki
Gbr. 9 Perbandingan Nilai Evaluasi Model SVM Polynomial
posisi terendah ketiga pada precision dan recall.

Menurut Tabel XX, melakukan data resample tidak memiliki

efek yang signifikan pada hampir semua model. Pada model-
model SVM Linear, accuracy-nya menurun 1,86, precision
turun 3,11, nilai recall naik 0,09, dan nilai f1-score turun 0,74.
Pada model SVM Polynomial, nilai accuracy menurun 0,23,
nilai precision menurun 2,05, nilai recall menurun 0,06, dan
nilai f1-score naik 0,74. Pada model SVM RBF, nilai
accuracy tetap, precision menurun 2,79, nilai recall naik 1,8,
dan nilai f1-score naik. Terakhir, pada SVM Sigmoid, nilai
accuracy menurun 4,08, nilai precision naik 0,1, nilai recall
menurun 2,06, dan nilai f1-score menurun 2,57.

Gbr. 10 Perbandingan Nilai Evaluasi Model SVM RBF

615
JINACS: Volume 06 Nomor 02, 2024
(Journal of Informatics and Computer Science) ISSN : 2686-2220

[6] C. E. Joergensen Munthe, N. Astuti Hasibuan, and H. Hutabarat,

“Penerapan Algoritma Text Mining Dan TF-RF Dalam
Menentukan Promo Produk Pada Marketplace,” RESOLUSI:
Rekayasa Teknik Informatika dan Informasi , vol. 2, no. 3, pp.
110–115, 2022, [Online]. Available:
[Link]
[7] L. J. Zheng, J. Mountstephens, and J. Teo, “Four-class emotion
classification in virtual reality using pupillometry,” J Big Data, vol.
7, no. 1, Dec. 2020, doi: 10.1186/s40537-020-00322-9.
[8] J. Hartmann, J. Huppertz, C. Schamp, and M. Heitmann,
“Comparing automated text classification methods,” International
Journal of Research in Marketing, vol. 36, no. 1, pp. 20–38, Mar.
2019, doi: 10.1016/[Link].2018.09.009.
[9] E. Leopold, “Text Categorization with Support Vector Machines.
How to Represent Texts in Input Space?,” 2002.
[10] O. Arifin and T. B. Sasongko, “ANALISA PERBANDINGAN
TINGKAT PERFORMANSI METODE SUPPORT VECTOR
MACHINE DAN NAïVE BAYES CLASSIFIER UNTUK
Gbr. 11 Perbandingan Nilai Evaluasi Model SVM Sigmoid KLASIFIKASI JALUR MINAT SMA,” in Seminar Nasional
Teknologi Informasi dan Multimedia 2018, 2018, pp. 67–72.
IV. KESIMPULAN [11] N. P. Damayanti, D. E. Prameswari, W. Puspita, and P. S. Sundari,
“Classification of Hate Comments on Twitter Using a
Model klasifikasi emosi berbasis teks dibangun melalui Combination of Logistic Regression and Support Vector Machine
Algorithm,” Journal of Information System Exploration and
berbagai macam metode. Langkah pertama adalah untuk
Research, vol. 2, no. 1, Jan. 2024, doi: 10.52465/joiser.v2i1.229.
melakukan normalisasi dan pembersihan teks, yaitu [12] A. Wibowo Haryanto and E. Kholid Mawardi, “Influence of Word
penghapusan tanda baca, simbol, angka, dan mengecilkan Normalization and Chi-squared Feature Selection on Support
huruf. Selanjutnya dilakukan tokenisasi untuk mencacah Vector Machine (SVM) Text Classification.”
[13] R. Sutoyo, S. Achmad, A. Chowanda, E. Widhi Andangsari, and
kalimat menjadi kata. Terakhir adalah melakukan lematisasi S. M. Isa, “PRDECT-ID Indonesian Product Reviews Dataset for
yaitu pengembalian kata menjadi bentuk bakunya. Langkah Emotions Classification Tasks,” Data Brief, vol. 44, 2022, doi:
selanjutnya adalah untuk mengekstrak fitur dari kata-kata 10.17632/574v66hf2v.1.
tersebut dengan mengubah kata-kata menjadi vektor di ruang
fitur menggunakan TF-IDF. Lalu, dataset dibagi menjadi
sepuluh pasang data latih dan uji untuk mengevaluasi
performa algoritma.

Sepuluh pasang data ini dibagi kembali dengan melakukan

resampling di salah satu set. Dengan ini, 2 jenis set data dan
20 hasil klasifikasi dari satu jenis algoritma. Setelah pelatihan,
kedua algoritma dievaluasi menggunakan
precision_recall_fscore_support dan accuracy_score.

Secara keseluruhan, model SVM sigmoid mencapai nilai

terbesar di keempat nilai evaluasi model dengan accuracy
66,3%, precision 66%, recall 62,12%, dan f1-score 62,92%.

REFERENSI
[1] M. Pradana, “KLASIFIKASI JENIS-JENIS BISNIS E-
COMMERCE DI INDONESIA,” Neo-bis, vol. 9, no. 2, 2015.
[2] M. S. Ullal, C. Spulbar, I. T. Hawaldar, V. Popescu, and R. Birau,
“The Impact of Online Reviews on E-commerce Sales in India: a
Case Study,” Economic Research-Ekonomska Istrazivanja , vol.
34, no. 1, pp. 2408–2422, 2021, doi:
10.1080/1331677X.2020.1865179.
[3] C. Changchit and T. Klaus, “Determinants and Impact of Online
Reviews on Product Satisfaction,” Journal of Internet Commerce,
vol. 19, no. 1, pp. 82–102, Jan. 2020, doi:
10.1080/15332861.2019.1672135.
[4] R. Mustajab, “Pengguna E-Commerce RI Diproyeksi Capai
196,47 Juta pada 2023 - Dataindonesia,” [Link].
[5] G. Schuh et al., “Data mining definitions and applications for the
management of production complexity,” in 52nd CIRP
Conference on Manufacturing Systems, Elsevier B.V., 2019, pp.
874–879. doi: 10.1016/[Link].2019.03.217.

616