Fine-Tuning Model Berbasis Transformer untuk Optimalisasi Text

Summarization dan Machine Translation Berbahasa Indonesia: Studi Kasus

PEGASUS, T5, dan Komodo-7B

Proposal Skripsi

oleh

Muhamad Irkham Khudzifa Al Rody

4111420026

PROGRAM STUDI MATEMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS NEGERI SEMARANG
2024
 1

BAB I
PENDAHULUAN
1.1 Latar Belakang
Perkembangan teknologi digital telah menciptakan era baru di mana
informasi dapat diakses dengan cepat dan dalam jumlah yang sangat besar. Setiap
hari, jutaan hingga milyaran teks dihasilkan dari berbagai sumber seperti situs
berita, jurnal ilmiah, blog, dan media sosial. Keberlimpahan informasi ini menjadi
tantangan karena manusia memiliki keterbatasan dalam memproses dan memahami
teks dalam jumlah besar secara efisien. Kondisi ini menimbulkan kebutuhan yang
mendesak akan teknik otomatis yang dapat membantu menyederhanakan dan
memahami informasi yang kompleks. Dhanda & Gupta (2024) mengemukakan
bahwa "peningkatan eksponensial dalam volume data digital telah meningkatkan
kebutuhan akan metode yang mampu merangkum dan mengekstraksi informasi
penting dari sumber-sumber data berlimpah" . Dalam konteks tersebut, kemampuan
untuk meringkas informasi menjadi keterampilan penting dalam era big data.
Selain itu, kemampuan untuk menyaring informasi yang relevan dari
sekumpulan data besar menjadi semakin kritis dalam berbagai bidang seperti
pendidikan, bisnis, kesehatan, dan pemerintahan. Syed et al. (2021) menekankan
bahwa "individu dan organisasi semakin bergantung pada teknik otomatis seperti
text summarization untuk memahami informasi secara efisien" . Tanpa teknik yang
efektif untuk menyederhanakan dan memahami teks, ledakan informasi ini dapat
menjadi penghalang dalam pengambilan keputusan yang cepat dan akurat.
Text summarization menjadi solusi penting untuk mengatasi tantangan
informasi yang berlebihan. Teknik ini memungkinkan komputer untuk secara
otomatis menyederhanakan teks panjang menjadi ringkasan yang padat dan
informatif tanpa kehilangan esensi utama. Hal ini tidak hanya membantu dalam
menghemat waktu pembaca, tetapi juga meningkatkan efisiensi dalam memahami
konten yang kompleks. Syed et al. (2021) menyoroti bahwa “text summarization
sangat relevan dalam membantu pengguna memahami esensi informasi yang
berlebihan dalam waktu singkat”. Dalam konteks dunia modern yang dipenuhi
dengan informasi, kemampuan ini menjadi krusial dalam mendukung proses
pengambilan keputusan.

1
 2

Selain menyederhanakan teks, machine translation (MT) menjadi semakin

penting dalam memungkinkan akses terhadap informasi lintas bahasa di era
globalisasi. Dengan dunia yang semakin terhubung, kebutuhan untuk
menerjemahkan dokumen dari satu bahasa ke bahasa lain menjadi semakin kritis.
Gupta et al. (2022) menjelaskan bahwa “machine translation memainkan peran
penting dalam memfasilitasi komunikasi lintas budaya dan memungkinkan akses
terhadap informasi yang luas dalam berbagai bahasa” . Dengan machine
translation, informasi dapat diakses oleh orang-orang yang berbicara bahasa
berbeda, memperluas jangkauan pengetahuan dan pemahaman.
Perkembangan kecerdasan buatan (Artificial Intelligence/AI) telah
membuka jalan bagi teknologi yang dapat mengotomatisasi dan meningkatkan
kemampuan manusia dalam berbagai tugas. AI tidak hanya mampu menyelesaikan
tugas-tugas yang sebelumnya membutuhkan waktu dan tenaga, tetapi juga mampu
melakukannya dengan tingkat akurasi yang tinggi. Dalam konteks ini, AI telah
menjadi alat penting dalam membantu menyederhanakan dan meringkas informasi,
serta menerjemahkan teks antarbahasa. Ringshia et al. (2022) menyatakan bahwa
"AI telah memfasilitasi berbagai inovasi dalam menyelesaikan masalah komputasi
kompleks, termasuk pemrosesan bahasa alami, machine translation, dan text
summarization" .
Era AI juga telah mendorong perkembangan aplikasi yang dapat
beradaptasi dan belajar dari data, memungkinkan mesin untuk memahami dan
memproses bahasa manusia dengan cara yang lebih alami. Ini membuat AI semakin
relevan dalam menyelesaikan masalah dunia nyata, termasuk pengolahan informasi
digital yang berlebihan dan penyampaian informasi dalam berbagai bahasa. Dengan
adanya AI, tugas-tugas yang sebelumnya memerlukan analisis manual yang intensif
kini dapat diselesaikan dengan lebih cepat dan efisien, membuka peluang baru
dalam berbagai bidang.
Salah satu cabang AI yang berkembang pesat adalah Natural Language
Processing (NLP), yang merupakan teknik untuk memungkinkan mesin memahami
dan memproses bahasa manusia. NLP mencakup berbagai tugas seperti text
summarization dan machine translation, yang bertujuan untuk memahami,
meringkas, dan menerjemahkan teks. Syed et al. (2021) menulis bahwa “NLP
 3

berperan penting dalam memungkinkan mesin untuk memahami makna di balik

kata-kata dan struktur bahasa, dengan tugas-tugas seperti text summarization dan
machine translation menjadi komponen utama” .
Dalam sejarahnya, Natural Language Processing (NLP) telah berkembang
melalui berbagai model komputasi. Model awal seperti Recurrent Neural Networks
(RNN) dan Long Short-Term Memory (LSTM) menjadi tulang punggung dalam
berbagai aplikasi NLP karena kemampuannya menangani data sekuensial. Namun,
keterbatasan dalam menangani dependensi jangka panjang menjadi tantangan yang
sulit diatasi oleh RNN dan LSTM. Syed et al. (2021) menjelaskan bahwa
“Transformers berhasil mengatasi batasan ini dengan menggunakan mekanisme
self-attention, yang memungkinkan pemrosesan paralel dan kontekstualisasi yang
lebih baik” .
Penelitian mengenai text summarization dan machine translation telah
berkembang pesat dalam beberapa tahun terakhir, terutama dengan penggunaan
berbagai arsitektur neural networks dan transformer model. Pada tahun 2019,
Kasyfi Ivanedra dan Metty Mustikasari (2019) memulai eksplorasi dengan
menggunakan metode RNN-LSTM untuk text summarization dengan teknik
abstraktif. Hasil penelitiannya menunjukkan bahwa meskipun model RNN-LSTM
mampu menghasilkan ringkasan dengan nilai rata-rata precision sebesar 81% dan
F-measure sebesar 54.27% pada artikel berita, performanya masih dapat
ditingkatkan terutama dalam menjaga konteks dan kohesi bahasa. Teknik stemming
terbukti meningkatkan nilai F-measure hingga 58.20%, menunjukkan pentingnya
preprocessing dalam text summarization. Temuan tersebut memberikan gambaran
awal tentang bagaimana model berbasis RNN/LSTM dapat digunakan dalam tugas
summarization, meskipun dengan beberapa keterbatasan.
Di tahun yang sama, Rike Adelia et al. (2019) melanjutkan penelitian
dengan menggunakan metode Gated Recurrent Unit (GRU) untuk abstractive
summarization pada teks berbahasa Indonesia. Dengan dataset yang terdiri dari
1000 artikel, hasilnya menunjukkan bahwa model GRU masih memiliki
keterbatasan dengan nilai ROUGE-1 hanya 0.11 dan ROUGE-2 sebesar 0.011, yang
menunjukkan bahwa model berbasis RNN seperti GRU kurang efektif dalam tugas
summarization, terutama dalam memahami konteks panjang dan struktur bahasa
 4

yang lebih kompleks. Ini menegaskan tantangan yang dihadapi oleh

model berbasis RNN dalam menyimpan dan memahami informasi jangka panjang
dalam teks.
Perkembangan yang lebih signifikan terjadi pada tahun 2021, ketika
Muhammad Alfhi Saputra dan Wikky Fawwaz Al Maki (2021) mencoba
menggunakan metode Long Short-Term Memory (LSTM) pada dataset IndoSum.
Meskipun LSTM lebih baik dalam menyimpan informasi dibandingkan RNN
standar, hasilnya tetap kurang memuaskan dengan ROUGE-1 sebesar 0.13.
Penelitian ini menyoroti bahwa pre-processing seperti stopword removal sangat
mempengaruhi performa LSTM, sementara teknik stemming tidak terlalu
berdampak.
Seiring berkembangnya teknologi transformer models, penelitian mulai
beralih dari model berbasis RNN/LSTM ke model yang lebih canggih. Pada tahun
2023, Qurrota A’yuna Itsnaini et al. (2023) memperkenalkan penggunaan model
Text-to-Text Transfer Transformer (T5) untuk text summarization pada dataset
IndoSum. Hasil awalnya menunjukkan nilai ROUGE-1 sebesar 0.41, namun setelah
membersihkan dataset dari kesalahan referensi, nilai ROUGE meningkat hingga
0.68. Ini membuktikan bahwa model Transformer mampu menghasilkan ringkasan
teks yang jauh lebih akurat dibandingkan dengan model RNN/LSTM, bahkan
dalam bahasa non-Inggris seperti bahasa Indonesia. Pada saat yang bersamaan, Aini
Nur Khasanah dan Mardhiya Hayaty (2023) menggunakan GPT-2 untuk
summarization dan berhasil mencapai ROUGE-1 sebesar 0.61, yang menunjukkan
bahwa model Transformer dengan mekanisme attention jauh lebih efektif dalam
menangkap konteks dan menghasilkan ringkasan berkualitas tinggi dibandingkan
model sebelumnya.
Penelitian mengenai perbandingan antara model Transformer juga
semakin berkembang. Pada tahun 2024, Andika Bahari dan Kania Evita Dewi
(2024) membandingkan model T5 Default dan T5 ID yang di-fine-tune khusus
untuk bahasa Indonesia. Hasilnya menunjukkan bahwa T5 ID yang dilatih dengan
embedding berbahasa Indonesia memberikan performa yang lebih baik dengan
ROUGE-1 sebesar 0.61, membuktikan bahwa penyesuaian model terhadap bahasa
target dapat meningkatkan akurasi hasil. Selain itu, Rahma Hayuning Astuti et al.
 5

(2024) menggunakan model MBART pada dataset XLSUM, mencapai ROUGE-1

sebesar 0.35.
Terakhir, Charles Munyao Muia et al. (2024) melakukan perbandingan
mendalam antara beberapa model Transformer seperti GPT, BART, T5, dan
PEGASUS pada dataset CNN/Daily Mail. Hasil akhirnya menunjukkan bahwa T5
memiliki kinerja terbaik dengan ROUGE-1 sebesar 0.35, sementara PEGASUS
berada di posisi kedua dengan ROUGE-1 sebesar 0.33, mengonfirmasi dominasi
model Transformer dalam tugas text summarization dibandingkan model berbasis
RNN/LSTM. Dari rangkaian penelitian ini, terlihat jelas bahwa transformasi dari
model RNN/LSTM ke Transformer telah membawa peningkatan signifikan dalam
akurasi dan efisiensi tugas text summarization, terutama dalam bahasa Indonesia.
Di sisi lain penelitian mengenai machine translation juga mengalami
perkembangan yang pesat, terutama dengan munculnya model berbasis transformer
dan pre-trained language models. Salah satu penelitian awal yang signifikan
dilakukan oleh Kenji Imamura dan Eiichiro Sumita (2019) di mana penelitian
tersebut melakukan eksperimen dengan fine-tuning BERT untuk tugas neural
machine translation (NMT) menggunakan dataset WMT. Hasil penelitian ini
menunjukkan bahwa fine-tuning BERT mencapai BLEU score 29.57, sedangkan
pendekatan dengan melatih decoder BERT dari awal hanya mencapai 27.23.
Temuan ini menunjukkan bahwa model pre-trained seperti BERT dapat secara
efektif digunakan kembali dalam tugas machine translation, meningkatkan akurasi
hasil terjemahan dibandingkan model yang dilatih dari awal.
Kemudian, perkembangan ini berlanjut dengan penelitian oleh Zheng et al.
(2024) pada tahun 2024 yang melakukan fine-tuning pada LLAMA2-7B untuk
domain-specific machine translation. Dalam penelitiannya, dia memperkenalkan
LlamaIT, sebuah pendekatan fine-tuning yang berfokus pada pemilihan template
prompt yang sesuai dengan domain tertentu. Hasil penelitian ini menunjukkan
bahwa fine-tuning pada dataset spesifik meningkatkan kualitas terjemahan, dengan
BLEU score mencapai 37.98. Penelitian ini menekankan pentingnya penggunaan
dataset yang sesuai dengan domain target dan pemilihan prompt yang tepat, karena
fine-tuning dengan dataset campuran dari berbagai domain justru dapat mengurangi
performa machine translation.
 6

Pada tahun 2023, Yasmin Moslem et al. (2023) memperlihatkan hasil yang
sangat mengesankan dalam fine-tuning model MISTRAL 7B untuk tugas adaptive
machine translation. Dengan menggunakan dataset berisi 20.000 sampel bahasa
Inggris-Spanyol, model yang dihasilkan berhasil melampaui performa GPT-3.5,
mencapai BLEU score sebesar 49.69. Penelitian ini menunjukkan bahwa model
terbaru, jika di-fine-tune dengan dataset yang tepat, dapat secara signifikan
meningkatkan akurasi terjemahan, terutama dalam pasangan bahasa yang
kompleks.
Pada tahun 2021, Inigo Jauregi Unanue et al. (2021) mengusulkan metode
BERTTune, yang merupakan pendekatan fine-tuning menggunakan BERTScore
untuk meningkatkan kualitas terjemahan neural machine translation. Penelitian ini
dilakukan pada dataset IWSLT 2014 dengan beberapa pasangan bahasa, seperti
German-English (de-en), Chinese-English (zh-en), English-Turkish (en-tr), dan
English-Spanish (en-es). Hasilnya menunjukkan peningkatan performa yang
signifikan, dengan BLEU score masing-masing sebesar 33.97, 18.39, 18.26, dan
37.96. Temuan ini menegaskan efektivitas pendekatan BERT dalam meningkatkan
kinerja model terjemahan untuk berbagai pasangan bahasa.
Dalam konteks machine translation untuk bahasa Indonesia dan bahasa
lokal, penelitian oleh Cahyawijaya et al. (2021) memperkenalkan IndoNLG, yang
mencakup benchmarking model seperti IndoBART dan IndoGPT. Hasil penelitian
menunjukkan bahwa meskipun IndoBART dan IndoGPT belum dapat mengungguli
mT5 pada tugas terjemahan antara Bahasa Indonesia dan Bahasa Inggris, keduanya
mampu mengungguli mT5 pada tugas terjemahan dari bahasa Jawa ke Bahasa
Indonesia. Penelitian ini menjadi langkah penting dalam pengembangan model
terjemahan untuk bahasa Indonesia dan bahasa-bahasa lokal, menunjukkan potensi
besar dalam meningkatkan kualitas translation pada bahasa-bahasa dengan sumber
daya terbatas.
Penelitian lebih lanjut oleh Genta Indra Winata pada tahun 2023
memperkenalkan NusaX, sebuah dataset paralel untuk 10 bahasa lokal Indonesia,
dan menggunakan model seperti IndoBARTV2 dan IndoGPT untuk tugas machine
translation. Hasil penelitian ini menunjukkan bahwa IndoBARTV2 mampu
melampaui model seperti mT5 dan mBART, dengan nilai BLEU rata-rata 34.69.
 7

Hal ini mengindikasikan bahwa model yang diadaptasi untuk bahasa Indonesia dan
bahasa lokal dapat secara efektif menangani tugas machine translation dengan hasil
yang sangat kompetitif.
Penelitian terbaru oleh Owen et al. (2024) memperkenalkan Komodo-7B,
model bahasa besar (Large Language Model/LLM) pertama di Indonesia yang
berfokus pada bahasa Indonesia dan 11 bahasa daerah lainnya. Komodo-7B
merupakan turunan dari Llama-2-7B-Base yang telah dilatih ulang menggunakan
corpus dataset bahasa Indonesia. Proses pelatihannya memakan waktu sekitar 300
jam dengan menggunakan sejumlah GPU A100 40GB. Evaluasi ekstensif terhadap
model ini menunjukkan bahwa Komodo-7B memiliki kinerja yang mengesankan
dalam berbagai tugas generatif dan diskriminatif, sehingga menunjukkan
kemampuannya yang fleksibel dalam menangani tantangan bahasa yang kompleks
di Indonesia.
Salah satu kontribusi terbesar dari penelitian ini adalah kemampuan
Komodo-7B-Instruct untuk mendukung 11 bahasa daerah Indonesia yang tidak
tercakup oleh Google Translate. Hal ini sangat penting mengingat model bahasa
yang ada seringkali menunjukkan kinerja yang kurang optimal untuk bahasa-bahasa
yang memiliki sumber daya terbatas. Komodo-7B mampu menjembatani
kesenjangan linguistik ini, menawarkan pemahaman dan penanganan nuansa
bahasa yang lebih baik.
Penelitian ini bertujuan untuk melakukan fine-tuning pada model berbasis
Transformer yang saat ini menjadi state of the art dalam tugas text summarization
dan machine translation, yaitu T5 dan PEGASUS. Selain kedua model tersebut,
Komodo-7B, yang merupakan satu-satunya model Transformer yang dilatih
menggunakan korpus berbahasa Indonesia, juga akan di-fine-tune. Hasil dari ketiga
model tersebut akan dibandingkan untuk menentukan model mana yang memiliki
tingkat akurasi tertinggi.
 8

1.2 Rumusan Masalah

Berdasarkan latar belakang yang diuraikan sebelumnya, beberapa rumusan
masalah yang akan dikaji adalah sebagai berikut:
1. Bagaimana cara fine-tune model berbasis Transformer untuk tugas text
summarization dan machine translation berbahasa Indonesia dengan
menggunakan model PEGASUS, T5, dan Komodo-7B?
2. Bagaimana analisis hasil komparasi performa PEGASUS, T5, dan
Komodo-7B terhadap kualitas ringkasan teks dan terjemahan berbahasa
Indonesia setelah dilakukan fine-tuning?

3. Apakah fine-tuning model Transformer berbasis multibahasa seperti

PEGASUS dan T5 dapat mengungguli Komodo-7B, yang dilatih secara
khusus untuk bahasa Indonesia, dalam tugas text summarization dan
machine translation ?

1.3 Tujuan Penelitian

Penelitian ini memiliki tujuan yang ingin dicapai yaitu sebagai berikut.
1. Mengembangkan metode fine-tuning model berbasis Transformer
(PEGASUS, T5, dan Komodo-7B) untuk tugas text summarization dan
machine translation dalam bahasa Indonesia.
2. Menganalisis dan membandingkan performa PEGASUS, T5, dan
Komodo-7B dalam menghasilkan ringkasan teks dan terjemahan otomatis
berbahasa Indonesia setelah proses fine-tuning.

3. Mengevaluasi apakah fine-tuning model Transformer berbasis

multibahasa seperti PEGASUS dan T5 mampu mengungguli Komodo-7B,
yang dilatih secara khusus untuk bahasa Indonesia, dalam tugas text
summarization dan machine translation.

1.4 Batasan Penelitian

Berdasarkan masalah yang telah dipaparkan, agar penelitian memperoleh
hasil yang maksimal diperlukan pembatasan masalah untuk memfokuskan
 9

penelitian sehingga dapat mencakup masalah-masalah pokok dan lebih terarah.

Maka batasan penelitian ini sebagai berikut.
1. Penelitian ini hanya fokus pada tiga model berbasis Transformer, yaitu
PEGASUS, T5, dan Komodo-7B
2. Dataset yang digunakan pada penelitian ini adalah indoSUM (Kurniawan
& Louvan, 2018) untuk text summarization dan Indonesian-MT-Data
(Guntara et al., 2022) untuk machine translation.
3. Jenis text summarization yang dilakukan adalah abstractive
summarization.
4. Evaluasi performa model hanya dilakukan menggunakan metrik-metrik
standar seperti BLEU untuk machine translation dan ROUGE untuk text
summarization.

1.5 Manfaat Penelitian

Hasil penelitian ini diharapkan mampu memberikan manfaat baik berupa
manfaat teoritis maupun manfaat praktis sebagai berikut.
1.5.1 Manfaat Teoritis
Penelitian ini akan memberikan kontribusi signifikan dalam memperkaya
literatur terkait fine-tuning model Transformer untuk tugas text summarization dan
machine translation dalam bahasa Indonesia. Dengan demikian, penelitian ini dapat
menjadi referensi penting bagi akademisi dan peneliti yang tertarik dalam
pengembangan model berbasis Transformer di ranah Natural Language Processing
(NLP), khususnya dalam konteks bahasa Indonesia dan bahasa lokal lainnya.
1.5.2 Manfaat Praktis
Hasil penelitian ini dapat digunakan oleh pengembang sistem otomatis yang
berfokus pada text summarization dan machine translation untuk bahasa Indonesia,
sehingga dapat meningkatkan kualitas layanan dan aplikasi yang membutuhkan
teknologi NLP.
Di bidang bisnis dan industri, peningkatan kualitas text summarization dan
machine translation dapat meningkatkan efisiensi kerja dalam proses penerjemahan
dan pemahaman informasi, yang pada akhirnya dapat menghemat waktu dan biaya
operasional dalam sektor-sektor tertentu.
10