Apa itu TF-IDF?
Secara sederhana, TF-IDF memberikan skor pada setiap kata berdasarkan tingkat
kepentingannya:
1. Term Frequency (TF): Seberapa sering kata muncul dalam satu dokumen. (Makin
sering muncul = makin penting).
2. Inverse Document Frequency (IDF): Seberapa langka kata tersebut di seluruh
kumpulan dokumen (korpus). Jika kata muncul di semua dokumen (seperti kata
"yang"), maka skornya akan dikecilkan karena dianggap tidak spesifik.
Contoh Kode Python: Mengubah Teks menjadi Matriks Angka
Kita akan menggunakan library Scikit-Learn, yang merupakan standar industri untuk
Machine Learning di Python.
Python
from sklearn.feature_extraction.text import TfidfVectorizer
import pandas as pd
# Anggap saja ini adalah hasil dari proses Pre-processing sebelumnya (3
dokumen berbeda)
corpus = [
'layan toko muas lari girang diskon',
'toko tutup kecewa diskon habis',
'beli barang harga diskon lari toko'
]
# 1. Inisialisasi Vectorizer
vectorizer = TfidfVectorizer()
# 2. Transformasi teks menjadi matriks angka
tfidf_matrix = vectorizer.fit_transform(corpus)
# 3. Ambil nama fitur (kata-kata unik yang ditemukan)
feature_names = vectorizer.get_feature_names_out()
# 4. Tampilkan dalam bentuk Tabel (DataFrame) agar mudah dibaca
df_tfidf = [Link](tfidf_matrix.toarray(), columns=feature_names)
print("Matriks TF-IDF (Representasi Angka):")
print(df_tfidf)
Analisis Hasil:
Setiap baris dalam tabel tersebut mewakili satu dokumen, dan setiap kolom mewakili kata
unik. Angka-angka di dalamnya (misal: 0.45 atau 0.0) adalah "berat" atau "bobot" kata
tersebut.
• Jika angka 0.0, artinya kata tersebut tidak ada di dokumen itu.
• Jika angka mendekati 1.0, artinya kata tersebut sangat mewakili identitas dokumen
tersebut.
Tahap Terakhir: Pemodelan (Modeling)
Setelah teks menjadi angka seperti tabel di atas, Anda bisa memasukkannya ke algoritma AI
untuk berbagai tujuan:
Tujuan Algoritma yang Sering Digunakan
Klasifikasi Sentimen Naive Bayes, SVM, atau Logistic Regression
Pengelompokan (Clustering) K-Means Clustering
Prediksi Kata Berikutnya LSTM atau Transformer (Deep Learning)
Apa itu TF-IDF?
Secara sederhana, TF-IDF memberikan skor pada setiap kata berdasarkan tingkat
kepentingannya:
3. Term Frequency (TF): Seberapa sering kata muncul dalam satu dokumen. (Makin
sering muncul = makin penting).
4. Inverse Document Frequency (IDF): Seberapa langka kata tersebut di seluruh
kumpulan dokumen (korpus). Jika kata muncul di semua dokumen (seperti kata
"yang"), maka skornya akan dikecilkan karena dianggap tidak spesifik.
Contoh Kode Python: Mengubah Teks menjadi Matriks Angka
Kita akan menggunakan library Scikit-Learn, yang merupakan standar industri untuk
Machine Learning di Python.
Python
from sklearn.feature_extraction.text import TfidfVectorizer
import pandas as pd
# Anggap saja ini adalah hasil dari proses Pre-processing sebelumnya (3
dokumen berbeda)
corpus = [
'layan toko muas lari girang diskon',
'toko tutup kecewa diskon habis',
'beli barang harga diskon lari toko'
]
# 1. Inisialisasi Vectorizer
vectorizer = TfidfVectorizer()
# 2. Transformasi teks menjadi matriks angka
tfidf_matrix = vectorizer.fit_transform(corpus)
# 3. Ambil nama fitur (kata-kata unik yang ditemukan)
feature_names = vectorizer.get_feature_names_out()
# 4. Tampilkan dalam bentuk Tabel (DataFrame) agar mudah dibaca
df_tfidf = [Link](tfidf_matrix.toarray(), columns=feature_names)
print("Matriks TF-IDF (Representasi Angka):")
print(df_tfidf)
Analisis Hasil:
Setiap baris dalam tabel tersebut mewakili satu dokumen, dan setiap kolom mewakili kata
unik. Angka-angka di dalamnya (misal: 0.45 atau 0.0) adalah "berat" atau "bobot" kata
tersebut.
• Jika angka 0.0, artinya kata tersebut tidak ada di dokumen itu.
• Jika angka mendekati 1.0, artinya kata tersebut sangat mewakili identitas dokumen
tersebut.
Tahap Terakhir: Pemodelan (Modeling)
Setelah teks menjadi angka seperti tabel di atas, Anda bisa memasukkannya ke algoritma AI
untuk berbagai tujuan:
Tujuan Algoritma yang Sering Digunakan
Klasifikasi Sentimen Naive Bayes, SVM, atau Logistic Regression
Pengelompokan (Clustering) K-Means Clustering
Prediksi Kata Berikutnya LSTM atau Transformer (Deep Learning)
Apa itu TF-IDF?
Secara sederhana, TF-IDF memberikan skor pada setiap kata berdasarkan tingkat
kepentingannya:
5. Term Frequency (TF): Seberapa sering kata muncul dalam satu dokumen. (Makin
sering muncul = makin penting).
6. Inverse Document Frequency (IDF): Seberapa langka kata tersebut di seluruh
kumpulan dokumen (korpus). Jika kata muncul di semua dokumen (seperti kata
"yang"), maka skornya akan dikecilkan karena dianggap tidak spesifik.
Contoh Kode Python: Mengubah Teks menjadi Matriks Angka
Kita akan menggunakan library Scikit-Learn, yang merupakan standar industri untuk
Machine Learning di Python.
Python
from sklearn.feature_extraction.text import TfidfVectorizer
import pandas as pd
# Anggap saja ini adalah hasil dari proses Pre-processing sebelumnya (3
dokumen berbeda)
corpus = [
'layan toko muas lari girang diskon',
'toko tutup kecewa diskon habis',
'beli barang harga diskon lari toko'
]
# 1. Inisialisasi Vectorizer
vectorizer = TfidfVectorizer()
# 2. Transformasi teks menjadi matriks angka
tfidf_matrix = vectorizer.fit_transform(corpus)
# 3. Ambil nama fitur (kata-kata unik yang ditemukan)
feature_names = vectorizer.get_feature_names_out()
# 4. Tampilkan dalam bentuk Tabel (DataFrame) agar mudah dibaca
df_tfidf = [Link](tfidf_matrix.toarray(), columns=feature_names)
print("Matriks TF-IDF (Representasi Angka):")
print(df_tfidf)
Analisis Hasil:
Setiap baris dalam tabel tersebut mewakili satu dokumen, dan setiap kolom mewakili kata
unik. Angka-angka di dalamnya (misal: 0.45 atau 0.0) adalah "berat" atau "bobot" kata
tersebut.
• Jika angka 0.0, artinya kata tersebut tidak ada di dokumen itu.
• Jika angka mendekati 1.0, artinya kata tersebut sangat mewakili identitas dokumen
tersebut.
Tahap Terakhir: Pemodelan (Modeling)
Setelah teks menjadi angka seperti tabel di atas, Anda bisa memasukkannya ke algoritma AI
untuk berbagai tujuan:
Tujuan Algoritma yang Sering Digunakan
Klasifikasi Sentimen Naive Bayes, SVM, atau Logistic Regression
Pengelompokan (Clustering) K-Means Clustering
Prediksi Kata Berikutnya LSTM atau Transformer (Deep Learning)