Setelah melakukan pra-pemrosesan, vektorisasi, dan pemodelan, langkah terakhir yang sangat
krusial dalam dunia nyata adalah Evaluasi dan Visualisasi.
Tanpa langkah ini, kita tidak tahu seberapa akurat model AI kita dan apa yang sebenarnya
dipikirkan oleh audiens kita. Berikut adalah penjelasannya:
1. Evaluasi Model: Mengukur Kecerdasan AI
Kita tidak bisa hanya percaya bahwa model kita bekerja. Kita perlu metrik statistik. Dalam
Text Processing, kita menggunakan Confusion Matrix.
• Precision: Seberapa akurat model saat menebak label positif?
• Recall: Seberapa banyak data positif yang berhasil ditemukan oleh model?
• F1-Score: Keseimbangan antara Precision dan Recall.
2. Visualisasi Data: Word Cloud
Cara paling populer untuk merangkum ribuan dokumen teks dalam satu gambar adalah
menggunakan Word Cloud. Semakin besar ukuran sebuah kata dalam gambar, semakin
sering kata tersebut muncul dalam data Anda. Ini sangat berguna untuk laporan bisnis cepat.
Contoh Kode Python untuk Word Cloud:
Python
from wordcloud import WordCloud
import [Link] as plt
# Data teks yang sudah dibersihkan (hasil preprocessing)
text_data = "toko bagus barang murah layanan cepat puas diskon belanja
hemat rekomendasi"
# Membuat Word Cloud
wordcloud = WordCloud(width=800, height=400,
background_color='white').generate(text_data)
# Menampilkan Visualisasi
[Link](figsize=(10, 5))
[Link](wordcloud, interpolation='bilinear')
[Link]('off') # Menghilangkan sumbu koordinat
[Link]()
3. Penerapan di Dunia Nyata (Deployment)
Setelah model dievaluasi dan divisualisasikan, langkah terakhir adalah membawanya ke
lingkungan produksi. Contoh skenarionya:
• Chatbot Otomatis: Menggunakan Text Processing untuk memahami maksud
pengguna (Intent Classification).
• Filter Spam: Gmail menggunakan teknik ini untuk mendeteksi apakah email Anda
"Normal" atau "Spam" berdasarkan kata-kata di dalamnya.
• Market Research: Perusahaan besar memproses jutaan tweet per hari untuk melihat
apakah orang-orang senang dengan peluncuran produk baru mereka.
Penutup: Masa Depan Text Processing (LLM)
Saat ini, dunia sedang beralih dari teknik tradisional (seperti Naive Bayes) ke Large
Language Models (LLM) seperti Gemini atau GPT. Perbedaannya adalah:
1. Teknik Tradisional: Butuh banyak pembersihan data (preprocessing) manual.
2. LLM (Deep Learning): Bisa memahami konteks, sarkasme, dan bahasa gaul tanpa
perlu banyak pembersihan, karena mereka menggunakan arsitektur Transformer.
Ringkasan Perjalanan Text Processing Anda:
1. Preprocessing: Membersihkan teks.
2. Vectorization: Mengubah teks jadi angka (TF-IDF).
3. Modeling: Melatih AI (Naive Bayes).
4. Evaluation: Tes akurasi.
5. Visualization: Membuat laporan visual (Word Cloud).
Setelah melakukan pra-pemrosesan, vektorisasi, dan pemodelan, langkah terakhir yang sangat
krusial dalam dunia nyata adalah Evaluasi dan Visualisasi.
Tanpa langkah ini, kita tidak tahu seberapa akurat model AI kita dan apa yang sebenarnya
dipikirkan oleh audiens kita. Berikut adalah penjelasannya:
1. Evaluasi Model: Mengukur Kecerdasan AI
Kita tidak bisa hanya percaya bahwa model kita bekerja. Kita perlu metrik statistik. Dalam
Text Processing, kita menggunakan Confusion Matrix.
• Precision: Seberapa akurat model saat menebak label positif?
• Recall: Seberapa banyak data positif yang berhasil ditemukan oleh model?
• F1-Score: Keseimbangan antara Precision dan Recall.
2. Visualisasi Data: Word Cloud
Cara paling populer untuk merangkum ribuan dokumen teks dalam satu gambar adalah
menggunakan Word Cloud. Semakin besar ukuran sebuah kata dalam gambar, semakin
sering kata tersebut muncul dalam data Anda. Ini sangat berguna untuk laporan bisnis cepat.
Contoh Kode Python untuk Word Cloud:
Python
from wordcloud import WordCloud
import [Link] as plt
# Data teks yang sudah dibersihkan (hasil preprocessing)
text_data = "toko bagus barang murah layanan cepat puas diskon belanja
hemat rekomendasi"
# Membuat Word Cloud
wordcloud = WordCloud(width=800, height=400,
background_color='white').generate(text_data)
# Menampilkan Visualisasi
[Link](figsize=(10, 5))
[Link](wordcloud, interpolation='bilinear')
[Link]('off') # Menghilangkan sumbu koordinat
[Link]()
3. Penerapan di Dunia Nyata (Deployment)
Setelah model dievaluasi dan divisualisasikan, langkah terakhir adalah membawanya ke
lingkungan produksi. Contoh skenarionya:
• Chatbot Otomatis: Menggunakan Text Processing untuk memahami maksud
pengguna (Intent Classification).
• Filter Spam: Gmail menggunakan teknik ini untuk mendeteksi apakah email Anda
"Normal" atau "Spam" berdasarkan kata-kata di dalamnya.
• Market Research: Perusahaan besar memproses jutaan tweet per hari untuk melihat
apakah orang-orang senang dengan peluncuran produk baru mereka.
Penutup: Masa Depan Text Processing (LLM)
Saat ini, dunia sedang beralih dari teknik tradisional (seperti Naive Bayes) ke Large
Language Models (LLM) seperti Gemini atau GPT. Perbedaannya adalah:
3. Teknik Tradisional: Butuh banyak pembersihan data (preprocessing) manual.
4. LLM (Deep Learning): Bisa memahami konteks, sarkasme, dan bahasa gaul tanpa
perlu banyak pembersihan, karena mereka menggunakan arsitektur Transformer.
Ringkasan Perjalanan Text Processing Anda:
6. Preprocessing: Membersihkan teks.
7. Vectorization: Mengubah teks jadi angka (TF-IDF).
8. Modeling: Melatih AI (Naive Bayes).
9. Evaluation: Tes akurasi.
10. Visualization: Membuat laporan visual (Word Cloud).
Setelah melakukan pra-pemrosesan, vektorisasi, dan pemodelan, langkah terakhir yang sangat
krusial dalam dunia nyata adalah Evaluasi dan Visualisasi.
Tanpa langkah ini, kita tidak tahu seberapa akurat model AI kita dan apa yang sebenarnya
dipikirkan oleh audiens kita. Berikut adalah penjelasannya:
1. Evaluasi Model: Mengukur Kecerdasan AI
Kita tidak bisa hanya percaya bahwa model kita bekerja. Kita perlu metrik statistik. Dalam
Text Processing, kita menggunakan Confusion Matrix.
• Precision: Seberapa akurat model saat menebak label positif?
• Recall: Seberapa banyak data positif yang berhasil ditemukan oleh model?
• F1-Score: Keseimbangan antara Precision dan Recall.
2. Visualisasi Data: Word Cloud
Cara paling populer untuk merangkum ribuan dokumen teks dalam satu gambar adalah
menggunakan Word Cloud. Semakin besar ukuran sebuah kata dalam gambar, semakin
sering kata tersebut muncul dalam data Anda. Ini sangat berguna untuk laporan bisnis cepat.
Contoh Kode Python untuk Word Cloud:
Python
from wordcloud import WordCloud
import [Link] as plt
# Data teks yang sudah dibersihkan (hasil preprocessing)
text_data = "toko bagus barang murah layanan cepat puas diskon belanja
hemat rekomendasi"
# Membuat Word Cloud
wordcloud = WordCloud(width=800, height=400,
background_color='white').generate(text_data)
# Menampilkan Visualisasi
[Link](figsize=(10, 5))
[Link](wordcloud, interpolation='bilinear')
[Link]('off') # Menghilangkan sumbu koordinat
[Link]()
3. Penerapan di Dunia Nyata (Deployment)
Setelah model dievaluasi dan divisualisasikan, langkah terakhir adalah membawanya ke
lingkungan produksi. Contoh skenarionya:
• Chatbot Otomatis: Menggunakan Text Processing untuk memahami maksud
pengguna (Intent Classification).
• Filter Spam: Gmail menggunakan teknik ini untuk mendeteksi apakah email Anda
"Normal" atau "Spam" berdasarkan kata-kata di dalamnya.
• Market Research: Perusahaan besar memproses jutaan tweet per hari untuk melihat
apakah orang-orang senang dengan peluncuran produk baru mereka.
Penutup: Masa Depan Text Processing (LLM)
Saat ini, dunia sedang beralih dari teknik tradisional (seperti Naive Bayes) ke Large
Language Models (LLM) seperti Gemini atau GPT. Perbedaannya adalah:
5. Teknik Tradisional: Butuh banyak pembersihan data (preprocessing) manual.
6. LLM (Deep Learning): Bisa memahami konteks, sarkasme, dan bahasa gaul tanpa
perlu banyak pembersihan, karena mereka menggunakan arsitektur Transformer.
Ringkasan Perjalanan Text Processing Anda:
11. Preprocessing: Membersihkan teks.
12. Vectorization: Mengubah teks jadi angka (TF-IDF).
13. Modeling: Melatih AI (Naive Bayes).
14. Evaluation: Tes akurasi.
15. Visualization: Membuat laporan visual (Word Cloud).