Perbandingan SVM, Naive Bayes, dan KNN untuk Analisis Sentimen Tiga Kelas Bahasa Bali dengan dan Tanpa SMOTE: Comparison of SVM, Naive Bayes, and KNN for Three-Class Balinese Sentiment Analysis With and Without SMOTE

Analisis sentimen untuk bahasa bersumber daya rendah, seperti bahasa Bali, masih jarang diteliti. Penelitian terdahulu umumnya menyederhanakan klasifikasi menjadi dua kelas sehingga mengabaikan sentimen netral dan jarang menguji strategi penanganan ketidakseimbangan kelas pada berbagai algoritma. Penelitian ini bertujuan mengevaluasi kinerja model machine learning klasik untuk klasifikasi sentimen tiga kelas dalam bahasa Bali, menentukan konfigurasi terbaik, serta menguji signifikansi statistik peningkatan kinerja akibat penanganan ketidakseimbangan kelas. Eksperimen dilakukan menggunakan dataset NusaX-senti yang terdiri atas 1.000 instans, dengan menguji 14 konfigurasi yang melibatkan Support Vector Machine (SVM), Multinomial Naive Bayes, dan K-Nearest Neighbor (KNN), representasi fitur TF-IDF dan Bag-of-Words, serta strategi baseline, SMOTE, dan class weighting. Resampling hanya diterapkan pada data latih untuk mencegah kebocoran informasi. Evaluasi menggunakan F1-makro, uji McNemar, dan confusion matrix. Hasil menunjukkan bahwa SVM dengan TF-IDF menghasilkan kinerja terbaik dengan F1-makro sebesar 74,68% pada konfigurasi baseline. SMOTE tidak meningkatkan kinerja secara signifikan pada kondisi ketidakseimbangan kelas yang ringan (p = 1,000), sedangkan pengaruhnya terhadap KNN bergantung pada metrik jarak yang digunakan. Penelitian ini memberikan evaluasi klasifikasi sentimen tiga kelas bahasa Bali yang terkendali dan teruji secara statistik, serta menunjukkan pentingnya pemilihan metrik jarak dalam klasifikasi teks berbahasa daerah.

Authors

Institutions

Publication Details

Journal
MALCOM Indonesian Journal of Machine Learning and Computer Science
Published
2026-10-30
DOI
https://doi.org/10.57152/malcom.v6i4.2917
Primary Topic
Sentiment Analysis and Opinion Mining
Type
article
Field-Weighted Citation Impact
0.00
Controls
|||
ALL TIME
JAN
FEB
MAR
APR
MAY
JUN
JUL
AUG
SEP
OCT
article

Perbandingan SVM, Naive Bayes, dan KNN untuk Analisis Sentimen Tiga Kelas Bahasa Bali dengan dan Tanpa SMOTE: Comparison of SVM, Naive Bayes, and KNN for Three-Class Balinese Sentiment Analysis With and Without SMOTE

I Gede Aris Gunadi, I Made Gede Sunarya, I Deny Supanji Komang
MALCOM Indonesian Journal of Machine Learning and Computer Science
Sentiment Analysis and Opinion Mining
article

Perbandingan SVM, Naive Bayes, dan KNN untuk Analisis Sentimen Tiga Kelas Bahasa Bali dengan dan Tanpa SMOTE: Comparison of SVM, Naive Bayes, and KNN for Three-Class Balinese Sentiment Analysis With and Without SMOTE

I Gede Aris Gunadi, I Made Gede Sunarya, I Deny Supanji Komang
article en

Abstract

Analisis sentimen untuk bahasa bersumber daya rendah, seperti bahasa Bali, masih jarang diteliti. Penelitian terdahulu umumnya menyederhanakan klasifikasi menjadi dua kelas sehingga mengabaikan sentimen netral dan jarang menguji strategi penanganan ketidakseimbangan kelas pada berbagai algoritma. Penelitian ini bertujuan mengevaluasi kinerja model machine learning klasik untuk klasifikasi sentimen tiga kelas dalam bahasa Bali, menentukan konfigurasi terbaik, serta menguji signifikansi statistik peningkatan kinerja akibat penanganan ketidakseimbangan kelas. Eksperimen dilakukan menggunakan dataset NusaX-senti yang terdiri atas 1.000 instans, dengan menguji 14 konfigurasi yang melibatkan Support Vector Machine (SVM), Multinomial Naive Bayes, dan K-Nearest Neighbor (KNN), representasi fitur TF-IDF dan Bag-of-Words, serta strategi baseline, SMOTE, dan class weighting. Resampling hanya diterapkan pada data latih untuk mencegah kebocoran informasi. Evaluasi menggunakan F1-makro, uji McNemar, dan confusion matrix. Hasil menunjukkan bahwa SVM dengan TF-IDF menghasilkan kinerja terbaik dengan F1-makro sebesar 74,68% pada konfigurasi baseline. SMOTE tidak meningkatkan kinerja secara signifikan pada kondisi ketidakseimbangan kelas yang ringan (p = 1,000), sedangkan pengaruhnya terhadap KNN bergantung pada metrik jarak yang digunakan. Penelitian ini memberikan evaluasi klasifikasi sentimen tiga kelas bahasa Bali yang terkendali dan teruji secara statistik, serta menunjukkan pentingnya pemilihan metrik jarak dalam klasifikasi teks berbahasa daerah.

MALCOM Indonesian Journal of Machine Learning and Computer Science
Universitas Pendidikan Ganesha (ID)
Openalex Percentile: Top 14%
Sentiment Analysis and Opinion Mining
AI Navigator

Ask Laika to Summarize, Analyze, and Connect papers live on the map.

Summarize Papers & Methodologies

Extract key findings, datasets, and comparative methods across publications.

Benchmark Rankings & Visual Analytics

Rank top research institutions, authors, funders, topics, and journals by Field-Weighted Citation Impact (FWCI) and paper volume with instant charts.

Connect Distant Disciplines

Bridge topological clusters on the map to find hidden collaborative intersections.

Laika access coming soon