Text Message Classification using Multiclass Support Vector Machine on Information Service Chatbot in the Informatics Department UPN “Veteran” Yogyakarta

Abstract

Tujuan: Menguji performa dari algoritma Multiclass Support Vector Machine dalam dalam tingkat akurasi, presisi, dan recall untuk melakukan klasifikasi pada pesan teks chatbot.

Perancangan/metode/pendekatan: Menggunakan algoritma Multiclass Support Vector Machine untuk melakukan klasifikasi terhadap dataset yang bersifat nonbiner atau dataset yang memiliki lebih dari dua kelas.

Hasil: Berdasarkan hasil penelitian dan pembahasan yang dilakukan, Algoritma Multiclass SVM dapat melakukan klasifikasi teks pesan yang dikirimkan dengan baik berdasarkan kategori pesan yang berkaitan dengan informasi yang ada di jurusan informasi, seperti administratif, dokumen, jadwal, kegiatan dan sapaan, dengan menunjukkan nilai akurasi sebesar 87%, nilai presisi sebesar 89% dan nilai recall sebesar 87%. Penelitian ini menggunakan dataset yang berjumlah sebanyak 950 data dengan pembagian data latih sebanyak 75% dari total keseluruhan data dan data uji sebanyak 25% dari total keseluruhan data.

Keaslian/ state of the art: Penelitian ini memiliki perbedaan dalam hal jenis data yang digunakan adalah data teks pesan yang terbagi ke dalam 5 kategori, nilai parameter C dan gamma yang digunakan, dan hasil yang diperoleh jika dibandingkan dengan penelitian sebelumnya.