Pengembangan Chatbot Untuk Layanan Akademik Menggunakan Platform Rasa Open Source Dengan Fitur Two Stage Fallback

Cannavaro, Nicholas (2023) Pengembangan Chatbot Untuk Layanan Akademik Menggunakan Platform Rasa Open Source Dengan Fitur Two Stage Fallback. Skripsi thesis, Universitas Tanjungpura.

	Text (Cover) Cover_D1041181022.pdf - Published Version Download (37kB)
	Text (Yuridis) Yuridis_D1041181022.pdf - Published Version Download (241kB)
	Text (Surat Pernyataan) SP_D1041181022.pdf - Published Version Download (80kB)
	Text (Abstrak) Abstrak_D1041181022.pdf - Published Version Download (7kB)
	Text (Kata Pengantar) Kapeng_D1041181022.pdf - Published Version Download (74kB)
	Text (Daftar Isi) Dafis_D1041181022.pdf - Published Version Download (86kB)
	Text (Daftar Lain) Daflain_D1041181022.pdf - Published Version Download (159kB)
	Text (Bab I) Bab1_D1041181022.pdf - Published Version Download (85kB)
	Text (Bab II) Bab2_D1041181022.pdf - Published Version Download (295kB)
	Text (Bab III) Bab3_D1041181022.pdf - Accepted Version Restricted to Repository staff only Download (602kB)
	Text (Bab IV) Bab4_D1041181022.pdf - Accepted Version Restricted to Repository staff only Download (3MB)
	Text (Bab V) Bab5_D1041181022.pdf - Accepted Version Restricted to Repository staff only Download (14kB)
	Text (Daftar Pustaka) Dapus_D1041181022.pdf - Published Version Download (147kB)
	Text (Lampiran) Lamp_D1041181022.pdf - Accepted Version Restricted to Repository staff only Download (2MB)
	Text (D1041181022_NICHOLAS CANNAVARO) D1041181022_NICHOLAS CANNAVARO.pdf - Accepted Version Restricted to Repository staff only Download (7MB)

Abstract

Pengembangan chatbot yang luas melahirkan banyak platform pihak ketiga untuk memudahkan pengembangan dan menghemat waktu serta biaya, salah satunya adalah RASA Open Source dimana dengan pemanfaatan platform ini beserta fitur-fiturnya, dapat dihasilkan konsep awal chatbot layanan akademik dan analisis dari penelitian yang bisa dijadikan acuan untuk pengembangan berkelanjutan. Penelitian menggunakan metode CRISP-DM yang dipadukan dengan model RAD untuk pengembangan chatbot yang berulang. Penelitian pada iterasi ke-1 dimulai dengan memperoleh dataset awal 879 sampel kalimat dari 38 intent, kemudian data akan di training oleh pipeline model yang telah dilakukan hyperparameter tuning dan kemudian dilakukan cross validation dimana rata-rata akurasi dari kedua proses ini berhasil mencapai nilai 90% keatas sehingga model yang didapat dari training hasil hyperparameter tuning dapat digunakan untuk pengujian ke pengguna. Model dari pengembangan chatbot awal di deploy untuk diuji langsung oleh pengguna dan diperoleh 227 sampel baru dengan 29 sampel diantaranya memiliki 2 intent baru yang tidak dipelajari chatbot dan 30 sampel memiliki intent ambigu, sehingga dilakukan pengujian klasifikasi chatbot pada 168 sampel sisa dengan nilai akurasi total mencapai 72,02% pada seluruh intent dan 76,39% tanpa intent percakapan alami. Kemudian pengembangan pada iterasi ke-2 diperoleh dataset terbaru 1210 sampel dari 40 intent hasil pembelajaran sampel pengguna di pengujian chatbot awal dan kemudian dilakukan proses hyperparameter tuning dan cross validation dengan rata-rata akurasi keseluruhannya mengalami penurunan sekitar 1-2% dibanding pada iterasi ke-1. Model terbaru di deploy untuk dilakukan kembali pengujian langsung oleh pengguna dan diperoleh 302 sampel baru dengan 41 sampel diantaranya memiliki 7 intent baru yang tidak dipelajari chatbot dan 11 sampel memiliki intent ambigu, sehingga dilakukan pengujian klasifikasi chatbot pada 250 sampel sisa dengan nilai akurasi total mencapai 78,40% pada seluruh intent dan 82,49% tanpa intent percakapan alami. Sampel baru yang didapatkan dari pengguna di awal pengembangan chatbot terbukti membantu meningkatkan performa chatbot.

Actions (login required)

View Item