Ulasan Ahli Internasional tentang chatbot AI
MSG.AI menggunakan tinjauan ahli untuk melatih AI Chatbot di Inggris dan Meksiko
MSG.AI adalah perusahaan kecerdasan buatan (AI) Amerika dan pengembang teknologi interaksi manusia-komputer. Didirikan pada tahun 2015, tujuan mereka adalah untuk membuat perusahaan yang menghubungi menjadi pengalaman layanan pelanggan yang brilian. Mereka memberdayakan AI untuk merespons masalah pelanggan yang dapat diulang, sekaligus memungkinkan agen manusia untuk fokus pada pekerjaan yang berdampak tinggi.
UX24/7 ditugaskan oleh MSG.AI untuk melakukan evaluasi ahli pada chatbot Nescafe Dolce Gusto yang beroperasi di Facebook Messenger. Fokusnya adalah pada bidang-bidang berikut:
- Terjadinya respons yang direncanakan, seperti reaksi ketika bot tidak memahami pengguna
- Respons dari bot yang menurut pengguna tidak benar, padahal menurut bot itu benar
- Kewajiban untuk berhati-hati dan trolling, seperti bagaimana bot menangani bahasa yang buruk, perilaku mengancam, pelecehan, menyakiti diri sendiri, dll.
Ulasan pakar dilakukan pada chatbot versi bahasa Spanyol untuk pasar Meksiko serta versi bahasa Inggris.
Tinjauan ahli adalah evaluasi terperinci dari operasi pengalaman pengguna chatbots (UX) dan dilakukan oleh konsultan UX. Masalah UX terperinci diidentifikasi setelah menelusuri perjalanan pengguna utama dan interaksi melalui bahasa alami.
Konsultan UX mengidentifikasi perjalanan pengguna utama untuk chatbot (yaitu tugas-tugas yang biasanya dilakukan oleh pengguna saat berinteraksi dengan chatbot) dan skenario lain yang perlu dilakukan untuk mengevaluasi interaksi dengan chatbot.
Sebuah penelusuran kognitif dari setiap perjalanan/skenario pengguna dilakukan dan masalah-masalah UX diidentifikasi. Di sinilah konsultan mengadopsi pola pikir pengguna dan menciptakan kembali, sedekat mungkin, jenis interaksi dunia nyata yang diharapkan. Interaksi dievaluasi, dan masalah dicatat menggunakan peringkat keparahan, yang berdampak pada pengalaman pengguna.
Bidang-bidang spesifik ini dieksplorasi oleh para konsultan:
- Navigasi seberapa efektif bot dapat menawarkan pilihan kepada pengguna untuk mempercepat respons
- Konten keakuratan dan kelengkapan tanggapan yang diberikan oleh bot, dan ketika dalam konteks apakah bot akan memenuhi kebutuhan informasi pengguna
- Presentasi Menguji nada suara dan apakah respons yang diberikan oleh bot sesuai dengan perilaku/citra merek yang diharapkan
- Fungsi Menguji efisiensi bot dalam menyelesaikan permintaan pengguna, tujuannya adalah menggunakan jumlah pertanyaan paling sedikit untuk memberikan jawaban
- Umpan balik Mengukur efektivitas rekomendasi yang diberikan bot jika terjadi kesalahan
- Personalisasi apakah bot dapat mengingat interaksi historis, dan preferensi pengguna, untuk meningkatkan pemahamannya tentang konteks saat ini
- Evolusi Apakah kecerdasan bot meningkat dari waktu ke waktu? Ini adalah karakteristik teknologi bot yang dapat dinilai selama periode waktu tertentu, dan melalui interaksi reguler.
FAKTA CEPAT
- Tinjauan ahli terhadap kerangka kerja terstruktur
- Perjalanan pengguna Chatbot dievaluasi
- Versi bahasa Spanyol & Inggris Meksiko dievaluasi di pasar
- Efektivitas dan Tata Kelola Chatbot
Para konsultan menemukan bahwa bahasa yang digunakan oleh chatbot sebagian besar jelas dan tepat. Nada bicaranya ramah dan informal, tetapi kadang-kadang terlalu bertele-tele. Saran bantuan disampaikan dengan baik dan dibantu dengan menunjukkan diagram. Hal ini berguna dan memungkinkan pengguna untuk memiliki kendali atas prosesnya.
Chatbot sering kali gagal mengenali kata-kata kunci, misalnya "kapsul", "suku cadang", dan meningkatkan masalah alih-alih memberikan konten bantuan standar untuk pertanyaan yang mungkin ditanyakan oleh pengguna. Ketika masalah muncul, chatbot tidak mengarahkan pengguna ke penasihat atau agen yang mungkin dapat membantu dalam situasi tersebut.
Informasi produk yang disediakan pada rangkaian produk Nescafe Dolce Gusto tidak membantu memandu pengguna dalam pemilihan produk. Bahasa yang digunakan lebih condong ke arah "bahasa pemasaran" daripada ringkasan ringkas tentang fitur-fitur yang mungkin diinginkan pengguna.
Namun demikian, chatbot menangani bahasa dan pertanyaan yang tidak pantas secara efektif, dengan cepat mendeteksi dan menghentikan penggunaan bahasa yang tidak senonoh.
Ini adalah beberapa bidang wawasan utama yang kami temukan untuk MSG.AI:
- Pengalaman interaktif dapat ditingkatkan dengan memberikan instruksi langkah demi langkah yang memungkinkan pengguna untuk mengeksekusi tindakan pada mesin mereka dan memberikan umpan balik ke chatbot pada setiap langkah.
- Mengandalkan penggunaan gambar animasi, tanpa langkah-langkah bernomor bisa membingungkan dan tidak efisien, karena banyak skenario yang kompleks.
- Untuk membantu pemilihan produk, disarankan agar chatbot "menyalurkan" pengguna ke produk tertentu berdasarkan urutan pertanyaan pilihan ganda.
- Pengalaman pengguna versi bahasa Spanyol mirip dengan pengalaman pengguna versi bahasa Inggris, tetapi beberapa elemen pengalaman utama tidak ada pada versi bahasa Spanyol.
- Versi Spanyol dari chatbot memiliki beberapa kesalahan teks dan masih memiliki beberapa elemen dalam bahasa Inggris sehingga diperlukan pelokalan yang lebih baik.
Konsultan kami menemukan bahwa ada peluang untuk membuat skenario percakapan yang lebih alami untuk chatbot Nescafe.
Banyak pengamatan tentang komunikasi dan empati terkait dengan terlalu banyak atau terlalu sedikit bicara selama dialog interaktif yang mengakibatkan interaksi menjadi sangat artifisial.
Lebih sedikit jalur yang telah ditentukan sebelumnya dan lebih banyak elemen percakapan selangkah demi selangkah dapat mengarah pada komunikasi yang lebih baik dan lebih alami.
