Yapay zeka sohbet robotunun Uluslararası Uzman İncelemesi
MSG.AI, Birleşik Krallık ve Meksika'da Yapay Zeka Chatbotunu eğitmek için uzman incelemesi kullanıyor
MSG.AI bir Amerikan yapay zeka (AI) şirketi ve insan-bilgisayar etkileşim teknolojileri geliştiricisidir. 2015 yılında kurulan şirketin amacı, şirketlerle iletişim kurmayı mükemmel bir müşteri hizmetleri deneyimi haline getirmektir. Yapay zekayı, tekrarlanabilir müşteri sorunlarına yanıt vermesi için güçlendirirken, insan temsilcilerinin yüksek etkili işlere odaklanmasını sağlıyorlar.
UX24/7, MSG.AI tarafından Facebook Messenger'da çalışan bir Nescafe Dolce Gusto sohbet robotu üzerinde uzman değerlendirmesi yapmak üzere görevlendirildi. Odak noktası aşağıdaki alanlardı:
- Bot kullanıcıyı anlamadığında verilen tepki gibi planlanan tepkilerin oluşması
- Botun doğru olduğunu düşündüğü durumlarda, kullanıcının doğru olmadığını düşündüğü bot yanıtları
- Botun kötü dil, tehditkâr davranış, istismar, kendine zarar verme vb. durumları nasıl ele aldığı gibi özen yükümlülüğü ve trolleme.
Uzman incelemeleri, chatbot'un Meksika pazarı için İspanyolca versiyonunun yanı sıra İngilizce versiyonu üzerinde de yapıldı.
Uzman incelemesi, bir sohbet robotunun kullanıcı deneyimi (UX) işleminin ayrıntılı bir değerlendirmesidir ve bir UX danışmanı tarafından gerçekleştirilir. Temel kullanıcı yolculuklarının ve etkileşimlerinin doğal dil aracılığıyla gözden geçirilmesinin ardından ayrıntılı UX sorunları belirlenir.
UX danışmanı, chatbot için temel kullanıcı yolculuklarını (yani, chatbot ile etkileşime girerken kullanıcılar tarafından yaygın olarak gerçekleştirilen görevler) ve chatbot ile etkileşimi değerlendirmek için gerçekleştirilmesi gereken diğer senaryoları tanımlar.
Her bir kullanıcı yolculuğunun/senaryonun bilişsel bir incelemesi yapılır ve UX sorunları belirlenir. Bu aşamada danışman bir kullanıcının zihniyetini benimser ve beklenen gerçek dünya etkileşimlerinin türünü mümkün olduğunca yakın bir şekilde yeniden yaratır. Etkileşim değerlendirilir ve kullanıcı deneyimini etkileyen sorunlar önem dereceleri kullanılarak kaydedilir.
Bu özel alanlar danışmanlar tarafından araştırılmıştır:
- Navigasyon Bot, yanıtları hızlandırmak için kullanıcıya ne kadar etkili seçenekler sunabilir?
- İçerik Bir bot tarafından sağlanan yanıtların doğruluğu ve eksiksizliği ve bağlam içinde kullanıcının bilgi ihtiyaçlarını ne zaman karşılayacağı
- Sunum Ses tonunun ve bot tarafından verilen yanıtların beklenen davranış/marka imajı ile uyumlu olup olmadığının test edilmesi
- Fonksiyon Bir botun bir kullanıcı talebini çözme verimliliğini test etmek, amaç cevabı sağlamak için en az sayıda soru kullanmaktır
- Geri bildirim Bir botun hata durumunda sunduğu önerilerin etkinliğini ölçmek
- Kişiselleştirme Botun mevcut bağlamı anlamasını geliştirmek için geçmiş etkileşimleri ve kullanıcının tercihlerini hatırlayıp hatırlayamayacağı
- Evrim Botun zekası zaman içinde artıyor mu? Bu, bot teknolojisinin belirli bir süre boyunca ve düzenli etkileşim yoluyla değerlendirilebilecek bir özelliğidir.
HIZLI BİLGİLER
- Yapılandırılmış çerçeveye göre uzman incelemesi
- Chatbot kullanıcı yolculukları değerlendirildi
- Meksika İspanyolcası ve İngilizce versiyonları pazarda değerlendirildi
- Chatbot etkinliği ve Yönetişim
Danışmanlar, chatbot tarafından kullanılan dilin çoğunlukla açık ve uygun olduğunu tespit etti. Samimi ve gayri resmi bir tonu vardı ancak bazen fazla ağdalı olabiliyordu. Yardım tavsiyeleri iyi ifade edilmiş ve şemalar gösterilerek desteklenmiştir. Bu yararlıydı ve kullanıcının süreç üzerinde kontrol sahibi olmasını sağladı.
Sohbet robotu genellikle "kapsüller", "yedek parçalar" gibi anahtar kelimeleri tanıyamadı ve kullanıcıların sorması muhtemel sorulara standart yardım içeriği sağlamak yerine sorunları tırmandırdı. Sorunlar ortaya çıktığında, chatbot kullanıcıyı bu durumda yardımcı olabilecek bir danışmana veya temsilciye yönlendirmedi.
Nescafe Dolce Gusto serisi hakkında verilen ürün bilgileri, kullanıcıya ürün seçimi konusunda yol göstermeye yardımcı olmadı. Kullanılan dil, kullanıcının isteyebileceği özelliklerin kısa bir özetinden ziyade "pazarlama konuşmasına" yönelmiştir.
Bununla birlikte, sohbet robotu uygunsuz dil ve soruları etkili bir şekilde ele aldı ve müstehcen dil kullanımını hızla tespit edip durdurdu.
Bunlar, MSG.AI için ortaya çıkardığımız temel içgörü alanlarından bazılarıdır:
- Etkileşimli deneyim, kullanıcıların makinelerinde eylemler gerçekleştirmesine ve her adımda sohbet robotuna geri bildirim sağlamasına olanak tanıyan adım adım talimatlar sağlanarak geliştirilebilir.
- Senaryoların çoğu karmaşık olduğundan, numaralandırılmış adımlar olmaksızın animasyonlu görüntülerin kullanımına güvenmek kafa karıştırıcı ve verimsiz olabilir.
- Ürün seçimine yardımcı olmak için, sohbet robotunun kullanıcıyı bir dizi çoktan seçmeli soruya dayalı olarak belirli bir ürüne yönlendirmesi önerildi.
- İspanyolca versiyonun kullanıcı deneyimi İngilizce versiyonun deneyimine benzerdi ancak bazı temel deneyim unsurları İspanyolca versiyonda mevcut değildi.
- Sohbet robotunun İspanyolca versiyonunda bazı metin hataları vardı ve hala bazı öğeler İngilizceydi, bu nedenle daha iyi bir yerelleştirme gerekiyordu.
Danışmanlarımız, Nescafe sohbet robotu için daha doğal bir konuşma senaryosu oluşturma fırsatı olduğunu keşfetti.
İletişim ve empati ile ilgili gözlemlerin çoğu, etkileşimli bir diyalog sırasında ya çok fazla ya da çok az şey söylemekle ilgilidir ve bu da etkileşimin oldukça yapay kalmasına neden olur.
Daha az önceden tanımlanmış yollar ve daha fazla adım adım konuşma unsurları daha iyi ve daha doğal bir iletişime yol açabilir.
