Internationaler Expertenbericht über AI-Chatbot
MSG.AI trainiert KI-Chatbot mit Hilfe von Expertengutachten in Großbritannien und Mexiko
MSG.AI ist ein amerikanisches Unternehmen für künstliche Intelligenz (KI) und Entwickler von Technologien für die Interaktion zwischen Mensch und Computer. Das 2015 gegründete Unternehmen hat sich zum Ziel gesetzt, die Kontaktaufnahme mit Unternehmen zu einer brillanten Kundenservice-Erfahrung zu machen. MSG.AI befähigt KI, auf wiederholbare Kundenprobleme zu reagieren, während sich menschliche Mitarbeiter auf wichtige Aufgaben konzentrieren können.
UX24/7 wurde von MSG.AI beauftragt, eine Expertenevaluierung eines Nescafe Dolce Gusto Chatbots durchzuführen, der im Facebook Messenger funktioniert. Der Fokus lag dabei auf den folgenden Bereichen:
- Auftreten der geplanten Reaktionen, z. B. die Reaktion, wenn der Bot den Benutzer nicht versteht
- Antworten des Bots, die der Benutzer nicht für richtig hält, während der Bot sie für richtig hält
- Sorgfaltspflicht und Trolling, z. B. wie der Bot mit Schimpfwörtern, bedrohlichem Verhalten, Missbrauch, Selbstverletzung usw. umgeht.
Es wurden sowohl eine spanische Version des Chatbots für den mexikanischen Markt als auch eine englische Version von Experten begutachtet.
Eine Expertenprüfung ist eine detaillierte Bewertung der Benutzererfahrung (UX) eines Chatbots und wird von einem UX-Berater durchgeführt. Detaillierte UX-Probleme werden nach einem Durchgang durch die wichtigsten User Journeys und Interaktionen durch natürliche Sprache identifiziert.
Der UX-Berater identifiziert die wichtigsten User Journeys für den Chatbot (d.h. Aufgaben, die von den Nutzern bei der Interaktion mit dem Chatbot üblicherweise ausgeführt werden) und alle anderen Szenarien, die zur Bewertung der Interaktion mit dem Chatbot durchgeführt werden müssen.
Es wird ein kognitiver Walkthrough der einzelnen User Journeys/Szenarien durchgeführt und UX-Probleme werden identifiziert. Dabei nimmt der Berater die Denkweise eines Benutzers an und stellt so genau wie möglich die Art von Interaktionen nach, die in der realen Welt zu erwarten wären. Die Interaktion wird bewertet und die Probleme, die das Benutzererlebnis beeinträchtigen, werden mit Hilfe von Schweregraden erfasst.
Diese spezifischen Bereiche wurden von den Beratern erkundet:
- Navigation ? wie effektiv kann der Bot dem Nutzer Wahlmöglichkeiten anbieten, um die Antworten zu beschleunigen
- Inhalt ? die Genauigkeit und Vollständigkeit der von einem Bot gegebenen Antworten, und wenn sie im Kontext dem Informationsbedarf des Nutzers entsprechen würden
- Präsentation ? Prüfung des Tonfalls und der Übereinstimmung der vom Bot gegebenen Antworten mit dem erwarteten Verhalten/Markenimage
- Funktion ? Testen der Effizienz, mit der ein Bot eine Benutzeranfrage löst, wobei das Ziel darin besteht, die geringste Anzahl von Fragen zu verwenden, um die Antwort zu liefern
- Rückmeldung ? Messung der Wirksamkeit der Empfehlungen, die ein Bot im Falle eines Fehlers ausspricht
- Personalisierung ? ob sich der Bot an frühere Interaktionen und die Vorlieben des Nutzers erinnern kann, um den aktuellen Kontext besser zu verstehen
- Entwicklung ? nimmt die Intelligenz des Bots mit der Zeit zu? Dies ist eine Eigenschaft der Bot-Technologie, die über einen gewissen Zeitraum und durch regelmäßige Interaktion bewertet werden kann.
QUICK FACTS
- Expertenprüfung anhand eines strukturierten Rahmens
- Chatbot-Benutzerreisen ausgewertet
- Mexikanische spanische und englische Versionen auf dem Markt bewertet
- Chatbot-Effektivität und Governance
Die Berater fanden, dass die vom Chatbot verwendete Sprache meist klar und angemessen war. Er hatte einen freundlichen und informellen Ton, war aber manchmal etwas zu wortreich. Die Hilfestellungen waren gut formuliert und wurden durch die Darstellung von Diagrammen unterstützt. Dies war nützlich und ermöglichte es dem Nutzer, den Prozess zu kontrollieren.
Der Chatbot erkannte häufig Schlüsselwörter nicht, z. B. "Kapseln", "Ersatzteile", und eskalierte Probleme, anstatt Standard-Hilfeinhalte zu Fragen bereitzustellen, die die Nutzer wahrscheinlich stellen. Wenn Probleme auftraten, leitete der Chatbot den Nutzer nicht an einen Berater oder Agenten weiter, der in der Lage gewesen wäre, in dieser Situation zu helfen.
Die Produktinformationen über das Nescafe Dolce Gusto-Sortiment waren für den Benutzer nicht hilfreich bei der Produktauswahl. Die verwendete Sprache tendierte eher zur "Marketingsprache" als zu einer prägnanten Zusammenfassung der Merkmale, die der Benutzer wahrscheinlich wünscht.
Der Chatbot konnte jedoch mit unangemessener Sprache und unangemessenen Fragen effektiv umgehen, indem er die Verwendung von obszöner Sprache schnell erkannte und unterbrach.
Dies sind einige der wichtigsten Bereiche, die wir für MSG.AI aufgedeckt haben:
- Das interaktive Erlebnis kann durch schrittweise Anweisungen verbessert werden, die es den Nutzern ermöglichen, Aktionen auf ihren Geräten auszuführen und dem Chatbot bei jedem Schritt ein Feedback zu geben.
- Die Verwendung von animierten Bildern ohne nummerierte Schritte kann verwirrend und ineffizient sein, da viele der Szenarien sehr komplex sind.
- Um die Produktauswahl zu erleichtern, wurde empfohlen, dass der Chatbot den Nutzer auf der Grundlage einer Reihe von Multiple-Choice-Fragen zu einem bestimmten Produkt weiterleitet.
- Die Benutzererfahrung mit der spanischen Version war ähnlich wie die mit der englischen Version, aber einige Schlüsselelemente waren in der spanischen Version nicht vorhanden.
- Die spanische Version des Chatbots wies einige Textfehler auf und enthielt noch einige Elemente auf Englisch, so dass eine bessere Lokalisierung erforderlich war.
Unsere Berater fanden heraus, dass es eine Möglichkeit gab, ein natürlicheres Gesprächsszenario für den Nescafe-Chatbot zu schaffen.
Viele der Beobachtungen über Kommunikation und Empathie hängen damit zusammen, dass man während eines interaktiven Dialogs entweder zu viel oder zu wenig sagt, was dazu führt, dass die Interaktion ziemlich künstlich bleibt.
Weniger vordefinierte Wege und mehr schrittweise Gesprächselemente können zu einer besseren und natürlicheren Kommunikation führen.
