
Revue internationale d'experts sur les chatbots d'intelligence artificielle
MSG.AI fait appel à des experts pour former des chatbots au Royaume-Uni et au Mexique

MSG.AI est une société américaine d'intelligence artificielle (IA) et de développement de technologies d'interaction homme-machine. Fondée en 2015, son objectif est de faire de la prise de contact avec les entreprises une expérience de service client brillante. Ils donnent à l'IA les moyens de répondre aux problèmes des clients qui sont reproductibles, tout en permettant aux agents humains de se concentrer sur des tâches à fort impact.
UX24/7 a été chargé par MSG.AI d'entreprendre une évaluation d'expert sur un chatbot Nescafe Dolce Gusto qui opère sur Facebook Messenger. L'accent a été mis sur les domaines suivants :
- Occurrence des réponses prévues, telles que la réaction lorsque le robot ne comprend pas l'utilisateur
- Réponses du robot que l'utilisateur ne pense pas être correctes, alors que le robot pense qu'elles sont correctes.
- Le devoir de diligence et le trolling, par exemple la manière dont le bot gère le langage grossier, les comportements menaçants, les abus, l'automutilation, etc.
Des examens d'experts ont été effectués sur une version espagnole du chatbot pour le marché mexicain ainsi que sur une version anglaise.
Un examen par un expert est une évaluation détaillée de l'expérience utilisateur (UX) d'un chatbot et est réalisé par un consultant UX. Les problèmes détaillés d'expérience utilisateur sont identifiés à la suite d'une visite des principaux parcours et interactions des utilisateurs en langage naturel.
Le consultant UX identifie les principaux parcours de l'utilisateur pour le chatbot (c'est-à-dire les tâches couramment effectuées par les utilisateurs lorsqu'ils interagissent avec le chatbot) et tout autre scénario qui doit être entrepris pour évaluer l'interaction avec le chatbot.
Un parcours cognitif de chaque parcours/scénario utilisateur est entrepris et les problèmes UX sont identifiés. Le consultant adopte l'état d'esprit d'un utilisateur et recrée, aussi fidèlement que possible, le type d'interactions réelles auxquelles il s'attend. L'interaction est évaluée et les problèmes qui ont un impact sur l'expérience de l'utilisateur sont enregistrés à l'aide de notes de gravité.
Ces domaines spécifiques ont été explorés par les consultants :
- Navigation ? dans quelle mesure le robot peut-il offrir des choix à l'utilisateur afin d'accélérer les réponses ?
- Contenu ? l'exactitude et l'exhaustivité des réponses fournies par un robot, et quand, dans le contexte, elles répondent aux besoins d'information de l'utilisateur
- Présentation ? tester le ton de la voix et vérifier si les réponses données par le robot sont conformes au comportement attendu/à l'image de marque
- Fonction ? tester l'efficacité avec laquelle un robot répond à une demande d'un utilisateur, l'objectif étant d'utiliser le moins de questions possible pour fournir la réponse
- Retour d'information ? mesurer l'efficacité des recommandations qu'un robot fournit en cas d'erreur
- Personnalisation ? si le robot peut se souvenir des interactions passées et des préférences de l'utilisateur, afin d'améliorer sa compréhension du contexte actuel
- L'évolution L'intelligence du robot augmente-t-elle avec le temps ? Il s'agit d'une caractéristique de la technologie du robot qui peut être évaluée sur une certaine période et grâce à une interaction régulière.
EN BREF
- Examen par des experts sur la base d'un cadre structuré
- Évaluation des parcours des utilisateurs de chatbots
- Les versions mexicaine, espagnole et anglaise sont évaluées sur le marché
- Efficacité des chatbots et gouvernance
Les consultants ont constaté que le langage utilisé par le chatbot était généralement clair et approprié. Le ton était amical et informel, mais il était parfois trop compliqué. Les conseils d'aide étaient bien formulés et accompagnés de schémas. Cela s'est avéré utile et a permis à l'utilisateur de contrôler le processus.
Le chatbot n'a souvent pas reconnu des mots clés tels que " capsules ", " pièces détachées " et a fait remonter les problèmes plutôt que de fournir un contenu d'aide standard aux questions que les utilisateurs sont susceptibles de poser. En cas de problème, le chatbot ne dirigeait pas l'utilisateur vers un conseiller ou un agent susceptible de l'aider.
Les informations fournies sur la gamme Nescafe Dolce Gusto n'ont pas aidé l'utilisateur à choisir le produit. Le langage utilisé s'apparente davantage à un "langage marketing" qu'à un résumé concis des caractéristiques que l'utilisateur est susceptible de rechercher.
Cependant, le chatbot a géré efficacement les questions et les propos inappropriés, en détectant rapidement et en arrêtant l'utilisation d'un langage obscène.
Voici quelques-uns des domaines clés que nous avons découverts pour MSG.AI :
- L'expérience interactive peut être améliorée en fournissant des instructions étape par étape qui permettent aux utilisateurs d'exécuter des actions sur leurs machines et de fournir un retour d'information au chatbot à chaque étape.
- L'utilisation d'images animées, sans étapes numérotées, peut être source de confusion et d'inefficacité, car de nombreux scénarios sont complexes.
- Pour faciliter la sélection des produits, il a été recommandé que le chatbot "entoure" l'utilisateur d'un produit spécifique sur la base d'une séquence de questions à choix multiples.
- L'expérience de l'utilisateur de la version espagnole était similaire à celle de la version anglaise, mais certains éléments clés de l'expérience n'existaient pas sur la version espagnole.
- La version espagnole du chatbot comportait quelques erreurs de texte et certains éléments étaient encore en anglais, d'où la nécessité d'une meilleure localisation.
Nos consultants ont constaté qu'il était possible de créer un scénario de conversation plus naturel pour le chatbot de Nescafe.
De nombreuses observations sur la communication et l'empathie sont liées au fait d'en dire trop ou trop peu au cours d'un dialogue interactif, ce qui a pour effet de rendre l'interaction assez artificielle.
Moins de chemins prédéfinis et plus d'éléments de conversation étape par étape peuvent conduire à une communication meilleure et plus naturelle.