Revisión de expertos del chatbot de la marca Reino Unido y México

MAG.AI Logo

Revisión internacional de expertos en chatbot de IA

MSG.AI utiliza la revisión de expertos para entrenar el chatbot de IA en el Reino Unido y México

Chatbot mobile

Antecedentes

MSG.AI es una empresa estadounidense de inteligencia artificial (IA) y desarrolladora de tecnologías de interacción persona-ordenador. Fundada en 2015, su objetivo es hacer que el contacto con las empresas sea una experiencia brillante de atención al cliente. Capacitan a la IA para responder a los problemas de los clientes que se repiten, al tiempo que permiten a los agentes humanos centrarse en el trabajo de alto impacto.

Breve

MSG.AI encargó a UX24/7 una evaluación de expertos sobre un chatbot de Nescafé Dolce Gusto que opera en Facebook Messenger. La atención se centró en las siguientes áreas:

  • Ocurrencia de las respuestas previstas, como la reacción cuando el bot no entiende al usuario
  • Respuestas del bot que el usuario no cree que sean correctas, cuando el bot cree que son correctas
  • El deber de cuidado y el trolling, como la forma en que el bot maneja el mal lenguaje, el comportamiento amenazante, el abuso, la autolesión, etc.

Se realizaron revisiones de expertos en una versión en español del chatbot para el mercado mexicano, así como en una versión en inglés.

Metodología

Una revisión por expertos es una evaluación detallada del funcionamiento de la experiencia de usuario (UX) de un chatbots y la lleva a cabo un consultor de UX. Se identifican problemas de UX detallados tras un recorrido por los trayectos e interacciones clave del usuario a través del lenguaje natural.

El consultor de UX identifica los recorridos clave del usuario para el chatbot (es decir, las tareas que suelen realizar los usuarios cuando interactúan con el chatbot) y cualquier otro escenario que deba realizarse para evaluar la interacción con el chatbot.

Se lleva a cabo un recorrido cognitivo de cada viaje/escenario del usuario y se identifican los problemas de UX. Para ello, el consultor adopta la mentalidad de un usuario y recrea, lo más fielmente posible, el tipo de interacciones que se esperan en el mundo real. Se evalúa la interacción y se registran los problemas que repercuten en la experiencia del usuario mediante la clasificación de su gravedad.

Los consultores exploraron estos ámbitos específicos:

  • Navegación - cómo puede el bot ofrecer opciones al usuario para acelerar las respuestas
  • Contenido - la exactitud y la exhaustividad de las respuestas proporcionadas por un bot, y si en el contexto satisface las necesidades de información del usuario
  • Presentación - comprobar el tono de voz y si las respuestas dadas por el bot se ajustan al comportamiento esperado/imagen de marca
  • Función - probar la eficacia con la que un bot resuelve una petición del usuario, siendo el objetivo utilizar el menor número de preguntas para dar la respuesta
  • Comentarios - medir la eficacia de las recomendaciones que un bot proporciona en caso de error
  • Personalización - si el bot puede recordar interacciones históricas, y las preferencias del usuario, para mejorar su comprensión del contexto actual
  • Evolución - ¿Aumenta la inteligencia del bot con el tiempo? Se trata de una característica de la tecnología del bot que puede evaluarse a lo largo de un periodo de tiempo y mediante una interacción regular.

DATOS RÁPIDOS

  • Revisión de expertos con respecto al marco estructurado
  • Evaluación de los recorridos de los usuarios del chatbot
  • Se evalúan las versiones mexicanas en español e inglés en el mercado
  • Eficacia y gobernanza del chatbot

Resultados

Los consultores consideraron que el lenguaje utilizado por el chatbot era en su mayoría claro y apropiado. Tenía un tono amistoso e informal, pero a veces era excesivamente farragoso. Los consejos de ayuda estaban bien redactados y contaban con la ayuda de diagramas. Esto era útil y permitía al usuario tener el control del proceso.

El chatbot a menudo no reconocía palabras clave, como "cápsulas" o "piezas de recambio", y escalaba los problemas en lugar de ofrecer un contenido de ayuda estándar a las preguntas que los usuarios suelen plantear. Cuando surgían problemas, el chatbot no dirigía al usuario a un asesor o agente que pudiera ayudar en la situación.

La información sobre la gama Nescafé Dolce Gusto no ayuda a orientar al usuario en la selección del producto. El lenguaje utilizado se inclinaba hacia la "jerga de marketing" en lugar de un resumen conciso de las características que probablemente desee el usuario.

Sin embargo, el chatbot manejó el lenguaje y las preguntas inapropiadas con eficacia, detectando rápidamente y deteniendo el uso de lenguaje obsceno.

Estas son algunas de las principales áreas de conocimiento que descubrimos para MSG.AI:

  • La experiencia interactiva puede mejorarse proporcionando instrucciones paso a paso que permitan a los usuarios ejecutar acciones en sus máquinas y proporcionar información al chatbot en cada paso.
  • Confiar en el uso de imágenes animadas, sin pasos numerados, puede resultar confuso e ineficiente, ya que muchos de los escenarios son complejos.
  • Para ayudar a la selección de productos, se recomendó que el chatbot "dirigiera" al usuario hacia un producto específico basándose en una secuencia de preguntas de opción múltiple.
  • La experiencia del usuario de la versión española fue similar a la experiencia con la inglesa, pero algunos elementos clave de la experiencia no existían en la versión española.
  • La versión en español del chatbot tiene algunos errores de texto y todavía tenía algunos elementos en inglés, por lo que era necesario mejorar la localización.

Nuestros consultores descubrieron que había una oportunidad de crear un escenario conversacional más natural para el chatbot de Nescafé.

Muchas de las observaciones sobre la comunicación y la empatía están relacionadas con el hecho de decir demasiado o demasiado poco durante un diálogo interactivo, lo que hace que la interacción sea bastante artificial.

Menos caminos predefinidos y más elementos de conversación paso a paso pueden conducir a una comunicación mejor y más natural.

Entradas relacionadas