Revisión internacional de expertos en chatbot de IA
MSG.AI utiliza la revisión de expertos para entrenar el chatbot de IA en el Reino Unido y México
MSG.AI es una empresa estadounidense de inteligencia artificial (IA) y desarrolladora de tecnologías de interacción persona-ordenador. Fundada en 2015, su objetivo es hacer que el contacto con las empresas sea una experiencia brillante de atención al cliente. Capacitan a la IA para responder a los problemas de los clientes que se repiten, al tiempo que permiten a los agentes humanos centrarse en el trabajo de alto impacto.
MSG.AI encargó a UX24/7 una evaluación de expertos sobre un chatbot de Nescafé Dolce Gusto que opera en Facebook Messenger. La atención se centró en las siguientes áreas:
- Ocurrencia de las respuestas previstas, como la reacción cuando el bot no entiende al usuario
- Respuestas del bot que el usuario no considera correctas, cuando el bot las considera correctas
- El deber de cuidado y el trolling, como la forma en que el bot maneja el mal lenguaje, el comportamiento amenazante, el abuso, la autolesión, etc.
Se realizaron revisiones de expertos en una versión en español del chatbot para el mercado mexicano, así como en una versión en inglés.
Una revisión por expertos es una evaluación detallada del funcionamiento de la experiencia de usuario (UX) de un chatbots y la lleva a cabo un consultor de UX. Se identifican problemas de UX detallados tras un recorrido por los trayectos e interacciones clave del usuario a través del lenguaje natural.
El consultor de UX identifica los recorridos clave del usuario para el chatbot (es decir, las tareas que suelen realizar los usuarios cuando interactúan con el chatbot) y cualquier otro escenario que deba realizarse para evaluar la interacción con el chatbot.
Se lleva a cabo un recorrido cognitivo de cada viaje/escenario del usuario y se identifican los problemas de UX. Para ello, el consultor adopta la mentalidad de un usuario y recrea, lo más fielmente posible, el tipo de interacciones que se esperan en el mundo real. Se evalúa la interacción y se registran los problemas que repercuten en la experiencia del usuario mediante la clasificación de su gravedad.
Los consultores exploraron estos ámbitos específicos:
- Navegación ? la eficacia con la que el bot puede ofrecer opciones al usuario para acelerar las respuestas
- Contenido ? la precisión y exhaustividad de las respuestas proporcionadas por un bot, y en qué contexto satisfaría las necesidades de información del usuario
- Presentación Ÿ Comprobar el tono de voz y si las respuestas dadas por el bot se ajustan al comportamiento esperado/imagen de marca.
- Función ? probar la eficacia con la que un bot resuelve una petición del usuario, siendo el objetivo utilizar el menor número de preguntas para proporcionar la respuesta
- Comentarios ? medir la eficacia de las recomendaciones que proporciona un bot en caso de error
- Personalización ? si el bot puede recordar interacciones históricas y las preferencias del usuario para mejorar su comprensión del contexto actual
- Evolución ? ¿aumenta la inteligencia del bot con el tiempo? Se trata de una característica de la tecnología bot que puede evaluarse a lo largo del tiempo y mediante una interacción regular.
DATOS RÁPIDOS
- Revisión de expertos con respecto al marco estructurado
- Evaluación de los recorridos de los usuarios del chatbot
- Se evalúan las versiones mexicanas en español e inglés en el mercado
- Eficacia y gobernanza del chatbot
Los consultores consideraron que el lenguaje utilizado por el chatbot era en su mayoría claro y apropiado. Tenía un tono amistoso e informal, pero a veces era excesivamente farragoso. Los consejos de ayuda estaban bien redactados y contaban con la ayuda de diagramas. Esto era útil y permitía al usuario tener el control del proceso.
A menudo, el chatbot no reconocía palabras clave, como "cápsulas" o "piezas de repuesto", y escalaba los problemas en lugar de ofrecer contenidos de ayuda estándar a las preguntas que los usuarios suelen plantear. Cuando surgían problemas, el chatbot no dirigía al usuario a un asesor o agente que pudiera ayudarle en la situación.
La información facilitada sobre la gama Dolce Gusto de Nescafé no ayuda a orientar al usuario en la selección del producto. El lenguaje utilizado se inclinaba más hacia la "jerga de marketing" que hacia un resumen conciso de las características que probablemente desearía el usuario.
Sin embargo, el chatbot manejó el lenguaje y las preguntas inapropiadas con eficacia, detectando rápidamente y deteniendo el uso de lenguaje obsceno.
Estas son algunas de las principales áreas de conocimiento que descubrimos para MSG.AI:
- La experiencia interactiva puede mejorarse proporcionando instrucciones paso a paso que permitan a los usuarios ejecutar acciones en sus máquinas y proporcionar información al chatbot en cada paso.
- Confiar en el uso de imágenes animadas, sin pasos numerados, puede resultar confuso e ineficiente, ya que muchos de los escenarios son complejos.
- Para facilitar la selección de productos, se recomendó que el chatbot "dirigiera" al usuario a un producto concreto en función de una secuencia de preguntas de opción múltiple.
- La experiencia del usuario de la versión española fue similar a la experiencia con la inglesa, pero algunos elementos clave de la experiencia no existían en la versión española.
- La versión en español del chatbot tiene algunos errores de texto y todavía tenía algunos elementos en inglés, por lo que era necesario mejorar la localización.
Nuestros consultores descubrieron que había una oportunidad de crear un escenario conversacional más natural para el chatbot de Nescafé.
Muchas de las observaciones sobre la comunicación y la empatía están relacionadas con el hecho de decir demasiado o demasiado poco durante un diálogo interactivo, lo que hace que la interacción sea bastante artificial.
Menos caminos predefinidos y más elementos de conversación paso a paso pueden conducir a una comunicación mejor y más natural.
