Revisão Internacional de Especialistas em IA chatbot
MSG.AI usa revisão especializada para treinar AI Chatbot no Reino Unido e México
MSG.AI é uma empresa americana de inteligência artificial (IA) e desenvolvedora de tecnologias de interação homem-computador. Fundada em 2015, seu objetivo é tornar o contato com as empresas uma experiência brilhante de atendimento ao cliente. Eles capacitam a IA a responder aos problemas dos clientes que são repetíveis, enquanto permitem que os agentes humanos se concentrem no trabalho de alto impacto.
O UX24/7 foi encomendado pelo MSG.AI para realizar uma avaliação especializada em um chatbot Nescafe Dolce Gusto que opera no Facebook Messenger. O foco estava nas seguintes áreas:
- Ocorrência das respostas planejadas, tais como a reação quando o bot não entende o usuário
- Respostas do bot que o usuário acha que não estão corretas, quando o bot acha que estão corretas
- Dever de cuidado e trolling, como por exemplo, como o bot lida com a linguagem ruim, comportamento ameaçador, abuso, automutilação, etc.
Foram feitas revisões especializadas em uma versão espanhola do chatbot para o mercado mexicano, bem como em uma versão inglesa.
Uma revisão especializada é uma avaliação detalhada de uma operação de chatbots (UX) e é realizada por um consultor UX. As questões UX detalhadas são identificadas após uma caminhada pelas principais viagens e interações dos usuários através de uma linguagem natural.
O consultor UX identifica as principais viagens do usuário para o chatbot (ou seja, tarefas que são comumente realizadas pelos usuários ao interagir com o chatbot) e quaisquer outros cenários que precisam ser realizados para avaliar a interação com o chatbot.
Uma caminhada cognitiva de cada jornada/cenário de usuário é realizada e são identificadas questões UX. É aqui que o consultor adota a mentalidade de um usuário e recria, o mais próximo possível, o tipo de interações do mundo real que seriam esperadas. A interação é avaliada e os problemas são registrados usando classificações de severidade, que impactam a experiência do usuário.
Estas áreas específicas foram exploradas pelos consultores:
- Navegação ? Com que eficiência o bot pode oferecer opções ao usuário para acelerar as respostas?
- Conteúdo ? a precisão e a integridade das respostas fornecidas por um bot e quando, no contexto, elas atenderiam às necessidades de informação do usuário
- Apresentação Testar o tom de voz e se as respostas dadas pelo bot estão de acordo com o comportamento esperado/imagem da marca
- Função Testar a eficiência com que um bot resolve uma solicitação do usuário, com o objetivo de usar o menor número de perguntas para fornecer a resposta
- Feedback ? medir a eficácia das recomendações que um bot fornece em caso de erro
- Personalização ? se o bot pode se lembrar de interações históricas e das preferências do usuário para melhorar sua compreensão do contexto atual
- Evolução ? a inteligência do bot aumenta com o tempo? Essa é uma característica da tecnologia do bot que pode ser avaliada em um período de tempo e por meio de interação regular.
FATOS RÁPIDOS
- Revisão especializada em relação a uma estrutura estruturada
- Viagens de usuários Chatbot avaliadas
- Versões mexicanas em espanhol e inglês avaliadas no mercado
- Eficácia e governança do Chatbot
Os consultores descobriram que a linguagem utilizada pelo chatbot era, na maioria das vezes, clara e apropriada. Tinha um tom amistoso e informal, mas às vezes era excessivamente trabalhado. Os conselhos de ajuda eram bem redigidos e auxiliados pela apresentação de diagramas. Isto foi útil e permitiu que o usuário tivesse o controle do processo.
O chatbot muitas vezes não reconhecia palavras-chave, por exemplo, "cápsulas", "peças de reposição", e escalava os problemas em vez de fornecer conteúdo de ajuda padrão para perguntas que os usuários provavelmente fariam. Quando surgiam problemas, o chatbot não direcionava o usuário a um consultor ou agente que pudesse ajudar na situação.
As informações sobre o produto fornecidas sobre a linha Nescafé Dolce Gusto não ajudaram a orientar o usuário na seleção do produto. A linguagem usada se inclinava para o "discurso de marketing" em vez de um resumo conciso dos recursos que o usuário provavelmente desejaria.
Entretanto, o chatbot lidou com linguagem inadequada e perguntas de forma eficaz, detectando rapidamente e interrompendo o uso de linguagem obscena.
Estas são algumas das principais áreas de visão que descobrimos para o MSG.AI:
- A experiência interativa pode ser aprimorada fornecendo instruções passo a passo que permitem aos usuários executar ações em suas máquinas e fornecer feedback ao chatbot a cada passo.
- Confiar no uso de imagens animadas, sem etapas numeradas, pode ser confuso e ineficiente, uma vez que muitos dos cenários são complexos.
- Para ajudar na seleção de produtos, foi recomendado que o chatbot "canalizasse" o usuário para um produto específico com base em uma sequência de perguntas de múltipla escolha.
- A experiência do usuário da versão em espanhol foi semelhante à experiência com a versão em inglês, mas alguns elementos-chave da experiência não existiam na versão em espanhol.
- A versão em espanhol do chatbot tem alguns erros de texto e ainda tinha alguns elementos em inglês, portanto foi necessária uma melhor localização.
Nossos consultores descobriram que havia uma oportunidade de criar um cenário de conversação mais natural para o chatbot da Nescafe.
Muitas das observações sobre comunicação e empatia estão relacionadas a dizer muito ou pouco durante um diálogo interativo, o que resulta em manter a interação bastante artificial.
Caminhos menos predefinidos e mais elementos de conversação passo a passo podem levar a uma comunicação melhor e mais natural.
