Экспертная оценка чатбота бренда Великобритания и Мексика

MAG.AI Logo

Международная экспертиза чатбота с искусственным интеллектом

MSG.AI использует экспертную оценку для обучения чатботов ИИ в Великобритании и Мексике

Chatbot mobile

Справочная информация

MSG.AI - американская компания, занимающаяся искусственным интеллектом (ИИ) и разработкой технологий взаимодействия человека и компьютера. Основанная в 2015 году, их цель - сделать общение с компаниями блестящим опытом обслуживания клиентов. Они наделяют ИИ способностью реагировать на повторяющиеся проблемы клиентов, позволяя при этом агентам-людям сосредоточиться на работе с высокой отдачей.

Кратко

Компания MSG.AI поручила UX24/7 провести экспертную оценку чат-бота Nescafe Dolce Gusto, работающего в Facebook Messenger. Основное внимание было уделено следующим областям:

  • Возникновение запланированных реакций, например, реакция, когда бот не понимает пользователя
  • Ответы бота, которые пользователь считает неправильными, когда бот считает их правильными
  • Обязанность заботы и троллинг, например, как бот справляется с плохим языком, угрожающим поведением, оскорблениями, членовредительством и т.д.

Экспертные оценки были проведены для испанской версии чат-бота для мексиканского рынка, а также для английской версии.

Методология

Экспертиза - это детальная оценка пользовательского опыта (UX) чатбота, которая проводится UX-консультантом. Детальные проблемы UX выявляются после прохождения ключевых пользовательских маршрутов и взаимодействий с помощью естественного языка.

UX-консультант определяет ключевые пути пользователя для чатбота (т.е. задачи, которые обычно выполняют пользователи при взаимодействии с чатботом) и любые другие сценарии, которые необходимо выполнить для оценки взаимодействия с чатботом.

Проводится когнитивное прохождение каждого пути пользователя/сценария и выявляются проблемы UX. При этом консультант принимает образ мышления пользователя и воссоздает, насколько это возможно, тип реального взаимодействия, который ожидается. Взаимодействие оценивается, и проблемы, влияющие на пользовательский опыт, фиксируются с помощью рейтинга серьезности.

Эти конкретные области были изучены консультантами:

  • Навигация - насколько эффективно бот может предлагать пользователю выбор для ускорения ответов
  • Содержание - точность и полнота ответов, предоставляемых ботом, и когда в контексте они отвечают информационным потребностям пользователя
  • Презентация - тестирование тона голоса и соответствие ответов бота ожидаемому поведению/имиджу бренда
  • Функция - тестирование эффективности, с которой бот решает запрос пользователя, цель - использовать наименьшее количество вопросов для получения ответа
  • Обратная связь - измерение эффективности рекомендаций, которые бот дает в случае ошибки
  • Персонализация - может ли бот запоминать предыдущие взаимодействия и предпочтения пользователя, чтобы улучшить понимание текущего контекста
  • Эволюция - повышается ли интеллект бота со временем? Это характеристика технологии бота, которую можно оценить в течение определенного периода времени и при регулярном взаимодействии.

КРАТКИЕ ФАКТЫ

  • Экспертная оценка по структурированной системе
  • Оценка пользовательских маршрутов чатботов
  • Мексиканская испанская и английская версии оценены на рынке
  • Эффективность чатботов и управление

Результаты

Консультанты обнаружили, что язык, используемый чатботом, был в основном понятным и уместным. Он имел дружелюбный и неформальный тон, но иногда был излишне многословным. Советы по оказанию помощи были хорошо сформулированы и сопровождались демонстрацией диаграмм. Это было полезно и позволяло пользователю контролировать процесс.

Чатбот часто не распознавал ключевые слова, например, "капсулы", "запасные части" и эскалировал проблемы, вместо того чтобы предоставлять стандартный справочный контент на вопросы, которые, скорее всего, задают пользователи. При возникновении проблем чатбот не направлял пользователя к консультанту или агенту, который мог бы помочь в данной ситуации.

Информация о продукции, предоставленная по ассортименту Nescafe Dolce Gusto, не помогла пользователю сориентироваться при выборе продукта. Используемый язык скорее напоминает "маркетинговую речь", чем краткое описание характеристик, которые, скорее всего, нужны пользователю.

Однако чатбот эффективно справлялся с неуместными выражениями и вопросами, быстро обнаруживая и останавливая использование нецензурной лексики.

Вот некоторые из ключевых областей, которые мы выявили для MSG.AI:

  • Интерактивный опыт может быть улучшен путем предоставления пошаговых инструкций, которые позволяют пользователям выполнять действия на своих машинах и обеспечивать обратную связь с чатботом на каждом шаге.
  • Использование анимированных изображений без пронумерованных шагов может быть запутанным и неэффективным, поскольку многие сценарии являются сложными.
  • Для облегчения выбора продукта было рекомендовано, чтобы чатбот "направлял" пользователя к определенному продукту на основе последовательности вопросов с несколькими вариантами ответов.
  • Пользовательский опыт работы с испанской версией был схож с опытом работы с английской версией, но некоторые ключевые элементы в испанской версии отсутствовали.
  • Испанская версия чатбота имела некоторые текстовые ошибки и все еще содержала некоторые элементы на английском языке, поэтому требовалась более качественная локализация.

Наши консультанты обнаружили возможность создания более естественного разговорного сценария для чатбота Nescafe.

Многие наблюдения о коммуникации и эмпатии связаны с тем, что во время интерактивного диалога человек говорит либо слишком много, либо слишком мало, что приводит к тому, что взаимодействие остается довольно искусственным.

Меньше предопределенных путей и больше пошаговых элементов разговора могут привести к лучшему и более естественному общению.

Похожие посты