人工智能聊天机器人的国际专家评审
MSG.AI在英国和墨西哥使用专家评审来训练AI聊天机器人
MSG.AI是一家美国人工智能（AI）公司和人机交互技术的开发商。成立于2015年，他们的目标是使联系公司的客户服务体验更加出色。他们赋予人工智能应对客户问题的能力，这些问题是可重复的，同时使人类代理人能够专注于高影响力的工作。
UX24/7受MSG.AI委托，对在Facebook Messenger上运行的Nescafe Dolce Gusto聊天机器人进行了专家评估。重点是在以下方面。
- 计划中的反应的发生，如机器人不理解用户时的反应
- 当机器人认为正确时，用户认为不正确的机器人的反应
- 关心义务和扯皮，如机器人如何处理坏话、威胁行为、虐待、自我伤害等。
专家们对针对墨西哥市场的西班牙语版本的聊天工具以及英语版本进行了审查。
专家审查是对聊天机器人用户体验（UX）操作的详细评估，由用户体验顾问进行。在通过自然语言对关键的用户旅程和互动进行走访后，会发现详细的用户体验问题。
用户体验顾问为聊天机器人确定关键的用户旅程（即用户在与聊天机器人互动时通常执行的任务），以及任何其他需要进行评估与聊天机器人互动的场景。
对每个用户旅程/场景进行认知演练，确定用户体验问题。这就是顾问采用用户的思维方式，尽可能地再现现实世界中预期的互动类型。对互动进行评估，并使用严重程度评级来记录影响用户体验的问题。
顾问们对这些具体领域进行了探讨。
- 导航 - 机器人如何有效地向用户提供选择，以加快反应速度
- 内容 - 机器人提供的答复的准确性和完整性，以及在什么情况下它能满足用户的信息需求
- 演示文稿 - 测试语音语调以及机器人给出的反应是否符合预期行为/品牌形象
- 职能 - 测试机器人解决用户请求的效率，目标是用最少的问题来提供答案。
- 反馈信息 - 衡量机器人在发生错误时提供的建议的有效性
- 个性化定制 - 机器人是否能记住历史上的互动，以及用户的偏好，以提高它对当前环境的理解。
- 演变 - 机器人的智力是否随着时间的推移而提高？这是机器人技术的一个特点，可以在一段时间内，通过定期互动来评估。
简要事实
- 专家对照结构化框架进行审查
- 评估的聊天机器人用户旅程
- 市场上评估的墨西哥西班牙语和英语版本
- 聊天机器人的有效性和治理
顾问们发现，聊天机器人所使用的语言大多清晰而恰当。它有一种友好和非正式的语气，但有时过于啰嗦。帮助建议的措辞很好，并有图示帮助。这很有用，使用户能够控制整个过程。
聊天机器人经常不能识别关键词，如 "胶囊"、"备件"，并将问题升级，而不是为用户可能提出的问题提供标准帮助内容。 当问题出现时，聊天机器人并没有把用户引向可能能够帮助他们的顾问或代理。
雀巢咖啡Dolce Gusto系列提供的产品信息无助于指导用户选择产品。所使用的语言偏向于 "营销语言"，而不是对用户可能需要的功能进行简明的总结。
然而，该聊天机器人有效地处理了不恰当的语言和问题，迅速检测并阻止了淫秽语言的使用。
这些是我们为MSG.AI发现的一些关键领域的洞察力。
- 通过提供分步指示，让用户在他们的机器上执行操作，并在每个步骤中向聊天机器人提供反馈，可以增强互动体验。
- 依靠使用动画图像，没有编号的步骤可能会让人感到困惑和低效，因为许多场景都很复杂。
- 为了帮助用户选择产品，建议聊天机器人根据一连串的多选题将用户 "引向 "特定产品。
- 西班牙语版本的用户体验与英语版本的体验相似，但一些关键的体验元素在西班牙语版本中并不存在。
- 西班牙版本的聊天工具有一些文字错误，而且仍有一些英文元素，所以需要更好的本地化。
我们的顾问发现，有机会为雀巢咖啡的聊天机器人创造一个更自然的对话场景。
许多关于沟通和同理心的观察都与在互动对话中说得太多或太少有关，这导致保持互动相当人为。
更少的预定路径和更多的对话步骤元素可以带来更好和更自然的沟通。
