没有无刺的玫瑰：从模型、数据与用户中心视角探察 BlenderBot 2.0 的弱点
计算与语言
2022-07-11 v2
摘要
BlenderBot 2.0 是一个对话模型，它通过使用互联网搜索模块和多会话来反映实时信息并长期记忆用户信息，从而代表了开放域聊天机器人。尽管如此，该模型仍有改进空间。为此，我们从模型、数据和用户三个视角考察 BlenderBot 2.0 的局限与错误。从数据视角，我们强调了众包过程中提供给工人的不明确指南，以及缺乏精炼所收集数据中仇恨言论和核实基于互联网信息准确性的流程。从用户视角，我们识别出 BlenderBot 2.0 的九类局限性，并深入探究其成因。此外，针对每个视角，我们提出实用的改进方法并讨论若干潜在未来研究方向。
引用
@article{arxiv.2201.03239,
title = {There is no rose without a thorn: Finding weaknesses on BlenderBot 2.0 in terms of Model, Data and User-Centric Approach},
author = {Jungseob Lee and Midan Shim and Suhyune Son and Chanjun Park and Yujin Kim and Heuiseok Lim},
journal= {arXiv preprint arXiv:2201.03239},
year = {2022}
}
备注
English and Extention Version of "Empirical study on BlenderBot 2.0 errors analysis in terms of model, data and dialogue" (Journal of the Korea Convergence Society)