R-U-A-Robot数据集：通过检测关于人或非人身份的用户问题助力避免聊天机器人欺骗
计算与语言
2021-06-08 v1 人机交互
摘要
人类正日益通过语言与机器交互，有时在用户可能不知晓自己正与机器对话的情境下（如电话或文本聊天机器人）。我们旨在理解系统设计师与研究者如何使其系统确认自身的非人身份。我们收集了超过2500条与“你是机器人吗？”意图相关的表述。这配以超过2500条对抗性筛选的话语，其中仅确认系统为非人是不够的或不流畅的。我们比较了识别该意图的分类器，并讨论了精确率/召回率与模型复杂度的权衡。此类分类器可集成至对话系统以避免不期望的欺骗。随后我们探究了生成式研究模型（Blender）以及两个已部署系统（Amazon Alexa、Google Assistant）如何处理该意图，发现系统常未能确认其非人身份。最后，我们试图理解对该意图的良好回应应是什么，并开展用户研究以比较回应此意图时的重要方面。
引用
@article{arxiv.2106.02692,
title = {The R-U-A-Robot Dataset: Helping Avoid Chatbot Deception by Detecting User Questions About Human or Non-Human Identity},
author = {David Gros and Yu Li and Zhou Yu},
journal= {arXiv preprint arXiv:2106.02692},
year = {2021}
}