聊天机器人调试的民主化：一种评估与解释不当聊天机器人响应的计算框架
人机交互
2023-06-21 v1
摘要
评估并理解聊天机器人行为的不当性可能具有挑战性，尤其对于无技术背景的聊天机器人设计者而言。为使非技术设计者调试聊天机器人失当行为的过程民主化，我们提出一种利用对话行为（dialogue act, DA）建模来自动化评估与解释聊天机器人响应不当性的框架。该框架首先基于话语分析理论与真实人机对话转录文本生成情境感知DA的刻画。随后其自动提取特征以识别响应的恰当性水平，并可通过考察响应与其对话上下文之间的DA失配来解释不当响应的成因。以访谈聊天机器人为测试平台，我们的框架取得了与深度学习基线相当的 classification 精度，且具有更高可解释性与更少计算资源，成为利用DA进行聊天机器人响应恰当性评估与解释的第一步。
引用
@article{arxiv.2306.10147,
title = {Democratizing Chatbot Debugging: A Computational Framework for Evaluating and Explaining Inappropriate Chatbot Responses},
author = {Xu Han and Michelle Zhou and Yichen Wang and Wenxi Chen and Tom Yeh},
journal= {arXiv preprint arXiv:2306.10147},
year = {2023}
}
备注
7 pages, 4 figures, accepted to CUI 2023 poster track