切勿自相矛盾！CI-ToD：面向任务型对话系统一致性基准测试
计算与语言
2021-09-24 v1
摘要
一致性识别在开放域对话中已取得显著成功，可用于防止生成不一致的回复。然而，与开放域对话的快速发展相比，面向任务型对话方向的研究甚少。本文中，我们认为一致性问题在任务型领域更为紧迫。为促进研究，我们引入了CI-ToD，一个用于任务型对话系统一致性识别的新数据集。此外，我们不仅标注了单一标签以使模型判断系统回复是否矛盾，还提供了更细粒度的标签（即对话历史不一致、用户查询不一致和知识库不一致）以促使模型知晓导致不一致的来源。实证结果显示，最先进的方法仅达到51.3%，远落后于人类93.2%的表现，表明一致性识别能力仍有很大提升空间。最后，我们进行了详尽的实验与定性分析以理解关键挑战，并为未来方向提供指导。所有数据集与模型已在 \url{https://github.com/yizhen20133868/CI-ToD} 公开。
引用
@article{arxiv.2109.11292,
title = {Don't be Contradicted with Anything! CI-ToD: Towards Benchmarking Consistency for Task-oriented Dialogue System},
author = {Libo Qin and Tianbao Xie and Shijue Huang and Qiguang Chen and Xiao Xu and Wanxiang Che},
journal= {arXiv preprint arXiv:2109.11292},
year = {2021}
}
备注
Accepted at EMNLP2021 Main Conference