DialogVCS：对话系统升级中鲁棒的自然语言理解
计算与语言
2023-05-25 v1 人工智能
摘要
在产品对话系统的持续更新中，由于来自真实用户的新数据会并入上次更新中累积的已有数据，我们需要重新训练自然语言理解（NLU）模型。在新加入的数据中，会出现新意图，并可能与已有意图产生语义纠缠，例如语义上过于具体或过于宽泛的新意图实际上是语义空间中某些已有意图的子集或超集，从而损害 NLU 模型的鲁棒性。作为解决该问题的首次尝试，我们构建了一个由 4 个对话版本控制数据集（DialogVCS）组成的新基准。我们将系统更新中带有不完善数据的意图检测形式化为一个具有正类但未标记意图的多标签分类任务，要求模型在推理时识别所有恰当意图，包括存在语义纠缠的意图。我们还提出了全面的基线模型并对该基准进行了深入分析，表明语义纠缠意图可通过自动工作流被有效识别。
引用
@article{arxiv.2305.14751,
title = {DialogVCS: Robust Natural Language Understanding in Dialogue System Upgrade},
author = {Zefan Cai and Xin Zheng and Tianyu Liu and Xu Wang and Haoran Meng and Jiaqi Han and Gang Yuan and Binghuai Lin and Baobao Chang and Yunbo Cao},
journal= {arXiv preprint arXiv:2305.14751},
year = {2023}
}
备注
work in progress. The first three authors contribute equally