MultiWOZ 2.3:增强标注修正与指代标注的多领域任务型对话数据集
计算与语言
2021-06-15 v3
摘要
任务型对话系统已取得前所未有的进展,多种最先进(SOTA)模型以若干公开可用的MultiWOZ数据集为基础。对话状态标注容易出错,导致次优性能。已有多种努力用于纠正原始MultiWOZ数据集中存在的标注错误。在本文中,我们引入MultiWOZ 2.3,其中我们将对话行为中的错误标注与对话状态区分开来,并在发布更新数据集时识别出指代关系的缺失。为确保对话行为与对话状态之间的一致性,我们实现了指代特征并统一了对话行为与对话状态的标注。我们在MultiWOZ 2.3上更新了自然语言理解和对话状态跟踪的最先进性能,结果表明其相比先前版本的MultiWOZ数据集(2.0-2.2)有显著改进。
引用
@article{arxiv.2010.05594,
title = {MultiWOZ 2.3: A multi-domain task-oriented dialogue dataset enhanced with annotation corrections and co-reference annotation},
author = {Ting Han and Ximing Liu and Ryuichi Takanobu and Yixin Lian and Chongxuan Huang and Dazhen Wan and Wei Peng and Minlie Huang},
journal= {arXiv preprint arXiv:2010.05594},
year = {2021}
}