MultiWOZ 2.2：一个带有额外标注修正与状态追踪基线的对话数据集
计算与语言
2020-07-28 v1 人工智能
摘要
MultiWOZ 是一个著名的任务导向型对话数据集，包含超过 10,000 个跨越 8 个领域的已标注对话。它被广泛用作对话状态追踪的基准。然而，近期研究指出对话状态标注中存在大量噪声。MultiWOZ 2.1 识别并修复了许多此类错误标注和用户话语，从而产生了该数据集的改进版本。本工作引入了 MultiWOZ 2.2，这是该数据集的又一个改进版本。首先，我们在 MultiWOZ 2.1 的基础上识别并修正了 17.3% 话语中的对话状态标注错误。其次，我们通过禁止具有大量可能值的槽位词汇（例如餐厅名称、预订时间）来重新定义本体。此外，我们为这些槽位引入了槽位跨度标注，以使其在近期模型中标准化，这些模型先前使用自定义的字符串匹配启发式方法来生成它们。我们还在修正后的数据集上对几个最先进的对话状态追踪模型进行了基准测试，以便为未来工作提供比较。最后，我们讨论了有助于避免标注错误的对话数据收集最佳实践。
引用
@article{arxiv.2007.12720,
title = {MultiWOZ 2.2 : A Dialogue Dataset with Additional Annotation Corrections and State Tracking Baselines},
author = {Xiaoxue Zang and Abhinav Rastogi and Srinivas Sunkara and Raghav Gupta and Jianguo Zhang and Jindong Chen},
journal= {arXiv preprint arXiv:2007.12720},
year = {2020}
}