MultiWOZ 2.4：一个具有关键标注修正以改进状态追踪评测的多领域任务型对话数据集
计算与语言
2022-07-12 v2
摘要
MultiWOZ 2.0 数据集极大地推动了任务型对话系统的研究。然而，其状态标注含有大量噪声，阻碍了模型性能的合理评测。为解决此问题，人们投入了大量精力来修正标注。随后发布了三个改进版本（即 MultiWOZ 2.1-2.3）。尽管如此，仍存在大量不正确和不一致的标注。本文介绍 MultiWOZ 2.4，其对 MultiWOZ 2.1 的验证集和测试集标注进行了精炼。训练集标注保持不变（与 MultiWOZ 2.1 相同），以促使模型训练具备鲁棒性和抗噪声能力。我们在 MultiWOZ 2.4 上对八个最先进的对话状态追踪模型进行了基准测试。它们全部展现出远高于在 MultiWOZ 2.1 上的性能。
引用
@article{arxiv.2104.00773,
title = {MultiWOZ 2.4: A Multi-Domain Task-Oriented Dialogue Dataset with Essential Annotation Corrections to Improve State Tracking Evaluation},
author = {Fanghua Ye and Jarana Manotumruksa and Emine Yilmaz},
journal= {arXiv preprint arXiv:2104.00773},
year = {2022}
}
备注
Accepted to SIGDIAL 2022 (https://2022.sigdial.org/)