MultiWOZ 2.1：一个经状态修正并带状态追踪基线的整合多领域对话数据集
计算与语言
2019-12-05 v4 人工智能
摘要
MultiWOZ 2.0 (Budzianowski et al., 2018) 是最近发布的跨 7 个不同领域、包含超过 10,000 段对话的多领域对话数据集。尽管极其有用且是迄今同类中规模最大的资源之一，MultiWOZ 2.0 仍有一些缺陷。首先，对话状态标注和对话话语中存在大量噪声，对状态追踪模型的性能产生负面影响。其次，后续工作 (Lee et al., 2019) 为原始数据集增补了用户对话行为（dialogue acts）。这导致同一数据集存在多个带有细微修改的共存版本。在本文中，我们通过引入 MultiWOZ 2.1 来解决上述问题。为修复有噪声的状态标注，我们使用众包工作者基于数据集中的原始话语重新标注状态和话语。这一修正过程导致超过 32% 的状态标注在 40% 的对话轮次中发生改变。此外，我们通过将话语中的槽值规范化为数据集本体中的值，修复了 146 条对话话语。为解决第二个问题，我们将后续工作的贡献合并进 MultiWOZ 2.1。因此，我们的数据集还包含用户对话行为以及每个对话状态槽的多个槽描述。随后，我们在 MultiWOZ 2.1 数据集上对若干最先进的对话状态追踪模型进行基准测试，并展示了在修正后状态标注上的联合状态追踪性能。我们向公众发布 MultiWOZ 2.1，希望该数据集资源能促成未来针对各类对话子问题构建更有效的模型。
引用
@article{arxiv.1907.01669,
title = {MultiWOZ 2.1: A Consolidated Multi-Domain Dialogue Dataset with State Corrections and State Tracking Baselines},
author = {Mihail Eric and Rahul Goel and Shachi Paul and Adarsh Kumar and Abhishek Sethi and Peter Ku and Anuj Kumar Goyal and Sanchit Agarwal and Shuyang Gao and Dilek Hakkani-Tur},
journal= {arXiv preprint arXiv:1907.01669},
year = {2019}
}
备注
Data release writeup