基于弱监督与稀疏数据的鲁棒对话状态跟踪
计算与语言
2022-08-10 v2
摘要
由于训练过程中强烈依赖丰富且细粒度的监督，将对话状态跟踪（DST）泛化到新数据尤其具有挑战性。样本稀疏、分布偏移以及新概念与主题的出现，常在推理期间导致严重的性能退化。本文中，我们提出一种训练策略，以构建抽取式 DST 模型而无需细粒度人工片段标签。两种新颖的输入级 dropout 方法缓解了样本稀疏的负面影响。我们提出一种具有统一编码器的新型模型架构，其通过利用注意力机制支持值以及槽位的独立性。我们结合了三元复制策略 DST 与值匹配的优势，以从互补预测中获益而不违背本体独立原则。我们的实验表明，抽取式 DST 模型可在无人工片段标签下训练。我们的架构与训练策略提升了对样本稀疏、新概念与主题的鲁棒性，从而在一系列基准上取得最先进性能。我们进一步凸显了我们的模型从非对话数据中有效学习的能力。
引用
@article{arxiv.2202.03354,
title = {Robust Dialogue State Tracking with Weak Supervision and Sparse Data},
author = {Michael Heck and Nurul Lubis and Carel van Niekerk and Shutong Feng and Christian Geishauser and Hsien-Chin Lin and Milica Gašić},
journal= {arXiv preprint arXiv:2202.03354},
year = {2022}
}
备注
12 pages, 6 figures, pre-MIT Press publication version (author's final version), accepted for publication in TACL