MoNET: 通过噪声增强训练解决对话状态跟踪中的状态动量
计算与语言
2023-06-21 v3
摘要
对话状态跟踪（DST）旨在将对话历史转换为由槽位-值对组成的对话状态。作为记忆所有历史信息的浓缩结构信息，上一轮的对话状态通常被 DST 模型用作预测当前状态的输入。然而，这些模型倾向于保持预测的槽位值不变，这在本文中被定义为状态动量。具体而言，模型难以更新需要更改的槽位值，也难以纠正上一轮中错误预测的槽位值。为此，我们提出 MoNET，通过噪声增强训练来解决状态动量问题。首先，训练数据中每一轮的先前状态通过替换其部分槽位值而被加噪。然后，将加噪后的先前状态作为输入来学习预测当前状态，从而提高模型更新和纠正槽位值的能力。此外，设计了一个对比上下文匹配框架，以缩小状态与其对应加噪变体之间的表示距离，这降低了加噪状态的影响，并使模型更好地理解对话历史。在 MultiWOZ 数据集上的实验结果表明，MoNET 优于以往的 DST 方法。消融实验和分析验证了 MoNET 在缓解状态动量和提高抗噪能力方面的有效性。
引用
@article{arxiv.2211.05503,
title = {MoNET: Tackle State Momentum via Noise-Enhanced Training for Dialogue State Tracking},
author = {Haoning Zhang and Junwei Bao and Haipeng Sun and Youzheng Wu and Wenye Li and Shuguang Cui and Xiaodong He},
journal= {arXiv preprint arXiv:2211.05503},
year = {2023}
}
备注
9 pages, 6 figures, 4 tables