基于监督对比学习与自蒸馏的联合多意图检测与槽填充
计算与语言
2023-12-29 v1 人工智能
摘要
多意图检测与槽填充是口语语言理解中两项基础且关键的任务。鉴于这两项任务密切相关，能够同时检测意图并抽取槽位的联合模型优于各自独立执行任务的单独模型。联合模型的准确性在很大程度上取决于模型在两项任务之间传递信息的能力，从而使一项任务的结果能够纠正另一项任务的结果。此外，由于联合模型具有多个输出，如何有效地训练该模型也具有挑战性。在本文中，我们通过应对这些挑战，提出了一种用于多意图检测与槽填充的方法。首先，我们提出了一种双向联合模型，该模型显式地利用意图信息来识别槽位，并利用槽特征来检测意图。其次，我们引入了一种利用监督对比学习(supervised contrastive learning)与自蒸馏(self-distillation)训练所提联合模型的新方法。在 MixATIS 和 MixSNIPS 两个基准数据集上的实验结果表明，我们的方法在两项任务上均优于当前最优(state-of-the-art, SOTA)模型。结果也证明了双向设计与训练方法对准确性提升的贡献。我们的源代码可在 https://github.com/anhtunguyen98/BiSLU 获取。
引用
@article{arxiv.2308.14654,
title = {Joint Multiple Intent Detection and Slot Filling with Supervised Contrastive Learning and Self-Distillation},
author = {Nguyen Anh Tu and Hoang Thi Thu Uyen and Tu Minh Phuong and Ngo Xuan Bach},
journal= {arXiv preprint arXiv:2308.14654},
year = {2023}
}
备注
Accepted at ECAI 2023