基于自蒸馏的联合多意图检测与槽填充
计算与语言
2021-08-19 v1
摘要
意图检测和槽填充是自然语言理解（NLU）中用于从用户话语识别其需求的两个主要任务。这两个任务高度相关且常联合训练。然而，大多数先前工作假设每句话语仅对应一个意图，忽略了用户话语在许多情况下可能包含多个意图的事实。在本文中，我们提出了一种新颖的自蒸馏联合 NLU 模型（SDJN）用于多意图 NLU。首先，我们将多意图检测表述为弱监督问题，并采用多示例学习（MIL）处理。然后，我们通过自蒸馏设计了一个辅助环路，包含三个有序排列的解码器：初始槽解码器、MIL 意图解码器和最终槽解码器。每个解码器的输出将作为下一个解码器的辅助信息。借助 MIL 意图解码器提供的辅助知识，我们将最终槽解码器设为教师模型，将知识回传至初始槽解码器以完成环路。该辅助环路使意图和槽能够相互深入引导，并进一步提升整体 NLU 性能。在两个公开多意图数据集上的实验结果表明，我们的模型相较其他模型取得了强劲性能。
引用
@article{arxiv.2108.08042,
title = {Joint Multiple Intent Detection and Slot Filling via Self-distillation},
author = {Lisong Chen and Peilin Zhou and Yuexian Zou},
journal= {arXiv preprint arXiv:2108.08042},
year = {2021}
}