口语理解中的组合泛化
计算与语言
2023-12-27 v1
摘要
最先进的口语理解（SLU）模型在基准SLU数据集上取得了巨大成功，但由于在有限的训练数据上训练时缺乏模型组合性，它们仍然在许多实际场景中失败。在本文中，我们研究了两种组合性：（a）新颖的槽位组合，和（b）长度泛化。我们首先进行深入分析，发现最先进的SLU模型在训练过程中经常学习到虚假的槽位相关性，这导致在两种组合情况下性能不佳。为了缓解这些限制，我们创建了基准SLU数据集的第一个组合分割，并提出了第一个组合SLU模型，包括分别处理每种组合情况的组合损失和配对训练。在ATIS和SNIPS的基准分割和组合分割上，我们展示了我们的组合SLU模型显著优于（高达5%的F1分数）最先进的BERT SLU模型。
引用
@article{arxiv.2312.15815,
title = {Compositional Generalization in Spoken Language Understanding},
author = {Avik Ray and Yilin Shen and Hongxia Jin},
journal= {arXiv preprint arXiv:2312.15815},
year = {2023}
}
备注
Published in INTERSPEECH 2023