基于连续词元接口预训练网络集成的端到端口语语言理解
计算与语言
2022-02-18 v2 人工智能
机器学习
声音
音频与语音处理
摘要
大多数端到端（E2E）口语语言理解（SLU）网络利用预训练的 ASR 网络，但仍缺乏理解话语语义的能力，而这对 SLU 任务至关重要。为解决此问题，近期提出的研究使用了预训练的 NLU 网络。然而，充分利用两种预训练网络并非易事；已提出许多方案，如知识蒸馏、跨模态共享嵌入以及带接口的网络集成。我们提出了一种简单且鲁棒的 E2E SLU 网络集成方法，采用新颖的接口——连续词元接口（CTI），即当两个网络使用相同词表预训练时 ASR 与 NLU 网络的交接表示。由于唯一区别在于噪声水平，我们直接将 ASR 网络的输出馈入 NLU 网络。因此，我们无需如 Gumbel-Softmax 等额外模块即可以端到端方式训练 SLU 网络。我们使用具有挑战性的 SLU 数据集 SLURP 评估我们的模型，并在意图分类和槽填充任务上均取得了最先进分数。我们还验证了以掩码语言模型预训练的 NLU 网络能够利用 CTI 的含噪文本表示。此外，我们展示了我们的模型即使在通过 CTI 集成后，也能通过异构数据的多任务学习进行训练。
引用
@article{arxiv.2104.07253,
title = {Integration of Pre-trained Networks with Continuous Token Interface for End-to-End Spoken Language Understanding},
author = {Seunghyun Seo and Donghyun Kwak and Bowon Lee},
journal= {arXiv preprint arXiv:2104.07253},
year = {2022}
}
备注
Accepted for ICASSP 2022