寻找多任务 spoken language understanding 模型中的任务特定子网络
计算与语言
2024-06-19 v1 音频与语音处理
摘要
最近，多任务 spoken language understanding（SLU）模型涌现，旨在解决各种语音处理任务。然而，这些模型常依赖大量参数。此外，它们常常在为特定任务适应新数据时，面临难以避免的对以前训练任务的遗忘。本研究提出通过神经网络剪枝在多任务SLU模型中寻找任务特定子网络。除了模型压缩，我们期望通过仅更新任务特定子网络来减轻对以前训练任务的遗忘。我们在最先进的多任务SLU模型"UniverSLU"之上进行了实验，后者针对诸如情感识别（ER）、意图分类（IC）和自动语音识别（ASR）等多个任务进行训练。我们展示了修剪后的模型在针对额外的ASR或IC数据进行适应时，成功地以最小的性能下降适应了这些数据，同时保持了以前训练任务的性能。
引用
@article{arxiv.2406.12317,
title = {Finding Task-specific Subnetworks in Multi-task Spoken Language Understanding Model},
author = {Hayato Futami and Siddhant Arora and Yosuke Kashiwagi and Emiru Tsunoo and Shinji Watanabe},
journal= {arXiv preprint arXiv:2406.12317},
year = {2024}
}
备注
Accepted to Interspeech2024