在 SURE 语音理解基准上评估参数高效迁移学习方法
计算与语言
2023-03-07 v1 声音
音频与语音处理
摘要
微调被广泛用作从预训练模型进行迁移学习的默认算法。然而，在迁移学习中，当一个大型预训练模型的所有参数都需要为各个下游任务更新时，会出现参数低效问题。随着参数数量增长，微调易于过拟合与灾难性遗忘。此外，当模型用于许多任务时，全量微调可能变得极其昂贵。为缓解此问题，参数高效迁移学习算法（如适配器和前缀微调）被提出，作为向 BERT、HuBERT 等大型预训练语言模型插入少量可训练参数的途径。本文中，我们引入用于各类语音处理任务的参数高效学习的语音理解评估（SURE）基准。此外，我们基于一维卷积引入一种新的适配器 ConvAdapter。我们表明 ConvAdapter 优于标准适配器，同时在 SURE 的部分任务上以仅 0.94% 的可训练参数相对于前缀微调和 LoRA 表现出可比性能。我们进一步探索了参数高效迁移学习在诸如文本到语音（TTS）等语音合成任务上的有效性。
引用
@article{arxiv.2303.03267,
title = {Evaluating Parameter-Efficient Transfer Learning Approaches on SURE Benchmark for Speech Understanding},
author = {Yingting Li and Ambuj Mehrish and Shuai Zhao and Rishabh Bhardwaj and Amir Zadeh and Navonil Majumder and Rada Mihalcea and Soujanya Poria},
journal= {arXiv preprint arXiv:2303.03267},
year = {2023}
}
备注
ICASSP 2023