面向巨型语音模型的高效适配器
音频与语音处理
2023-06-16 v1 声音
摘要
大型预训练语音模型被广泛用作事实标准范式，尤其在可用标注数据有限的场景中。然而，对自监督学习模型的所有参数进行微调计算开销巨大，且随着模型规模与下游任务数量增长变得不可行。本文提出一种称为双并行适配器（TPA）的新方法，其被插入基于 conformer 的预训练模型中。TPA 建立在对残差适配器（一种流行的参数子集微调方法）的系统性研究之上。我们在多个公开基准上评估 TPA，实验结果表明其性能优越，在不同数据集与语音任务上接近全参数微调。这些结果显示 TPA 是服务大型预训练语音模型的高效有效方法。消融研究表明 TPA 也可被剪枝，尤其对于较低层块。
引用
@article{arxiv.2306.08131,
title = {Efficient Adapters for Giant Speech Models},
author = {Nanxin Chen and Izhak Shafran and Yu Zhang and Chung-Cheng Chiu and Hagen Soltau and James Qin and Yonghui Wu},
journal= {arXiv preprint arXiv:2306.08131},
year = {2023}
}