PADA:面向自监督语音表示的剪枝辅助域自适应方法
计算与语言
2023-05-16 v4 机器学习
声音
音频与语音处理
摘要
尽管自监督语音表示学习(SSL)模型可服务于多种下游任务,但已观察到这些模型会过拟合于无标签数据所属的领域。为缓解该问题,我们提出PADA(Pruning Assisted Domain Adaptation,剪枝辅助域自适应),并从在大量域外(OOD)数据上预训练的模型中置零冗余权重。直观上,这有助于为目标域ASR微调腾出空间。冗余权重可通过多种剪枝策略识别,本文对此进行了详细讨论。具体而言,我们研究了近期发现的任务无关与任务相关剪枝对PADA的影响,并基于后者提出一种新的剪枝范式,称为跨域任务相关剪枝(CD-TAW)。CD-TAW从充分微调的OOD模型获取初始剪枝掩码,这使其与文中讨论的其他剪枝策略截然不同。我们提出的CD-TAW方法在不使用语言模型(LM)解码、基于Switchboard数据2小时子集微调时,相较基线实现了最高20.6%的相对词错率(WER)提升。此外,我们进行了详细分析以凸显所提方法的关键设计选择。
引用
@article{arxiv.2203.16965,
title = {PADA: Pruning Assisted Domain Adaptation for Self-Supervised Speech Representations},
author = {Lodagala V S V Durga Prasad and Sreyan Ghosh and S. Umesh},
journal= {arXiv preprint arXiv:2203.16965},
year = {2023}
}
备注
Accepted to IEEE SLT 2022