基于适配器的预训练 Transformer 模型用于说话人验证的参数高效迁移学习
音频与语音处理
2022-10-31 v1 声音
信号处理
摘要
近来，预训练 Transformer 模型因在各类下游任务中的巨大成功，在语音处理领域受到日益增多的关注。然而，多数微调方法更新预训练模型全部参数，随着模型规模增长变得难以承受，且有时在小数据集上导致过拟合。本文对应用参数高效迁移学习（PETL）方法以减少适配说话人验证任务所需可学习参数进行了全面分析。具体而言，在微调过程中，预训练模型被冻结，仅插入每个 Transformer 块中的轻量模块可训练（一种称为适配器的方法）。此外，为在跨语言低资源场景中提升性能，该 Transformer 模型在直接于小数据集上微调前，先在一个大型中间数据集上进一步调优。在更新少于 4% 参数的情况下，（我们提出的）基于 PETL 的方法取得了与全微调方法相当的性能（Vox1-O: 0.55%, Vox1-E: 0.82%, Vox1-H: 1.73%）。
引用
@article{arxiv.2210.16032,
title = {Parameter-efficient transfer learning of pre-trained Transformer models for speaker verification using adapters},
author = {Junyi Peng and Themos Stafylakis and Rongzhi Gu and Oldřich Plchot and Ladislav Mošner and Lukáš Burget and Jan Černocký},
journal= {arXiv preprint arXiv:2210.16032},
year = {2022}
}
备注
submitted to ICASSP2023