基于距离的权重从近场到远场说话人验证的迁移
声音
2023-03-16 v2 音频与语音处理
摘要
标记远场语音的稀缺性是训练优秀远场说话人验证系统的制约因素。在大规模近场语音上预训练的模型微调显著优于从头训练。然而，微调方法存在两个局限性——灾难性遗忘和过拟合。本文提出一种权重传递正则化（WTR）损失，通过少量远场语音约束预训练模型（在大规模近场语音上训练）与微调模型之间权重的距离。使用WTR损失，微调过程利用了先前从大规模近场语音获得的判别能力，而不会灾难性遗忘。同时，我们使用PAC-Bayes泛化理论分析带有WTR损失的微调模型的泛化界。分析结果表明，WTR项使微调模型具有更紧的泛化上界。此外，我们探索了三种用于权重传递的范数距离：L1范数距离、L2范数距离和最大范数距离。最后，我们在VoxCeleb（预训练数据集）和FFSVC（微调数据集）数据集上评估了WTR损失的有效性。
引用
@article{arxiv.2303.00264,
title = {Distance-based Weight Transfer from Near-field to Far-field Speaker Verification},
author = {Li Zhang and Qing Wang and Hongji Wang and Yue Li and Wei Rao and Yannan Wang and Lei Xie},
journal= {arXiv preprint arXiv:2303.00264},
year = {2023}
}