贝叶斯低秩分解：用于鲁棒模型适配
计算与语言
2025-10-22 v1 机器学习
声音
音频与语音处理
摘要
大型语音基础模型在众多领域实现了强大的性能，但常需适配以处理局部需求，例如语言切换场景，即说话者在同一句话中混合多种语言。直接微调这些模型风险导致对目标领域的过拟合，同时破坏基础模型的广泛能力。为此，我们探索贝叶斯因子化适配器用于语音基础模型，通过在附近零点放置先验实现稀疏适配矩阵，从而在适配特定领域的同时保留通用性能。我们将方法应用于 Whisper 模型并评估不同的多语言语言切换情景。结果表明，仅有最小适配损失，同时显著降低基础模型的灾难性遗忘。相较于 LoRA，本方法在新领域仅下降 4%，却实现了 54% 的向后收益。这一发现凸显了贝叶斯适配在不牺牲泛化能力方面微调语音基础模型的有效性。
引用
@article{arxiv.2510.18723,
title = {Bayesian Low-Rank Factorization for Robust Model Adaptation},
author = {Enes Yavuz Ugan and Ngoc-Quan Pham and Alexander Waibel},
journal= {arXiv preprint arXiv:2510.18723},
year = {2025}
}
备注
Submitted to ICASSP 2026