无缝语言扩展：提升自监督模型的多语言掌握能力
计算与语言
2025-08-25 v2 音频与语音处理
摘要
自监督 (SSL) 模型在 various downstream 任务中表现出色。然而，它们通常为有限的语言开发，可能在现实世界中遇到新语言。为每个新语言开发 SSL 模型是昂贵的。因此，有必要弄清如何在不损害原始能力的前提下，高效地将已有的 SSL 模型适应到新语言。我们提出了将 LoRA 集成到已有 SSL 模型以扩展新语言的适应方法。我们还开发了包括数据组合和重新聚类以保留已有语言能力的保存策略。应用于 mHuBERT，我们探讨了这些方法在 speech re-synthesis 任务中的有效性。实验表明，我们的适应方法使 mHuBERT 能够应用于新语言（普通话），MOS 值提升约 1.6，WER 相对值降低最高可达 61.72%。此外，我们的保存策略确保了在已有和新语言上的性能得以保持。
引用
@article{arxiv.2406.14092,
title = {Seamless Language Expansion: Enhancing Multilingual Mastery in Self-Supervised Models},
author = {Jing Xu and Minglin Wu and Xixin Wu and Helen Meng},
journal= {arXiv preprint arXiv:2406.14092},
year = {2025}
}
备注
Accepted by Interspeech 2024