MiLorE-SSL：无需遗忘地扩展无监督多语言模型能力
计算与语言
2026-01-29 v1 音频与语音处理
摘要
无监督学习（SSL）在语音表示学习方面取得了显著进展，但多语言SSL模型仍受限于预训练期间遇到的语言。为纳入新语言而从头重新训练代价高昂，而顺序训练若无抗遗忘策略常导致灾难性遗忘。为此，我们提出MiLorE-SSL，一种轻量级框架，结合LoRA模块与软混合专家（MoE）机制，实现高效的持续多语言训练。LoRA提供低秩适应，软MoE促进跨语言灵活专家共享，降低跨语言干扰。为进一步缓解遗忘，我们引入现有语言的有限回放数据，避免依赖大规模历史语料。在ML-SUPERB基准上实验表明，MiLorE-SSL仅需2.14%可训练参数，即可在新语言中取得优异性能，并提升已有语言的能力。
引用
@article{arxiv.2601.20300,
title = {MiLorE-SSL: Scaling Multilingual Capabilities in Self-Supervised Models without Forgetting},
author = {Jing Xu and Minglin Wu and Xueyuan Chen and Xixin Wu and Helen Meng},
journal= {arXiv preprint arXiv:2601.20300},
year = {2026}
}
备注
Accepted by ICASSP2026