Lamer-SSL：面向无忘记式多语言自监督模型持续扩展的面向层次的 LoRA 专家混合模型
计算与语言
2026-02-16 v1 音频与语音处理
摘要
尽管自监督语音模型在性能方面表现突出，但往往难以泛化到新语言，并且在持续训练期间倾向于忘记先前学习的知识。为此，我们提出了 Lamer-SSL，一个集成了层次感知 LoRA 专家混合模型（Lamer）模块并配合重放策略的参数高效框架。Lamer 模块实现了在共享表征和语言特定表征之间进行灵活平衡的能力，而层次感知的专家分配将更多专家分配到语义信息更丰富的深层。同时，重放策略通过最小数据保留先前知识，缓解持续训练中的忘记问题。在自动语音识别（ASR）和语言识别（LID）上的实验表明，Lamer-SSL 能够有效地将自监督模型扩展到新语言，同时仅使用 2.14% 的参数保持对先前学习语言的强大性能。
引用
@article{arxiv.2602.12746,
title = {Lamer-SSL: Layer-aware Mixture of LoRA Experts for Continual Multilingual Expansion of Self-supervised Models without Forgetting},
author = {Jing Xu and Minglin Wu and Xueyuan Chen and Xixin Wu and Helen Meng},
journal= {arXiv preprint arXiv:2602.12746},
year = {2026}
}
备注
Accepted by ICASSP 2026