Zipper-LoRA：基于语音-LLM 的多语言语音识别中的动态参数解耦
计算与语言
2026-03-20 v2 声音
摘要
语音大语言模型（Speech-LLM）已成为自动语音识别（ASR）的强大方法，通过对齐语音编码器与大语言模型来实现。然而，在数据分布不平衡的多语言场景中，这些系统的适应仍具有挑战。在此类情况下，常常出现稳定-塑性困境：完全共享的参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）会导致稀缺语言之间的负向语言干扰，而完全语言特定的调优则限制了跨语言有益知识的传输。为此，我们提出 Zipper-LoRA，一种在秩级别解耦框架中引入三种变体（静态、硬、软），动态合成来自共享子空间和语言特定子空间的 LoRA 更新。通过使用轻量级语言条件路由器，Zipper-LoRA 在 LoRA 秩级别动态控制每个子空间的贡献，实现在语言兼容时进行细粒度共享，在冲突发生时进行严格解耦。为进一步稳定不平衡数据下的优化，我们提出两种阶段的训练策略，包括 Initial-B 预热启动，可显著加快收敛速度。在 12 语言混合资源设置上的实验表明，Zipper-LoRA 在所有情况下都一致优于完全共享和独立基线，尤其在极端低资源场景中表现更佳。而且，我们展示了这些收益在块状和非块状编码器配置中都稳健可靠，确认了该框架在实际大规模多语言 ASR 中的可靠性。我们的代码和数据将在 https://github.com/YuCeong-May/Zipper-LoRA 上公开，以便复现。
引用
@article{arxiv.2603.17558,
title = {Zipper-LoRA: Dynamic Parameter Decoupling for Speech-LLM based Multilingual Speech Recognition},
author = {Yuxiang Mei and Delai Qiu and Shengping Liu and Jiaen Liang and Yanhua Long},
journal= {arXiv preprint arXiv:2603.17558},
year = {2026}
}
备注
13 pages, 8 figures