CoMoL：通过动态核心空间合并实现高效 LoRA 专家混合
计算与语言
2026-03-03 v1
摘要
大型语言模型（LLM）通过参数高效微调（PEFT）在多样化的下游和领域特定任务上取得了显著性能。然而，现有的 PEFT 方法，特别是 MoE-LoRA 架构，因 LoRA 专家的数量增加和实例级路由而导致参数效率有限且适应性粗粒度。为解决这些问题，我们提出了核心空间 LoRA 混合（CoMoL），一种新的 MoE-LoRA 框架，融合了专家多样性、参数效率和细粒度适应性。具体而言，CoMoL 引入了两个关键组件：核心空间专家和核心空间路由。核心空间专家将每个专家存储在紧凑的核心矩阵中，既保留了多样性又控制了参数增长。核心空间路由动态选择并激活适用于每个 token 的适当核心专家，从而实现细粒度、输入自适应的路由。激活的核心专家随后通过软合并策略合并为单个核心专家，该核心专家与共享 LoRA 组合以形成特定的 LoRA 模块。此外，路由网络被投影到 LoRA 矩阵相同的低秩空间中，从而在不牺牲表达能力的情况下进一步减少参数开销。广泛的实验表明，CoMoL 在保持 MoE-LoRA 架构适应性的同时，实现了与标准 LoRA 相当的参数效率，持续在多个任务上 outperform 现有方法。
引用
@article{arxiv.2603.00573,
title = {CoMoL: Efficient Mixture of LoRA Experts via Dynamic Core Space Merging},
author = {Jie Cao and Zhenxuan Fan and Zhuonan Wang and Tianwei Lin and Ziyuan Zhao and Rolan Yan and Wenqiao Zhang and Feifei Shao and Hongwei Wang and Jun Xiao and Siliang Tang},
journal= {arXiv preprint arXiv:2603.00573},
year = {2026}
}