GuiLoMo：通过带GuidedSelection向量的双层优化为LoRA-MoE分配专家数量和排名
计算与语言
2025-09-23 v2
摘要
参数高效微调(PEFT)方法，特别是低秩适应(LoRA)，提供了一种以减少计算成本的方式来适应大型语言模型。然而，其性能受限于可训练参数的较小数量。最近的工作将LoRA与混合专家(MoE)结合，即LoRA-MoE，以增强容量，但仍存在两个限制阻碍了其潜力的充分发挥：1)在分配专家数量时，未考虑下游任务的影响；2)所有LoRA专家采用统一的秩分配，限制了表示多样性。为缓解这些差距，我们提出了GuiLoMo，这是一种具有GuidedSelection向量(GSV)的细粒度层级专家数量和秩分配策略。GSV通过先验双层优化过程来捕获模型和任务特定需求，然后用于分配最优专家数量和秩。在三个主干模型上的 diverse基准测试上的实验表明，GuiLoMo始终实现了优于或相当于所有基线方法的优异性能。进一步分析提供了关于专家数量和秩如何在不同层和任务之间变化的关键见解，突显了自适应专家配置的好处。我们的代码可在 https://github.com/Liar406/Gui-LoMo.git 获取。
引用
@article{arxiv.2506.14646,
title = {GuiLoMo: Allocating Expert Number and Rank for LoRA-MoE via Bilevel Optimization with GuidedSelection Vectors},
author = {Hengyuan Zhang and Xinrong Chen and Yingmin Qiu and Xiao Liang and Ziyue Li and Guanyu Wang and Weiping Li and Tong Mo and Hayden Kwok-Hay So and Ngai Wong},
journal= {arXiv preprint arXiv:2506.14646},
year = {2025}
}
备注
Accepted by EMNLP 2025