LoRALib：评估 LoRA-MoE 方法的标准化基准
机器学习
2025-09-24 v1 人工智能
摘要
作为参数高效微调（PEFT）方法，低秩适应（LoRA）能够在存储和计算方面显著节省成本，但其对单一任务的强适应性往往伴随跨任务泛化能力不足的问题。为提升这一局限，现有研究将 LoRA 与混合专家（MoE）结合，通过专家模块和路由机制来增强模型的适应性。然而，现有的 LoRA-MoE 方法在模型、数据集、超参数和评估方法方面缺乏统一标准，导致不同方法间的公平比较困难。为此，我们提出了统一基准 LoRALib。具体而言，我们将 40 个下游任务的数据集标准化为统一格式，使用相同的超参数对其进行微调，获得 680 个 LoRA 模块，覆盖 17 种模型架构。基于该 LoRA 库，我们在开源测试工具 OpenCompass 上，对 3 个代表性 LoRA-MoE 方法以及不同的 LoRA 选择机制进行大规模实验。实验结果表明，LoRAMoE 方法效果最佳，而优先选择与目标任务相关的 LoRA 还能进一步提升 MoE 的性能。我们希望这些发现能激发后续研究。本数据集和 LoRA 库已提供于 https://huggingface.co/datasets/YaoLuzjut/LoRAOcean_dataset 和 https://huggingface.co/YaoLuzjut/models。
引用
@article{arxiv.2509.18137,
title = {LoRALib: A Standardized Benchmark for Evaluating LoRA-MoE Methods},
author = {Shaoheng Wang and Yao Lu and Yuqi Li and Yaxin Gao and Jiaqi Nie and Shanqing Yu and Yingli Tian and Qi Xuan},
journal= {arXiv preprint arXiv:2509.18137},
year = {2025}
}