FLoE：基于 Fisher 信息指导的低秩专家高效稀疏适配层选择
机器学习
2025-06-03 v1 计算与语言
机器学习
摘要
参数高效微调（PEFT）方法已成为将预训练大型语言模型（LLMs）适配到下游任务的广泛采用策略，显著降低了内存和计算成本。然而，大多数现有的 PEFT 技术在所有层均匀部署 LoRA 适配器，忽视了层贡献的内在异质性和特定任务的秩要求。这种均匀的范式导致冗余的参数分配和次优的适配效率。为了解决这些局限性，我们提出了 FLoE，一个新颖的 PEFT 框架，引入了两项关键创新：（i）一种基于 Fisher 信息指导的重要性评分机制，用于动态识别任务关键的 Transformer 层以进行基于 MoE 的低秩适配，从而实现稀疏适配器部署；（ii）一种由贝叶斯优化驱动的秩分配器，无需详尽的网格搜索即可自动确定特定数据集上的最优 LoRA 秩。在多种 LLM 和基准上的广泛实验表明，FLoE 实现了令人瞩目的效率-准确性权衡，使其在需要快速适配的资源受限环境中尤为有利。
引用
@article{arxiv.2506.00495,
title = {FLoE: Fisher-Based Layer Selection for Efficient Sparse Adaptation of Low-Rank Experts},
author = {Xinyi Wang and Lirong Gao and Haobo Wang and Yiming Zhang and Junbo Zhao},
journal= {arXiv preprint arXiv:2506.00495},
year = {2025}
}
备注
17 pages, 9 figures