重新思考适配器放置：主导适配模块视角
人工智能
2026-05-08 v1 计算与语言
机器学习
摘要
低秩适应是一种广泛使用的参数高效微调方法，它将可训练的低秩适配器放置到冻结的预训练模型中。最近的研究表明，使用较少的 LoRA 适配器可能仍会保持甚至提高性能，但现有方法仍然广泛分布适配器，使得如何放置有限数量的适配器以最大化性能在很大程度上仍是一个开放问题。为了研究这一点，我们引入了 PAGE（投影适配器梯度能量），这是一种基于梯度的敏感性探针，用于估计每个候选 LoRA 适配器可用的初始可训练梯度能量。令人惊讶的是，我们发现 PAGE 在两个模型系列和四个下游任务中高度集中于单个浅层 FFN 降投影上。我们将此模块称为主导适配模块，并表明其层索引依赖于架构但对任务保持稳定。受此发现启发，我们提出了 DomLoRA，一种将单个适配器放置在主导适配模块处的放置方法。仅使用原始 LoRA 约 0.7% 的可训练参数，DomLoRA 在包括指令遵循、数学推理、代码生成和多轮对话在内的各种下游任务中平均优于原始 LoRA。该方法还改进了其他 LoRA 变体，支持将主导适配模块视角作为实用的放置准则。
引用
@article{arxiv.2605.06183,
title = {Rethinking Adapter Placement: A Dominant Adaptation Module Perspective},
author = {Suoxin Zhang and Run He and Di Fang and Xiang Tan and Kaixuan Chen and Huiping Zhuang},
journal= {arXiv preprint arXiv:2605.06183},
year = {2026}
}