FoRA：面向参数高效微调的Fisher正交秩适配
计算与语言
2026-05-29 v1
摘要
参数高效微调(PEFT)主要聚焦于LoRA及其准确率导向变体，导致降低可训练参数数量的原始目标获得相对有限的关注。我们提出FoRA，通过减少适配层数而非适配秩来实现这一目标。FoRA通过一次遍历性的对角Fisher得分（训练成本不足1%）选取任务信息丰富的层，并在所选层的LoRA下投影上训练Stiefel流形，以保持列正交性和有效秩。FoRA在五个LLaMA系列骨干模型上， consistently 超过LoRA和DoRA，仅用其参数预算的一半；在四分之一参数预算下，距离AdaLoRA的准确率仅差0.7-0.8个百分点。在来自LLaMA、Qwen3和Gemma系列的十二个骨干模型上的跨架构实验中，验证了从2.7亿到32亿参数的持续性提升。两个组件的组合呈超线性增益：Fisher选择单独使用即可匹配在相同预算下的秩压缩，而Stiefel约束提供决定性的额外提升。
引用
@article{arxiv.2605.29317,
title = {FoRA: Fisher-orthogonal Rank Adaptation for Parameter-Efficient Fine-Tuning},
author = {Juneyoung Park and Seongbae Lee and Han-Sang Lee and Kyuho Lee and Minjae Kim and Seungheon Hyeon and Kiduk Kwon and Seongwan Kim and Jaeho Lee},
journal= {arXiv preprint arXiv:2605.29317},
year = {2026}
}
备注
EMNLP 2026