FRoD：基于旋转自由度的全秩高效微调以加速收敛
机器学习
2025-12-30 v1 人工智能
摘要
参数高效微调 (PEFT) 方法已成为实用解决方案，用于将大型基础模型适应下游任务，通过仅更新小子集参数来减少计算和内存开销。其中一些方法，如 LoRA，旨在在效率和表达能力之间取得平衡，但常因固有的低秩约束而导致收敛缓慢和适应能力有限。这一权衡阻碍了 PEFT 方法捕捉 diverse tasks 所需复杂模式的能力。为解决这些挑战，我们提出 FRoD，一种新型微调方法，结合层次化联合分解与旋转自由度。通过提取跨层的全局共享基底并注入稀疏可学习扰动到比例因子，以实现灵活的全秩更新，FRoD 增强了表达能力和效率，导致更快更稳健的收敛。在覆盖视觉、推理和语言理解等 20 个基准上的实验中，FRoD 在相同训练预算下实现了与完整模型微调相当的准确率，仅使用 1.72% 的可训练参数。
引用
@article{arxiv.2512.23485,
title = {FRoD: Full-Rank Efficient Fine-Tuning with Rotational Degrees for Fast Convergence},
author = {Guoan Wan and Tianyu Chen and Fangzheng Feng and Haoyi Zhou and Runhua Xu},
journal= {arXiv preprint arXiv:2512.23485},
year = {2025}
}
备注
The 40th Annual AAAI Conference on Artificial Intelligence