基于主子空间适应的高效正交微调
机器学习
2026-02-20 v3
摘要
随着模型参数的快速增长，参数高效微调（PEFT）已成为在受限计算资源下适应大规模模型以应对多样化下游任务的关键范式。在此范式中，正交微调及其变体保持预训练模型的语义表示，但在参数、内存和计算效率方面难以实现表达性和效率的平衡。为克服这一限制，我们提出一种基于主子空间适应的高效正交微调方法（PSOFT），将正交变换限制在预训练权重的主子空间内。具体而言，PSOFT 通过矩阵分解构建此子空间，以实现与更高有效秩相容的变换，建立严格保持该子空间几何的理论条件以实现关键语义保持，并引入高效可调向量逐步松弛正交性以增强适应性。在4个代表性模型上的35个NLP和CV任务的大量实验表明，PSOFT 提供了一种在语义保持、表达性和多维效率方面实现同步提升的实用且可扩展的解决方案。代码已公开于 https://github.com/fei407/PSOFT。
引用
@article{arxiv.2505.11235,
title = {Efficient Orthogonal Fine-Tuning with Principal Subspace Adaptation},
author = {Fei Wu and Jia Hu and Geyong Min and Shiqiang Wang},
journal= {arXiv preprint arXiv:2505.11235},
year = {2026}
}