PiCa：基于列空间投影的参数高效微调
机器学习
2026-04-21 v3 人工智能
摘要
微调大型基础模型对于构建针对特定任务和领域定制的专家模型至关重要，但完全更新数十亿参数在计算上是不可行的。因此，使用参数高效微调（PEFT），如低秩适应（LoRA），来减少可训练参数的数量，不仅对降低训练成本至关重要，也有助于减轻部署期间的存储、缓存和服务开销。先前的工作，如奇异向量引导微调（SVFT），表明利用基于奇异值分解（SVD）的预训练权重几何结构可以显著提高参数效率，但缺乏坚实的理论基础。在本文中，我们提出了基于列空间投影的参数高效微调（PiCa），一种具有理论基础的新型 PEFT 方法。我们证明，将梯度投影到预训练权重的主列空间为适应提供了有效的归纳偏置，并通过一种新颖的权重共享策略进一步提高了参数效率。在多种 NLP 和视觉任务中，PiCa 在参数预算相当或更小的情况下，始终优于最先进的基线方法，展示了其理论严谨性和实际有效性。
引用
@article{arxiv.2505.20211,
title = {PiCa: Parameter-Efficient Fine-Tuning with Column Space Projection},
author = {Junseo Hwang and Wonguk Cho and Taesup Kim},
journal= {arXiv preprint arXiv:2505.20211},
year = {2026}
}