LOFT：通过任务感知支持选择实现低秩正交微调
机器学习
2026-05-13 v1 机器学习
摘要
正交参数高效微调（PEFT）通过保持结构的乘法变换来适配预训练权重，但现有方法常常混淆了两个不同的设计选择：适配发生的子空间以及在该子空间内应用的变换。本文介绍了LOFT，一个低秩正交微调框架，它明确地将这两个组件分离开来。通过将正交适配视为乘法子空间旋转，LOFT提供了一个统一的公式，该公式涵盖了代表性的正交PEFT方法，包括基于坐标、蝴蝶、Householder和主子空间的变体。更重要的是，这一视角揭示了支持选择是一个核心设计轴，而非特定参数化的副产品。我们进行了一阶分析，表明有用的适配支持应由下游训练信号来告知，从而激发了实用的任务感知支持选择策略。在语言理解、视觉迁移、数学推理和多语言分布外适配任务中，LOFT恢复了主子空间正交适配，而梯度信息支持在匹配的参数、内存和计算预算下改善了效率与性能的权衡。这些结果表明，有原则的支持选择是改进正交PEFT的一个重要方向。
引用
@article{arxiv.2605.11872,
title = {LOFT: Low-Rank Orthogonal Fine-Tuning via Task-Aware Support Selection},
author = {Lanxin Zhao and Bamdev Mishra and Pratik Jawanpuria and Lequan Lin and Dai Shi and Junbin Gao and Andi Han},
journal= {arXiv preprint arXiv:2605.11872},
year = {2026}
}