校准与旋转：面向PEFT的统一权重条件化框架
机器学习
2025-11-11 v2 人工智能
摘要
参数高效微调（PEFT）方法对于调整大型预训练模型至关重要。在这些方法中，LoRA被认为是一种基础方法。基于此，具有影响力的DoRA方法通过将权重更新分解为幅值和方向两个部分来提升性能，但其背后的机制尚不清晰，还引入了显著的计算开销。在本工作中，我们首先识别到DoRA的成功源于其增加权重更新矩阵奇异值熵的能力，这有助于实现类似全参数微调的更均匀更新分布。随后，我们将DoRA重新表述为等价且更高效的矩阵形式，揭示其作为可学习权重条件化方法的本质。基于此洞察，我们提出了一种用于设计高级PEFT方法的统一框架，通过探索两个正交维度：条件化矩阵的架构位置和转换类型。在此框架内，我们引入了两种新方法：（1）Pre-Diag，通过在LoRA更新之前应用对角线条件化矩阵来高效校准预训练权重，从而在提高性能的同时减少训练时间；（2）Skewed Orthogonal Rotation Adaptation（倾斜正交旋转适应），采用参数高效的正交旋转，对特征空间执行更强大、保持范数的转换。在自然语言理解和生成任务上的大量实验表明，我们提出的方法在准确性和效率方面均优于LoRA和DoRA。代码已公开于https://github.com/MaeChd/SORA。
引用
@article{arxiv.2511.00051,
title = {Calibrating and Rotating: A Unified Framework for Weight Conditioning in PEFT},
author = {Da Chang and Peng Xue and Yu Li and Yongxiang Liu and Pengxiang Xu and Shixun Zhang},
journal= {arXiv preprint arXiv:2511.00051},
year = {2025}
}