通过 Householder 反射自适应弥合低秩与正交自适应之间的差距
机器学习
2024-11-18 v3 计算机视觉与模式识别
摘要
尽管遵循不同的技术路线，低秩与正交自适应技术均能基于少量可训练参数，将大规模预训练模型高效地适配至特定任务或领域。在本研究中，我们弥合了这两种技术之间的差距，提出了一种基于 Householder 反射的简单而有效的自适应方法。给定一个预训练模型，我们的方法通过将每个冻结的权重矩阵乘以一个由可学习 Householder 反射（HRs）链构造的正交矩阵来微调其层。这种基于 HR 的正交微调等价于一种自适应的低秩自适应。此外，我们证明了与 HRs 对应的反射平面的正交性会影响模型容量与正则性。该分析促使我们对 HRs 的正交性进行正则化，从而得出了所提出的 Householder 反射自适应（HRA）方法的不同实现。与 SOTA 方法相比，HRA 在适配大语言模型和条件图像生成器时，以更少的可训练参数实现了更优的性能。实验代码可在 \url{https://github.com/DaShenZi721/HRA} 获取，该方法已被合并入 \href{https://github.com/huggingface/peft}{PEFT} 包中。
引用
@article{arxiv.2405.17484,
title = {Bridging The Gap between Low-rank and Orthogonal Adaptation via Householder Reflection Adaptation},
author = {Shen Yuan and Haotian Liu and Hongteng Xu},
journal= {arXiv preprint arXiv:2405.17484},
year = {2024}
}