MAP：重新审视低秩适配的权重分解
机器学习
2025-05-30 v1 计算与语言
摘要
大型语言模型的快速发展彻底改变了自然语言处理，但其微调的计算成本依然高昂，阻碍了其广泛部署。参数高效微调（PEFT）方法（如 LoRA）作为解决方案应运而生。最近的工作如 DoRA 试图将权重适配进一步分解为方向和大小分量。然而，现有的公式通常在列级别启发式地定义方向，缺乏严格的几何基础。在本文中，我们提出了 MAP，这是一个新颖的框架，它将权重矩阵重新表述为高维向量，并以严格的方式将其适配解耦为方向和大小。MAP 对预训练权重进行归一化，学习方向更新，并引入两个标量系数以独立缩放基础向量和更新向量的大小。这种设计实现了更具可解释性和更灵活的适配，并且可以无缝集成到现有的 PEFT 方法中。大量实验表明，MAP 与现有方法结合时可显著提升性能，为现有 PEFT 方法提供了简单而强大的增强。鉴于 MAP 的通用性和简单性，我们希望它能作为设计未来 PEFT 方法的默认设置。
引用
@article{arxiv.2505.23094,
title = {MAP: Revisiting Weight Decomposition for Low-Rank Adaptation},
author = {Chongjie Si and Zhiyi Shi and Yadao Wang and Xiaokang Yang and Susanto Rahardja and Wei Shen},
journal= {arXiv preprint arXiv:2505.23094},
year = {2025}
}