LoCA：面向参数高效微调的位置感知余弦适配
机器学习
2025-04-30 v2 人工智能
摘要
低秩适配 (LoRA) 已成为针对下游任务微调预训练大型语言模型的主流方法。然而，简单的低秩分解形式可能限制了假设空间。为此，我们提出位置感知余弦适配 (Location-aware Cosine Adaptation, LoCA)，一种基于离散余弦变换逆变换 (iDCT) 的新颖频率域参数高效微调方法，采用选择性可学习位置。我们对频率域与低秩分解在微调预训练大型模型方面的进行了全面的理论比较。我们的分析表明，经过精心选择的频率分量的频率域分解可超越传统基于低秩的方法的表达能力。此外，我们展示了 iDCT 相对于逆离散傅里叶变换 (iDFT) 的更高效实现，使我们能够在保持等效表达能力的前提下，更好地选择和调优频率分量。通过采用有限差分近似估计 DCT 谱上可学习系数的离散位置的梯度，LoCA 在训练期间动态选择最具信息量的频率分量。针对 diverse 语言和视觉微调任务的实验表明，LoCA 在保持计算可行性相当于基于低秩的方法的同时，实现了增强的参数效率。
引用
@article{arxiv.2502.06820,
title = {LoCA: Location-Aware Cosine Adaptation for Parameter-Efficient Fine-Tuning},
author = {Zhekai Du and Yinjie Min and Jingjing Li and Ke Lu and Changliang Zou and Liuhua Peng and Tingjin Chu and Mingming Gong},
journal= {arXiv preprint arXiv:2502.06820},
year = {2025}
}