LARGO：低秩调节梯度投影用于鲁棒的参数高效微调
计算机视觉与模式识别
2025-06-17 v1 人工智能
摘要
参数高效微调方法的提出显著降低了将大规模预训练模型适配到多样化下游任务的计算负担。然而，现有方法在保持计算效率的同时，往往难以在域偏移下实现鲁棒性能。为应对这一挑战，我们提出了低秩调节梯度投影（LARGO）算法，将动态约束集成到低秩适配方法中。具体而言，LARGO引入并行的可训练梯度投影来动态调节逐层更新，在保留预训练模型分布外鲁棒性的同时保持了层间独立性。此外，通过在权重更新过程中缓解层间梯度依赖，它确保了计算效率。此外，通过利用预训练权重的奇异值分解进行结构化初始化，我们引入了一种基于SVD的初始化策略，以最小化与预训练知识的偏差。通过在多样化基准上的广泛实验，LARGO在域内和分布外场景中均取得了最先进的性能，展示了在域偏移下鲁棒性的提升，同时与现有PEFT方法相比显著降低了计算开销。源代码即将发布。
引用
@article{arxiv.2506.12394,
title = {LARGO: Low-Rank Regulated Gradient Projection for Robust Parameter Efficient Fine-Tuning},
author = {Haotian Zhang and Liu Liu and Baosheng Yu and Jiayan Qiu and Yanwei Ren and Xianglong Liu},
journal= {arXiv preprint arXiv:2506.12394},
year = {2025}
}