ARD-LoRA：面向基石模型的自适应秩动态低秩适配
机器学习
2025-12-19 v1 人工智能
摘要
传统的低秩适配（LoRA）方法采用固定秩，在面对转换层和注意力头的异构学习动力学时实施统一适配。本文引入自适应秩动态LoRA（ARD-LoRA），一种通过可学习的缩放因子自动分配秩的新型框架。这些因子通过兼顾任务性能和参数效率的元目标进行优化， Incorporating 稀疏性以实现最小秩和总变异正则化以实现稳定的秩转换。ARD-LoRA实现了连续、可微分、逐头秩适配。在LLAMA-3.1-70B和PaliGemma-2上进行的实验表明，ARD-LoRA有效，达到接近完整微调性能的99.3%，仅使用0.32%可训练参数，优于DoRA和AdaLoRA等强大基线。此外，它将多模态适配内存降低41%。这些结果确立了动态、细粒度的秩分配是高效基石模型适配的关键范式。
引用
@article{arxiv.2506.18267,
title = {ARD-LoRA: Dynamic Rank Allocation for Parameter-Efficient Fine-Tuning of Foundation Models with Heterogeneous Adaptation Needs},
author = {Haseeb Ullah Khan Shinwari and Muhammad Usama},
journal= {arXiv preprint arXiv:2506.18267},
year = {2025}
}