GeoLoRA：面向参数高效微调的几何积分方法
机器学习
2024-10-25 v1 人工智能
数值分析
数值分析
摘要
低秩适配已成为大规模预训练神经网络参数高效微调中广泛使用的方法。然而，LoRA及其扩展面临若干挑战，包括在微调过程中对秩自适应性、鲁棒性和计算效率的需求。我们引入了GeoLoRA，这是一种新颖的方法，通过利用动态低秩逼近理论来解决这些局限性。GeoLoRA仅需对小秩适配器进行一次反向传播，与类似的动态低秩训练方法相比显著降低了计算成本，并且使其比AdaLoRA等流行基线更快。这使得GeoLoRA能够有效地跨模型分配分配的参数预算，与AdaLoRA和LoRA等启发式方法相比，实现了更小的低秩适配器，同时保持了关键的收敛性、下降性和误差界理论保证。由此产生的方法不仅更高效，而且对不同超参数设置也更鲁棒。我们在多个最先进的基准测试上展示了GeoLoRA的有效性，表明其在准确性和计算效率方面均优于现有方法。
引用
@article{arxiv.2410.18720,
title = {GeoLoRA: Geometric integration for parameter efficient fine-tuning},
author = {Steffen Schotthöfer and Emanuele Zangrando and Gianluca Ceruti and Francesco Tudisco and Jonas Kusch},
journal= {arXiv preprint arXiv:2410.18720},
year = {2024}
}