Bernoulli-LoRA：随机低秩适应的理论框架
机器学习
2025-08-07 v1 最优化与控制
摘要
参数高效微调 (PEFT) 作为适应大型基础模型以适应特定任务的方法近年来日益重要，尤其是随着模型规模的指数级增长。尽管经验研究表明 LoRA 在实际中具有实用性，但其理论理解仍有限。最近的 RAC-LoRA (arXiv:2410.08305) 初步 steps toward 严格分析。在本工作中，我们引入 Bernoulli-LoRA，一种新颖的理论框架，用于统一和扩展现有的 LoRA 方法。我们的方法引入概率性的 Bernoulli 机制来选择更新哪个矩阵。这种方法涵盖并概括了各种现有更新策略，同时保持理论可处理性。在标准的非凸优化文献假设下，我们分析了本框架的多个变体：Bernoulli-LoRA-GD、Bernoulli-LoRA-SGD、Bernoulli-LoRA-PAGE、Bernoulli-LoRA-MVR、Bernoulli-LoRA-QGD、Bernoulli-LoRA-MARINA 和 Bernoulli-LoRA-EF21，为每个变体建立了收敛保证。此外，我们扩展了分析到凸非光滑函数，提供常数和自适应（Polyak 类型）步长的收敛率。通过在各种任务上的大量实验，我们验证了理论发现，证明了我们方法的实际有效性。这一步是通向 developing 以理论依据为根据，同时又具实用性的 PEFT 方法的一步。
引用
@article{arxiv.2508.03820,
title = {Bernoulli-LoRA: A Theoretical Framework for Randomized Low-Rank Adaptation},
author = {Igor Sokolov and Abdurakhmon Sadiev and Yury Demidovich and Fawaz S Al-Qahtani and Peter Richtárik},
journal= {arXiv preprint arXiv:2508.03820},
year = {2025}
}
备注
64 Pages, 9 Algorithms, 22 Theorems, 10 Lemmas, 2 Figures, 3 Tables