基于 Stiefel 流形的 LoRA 里米安优化
机器学习
2025-08-26 v1 人工智能
摘要
虽然强大，但大型语言模型（LLM）由于其庞大尺寸在微调方面面临重大挑战。参数高效微调（PEFT）方法如 LoRA 提供了解决方案，但因优化器效率不足而存在关键问题；例如，使用 AdamW 时 LoRA B 矩阵中存在基底冗余，从而根本限制了性能。我们通过对 B 矩阵在 Stiefel 流形上进行优化，施加显式正交约束，以实现近乎完美的正交性和完全有效秩。这一几何方法显著增强了参数效率和表示能力。我们的 Stiefel 优化器在 LoRA 和 DoRA 上均 consistently 超越 AdamW，表明几何约束是释放 LoRA 在有效 LLM 微调潜能的关键。
引用
@article{arxiv.2508.17901,
title = {Riemannian Optimization for LoRA on the Stiefel Manifold},
author = {Juneyoung Park and Minjae Kang and Seongbae Lee and Haegang Lee and Seongwan Kim and Jaeho Lee},
journal= {arXiv preprint arXiv:2508.17901},
year = {2025}
}
备注
EMNLP 2025 Findings