StelLA：基于斯特弗尔曼流形的低秩适应子空间学习
机器学习
2026-04-03 v2
摘要
低秩适应（LoRA）已被广泛采用作为大规模预训练模型参数高效微调技术。然而，它仍滞后于完整微调，部分原因在于其不足地利用了低秩流形背后几何结构。本文提出一种几何感知的 LoRA 扩展，采用三因子分解 。类似于奇异值分解（SVD）的结构，它将适配器的输入子空间 与输出子空间 从缩放因子 中分离。我们将 和 限制在斯特弗尔曼流形上，确保其在训练期间正交。为在斯特弗尔曼流形上进行优化，我们采用一种灵活且模块化的几何优化设计，将任何欧几里得优化器转换为黎曼优化器。这使我们能够在保持与现有微调管线兼容性的同时实现高效子空间学习。跨越众多下游任务的实证结果包括常识推理、数学与代码生成、图像分类与图像生成，均显示出我们方法相较于 LoRA 最近的 SOTA 变体具有优越性能。代码已公开于 https://github.com/SonyResearch/stella。
引用
@article{arxiv.2510.01938,
title = {StelLA: Subspace Learning in Low-rank Adaptation using Stiefel Manifold},
author = {Zhizhong Li and Sina Sajadmanesh and Jingtao Li and Lingjuan Lyu},
journal= {arXiv preprint arXiv:2510.01938},
year = {2026}
}
备注
NeurIPS 2025 Spotlight