通过对称性打破学习适配器秩

低秩适应之所以有效，部分原因在于下游更新位于低维子空间内，但 LoRA 的隐含秩坐标并不可辨识：任何对适配器因子的可逆重参数化均不改变权重更新。我们表明，采用具有对角秩分布后验的变分推断可将这种不可辨识性转化为有用的诱导偏置。通过打破 LoRA 的旋转规范对称性，变分目标在秩空间选择一个优先基底，实现对秩方向的自动相关确定。这导致 Low-Rank Variational Dropout（LRVD），一种直接在低秩适应空间进行推断而非在 ambient 权重空间中进行的贝叶斯框架。作为一种实例，BayesLoRA 仅需 $\mathcal{O}(r)$ 的额外参数即可联合学习有效适配器秩和预测不确定性。经验上，BayesLoRA 诱导的秩结构稳定，与所学习更新的主导奇异方向对齐，产生紧凑的预测校准，并在相当的训练成本下匹配或超过强大的低秩稀疏化基准。