面向高秩LoRA微调的AR1-ZO：拓扑感知型秩1零阶查询

零阶（ZO）优化使大型语言模型微调无需存储反向传播激活，而LoRA提供紧凑可训练适配器。将它们组合会产生秩悖论：增加LoRA秩可提升适配器容量，但标准两点ZO要么扰动秩相关的坐标数量，要么在原子级更新下会导致有限差分信号不可见。本文表明，瓶颈是测量拓扑问题而非外部子空间的需求。LoRA已分解为匹配的秩1原子，每个原子是完整因子坐标块，维度为$d_{out}+d_{in}$。每步查询一个原子可保持存储适配器秩为r，同时消除单查询扰动维度中的r。粗略的原子级查询仍不准确：若其继承标准LoRA缩放$\alpha/r$，则活跃的有限差分信号随r的倒数缩小，活跃的有限差分信噪比（FD-SNR）随r平方缩小，导致在固定残差评估噪声底下的方向性坍缩。AR1-ZO将交替秩1原子查询与拓扑感知缩放$\gamma=\alpha r$配对，恢复秩不变的活跃信号，无需额外基、激活钩子、曲率估计或额外前向查询。理论证明了原子最简性、秩不变的活跃查询维度、方向性坍缩与恢复，以及剩余秩依赖性作为 amortized 覆盖成本。OPT和Qwen3模型上的实验验证了信号机制，表明AR1-ZO在标准两前向传递查询预算下，使高秩LoRA在匹配预算的ZO方法中达到有效。