基于幂迭代从部分正交化加速零阶谱优化

零阶（ZO）优化因其无需内存密集反向传播即可针对本地数据调整模型而日益流行且重要，尤其在边缘设备上。最近的工作尝试通过低维子空间搜索来降低ZO方差，但仅靠子空间限制仍未充分利用关键优化几何，催生了额外的加速需求。本文聚焦于隐藏层训练问题，其中类似Muon的谱优化器因能利用正交化来挖掘弱谱方向而优于AdamW。然而，我们发现与一阶设置不同，零阶环境下完全正交化效果不佳，因为梯度估计高度噪声且不可靠。为此，我们提出应用部分谱正交化来加速零阶优化。为此，我们将Muon中著名的Newton-Schulz程序替换为更快更集中的幂迭代方法，仅放大主导谱方向。此外，为提高算法的效率和泛化能力，我们采用了幂迭代的流式变体，要求梯度方差较低，这通过在通过动量投影获得的子空间内约束搜索来实现，呼应了近期的最新进展。在OPT-13B模型上的实验表明，我们的方法可实现ZO-Muon当前最佳算法的1.5倍至4倍的收敛速度，跨越SuperGLUE数据集。在不同模型上，我们也以较少时间达到竞争的最终准确率，相较于诸如MeZO、LOZO和ZO-Muon等强大的零阶基线。代码已公开：https://github.com/MOFA-LAB/ZO-MOPI.git。