FISMO：Fisher 结构化动量正交化优化器

训练大规模神经网络需要求解非凸优化问题，优化器的选择根本决定了收敛行为和计算效率。虽然像 Adam 这样的自适应方法长期主导实践，但最近提出的 Muon 优化器通过正交化动量更新实现了更佳性能，采用正交化动量更新来实现各向同性几何，使奇异值均匀。然而，这种严格的各向同性会丢弃梯度谱中编码的潜在曲率信息，这促使我们提出能够在几何结构与自适应性之间取得平衡的优化方法。我们引入 FISMO（Fisher-Structured Momentum-Orthogonalized），该方法通过 Fisher 信息几何将各向同性更新推广为包含各向异性曲率信息。通过将优化器更新重新表述为受 Kronecker 因子分解 Fisher 度量约束的信任域问题，FISMO 实现了结构化预条件化，能够适应局部损失景观的几何结构，同时保持计算可行性。我们在随机非凸设置下为 FISMO 建立了收敛保证，证明其对预期平方梯度范数的收敛率为 $\mathcal{O}(1/\sqrt{T})$，并通过 mini-batch 显式刻画方差缩减。在图像分类和语言建模基准测试中的经验评估表明，FISMO 在训练效率和最终性能方面均优于既定基线。