带谱引导的 Muon 优化器：科学机器学习中的高效优化
机器学习
2026-02-19 v1
摘要
受限于梯度条件不良、多尺度谱行为以及物理约束引发的刚性问题，物理信息神经网络和神经算子常面临严重的优化困难。最近，Muon 优化器通过在梯度的奇异向量基上执行正交化更新，展现出改善几何条件的潜力。然而，其单位奇异值更新可能导致步幅过于激进，且在物理信息学习中缺乏明确的稳定性保证。本文提出了 SpecMuon——一种谱感知优化器，将 Muon 的正交化几何与模式级松弛标量辅助变量 (RSAV) 机制相结合。通过将矩阵型梯度分解为奇异模态，并在主导谱方向上分别应用 RSAV 更新，SpecMuon 根据全局损失能量自适应调节步幅，同时保持 Muon 的尺度平衡特性。该 formulation 将优化解释为多模态梯度流，实现了刚性谱分量的原则性控制。我们在 SpecMuon 中建立了严格的理论属性，包括修改后的能量耗散律、辅助变量的正性与有界性，以及在 Polyak-Lojasiewicz 条件下具有线性收敛率的全局收敛性。数值实验表明，在基于物理信息的神经网络、DeepONets 以及分数阶 PINN-DeepONets 上，SpecMuon 在诸如一维布尔方程和分数偏微分方程等基准问题上，相较于 Adam、AdamW 及原 Muon 优化器，实现了更快的收敛速度和更好的稳定性。
引用
@article{arxiv.2602.16167,
title = {Muon with Spectral Guidance: Efficient Optimization for Scientific Machine Learning},
author = {Binghang Lu and Jiahao Zhang and Guang Lin},
journal= {arXiv preprint arXiv:2602.16167},
year = {2026}
}