Muon 优化器与对抗训练的结合：理论与实证研究
机器学习
2026-05-27 v1
摘要
对抗训练（AT）是对抗攻击中最可靠的经验防御之一，其鲁棒性严重依赖于如何优化底层 min-max 目标。在实践中，随机梯度下降（SGD）是对抗训练的默认优化选择，而自适应优化器常用于改进标准训练，但可能导致鲁棒性较差。最近， muon 优化器通过对矩阵型更新进行正交化（采用近似极坐标分解）在大规模训练中取得显著成果，且内存开销与 SGD 相当。这引发了一个相关的安全问题：正交化优化能否在强大且异构的威胁模型下提升 AT？本文聚焦此问题，开展了全面的理论与实证研究。理论上，我们表明，Muon 对矩阵更新施加了谱范数稳定性上限，限制了训练动力学中不受控制的谱增长，无需显式缩小学习权重。实证上，跨越五种网络结构和三个 威胁模型（、、）及其联合，Muon 在 CNN 上与 SGD 具竞争力，在 CNN 和 ViT 上均显著优于 AdamW。这些结果识别了优化器几何作为对抗训练中的安全相关因素，同时阐明了正交化更新有益的实证 regime。总体而言，本研究突显优化器设计作为 AT 安全关键组件的作用。
引用
@article{arxiv.2605.26929,
title = {When Muon Optimizer Meets Adversarial Training: A Theoretical and Empirical Study},
author = {Jun Yan and Weiquan Huang and Jiankai Zuo and Yujian Mo and Xi Fang and Chengliang Wu and Zeming Wei},
journal= {arXiv preprint arXiv:2605.26929},
year = {2026}
}