ANO：在噪声景观中更快更好
机器学习
2025-11-11 v2 人工智能
摘要
随机优化器是深度学习的核心，但广泛使用的方法如 Adam 和 Adan 在非平稳或噪声环境下可能性能下降，部分原因是其对基于动量的幅度估计的依赖。我们引入 Ano，这是一个新型优化器，解耦方向与幅度：动量用于方向平滑，而瞬时梯度幅度决定步长。这种设计提高了对梯度噪声的鲁棒性，同时保持了一阶方法的简单性和效率。我们进一步提出 Anolog，通过以对数时间表扩展其窗口来消除对动量系数的敏感性。我们建立了非凸收敛保证，收敛率类似于其他基于符号的方法，实验表明 Ano 在强化学习等噪声和非平稳场景中提供显著提升，而在低噪声任务中保持竞争力。
引用
@article{arxiv.2508.18258,
title = {ANO : Faster is Better in Noisy Landscape},
author = {Adrien Kegreisz},
journal= {arXiv preprint arXiv:2508.18258},
year = {2025}
}
备注
Under Review for ICLR 2026, 25 pages total with appendix, 7 figures, 12 tables