深度学习优化器的开发：方法、概念与更新规则
机器学习
2025-09-24 v1
摘要
深度学习优化器是使深度神经网络得以学习的优化算法。学习效果高度依赖于训练过程中所采用的优化器。随着深度学习的快速发展，各种不同方法的优化器应运而生。本研究旨在对文献中已提出并受到关注的各类优化器进行综述。按时间顺序，从随机梯度下降到最新的动量法、AdamW、Sophia 和 Muon，逐一审视各优化器并突出其独特特征。详细呈现每个优化器的更新规则，并解释相关概念与变量。同时讨论这些优化器所应用的技术、对优化过程的贡献及其默认超参数设置。此外，还提供了深度学习模型优化中所遇到开放挑战的见解。因此，本研究既为理解优化器的当前状态提供了全面资源，也为识别未来潜在发展方向提供了参考。
引用
@article{arxiv.2509.18396,
title = {Development of Deep Learning Optimizers: Approaches, Concepts, and Update Rules},
author = {Doğay Altınel},
journal= {arXiv preprint arXiv:2509.18396},
year = {2025}
}
备注
24 pages