梯度下降算法概述
机器学习
2025-11-27 v1 人工智能
摘要
本文聚焦于深度学习中优化算法的实际配置需求，重点分析五种主要算法：SGD、Mini-batch SGD、Momentum、Adam 和 Lion。系统梳理了每种算法的核心优势、局限性及关键实用建议。研究旨在深入理解这些算法，为学术研究和工程实践中优化算法的合理选择、参数调优及性能提升提供标准化参考，从而解决不同规模模型和各种训练场景中的优化挑战。
引用
@article{arxiv.2511.20725,
title = {Gradient Descent Algorithm Survey},
author = {Deng Fucheng and Wang Wanjie and Gong Ao and Wang Xiaoqi and Wang Fan},
journal= {arXiv preprint arXiv:2511.20725},
year = {2025}
}