连续时间随机梯度下降的收敛及其在深度神经网络中的应用
机器学习
2025-11-03 v2 最优化与控制
机器学习
摘要
我们研究了用于最小化学习问题中 population expected loss 的随机梯度下降过程的连续时间近似。主要结果建立了一般充分条件，以扩展Chatterjee (2022)关于（非随机）梯度下降的结果。我们展示了如何可应用于过参数化神经网络训练的情况。
引用
@article{arxiv.2409.07401,
title = {Convergence of continuous-time stochastic gradient descent with applications to deep neural networks},
author = {Gabor Lugosi and Eulalia Nualart},
journal= {arXiv preprint arXiv:2409.07401},
year = {2025}
}