非凸优化中非孤立局部极小点下随机梯度下降法的局部收敛理论
机器学习
2022-05-31 v3 数值分析
数值分析
机器学习
摘要
具有非孤立极小点的损失函数已在若干机器学习问题中出现，造成了理论与实践之间的鸿沟。本文中，我们提出一种新型局部凸性条件，适用于描述损失函数在非孤立极小点附近的行为。我们证明该条件具有足够的通用性，可涵盖许多现有条件。此外，我们通过采用随机稳定性的概念，在此温和条件下研究了SGD的局部收敛性。由收敛性分析得到的相应集中不等式有助于解释某些实际训练结果中的经验观测。
引用
@article{arxiv.2203.10973,
title = {A Local Convergence Theory for the Stochastic Gradient Descent Method in Non-Convex Optimization With Non-isolated Local Minima},
author = {Taehee Ko and Xiantao Li},
journal= {arXiv preprint arXiv:2203.10973},
year = {2022}
}