随机次梯度下降逃离弱凸函数上的活跃严格鞍点
最优化与控制
2023-07-26 v4 机器学习
摘要
在非光滑随机优化中，我们建立了随机次梯度下降（SGD）对近期由Davis和Drusvyatskiy所称的活跃严格鞍点的不收敛性。此类点位于流形上，函数在该处存在二阶负曲率方向。在此流形外，的Clarke次微分范数有下界。我们对要求两个条件。第一个假设是Verdier分层条件，它是广为使用的Whitney分层的精细化。它使我们建立了Bolte等人针对Whitney可分层函数的投影公式的强化版本，这具有独立意义。第二个假设称为角度条件，可用于控制迭代点到的距离。当为弱凸时，我们的假设是通用的。因此，在可定义弱凸函数类中，SGD通常收敛到局部极小点。
引用
@article{arxiv.2108.02072,
title = {Stochastic Subgradient Descent Escapes Active Strict Saddles on Weakly Convex Functions},
author = {Pascal Bianchi and Walid Hachem and Sholom Schechtman},
journal= {arXiv preprint arXiv:2108.02072},
year = {2023}
}
备注
Accepted for publication in Mathematics of Operations Research