随机近端次梯度下降在其聚点集邻域内振荡
最优化与控制
2022-05-25 v2
摘要
我们分析了目标函数路径可微且满足 Sard 型条件的随机近端次梯度下降。尽管聚点集可能并不退化为唯一一点，我们证明了迭代点从一个聚点移动到另一个聚点所花费的时间趋于无穷。我们建立了漂移的振荡型行为。这些结果展示了近端次梯度下降的强稳定性。利用闭测度理论，Bolte、Pauwels 和 Ríos-Zertuche 确立了确定性次梯度下降的此类行为。我们的证明技术依赖于关于微分包含随机逼近的经典工作，这使得我们能将确定性情形下的结果推广到随机且近端的情形，并以统一的方式处理这些不同情形。
引用
@article{arxiv.2103.16253,
title = {Stochastic proximal subgradient descent oscillates in the vicinity of its accumulation set},
author = {Sholom Schechtman},
journal= {arXiv preprint arXiv:2103.16253},
year = {2022}
}