非光滑优化中逃离 Moreau 包络的严格鞍点
最优化与控制
2021-06-21 v1 机器学习
机器学习
摘要
近期研究表明，随机扰动梯度法能够高效逃离光滑函数的严格鞍点。我们将这一工作拓展至非光滑优化，通过分析应用于 Moreau 包络的随机扰动梯度法的一个不精确类比。主要结论是，多种非光滑优化算法能够以受控速率逃离 Moreau 包络的严格鞍点。主要的技术洞见是，应用于邻近子问题的典型算法所产生的方向在相对意义上逼近 Moreau 包络的梯度。
引用
@article{arxiv.2106.09815,
title = {Escaping strict saddle points of the Moreau envelope in nonsmooth optimization},
author = {Damek Davis and Mateo Díaz and Dmitriy Drusvyatskiy},
journal= {arXiv preprint arXiv:2106.09815},
year = {2021}
}
备注
29 pages, 1 figure