我们能否找到非光滑非凸函数的近近似平稳点？

Ohad Shamir

我们能否找到非光滑非凸函数的近近似平稳点？

最优化与控制 2021-04-19 v3 机器学习

作者: Ohad Shamir

摘要

众所周知，给定一个有界的、光滑的非凸函数，标准的基于梯度的方法可以在 $\mathcal{O}(1/\epsilon^2)$ 次迭代内找到 $\epsilon$ -平稳点（其梯度范数小于 $\epsilon$ ）。然而，许多重要的非凸优化问题，例如与训练现代神经网络相关的问题，本质上并不光滑，使得这些结果不适用。此外，正如Zhang等人[2020]最近指出的，一般而言不可能为寻找非光滑函数的 $\epsilon$ -平稳点提供有限时间保证。或许最自然的松弛是寻找接近此类 $\epsilon$ -平稳点的点。本文中，我们表明即使这一松弛目标在一般情况下也难以实现，仅给定函数值和梯度的黑盒访问时亦然。我们也讨论了替代方法的优劣。

关键词

非光滑优化非凸函数平稳点基于梯度的方法黑盒访问有限时间保证

引用

@article{arxiv.2002.11962,
  title  = {Can We Find Near-Approximately-Stationary Points of Nonsmooth Nonconvex Functions?},
  author = {Ohad Shamir},
  journal= {arXiv preprint arXiv:2002.11962},
  year   = {2021}
}

备注

This paper is superseded by arXiv:2104.06763, which contains major additional results

我们能否找到非光滑非凸函数的近近似平稳点？

摘要

关键词

引用

备注

相关论文