代理凸性：梯度下降训练神经网络分析的统一框架
机器学习
2022-09-14 v3 最优化与控制
机器学习
摘要
尽管学习神经网络的优化目标高度非凸，基于梯度的方法在实践中已极为成功地学习了神经网络。这种反差促使近期出现许多关于梯度下降训练神经网络可证明保证的研究。遗憾的是，这些工作中的技术往往高度特定于各问题中的具体设置，难以在不同设定间推广。为弥补文献中的这一缺陷，我们提出一个用于神经网络训练分析的统一非凸优化框架。我们引入代理凸性和代理 Polyak-Lojasiewicz (PL) 不等式的概念，若原目标函数诱导出一个在使用梯度方法时被隐式最小化的代理目标函数，则这些概念得到满足。我们证明，在满足代理凸性或代理 PL 不等式的目标上执行梯度下降，可得到针对代理目标函数的高效保证。我们进一步表明，许多已有的梯度下降训练神经网络保证都可通过代理凸性和代理 PL 不等式统一起来。
引用
@article{arxiv.2106.13792,
title = {Proxy Convexity: A Unified Framework for the Analysis of Neural Networks Trained by Gradient Descent},
author = {Spencer Frei and Quanquan Gu},
journal= {arXiv preprint arXiv:2106.13792},
year = {2022}
}
备注
16 pages. Updated presentation, changed results from online SGD to batch GD