凹化能力与收敛性：梯度下降分析的充要条件
最优化与控制
2019-05-29 v1 机器学习
摘要
由于梯度下降算法在深度学习应用中的效用，其收敛性一直吸引着 renewed 关注。尽管提出了多种梯度下降变体，但目标函数梯度 Lipschitz 连续的假设直到最近仍是分析的重要组成部分。在这项工作中，我们通过关注一种我们称之为凹化能力（concavifiability）的性质而非梯度的 Lipschitz 连续性来进行收敛分析。我们表明，凹化能力是满足上二次逼近的充要条件，而上二次逼近是证明目标函数在每次梯度下降更新后下降的关键。我们还表明，任何梯度 Lipschitz 函数都满足凹化能力。推导出一个称为凹化子（concavifier）的常数，类似于梯度 Lipschitz 常数，它指示了最优步长。作为一个应用，我们通过一个受神经网络启发的例子展示了寻找凹化子在梯度下降收敛中的效用。我们推导了凹化子的界，以获得单隐藏层 ReLU 网络的固定步长。
引用
@article{arxiv.1905.11620,
title = {Concavifiability and convergence: necessary and sufficient conditions for gradient descent analysis},
author = {Thulasi Tholeti and Sheetal Kalyani},
journal= {arXiv preprint arXiv:1905.11620},
year = {2019}
}