凸目标函数的刻画与 SGD 的最优期望收敛速率
最优化与控制
2019-05-15 v2 机器学习
摘要
我们研究具有递减步长的随机梯度下降（SGD）在凸目标函数上的表现。我们引入一个定义性框架与理论，定义并刻画了凸目标函数的一个核心性质，称为曲率。借助曲率，我们可以推导出一个新的不等式，通过求解一个微分方程来计算最优的递减步长序列。我们的精确解确认了文献中的已知结果，并使我们能完整刻画一个新的正则化子及其对应的期望收敛速率。
引用
@article{arxiv.1810.04100,
title = {Characterization of Convex Objective Functions and Optimal Expected Convergence Rates for SGD},
author = {Marten van Dijk and Lam M. Nguyen and Phuong Ha Nguyen and Dzung T. Phan},
journal= {arXiv preprint arXiv:1810.04100},
year = {2019}
}