针对非强凸问题的随机拟牛顿法：收敛性与收敛速率分析
最优化与控制
2016-03-16 v1
摘要
受优化和机器学习应用的启发，我们考虑使用随机拟牛顿(SQN)方法求解随机优化问题。在文献中，这些算法的收敛性分析依赖于目标函数的强凸性。据我们所知，在缺乏该假设的情况下，尚未有针对收敛速率的理论分析。受此差距的启发，我们允许目标函数仅为凸函数，并提出了一种循环正则化SQN方法，其中梯度映射和Hessian近似矩阵在每次迭代中均被正则化并以循环方式更新。我们证明，在关于步长和正则化参数的适当假设下，目标函数值在几乎必然和期望意义下均收敛到原始问题的最优目标函数值。对于每种情况，给出了一类保证收敛的可行序列。此外，推导了关于目标函数值的收敛速率。我们在二分类问题上的实证分析表明，与经典正则化SQN方案和随机近似方法相比，所提方案表现良好。
引用
@article{arxiv.1603.04547,
title = {Stochastic quasi-Newton methods for non-strongly convex problems: convergence and rate analysis},
author = {Farzad Yousefian and Angelia Nedić and Uday V. Shanbha},
journal= {arXiv preprint arXiv:1603.04547},
year = {2016}
}
备注
8 pages