凸近端惯性梯度下降的非遍历复杂度
最优化与控制
2019-07-19 v3 机器学习
摘要
近端惯性梯度下降对于复合最小化是高效的，并适用于广泛的机器学习问题。在本文中，我们重新审视该算法的计算复杂度并给出其他新结果，特别是关于目标函数值的收敛速率。当目标函数具有强制性时，证明了带常数步长的近端惯性梯度下降的非遍历 O(1/k) 速率。当目标函数无法保证强制性时，我们证明了带递减惯性参数的次线性速率。在目标函数满足最优强凸性条件（远弱于强凸性）的情况下，证明了以比以往文献更大且更一般的步长实现的线性收敛。我们还将结果推广到多块版本并给出计算复杂度。循环和随机索引选择策略均被考虑。
引用
@article{arxiv.1801.07389,
title = {Non-ergodic Complexity of Convex Proximal Inertial Gradient Descents},
author = {Tao Sun and Linbo Qiao and Dongsheng Li},
journal= {arXiv preprint arXiv:1801.07389},
year = {2019}
}