精确线搜索梯度法对光滑强凸函数的最坏情况复杂度
最优化与控制
2016-09-16 v2
摘要
我们考虑将梯度（或最速）下降法与精确线搜索应用于具有 Lipschitz 连续梯度的强凸函数。我们建立了该方案的最坏情况收敛速率的精确表达式，并表明这种最坏情况行为由某个凸二次函数所展现。我们还给出了梯度下降法噪声变体的紧最坏情况复杂度界，其中在搜索方向上执行精确线搜索，该方向与负梯度的偏差不超过给定的相对容差。证明是计算机辅助的，依赖于半定规划性能估计问题的求解，如论文 [Y. Drori 和 M. Teboulle. Performance of first-order methods for smooth convex minimization: a novel approach. Mathematical Programming, 145(1-2):451-482, 2014] 中所引入的。
引用
@article{arxiv.1606.09365,
title = {On the worst-case complexity of the gradient method with exact line search for smooth strongly convex functions},
author = {Etienne de Klerk and François Glineur and Adrien B. Taylor},
journal= {arXiv preprint arXiv:1606.09365},
year = {2016}
}
备注
11pages