光滑强凸插值及一阶方法的精确最坏情况性能
最优化与控制
2016-11-01 v6
摘要
我们证明了，通过求解凸规划，可获得用于光滑（可能强）凸函数无约束优化的定步长一阶方法的精确最坏情况性能。寻找黑盒一阶方法的最坏情况性能被表述为在一组光滑（强）凸函数与初始条件上的优化问题。我们给出了光滑（强）凸插值的闭式必要与充分条件，其为那些函数提供了有限表示。这使得我们能将最坏情况性能估计问题重新表述为一个等价的有限维无关半定优化问题，其精确解可恢复至数值精度。该性能估计问题的最优解同时给出了最坏情况性能界与匹配它们的显式函数，因为我们的光滑（强）凸插值过程是构造性的。我们的工作建立在 Drori 与 Teboulle 于 [Math. Prog. 145 (1-2), 2014] 中的工作之上，他们引入并求解了光滑凸函数性能估计问题的松弛。我们将我们的方法应用于不同的定步长一阶方法，采用若干性能准则，包括目标函数精度与梯度范数。我们猜想了关于定步长梯度法、快速梯度法与优化梯度法在光滑凸与光滑强凸情形下的性能的数个由数值支持的最坏情况界，并推导出梯度法最优步长的紧估计。
引用
@article{arxiv.1502.05666,
title = {Smooth Strongly Convex Interpolation and Exact Worst-case Performance of First-order Methods},
author = {Adrien B. Taylor and Julien M. Hendrickx and François Glineur},
journal= {arXiv preprint arXiv:1502.05666},
year = {2016}
}
备注
Accepted for publication in Mathematical Programming, DOI 10.1007/s10107-016-1009-3. Performance estimation code: http://perso.uclouvain.be/adrien.taylor/#projects