光滑凸极小化的一阶方法性能：一种新方法
最优化与控制
2012-06-15 v1
摘要
我们引入了一种新方法来分析一阶黑盒优化方法的性能。我们专注于欧几里得空间R^d上的光滑无约束凸极小化问题。该方法基于如下观察：黑盒优化方法的最坏情况行为本身就是一个优化问题，我们称之为性能估计问题（PEP）。我们对两类一阶算法进行了PEP的公式化和分析。首先将该方法应用于经典梯度法，并推导出其性能的一个新的紧解析界。然后考虑更广泛的一阶黑盒方法，其中包括所谓的重球法和快速梯度方案。我们证明，对于这个更广泛的类别，可以通过求解一个适当松弛的凸半定PEP来推导这些方法性能的新数值界。最后，我们展示了一个寻找最优步长的有效过程，从而得到一种实现最佳性能的一阶黑盒方法。
引用
@article{arxiv.1206.3209,
title = {Performance of first-order methods for smooth convex minimization: a novel approach},
author = {Yoel Drori and Marc Teboulle},
journal= {arXiv preprint arXiv:1206.3209},
year = {2012}
}