有限和优化的一个下界
机器学习
2015-10-06 v4 最优化与控制
摘要
本文给出了优化n个函数有限和的下界，其中每个函数是L-光滑的，且总和是μ-强凸的。我们证明，没有算法能够在少于Ω(n + √(n(κ-1)) log(1/ε))次迭代内达到误差ε，其中κ=L/μ是代理条件数。然后我们将这个下界与最近开发的专门针对此设置的方法的上界进行比较。当该和中的函数不是任意的，而是基于独立同分布随机数据时，我们进一步将这些复杂度结果与直接优化该和的最优一阶方法的结果进行对比。我们得出的结论是，在进行准确比较时需要非常谨慎，并确定了新方法在计算上有帮助的机器学习场景。
引用
@article{arxiv.1410.0723,
title = {A Lower Bound for the Optimization of Finite Sums},
author = {Alekh Agarwal and Leon Bottou},
journal= {arXiv preprint arXiv:1410.0723},
year = {2015}
}
备注
Added an erratum, we are currently working on extending the result to randomized algorithms