中文

基于函数增长条件度量的用一阶方法求解凸优化问题的新计算保证

最优化与控制 2016-11-10 v2

摘要

受 Renegar 近期工作的启发,我们提出了新的计算方法及相关的计算保证,用于使用一阶方法求解凸优化问题。我们关注的问题是一般凸优化问题 f=minxQf(x)f^* = \min_{x \in Q} f(x),其中我们假设已知严格下界 fslb<ff_{\mathrm{slb}} < f^*。[事实上,在优化统计学和机器学习中的许多损失函数(最小二乘、逻辑损失、指数损失、全变分损失等)以及 Renegar 的标准锥优化问题的变换版本时,fslbf_{\mathrm{slb}} 是自然已知的;在所有这些情况下均有 fslb=0<ff_{\mathrm{slb}} = 0 < f^*。]我们引入了一种称为 f()f(\cdot) 的增长常数 GG 的新函数度量,它衡量 f()f(\cdot) 的水平集相对于函数值增长的速度,并在复杂性分析中起基础作用。当 f()f(\cdot) 非光滑时,我们给出了次梯度下降法和光滑化方法的新的计算保证,这些保证能在若干方面改进现有计算保证,尤其是在初始迭代点 x0x^0 远离最优解集时。当 f()f(\cdot) 光滑时,我们提出了一种周期性重启加速梯度法的方案,在 x0x^0 远离最优解集时也能改进现有计算保证;并且在存在附加结构时,我们提出了一种使用参数化增强光滑化的方案,进一步改进了相关计算保证。

关键词

引用

@article{arxiv.1511.02974,
  title  = {New Computational Guarantees for Solving Convex Optimization Problems with First Order Methods, via a Function Growth Condition Measure},
  author = {Robert M. Freund and Haihao Lu},
  journal= {arXiv preprint arXiv:1511.02974},
  year   = {2016}
}

备注

1 figure