基于函数增长条件度量的用一阶方法求解凸优化问题的新计算保证
最优化与控制
2016-11-10 v2
摘要
受 Renegar 近期工作的启发,我们提出了新的计算方法及相关的计算保证,用于使用一阶方法求解凸优化问题。我们关注的问题是一般凸优化问题 ,其中我们假设已知严格下界 。[事实上,在优化统计学和机器学习中的许多损失函数(最小二乘、逻辑损失、指数损失、全变分损失等)以及 Renegar 的标准锥优化问题的变换版本时, 是自然已知的;在所有这些情况下均有 。]我们引入了一种称为 的增长常数 的新函数度量,它衡量 的水平集相对于函数值增长的速度,并在复杂性分析中起基础作用。当 非光滑时,我们给出了次梯度下降法和光滑化方法的新的计算保证,这些保证能在若干方面改进现有计算保证,尤其是在初始迭代点 远离最优解集时。当 光滑时,我们提出了一种周期性重启加速梯度法的方案,在 远离最优解集时也能改进现有计算保证;并且在存在附加结构时,我们提出了一种使用参数化增强光滑化的方案,进一步改进了相关计算保证。
引用
@article{arxiv.1511.02974,
title = {New Computational Guarantees for Solving Convex Optimization Problems with First Order Methods, via a Function Growth Condition Measure},
author = {Robert M. Freund and Haihao Lu},
journal= {arXiv preprint arXiv:1511.02974},
year = {2016}
}
备注
1 figure