用于无约束与球约束凸优化的快速 Bundle-Level 型方法
最优化与控制
2014-12-08 v1
摘要
已有文献 \cite{Lan13-1} 表明，加速近邻层（APL）方法及其变体——均匀光滑层（USL）方法，在求解黑箱和结构化凸规划问题时具有最优迭代复杂度，且无需输入任何光滑性信息。然而，这些算法要求可行集有界的假设，且其效率依赖于涉及的两个子问题的求解。这阻碍了这些算法在求解大规模和无约束优化问题时的适用性。在本文中，我们首先提出一个通用算法框架，将这些一致最优层方法扩展至求解无约束问题。此外，我们引入了两种新的层方法变体，即快速 APL（FAPL）方法和快速 USL（FUSL）方法，分别用于求解大规模黑箱和结构化凸规划问题。FAPL 和 FUSL 均享有与 APL 和 USL 相同的最优迭代复杂度，同时每次迭代中的子问题数量由两个减少为一个。此外，我们提出了一种精确方法来求解这些算法中唯一的子问题。因此，所提出的 FAPL 和 FUSL 方法在计算时间和解的质量两方面均显著提升了 APL 和 USL 在实践中的性能。我们在求解一些大规模最小二乘问题和基于全变分的图像重建问题上的数值结果表明，相较于 APL、USL 及其他一些最先进的一阶方法，这些新型 Bundle-Level 型方法具有巨大优势。
引用
@article{arxiv.1412.2128,
title = {Fast Bundle-Level Type Methods for unconstrained and ball-constrained convex optimization},
author = {Yunmei Chen and Guanghui Lan and Yuyuan Ouyang and Wei Zhang},
journal= {arXiv preprint arXiv:1412.2128},
year = {2014}
}