用于凸优化的牛顿型交替最小化算法
最优化与控制
2019-11-11 v1
摘要
我们提出NAMA（牛顿型交替最小化算法）用于求解结构化的非光滑凸优化问题，其中待最小化两函数之和，一个为强凸，另一个与线性映射复合。所提算法是针对相应对偶问题的一个连续、实值、精确罚函数的线搜索方法，该罚函数通过在交替最小化获得的原始点处计算增广拉格朗日量得到。因此，NAMA所依赖的计算与经典交替最小化算法（AMA，亦称对偶近端梯度法）完全相同。在标准假设下，所提算法具有强收敛性质，而在温和的附加假设下，若搜索方向依据拟牛顿公式选取，则渐近收敛为超线性。由于其简单性，所提方法非常适用于嵌入式应用与大规模问题。实验表明，在NAMA中使用有限内存方向相较AMA及其加速变体大幅提升了收敛速度。
引用
@article{arxiv.1803.05256,
title = {Newton-type Alternating Minimization Algorithm for Convex Optimization},
author = {Lorenzo Stella and Andreas Themelis and Panagiotis Patrinos},
journal= {arXiv preprint arXiv:1803.05256},
year = {2019}
}