两个非凸函数之和的前向-后向包络：进一步性质与非单调线搜索算法
最优化与控制
2019-11-11 v2
摘要
我们提出了 ZeroFPR，一种用于最小化两个非凸函数之和的非单调线搜索算法，其中一个函数是光滑的，另一个可能是非光滑的。ZeroFPR 是首个这样的算法：尽管适用于完全非凸问题，且仅需前向-后向分裂 (FBS) 的黑盒预言机——即对光滑项梯度的计算和对非光滑项邻近算子的计算——当线搜索方向满足 Dennis-Mor\'e 条件时，它在极限点处于温和假设下实现了超线性收敛速率，并且我们证明拟牛顿方向即满足此条件。我们的方法基于前向-后向包络 (FBE)，它是原始代价函数的一个精确且严格连续的罚函数。扩展先前的研究结果，我们表明，尽管 FBE 对于完全非凸问题是非光滑的，但它仍然具有良好的一阶和二阶性质，这些性质是 ZeroFPR 收敛结果的关键。我们的理论结果得到了有前景的数值模拟的支持。在大规模问题上，通过使用有限记忆拟牛顿更新来计算线搜索方向，我们的算法大大优于 FBS 及其加速变体 (AFBS)。
引用
@article{arxiv.1606.06256,
title = {Forward-backward envelope for the sum of two nonconvex functions: Further properties and nonmonotone line-search algorithms},
author = {Andreas Themelis and Lorenzo Stella and Panagiotis Patrinos},
journal= {arXiv preprint arXiv:1606.06256},
year = {2019}
}