Heavy-ball 方法与 iPiano 在非凸优化中的局部收敛性
最优化与控制
2018-01-29 v5
摘要
证明了抽象下降方法的一个局部收敛结果。迭代序列被局部（或全局）最小值吸引，停留在其邻域内并在该邻域内收敛。这一结果允许算法利用目标函数的局部性质。特别地，本文的抽象理论适用于惯性前向--后向分裂方法：iPiano---Heavy-ball 方法的一种推广。此外，它揭示了 iPiano 与惯性平均/交替邻近最小化及投影方法之间的等价性。该等价性的关键在于被邻域内局部最小值吸引，以及对于 prox-正则函数，Moreau 包络的梯度是局部 Lipschitz 连续的并且可用邻近映射表示。在一个数值可行性问题中，惯性交替投影方法显著优于其非惯性变体。
引用
@article{arxiv.1606.09070,
title = {Local Convergence of the Heavy-ball Method and iPiano for Non-convex Optimization},
author = {Peter Ochs},
journal= {arXiv preprint arXiv:1606.09070},
year = {2018}
}