用于非凸优化的 Douglas-Rachford 分裂法及其在非凸可行性问题中的应用
最优化与控制
2015-11-17 v5 机器学习
摘要
我们通过研究一类非凸优化问题，调整 Douglas-Rachford (DR) 分裂法以求解非凸可行性问题。虽然该方法在凸问题中的收敛性质已得到充分研究，但在非凸情形下知之甚少。在本文中，对于将该方法直接适配以最小化一个正常闭函数 与一个具有 Lipschitz 连续梯度的光滑函数 之和的情况，我们证明了如果步长参数小于一个可计算的阈值且生成的序列存在聚点，则该聚点是优化问题的驻点。在 和 为半代数的附加假设下，还建立了整个序列的收敛性及局部收敛速率。我们也给出了保证生成序列有界的简单充分条件。随后，我们将非凸 DR 分裂法应用于寻找闭凸集 与一般闭集 交集中的点，方法是最小化到 的距离平方并受限于 。我们证明，如果任一集合有界且步长参数小于一个可计算的阈值，则从 DR 分裂法生成的序列实际上是有界的。因此，生成的序列将拥有对于优化问题为驻点的聚点，并且在 和 为半代数的附加假设下，整个序列是收敛的。这些结果的取得基于一种专门为 DR 分裂法构造的新价值函数。我们的初步数值结果表明，在寻找线性系统的稀疏解方面，我们的 DR 分裂法在解的质量和所需迭代次数上通常优于交替投影法。
引用
@article{arxiv.1409.8444,
title = {Douglas-Rachford splitting for nonconvex optimization with application to nonconvex feasibility problems},
author = {Guoyin Li and Ting Kei Pong},
journal= {arXiv preprint arXiv:1409.8444},
year = {2015}
}
备注
To appear in Mathematical Programming