非凸优化中的 Douglas-Rachford 分裂与 ADMM：加速与牛顿型线搜索算法
最优化与控制
2024-04-17 v2
摘要
尽管 Douglas-Rachford 分裂（DRS）和 ADMM 等流行优化算法在小型且良态的问题中表现令人满意，但病态条件与问题规模对其可靠应用构成了严重障碍。基于近期将 DRS 和 ADMM 应用于非凸问题的收敛性结果，我们提出两种线搜索算法，借助拟牛顿方向来增强并使这些方法更具鲁棒性。所提算法适用于非凸问题，所需黑盒预言机与 DRS 和 ADMM 相同，并保持其（子列）收敛性质。数值实验表明，在所提框架中采用 L-BFGS 可大幅改善 DRS 和 ADMM 的收敛性，使其对病态条件具有鲁棒性。在极限点处满足正则性与非退化假设时，采用拟牛顿 Broyden 方向可实现超线性收敛。
引用
@article{arxiv.2005.10230,
title = {Douglas-Rachford splitting and ADMM for nonconvex optimization: Accelerated and Newton-type linesearch algorithms},
author = {Andreas Themelis and Lorenzo Stella and Panagiotis Patrinos},
journal= {arXiv preprint arXiv:2005.10230},
year = {2024}
}