面向螺旋算法的可计算定心方法及其对偶：源自 Lyapunov 函数理论的动机
最优化与控制
2022-09-09 v4
摘要
对于许多问题（其中部分在本文中予以回顾），诸如 Douglas--Rachford (DR)、ADMM 和 FISTA 等流行算法所产生的逼近序列呈现出向解螺旋运动的迹象。我们提出一种元算法，利用此类动态特性来潜在地提升性能。该元算法的策略是迭代地构建并最小化捕获这些动态的 Lyapunov 函数的代理函数。作为第一个启发性应用，我们证明对于原型可行性问题，圆周定心反射法 (CRM)、次梯度投影和 Newton--Raphson 均可描述为用于最小化为 DR 算子所构造的 Lyapunov 函数的基于梯度的方法，其中前者返回 Lyapunov 函数的球形代理函数的最小化子。作为第二个启发性应用，我们引入一种具有相同性质的新方法，但具有额外优势：1) 不依赖于子问题（例如反射），因此可应用于任何迭代具有螺旋性质的算子；2) 在极少结构假设下可证明具有上述 Lyapunov 性质，因此普遍适用于原始/对偶实现；3) 当原算子将降维空间映射到自身时，该方法亦如此。这使得寻求螺旋迭代序列中心的方法的首次原始/对偶实现成为可能。我们描述了该方法，并给出一个计算实例（基追踪）。
引用
@article{arxiv.2001.10784,
title = {Computable Centering Methods for Spiraling Algorithms and their Duals, with Motivations from the theory of Lyapunov Functions},
author = {Scott B. Lindstrom},
journal= {arXiv preprint arXiv:2001.10784},
year = {2022}
}