中文

邻近梯度流与 Douglas-Rachford 分裂动力学:基于积分二次约束的全局指数稳定性

最优化与控制 2020-06-26 v2 机器学习 系统与控制 系统与控制 动力系统

摘要

许多大规模与分布式优化问题可化为复合形式,其中目标函数由光滑项与非光滑正则项之和给出。此类问题可通过邻近梯度法及其变体求解,从而将梯度下降推广至非光滑情形。本文中,我们将邻近算法视为动力系统,并利用控制论技术研究其全局性质。特别地,对于具有强凸目标函数的问题,我们利用积分二次约束理论证明支配邻近梯度流与 Douglas-Rachford 分裂流演化的微分方程平衡点的全局指数稳定性。在我们的分析中,我们使用这样的事实:这些算法可被解释为在适当包络上的变度量梯度法,并利用了由目标函数光滑部分的梯度及与非光滑正则项相关的邻近算子所产生的非线性项的结构性质。我们还证明这些包络可由原非光滑问题相关的增广拉格朗日函数获得,并建立了即便在缺乏强凸性时全局指数收敛的条件。

关键词

引用

@article{arxiv.1908.09043,
  title  = {Proximal gradient flow and Douglas-Rachford splitting dynamics: global exponential stability via integral quadratic constraints},
  author = {Sepideh Hassan-Moghaddam and Mihailo R. Jovanović},
  journal= {arXiv preprint arXiv:1908.09043},
  year   = {2020}
}

备注

8 pages; 1 figure