基于控制理论的 Douglas-Rachford 分裂分析与参数选择
最优化与控制
2019-06-28 v2
摘要
Douglas-Rachford 分裂及其等价的对偶形式 ADMM 是控制与机器学习应用中复合优化问题广泛使用的迭代方法。这些算法的性能取决于步长参数的选择，其中最优值在某些特定情况下已知，否则凭经验设定。我们通过将算法解释为具有非线性反馈的线性动力系统，提供了一种收敛分析与参数选择的新的统一方法。该方法允许我们推导出一个与维度无关的矩阵不等式，其可行性足以使算法以指定速率收敛。通过分析该不等式，我们能够在关于目标函数凸性与光滑性的多种假设下给出算法的性能保证与参数设置。特别地，我们的框架使我们获得了当目标函数非强凸时算法 O(1/k) 收敛速率的一个新颖且简单的证明。
引用
@article{arxiv.1903.11525,
title = {A Control-Theoretic Approach to Analysis and Parameter Selection of Douglas-Rachford Splitting},
author = {Jacob H. Seidman and Mahyar Fazlyab and Victor M. Preciado and George J. Pappas},
journal= {arXiv preprint arXiv:1903.11525},
year = {2019}
}