一种基于双升降过程的加速型原型 PRS-SQP算法用于光滑复合优化
最优化与控制
2025-05-15 v1
摘要
传统观念认为在复合优化中，Peaceman-Rachford 分裂（PRS）方法中的增广拉格朗日对偶升降（ALDA）是实现对偶可行性的首选方法。然而，当原始迭代子为局部最小点、稳定点或高度非凸增广拉格朗日函数的坐标wise 解时，ALDA 可能失效。分裂序列二次规划（SQP）方法利用增广拉格朗日对偶下降（ALDD）直接最小化原始残差，规避了 ALDA 的局限性，并在光滑优化中实现更快的收敛。本文旨在为光滑复合优化提出一种相对易于理解的两种截然不同的对偶更新方法（ALDA 和 ALDD）的推广。我们的 PRS-SQP 算法的关键特征是其对偶升降程序，为对偶更新提供自由方向规则，并提供一种新颖的视角来解释反直觉的收敛行为。此外，我们融合了惯性外推和后代代换的混合加速技术，以提高收敛速度。在理论上，我们建立了比以往更广泛的加速因子可行性，并在 Kurdyka-Łojasiewicz 框架下推导收敛速率。数值实验验证了该方法在各种对偶更新情景下的有效性与稳定性。
引用
@article{arxiv.2505.09078,
title = {An accelerated proximal PRS-SQP algorithm with dual ascent-descent procedures for smooth composite optimization},
author = {Jiachen Jin and Guodong Ma and Jinbao Jian},
journal= {arXiv preprint arXiv:2505.09078},
year = {2025}
}