BALPA：一种用于非光滑优化且具有等式约束的平衡原始-对偶算法及其在分布式优化中的应用
最优化与控制
2022-12-07 v1 机器学习
摘要
本文针对带等式约束的复合优化问题提出一种新颖的原始-对偶邻近分裂算法（PD-PSA），命名为 BALPA，其中损失函数由一个光滑项与一个经线性映射复合的非光滑项组成。在 BALPA 中，对偶更新被设计为对时变二次函数的邻近点，这平衡了原始更新与对偶更新的执行，并保留了经典 PD-PSA 的邻近诱导特性。此外，通过这种平衡，BALPA 消除了经典 PD-PSA 在线性映射或等式约束映射的欧几里得范数较大时的复合优化问题中的低效性。因此，BALPA 不仅继承了经典 PD-PSA 结构简单、易于实现的优点，而且在这些范数较大时保证了快速收敛。此外，我们提出了 BALPA 的随机版本（S-BALPA），并将所开发的 BALPA 应用于分布式优化以设计一种新的分布式优化算法。进一步，分别对 BALPA 与 S-BALPA 进行了全面的收敛性分析。最后，数值实验证明了所提算法的有效性。
引用
@article{arxiv.2212.02835,
title = {BALPA: A Balanced Primal-Dual Algorithm for Nonsmooth Optimization with Application to Distributed Optimization},
author = {Luyao Guo and Jinde Cao and Xinli Shi and Shaofu Yang},
journal= {arXiv preprint arXiv:2212.02835},
year = {2022}
}