CoCoA等价于ADMM：分布式优化中两种范式的统一

我们考虑分布式环境下一般经验风险最小化问题的原子-对偶算法，聚焦于两种突出的算法类。第一类是通信高效分布式对偶坐标上升（CoCoA），源自求解对偶问题的坐标上升方法。第二类是交替方向乘子法（ADMM），包括共识ADMM、proximal ADMM和线性化ADMM。我们展示，两种算法类都可以转化为仅涉及原子变量和对偶变量的统一更新形式。这一发现揭示了两种算法类之间的关键联系：CoCoA可解释为求解对偶问题的proximal ADMM的特例，而共识ADMM等价于一个proximal ADMM算法。这一发现提供了洞见，说明如何通过调整增广拉格朗日参数来轻松使ADMM变体超越CoCoA变体。我们进一步探讨了ADMM的线性化版本，并分析了在分布式设置中调整参数对这些ADMM变体的影响。大量仿真研究和真实数据分析均支持我们的理论发现。