Bregman 交替方向乘子法

镜像下降算法 (MDA) 通过使用 Bregman 散度替代平方欧几里得距离，推广了梯度下降法。在本文中，我们类似地将交替方向乘子法 (ADMM) 推广为 Bregman ADMM (BADMM)，允许选择不同的 Bregman 散度以利用问题的结构。BADMM 为 ADMM 及其变体（包括广义 ADMM、不精确 ADMM 和 Bethe ADMM）提供了一个统一框架。我们建立了 BADMM 的全局收敛性和 $O(1/T)$ 迭代复杂度。在某些情况下，BADMM 的速度可比 ADMM 快 $O(n/\log(n))$ 倍。在求解质量运输问题的线性规划时，BADMM 实现了大规模并行化，且易于在 GPU 上运行。BADMM 比高度优化的商业软件 Gurobi 快数倍。