面向一般形式共识优化的分块异步分布式ADMM算法
机器学习
2018-02-27 v1
摘要
许多机器学习模型（包括带非光滑正则化项的模型）可表述为共识优化问题，并可用交替方向乘子法（ADMM）求解。近期已有诸多工作致力于开发异步分布式ADMM以处理大量训练数据。然而，现有异步分布式ADMM方法均基于全模型更新，且需锁定所有全局模型参数以应对并发，这实质上串行化了来自不同工作节点的更新。本文提出一种新颖的分块、异步且分布式的ADMM算法，其允许模型参数的不同块并行更新。这种无锁的分块算法可极大加速稀疏优化问题——现实中的常见场景，其中多数模型更新仅修改所有决策变量的一个子集。我们从理论上证明了所提算法在非凸一般形式共识问题（可能带非光滑正则化项）下收敛至驻点。我们在参数服务器（Parameter Server）框架上实现了该ADMM算法，并展示了其随工作节点数增加的收敛性与近线性加速性能。
引用
@article{arxiv.1802.08882,
title = {A Block-wise, Asynchronous and Distributed ADMM Algorithm for General Form Consensus Optimization},
author = {Rui Zhu and Di Niu and Zongpeng Li},
journal= {arXiv preprint arXiv:1802.08882},
year = {2018}
}