DADAO:解耦加速去中心化异步优化
最优化与控制
2023-12-07 v3 人工智能
分布式、并行与集群计算
摘要
本工作提出DADAO:首个去中心化、加速、异步、原始、一阶算法,用于最小化分布在一个规模为的给定网络上的-光滑且-强凸函数之和。我们的关键见解是基于用独立的泊松点过程分别对局部梯度更新与 gossip 通信过程进行建模。这使我们能够解耦计算与通信步骤,二者可并行运行,同时使整体方法完全异步。与同步方法相比,这带来了通信加速。我们的新方法采用原始梯度,不使用多共识内循环,也不使用误差反馈、梯度跟踪或近端算子等其他临时机制。通过将拉普拉斯矩阵最小正特征值的倒数以及图的最大阻力与网络节点间充分的最小通信速率相关联,我们证明我们的算法达到精度需要次局部梯度以及仅次通信(对数项除外)。因此,我们同时获得了计算与通信的加速率,优于现有最优工作,我们的仿真进一步验证了这一相对无约束方法的优势。
引用
@article{arxiv.2208.00779,
title = {DADAO: Decoupled Accelerated Decentralized Asynchronous Optimization},
author = {Adel Nabli and Edouard Oyallon},
journal= {arXiv preprint arXiv:2208.00779},
year = {2023}
}
备注
International Conference on Machine Learning, Jul 2023, Honolulu, United States