中文

DADAO:解耦加速去中心化异步优化

最优化与控制 2023-12-07 v3 人工智能 分布式、并行与集群计算

摘要

本工作提出DADAO:首个去中心化、加速、异步、原始、一阶算法,用于最小化分布在一个规模为nn的给定网络上的LL-光滑且μ\mu-强凸函数之和。我们的关键见解是基于用独立的泊松点过程分别对局部梯度更新与 gossip 通信过程进行建模。这使我们能够解耦计算与通信步骤,二者可并行运行,同时使整体方法完全异步。与同步方法相比,这带来了通信加速。我们的新方法采用原始梯度,不使用多共识内循环,也不使用误差反馈、梯度跟踪或近端算子等其他临时机制。通过将拉普拉斯矩阵最小正特征值的倒数χ1\chi_1以及图的最大阻力χ2χ1\chi_2\leq \chi_1与网络节点间充分的最小通信速率相关联,我们证明我们的算法达到精度ϵ\epsilon需要O(nLμlog(1ϵ))\mathcal{O}(n\sqrt{\frac{L}{\mu}}\log(\frac{1}{\epsilon}))次局部梯度以及仅O(nχ1χ2Lμlog(1ϵ))\mathcal{O}(n\sqrt{\chi_1\chi_2}\sqrt{\frac{L}{\mu}}\log(\frac{1}{\epsilon}))次通信(对数项除外)。因此,我们同时获得了计算与通信的加速率,优于现有最优工作,我们的仿真进一步验证了这一相对无约束方法的优势。

关键词

引用

@article{arxiv.2208.00779,
  title  = {DADAO: Decoupled Accelerated Decentralized Asynchronous Optimization},
  author = {Adel Nabli and Edouard Oyallon},
  journal= {arXiv preprint arXiv:2208.00779},
  year   = {2023}
}

备注

International Conference on Machine Learning, Jul 2023, Honolulu, United States