函数相似性下非凸分布式优化最坏情况双向通信复杂度的改进
最优化与控制
2024-11-05 v2 机器学习
机器学习
摘要
服务器与工作节点之间的有效通信在分布式优化中起着关键作用。本文重点关注服务器到工作节点的通信优化，揭示了现有下行链路压缩方法中的低效性。首先考虑上行链路通信成本可忽略的纯设置场景，我们引入了 MARINA-P，一种采用相关压缩器集合的新型下行链路压缩方法。理论分析表明，采用置换压缩器的 MARINA-P 能够实现随工作节点数量改善的服务器到工作节点通信复杂度，从而在理论上优于现有算法。我们进一步表明，MARINA-P 可作为扩展的起点，例如支持双向压缩的方法。我们引入了 M3，一种结合了 MARINA-P、上行链路压缩和动量步长的方法，实现了双向压缩，且随着工作节点数量的增加，总通信复杂度在理论上得到改善。理论发现与实证实验高度吻合，凸显了所提算法的有效性。
引用
@article{arxiv.2402.06412,
title = {Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity},
author = {Kaja Gruntkowska and Alexander Tyurin and Peter Richtárik},
journal= {arXiv preprint arXiv:2402.06412},
year = {2024}
}