Birch SGD：用于局部和异步 SGD 方法的树图框架

我们提出了一种新的统一框架 Birch SGD，用于分析和设计分布式 SGD 方法。核心思想是将每个方法表示为加权有向树，称为计算树。借助这种表示，我们引入了一个一般性理论结果，将收敛分析简化为研究这些树的几何。这种视角提供了一种纯粹基于图的优化动力学解释，为方法开发提供了新颖且直观的基础。通过 Birch SGD，我们设计了八种新方法并对其进行分析，同时也分析了已知的方法，其中至少有六种新方法被证明具有最优的计算时间复杂度。我们的研究导致两个关键见解：(i)所有方法都具有相同的 `迭代速率' $O\left(\frac{(R + 1) L \Delta}{\varepsilon} + \frac{\sigma^2 L \Delta}{\varepsilon^2}\right)$，其中 R 为树的最大 `树距' 在主干上；(ii)不同的方法 exhibit 不同的 trade-offs——例如，一些更新迭代频率更高，改善了实际性能，而另一些则更具通信效率或关注其他方面。Birch SGD 为在这些 trade-offs 中导航提供了统一框架。我们认为这些结果为理解、分析和设计高效异步和并行优化方法提供了统一的基础。