规模鲁棒的及时异步去中心化学习

我们考虑了一个异步去中心化学习系统，由一网络相互连接的设备组成，这些设备试图在没有任何集中参数服务器的情况下学习机器学习模型。网络中的用户拥有各自的本地训练数据，这些数据用于跨网络中所有节点进行学习。该学习方法由两个过程组成，这两个过程同时演化且无需进行同步。第一个过程是模型更新，其中用户通过固定数量的随机梯度下降步骤来更新其本地模型。第二个过程是模型混合，其中用户通过随机 gossip 进行通信来交换其模型并对其进行平均，以达成一致。在本工作中，我们研究了此类系统的延迟标准，这是单个用户模型收敛的充分条件。我们表明，对于网络规模，即设备数量$n$非常大的情况，如果单个用户的 gossip 容量按$\Omega(\log n)$比例增长，我们可以保证用户模型在有限时间内收敛。此外，我们表明，受限的延迟只能通过任何分布式机会主义方案以$\Omega(n)$比例来保证。