流行病学习：以随机化通信加速去中心化学习

我们提出流行病学习（Epidemic Learning, EL），一种简单而强大的去中心化学习（DL）算法，其利用变化的通信拓扑结构，相比传统 DL 方法实现更快的模型收敛。在 EL 的每一轮中，每个节点将其模型更新发送给 $s$ 个其他节点的随机样本（在含 $n$ 个节点的系统中）。我们对 EL 进行了广泛的理论分析，表明其变化的拓扑结构最终带来优于最先进（静态与动态）拓扑结构的收敛特性。考虑光滑非凸损失函数，EL 的瞬态迭代次数（即实现渐近线性加速所需的轮数）为 $O(n^3/s^2)$，比已知最优界 $O(n^3)$ 提升了 $s^2$ 倍，表明了随机化通信对 DL 的益处。我们在 96 节点网络上对 EL 进行了实证评估，并将其性能与最先进 DL 方法比较。我们的结果表明，EL 比基线 DL 算法快至多 $1.7\times$ 收敛，并在相同通信量下达到 $2.2$\% 更高的准确率。