Echo-CGC：单跳无线网络中通信高效的拜占庭容错分布式机器学习算法

本文关注一种流行的DML框架——参数服务器计算范式以及按轮进行的迭代学习算法。我们旨在降低单跳无线网络中拜占庭容错DML算法的通信复杂度。受Gupta与Vaidya于PODC 2020提出的CGC滤波器启发，我们提出一种基于梯度下降的算法Echo-CGC。我们的主要创新是一种利用无线网络广播特性以避免传输原始梯度(完整$d$维向量)的机制。在无线网络中，每个工作节点能够窃听先前传输至参数服务器的梯度。粗略而言，在Echo-CGC中，若某工作节点“同意”先前梯度的某种组合，其将广播“回声消息”而非其原始本地梯度。该回声消息包含一个系数向量(大小至多为$n$)与两个梯度间幅值之比(一个浮点数)。相比之下，传统方法每轮需发送$n$个本地梯度，其中每个梯度通常为超高维空间中的向量($d\gg n$)。我们算法的通信复杂度提升取决于多个因素，包括节点数、执行中故障工作节点数以及代价函数。我们对提升进行了数值分析，并表明在大量节点下，Echo-CGC在标准假设下减少$80\%$的通信量。