AET-SGD：异步事件触发随机梯度下降

通信成本是设计高效分布式学习算法的主要瓶颈。近来，事件触发技术被提出用于减少计算节点间交换的信息，从而缓解通信成本。然而，现有多数事件触发方法仅考虑启发式事件触发阈值，且忽略了计算与网络延迟的影响，而后者对训练性能起着重要作用。本文提出一种异步事件触发随机梯度下降（SGD）框架，称为 AET-SGD，以 i) 降低计算节点间通信成本，以及 ii) 减轻延迟影响。与基线事件触发方法相比，AET-SGD 采用线性递增样本量事件触发阈值，能在保持良好收敛性能的同时显著降低通信成本。我们在多个代表性数据集（包括 MNIST、FashionMNIST、KMNIST 与 CIFAR10）上实现并评估 AET-SGD。实验结果验证了设计的正确性，并相较现有最优方法实现 44 倍至 120 倍的通信成本降低。我们的结果还表明，AET-SGD 能抵御来自掉队节点的较大延迟，同时取得可观性能与期望加速比。