VALID: 面向可能存在对抗情况下的去中心化网络学习的验证算法

我们提出了面向具有异构数据且可能存在对抗渗透的无向网络的去中心化学习验证范式。我们要求：(a) 在对抗者不存在时收敛至全局经验损失最小化器；(b) 在任何对抗配置下要么检测对抗存在，要么收敛至可接受的共识。为此，我们提出了VALID协议，该协议据称是首个实现验证学习保证的算法。此外，VALID提供O(1/T)的收敛率（在必要的正则性假设下），且计算和通信复杂度与非对抗分布式随机梯度下降相当。值得注意的是，VALID在无对抗环境中保持最优性能指标，规避了先前byzantine-robust方法中观察到的鲁棒性惩罚。我们研究的独特方面是基于在全局经验损失最小化器处计算的各个代理人梯度范数的异构性度量标准。这不仅为检测显著性byzantine干扰提供了自然统计量，也允许我们在广泛范围内证明VALID的最优性。最后，我们的数值结果表明，在无对抗情况下，VALID的收敛速度快于领先的byzantine-robust算法；而在存在对抗时，VALID结束时，每个诚实的代理人要么收敛于可接受的共识，要么声明网络中存在对抗。