梯度攻击下的安全分布式优化

本文研究多智能体网络中针对任意梯度攻击的安全分布式优化。在分布式优化中，无中心服务器协调本地更新，每个智能体仅能在预定义网络上与邻居通信。我们考虑如下场景：$n$ 个联网智能体中，固定但未知比例 $\rho$ 的智能体遭受任意梯度攻击，即其随机梯度预言返回任意信息以破坏优化进程，目标是最小化未受攻击智能体上的本地目标函数之和。我们提出一种结合本地方差缩减与裁剪（CLIP-VRG）的分布式随机梯度方法。我们证明，在连通网络中，当未受攻击的本地目标函数凸且光滑、拥有共同极小点且它们的和强凸时，CLIP-VRG 使迭代在所有智能体上几乎必然收敛至精确的和代价极小点。我们根据相关问题参数（如关联和代价的condition number）给出了保证 CLIP-VRG 精确收敛的受攻击智能体比例 $\rho$ 的紧上界，并刻画了其渐近收敛速率。最后，我们在合成数据集与图像分类数据集上通过经验验证了所提方法在梯度攻击下的有效性。