防御拜占庭鲁棒分布式学习中的鞍点攻击
机器学习
2020-07-30 v4 密码学与安全
分布式、并行与集群计算
最优化与控制
机器学习
摘要
我们研究涉及最小化带鞍点的非凸损失函数的鲁棒分布式学习。我们考虑拜占庭（Byzantine）设置，其中部分工作机器具有异常甚至任意和对抗性的行为。在此设置下，即便使用鲁棒梯度估计器，拜占庭机器也可能在远离任何真实局部极小值的鞍点附近制造虚假局部极小值。我们开发了ByzantinePGD，一种鲁棒一阶算法，可证明逃离鞍点和虚假局部极小值，并以低迭代复杂度收敛到近似真实局部极小化器。作为副产品，我们给出了通常非拜占庭设置下逃离鞍点的更简算法与分析。我们进一步讨论了可用于ByzantinePGD的三种鲁棒梯度估计器，包括中位数、截尾均值和迭代滤波。我们刻画了它们在具体统计设置下的性能，并论证其在低维和高维机制下的近最优性。
引用
@article{arxiv.1806.05358,
title = {Defending Against Saddle Point Attack in Byzantine-Robust Distributed Learning},
author = {Dong Yin and Yudong Chen and Kannan Ramchandran and Peter Bartlett},
journal= {arXiv preprint arXiv:1806.05358},
year = {2020}
}
备注
ICML 2019