具备拜占庭攻击鲁棒性的联邦方差缩减随机梯度下降
机器学习
2023-07-19 v2 人工智能
密码学与安全
机器学习
摘要
本文研究存在恶意拜占庭攻击时，用于网络学习的分布式有限和优化的情形。为应对此类攻击，目前大多数弹性方法将随机梯度下降（SGD）与不同的鲁棒聚合规则相结合。然而，SGD 引起的可观随机梯度噪声使得难以区分拜占庭攻击者发送的恶意消息与“诚实”工作节点发送的含噪随机梯度。这促使我们通过降低随机梯度方差，作为在拜占庭攻击存在时增强 SGD 鲁棒性的手段。为此，本文提出一种拜占庭攻击弹性分布式 (Byrd-)SAGA 方法，用于涉及网络有限和优化的学习任务。与分布式 SAGA 采用的均值不同，新颖的 Byrd-SAGA 依赖几何中值来聚合工作节点发送的比正随机梯度。当少于一半的工作节点为拜占庭攻击者时，几何中值对离群点的鲁棒性使 Byrd-SAGA 可证明地线性收敛到最优解邻域，其渐近学习误差由拜占庭工作节点数决定。数值实验证实了该方法对各种拜占庭攻击的鲁棒性，以及 Byrd-SAGA 相对于拜占庭攻击弹性分布式 SGD 的优势。
引用
@article{arxiv.1912.12716,
title = {Federated Variance-Reduced Stochastic Gradient Descent with Robustness to Byzantine Attacks},
author = {Zhaoxian Wu and Qing Ling and Tianyi Chen and Georgios B. Giannakis},
journal= {arXiv preprint arXiv:1912.12716},
year = {2023}
}