RSA：面向异构数据集分布式学习的拜占庭鲁棒随机聚合方法
机器学习
2019-11-12 v2 密码学与安全
多智能体系统
最优化与控制
摘要
本文提出一类鲁棒的随机次梯度方法，用于存在未知数量拜占庭工作节点的异构数据集分布式学习。在学习过程中，拜占庭工作节点可能因数据损坏、通信故障或恶意攻击而向主节点发送任意错误消息，从而使所学模型产生偏差。所提方法的关键在于将正则化项与目标函数结合，以鲁棒化学习任务并减轻拜占庭攻击的负面影响。由此产生的基于次梯度的算法被称为拜占庭鲁棒随机聚合方法，即我们此后使用的缩写RSA。与大多数现有算法不同，RSA不依赖于工作节点上数据独立同分布（i.i.d.）的假设，因此适用于更广泛的一类应用。理论上，我们证明：i）RSA收敛到近最优解，其学习误差依赖于拜占庭工作节点数量；ii）在拜占庭攻击下RSA的收敛速率与不受拜占庭攻击的随机梯度下降方法相同。在数值上，真实数据集上的实验证实了RSA的竞争性性能以及相较于最先进替代方法的复杂度降低。
引用
@article{arxiv.1811.03761,
title = {RSA: Byzantine-Robust Stochastic Aggregation Methods for Distributed Learning from Heterogeneous Datasets},
author = {Liping Li and Wei Xu and Tianyi Chen and Georgios B. Giannakis and Qing Ling},
journal= {arXiv preprint arXiv:1811.03761},
year = {2019}
}
备注
To appear in AAAI 2019