大数据时代下的分布式拜占庭容错随机梯度下降
机器学习
2019-03-08 v3 分布式、并行与集群计算
机器学习
摘要
传感器技术与智能设备的最新进展使得能够从多个信息源协同收集海量数据。作为从此类大数据中高效提取有用信息的 promising 工具，机器学习已被推至前沿，并在计算机视觉、医疗健康和金融市场分析等广泛相关领域取得巨大成功。为应对海量数据，分布式机器学习的设计兴趣激增，其中随机梯度下降(SGD)是最常被采用的方法之一。然而，分布式机器学习方法可能易受拜占庭攻击，攻击者可蓄意共享伪造信息以破坏预期的机器学习过程。因此，本文提出了两种异步拜占庭容错SGD算法，其中假设诚实的协同工作节点存储由其自身本地数据导出的模型参数，并将其作为真值。所提算法可应对任意数量的拜占庭攻击者，且可证明收敛。基于真实世界数据集的仿真结果被用于验证理论结果并展示所提算法的有效性。
引用
@article{arxiv.1902.10336,
title = {Distributed Byzantine Tolerant Stochastic Gradient Descent in the Era of Big Data},
author = {Richeng Jin and Xiaofan He and Huaiyu Dai},
journal= {arXiv preprint arXiv:1902.10336},
year = {2019}
}