拜占庭鲁棒随机梯度下降的简化收敛理论
机器学习
2022-08-26 v1 最优化与控制
摘要
在分布式学习中，中央服务器根据持有本地数据样本的节点提供的更新来训练模型。当存在一个或多个发送错误信息的恶意服务器（拜占庭敌手）时，诸如随机梯度下降（SGD）之类的标准模型训练算法无法收敛。在本文中，我们提出了由 Blanchard 等人 [NeurIPS 2017] 最初提出的通用拜占庭鲁棒 SGD 方法的简化收敛理论。与现有分析相比，我们在对（可能非凸的）目标函数的标准假设和对随机梯度的灵活假设下，展示了依期望收敛到驻点。
引用
@article{arxiv.2208.11879,
title = {A simplified convergence theory for Byzantine resilient stochastic gradient descent},
author = {Lindon Roberts and Edward Smyth},
journal= {arXiv preprint arXiv:2208.11879},
year = {2022}
}