具有线性梯度开销的鲁棒协作学习
机器学习
2023-06-06 v2 分布式、并行与集群计算
摘要
协作学习算法（如分布式SGD，或称D-SGD）易受故障机器的影响，这些机器可能因软件或硬件错误、投毒数据或恶意行为而偏离其规定算法。尽管已提出许多方案来增强D-SGD对此类机器的鲁棒性，先前工作要么诉诸强假设（可信服务器、同质数据、特定噪声模型），要么施加比D-SGD高几个数量级的梯度计算成本。我们提出MoNNA这一新算法，其（a）在标准假设下可证明鲁棒，（b）梯度计算开销与故障机器比例呈线性关系，据推测此为紧界。本质上，MoNNA分别使用Polyak局部梯度动量和最近邻平均（NNA）进行局部更新和全局混合。尽管MoNNA实现相当简单，其分析更具挑战性，并依赖于两个可能具有独立意义的关键要素。具体而言，我们引入-约化的混合准则来分析非故障机器的非线性混合，并给出一种控制动量与模型漂移间张力的方法。我们在图像分类上通过实验验证了理论，代码见 https://github.com/LPD-EPFL/robust-collaborative-learning。
引用
@article{arxiv.2209.10931,
title = {Robust Collaborative Learning with Linear Gradient Overhead},
author = {Sadegh Farhadkhani and Rachid Guerraoui and Nirupam Gupta and Lê Nguyên Hoang and Rafael Pinot and John Stephan},
journal= {arXiv preprint arXiv:2209.10931},
year = {2023}
}
备注
Accepted paper at ICML 2023