ROSS：基于 Shapley 值的鲁棒去中心化随机学习
机器学习
2026-01-14 v2
摘要
在去中心化学习的范式中，一组智能体在没有中央服务器的情况下利用分布式数据集协作学习全局模型；然而，它面临着智能体之间数据分布异构性的严重挑战。例如，数据可能以非独立同分布的方式分布，甚至可能含有噪声或被投毒。为应对这些数据挑战，本文提出了 ROSS，一种基于 Shapley 值的新型鲁棒去中心化随机学习算法。具体而言，在每一轮中，每个智能体聚合来自其邻居的交叉梯度信息，即其局部模型关于邻居数据集的导数，以类动量方式更新其局部模型，同时我们创新性地根据 Shapley 值衡量的贡献对导数进行加权。我们进行了坚实的理论分析，揭示了 ROSS 算法的线性收敛加速。我们还通过大量公开数据集上的实验验证了算法的有效性。结果表明，在面对上述多种数据挑战时，我们的 ROSS 算法在收敛速度和预测精度方面均显著优于现有的最先进方法。
引用
@article{arxiv.2411.00365,
title = {ROSS: RObust decentralized Stochastic learning based on Shapley values},
author = {Lina Wang and Yunsheng Yuan and Feng Li and Lingjie Duan},
journal= {arXiv preprint arXiv:2411.00365},
year = {2026}
}