中文

鲁棒且高效的协同学习

机器学习 2025-10-10 v1

摘要

协同机器学习面临训练时对抗行为的挑战。现有容忍此类行为的方法要么依赖中心服务器,要么产生高通信成本。我们提出鲁棒拉取式流行病学习(RPEL),一种新颖的可扩展协同方法,以确保在对抗者存在时的鲁棒学习。RPEL 不依赖任何中心服务器,与传统方法(通信成本随节点数 nnO(n2)\mathcal{O}(n^2) 增长)不同,RPEL 采用基于拉取的流行病式通信策略,其规模以 O(nlogn)\mathcal{O}(n \log n) 扩展。通过从节点的小随机子集中拉取模型参数,RPEL 显著降低了所需消息数量,同时不损害以高概率成立的收敛保证。实验结果表明,RPEL 在对抗环境中保持鲁棒性,在准确率上与全对全通信竞争,并在大规模网络中高效扩展。

关键词

引用

@article{arxiv.2510.08311,
  title  = {Robust and Efficient Collaborative Learning},
  author = {Abdellah El Mrini and Sadegh Farhadkhan and Rachid Guerraoui},
  journal= {arXiv preprint arXiv:2510.08311},
  year   = {2025}
}