GRANITE：面向稀疏动态 gossip学习的 Byzantine 抗性框架
机器学习
2025-04-25 v1 人工智能
分布式、并行与集群计算
摘要
Gossip Learning（GL）是一种去中心化学习范式，用户在迭代过程中与少数相邻同伴交换并聚合模型。近期的GL方法依赖于通过随机同伴抽样（RPS）协议构建和维护的动态通信图。得益于图的动态特性，GL即使在极度稀疏的拓扑结构下也能实现快速收敛。然而，当前的GL方法在面对Byzantine（模型中毒）攻击时鲁棒性尚未得到充分考虑，尤其当Byzantine节点攻击RPS协议以规模化模型中毒时。为此，我们提出GRANITE框架，用于在存在少量Byzantine节点的稀疏动态图上进行健壮学习。GRANITE依赖两个关键组件：（i）具备历史感知的Byzantine抗性同伴抽样协议（HaPS），该协议跟踪先前遇到的标识符以减少对抗性影响；（ii）自适应概率阈值（APT），该阈值利用对Byzantine比例的估计以获得形式化保证。实证结果表明，GRANITE在最高可达30%Byzantine节点情况下仍能维持收敛，通过自适应过滤被投毒模型实现学习速度提升，并在当前理论要求的稀疏度的多达9倍图上实现上述效果。
引用
@article{arxiv.2504.17471,
title = {GRANITE : a Byzantine-Resilient Dynamic Gossip Learning Framework},
author = {Yacine Belal and Mohamed Maouche and Sonia Ben Mokhtar and Anthony Simonet-Boulogne},
journal= {arXiv preprint arXiv:2504.17471},
year = {2025}
}