面对相关设备故障的联邦学习鲁棒同步
分布式、并行与集群计算
2026-04-20 v1 人工智能
摘要
概率同步并行(PSP)是分布式学习系统中的一种技术，通过在每轮中抽取一部分参与节点来减少同步瓶颈。在联邦学习(FL)中，由于 mobility、功率限制和用户活动等因素，边缘设备往往不可靠，PSP 有助于提高系统吞吐量。然而，PSP 的关键限制是：它假设设备行为是静态的，且不同设备是独立的。这可能导致不公平的分布式同步，因为高度可用节点主导训练，而那些经常不可用的节点很少参与，因此其数据可能被遗漏。如果数据分布和节点可用性同时与设备相关联，那么无论是 PSP 还是标准 FL 算法都会导致某些类别或组的持续欠代表，从而导致对某些特征的学习效率低下或无效。我们引入 Availability-Weighted PSP(AW-PSP)，这是一种对 PSP 的扩展，通过动态调整节点抽样概率来解决相关抽样不公平和数据可用性共现的问题，方法是利用实时可用性预测、历史行为和故障相关性指标。一种基于马尔可夫的可用性预测器区分瞬时与慢性故障，而分布式哈希表(DHT)层去中心化元数据，包括延迟、新鲜度和效用分数。我们实现了 AW-PSP 并进行 trace-driven 评估，结果表明它对独立故障和相关故障都具有更好的鲁棒性，提高了标签覆盖率，降低了公平性方差。因此，AW-PSP 为 FL 部署提供了一个面向可用性且注重公平性的节点抽样协议，即使在异构且故障-prone 环境中，也能扩展到大量节点。
引用
@article{arxiv.2604.16090,
title = {Robust Synchronisation for Federated Learning in The Face of Correlated Device Failure},
author = {Stefan Behfar and Richard Mortier},
journal= {arXiv preprint arXiv:2604.16090},
year = {2026}
}