FedStaleWeight：基于陈旧度重加权的缓冲异步联邦学习公平聚合
机器学习
2024-06-06 v1 分布式、并行与集群计算
摘要
联邦学习致力于利用去中心化数据同时保护隐私，但面临性能、可扩展性和协作方面的挑战。异步联邦学习方法作为受限于最慢智能体的同步方法的替代方案而出现，但它们在收敛保证、计算异构性下的公平性以及聚合更新中陈旧度的引入方面增加了额外挑战。具体而言，AFL使模型训练严重偏向于能更快产生更新的智能体，而将较慢的智能体抛在后面，这些较慢的智能体通常还拥有全局模型未学习到的不同分布的数据。简单地上调权重会引入激励问题，即真正快速更新的智能体可能虚假地以较慢速度报告更新，以增加其对模型训练的贡献。我们引入了FedStaleWeight，一种通过利用平均陈旧度计算公平重加权来解决异步客户端更新聚合公平性的算法。FedStaleWeight将异步联邦学习聚合重新构建为一个机制设计问题，设计了一种基于陈旧度对智能体更新进行加权的策略，该策略激励真实计算速度报告，而不偏向于产生更快更新的智能体。仅利用观察到的智能体更新陈旧度，FedStaleWeight在逐智能体基础上实现了更公平的聚合。我们既在光滑非凸设置下提供了理论收敛保证，又通过实验将FedStaleWeight与常用的异步FedBuff（梯度平均）进行了比较，展示了它如何实现更强的公平性，加速收敛到更高的全局模型精度。最后，我们提供了一个开源测试平台，以促进对缓冲AFL聚合策略的探索，推动异步联邦学习范式的进一步研究。
引用
@article{arxiv.2406.02877,
title = {FedStaleWeight: Buffered Asynchronous Federated Learning with Fair Aggregation via Staleness Reweighting},
author = {Jeffrey Ma and Alan Tu and Yiling Chen and Vijay Janapa Reddi},
journal= {arXiv preprint arXiv:2406.02877},
year = {2024}
}