S-VOTE：面向去中心化联邦学习客户端选择的基于相似度投票方法
机器学习
2025-02-03 v1 分布式、并行与集群计算
摘要
去中心化联邦学习（DFL）无需依赖中央服务器即可实现隐私保护的协作式模型训练。这种去中心化方法减少了瓶颈并消除了单点故障，从而增强了可扩展性与弹性。然而，DFL 也带来了诸多挑战，例如在非独立同分布（non-IID）数据下模型表现欠佳、通信开销增加以及资源占用上升。因此，本文提出 S-VOTE，一种基于投票的客户端选择机制，旨在优化资源使用并提升 non-IID 数据条件下联邦的模型性能。S-VOTE 考虑了一种用于自发局部训练的自适应策略，以解决参与不平衡问题，使得未被充分利用的客户端能够在不显著增加资源成本的情况下做出贡献。在基准数据集上的大量实验证明了 S-VOTE 的有效性。具体而言，在某些配置下与基线方法相比，它实现了高达 21% 的通信成本降低、4-6% 的收敛速度提升以及 9-17% 的局部性能改善，同时实现了 14-24% 的能耗降低。这些结果突显了 S-VOTE 在解决异构环境中 DFL 挑战方面的潜力。
引用
@article{arxiv.2501.19279,
title = {S-VOTE: Similarity-based Voting for Client Selection in Decentralized Federated Learning},
author = {Pedro Miguel Sánchez Sánchez and Enrique Tomás Martínez Beltrán and Chao Feng and Gérôme Bovet and Gregorio Martínez Pérez and Alberto Huertas Celdrán},
journal= {arXiv preprint arXiv:2501.19279},
year = {2025}
}
备注
Submitted to IJCNN