中文

TurboSVM-FL:通过SVM聚合提升面向懒惰客户端的联邦学习

机器学习 2025-04-28 v6 分布式、并行与集群计算

摘要

联邦学习是一种分布式协作机器学习范式,近年来发展迅猛。在联邦学习中,中央服务器定期与客户端协调模型,并聚合客户端本地训练的模型,无需访问本地数据。尽管潜力巨大,联邦学习的实施仍面临若干挑战,主要是由于数据异质性导致的收敛缓慢。在跨设备联邦学习场景中,客户端可能受到计算能力和存储空间的严重限制,因此引入额外计算或内存开销的方法(如辅助目标项和更大的训练迭代)可能不切实际。本文提出一种新颖的联邦聚合策略TurboSVM-FL,该策略不会给客户端带来额外计算负担,并能显著加速联邦分类任务的收敛,特别是当客户端“懒惰”且仅训练几个epoch用于下一次全局聚合时。TurboSVM-FL广泛利用支持向量机进行选择性聚合,并对类别嵌入进行最大间隔展开正则化。我们在多个数据集(包括FEMNIST、CelebA和Shakespeare)上使用非独立同分布数据分布的用户独立验证评估了TurboSVM-FL。结果表明,TurboSVM-FL在收敛速度和通信轮次上显著优于现有流行算法,同时提供更好的测试指标,包括准确率、F1分数和MCC。

关键词

引用

@article{arxiv.2401.12012,
  title  = {TurboSVM-FL: Boosting Federated Learning through SVM Aggregation for Lazy Clients},
  author = {Mengdi Wang and Anna Bodonhelyi and Efe Bozkir and Enkelejda Kasneci},
  journal= {arXiv preprint arXiv:2401.12012},
  year   = {2025}
}

备注

Proceedings of the AAAI Conference on Artificial Intelligence 2024 (AAAI'24)