FedCos：一种用于性能提升的场景自适应联邦优化增强方法
机器学习
2022-12-29 v1 人工智能
分布式、并行与集群计算
摘要
作为一种新兴技术，联邦学习（FL）涉及在分布式边缘设备上训练机器学习模型，引起了持续关注并得到了广泛研究。然而，与集中式训练相比，客户端数据的异构性严重降低了 FL 的性能。它导致客户端本地训练的模型朝不同方向移动。一方面，这减缓甚至停滞了全局更新，导致通信效率低下。另一方面，它拉大了局部模型之间的距离，从而得到性能不佳的聚合全局模型。幸运的是，这些缺陷可通过减小局部模型移动方向之间的夹角来缓解。基于这一事实，我们提出了 FedCos，通过引入余弦相似度惩罚来减小局部模型的方向不一致性。它促使局部模型迭代朝向一个辅助的全局方向。此外，我们的方法能自动适应各种非独立同分布（non-IID）设置，无需精心选择超参数。实验结果表明，FedCos 优于知名基线方法，并能在多种 FL 场景下对它们进行增强，包括不同程度的数据异构性、不同数量的参与方，以及跨孤岛（cross-silo）和跨设备（cross-device）设置。此外，FedCos 将通信效率提升了 2 至 5 倍。在 FedCos 的帮助下，多种 FL 方法所需的通信轮数显著少于以往，即可获得性能相当的模型。
引用
@article{arxiv.2204.03174,
title = {FedCos: A Scene-adaptive Federated Optimization Enhancement for Performance Improvement},
author = {Hao Zhang and Tingting Wu and Siyao Cheng and Jie Liu},
journal= {arXiv preprint arXiv:2204.03174},
year = {2022}
}
备注
11 pages, 13 figures