基于弹性网络的通信高效且抗漂移联邦学习
机器学习
2022-10-07 v1 人工智能
机器学习
摘要
联邦学习(FL)是一种在本地客户端集合上训练全局模型同时保持数据本地化的分布式方法。它降低了隐私与安全的风险，但面临包括高昂通信成本与客户端漂移问题在内的重大挑战。为解决这些问题，我们提出 FedElasticNet，一种利用弹性网络的通信高效且抗漂移 FL 框架。它重新利用了两类弹性网络正则化项（即作用于本地模型更新的 与 惩罚）：(1) 范数正则化项稀疏化本地更新以降低通信成本；(2) 范数正则化项通过限制由数据异质性导致的漂移本地更新的影响来解决客户端漂移问题。FedElasticNet 是 FL 的通用框架；因此，无需额外成本，它可集成到先前的 FL 技术中，例如 FedAvg、FedProx、SCAFFOLD 与 FedDyn。我们展示了我们的框架同时有效解决了通信成本与客户端漂移问题。
引用
@article{arxiv.2210.02940,
title = {Communication-Efficient and Drift-Robust Federated Learning via Elastic Net},
author = {Seonhyeong Kim and Jiheon Woo and Daewon Seo and Yongjune Kim},
journal= {arXiv preprint arXiv:2210.02940},
year = {2022}
}