每个参数都重要：以动态异构模型缩减确保联邦学习的收敛
机器学习
2023-10-30 v2 分布式、并行与集群计算
摘要
跨设备联邦学习(FL)面临重大挑战，其中可能因资源瓶颈而被排除在大型模型训练之外的低端客户端本可作出独特贡献。近期研究致力于模型异构联邦学习，即从全局模型中提取缩减规模模型并相应应用于本地客户端。尽管有经验性成功，该方法收敛性的通用理论保证仍是开放问题。本文提出一个带在线模型提取的异构联邦学习算法的统一框架，并首次给出通用收敛分析。特别地，我们证明在特定充分条件及 IID 与非 IID 数据下，这些算法对一般光滑代价函数收敛至标准 FL 的驻点。此外，我们引入最小覆盖指数与模型缩减噪声的概念，二者将决定异构联邦学习的收敛性，因此我们主张一种综合考虑两因素以提升异构联邦学习效率的整体方法。
引用
@article{arxiv.2310.08670,
title = {Every Parameter Matters: Ensuring the Convergence of Federated Learning with Dynamic Heterogeneous Models Reduction},
author = {Hanhan Zhou and Tian Lan and Guru Venkataramani and Wenbo Ding},
journal= {arXiv preprint arXiv:2310.08670},
year = {2023}
}
备注
Accepted at NeurIPS 2023