具有任意自适应在线模型剪枝的异构联邦学习的收敛性
机器学习
2022-02-10 v2 分布式、并行与集群计算
摘要
联邦学习（FL）面临的最大挑战之一是客户端设备往往具有差异巨大的计算与通信资源用于本地更新。为此，近期研究致力于训练通过对共享全局模型剪枝得到的异构本地模型。尽管有实证成功，其收敛性的理论保证仍是开放问题。本文提出一个统一框架，用于带任意自适应在线模型剪枝的异构FL算法，并给出通用收敛分析。具体而言，我们证明在特定充分条件及IID与非IID数据下，这些算法对一般光滑代价函数收敛到标准FL的驻点，收敛速率为 。此外，我们阐明了影响收敛的两个关键因素：剪枝引入的噪声与最小覆盖指数，主张联合设计本地剪枝掩码以实现高效训练。
引用
@article{arxiv.2201.11803,
title = {On the Convergence of Heterogeneous Federated Learning with Arbitrary Adaptive Online Model Pruning},
author = {Hanhan Zhou and Tian Lan and Guru Venkataramani and Wenbo Ding},
journal= {arXiv preprint arXiv:2201.11803},
year = {2022}
}