面向易失效客户端的联邦学习随机客户端选择
机器学习
2022-02-15 v3 分布式、并行与集群计算
摘要
联邦学习(FL) 作为一种保护隐私的机器学习范式，已受到公众的显著关注。在同步 FL 训练的每一轮中，仅有可用客户端的一部分被选中参与，而选择决策可能对训练效率以及最终模型性能产生重大影响。在本文中，我们研究在易失效上下文下的客户端选择问题，其中异构客户端的本地训练可能因各类原因以不同频率失败。直观上，过多的训练失败可能降低训练效率，而对稳定性更高客户端的过多选择可能引入偏差，从而导致训练有效性下降。为应对这一权衡，我们在本文中在有效参与和公平性的联合考量下形式化了客户端选择问题。进一步，我们提出 E3CS，一种随机客户端选择方案来求解该问题，并通过基于真实数据的实验证实其有效性。根据我们的实验结果，与最先进的选取方案相比，所提出的选取方案能够在保持相同最终模型精度水平的同时，实现高达 2 倍的更快收敛至固定模型精度。
引用
@article{arxiv.2011.08756,
title = {Stochastic Client Selection for Federated Learning with Volatile Clients},
author = {Tiansheng Huang and Weiwei Lin and Li Shen and Keqin Li and Albert Y. Zomaya},
journal= {arXiv preprint arXiv:2011.08756},
year = {2022}
}
备注
Under review by IEEE Internet of Things Journal