联邦学习中一种基于贡献的设备选择方案
机器学习
2022-06-08 v2 分布式、并行与集群计算
网络与互联网体系结构
摘要
在联邦学习（FL）设定中，若干设备共同参与一个通用模型的训练。我们提出一种选择提供更新的设备的方法，以实现改进的泛化能力、快速收敛与更好的设备级性能。我们构建了一个极小极大优化问题并将其分解为原对偶设定，其中对偶间隙被用于量化设备级性能。我们的策略将通过随机设备选择对数据新鲜度进行\emph{探索}与通过简化设备贡献估计进行\emph{利用}相结合。这在泛化与个性化两方面均提升了训练模型的性能。在利用阶段采用一种改进的截断蒙特卡洛（TMC）方法来估计设备贡献并降低通信开销。实验结果表明，所提方法具有竞争性性能，相较于基线方案具有更低的通信开销与竞争性的个性化性能。
引用
@article{arxiv.2203.05369,
title = {A Contribution-based Device Selection Scheme in Federated Learning},
author = {Shashi Raj Pandey and Lam D. Nguyen and Petar Popovski},
journal= {arXiv preprint arXiv:2203.05369},
year = {2022}
}
备注
This work has been accepted for publication in IEEE Communications Letters