主动联邦学习
机器学习
2019-09-30 v1 机器学习
摘要
联邦学习通过将全局模型传输给客户端、在本地计算梯度然后平均梯度，使得能够在不集中客户端数据的情况下训练群体级模型。下载模型与上传梯度会消耗客户端的带宽，因此最小化这些传输成本十分重要。每个客户端上的数据高度可变，因此在不同客户端上训练的收益可能差异巨大。为利用这一点，我们提出主动联邦学习，其中每轮并非均匀随机地选择客户端，而是以依赖于当前模型及客户端上数据的概率进行条件化选择，以最大化效率。我们提出了一种廉价、简单且直观的采样方案，其在保持相同模型精度的同时将所需训练迭代次数减少了 20-70%，并且在某些条件下很好地模仿了已知的重采样技术。
引用
@article{arxiv.1909.12641,
title = {Active Federated Learning},
author = {Jack Goetz and Kshitiz Malik and Duc Bui and Seungwhan Moon and Honglei Liu and Anuj Kumar},
journal= {arXiv preprint arXiv:1909.12641},
year = {2019}
}