联邦学习的最优重要性采样
机器学习
2020-10-27 v1 分布式、并行与集群计算
摘要
联邦学习涉及集中式与去中心化处理任务的混合，其中服务器定期选取一部分智能体，这些智能体进而对其本地数据进行采样，以计算用于学习更新的随机梯度。该过程持续运行。对智能体和数据的采样通常为均匀采样；然而，在本工作中我们考虑非均匀采样。我们推导了智能体选择和数据选择的最优重要性采样策略，并表明无放回的非均匀采样提升了原始 FedAvg 算法的性能。我们在回归和分类问题上进行实验以阐明理论结果。
引用
@article{arxiv.2010.13600,
title = {Optimal Importance Sampling for Federated Learning},
author = {Elsa Rizk and Stefan Vlaski and Ali H. Sayed},
journal= {arXiv preprint arXiv:2010.13600},
year = {2020}
}