来自真实世界联邦学习的经验
机器学习
2022-02-09 v1
摘要
应用于真实世界数据的联邦学习(FL)可能受到若干特质的困扰。其中一种特质是跨设备的数据分布。跨设备的数据可能分布为存在若干拥有大量数据的“重设备”,同时有许多仅含少量数据点的“轻用户”。跨设备的数据还存在异质性。在本研究中,我们评估了此类特质对使用 FL 训练的自然语言理解(NLU)模型的影响。我们基于来自服务数千设备的大规模 NLU 系统的数据开展实验,表明基于每轮 FL 训练交互次数进行的简单非均匀设备选择可提升模型性能。这一益处在于连续时间段上的持续 FL 中被进一步放大,其中非均匀采样设法迅速赶上一次性使用所有数据的 FL 方法。
引用
@article{arxiv.2202.03925,
title = {Learnings from Federated Learning in the Real world},
author = {Christophe Dupuy and Tanya G. Roosta and Leo Long and Clement Chung and Rahul Gupta and Salman Avestimehr},
journal= {arXiv preprint arXiv:2202.03925},
year = {2022}
}