度量非独立同分布数据对联邦视觉分类的影响
机器学习
2019-09-16 v1 计算机视觉与模式识别
机器学习
摘要
联邦学习(Federated Learning)使得能够利用来自移动设备的真实世界数据以隐私保护的方式训练视觉模型。鉴于其分布式特性,这些设备间的数据统计特性可能存在显著差异。在本工作中,我们考察了此类非独立同分布数据对通过联邦学习进行视觉分类的影响。我们提出了一种合成具有连续相同度范围的数据集的方法,并给出了联邦平均(Federated Averaging)算法的性能度量。我们表明,随着分布差异增大,性能会下降,并提出了一种通过服务器动量(server momentum)的缓解策略。在 CIFAR-10 上的实验表明,在一系列非相同度设置下分类性能得到提升,在最偏斜的设置中分类准确率从 30.1% 提高到 76.9%。
引用
@article{arxiv.1909.06335,
title = {Measuring the Effects of Non-Identical Data Distribution for Federated Visual Classification},
author = {Tzu-Ming Harry Hsu and Hang Qi and Matthew Brown},
journal= {arXiv preprint arXiv:1909.06335},
year = {2019}
}