揭开联邦学习中非独立性效应的迷雾
机器学习
2021-03-23 v1
摘要
联邦学习(Federated Learning, FL)能够在不妨碍数据安全与用户隐私的前提下,基于用户生成数据构建统计模型。因此,FL非常适用于移动设备上的端侧学习——此类场景数据丰富且高度私有化。受移动设备时间可用性的约束,仅有设备子集可参与由训练与聚合构成的迭代协议。本研究致力于更好地理解由块循环采样引起的非独立数据分布的影响。通过在视觉分类上开展广泛实验,我们度量了块循环采样(单独及与非平衡块分布组合)的效应。具体而言,我们从准确率、公平性与收敛速率的角度度量块循环采样所带来的改变。实验结果表明,对两块结构(如因时区导致的)循环具有鲁棒性。相反,从多块结构中依赖性地抽取数据样本会使性能与收敛速率显著退化达26%。此外,我们发现该性能退化因非平衡块分布而进一步加剧,以至于无法再通过更高通信频率与更频繁同步充分补偿。
引用
@article{arxiv.2103.11226,
title = {Demystifying the Effects of Non-Independence in Federated Learning},
author = {Stefan Arnold and Dilara Yesilbas},
journal= {arXiv preprint arXiv:2103.11226},
year = {2021}
}
备注
8 pages, 7 figures