FedFMC：面向非独立同分布数据的序贯高效联邦学习
机器学习
2020-06-22 v1 分布式、并行与集群计算
机器学习
摘要
作为一种设备在不共享数据情况下更新全局模型的机制，联邦学习弥合了数据需求与隐私尊重之间的张力。然而，联邦平均等经典联邦学习方法难以应对非独立同分布（non-iid）数据，这是现实世界中的普遍情况。以往的解决方案不尽理想，因为它们要么使用小型共享全局数据子集，要么增加模型数量从而抬高通信成本。我们提出 FedFMC（Fork-Merge-Consolidate），一种将设备动态分叉以更新不同全局模型，再将独立模型合并并巩固为一个的方法。我们首先在简单数据集上展示 FedFMC 的合理性，随后开展若干实验与基线方法比较。这些实验表明，在不使用全局共享数据子集也不增加通信成本的前提下，FedFMC 显著改进了联邦学习场景下针对非独立同分布数据的早期方法。
引用
@article{arxiv.2006.10937,
title = {FedFMC: Sequential Efficient Federated Learning on Non-iid Data},
author = {Kavya Kopparapu and Eric Lin},
journal= {arXiv preprint arXiv:2006.10937},
year = {2020}
}