联邦学习与拆分学习在物联网中的端到端评估
密码学与安全
2020-08-04 v2 分布式、并行与集群计算
机器学习
摘要
本工作是首次尝试在真实世界物联网场景下，从学习性能和设备实现开销方面评估并比较联邦学习（FL）与拆分神经网络（SplitNN）。我们考虑了多种数据集、不同模型架构、多个客户端以及各类性能指标。对于由模型准确率和收敛速度指标指定的学习性能，我们在不平衡和非独立同分布（non-IID）数据等不同类型数据分布下对 FL 和 SplitNN 进行实证评估。我们表明，在不平衡数据分布下 SplitNN 的学习性能优于 FL，但在极端 non-IID 数据分布下劣于 FL。对于实现开销，我们在树莓派上端到端部署 FL 和 SplitNN，并全面评估包括训练时间、真实局域网下的通信开销、功耗和内存使用在内的开销。我们的关键观察是，在通信流量为主要关切的物联网场景中，FL 表现优于 SplitNN，因为与 SplitNN 相比 FL 的通信开销显著更低，这在经验上印证了先前的统计分析。此外，我们揭示了 SplitNN 若干未被认识的局限性，为未来研究奠定基础。
引用
@article{arxiv.2003.13376,
title = {End-to-End Evaluation of Federated Learning and Split Learning for Internet of Things},
author = {Yansong Gao and Minki Kim and Sharif Abuadbba and Yeonjae Kim and Chandra Thapa and Kyuyeon Kim and Seyit A. Camtepe and Hyoungshick Kim and Surya Nepal},
journal= {arXiv preprint arXiv:2003.13376},
year = {2020}
}
备注
10 pages, 12 figures