异构联邦学习的设备采样：理论、算法与实现
网络与互联网体系结构
2021-09-15 v1 分布式、并行与集群计算
机器学习
摘要
传统联邦学习（FedL）架构通过将机器学习（ML）分布于工作设备，令其训练本地模型并由服务器周期性聚合来达成。然而，FedL 忽略了当代无线网络的两个重要特征：（i）网络可能包含异构的通信/计算资源，而（ii）设备本地数据分布间可能存在显著重叠。本文开发了一种新颖的优化方法，通过智能设备采样辅以设备到设备（D2D）卸载来联合考量这些因素。我们的优化旨在选择采样节点与数据卸载配置的最佳组合，以在网拓扑与设备能力的现实约束下最大化 FedL 训练精度。对 D2D 卸载子问题的理论分析给出了新的 FedL 收敛界与一种高效序贯凸优化器。利用该结果，我们开发了基于图卷积网络（GCNs）的采样方法，其学习网络属性、采样节点与所得最大化 FedL 精度的卸载间的关系。通过对真实世界数据集及来自我们 IoT 测试台的网测量的评估，我们发现，在仅采样不到全部设备 5% 的情况下，我们的方法在训练模型精度与所需资源利用上均大幅优于传统 FedL。
引用
@article{arxiv.2101.00787,
title = {Device Sampling for Heterogeneous Federated Learning: Theory, Algorithms, and Implementation},
author = {Su Wang and Mengyuan Lee and Seyyedali Hosseinalipour and Roberto Morabito and Mung Chiang and Christopher G. Brinton},
journal= {arXiv preprint arXiv:2101.00787},
year = {2021}
}
备注
This paper is accepted for publication in the proceedings of 2021 IEEE International Conference on Computer Communications (INFOCOM)