通过局域网-广域网协同的分层联邦学习
机器学习
2020-10-24 v1 分布式、并行与集群计算
摘要
联邦学习（FL）最初旨在使手机能够协作学习一个全局模型，而无需将私有数据上传至云服务器。然而，现有的FL协议在由广域网（WAN）支撑的联邦网络中面临严重的通信瓶颈与隐私问题。这种WAN驱动的FL设计导致成本极高且模型收敛显著变慢。在本工作中，我们提出一种高效的FL协议，其利用局域网（LAN）带宽充裕且相比WAN几乎可忽略货币成本的特性，引入了LAN内的分层聚合机制。我们所提出的FL通过在同一LAN内频繁进行本地聚合、在跨WAN的云上不频繁进行全局聚合，从而加速学习过程并降低货币成本。我们进一步设计了一个具体的FL平台，即LanFL，它结合了若干关键技术以应对LAN带来的挑战：云-设备聚合架构、LAN内点对点（p2p）拓扑生成、跨LAN带宽容量异构性。我们在2个典型的非独立同分布（Non-IID）数据集上评估了LanFL，结果表明LanFL在保持模型精度的同时，可显著加速FL训练（1.5倍-6.0倍）、节省WAN流量（18.3倍-75.6倍）并降低货币成本（3.8倍-27.2倍）。
引用
@article{arxiv.2010.11612,
title = {Hierarchical Federated Learning through LAN-WAN Orchestration},
author = {Jinliang Yuan and Mengwei Xu and Xiao Ma and Ao Zhou and Xuanzhe Liu and Shangguang Wang},
journal= {arXiv preprint arXiv:2010.11612},
year = {2020}
}