HCFL：面向超大规模物联网网络中通信高效联邦学习的高压缩方法
机器学习
2022-06-22 v2 人工智能
分布式、并行与集群计算
摘要
联邦学习（FL）是一种新的人工智能概念，使物联网（IoT）设备能够学习协作模型，而无需将原始数据发送到中心节点进行处理。尽管有诸多优势，IoT 设备计算资源低以及交换模型参数的高通信成本使得 FL 在海量 IoT 网络中的应用非常有限。在这项工作中，我们为 FL 开发了一种称为高压缩联邦学习（HCFL）的新型压缩方案，用于超大规模 IoT 网络。HCFL 可以在不改变 FL 流程结构和超参数的情况下减少其数据负载。通过这种方式，我们不仅能显著降低通信成本，还能使密集型学习流程更适应低计算资源的 IoT 设备。此外，我们研究了 IoT 设备数量与 FL 模型收敛水平之间的关系，从而更好地评估 FL 流程的质量。我们在仿真和数学分析中展示了我们的 HCFL 方案。我们提出的理论研究可作为最低满意度水平，证明当满足既定配置时 FL 流程能取得良好性能。因此，我们表明 HCFL 适用于任何集成 FL 且拥有大量 IoT 设备的网络。
引用
@article{arxiv.2204.06760,
title = {HCFL: A High Compression Approach for Communication-Efficient Federated Learning in Very Large Scale IoT Networks},
author = {Minh-Duong Nguyen and Sang-Min Lee and Quoc-Viet Pham and Dinh Thai Hoang and Diep N. Nguyen and Won-Joo Hwang},
journal= {arXiv preprint arXiv:2204.06760},
year = {2022}
}
备注
14 pages, 12 figures, 3 tables