SlimFL：基于可瘦身的神经网络的叠加编码联邦学习
机器学习
2022-12-23 v3 人工智能
数值分析
数值分析
摘要
联邦学习（FL）是利用设备分布式计算能力实现高效通信与计算的关键赋能技术。然而，由于本地设备的能量异构、无线信道条件差异以及非独立同分布（non-IID）数据分布，在实际应用中部署 FL 面临挑战。为应对这些问题，本文通过融合 FL 与宽度可调的可瘦身神经网络（SNN）提出了一种新颖的学习框架。由于时变的信道条件与数据分布，将 FL 与 SNN 相融合颇具挑战。此外，现有的多宽度 SNN 训练算法对跨设备的数据分布敏感，这使得 SNN 难以适用于 FL。受此启发，我们提出了一种通信与能量高效、基于 SNN 的 FL（命名为 SlimFL），其联合利用叠加编码（SC）进行全局模型聚合，并利用叠加训练（ST）更新本地模型。通过应用 SC，SlimFL 在给定的通信吞吐量下尽可能多次地交换多宽度配置的叠加信号，并解码为多个宽度配置。借助 ST，SlimFL 对齐不同宽度配置的前向传播，同时避免反向传播过程中的宽度间干扰。我们形式化地证明了 SlimFL 的收敛性。结果表明，SlimFL 不仅通信高效，还能处理 non-IID 数据分布与恶劣信道条件，这亦由数据密集型仿真所证实。
引用
@article{arxiv.2203.14094,
title = {SlimFL: Federated Learning with Superposition Coding over Slimmable Neural Networks},
author = {Won Joon Yun and Yunseok Kwak and Hankyul Baek and Soyi Jung and Mingyue Ji and Mehdi Bennis and Jihong Park and Joongheon Kim},
journal= {arXiv preprint arXiv:2203.14094},
year = {2022}
}
备注
arXiv admin note: text overlap with arXiv:2112.02543