多宽度神经网络上用于联邦学习的联合叠加编码与训练
机器学习
2021-12-07 v1 分布式、并行与集群计算
摘要
本文旨在整合两项协同技术：联邦学习（FL）与宽度可调的瘦神经网络（SNN）架构。FL通过交换移动设备的本地训练模型来保护数据隐私。采用SNN作为本地模型，FL可灵活应对移动设备时变的能量容量。然而，将FL与SNN结合并非易事，尤其在具有时变信道条件的无线连接下。此外，现有的多宽度SNN训练算法对设备间的数据分布敏感，因此不适合FL。受此启发，我们提出了一种通信与能量高效的基于SNN的FL（名为SlimFL），其联合利用叠加编码（SC）进行全局模型聚合与叠加训练（ST）更新本地模型。通过应用SC，SlimFL交换多个宽度配置的叠加，在给定通信吞吐下尽可能多地解码。利用ST，SlimFL对齐不同宽度配置的前向传播，同时避免反向传播期间的宽度间干扰。我们形式化证明了SlimFL的收敛性。结果揭示SlimFL不仅通信高效，还能抵消非IID数据分布与恶劣信道条件，这也经仿真得到证实。
引用
@article{arxiv.2112.02543,
title = {Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks},
author = {Hankyul Baek and Won Joon Yun and Yunseok Kwak and Soyi Jung and Mingyue Ji and Mehdi Bennis and Jihong Park and Joongheon Kim},
journal= {arXiv preprint arXiv:2112.02543},
year = {2021}
}
备注
10 pages, 7 figures, Accepted to IEEE INFOCOM 2022