联邦丢弃——一种在资源受限设备上实现联邦学习的简单方法
机器学习
2022-02-08 v3 信息论
math.IT
摘要
联邦学习（FL）是一种在无线网络中利用分布式移动数据训练 AI 模型的流行框架。它通过将该学习任务分发至多个边缘设备来实现数据并行，同时试图保护其本地数据隐私。实际 FL 面临的一个主要挑战是，资源受限设备难以应对深度神经网络模型更新这一计算密集型任务。为应对该挑战，本文在经典 dropout 随机模型剪枝方案的基础上，提出了一种联邦丢弃（FedDrop）方案。具体而言，在 FL 算法的每次迭代中，服务器使用 dropout 但从全局模型独立生成若干子网络，但采用异构丢弃率（即参数剪枝概率），每个子网络适配于所分配信道的状态。这些子网络被下载至关联设备用于更新。因此，与传统 FL 相比，FedDrop 减少了通信开销和设备的计算负载，同时在过拟合情况下以及在使用均匀 dropout（即相同子网络）的 FL 方案下均优于后者。
引用
@article{arxiv.2109.15258,
title = {Federated Dropout -- A Simple Approach for Enabling Federated Learning on Resource Constrained Devices},
author = {Dingzhu Wen and Ki-Jun Jeon and Kaibin Huang},
journal= {arXiv preprint arXiv:2109.15258},
year = {2022}
}
备注
This paper was accepted by IEEE Wireless Communications Letters