FedBIAD：基于贝叶斯推断自适应丢弃的通信高效且精度有保障的联邦学习
分布式、并行与集群计算
2023-07-17 v1 机器学习
摘要
联邦学习（FL）作为一种无需终端用户数据传输的分布式机器学习范式，有效避免了隐私泄露。FL中的参与设备通常带宽受限，且无线网络中上行链路远慢于下行链路，导致严重的上行通信瓶颈。缓解该问题的一个重要方向是联邦丢弃，即丢弃本地模型的部分权重。然而，现有联邦丢弃研究聚焦于随机或有序丢弃，缺乏理论支撑，导致性能无保障。本文提出基于贝叶斯推断自适应丢弃的联邦学习（FedBIAD），将本地模型的权重行视为概率分布，并基于与本地训练损失趋势相关的重要性指标自适应丢弃部分权重行。通过应用FedBIAD，各客户端以精确近似自适应选择高质量丢弃模式，仅传输未丢弃权重行的参数以缓解上行成本同时提升精度。理论分析表明，FedBIAD平均泛化误差的收敛速率在平方对数因子内是极小极大最优的。在图像分类与下一词预测上的大量实验表明，相较于现状方法，FedBIAD在非独立同分布（non-IID）数据上亦提供2倍上行缩减且精度提升高达2.41%，带来至多72%的训练时间下降。
引用
@article{arxiv.2307.07172,
title = {FedBIAD: Communication-Efficient and Accuracy-Guaranteed Federated Learning with Bayesian Inference-Based Adaptive Dropout},
author = {Jingjing Xue and Min Liu and Sheng Sun and Yuwei Wang and Hui Jiang and Xuefeng Jiang},
journal= {arXiv preprint arXiv:2307.07172},
year = {2023}
}