Astraea：用于提升移动深度学习应用分类精度的自平衡联邦学习
机器学习
2021-07-27 v2 分布式、并行与集群计算
机器学习
摘要
联邦学习（FL）是一种分布式深度学习方法，使手机与物联网设备等多个参与方在私有训练数据留存本地设备的同时贡献神经网络模型。这种分布式方法在拥有大量去中心化数据且要求高隐私的边缘计算系统中颇具前景。然而，不同于常见训练数据集，边缘计算系统的数据分布不平衡，这将引入模型训练偏差并导致联邦学习应用精度下降。本文证明不平衡的分布式训练数据会造成 FL 中的精度退化。为应对该问题，我们构建了称为 Astraea 的自平衡联邦学习框架，通过 1）基于全局数据分布的数据增强，以及 2）基于中介的多客户端重调度来缓解不平衡。所提框架通过运行时数据增强缓解全局不平衡，并为平均本地不平衡，创建中介基于其数据分布的 Kullback-Leibler 散度（KLD）对客户端训练进行重调度。与最先进（SOTA）FL 算法 FedAvg 相比，Astraea 在不平衡 EMNIST 与不平衡 CINIC-10 数据集上 top-1 精度分别提升 +5.59% 与 +5.89%。同时，Astraea 的通信流量可比 FedAvg 低 82%。
引用
@article{arxiv.1907.01132,
title = {Astraea: Self-balancing Federated Learning for Improving Classification Accuracy of Mobile Deep Learning Applications},
author = {Moming Duan and Duo Liu and Xianzhang Chen and Yujuan Tan and Jinting Ren and Lei Qiao and Liang Liang},
journal= {arXiv preprint arXiv:1907.01132},
year = {2021}
}
备注
Published as a conference paper at IEEE 37th International Conference on Computer Design (ICCD) 2019