FedMix:均值增强联邦学习下对Mixup的近似
机器学习
2021-07-02 v1 人工智能
计算机视觉与模式识别
分布式、并行与集群计算
摘要
联邦学习(FL)允许边缘设备在不直接共享各设备内数据的情况下集体学习模型,从而保护隐私并消除全局存储数据的需要。虽然在独立同分布(iid)局部数据的假设下已有令人鼓舞的结果,但当前最先进的算法随着客户端间局部数据异质性的增加而性能下降。为解决此问题,我们提出了一个简单框架——均值增强联邦学习(MAFL),其中客户端在符合目标应用隐私要求的前提下发送和接收平均后的局部数据。在该框架下,我们提出了一种名为FedMix的新增强算法,其受一种出色而简单的数据增强方法Mixup启发,但不需要在设备间直接共享局部原始数据。与常规算法相比,我们的方法在高度非iid联邦设置下的FL标准基准数据集上表现出大幅改善的性能。
引用
@article{arxiv.2107.00233,
title = {FedMix: Approximation of Mixup under Mean Augmented Federated Learning},
author = {Tehrim Yoon and Sumin Shin and Sung Ju Hwang and Eunho Yang},
journal= {arXiv preprint arXiv:2107.00233},
year = {2021}
}