以数据增强缓解联邦学习中的数据异构性
机器学习
2022-06-22 v1
摘要
联邦学习（FL）是一种显著的框架，它通过融合本地、去中心化的模型来训练集中式模型，同时保障用户隐私。在此设定中，一个主要障碍是数据异构性，即每个客户端拥有非独立同分布（non-IID）的数据。这类似于域泛化（DG）的语境，其中每个客户端可被视为不同的域。然而，尽管 DG 中的许多方法从算法角度处理数据异构性，近期证据表明数据增强可带来等同或更高的性能。受此关联的启发，我们提出了流行的 DG 算法的联邦版本，并表明通过施加恰当的数据增强，可缓解联邦设定下的数据异构性，并在未见过的客户端上获得更高准确率。借助数据增强，我们甚至可使用最基础的联邦平均（Federated Averaging）算法实现 SOTA 性能，且通信稀疏得多。
引用
@article{arxiv.2206.09979,
title = {Mitigating Data Heterogeneity in Federated Learning with Data Augmentation},
author = {Artur Back de Luca and Guojun Zhang and Xi Chen and Yaoliang Yu},
journal= {arXiv preprint arXiv:2206.09979},
year = {2022}
}
备注
18 pages, 5 figures