FRAug：通过表示增强解决具有非独立同分布特征的联邦学习
机器学习
2023-08-23 v3 人工智能
摘要
联邦学习（FL）是一种去中心化学习范式，多个客户端在不集中其本地数据的情况下协作训练深度学习模型，从而保护数据隐私。现实应用通常涉及不同客户端数据集之间的分布偏移，这损害了客户端对其各自数据分布中未见样本的泛化能力。本工作中，我们解决近期提出的特征偏移问题，即客户端具有不同特征分布而标签分布相同。我们提出联邦表示增强（Federated Representation Augmentation, FRAug）以应对这一实际且具挑战性的问题。我们的方法在嵌入空间中生成合成的用户特定样本，以扩充通常较小的客户端数据集。为此，我们训练一个共享生成模型来融合客户端从其不同特征分布中学到的知识。该生成器合成与客户端无关嵌入，随后由表示变换网络（RTNets）在本地转换为客户端特定嵌入。通过跨客户端迁移知识，生成的嵌入充当客户端模型的正则化器，减少对本地原始数据集的过拟合，从而改善泛化。我们在公开基准与真实世界医学数据集上的实证评估证明了所提方法的有效性，其大幅优于当前针对非 IID 特征的最先进 FL 方法，包括 PartialFed 与 FedBN。
引用
@article{arxiv.2205.14900,
title = {FRAug: Tackling Federated Learning with Non-IID Features via Representation Augmentation},
author = {Haokun Chen and Ahmed Frikha and Denis Krompass and Jindong Gu and Volker Tresp},
journal= {arXiv preprint arXiv:2205.14900},
year = {2023}
}
备注
ICCV 2023