面向特征分布倾斜联邦学习的简单数据增强方法
广义相对论与量子宇宙学
2023-06-19 v1 高能物理 - 理论
摘要
联邦学习（FL）以分布式方式促进多个客户端间的协作学习，并保障隐私安全。然而，其性能在非独立同分布（non-IID）数据下不可避免地退化。本文关注特征分布倾斜的 FL 场景，这是现实应用中常见的 non-IID 情形，其中不同客户端的数据呈现各异的底层分布。这种差异导致特征偏移，是本场景的关键问题。尽管已有工作取得显著进展，鲜有从数据本身——即该问题的根源——着手。本文的主要目标是从数据视角缓解特征偏移。为此，我们提出一种简单却极有效的输入级数据增强方法，即 FedRDN，它将整个联邦的局部分布统计信息随机注入客户端数据中。这有利于提升局部特征表示的泛化能力，从而缓解特征偏移。此外，我们的 FedRDN 是即插即用组件，仅需数行代码便可无缝集成至数据增强流程。在多个数据集上的大量实验表明，各类代表性 FL 方法经集成我们的 FedRDN 后性能可进一步提升，证明其有效性、强兼容性与泛化性。代码将公开。
引用
@article{arxiv.2306.09362,
title = {Note on the Corrected Hawking Temperature of a Parametric Deformed Black Hole with Influence of Quantum Gravity},
author = {Zhonghua Li},
journal= {arXiv preprint arXiv:2306.09362},
year = {2023}
}