协作学习:从含噪分散数据中联合训练联邦模型
广义相对论与量子宇宙学
2025-06-02 v2 宇宙学与河外天体物理
高能物理 - 理论
摘要
联邦学习(FL)已成为一种在边缘设备上利用本地数据协作训练机器学习模型的重要方法,同时保持数据分散性。然而,在 FL 中,考虑本地客户端贡献数据的质量仍是一个关键挑战,因为本地数据常受到各种噪声和扰动的破坏,这会损害聚合过程并导致全局模型性能不佳。在这项工作中,我们聚焦于输入空间中的噪声数据问题,这是一个与标签噪声相比研究较少的领域。受在含噪和干净输入数据上训练的模型梯度范数分布之间显著差异的启发,我们提出了一种在梯度空间中对客户端输入进行全面评估的方法。基于此观察,我们引入了一种简单的方法来在 FL 初始阶段识别数据质量较低的客户端。此外,我们提出了一种噪声感知的联邦聚合方法——联邦噪声筛选(FedNS),可作为插件与常用的 FL 策略结合使用。我们在多个基准数据集上的广泛评估证明了 FedNS 的有效性。我们的方法能无缝集成到现有 FL 策略中,在从含噪分散数据学习时,在 IID 和非 IID 设置下分别将全局模型性能提升高达 13.68% 和 15.85%。
引用
@article{arxiv.2409.02188,
title = {Stochastic dark matter: Covariant Brownian motion from Planckian discreteness},
author = {Emma Albertini and Arad Nasiri and Emanuele Panella},
journal= {arXiv preprint arXiv:2409.02188},
year = {2025}
}
备注
67 pages, 13 figures, 2 tables