数据异质性下鲁棒联邦学习的加权损失方法
机器学习
2025-09-08 v3
摘要
联邦学习（FL）是一种机器学习范式，允许多个数据持有者在不与外部方共享训练数据的情况下协作训练机器学习模型。在该范式中，工作者在本地更新模型并与中央服务器共享其更新的梯度（或模型参数）。虽然 FL 从隐私角度来看很有吸引力，但它在安全方面打开了若干威胁，因为（拜占庭）参与者可以贡献有害梯度（或模型参数），损害模型收敛。拜占庭弹性 FL 通过确保训练如同拜占庭参与者不存在一样来处理此问题。为此目的，常见策略在模型聚合期间忽略异常梯度，假设拜占庭梯度比诚实梯度之间的差异偏离更大。然而，在异质环境中，诚实梯度可能差异显著，使得难以区分诚实异常值和拜占庭异常值。在本文中，我们引入了工作者标签对齐损失（WoLA），一种加权损失，在数据异质性下对齐诚实工作者梯度，从而有助于识别拜占庭梯度。该方法在异质环境中的表现显著优于最先进的方法。在本文中，我们提供了其有效性的理论见解和实证证据。
引用
@article{arxiv.2506.09824,
title = {A Weighted Loss Approach to Robust Federated Learning under Data Heterogeneity},
author = {Johan Erbani and Sonia Ben Mokhtar and Pierre-Edouard Portier and Elod Egyed-Zsigmond and Diana Nurbakova},
journal= {arXiv preprint arXiv:2506.09824},
year = {2025}
}