具有离群点鲁棒性的分布鲁棒联邦学习
机器学习
2025-09-30 v1 最优化与控制
摘要
联邦学习（FL）使协作模型训练无需直接共享数据，但在数据分布扰动存在时其性能可能显著下降。分布鲁棒优化（DRO）为处理此问题提供了一个原理性框架，通过在预设的模糊集内针对最坏情况分布优化性能。然而，现有的基于 DRO 的 FL 方法通常忽视了局部数据集中离群点的有害影响，这些离群点可能不成比例地偏倚所学模型。在本工作中，我们研究了具有显式离群点鲁棒性的分布鲁棒联邦学习。我们引入了一种基于非平衡 Wasserstein 距离的新型模糊集，该模糊集联合捕捉几何分布偏移并结合非几何的 Kullback--Leibler 惩罚以减轻离群点的影响。该公式自然地导出一个具有挑战性的极小-极大-极大优化问题。为实现分布式训练，我们将问题重新表述为可处理的拉格朗日惩罚优化，从而获得鲁棒性证书。基于该重新表述，我们提出了分布鲁棒离群点联邦学习算法并建立了其收敛性保证。在合成和真实数据集上的大量实验证明了该方法的有效性。
引用
@article{arxiv.2509.24462,
title = {Distributionally Robust Federated Learning with Outlier Resilience},
author = {Zifan Wang and Xinlei Yi and Xenia Konti and Michael M. Zavlanos and Karl H. Johansson},
journal= {arXiv preprint arXiv:2509.24462},
year = {2025}
}