异构联邦学习中的损失差距均衡公平性
机器学习
2026-04-01 v1
摘要
虽然客户端可以加入联邦学习以改善其在本地很少观察到的数据上的性能，但它们通常保持自利，期望全局模型在其自身数据上表现良好。这促使了一个确保所有客户端实现相似损失差距的目标——即全局模型与仅使用其本地数据训练的最佳模型之间的性能差异。为此，我们提出了 EAGLE，一种新颖的联邦学习算法，通过显式正则化全局模型来最小化客户端之间的损失差距差异。我们的方法在异构设置中特别有效，其中客户端的最佳局部模型可能不一致。与可能损害许多客户端性能的现有鼓励损失均衡的方法不同，EAGLE 旨在相对改进的公平性。我们在非凸损失函数下为 EAGLE 提供了理论收敛性保证，并利用一种新颖的异构度量刻画了其迭代相对于标准联邦学习目标的表现。在经验上，我们证明 EAGLE 通过优先关注距离其局部最优损失最远的客户端来减少损失差距差异，同时在凸和非凸情况下与强基线相比保持了具有竞争力的效用。
引用
@article{arxiv.2603.29818,
title = {Loss Gap Parity for Fairness in Heterogeneous Federated Learning},
author = {Brahim Erraji and Michaël Perrot and Aurélien Bellet},
journal= {arXiv preprint arXiv:2603.29818},
year = {2026}
}
备注
9 Pages, Published to AISTATS 2026