具有相对公平性的联邦学习
机器学习
2024-11-05 v1 密码学与安全
机器学习
摘要
本文提出了一种旨在实现客户端\textit{相对公平性}的联邦学习框架。传统的联邦学习框架通常通过保证所有客户端子群的最小性能来确保绝对公平性,但这种方法忽略了子群之间模型性能的差异。所提出的框架采用极小极大问题方法来最小化相对不公平性,扩展了分布鲁棒优化(DRO)中的先前方法。本文引入了一种基于客户端大损失与小损失之间比率的新型公平性指标,使框架能够评估并提升训练模型的相对公平性。理论保证表明该框架能够持续降低不公平性。我们还开发了一种名为\textsc{Scaff-PD-IA}的算法,在保持极小极大最优收敛速率的同时平衡了通信与计算效率。在真实数据集上的实证评估证实了其在保持模型性能的同时降低差异的有效性。
引用
@article{arxiv.2411.01161,
title = {Federated Learning with Relative Fairness},
author = {Shogo Nakakita and Tatsuya Kaneko and Shinya Takamaeda-Yamazaki and Masaaki Imaizumi},
journal= {arXiv preprint arXiv:2411.01161},
year = {2024}
}
备注
43 pages