关于异构性联邦学习中 ADMM 的研究：个人化、鲁棒性与公平性
机器学习
2024-07-24 v1 人工智能
摘要
统计异构性是联邦学习（FL）在准确性、公平性和鲁棒性之间产生张力的根本原因，是推进下一步的关键路径。个人化联邦学习（PFL）旨在通过为 individual 用户开发个人化模型来减轻统计异构性带来的影响，同时天然提供公平性和鲁棒性等方面的优势。然而，现有 PFL 框架侧重于提高个人化模型的性能，却忽视了全局模型。此外，这些框架实现亚线性收敛率，且依赖强假设。在本文中，我们提出了 FLAME—a 一种利用交替方向乘子法（ADMM）训练个人化模型和全局模型的优化框架。我们提出了一种模型选择策略，以提高在客户端数据异构性类型不同的情况下的性能。我们的理论分析在温和假设下建立了 FLAME 的全局收敛性及两种收敛率。我们理论上表明，FLAME 在一类线性问题上在鲁棒性和公平性方面优于当前最先进的方法。我们的实验结果表明，FLAME 在收敛性和准确性方面优于当前最先进的方法，能够在各种攻击下实现更高的测试准确率，并在不同客户端之间表现更均匀。
引用
@article{arxiv.2407.16397,
title = {On ADMM in Heterogeneous Federated Learning: Personalization, Robustness, and Fairness},
author = {Shengkun Zhu and Jinshan Zeng and Sheng Wang and Yuan Sun and Xiaodong Li and Yuan Yao and Zhiyong Peng},
journal= {arXiv preprint arXiv:2407.16397},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2311.06756