面向公平与快速的分布式准牛顿型联邦学习
机器学习
2025-01-22 v1
摘要
联邦学习（FL）是一种使边缘设备/客户端在中心服务器的协调下进行协作和迭代训练机器学习模型的前景技术。最常见的 FL 方法是一阶方法，即在每个迭代中，客户端将其本地梯度发送给服务器。然而，这些方法常常 suffer from 收敛速度慢。作为补救措施，可在 FL 中采用二阶方法，如准牛顿法。不幸的是，类似于一阶 FL 方法，二阶方法在 FL 中的应用也可能导致模型不公平，即在平均准确率较高的同时，在某些客户端的本地数据集上表现较差。为解决此问题，本文引入了一种新型的二阶 FL 框架，称为分布式准牛顿联邦学习（DQN-Fed）。该方法寻求在保证公平性的同时，利用准牛顿方法在 FL 语境中的快速收敛性能。具体而言，DQN-Fed 帮助服务器以以下方式更新全局模型：（i）所有本地损失函数减小以促进公平性，（ii）本地损失函数的变化率与准牛顿方法的变化率一致。我们证明了 DQN-Fed 的收敛性，并展示其线性-二次收敛率。此外，我们在各种联邦数据集上验证了 DQN-Fed 的有效性，表明其在公平性、平均准确率和收敛速度方面均优于最先进的公平 FL 方法。
引用
@article{arxiv.2501.10877,
title = {Distributed Quasi-Newton Method for Fair and Fast Federated Learning},
author = {Shayan Mohajer Hamidi and Linfeng Ye},
journal= {arXiv preprint arXiv:2501.10877},
year = {2025}
}