FAGH：利用近似全局 Hessian 加速联邦学习
机器学习
2024-03-19 v1 神经与进化计算
摘要
在联邦学习（FL）中，由于训练全局模型的收敛速度缓慢而导致的巨大通信开销构成了重大挑战。具体而言，FL 需要大量的通信轮次才能实现收敛。一种潜在的解决方案是采用以二次收敛速率著称的基于牛顿法的优化方法进行训练。然而，现有的基于牛顿法的 FL 训练方法在本地客户端或服务器上存在内存效率低下或计算成本高的问题。为了解决这一问题，我们提出了一种利用近似全局 Hessian 的 FL 方法（FAGH）来加速 FL 训练。FAGH 利用近似全局 Hessian 的一阶矩和全局梯度的一阶矩来训练全局模型。通过利用近似全局 Hessian 曲率，FAGH 加速了全局模型训练的收敛，从而减少了通信轮次，进而缩短了训练时间。实验结果验证了 FAGH 在减少通信轮次以及缩短达到全局模型性能预定目标（以训练和测试损失以及测试准确率衡量）所需时间方面的有效性。值得注意的是，FAGH 优于几种最先进的 FL 训练方法。
关键词
引用
@article{arxiv.2403.11041,
title = {FAGH: Accelerating Federated Learning with Approximated Global Hessian},
author = {Mrinmay Sen and A. K. Qin and Krishna Mohan C},
journal= {arXiv preprint arXiv:2403.11041},
year = {2024}
}