GP-FL：面向第二阶过空气联邦学习的模型基 Hessian 估计
机器学习
2024-12-06 v1
摘要
第二阶方法在广泛用于改进学习算法的收敛速度。 在联邦学习 (FL) 中，这些方法需要客户端与参数服务器 (PS) 分享其本地 Hessian 矩阵，这导致通信成本高昂。 一个经典解决方案是从一阶信息近似全局 Hessian 矩阵。 然而，与在理想网络中的情况不同，此解决方案在过空气 FL 设置下表现不佳，即 PS 收到本地梯度的噪声版本。 本文引入了一种针对无线信道的新型第二阶 FL 框架。 关键创新点在于，PS 能够通过非参数方法从接收到的噪声局部梯度中直接估计全局 Hessian 矩阵：PS 将未知的 Hessian 矩阵建模为高斯过程，然后利用梯度与 Hessian 之间的时序关系以及信道模型来寻找全局 Hessian 矩阵的随机估计器。 我们称此方法为基于高斯过程的 Hessian 建模用于无线 FL (GP-FL)，并证明其具有线性-二次收敛率。 多项数值实验表明，GP-FL 在 various 数据集上均优于所有经典的一阶和二阶 FL 方法。
引用
@article{arxiv.2412.03867,
title = {GP-FL: Model-Based Hessian Estimation for Second-Order Over-the-Air Federated Learning},
author = {Shayan Mohajer Hamidi and Ali Bereyhi and Saba Asaad and H. Vincent Poor},
journal= {arXiv preprint arXiv:2412.03867},
year = {2024}
}
备注
The paper is submitted to IEEE Transactions on Signal Processing