基于稀疏Hessian估计和空中聚合的可扩展高效二阶联邦学习
机器学习
2025-01-15 v3
摘要
二阶联邦学习（FL）算法通过利用曲率信息，提供比一阶方法更快的收敛速度。然而，由于高 computational 和存储成本，尤其是针对大规模模型，二阶方法受到制约。此外，大模型的数字传输导致的通信开销加剧了这些挑战，造成通信瓶颈。本文提出一种基于稀疏Hessian估计并利用空中聚合的可扩展二阶联邦学习算法，使其适用于更大的模型。我们的仿真结果表明，相较于其他一阶和二阶基线方法，通信资源和能耗节省超过67%。
关键词
引用
@article{arxiv.2410.07662,
title = {Scalable and Resource-Efficient Second-Order Federated Learning via Over-the-Air Aggregation},
author = {Abdulmomen Ghalkha and Chaouki Ben Issaid and Mehdi Bennis},
journal= {arXiv preprint arXiv:2410.07662},
year = {2025}
}
备注
6 pages, 1 figure, 4 subfigures, letter