通过二阶方法加速联邦学习训练

本文探讨了联邦学习（FL）中的二阶优化方法，以解决全局模型达到最优性能所需的收敛缓慢和过多通信轮次等关键挑战。虽然现有的 FL 综述主要关注与统计和设备标签异构性相关的问题，以及一阶 FL 方法中的隐私和安全问题，但对模型训练缓慢问题的关注较少。这种缓慢的训练通常导致需要过多的通信轮次或增加通信成本，特别是当客户端间的数据高度异构时。在本文中，我们研究了利用二阶优化来加速训练过程的各种 FL 方法。我们对最先进的二阶 FL 方法进行了全面分类，并基于收敛速度、计算成本、内存使用、传输开销和全局模型的泛化能力比较了它们的性能。我们的发现展示了通过二阶优化将 Hessian 曲率纳入 FL 的潜力，并强调了关键挑战，如在 FL 中高效利用 Hessian 及其逆矩阵。这项工作为未来研究奠定了基础，旨在开发可扩展且高效的联邦优化方法，以改进 FL 中全局模型的训练。