FLeNS：基于增强 Nesterov-Newton Sketch 的联邦学习
机器学习
2024-10-02 v2 计算机视觉与模式识别
分布式、并行与集群计算
最优化与控制
摘要
联邦学习面临在通信效率与快速收敛之间取得平衡的关键挑战，尤其是对于二阶方法。虽然 Newton 类型算法在通信轮次上实现线性收敛，但传输完整 Hessian 矩阵常常不可行 due to 二次复杂度。我们引入 Federated Learning with Enhanced Nesterov-Newton Sketch (FLeNS)，一种新方法，利用 Nesterov 方法的加速能力和 Hessian 折叠的降维优势。FLeNS 通过近似中心化 Newton 方法，无需依赖精确 Hessian，显著降低通信开销。通过将 Nesterov 加速与自适应 Hessian 折叠结合，FLeNS 保留关键的二阶信息，同时保持快速收敛特性。我们的理论分析基于统计学习，表明 FLeNS 在通信轮次上实现超线性收敛速率——这是一个在联合优化中取得的突破性进展。我们提供了严格的收敛保证，并刻画了加速、折叠规模和收敛速度之间的权衡。广泛的实证评估验证了我们的理论发现，展示了 FLeNS 在减少通信需求方面的领先性能，特别是在隐私敏感和边缘计算场景中。代码已公开于 https://github.com/sunnyinAI/FLeNS
引用
@article{arxiv.2409.15216,
title = {FLeNS: Federated Learning with Enhanced Nesterov-Newton Sketch},
author = {Sunny Gupta and Mohit Jindal and Pankhi Kashyap and Pranav Jeevan and Amit Sethi},
journal= {arXiv preprint arXiv:2409.15216},
year = {2024}
}
备注
10 pages, 3 figures, 2 Tables