解锁 FedNL：自包含、计算优化的实现

联邦学习（FL）是一种新兴范式，使智能代理能够在分布式环境下协同训练机器学习（ML）模型，而无需共享本地数据。近期工作（arXiv:2106.02969）引入了一系列 Federated Newton Learn（FedNL）算法，标志着将二阶方法应用于联邦学习和大规模优化取得了重要进展。然而，现有 FedNL 原型存在三个严重的实际缺陷：（i）在服务器级工作站上启动单个实验需 4.8 小时；（ii）该原型仅模拟多节点设置；（iii）将原型集成到资源受限的应用中具有挑战性。为弥合理论与实践之间的差距，我们提出 FedNL、FedNL-LS、FedNL-PP 的自包含实现，支持单节点和多节点设置。我们的工作解决了上述问题，并将墙钟时间缩短至原来的 1/1000。在单节点设置下，FedNL 在训练逻辑回归方面超越了替代方案——CVXPY（arXiv:1603.00943）；在多节点设置下，超越——Apache Spark（arXiv:1505.06807）和 Ray/Scikit-Learn（arXiv:1712.05889）。最后，我们提出两种面向实际应用的压缩器——自适应 TopLEK 和 缓存感知 RandSeqK，满足 FedNL 的理论要求。