驯服不稳定性：面向非 IID 数据的联邦学习鲁棒二阶优化器
机器学习
2026-03-31 v1
摘要
在本文中，我们提出了 Federated Robust Curvature Optimization (FedRCO)，一种新型二阶优化框架，旨在改善统计异质性下联邦学习系统中的收敛速度并降低通信成本。现有的二阶优化方法在分布式设定中往往计算代价高昂且数值不稳定。相比之下，FedRCO 通过集成高效的近似曲率优化器与可证明的稳定性机制来应对这些挑战。具体而言，FedRCO 包含三个关键组件：(1) 梯度异常监测器，用于实时检测和缓解梯度爆炸；(2) 故障安全弹性协议，用于在数值不稳定时重置优化状态；(3) 曲率保持自适应聚合策略，用于安全地整合全局知识而不擦除局部曲率几何。理论分析表明，FedRCO 能有效缓解不稳定性并防止无界更新，同时保持优化效率。广泛的实验表明，FedRCO 在面对多样化非 IID 场景时展现出优越的鲁棒性，同时在准确率和收敛速度上均优于现有的一阶和二阶最先进方法。
引用
@article{arxiv.2603.28316,
title = {Taming the Instability: A Robust Second-Order Optimizer for Federated Learning over Non-IID Data},
author = {Yuanqiao Zhang and Tiantian He and Yuan Gao and Yixin Wang and Yew-Soon Ong and Maoguo Gong and A. K. Qin and Hui Li},
journal= {arXiv preprint arXiv:2603.28316},
year = {2026}
}
备注
33 pages, preprint, under review