驾驭 preconditioner drift：在非IID数据上实现联邦学习中第二阶优化器的潜力
机器学习
2026-02-24 v1 人工智能
摘要
第二阶优化器能显著加速大规模训练，但其朴素的联邦变体在非IID数据上常不稳定甚至发散。我们指出，关键罪魁是"preconditioner drift"：客户端端的第二阶训练诱导异构的曲率定义几何（即， preconditioner 坐标系），而服务器端的模型平均更新是在不兼容的度量下计算的，破坏了全局下降方向。为解决这种几何不匹配，我们提出了\texttt{FedPAC}，一个"preconditioner alignment and correction"（ preconditioner 对齐与纠正）框架，用于可靠的联邦第二阶优化。\texttt{FedPAC}通过以下方式显式地将参数聚合与几何同步解耦：（i）"对齐"（即将本地 preconditioner 聚合到全局参考并通过全局 preconditioner 进行客户端 warm-start）；（ii）"纠正"（即利用全局 preconditioner 方向来驾驭本地 preconditioner 更新，以抑制长期 drift）。我们提供了与线性加速相关的 drift 耦合非凸收敛保证。经验上，\texttt{FedPAC}在视觉和语言任务中始终改进稳定性和准确性，在CIFAR-100上使用ViT时实现最高的绝对准确率提升。代码可在 https://anonymous.4open.science/r/FedPAC-8B24 获取。
引用
@article{arxiv.2602.19271,
title = {Taming Preconditioner Drift: Unlocking the Potential of Second-Order Optimizers for Federated Learning on Non-IID Data},
author = {Junkang Liu and Fanhua Shang and Hongying Liu and Jin Liu and Weixin An and Yuanyuan Liu},
journal= {arXiv preprint arXiv:2602.19271},
year = {2026}
}